WO2013066045A1 - Method and apparatus for initializing reference picture list - Google Patents

Method and apparatus for initializing reference picture list Download PDF

Info

Publication number
WO2013066045A1
WO2013066045A1 PCT/KR2012/009052 KR2012009052W WO2013066045A1 WO 2013066045 A1 WO2013066045 A1 WO 2013066045A1 KR 2012009052 W KR2012009052 W KR 2012009052W WO 2013066045 A1 WO2013066045 A1 WO 2013066045A1
Authority
WO
WIPO (PCT)
Prior art keywords
picture
pictures
reference picture
reference pictures
poc
Prior art date
Application number
PCT/KR2012/009052
Other languages
French (fr)
Korean (ko)
Inventor
헨드리헨드리
박승욱
전용준
임재현
김철근
김정선
박내리
전병문
박준영
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of WO2013066045A1 publication Critical patent/WO2013066045A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction

Definitions

  • the present invention relates to image compression technology, and more particularly, to a method and apparatus for efficiently encoding / decoding a video signal.
  • High-efficiency image compression technology can be used to effectively transmit, store, and reproduce high-resolution, high-quality video information.
  • inter prediction and intra prediction may be used.
  • the pixel value of the current picture is predicted by referring to information of another picture
  • the intra prediction method the pixel value is predicted by using the correlation between pixels in the same picture. do.
  • the encoding apparatus and the decoding apparatus perform prediction based on a reference picture list indicating reference pictures available to the current block (current picture).
  • the decoding apparatus may effectively perform inter prediction by constructing a reference picture list based on information received from the encoding apparatus.
  • An object of the present invention is to provide a method and apparatus for constructing a reference picture list for performing prediction more efficiently.
  • the present invention is a method of initializing and configuring a reference picture list, and an object thereof is to provide a method and apparatus for considering a quantization parameter as well as a picture order count (POC) of reference pictures.
  • POC picture order count
  • the present invention is a method of initializing and configuring a reference picture list, and an object thereof is to provide a method and apparatus that considers a temporal level as well as a picture order count (POC) of reference pictures.
  • POC picture order count
  • An embodiment of the present invention is a method of initializing a reference picture list, the method comprising: aligning reference pictures according to picture order counts (POCs) of respective reference pictures for inter prediction on a current picture, and among the sorted pictures Selecting reference pictures to be used for prediction of the picture, wherein the selecting step may select reference pictures based on quantization parameters of the reference pictures.
  • POCs picture order counts
  • reference pictures having a quantization parameter less than or equal to the quantization parameter of the current picture may be selected among the aligned reference pictures.
  • reference pictures having a temporal level lower than or equal to the temporal level of the current picture may be selected among the aligned reference pictures.
  • the sort order determined in the sorting step may be maintained between the selected reference pictures.
  • the selected reference pictures may be sorted in descending order of the POC.
  • the selected reference pictures are sorted in the ascending order of the POC. Can be.
  • Reference pictures aligned in the alignment step may be at least one short-term reference picture and at least one long-term reference picture.
  • the long-term reference pictures determined to be used may be aligned following the selected reference pictures.
  • Reference pictures that are not selected in the selecting step may be aligned next to the selected reference pictures.
  • a reference picture list initialization apparatus comprising: a reference picture alignment unit for arranging a reference picture according to a picture order count (POC) of each reference picture for inter prediction on a current picture and the aligned pictures And a reference picture selector that selects reference pictures for reference pictures to be used for prediction of the current picture, wherein the reference picture selector may select a reference picture based on quantization parameters of the reference pictures.
  • POC picture order count
  • the reference picture selector may select reference pictures having a quantization parameter that is less than or equal to the quantization parameter of the current picture among the aligned reference pictures.
  • the reference picture selector may select reference pictures having a temporal level lower than or equal to the temporal level of the current picture among the aligned reference pictures.
  • An alignment order determined by the reference picture alignment unit may be maintained between the pictures selected by the reference picture selection unit.
  • the selected reference pictures may be sorted in descending order of POC, and for reference picture list 1 for the current picture, the selected reference pictures may be sorted in ascending order of POC. have.
  • the reference picture aligner may align at least one short-term reference picture and at least one long-term reference picture.
  • the reference picture selector may align the long term reference picture following the selected reference pictures.
  • the reference picture selector may align the non-selected reference pictures after the selected reference pictures.
  • the present invention in constructing the reference picture list, it is possible to determine the sorting order (indexing order) of the reference pictures in the reference picture list so as to obtain a more accurate prediction result.
  • prediction when initializing and configuring a reference picture list, prediction can be performed more effectively by considering not only the Picture Order Count (POC) of the reference pictures but also the quantization parameter.
  • POC Picture Order Count
  • prediction when initializing and configuring a reference picture list, prediction can be performed more effectively by considering not only the Picture Order Count (POC) of the reference pictures but also the temporal level.
  • POC Picture Order Count
  • FIG. 1 is a block diagram schematically illustrating an encoding apparatus (video encoding apparatus) according to an embodiment of the present invention.
  • FIG. 2 is a block diagram schematically illustrating an image decoding apparatus according to an embodiment of the present invention.
  • FIG. 3 is a diagram schematically illustrating an example of a candidate block that may be used when inter prediction is performed on a current block.
  • FIG. 4 is a diagram schematically illustrating a temporal level structure of reference pictures.
  • FIG. 5 is a diagram schematically illustrating an example of reference picture list initialization according to the present invention.
  • FIG. 6 is a diagram schematically illustrating another example of initialization of a reference picture list according to the present invention.
  • FIG. 7 is a flowchart schematically illustrating a method of performing initialization of a reference picture list according to the present invention.
  • FIG. 8 schematically illustrates an apparatus for performing initialization of a reference picture list according to the present invention.
  • each of the components in the drawings described in the present invention are shown independently for the convenience of description of different characteristic functions in the image encoding apparatus / decoding apparatus, each component is a separate hardware or separate software It does not mean that it is implemented.
  • two or more of each configuration may be combined to form one configuration, or one configuration may be divided into a plurality of configurations.
  • Embodiments in which each configuration is integrated and / or separated are also included in the scope of the present invention without departing from the spirit of the present invention.
  • the encoding apparatus 100 may include a picture divider 105, a predictor 110, a transformer 115, a quantizer 120, a reordering unit 125, an entropy encoding unit 130, An inverse quantization unit 135, an inverse transform unit 140, a filter unit 145, and a memory 150 are provided.
  • the picture dividing unit 105 may divide the input picture into at least one processing unit block.
  • the block as the processing unit may be a prediction unit (hereinafter referred to as a PU), a transform unit (hereinafter referred to as a TU), or a coding unit (hereinafter referred to as "CU"). It may be called.
  • the predictor 110 includes an inter predictor for performing inter prediction and an intra predictor for performing intra prediction, as described below.
  • the prediction unit 110 generates a prediction block by performing prediction on the processing unit of the picture in the picture division unit 105.
  • the processing unit of the picture in the prediction unit 110 may be a CU, a TU, or a PU.
  • the prediction unit 110 may determine whether the prediction performed on the processing unit is inter prediction or intra prediction, and determine specific contents (eg, prediction mode, etc.) of each prediction method.
  • the processing unit in which the prediction is performed and the processing unit in which the details of the prediction method and the prediction method are determined may be different.
  • the prediction method and the prediction mode may be determined in units of PUs, and the prediction may be performed in units of TUs.
  • a prediction block may be generated by performing prediction based on information of at least one picture of a previous picture and / or a subsequent picture of the current picture.
  • a prediction block may be generated by performing prediction based on pixel information in a current picture.
  • a skip mode, a merge mode, a motion vector prediction (MVP), and the like can be used.
  • a reference picture may be selected for a PU and a reference block having the same size as the PU may be selected.
  • the reference block may be selected in integer pixel units.
  • a prediction block is generated in which a residual signal with the current PU is minimized and the size of the motion vector is also minimized.
  • the prediction block may be generated in integer sample units, or may be generated in sub-pixel units such as 1/2 pixel unit or 1/4 pixel unit.
  • the motion vector may also be expressed in units of integer pixels or less. For example, it may be expressed in units of 1/4 pixels for luminance samples and in units of 1/8 pixels for chrominance samples.
  • the residual may be used as the reconstructed block, and thus the residual may not be generated, transformed, quantized, or transmitted.
  • a prediction mode When performing intra prediction, a prediction mode may be determined in units of PUs, and prediction may be performed in units of PUs. In addition, a prediction mode may be determined in units of PUs, and intra prediction may be performed in units of TUs.
  • the prediction mode may have 33 directional prediction modes and at least two non-directional modes.
  • the non-directional mode may include a DC prediction mode and a planner mode (Planar mode).
  • a prediction block may be generated after applying a filter to a reference sample.
  • whether to apply the filter to the reference sample may be determined according to the intra prediction mode and / or the size of the current block.
  • the PU may be a block of various sizes / types, for example, in the case of inter prediction, the PU may be a 2N ⁇ 2N block, a 2N ⁇ N block, an N ⁇ 2N block, an N ⁇ N block (N is an integer), or the like.
  • the PU In the case of intra prediction, the PU may be a 2N ⁇ 2N block or an N ⁇ N block (where N is an integer).
  • the PU of the N ⁇ N block size may be set to apply only in a specific case.
  • the NxN block size PU may be used only for the minimum size CU or only for intra prediction.
  • PUs such as N ⁇ mN blocks, mN ⁇ N blocks, 2N ⁇ mN blocks, or mN ⁇ 2N blocks (m ⁇ 1) may be further defined and used.
  • the residual value (the residual block or the residual signal) between the generated prediction block and the original block is input to the converter 115.
  • the prediction mode information, the motion vector information, etc. used for the prediction are encoded by the entropy encoding unit 130 together with the residual value and transmitted to the decoding apparatus.
  • the transformer 115 performs transform on the residual block in transform units and generates transform coefficients.
  • the transform unit in the converter 115 may be a TU and may have a quad tree structure. In this case, the size of the transform unit may be determined within a range of a predetermined maximum and minimum size.
  • the transform unit 115 may convert the residual block using a discrete cosine transform (DCT) and / or a discrete sine transform (DST).
  • DCT discrete cosine transform
  • DST discrete sine transform
  • the quantization unit 120 may generate a quantization parameter by quantizing the residual values transformed by the transformation unit 115.
  • the value calculated by the quantization unit 120 is provided to the inverse quantization unit 135 and the reordering unit 125.
  • the reordering unit 125 rearranges the quantization parameter provided from the quantization unit 120. By rearranging the quantization parameters, the encoding efficiency of the entropy encoding unit 130 may be increased.
  • the reordering unit 125 may rearrange the quantization parameters in the form of a 2D block into a 1D vector form through a coefficient scanning method.
  • the reordering unit 125 may increase the entropy encoding efficiency of the entropy encoding unit 130 by changing the order of coefficient scanning based on probabilistic statistics of coefficients transmitted from the quantization unit.
  • the entropy encoding unit 130 may perform entropy encoding on the quantization parameters rearranged by the reordering unit 125.
  • Entropy encoding may include, for example, encoding methods such as Exponential Golomb, Context-Adaptive Variable Length Coding (CAVLC), and Context-Adaptive Binary Arithmetic Coding (CABAC).
  • the entropy encoding unit 130 may include quantization parameter information, block type information, prediction mode information, partition unit information, PU information, transmission unit information, motion vector information, and the like of the CUs received from the reordering unit 125 and the prediction unit 110.
  • Various information such as reference picture information, interpolation information of a block, and filtering information may be encoded.
  • the entropy encoding unit 130 may apply a constant change to a parameter set or syntax to be transmitted.
  • the inverse quantization unit 135 inverse quantizes the quantized values in the quantization unit 120, and the inverse transformer 140 inversely transforms the inverse quantized values in the inverse quantization unit 135.
  • the reconstructed block may be generated by combining the residual values generated by the inverse quantizer 135 and the inverse transform unit 140 and the prediction blocks predicted by the prediction unit 110.
  • a reconstructed block is generated by adding a residual block and a prediction block through an adder.
  • the adder may be viewed as a separate unit (restore block generation unit) for generating a reconstruction block.
  • the filter unit 145 may apply a deblocking filter, an adaptive loop filter (ALF), and a sample adaptive offset (SAO) to the reconstructed picture.
  • ALF adaptive loop filter
  • SAO sample adaptive offset
  • the deblocking filter may remove distortion generated at the boundary between blocks in the reconstructed picture.
  • the adaptive loop filter may perform filtering based on a value obtained by comparing the reconstructed image with the original image after the block is filtered through the deblocking filter. ALF may be performed only when high efficiency is applied.
  • the SAO restores the offset difference from the original image on a pixel-by-pixel basis to the residual block to which the deblocking filter is applied, and is applied in the form of a band offset and an edge offset.
  • the filter unit 145 may not apply filtering to the reconstructed block used for inter prediction.
  • the memory 150 may store the reconstructed block or the picture calculated by the filter unit 145.
  • the reconstructed block or picture stored in the memory 150 may be provided to the predictor 110 that performs inter prediction.
  • the image decoding apparatus 200 may include an entropy decoding unit 210, a reordering unit 215, an inverse quantization unit 220, an inverse transform unit 225, a prediction unit 230, and a filter unit 235.
  • Memory 240 may be included.
  • the input bitstream may be decoded according to a procedure in which image information is processed in the image encoding apparatus.
  • variable length coding such as CAVLC (VLC)
  • VLC variable length coding
  • the entropy decoding unit 210 also uses the VLC used in the encoding apparatus. Entropy decoding may be performed by implementing the same VLC table as the table.
  • CABAC CABAC is used to perform entropy encoding in the image encoding apparatus
  • the entropy decoding unit 210 may perform entropy decoding using CABAC correspondingly.
  • Information for generating the prediction block among the information decoded by the entropy decoding unit 210 is provided to the prediction unit 230, and the residual value where the entropy decoding is performed by the entropy decoding unit 210 is transferred to the reordering unit 215. Can be entered.
  • the reordering unit 215 may reorder the entropy decoded bitstream by the entropy decoding unit 210 based on a method of reordering the image encoding apparatus.
  • the reordering unit 215 may reorder the coefficients expressed in the form of a one-dimensional vector by restoring the coefficients in the form of a two-dimensional block.
  • the reordering unit 215 may be realigned by receiving information related to coefficient scanning performed by the encoding apparatus and performing reverse scanning based on the scanning order performed by the encoding apparatus.
  • the inverse quantization unit 220 may perform inverse quantization based on the quantization parameter provided by the encoding apparatus and the coefficient values of the rearranged block.
  • the inverse transform unit 225 may perform inverse DCT and / or inverse DST on the DCT and the DST performed by the transform unit of the encoding apparatus with respect to the quantization result performed by the image encoding apparatus.
  • the inverse transformation may be performed based on a transmission unit determined by the encoding apparatus or a division unit of an image.
  • the DCT and / or DST in the encoding unit of the encoding apparatus may be selectively performed according to a plurality of pieces of information, such as a prediction method, a size and a prediction direction of the current block, and the inverse transform unit 225 of the decoding apparatus is configured in the transformation unit of the encoding apparatus.
  • Inverse transformation may be performed based on the performed transformation information.
  • the prediction unit 230 may generate the prediction block based on the prediction block generation related information provided by the entropy decoding unit 210 and the previously decoded block and / or picture information provided by the memory 240.
  • intra prediction for generating a prediction block based on pixel information in the current picture may be performed.
  • inter prediction on the current PU may be performed based on information included in at least one of a previous picture or a subsequent picture of the current picture.
  • motion information required for inter prediction of the current PU provided by the image encoding apparatus for example, a motion vector, a reference picture index, and the like, may be derived by checking a skip flag, a merge flag, and the like received from the encoding apparatus.
  • the reconstruction block may be generated using the prediction block generated by the predictor 230 and the residual block provided by the inverse transform unit 225.
  • FIG. 2 it is described that the reconstructed block is generated by combining the prediction block and the residual block in the adder.
  • the adder may be viewed as a separate unit (restore block generation unit) for generating a reconstruction block.
  • the residual is not transmitted and the prediction block may be a reconstruction block.
  • the reconstructed block and / or picture may be provided to the filter unit 235.
  • the filter unit 235 may apply deblocking filtering, sample adaptive offset (SAO), and / or ALF to the reconstructed block and / or picture.
  • SAO sample adaptive offset
  • the memory 240 may store the reconstructed picture or block to use as a reference picture or reference block and provide the reconstructed picture to the output unit.
  • encoded or decoded pictures are stored in a memory, for example, a decoded picture buffer (DPB).
  • DPB decoded picture buffer
  • the encoding apparatus and the decoding apparatus may maintain a list of previously coded / decoded pictures in the reference picture list for use in inter prediction.
  • inter prediction When inter prediction is applied, the encoding apparatus and the decoding apparatus may perform prediction with respect to a target block (current block) of the current picture with reference to another picture. 1 and 2, inter prediction may be performed by a prediction unit in an encoding apparatus and a decoding apparatus.
  • the current block is predicted by using information of neighboring blocks that are adjacent to the current block and are available.
  • the neighboring block is available among the blocks co-located with the current block in reference pictures to which the current block can refer (hereinafter, referred to as 'col block' (co- located blocks).
  • the neighboring block used to perform prediction on the current block in inter prediction is referred to as a candidate block for convenience of description.
  • prediction of a current block is performed using information of a candidate block.
  • motion information eg, a motion vector
  • a reference picture of a selected block among candidate blocks may be used as motion information and a reference picture for the current block.
  • a Col block is used as a candidate block
  • a picture of a specific index may be used as a reference picture in the reference picture list.
  • motion information (eg, a motion vector) of a selected block among candidate blocks may be used as a motion vector for the current block, and reference picture information for the current block may be transmitted from the encoding device to the decoding device.
  • the difference between the MVP derived from the candidate block and the motion vector for the current block is transmitted from the encoding device to the decoding device, and the prediction unit of the decoding device may derive the motion information for the current block based on the MVP and the MVD.
  • FIG. 3 is a diagram schematically illustrating an example of a candidate block that may be used when inter prediction is performed on a current block.
  • the prediction unit of the encoding apparatus and the decoding apparatus may use a block at a predetermined position around the current block 400 as a candidate block.
  • a block at a predetermined position around the current block 400 For example, in the example of FIG. 3, two blocks A 0 410 and A 1 420 located at the lower left end of the current block, and three blocks B 0 430, B 1 440, B located at the upper right and upper left of the current block. 2 450 may be selected as a candidate block.
  • the above-described Col block 460 may be used as a candidate block as a temporal candidate block.
  • the reference picture for the current block may be derived from the reference picture of the neighboring block or may be indicated from the decoding apparatus.
  • the prediction unit of the decoding apparatus may use the reference picture of the neighboring block as the reference picture of the current block.
  • the prediction unit of the decoding apparatus may receive information indicating a reference picture for the current block from the encoding apparatus.
  • Pictures encoded / decoded prior to the current picture may be stored in a memory (eg, a Decoded Picture Buffer (DPB)) and used for prediction of the current block (current picture).
  • a memory eg, a Decoded Picture Buffer (DPB)
  • DPB Decoded Picture Buffer
  • the list of pictures available for inter prediction of the current block is maintained as a reference picture list.
  • P slices are slices that are decoded through intra prediction or inter prediction using at most one motion vector and one reference picture.
  • a B slice is a slice that is decoded through intra prediction or inter prediction using up to two motion vectors and two reference pictures.
  • the reference picture includes a short term reference picture and a long term reference picture.
  • Reference picture list 0 (referred to as 'L0' for convenience of description) is a reference picture list used for inter prediction of a P slice or a B slice.
  • Reference picture list 1 (referred to as 'L1' for convenience of description) is used for inter prediction of a B slice. Therefore, L0 is used for inter prediction on blocks of P slices that perform unidirectional prediction, and L0 and L1 are used for inter prediction on blocks of B slices which perform bidirectional prediction.
  • the decoding apparatus constructs a reference picture list when decoding the P slice and the B slice through inter prediction.
  • the reference picture used for inter prediction is specified through a reference picture list.
  • the reference picture index is an index indicating a reference picture on the reference picture list.
  • the reference picture list may be configured based on a reference picture set transmitted from the encoding apparatus.
  • Reference pictures constituting the reference picture list may be stored in a memory (eg, DPB).
  • Pictures stored in memory are managed by the encoding device and the decoding device.
  • the reference picture can be managed by a simple method that is stored in a memory and released after a certain time, but there are some problems. For example, even if there is a reference picture that is no longer needed, the efficiency is low because it cannot be ejected directly from the memory. Also, since it is released from the memory after a certain time, it becomes difficult to manage the long-term reference picture.
  • a MMCO Memory Management Command Operation
  • a method of transmitting a set of reference pictures necessary for decoding a slice in each slice header may be used.
  • the reference picture set includes reference pictures used for reference of the current picture / slice or future picture / slice.
  • the reference picture set is information transmitted from an encoding device to a decoding device, and pictures included in the reference picture set may be specified by a picture order count (POC).
  • POC Picture Order Count
  • the POCs of the reference pictures included in the reference picture set may be relative POCs to the POCs of the current picture.
  • the relative POC represents the POC difference between two pictures in the reference picture set.
  • the relative POC of the reference pictures before the current picture (the reference pictures with a smaller POC than the POC of the current picture) in the POC order is the POC difference from the previous reference picture in the reference picture set.
  • the relative POC of the reference pictures after the current picture in the POC order (reference pictures having a larger POC than the POC of the current picture) is also a POC difference from the immediately preceding reference picture in the reference picture set.
  • the reference picture set may be signaled from the encoding device to the decoding device for each picture to which inter prediction is applied.
  • the reference picture lists L0 and L1 may be configured based on a reference picture set received from the encoding apparatus.
  • the reference picture list L0 In the case of constructing the reference picture list L0, short-term reference pictures having a smaller POC than the POC of the current picture among the received reference picture sets (pictures before the current picture or relative POCs in the POC order have negative values). ) And short-term reference pictures whose POC is larger than the POC of the current picture (pictures after the current picture or pictures whose relative POC has a positive sign in POC order) whose POC is smaller than the POC of the current picture.
  • the reference picture list may be constructed by allocating the reference picture indexes from the pictures. The long term reference picture may then be added to the reference picture list L0.
  • the reference picture list L1 In the case of configuring the reference picture list L1, pictures having a POC smaller than the POC of the current picture among the received reference picture sets (pictures before the current picture or pictures with a negative sign of a relative POC in the POC order) And the reference picture index starting from a picture having a larger POC than the POC of the current picture (pictures after the current picture in the POC order or pictures whose relative POC has a positive value) among the pictures having a larger POC than the POC of the current picture. Is assigned to construct a reference picture list.
  • Reference pictures added to the reference picture list may be assigned a reference picture index in order.
  • the decoding apparatus may utilize the first N (reference pictures from index 0 to index N-1) among the reference pictures included in the reference picture list as available reference pictures.
  • the information about the number N of available reference pictures may be transmitted from the encoding apparatus.
  • the reference picture list may be explicitly transmitted from the encoding device to the decoding device.
  • the encoding apparatus may transmit a specific entry constituting the reference picture list together with the reference picture list modification information indicating that the derived reference picture list is modified.
  • the encoding device may indicate whether L0 or L1 will be implicitly derived or explicitly specified using the transmitted entry information. For example, when the flag value is 0 using the flag information, the reference picture list is implicitly derived, and when the flag value is 1, the reference picture list may be explicitly specified using the transmitted entry information.
  • the encoding device may transmit entry information about L0 when L0 is explicitly specified.
  • the entry information about L0 may indicate a reference picture corresponding to the index on L0.
  • the encoding apparatus may transmit entry information about L1 when L1 is explicitly specified.
  • the entry information about L1 may indicate a reference picture corresponding to the index on L1.
  • a reference picture list is specified by entry information
  • forward short-term reference pictures eg, pictures having a POC smaller than the current picture
  • backward short-term reference pictures eg, pictures having a POC larger than the current picture
  • the order (reference picture index) in the reference picture list of the long-term reference pictures may be different from the order (reference picture index) in the reference picture list implicitly derived.
  • available reference pictures to be utilized may also be different from the case of the reference picture list implicitly derived.
  • the decoding apparatus may configure the same reference picture as the reference picture list configured by the encoding apparatus based on the reference picture list modification information information and the entry information.
  • the encoding apparatus and the decoding apparatus may derive the reference picture list to be used for inter prediction of the current picture based on the POC of the pictures as described above.
  • a reference picture set has been described by considering only pictures that are available for convenience of description, but the reference picture list is constructed by considering whether or not the reference pictures are used in the encoder and the decoder. can do.
  • the reference picture list when initializing a reference picture list with respect to a current picture, the reference picture list may be initialized through a reference picture sorting stage and a reference picture selection step.
  • the reference picture set may be marked as being used as a reference picture, depending on whether it is used as a reference picture in a memory, such as a DPB (marked as “used for refernce”).
  • the available reference pictures marked as used as reference pictures are aligned in the DPB.
  • the reference pictures may be sorted in descending order from the largest POC to the smallest POC according to a picture number (PicNum), for example, a POC.
  • PicNum picture number
  • the sorting of the short-term reference pictures is first performed.
  • the entryShortTerm value is placed on the L0 in descending order of the POC.
  • pictures marked as being used as a short-term reference picture pictures having a POC value smaller than the POC of the current picture are located in descending order of the POC from the beginning of L0.
  • the long-term reference pictures for the L0 list may then be sorted.
  • long-term reference pictures long-term reference entries
  • the alignment of the long-term reference pictures is arranged in ascending order from the long-term reference picture having the smallest long-term reference picture number to the long-term reference picture having the largest long-term reference picture number.
  • L1 (RefPicList1) may be used.
  • temporal_ID temporal ID indicating a temporal level is equal to or less than the temporal ID of the current picture.
  • entryShortTerm For a particular entryShortTerm, if the POC of entryShortTerm is greater than the POC of the current picture, the entryShortTerm value is placed on L1 in ascending order of POC. In other words, among the pictures marked to be used as the short-term reference picture, pictures having a POC value larger than the POC of the current picture are located in ascending order of the POC from the beginning of L1.
  • the long term reference pictures for the L1 list may then be sorted.
  • long-term reference pictures long-term reference entries
  • the alignment of the long-term reference pictures is arranged in ascending order from the long-term reference picture having the smallest long-term reference picture number to the long-term reference picture having the largest long-term reference picture number.
  • the short-term reference picture may be specified by the POC. Therefore, as described above, the picture number specifying the short-term reference picture may be a POC. In the case of a long-term reference picture, the long-term reference picture may be specified by POC or Least Significant Bits (LSB) of the POC. Thus, the long term reference picture number specifying the long term reference picture may be a POC or an LSB of the POC.
  • LSB Least Significant Bits
  • a selection stage is performed.
  • pictures that can be used for inter prediction of the current picture are selected from the sorted pictures.
  • N pictures are selected from the beginning in the reference picture lists L0 and L1 to be used in the sort order.
  • an N value indicating the number of selected pictures may be determined based on information transmitted from the encoding apparatus.
  • the decoding apparatus may use the number N of reference pictures indicated by the received num_ref_idx_lX_default_active_minus1 as a default value in the current sequence.
  • the decoding apparatus may apply the N value indicated by the received num_ref_idx_l1_active_minus1 as the number of reference pictures for the current picture or the current slice.
  • the number information of the transmitted reference pictures for example, num_ref_idx_lX_default_active_minus1 or num_ref_idx_lX_active_minus1 may indicate the number of all reference pictures or may indicate only the number of short-term reference pictures.
  • the encoding apparatus indicates that long-term reference pictures are used as reference pictures for each long-term reference picture together with information indicating whether long-term reference pictures are used as reference pictures in the current picture. Can be transmitted.
  • the size of the quantization parameter may be considered in order to increase the accuracy of inter prediction.
  • Quantization divides the components transformed into DCT and / or DST and the like into quantization steps and approximates the result to a representative value.
  • inverse quantization the quantized value is multiplied by the quantization step and returned to the transform component.
  • the quantization step is not directly encoded, but a quantization parameter (QP) is referred to as 'QP' for convenience of description, and a quantization step is derived from the QP. If the QP is small, the signal can be encoded / decoded more accurately, but the amount of information to be processed and the amount of information to be transmitted increase.
  • QP quantization parameter
  • Quantization Parameter Initializing reference picture list based on (QP)
  • the initialization of the reference picture list for the current picture includes a sorting stage and a selection stage.
  • the entryShortTerm value is placed on the L0 in descending order of the POC.
  • pictures marked as being used as a short-term reference picture pictures having a POC value smaller than the POC of the current picture are located in descending order of the POC from the beginning of L0.
  • the long-term reference pictures for the L0 list may then be sorted.
  • long-term reference pictures long-term reference entries
  • the alignment of the long-term reference pictures is arranged in ascending order from the long-term reference picture having the smallest long-term reference picture number to the long-term reference picture having the largest long-term reference picture number.
  • L1 (RefPicList1) may be used.
  • temporal_ID temporal ID indicating a temporal level is equal to or less than the temporal ID of the current picture.
  • entryShortTerm For a particular entryShortTerm, if the POC of entryShortTerm is greater than the POC of the current picture, the entryShortTerm value is placed on L1 in ascending order of POC. In other words, among the pictures marked to be used as the short-term reference picture, pictures having a POC value larger than the POC of the current picture are located in ascending order of the POC from the beginning of L1.
  • the long term reference pictures for the L1 list may then be sorted.
  • long-term reference pictures long-term reference entries
  • the alignment of the long-term reference pictures is arranged in ascending order from the long-term reference picture having the smallest long-term reference picture number to the long-term reference picture having the largest long-term reference picture number.
  • the encoding apparatus or the decoding apparatus may select, among the aligned reference pictures, pictures having the same QP and QP of the current picture or smaller QP than the QP of the current picture. Between the selected pictures, the posterior relationship between the pictures determined in the alignment step is maintained.
  • pictures having the same QP and QP of the current picture or having a QP smaller than the QP of the current picture are sorted in descending order according to the POC value of each picture.
  • pictures whose QP and QP of the current picture are equal to or smaller than QP of the current picture are sorted in ascending order according to the POC value.
  • the selected pictures are located ahead of the unselected pictures (reference pictures that have a QP greater than the QP of the current picture). For example, selected pictures are assigned a lower reference picture index than pictures that are not selected.
  • non-selected reference pictures may be added after the selected reference picture according to the POC order.
  • the number of reference pictures to be added is equal to the difference (N-M) between the number N of reference pictures to be used and the number M of selected reference pictures.
  • a long-term reference picture information indicating whether a device reference picture is used for inter prediction of the current picture is transmitted, and when a long-term reference picture is used, it is indicated whether the long-term reference picture is referenced in the current picture for each long-term reference picture.
  • the long-term reference picture referenced in the current picture can be added after the selected reference pictures or short-term reference pictures.
  • the long-term reference picture may also be located earlier than the short-term reference picture not selected as the selected picture if a QP value equal to or less than the QP of the current picture is selected as the picture in the selection step.
  • Table 1 shows a syntax structure of a method for performing a selection step based on a QP in initializing a reference picture list.
  • SortedRefPicList represents a list of reference pictures stored in the DPB after the sorting step
  • FinalRefPicList is a final list of reference pictures output as a result of performing reference picture list initialization on the current picture
  • TmpRefPicList is a temporary list of reference pictures.
  • FinalRefPicList and TmpRefPicList are empty at the beginning of the initialization procedure or at the beginning of the selection phase.
  • the size of the quantization parameter may be reflected in the temporal hierarchical structure of the reference pictures.
  • the QP of the reference picture with a low temporal level is smaller than the QP of the reference picture with a high temporal level. Therefore, reference picture list initialization for the current picture may be performed using the temporal IDs of the reference pictures.
  • each picture that is inter predicted may refer to pictures in a forward direction in the case of a P picture, and may refer to pictures in a forward or reverse direction in the case of a B picture.
  • inter prediction may be performed by referring to pictures having the same or lower temporal level.
  • pictures with a temporal level TL of 1 do not refer to pictures with a temporal level 2 (pictures of TL2), but refer to pictures with a temporal level of 1 or 0 (pictures of TL1 or TL0). .
  • temporal level may be less than or greater than three.
  • Temporal ID Temporal ID Reference picture list based on
  • the initialization of the reference picture list for the current picture includes a sorting stage and a selection stage.
  • the entryShortTerm value is placed on the L0 in descending order of the POC.
  • pictures marked as being used as a short-term reference picture pictures having a POC value smaller than the POC of the current picture are located in descending order of the POC from the beginning of L0.
  • the long-term reference pictures for the L0 list may then be sorted.
  • long-term reference pictures long-term reference entries
  • the alignment of the long-term reference pictures is arranged in ascending order from the long-term reference picture having the smallest long-term reference picture number to the long-term reference picture having the largest long-term reference picture number.
  • L1 (RefPicList1) may be used.
  • temporal_ID temporal ID indicating a temporal level is equal to or less than the temporal ID of the current picture.
  • entryShortTerm For a particular entryShortTerm, if the POC of entryShortTerm is greater than the POC of the current picture, the entryShortTerm value is placed on L1 in ascending order of POC. In other words, among the pictures marked to be used as the short-term reference picture, pictures having a POC value larger than the POC of the current picture are located in ascending order of the POC from the beginning of L1.
  • the long term reference pictures for the L1 list may then be sorted.
  • long-term reference pictures long-term reference entries
  • the alignment of the long-term reference pictures is arranged in ascending order from the long-term reference picture having the smallest long-term reference picture number to the long-term reference picture having the largest long-term reference picture number.
  • the encoding apparatus or the decoding apparatus may select, among the aligned reference pictures, pictures having a temporal ID that is equal to or smaller than the temporal ID of the current picture.
  • the temporal ID of the picture specifies the temporal level to which the picture belongs. A picture with a low temporal ID belongs to a low temporal level, and a picture with a high temporal ID belongs to a high temporal level.
  • the posterior relationship between the pictures determined in the alignment step is maintained.
  • pictures having a temporal ID equal to or smaller than the temporal ID of the current picture are sorted in descending order according to the POC value of each picture.
  • pictures having a temporal ID that is less than or equal to the temporal ID of the current picture are sorted in ascending order according to the POC value.
  • the selected pictures are located ahead of the unselected pictures (reference pictures having a temporal ID that is greater than the temporal ID of the current picture). For example, selected pictures are assigned a lower reference picture index than pictures that are not selected.
  • non-selected reference pictures may be added after the selected reference picture according to the POC order.
  • the number of reference pictures to be added is equal to the difference (N-M) between the number N of reference pictures to be used and the number M of selected reference pictures.
  • a long-term reference picture information indicating whether a device reference picture is used for inter prediction of the current picture is transmitted, and when a long-term reference picture is used, it is indicated whether the long-term reference picture is referenced in the current picture for each long-term reference picture.
  • the long-term reference picture referenced in the current picture can be added after the selected reference pictures or short-term reference pictures.
  • the long-term reference picture may be located before the short-term reference picture that is not selected as the selected picture.
  • Table 2 shows a syntax structure of a method for performing a selection step based on a temporal ID in initializing a reference picture list.
  • SortedRefPicList represents a list of reference pictures stored in the DPB after the sorting step
  • FinalRefPicList is a final list of reference pictures output as a result of performing reference picture list initialization on the current picture
  • TmpRefPicList is a temporary list of reference pictures.
  • FinalRefPicList and TmpRefPicList are empty at the beginning of the initialization procedure or at the beginning of the selection phase.
  • FIG. 5 is a diagram schematically illustrating an example of reference picture list initialization according to the present invention.
  • the current picture 500 is a P picture and two reference pictures are selected as reference pictures used in the reference picture list is described as an example.
  • reference 1 refers to a reference relationship in which no QP or temporal level is considered, and reference pictures are finally sorted in the reference picture list according to reference picture order 1.
  • FIG. Reference 2 is a reference relationship in consideration of QP or temporal level, and the reference pictures are finally sorted in the reference picture list according to reference picture order 2.
  • the reference picture lists of L0 for the current picture are arranged and selected as [picture with POC 8, picture with POC 6] by initialization. .
  • the reference picture lists of L0 for the current picture are arranged and selected to be [picture with POC of 8, picture with POC of 4] by initialization.
  • FIG. 6 is a diagram schematically illustrating another example of initialization of a reference picture list according to the present invention.
  • the current picture 600 is a P picture and four reference pictures are selected as a reference picture used in the reference picture list is described as an example.
  • reference 1 is a reference relationship in which QP or temporal level is not considered, and reference pictures are finally sorted in the reference picture list according to reference picture order 1.
  • Reference 2 is a reference relationship in consideration of QP or temporal level, and the reference pictures are finally sorted in the reference picture list according to reference picture order 2.
  • the reference picture lists of L0 for the current picture are initialized by [initializing a picture having a POC of 8, a picture having a POC of 6, a picture having a POC of 4, and a POC by initialization]. Is selected to be zero).
  • the reference picture lists of L0 for the current picture are initialized by [initial picture with POC of 8, picture with POC of 0, picture with POC of 6, POC of 4 In-picture].
  • FIG. 7 is a flowchart schematically illustrating a method of performing initialization of a reference picture list according to the present invention.
  • alignment of reference pictures is performed (S710).
  • the reference pictures are aligned based on the POCs of the reference pictures.
  • the specific sorting procedure performed in the sorting step of reference pictures is the same as described in (1) sorting step of the reference picture list initialization based on QP and the reference picture list initialization based on temporal ID.
  • reference pictures to be used for inter prediction on the current picture are selected based on the QP (S720).
  • QP QP
  • reference pictures having a QP that is equal to or less than the QP of the current picture are selected. The selection may be performed based on the temporal level reflecting the QP.
  • the specific selection procedure performed in the selection step of the reference pictures is the same as described in the (2) selection step of the reference picture list initialization based on the QP and the reference picture list initialization based on the temporal ID.
  • FIG. 8 schematically illustrates an apparatus for performing initialization of a reference picture list according to the present invention.
  • the reference picture list initialization apparatus 800 includes an alignment unit 810 and a selection unit 820.
  • the alignment unit 810 aligns reference pictures based on POCs of pictures based on input reference picture information.
  • the alignment unit 810 may sort the pictures having the smaller POC than the current picture in descending order of the POC, and then sort the pictures having the larger POC than the current picture in ascending order of the POC.
  • the alignment unit 810 may sort the pictures having the larger POC than the current picture in ascending order of the POC, and then sort the pictures having the smaller POC than the current picture in descending order of the POC.
  • the alignment unit 810 Details of operations performed by the alignment unit 810 are the same as described in (1) the alignment step of the reference picture list initialization based on the QP and the reference picture list initialization based on the temporal ID.
  • the selector 820 compares the QPs of the reference pictures with the QP of the current picture, and selects reference pictures having a QP that is equal to or smaller than the QP of the current picture.
  • the selector 820 may select the reference picture based on the temporal level reflecting the QP.
  • the final reference picture list on which the selection is performed by the selection unit 820 may be stored in the DPB for prediction or transferred to the prediction unit to be referred to the prediction.
  • reference picture list initialization is described as being performed in a separate configuration (reference picture list initialization device), this is for convenience of explanation and understanding of the present invention, and the present invention is not limited thereto.
  • initialization of the reference picture list may be performed in a memory of the encoding apparatus and the decoding apparatus described with reference to FIGS. 1 and 2, for example, a DPB.
  • the above-described reference picture list apparatus may be a DPB.
  • the initialization of the reference picture list may be performed by the prediction unit of the encoding apparatus and the decoding apparatus described with reference to FIGS. 1 and 2.
  • the above-described reference picture list initialization apparatus may be a prediction unit.
  • the reference picture list initialization apparatus may be included as separate components in the encoding apparatus and the decoding apparatus.
  • reference pictures are sorted and / or selected in the reference picture list or reference pictures are added to the reference picture list, this is for convenience of description, and information for specifying the reference picture in the reference picture list is aligned and / Or may be interpreted to mean that the information to select or specify the reference picture to the reference picture list is added.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

The present invention relates to a method and an apparatus for initializing a reference picture list, the method for initializing a reference picture list according to the present invention comprising the steps of: aligning, for inter prediction of the current picture, reference pictures on the basis of POC (Picture Order Count) of each reference picture; and selecting, from among the aligned pictures, reference pictures to be used in the prediction of the current picture, wherein the reference pictures can be selected on the basis of quantization parameters thereof in the selection step.

Description

참조 픽처 리스트 초기화 방법 및 장치Method and device for initializing reference picture list
본 발명은 영상 압축 기술에 관한 것으로서, 더 구체적으로는 영상 신호를 효율적으로 부호화/복호화하는 방법 및 장치에 관한 것이다.The present invention relates to image compression technology, and more particularly, to a method and apparatus for efficiently encoding / decoding a video signal.
최근 고해상도, 고품질의 영상에 대한 요구가 다양한 응용 분야에서 증가하고 있다. 하지만, 영상이 고해상도를 가지고 고품질이 될수록 해당 영상에 관한 정보량도 함께 증가한다. Recently, the demand for high resolution and high quality images is increasing in various applications. However, as the image becomes high quality with high resolution, the amount of information about the image also increases.
따라서 기존의 유무선 광대역 회선과 같은 매체를 이용하여 영상 정보를 전송하거나 기존의 저장 매체를 이용해 영상 정보를 저장하는 경우에는, 정보의 전송 비용과 저장 비용이 증가하게 된다. Therefore, when image information is transmitted using a medium such as a conventional wired / wireless broadband line or when image information is stored using an existing storage medium, the transmission cost and the storage cost of information increase.
고해상도, 고품질 영상의 정보를 효과적으로 전송하거나 저장하고, 재생하기 위해 고효율의 영상 압축 기술을 이용할 수 있다.High-efficiency image compression technology can be used to effectively transmit, store, and reproduce high-resolution, high-quality video information.
영상 압축의 효율을 높이기 위해, 인터 예측과 인트라 예측을 이용할 수 있다. 인터 예측(inter prediction) 방법에서는 다른 픽처의 정보를 참조하여 현재 픽처(picture)의 픽셀값을 예측하며, 인트라 예측(intra prediction) 방법에서는 동일한 픽처 내에서 픽셀 간 연관 관계를 이용하여 픽셀값을 예측한다.In order to increase the efficiency of image compression, inter prediction and intra prediction may be used. In the inter prediction method, the pixel value of the current picture is predicted by referring to information of another picture, and in the intra prediction method, the pixel value is predicted by using the correlation between pixels in the same picture. do.
인터 예측을 적용하는 경우에, 인코딩 장치와 디코딩 장치는 현재 블록(현재 픽처)가 이용할 수 있는 참조 픽처들을 지시하는 참조 픽처 리스트에 기반해서 예측을 수행한다.In the case of applying inter prediction, the encoding apparatus and the decoding apparatus perform prediction based on a reference picture list indicating reference pictures available to the current block (current picture).
참조 픽처 리스트를 구성하기 위한 정보는 인코딩 장치로부터 디코딩 장치로 전송된다. 디코딩 장치는 인코딩 장치로부터 수신한 정보를 기반으로 참조 픽처 리스트를 구성해서 인터 예측을 효과적으로 수행할 수 있다.Information for constructing the reference picture list is transmitted from the encoding device to the decoding device. The decoding apparatus may effectively perform inter prediction by constructing a reference picture list based on information received from the encoding apparatus.
본 발명은 예측을 보다 효율적으로 수행하기 위한 참조 픽처 리스트를 구성하는 방법 및 장치를 제공하는 것을 목적으로 한다.An object of the present invention is to provide a method and apparatus for constructing a reference picture list for performing prediction more efficiently.
본 발명은 참조 픽처 리스트를 초기화하여 구성하는 방법으로서, 참조 픽처들의 POC(Picture Order Count) 뿐만 아니라, 양자화 파라미터를 고려하는 방법 및 장치를 제공하는 것을 목적으로 한다.The present invention is a method of initializing and configuring a reference picture list, and an object thereof is to provide a method and apparatus for considering a quantization parameter as well as a picture order count (POC) of reference pictures.
본 발명은 참조 픽처 리스트를 초기화하여 구성하는 방법으로서, 참조 픽처들의 POC(Picture Order Count) 뿐만 아니라, 시간적 레벨을 고려하는 방법 및 장치를 제공하는 것을 목적으로 한다.The present invention is a method of initializing and configuring a reference picture list, and an object thereof is to provide a method and apparatus that considers a temporal level as well as a picture order count (POC) of reference pictures.
본 발명의 일 실시형태는 참조 픽처 리스트 초기화 방법으로서, 현재 픽처에 대한 인터 예측을 위하여, 참조 픽처를 각 참조 픽처들의 POC(Picture Order Count)에 따라서 정렬하는 단계 및 상기 정렬된 픽처들 중에서 상기 현재 픽처의 예측에 사용될 참조 픽처들을 선택하는 단계를 포함하며, 상기 선택 단계에서는 참조 픽처들의 양자화 파라미터를 기반으로 참조 픽처들을 선택할 수 있다.An embodiment of the present invention is a method of initializing a reference picture list, the method comprising: aligning reference pictures according to picture order counts (POCs) of respective reference pictures for inter prediction on a current picture, and among the sorted pictures Selecting reference pictures to be used for prediction of the picture, wherein the selecting step may select reference pictures based on quantization parameters of the reference pictures.
상기 선택 단계에서는, 상기 정렬된 참조 픽처들 중에서 상기 현재 픽처의 양자화 파라미터보다 작거나 같은 양자화 파라미터를 가지는 참조 픽처들을 선택할 수 있다.In the selecting step, reference pictures having a quantization parameter less than or equal to the quantization parameter of the current picture may be selected among the aligned reference pictures.
상기 선택 단계에서는, 상기 정렬된 참조 픽처들 중에서 상기 현재 픽처의 시간적 레벨보다 낮거나 같은 시간적 레벨을 가지는 참조 픽처들을 선택할 수도 있다.In the selecting step, reference pictures having a temporal level lower than or equal to the temporal level of the current picture may be selected among the aligned reference pictures.
상기 선택된 참조 픽처들 간에는 상기 정렬 단계에서 결정된 정렬 순서를 유지할 수 있다.The sort order determined in the sorting step may be maintained between the selected reference pictures.
상기 현재 픽처에 대한 참조 픽처 리스트 0의 초기화에서는, 상기 선택된 참조 픽처들이 POC의 내림차순으로 정렬될 수 있으며, 상기 현재 픽처에 대한 참조 픽처 리스트 1의 초기화에서는, 상기 선택된 참조 픽처들이 POC의 오름차순으로 정렬될 수 있다.In the initialization of the reference picture list 0 for the current picture, the selected reference pictures may be sorted in descending order of the POC. In the initialization of the reference picture list 1 for the current picture, the selected reference pictures are sorted in the ascending order of the POC. Can be.
상기 정렬 단계에서 정렬되는 참조 픽처들은 적어도 하나의 단기 참조 픽처와 적어도 하나의 장기 참조 픽처일 수 있다.Reference pictures aligned in the alignment step may be at least one short-term reference picture and at least one long-term reference picture.
장기 참조 픽처가 현재 픽처에 대하여 참조 픽처로서 이용되는 경우에는, 이용되는 것으로 결정된 장기 참조 픽처들이 선택된 참조 픽처들에 이어서 정렬될 수 있다.If a long-term reference picture is used as the reference picture for the current picture, the long-term reference pictures determined to be used may be aligned following the selected reference pictures.
상기 선택 단계에서 선택되지 않은 참조 픽처들은, 상기 선택된 참조 픽처들에 이어서 정렬될 수 있다.Reference pictures that are not selected in the selecting step may be aligned next to the selected reference pictures.
본 발명의 다른 실시형태는 참조 픽처 리스트 초기화 장치로서, 현재 픽처에 대한 인터 예측을 위하여, 참조 픽처를 각 참조 픽처들의 POC(Picture Order Count)에 따라서 정렬하는 참조 픽처 정렬부 및 상기 정렬된 픽처들 중에서 상기 현재 픽처의 예측에 사용될 참조 픽처들을 참조 픽처들을 선택하는 참조 픽처 선택부를 포함하며, 상기 참조 픽처 선택부에서는 참조 픽처들의 양자화 파라미터를 기반으로 참조 픽처를 선택할 수 있다.Another embodiment of the present invention is a reference picture list initialization apparatus, comprising: a reference picture alignment unit for arranging a reference picture according to a picture order count (POC) of each reference picture for inter prediction on a current picture and the aligned pictures And a reference picture selector that selects reference pictures for reference pictures to be used for prediction of the current picture, wherein the reference picture selector may select a reference picture based on quantization parameters of the reference pictures.
상기 참조 픽처 선택부는, 상기 정렬된 참조 픽처들 중에서 상기 현재 픽처의 양자화 파라미터보다 작거나 같은 양자화 파라미터를 가지는 참조 픽처들을 선택할 수 있다.The reference picture selector may select reference pictures having a quantization parameter that is less than or equal to the quantization parameter of the current picture among the aligned reference pictures.
상기 참조 픽처 선택부는, 상기 정렬된 참조 픽처들 중에서 상기 현재 픽처의 시간적 레벨보다 낮거나 같은 시간적 레벨을 가지는 참조 픽처들을 선택할 수도 있다.The reference picture selector may select reference pictures having a temporal level lower than or equal to the temporal level of the current picture among the aligned reference pictures.
상기 참조 픽처 선택부가 선택한 픽처들 간에는 상기 참조 픽처 정렬부가 결정한 정렬 순서가 유지될 수 있다.An alignment order determined by the reference picture alignment unit may be maintained between the pictures selected by the reference picture selection unit.
상기 현재 픽처에 대한 참조 픽처 리스트 0에 대하여는, 상기 선택된 참조 픽처들이 POC의 내림차순으로 정렬될 수 있으며, 상기 현재 픽처에 대한 참조 픽처 리스트 1에 대하여는, 상기 선택된 참조 픽처들이 POC의 오름차순으로 정렬될 수 있다.For reference picture list 0 for the current picture, the selected reference pictures may be sorted in descending order of POC, and for reference picture list 1 for the current picture, the selected reference pictures may be sorted in ascending order of POC. have.
상기 참조 픽처 정렬부는 적어도 하나의 단기 참조 픽처와 적어도 하나의 장기 참조 픽처를 정렬할 수 있다.The reference picture aligner may align at least one short-term reference picture and at least one long-term reference picture.
장기 참조 픽처가 현재 픽처에 대하여 참조 픽처로서 이용되는 경우에, 상기 참조 픽처 선택부는 상기 선택된 참조 픽처들에 이어서 장기 참조 픽처를 정렬할 수 있다.When a long term reference picture is used as a reference picture with respect to a current picture, the reference picture selector may align the long term reference picture following the selected reference pictures.
상기 참조 픽처 선택부는, 선택하지 않는 참조 픽처들을 상기 선택된 참조 픽처들에 이어서 정렬할 수 있다.The reference picture selector may align the non-selected reference pictures after the selected reference pictures.
본 발명에 의하면, 참조 픽처 리스트를 구성함에 있어서, 더 정확한 예측 결과를 얻을 수 있도록 참조 픽처 리스트 내 참조 픽처의 정렬 순서(인덱싱 순서)를 결정할 수 있다.According to the present invention, in constructing the reference picture list, it is possible to determine the sorting order (indexing order) of the reference pictures in the reference picture list so as to obtain a more accurate prediction result.
본 발명에 의하면, 참조 픽처 리스트를 초기화하여 구성할 때, 참조 픽처들의 POC(Picture Order Count) 뿐만 아니라, 양자화 파라미터를 고려함으로써, 더 효과적으로 예측이 수행될 수 있다. According to the present invention, when initializing and configuring a reference picture list, prediction can be performed more effectively by considering not only the Picture Order Count (POC) of the reference pictures but also the quantization parameter.
본 발명에 의하면, 참조 픽처 리스트를 초기화하여 구성할 때, 참조 픽처들의 POC(Picture Order Count) 뿐만 아니라, 시간적 레벨을 고려함으로써, 더 효과적으로 예측이 수행될 수 있다.According to the present invention, when initializing and configuring a reference picture list, prediction can be performed more effectively by considering not only the Picture Order Count (POC) of the reference pictures but also the temporal level.
도 1은 본 발명의 일 실시예에 따른 인코딩 장치(영상 부호화 장치)를 개략적으로 도시한 블록도이다.1 is a block diagram schematically illustrating an encoding apparatus (video encoding apparatus) according to an embodiment of the present invention.
도 2는 본 발명의 일 실시예에 따른 영상 디코딩 장치를 개략적으로 나타낸 블록도이다.2 is a block diagram schematically illustrating an image decoding apparatus according to an embodiment of the present invention.
도 3은 현재 블록에 대하여 인터 예측을 수행하는 경우에 이용할 수 있는 후보 블록의 일 예를 개략적으로 설명하는 도면이다. 3 is a diagram schematically illustrating an example of a candidate block that may be used when inter prediction is performed on a current block.
도 4는 참조 픽처들의 시간적 레벨(Temporal Level) 구조를 개략적으로 설명하는 도면이다.4 is a diagram schematically illustrating a temporal level structure of reference pictures.
도 5는 본 발명에 의한 참조 픽처 리스트 초기화의 일 예를 개략적으로 설명하는 도면이다.5 is a diagram schematically illustrating an example of reference picture list initialization according to the present invention.
도 6은 본 발명에 의한 참조 픽처 리스트 초기화의 다른 예를 개략적으로 설명하는 도면이다.6 is a diagram schematically illustrating another example of initialization of a reference picture list according to the present invention.
도 7은 본 발명에 따라서 참조 픽처 리스트의 초기화를 수행하는 방법을 개략적으로 설명하는 순서도이다.7 is a flowchart schematically illustrating a method of performing initialization of a reference picture list according to the present invention.
도 8은 본 발명에 따라서 참조 픽처 리스트의 초기화를 수행하는 장치를 개략적으로 나타낸 것이다.8 schematically illustrates an apparatus for performing initialization of a reference picture list according to the present invention.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니다. 본 명세서에서 사용하는 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명의 기술적 사상을 한정하려는 의도로 사용되는 것은 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.As the present invention allows for various changes and numerous embodiments, particular embodiments will be illustrated in the drawings and described in detail in the written description. However, this is not intended to limit the invention to the specific embodiments. The terminology used herein is for the purpose of describing particular example embodiments only and is not intended to be limiting of the spirit of the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In this specification, terms such as "comprise" or "have" are intended to indicate that there is a feature, number, step, action, component, part, or combination thereof described on the specification, and one or more other features. It is to be understood that the present invention does not exclude the possibility of the presence or the addition of numbers, steps, operations, components, components, or a combination thereof.
한편, 본 발명에서 설명되는 도면상의 각 구성들은 영상 인코딩 장치/디코딩 장치에서 서로 다른 특징적인 기능들에 관한 설명의 편의를 위해 독립적으로 도시된 것으로서, 각 구성들이 서로 별개의 하드웨어나 별개의 소프트웨어로 구현된다는 것을 의미하지는 않는다. 예컨대, 각 구성 중 두 개 이상의 구성이 합쳐져 하나의 구성을 이룰 수도 있고, 하나의 구성이 복수의 구성으로 나뉘어질 수도 있다. 각 구성이 통합 및/또는 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.On the other hand, each of the components in the drawings described in the present invention are shown independently for the convenience of description of different characteristic functions in the image encoding apparatus / decoding apparatus, each component is a separate hardware or separate software It does not mean that it is implemented. For example, two or more of each configuration may be combined to form one configuration, or one configuration may be divided into a plurality of configurations. Embodiments in which each configuration is integrated and / or separated are also included in the scope of the present invention without departing from the spirit of the present invention.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성 요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성 요소에 대해서 중복된 설명은 생략한다.Hereinafter, with reference to the accompanying drawings, it will be described in detail a preferred embodiment of the present invention. Hereinafter, the same reference numerals are used for the same components in the drawings, and redundant description of the same components is omitted.
도 1은 본 발명의 일 실시예에 따른 인코딩 장치(영상 부호화 장치)를 개략적으로 도시한 블록도이다. 도 1을 참조하면, 인코딩 장치(100)는 픽처 분할부(105), 예측부(110), 변환부(115), 양자화부(120), 재정렬부(125), 엔트로피 인코딩부(130), 역양자화부(135), 역변환부(140), 필터부(145) 및 메모리(150)를 구비한다. 1 is a block diagram schematically illustrating an encoding apparatus (video encoding apparatus) according to an embodiment of the present invention. Referring to FIG. 1, the encoding apparatus 100 may include a picture divider 105, a predictor 110, a transformer 115, a quantizer 120, a reordering unit 125, an entropy encoding unit 130, An inverse quantization unit 135, an inverse transform unit 140, a filter unit 145, and a memory 150 are provided.
픽처 분할부(105)는 입력된 픽처를 적어도 하나의 처리 단위 블록으로 분할할 수 있다. 이때, 처리 단위로서의 블록은 예측 유닛(Prediction Unit, 이하 ‘PU’라 함)일 수도 있고, 변환 유닛(Transform Unit, 이하 ‘TU’라 함)일 수도 있으며, 코딩 유닛(Coding Unit, 이하 ‘CU’라 함)일 수도 있다. The picture dividing unit 105 may divide the input picture into at least one processing unit block. In this case, the block as the processing unit may be a prediction unit (hereinafter referred to as a PU), a transform unit (hereinafter referred to as a TU), or a coding unit (hereinafter referred to as "CU"). It may be called.
예측부(110)는 후술하는 바와 같이, 인터 예측을 수행하는 인터 예측부와 인트라 예측을 수행하는 인트라 예측부를 포함한다. 예측부(110)는, 픽처 분할부(105)에서 픽처의 처리 단위에 대하여 예측을 수행하여 예측 블록을 생성한다. 예측부(110)에서 픽처의 처리 단위는 CU일 수도 있고, TU일 수도 있고, PU일 수도 있다. 또한, 예측부(110)는 해당 처리 단위에 대하여 실시되는 예측이 인터 예측인지 인트라 예측인지를 결정하고, 각 예측 방법의 구체적인 내용(예컨대, 예측 모드 등)을 정할 수 있다. 이때, 예측이 수행되는 처리 단위와 예측 방법 및 예측 방법의 구체적인 내용이 정해지는 처리 단위는 다를 수 있다. 예컨대, 예측의 방법과 예측 모드 등은 PU 단위로 결정되고, 예측의 수행은 TU 단위로 수행될 수도 있다. The predictor 110 includes an inter predictor for performing inter prediction and an intra predictor for performing intra prediction, as described below. The prediction unit 110 generates a prediction block by performing prediction on the processing unit of the picture in the picture division unit 105. The processing unit of the picture in the prediction unit 110 may be a CU, a TU, or a PU. In addition, the prediction unit 110 may determine whether the prediction performed on the processing unit is inter prediction or intra prediction, and determine specific contents (eg, prediction mode, etc.) of each prediction method. In this case, the processing unit in which the prediction is performed and the processing unit in which the details of the prediction method and the prediction method are determined may be different. For example, the prediction method and the prediction mode may be determined in units of PUs, and the prediction may be performed in units of TUs.
인터 예측을 통해서는 현재 픽처의 이전 픽처 및/또는 이후 픽처 중 적어도 하나의 픽처의 정보를 기초로 예측을 수행하여 예측 블록을 생성할 수 있다. 또한, 인트라 예측을 통해서는 현재 픽처 내의 픽셀 정보를 기초로 예측을 수행하여 예측 블록을 생성할 수 있다. Through inter prediction, a prediction block may be generated by performing prediction based on information of at least one picture of a previous picture and / or a subsequent picture of the current picture. In addition, through intra prediction, a prediction block may be generated by performing prediction based on pixel information in a current picture.
인터 예측의 방법으로서, 스킵(skip) 모드, 머지(merge) 모드, MVP(Motion Vector Predtiction) 등을 이용할 수 있다. 인터 예측에서는 PU에 대하여, 참조 픽처를 선택하고 PU와 동일한 크기의 참조 블록을 선택할 수 있다. 참조 블록은 정수 픽셀 단위로 선택될 수 있다. 이어서, 현재 PU와의 레지듀얼(residual) 신호가 최소화되며 움직임 벡터 크기 역시 최소가 되는 예측 블록이 생성된다.As a method of inter prediction, a skip mode, a merge mode, a motion vector prediction (MVP), and the like can be used. In inter prediction, a reference picture may be selected for a PU and a reference block having the same size as the PU may be selected. The reference block may be selected in integer pixel units. Subsequently, a prediction block is generated in which a residual signal with the current PU is minimized and the size of the motion vector is also minimized.
예측 블록은 정수 샘플 단위로 생성될 수도 있고, 1/2 픽셀 단위 또는 1/4 픽셀 단위와 같이 정수 이하 픽셀 단위로 생성될 수도 있다. 이때, 움직임 벡터 역시 정수 픽셀 이하의 단위로 표현될 수 있다. 예컨대 휘도 샘플에 대해서는 1/4 픽셀 단위로, 색차 샘플에 대해서는 1/8 픽셀 단위로 표현될 수 있다. The prediction block may be generated in integer sample units, or may be generated in sub-pixel units such as 1/2 pixel unit or 1/4 pixel unit. In this case, the motion vector may also be expressed in units of integer pixels or less. For example, it may be expressed in units of 1/4 pixels for luminance samples and in units of 1/8 pixels for chrominance samples.
인터 예측을 통해 선택된 참조 픽처의 인덱스, 움직임 벡터(ex. Motion Vector Predictor), 레지듀얼 신호 등의 정보는 엔트로피 인코딩되어 디코딩 장치에 전달된다. 스킵 모드가 적용되는 경우에는 레지듀얼을 예측 블록을 복원 블록으로 할 수 있으므로, 레지듀얼을 생성, 변환, 양자화, 전송하지 않을 수 있다. Information such as an index, a motion vector predictor, and a residual signal of a reference picture selected through inter prediction is entropy encoded and delivered to the decoding apparatus. When the skip mode is applied, the residual may be used as the reconstructed block, and thus the residual may not be generated, transformed, quantized, or transmitted.
인트라 예측을 수행하는 경우에는, PU 단위로 예측 모드가 정해져서 PU 단위로 예측이 수행될 수 있다. 또한, PU 단위로 예측 모드가 정해지고 TU 단위로 인트라 예측이 수행될 수도 있다. When performing intra prediction, a prediction mode may be determined in units of PUs, and prediction may be performed in units of PUs. In addition, a prediction mode may be determined in units of PUs, and intra prediction may be performed in units of TUs.
인트라 예측에서 예측 모드는 33개의 방향성 예측 모드와 적어도 2개 이상의 비방향성 모드를 가질 수 있다. 비향성성 모드는 DC 예측 모드 및 플래이너 모드(Planar 모드)을 포함할 수 있다. In intra prediction, the prediction mode may have 33 directional prediction modes and at least two non-directional modes. The non-directional mode may include a DC prediction mode and a planner mode (Planar mode).
인트라 예측에서는 참조 샘플에 필터를 적용한 후 예측 블록을 생성할 수 있다. 이때, 참조 샘플에 필터를 적용할 것인지는 현재 블록의 인트라 예측 모드 및/또는 사이즈에 따라 결정될 수 있다.In intra prediction, a prediction block may be generated after applying a filter to a reference sample. In this case, whether to apply the filter to the reference sample may be determined according to the intra prediction mode and / or the size of the current block.
PU는 다양한 사이즈/형태의 블록일 수 있으며, 예컨대 인터 예측의 경우에 PU는 2N×2N 블록, 2N×N 블록, N×2N 블록, 또는 N×N 블록 (N은 정수) 등일 수 있다. 인트라 예측의 경우에 PU는 2N×2N 블록 또는 N×N 블록 (N은 정수) 등일 수 있다. 이때, N×N 블록 크기의 PU는 특정한 경우에만 적용하도록 설정할 수 있다. 예컨대 최소 크기 CU에 대해서만 NxN 블록 크기의 PU를 이용하도록 정하거나 인트라 예측에 대해서만 이용하도록 정할 수도 있다. 또한, 상술한 크기의 PU 외에, N×mN 블록, mN×N 블록, 2N×mN 블록 또는 mN×2N 블록 (m<1) 등의 PU를 더 정의하여 사용할 수도 있다.The PU may be a block of various sizes / types, for example, in the case of inter prediction, the PU may be a 2N × 2N block, a 2N × N block, an N × 2N block, an N × N block (N is an integer), or the like. In the case of intra prediction, the PU may be a 2N × 2N block or an N × N block (where N is an integer). In this case, the PU of the N × N block size may be set to apply only in a specific case. For example, the NxN block size PU may be used only for the minimum size CU or only for intra prediction. In addition to the above-described PUs, PUs such as N × mN blocks, mN × N blocks, 2N × mN blocks, or mN × 2N blocks (m <1) may be further defined and used.
생성된 예측 블록과 원본 블록 사이의 레지듀얼 값(레지듀얼 블록 또는 레지듀얼 신호)은 변환부(115)로 입력된다. 또한, 예측을 위해 사용한 예측 모드 정보, 움직임 벡터 정보 등은 레지듀얼 값과 함께 엔트로피 인코딩부(130)에서 인코딩되어 디코딩 장치에 전달된다. The residual value (the residual block or the residual signal) between the generated prediction block and the original block is input to the converter 115. In addition, the prediction mode information, the motion vector information, etc. used for the prediction are encoded by the entropy encoding unit 130 together with the residual value and transmitted to the decoding apparatus.
변환부(115)는 변환 단위로 레지듀얼 블록에 대한 변환을 수행하고 변환 계수를 생성한다. 변환부(115)에서의 변환 단위는 TU일 수 있으며, 쿼드 트리(quad tree) 구조를 가질 수 있다. 이때, 변환 단위의 크기는 소정의 최대 및 최소 크기의 범위 내에서 정해질 수 있다. 변환부(115)는 레지듀얼 블록을 DCT(Discrete Cosine Transform) 및/또는 DST(Discrete Sine Transform)를 이용하여 변환할 수 있다. The transformer 115 performs transform on the residual block in transform units and generates transform coefficients. The transform unit in the converter 115 may be a TU and may have a quad tree structure. In this case, the size of the transform unit may be determined within a range of a predetermined maximum and minimum size. The transform unit 115 may convert the residual block using a discrete cosine transform (DCT) and / or a discrete sine transform (DST).
양자화부(120)는 변환부(115)에서 변환된 레지듀얼 값들을 양자화하여 양자화 파라미터를 생성할 수 있다. 양자화부(120)에서 산출된 값은 역양자화부(135)와 재정렬부(125)에 제공된다. The quantization unit 120 may generate a quantization parameter by quantizing the residual values transformed by the transformation unit 115. The value calculated by the quantization unit 120 is provided to the inverse quantization unit 135 and the reordering unit 125.
재정렬부(125)는 양자화부(120)로부터 제공된 양자화 파라미터를 재정렬한다. 양자화 파라미터를 재정렬함으로써 엔트로피 인코딩부(130)에서의 인코딩 효율을 높일 수 있다. 재정렬부(125)는 계수 스캐닝(Coefficient Scanning) 방법을 통해 2차원 블록 형태의 양자화 파라미터들을 1차원의 벡터 형태로 재정렬할 수 있다. 재정렬부(125)에서는 양자화부에서 전송된 계수들의 확률적인 통계를 기반으로 계수 스캔닝의 순서를 변경함으로써 엔트로피 인코딩부(130)에서의 엔트로피 인코딩 효율을 높일 수도 있다.The reordering unit 125 rearranges the quantization parameter provided from the quantization unit 120. By rearranging the quantization parameters, the encoding efficiency of the entropy encoding unit 130 may be increased. The reordering unit 125 may rearrange the quantization parameters in the form of a 2D block into a 1D vector form through a coefficient scanning method. The reordering unit 125 may increase the entropy encoding efficiency of the entropy encoding unit 130 by changing the order of coefficient scanning based on probabilistic statistics of coefficients transmitted from the quantization unit.
엔트로피 인코딩부(130)는 재정렬부(125)에 의해 재정렬된 양자화 파라미터들에 대한 엔트로피 인코딩을 수행할 수 있다. 엔트로피 인코딩에는 예를 들어, 지수 골롬(Exponential Golomb), CAVLC(Context-Adaptive Variable Length Coding), CABAC(Context-Adaptive Binary Arithmetic Coding) 등과 같은 인코딩 방법을 사용할 수 있다. 엔트로피 인코딩부(130)는 재정렬부(125) 및 예측부(110)로부터 전달받은 CU의 양자화 파라미터 정보 및 블록 타입 정보, 예측 모드 정보, 분할 단위 정보, PU 정보 및 전송 단위 정보, 움직임 벡터 정보, 참조 픽처 정보, 블록의 보간 정보, 필터링 정보 등 다양한 정보를 인코딩할 수 있다. The entropy encoding unit 130 may perform entropy encoding on the quantization parameters rearranged by the reordering unit 125. Entropy encoding may include, for example, encoding methods such as Exponential Golomb, Context-Adaptive Variable Length Coding (CAVLC), and Context-Adaptive Binary Arithmetic Coding (CABAC). The entropy encoding unit 130 may include quantization parameter information, block type information, prediction mode information, partition unit information, PU information, transmission unit information, motion vector information, and the like of the CUs received from the reordering unit 125 and the prediction unit 110. Various information such as reference picture information, interpolation information of a block, and filtering information may be encoded.
또한, 엔트로피 인코딩부(130)는 필요한 경우에, 전송하는 파라미터 셋(parameter set) 또는 신택스에 일정한 변경을 가할 수도 있다. In addition, if necessary, the entropy encoding unit 130 may apply a constant change to a parameter set or syntax to be transmitted.
역양자화부(135)는 양자화부(120)에서 양자화된 값들을 역양자화하고, 역변환부(140)는 역양자화부(135)에서 역양자화된 값들을 역변환한다. 역양자화부(135) 및 역변환부(140)에서 생성된 레지듀얼 값과 예측부(110)에서 예측된 예측 블록이 합쳐져 복원 블록(Reconstructed Block)이 생성될 수 있다. The inverse quantization unit 135 inverse quantizes the quantized values in the quantization unit 120, and the inverse transformer 140 inversely transforms the inverse quantized values in the inverse quantization unit 135. The reconstructed block may be generated by combining the residual values generated by the inverse quantizer 135 and the inverse transform unit 140 and the prediction blocks predicted by the prediction unit 110.
도 1에서는 가산기를 통해서, 레지듀얼 블록과 예측 블록이 합쳐져 복원 블록이 생성되는 것으로 설명하고 있다. 이때, 가산기를 복원 블록을 생성하는 별도의 유닛(복원 블록 생성부)로 볼 수도 있다. In FIG. 1, it is described that a reconstructed block is generated by adding a residual block and a prediction block through an adder. In this case, the adder may be viewed as a separate unit (restore block generation unit) for generating a reconstruction block.
필터부(145)는 디블록킹 필터, ALF(Adaptive Loop Filter), SAO(Sample Adaptive Offset)를 복원된 픽처에 적용할 수 있다. The filter unit 145 may apply a deblocking filter, an adaptive loop filter (ALF), and a sample adaptive offset (SAO) to the reconstructed picture.
디블록킹 필터는 복원된 픽처에서 블록 간의 경계에 생긴 왜곡을 제거할 수 있다. ALF(Adaptive Loop Filter)는 디블록킹 필터를 통해 블록이 필터링된 후 복원된 영상과 원래의 영상을 비교한 값을 기초로 필터링을 수행할 수 있다. ALF는 고효율을 적용하는 경우에만 수행될 수도 있다. SAO는 디블록킹 필터가 적용된 레지듀얼 블록에 대하여, 픽셀 단위로 원본 영상과의 오프셋 차이를 복원하며, 밴드 오프셋(Band Offset), 에지 오프셋(Edge Offset) 등의 형태로 적용된다. The deblocking filter may remove distortion generated at the boundary between blocks in the reconstructed picture. The adaptive loop filter (ALF) may perform filtering based on a value obtained by comparing the reconstructed image with the original image after the block is filtered through the deblocking filter. ALF may be performed only when high efficiency is applied. The SAO restores the offset difference from the original image on a pixel-by-pixel basis to the residual block to which the deblocking filter is applied, and is applied in the form of a band offset and an edge offset.
한편, 인터 예측에 사용되는 복원 블록에 대해서 필터부(145)는 필터링을 적용하지 않을 수도 있다. Meanwhile, the filter unit 145 may not apply filtering to the reconstructed block used for inter prediction.
메모리(150)는 필터부(145)를 통해 산출된 복원 블록 또는 픽처를 저장할 수 있다. 메모리(150)에 저장된 복원 블록 또는 픽처는 인터 예측을 수행하는 예측부(110)에 제공될 수 있다. The memory 150 may store the reconstructed block or the picture calculated by the filter unit 145. The reconstructed block or picture stored in the memory 150 may be provided to the predictor 110 that performs inter prediction.
도 2는 본 발명의 일 실시예에 따른 영상 디코딩 장치를 개략적으로 나타낸 블록도이다. 도 2를 참조하면, 영상 디코딩 장치(200)는 엔트로피 디코딩부(210), 재정렬부(215), 역양자화부(220), 역변환부(225), 예측부(230), 필터부(235) 메모리(240)를 포함할 수 있다. 2 is a block diagram schematically illustrating an image decoding apparatus according to an embodiment of the present invention. Referring to FIG. 2, the image decoding apparatus 200 may include an entropy decoding unit 210, a reordering unit 215, an inverse quantization unit 220, an inverse transform unit 225, a prediction unit 230, and a filter unit 235. Memory 240 may be included.
영상 인코딩 장치에서 영상 비트스트림이 입력된 경우, 입력된 비트스트림은 영상 인코딩 장치에서 영상 정보가 처리된 절차에 따라서 디코딩될 수 있다.When an image bitstream is input in the image encoding apparatus, the input bitstream may be decoded according to a procedure in which image information is processed in the image encoding apparatus.
예컨대, 영상 인코딩 장치에서 엔트로피 인코딩을 수행하기 위해 CAVLC 등의 가변 길이 부호화(Variable Length Coding: VLC, 이하 ‘VLC’ 라 함)가 사용된 경우에, 엔트로피 디코딩부(210)도 인코딩 장치에서 사용한 VLC 테이블과 동일한 VLC 테이블로 구현하여 엔트로피 디코딩을 수행할 수 있다. 또한, 영상 인코딩 장치에서 엔트로피 인코딩을 수행하기 위해 CABAC을 이용한 경우에, 엔트로피 디코딩부(210)는 이에 대응하여 CABAC을 이용한 엔트로피 디코딩을 수행할 수 있다.For example, when variable length coding such as CAVLC (VLC) is used to perform entropy encoding in the image encoding apparatus, the entropy decoding unit 210 also uses the VLC used in the encoding apparatus. Entropy decoding may be performed by implementing the same VLC table as the table. In addition, when CABAC is used to perform entropy encoding in the image encoding apparatus, the entropy decoding unit 210 may perform entropy decoding using CABAC correspondingly.
엔트로피 디코딩부(210)에서 디코딩된 정보 중 예측 블록을 생성하기 위한 정보는 예측부(230)로 제공되고, 엔트로피 디코딩부(210)에서 엔트로피 디코딩이 수행된 레지듀얼 값은 재정렬부(215)로 입력될 수 있다. Information for generating the prediction block among the information decoded by the entropy decoding unit 210 is provided to the prediction unit 230, and the residual value where the entropy decoding is performed by the entropy decoding unit 210 is transferred to the reordering unit 215. Can be entered.
재정렬부(215)는 엔트로피 디코딩부(210)에서 엔트로피 디코딩된 비트스트림을 영상 인코딩 장치에서 재정렬한 방법을 기초로 재정렬할 수 있다. 재정렬부(215)는 1차원 벡터 형태로 표현된 계수들을 다시 2차원의 블록 형태의 계수로 복원하여 재정렬할 수 있다. 재정렬부(215)는 인코딩 장치에서 수행된 계수 스캐닝에 관련된 정보를 제공받고 인코딩 장치에서 수행된 스캐닝 순서에 기초하여 역으로 스캐닝하는 방법을 통해 재정렬을 수행할 수 있다. The reordering unit 215 may reorder the entropy decoded bitstream by the entropy decoding unit 210 based on a method of reordering the image encoding apparatus. The reordering unit 215 may reorder the coefficients expressed in the form of a one-dimensional vector by restoring the coefficients in the form of a two-dimensional block. The reordering unit 215 may be realigned by receiving information related to coefficient scanning performed by the encoding apparatus and performing reverse scanning based on the scanning order performed by the encoding apparatus.
역양자화부(220)는 인코딩 장치에서 제공된 양자화 파라미터와 재정렬된 블록의 계수값을 기초로 역양자화를 수행할 수 있다. The inverse quantization unit 220 may perform inverse quantization based on the quantization parameter provided by the encoding apparatus and the coefficient values of the rearranged block.
역변환부(225)는 영상 인코딩 장치에서 수행된 양자화 결과에 대해, 인코딩 장치의 변환부가 수행한 DCT 및 DST에 대해 역DCT 및/또는 역DST를 수행할 수 있다. 역변환은 인코딩 장치에서 결정된 전송 단위 또는 영상의 분할 단위를 기초로 수행될 수 있다. 인코딩 장치의 변환부에서 DCT 및/또는 DST는 예측 방법, 현재 블록의 크기 및 예측 방향 등 복수의 정보에 따라 선택적으로 수행될 수 있고, 디코딩 장치의 역변환부(225)는 인코딩 장치의 변환부에서 수행된 변환 정보를 기초로 역변환을 수행할 수 있다. The inverse transform unit 225 may perform inverse DCT and / or inverse DST on the DCT and the DST performed by the transform unit of the encoding apparatus with respect to the quantization result performed by the image encoding apparatus. The inverse transformation may be performed based on a transmission unit determined by the encoding apparatus or a division unit of an image. The DCT and / or DST in the encoding unit of the encoding apparatus may be selectively performed according to a plurality of pieces of information, such as a prediction method, a size and a prediction direction of the current block, and the inverse transform unit 225 of the decoding apparatus is configured in the transformation unit of the encoding apparatus. Inverse transformation may be performed based on the performed transformation information.
예측부(230)는 엔트로피 디코딩부(210)에서 제공된 예측 블록 생성 관련 정보와 메모리(240)에서 제공된 이전에 디코딩된 블록 및/또는 픽처 정보를 기초로 예측 블록을 생성할 수 있다. The prediction unit 230 may generate the prediction block based on the prediction block generation related information provided by the entropy decoding unit 210 and the previously decoded block and / or picture information provided by the memory 240.
현재 PU에 대한 예측 모드가 인트라 예측(intra prediction) 모드인 경우에, 현재 픽처 내의 픽셀 정보를 기초로 예측 블록을 생성하는 인트라 예측을 수행할 수 있다.When the prediction mode for the current PU is an intra prediction mode, intra prediction for generating a prediction block based on pixel information in the current picture may be performed.
현재 PU에 대한 예측 모드가 인터 예측(inter prediction) 모드인 경우에, 현재 픽처의 이전 픽처 또는 이후 픽처 중 적어도 하나의 픽처에 포함된 정보를 기초로 현재 PU에 대한 인터 예측을 수행할 수 있다. 이때, 영상 인코딩 장치에서 제공된 현재 PU의 인터 예측에 필요한 움직임 정보, 예컨대 움직임 벡터, 참조 픽처 인덱스 등에 관한 정보는 인코딩 장치로부터 수신한 스킵 플래그, 머지 플래그 등을 확인하고 이에 대응하여 유도될 수 있다. When the prediction mode for the current PU is an inter prediction mode, inter prediction on the current PU may be performed based on information included in at least one of a previous picture or a subsequent picture of the current picture. In this case, motion information required for inter prediction of the current PU provided by the image encoding apparatus, for example, a motion vector, a reference picture index, and the like, may be derived by checking a skip flag, a merge flag, and the like received from the encoding apparatus.
복원 블록은 예측부(230)에서 생성된 예측 블록과 역변환부(225)에서 제공된 레지듀얼 블록을 이용해 생성될 수 있다. 도 2에서는 가산기에서 예측 블록과 레지듀얼 블록이 합쳐져 복원 블록이 생성되는 것으로 설명하고 있다. 이때, 가산기를 복원 블록을 생성하는 별도의 유닛(복원 블록 생성부)로 볼 수 있다. The reconstruction block may be generated using the prediction block generated by the predictor 230 and the residual block provided by the inverse transform unit 225. In FIG. 2, it is described that the reconstructed block is generated by combining the prediction block and the residual block in the adder. In this case, the adder may be viewed as a separate unit (restore block generation unit) for generating a reconstruction block.
스킵 모드가 적용되는 경우에는 레지듀얼이 전송되지 않으며 예측 블록을 복원 블록으로 할 수 있다.When the skip mode is applied, the residual is not transmitted and the prediction block may be a reconstruction block.
복원된 블록 및/또는 픽처는 필터부(235)로 제공될 수 있다. 필터부(235)는 복원된 블록 및/또는 픽처에 디블록킹 필터링, SAO(Sample Adaptive Offset) 및/또는 ALF 등을 적용할 수 있다. The reconstructed block and / or picture may be provided to the filter unit 235. The filter unit 235 may apply deblocking filtering, sample adaptive offset (SAO), and / or ALF to the reconstructed block and / or picture.
메모리(240)는 복원된 픽처 또는 블록을 저장하여 참조 픽처 또는 참조 블록으로 사용할 수 있도록 할 수 있고 또한 복원된 픽처를 출력부로 제공할 수 있다.The memory 240 may store the reconstructed picture or block to use as a reference picture or reference block and provide the reconstructed picture to the output unit.
한편, 인코딩되거나 디코딩된 픽처들은 메모리, 예컨대 DPB(Decoded Picture Buffer)에 저장된다. 현재 픽처를 인코딩하거나 디코딩하는 경우에, 현재 픽처에 대한 예측을 수행하기 위해 DPB에 저장된 이전의 픽처들을 참조하게 된다. On the other hand, encoded or decoded pictures are stored in a memory, for example, a decoded picture buffer (DPB). In the case of encoding or decoding the current picture, reference is made to previous pictures stored in the DPB to perform prediction on the current picture.
구체적으로 인코딩 장치와 디코딩 장치는 인터 예측에 사용하기 위해 이전에 코딩/디코딩된 픽처들의 리스트를 참조 픽처 리스트에 유지할 수 있다. In detail, the encoding apparatus and the decoding apparatus may maintain a list of previously coded / decoded pictures in the reference picture list for use in inter prediction.
인터 예측이 적용되는 경우에, 인코딩 장치와 디코딩 장치는 다른 픽처를 참조하여 현재 픽처의 대상 블록(현재 블록)에 대한 예측을 수행할 수 있다. 인터 예측은 도 1 및 도 2에 도시된 바와 같이, 인코딩 장치와 디코딩 장치 내 예측부에서 수행할 수도 있다. When inter prediction is applied, the encoding apparatus and the decoding apparatus may perform prediction with respect to a target block (current block) of the current picture with reference to another picture. 1 and 2, inter prediction may be performed by a prediction unit in an encoding apparatus and a decoding apparatus.
인터 예측을 수행하는 경우에는, 현재 블록에 인접하고 이용 가능한(available) 주변 블록의 정보를 이용하여 현재 블록을 예측한다. 이 때, 주변 블록은 현재 블록이 참조할 수 있는 참조 픽처들에서 현재 블록과 동일한 위치에 있는(co-located) 블록들 중 이용 가능한 블록(이하, 설명의 편의를 위해 ‘Col 블록’(co-located block)이라 함)을 포함한다. In the case of performing inter prediction, the current block is predicted by using information of neighboring blocks that are adjacent to the current block and are available. In this case, the neighboring block is available among the blocks co-located with the current block in reference pictures to which the current block can refer (hereinafter, referred to as 'col block' (co- located blocks).
인터 예측에서 현재 블록에 대한 예측을 수행하기 위해 이용하는 주변 블록을 설명의 편의를 위해 ‘후보 블록’이라고 한다. The neighboring block used to perform prediction on the current block in inter prediction is referred to as a candidate block for convenience of description.
인터 예측에서는 후보 블록의 정보를 이용하여 현재 블록에 대한 예측을 수행한다. 스킵 모드 또는 머지 모드의 경우에는, 후보 블록 중 선택된 블록에 대한 움직임 정보(예컨대, 움직임 벡터)와 참조 픽처를 현재 블록에 대한 움직임 정보와 참조 픽처로 이용할 수 있다. Col 블록을 후보 블록으로 이용하는 경우에는 참조 픽처 리스트에서 특정 인덱스의 픽처를 참조 픽처로 이용하도록 할 수도 있다.In inter prediction, prediction of a current block is performed using information of a candidate block. In the skip mode or the merge mode, motion information (eg, a motion vector) and a reference picture of a selected block among candidate blocks may be used as motion information and a reference picture for the current block. When a Col block is used as a candidate block, a picture of a specific index may be used as a reference picture in the reference picture list.
MVP를 이용하는 경우에는, 후보 블록 중 선택된 블록에 대한 움직임 정보(예컨대, 움직임 벡터)를 현재 블록에 대한 움직임 벡터로 이용하고 현재 블록에 대한 참조 픽처 정보는 인코딩 장치로부터 디코딩 장치로 전송될 수 있다. 후보 블록으로부터 유도된 MVP와 현재 블록에 대한 움직임 벡터의 차이 MVD는 인코딩 장치로부터 디코딩 장치로 전송되며, 디코딩 장치의 예측부는 MVP와 MVD를 기반으로 현재 블록에 대한 움직임 정보를 유도할 수 있다.When using MVP, motion information (eg, a motion vector) of a selected block among candidate blocks may be used as a motion vector for the current block, and reference picture information for the current block may be transmitted from the encoding device to the decoding device. The difference between the MVP derived from the candidate block and the motion vector for the current block is transmitted from the encoding device to the decoding device, and the prediction unit of the decoding device may derive the motion information for the current block based on the MVP and the MVD.
도 3은 현재 블록에 대하여 인터 예측을 수행하는 경우에 이용할 수 있는 후보 블록의 일 예를 개략적으로 설명하는 도면이다. 3 is a diagram schematically illustrating an example of a candidate block that may be used when inter prediction is performed on a current block.
인코딩 장치 및 디코딩 장치의 예측부는 현재 블록(400) 주변 소정 위치의 블록을 후보 블록으로 이용할 수 있다. 예컨대, 도 3의 예에서는 현재 블록의 좌하단에 위치하는 두 블록 A0(410)와 A1(420) 그리고 현재 블록 우상단과 좌상단의 세 블록 B0(430), B1(440), B2(450)을 후보 블록으로 선택할 수 있다. 또한, 공간적으로 인접하는 블록 외에 시간적인 후보 블록으로서, 상술한 Col 블록(460)을 후보 블록으로 이용할 수 있다. The prediction unit of the encoding apparatus and the decoding apparatus may use a block at a predetermined position around the current block 400 as a candidate block. For example, in the example of FIG. 3, two blocks A 0 410 and A 1 420 located at the lower left end of the current block, and three blocks B 0 430, B 1 440, B located at the upper right and upper left of the current block. 2 450 may be selected as a candidate block. In addition to the spatially adjacent blocks, the above-described Col block 460 may be used as a candidate block as a temporal candidate block.
한편, 인터 예측에 사용되는 참조 픽처에 관해서, 현재 블록에 대한 참조 픽처는 주변 블록의 참조 픽처로부터 유도되거나 디코딩 장치로부터 지시될 수 있다. 스킵 모드 또는 머지 모드의 경우에, 디코딩 장치의 예측부는 주변 블록의 참조 픽처를 현재 블록의 참조 픽처로 이용할 수 있다. MVP를 이용하는 경우에, 디코딩 장치의 예측부는 현재 블록에 대한 참조 픽처를 지시하는 정보를 인코딩 장치로부터 수신할 수 있다. On the other hand, with respect to the reference picture used for inter prediction, the reference picture for the current block may be derived from the reference picture of the neighboring block or may be indicated from the decoding apparatus. In the skip mode or the merge mode, the prediction unit of the decoding apparatus may use the reference picture of the neighboring block as the reference picture of the current block. In case of using MVP, the prediction unit of the decoding apparatus may receive information indicating a reference picture for the current block from the encoding apparatus.
현재 픽처보다 이전에 인코딩/디코딩된 픽처들은 메모리(예컨대, Decoded Picture Buffer: DPB)에 저장되어 현재 블록(현재 픽처)의 예측에 이용될 수 있다. 현재 블록의 인터 예측에 이용 가능한 픽처들의 리스트는 참조 픽처 리스트로 유지된다. Pictures encoded / decoded prior to the current picture may be stored in a memory (eg, a Decoded Picture Buffer (DPB)) and used for prediction of the current block (current picture). The list of pictures available for inter prediction of the current block is maintained as a reference picture list.
P 슬라이스는 인트라 예측 또는 최대 하나의 움직임 벡터와 하나의 참조 픽처를 이용하는 인터 예측을 통해 디코딩되는 슬라이스이다. B 슬라이스는 인트라 예측 또는 최대 두 개의 움직임 벡터와 두 개의 참조 픽처를 이용하는 인터 예측을 통해 디코딩되는 슬라이스이다. 이때, 참조 픽처는 단기 참조 픽처(short term reference picture)와 장기 참조 픽처(long term reference picture)를 포함한다. P slices are slices that are decoded through intra prediction or inter prediction using at most one motion vector and one reference picture. A B slice is a slice that is decoded through intra prediction or inter prediction using up to two motion vectors and two reference pictures. In this case, the reference picture includes a short term reference picture and a long term reference picture.
참조 픽처 리스트 0 (reference picture list 0, 이하 설명의 편의를 위해 ‘L0’이라 함)는 P 슬라이스 또는 B 슬라이스의 인터 예측에 이용되는 참조 픽처 리스트이다. 참조 픽처 리스트 1 (reference picture list 1, 이하 설명의 편의를 위해 ‘L1’이라 함)은 B 슬라이스의 인터 예측을 위해 이용된다. 따라서, 단방향 예측을 수행하는 P 슬라이스의 블록에 대한 인터 예측에는 L0이 이용되며, 양방향 예측을 수행하는 B 슬라이스의 블록에 대한 인터 예측에는 L0과 L1이 이용된다. Reference picture list 0 (referred to as 'L0' for convenience of description) is a reference picture list used for inter prediction of a P slice or a B slice. Reference picture list 1 (referred to as 'L1' for convenience of description) is used for inter prediction of a B slice. Therefore, L0 is used for inter prediction on blocks of P slices that perform unidirectional prediction, and L0 and L1 are used for inter prediction on blocks of B slices which perform bidirectional prediction.
디코딩 장치는 인터 예측을 통해 P 슬라이스와 B 슬라이스에 대한 디코딩을 수행하는 경우에, 참조 픽처 리스트를 구성(construct)한다. 인터 예측에 이용되는 참조 픽처는 참조 픽처 리스트를 통해 지정된다. 참조 픽처 인덱스는 참조 픽처 리스트 상의 참조 픽처를 지시하는 인덱스이다. The decoding apparatus constructs a reference picture list when decoding the P slice and the B slice through inter prediction. The reference picture used for inter prediction is specified through a reference picture list. The reference picture index is an index indicating a reference picture on the reference picture list.
참조 픽처 리스트는 인코딩 장치로부터 전송되는 참조 픽처 집합(reference picture set)을 기반으로 구성될 수 있다. 참조 픽처 리스트를 구성하는 참조 픽처들은 메모리(예컨대, DPB)에 저장될 수 있다. 메모리에 저장되는 픽처들(현재 픽처 이전에 인코딩/디코딩된 픽처들)은 인코딩 장치와 디코딩 장치에 의해 관리된다. The reference picture list may be configured based on a reference picture set transmitted from the encoding apparatus. Reference pictures constituting the reference picture list may be stored in a memory (eg, DPB). Pictures stored in memory (pictures encoded / decoded before the current picture) are managed by the encoding device and the decoding device.
참조 픽처를 관리하는 방법으로서 슬라이딩 윈도우(sliding window) 방식을 이용하는 경우에는 메모리에 저장된 후 일정 시간이 지나면 방출되는 간단한 방법에 의해 참조 픽처를 관리할 수 있지만, 몇 가지 문제를 가지고 있다. 예컨대, 더 이상 필요하지 않게 된 참조 픽처가 있다고 해도 메모리에서 바로 방출할 수 없기 때문에 효율이 떨어진다. 또한, 일정 시간 후에는 메모리로부터 방출되므로, 장기 참조 픽처를 관리하기가 어려워진다.In the case of using the sliding window method as a method of managing the reference picture, the reference picture can be managed by a simple method that is stored in a memory and released after a certain time, but there are some problems. For example, even if there is a reference picture that is no longer needed, the efficiency is low because it cannot be ejected directly from the memory. Also, since it is released from the memory after a certain time, it becomes difficult to manage the long-term reference picture.
슬라이딩 윈도우 방식의 문제를 고려하여, 인코딩 장치로부터 참조 픽처의 관리에 관한 지시를 직접 시그널링하는 MMCO(Memory Management Command Operation) 방법을 이용할 수도 있다. 하지만, MMCO 방법을 이용하더라도 시그널링 과정에서 픽처 손실(picture loss)이 발생하고, 손실된 픽처가 MMCO 명령(command)을 포함하고 있었다면, 손실된 MMCO 정보를 복원할 수 없게 됨으로써, 메모리(DPB)를 현재 필요한 픽처들이 관리되는 정확한 상태로 유지할 수 없다. 따라서, 인터 예측도 부정확하게 수행될 우려가 있다.In consideration of the problem of the sliding window method, a MMCO (Memory Management Command Operation) method of directly signaling an indication about management of a reference picture from an encoding apparatus may be used. However, even when using the MMCO method, if picture loss occurs during the signaling process, and if the lost picture includes the MMCO command, the lost MMCO information cannot be restored, thereby reducing the memory DPB. Currently required pictures cannot be maintained in the correct state managed. Therefore, there is a fear that inter prediction is also performed incorrectly.
상술한 문제들을 해결하기 이해, 슬라이스의 디코딩 과정에 필요한 참조 픽처들의 집합을 각각의 슬라이스 헤더에서 전송하는 방법을 이용할 수 있다. In order to solve the above-described problems, a method of transmitting a set of reference pictures necessary for decoding a slice in each slice header may be used.
참조 픽처 집합은 현재 픽처/슬라이스 또는 미래(future) 픽처/슬라이스의 참조를 위해 이용되는 참조 픽처들을 포함한다. 예컨대, 참조 픽처 집합은 인코딩 장치로부터 디코딩 장치로 전송되는 정보로서, 참조 픽처 집합에 포함되는 픽처들은 POC(Picture Order Count)에 의해 특정될 수 있다. POC(Picture Order Count)는 픽처의 표시 순서를 나타낸다. 참조 픽처 집합에 포함되는 참조 픽처들의 POC는 현재 픽처의 POC에 대한 상대적 POC일 수도 있다. The reference picture set includes reference pictures used for reference of the current picture / slice or future picture / slice. For example, the reference picture set is information transmitted from an encoding device to a decoding device, and pictures included in the reference picture set may be specified by a picture order count (POC). POC (Picture Order Count) indicates the display order of pictures. The POCs of the reference pictures included in the reference picture set may be relative POCs to the POCs of the current picture.
상대적 POC는 참조 픽처 집합 내 두 픽처들 간의 POC 차를 나타낸다. POC 순서상 현재 픽처 이전의 참조 픽처들(현재 픽처의 POC보다 POC가 작은 참조 픽처들)의 상대적 POC는 참조 픽처 집합 내에서 바로 전의 참조 픽처와의 POC 차이이다. POC 순서상 현재 픽처 이후의 참조 픽처들(현재 픽처의 POC보다 POC가 큰 참조 픽처들)의 상대적 POC도 참조 픽처 집합 내에서 바로 전의 참조 픽처와의 POC 차이이다. The relative POC represents the POC difference between two pictures in the reference picture set. The relative POC of the reference pictures before the current picture (the reference pictures with a smaller POC than the POC of the current picture) in the POC order is the POC difference from the previous reference picture in the reference picture set. The relative POC of the reference pictures after the current picture in the POC order (reference pictures having a larger POC than the POC of the current picture) is also a POC difference from the immediately preceding reference picture in the reference picture set.
참조 픽처 집합은 인터 예측이 적용되는 픽처마다 인코딩 장치로부터 디코딩 장치로 시그널링될 수 있다.The reference picture set may be signaled from the encoding device to the decoding device for each picture to which inter prediction is applied.
참조 픽처 리스트(L0, L1)는 인코딩 장치로부터 수신한 참조 픽처 집합을 기반으로 구성될 수 있다. The reference picture lists L0 and L1 may be configured based on a reference picture set received from the encoding apparatus.
참조 픽처 리스트 L0을 구성하는 경우에는, 수신한 참조 픽처 집합 중 현재 픽처의 POC보다 POC가 작은 단기 참조 픽처들(POC 순서상 현재 픽처 이전의 픽처들 혹은 상대적 POC의 부호가 음의 값을 갖는 픽처들)과 현재 픽처의 POC보다 POC가 큰 단기 참조 픽처들(POC 순서상 현재 픽처 이후의 픽처들 또는 상대적 POC의 부호가 양의 값을 갖는 픽처들) 중 현재 픽처의 POC보다 POC가 작은 단기 참조 픽처들부터 참조 픽처 인덱스를 할당하여 참조 픽처 리스트가 구성될 수 있다. 이어서, 장기 참조 픽처가 참조 픽처 리스트 L0에 추가될 수 있다. In the case of constructing the reference picture list L0, short-term reference pictures having a smaller POC than the POC of the current picture among the received reference picture sets (pictures before the current picture or relative POCs in the POC order have negative values). ) And short-term reference pictures whose POC is larger than the POC of the current picture (pictures after the current picture or pictures whose relative POC has a positive sign in POC order) whose POC is smaller than the POC of the current picture. The reference picture list may be constructed by allocating the reference picture indexes from the pictures. The long term reference picture may then be added to the reference picture list L0.
참조 픽처 리스트 L1을 구성하는 경우에는, 수신한 참조 픽처 집합 중 현재 픽처의 POC보다 POC가 작은 픽처들(POC 순서상 현재 픽처 이전의 픽처들 혹은 상대적 POC의 부호가 음의 값을 갖는 픽처들)과 현재 픽처의 POC보다 POC가 큰 픽처들(POC 순서상 현재 픽처 이후의 픽처들 또는 상대적 POC의 부호가 양의 값을 갖는 픽처들) 중 현재 픽처의 POC보다 POC가 큰 픽처들부터 참조 픽처 인덱스를 할당하여 참조 픽처 리스트가 구성된다. In the case of configuring the reference picture list L1, pictures having a POC smaller than the POC of the current picture among the received reference picture sets (pictures before the current picture or pictures with a negative sign of a relative POC in the POC order) And the reference picture index starting from a picture having a larger POC than the POC of the current picture (pictures after the current picture in the POC order or pictures whose relative POC has a positive value) among the pictures having a larger POC than the POC of the current picture. Is assigned to construct a reference picture list.
참조 픽처 리스트에 추가되는 참조 픽처들에는 순서대로 참조 픽처 인덱스가 할당될 수 있다. Reference pictures added to the reference picture list may be assigned a reference picture index in order.
디코딩 장치는 참조 픽처 리스트에 포함된 참조 픽처들 중 첫 N 개(인덱스 0부터 인덱스 N-1까지의 참조 픽처들)를 이용 가능한 참조 픽처로서 활용할 수 있다. 이때, 이용 가능한 참조 픽처의 개수 N에 관한 정보는 인코딩 장치로부터 전송될 수 있다.The decoding apparatus may utilize the first N (reference pictures from index 0 to index N-1) among the reference pictures included in the reference picture list as available reference pictures. In this case, the information about the number N of available reference pictures may be transmitted from the encoding apparatus.
상술한 바와 같이 참조 픽처 리스트를 유도하는 방법과 달리, 명시적으로 참조 픽처 리스트가 인코딩 장치로부터 디코딩 장치로 전송될 수도 있다. 이 경우, 인코딩 장치는 유도되는 참조 픽처 리스트가 변경(modify)된다는 것을 지시하는 참조 픽처 리스트 수정 정보와 함께 참조 픽처 리스트를 구성하는 구체적인 엔트리(entry)를 전송할 수 있다. Unlike the method of deriving the reference picture list as described above, the reference picture list may be explicitly transmitted from the encoding device to the decoding device. In this case, the encoding apparatus may transmit a specific entry constituting the reference picture list together with the reference picture list modification information indicating that the derived reference picture list is modified.
인코딩 장치는 L0 또는 L1이 묵시적으로 유도될 것인지, 전송되는 엔트리 정보를 이용해서 명시적으로 특정될 것인지를 지시할 수 있다. 예컨대, 플래그 정보를 이용하여 플래그 값이 0인 경우에는 참조 픽처 리스트가 묵시적으로 유도되고, 플래그 값이 1인 경우에는 전송되는 엔트리 정보를 이용하여 명시적으로 특정되도록 할 수 있다.The encoding device may indicate whether L0 or L1 will be implicitly derived or explicitly specified using the transmitted entry information. For example, when the flag value is 0 using the flag information, the reference picture list is implicitly derived, and when the flag value is 1, the reference picture list may be explicitly specified using the transmitted entry information.
인코딩 장치는 L0이 명시적으로 특정되는 경우에는 L0에 관한 엔트리 정보를 전송할 수 있다. L0에 관한 엔트리 정보는 L0 상에서의 인덱스에 대응하는 참조 픽처를 지시할 수 있다. 또한 인코딩 장치는 L1이 명시적으로 특정되는 경우에는 L1에 관한 엔트리 정보를 전송할 수 있다. L1에 관한 엔트리 정보는 L1 상에서의 인덱스에 대응하는 참조 픽처를 지시할 수 있다.The encoding device may transmit entry information about L0 when L0 is explicitly specified. The entry information about L0 may indicate a reference picture corresponding to the index on L0. In addition, the encoding apparatus may transmit entry information about L1 when L1 is explicitly specified. The entry information about L1 may indicate a reference picture corresponding to the index on L1.
예컨대, 엔트리 정보에 의해 참조 픽처 리스트가 특정되면, 순방향 단기 참조 픽처들(예컨대, 현재 픽처보다 작은 POC를 가지는 픽처들), 역방향 단기 참조 픽처들(예컨대, 현재 픽처보다 큰 POC를 가지는 픽처들) 및 장기 참조 픽처들의 참조 픽처 리스트 내에서의 순서(참조 픽처 인덱스)가 묵시적으로 유도되는 참조 픽처 리스트 내에서의 순서(참조 픽처 인덱스)와 달라질 수 있다. 또한, 엔트리 정보에 의해 참조 픽처 리스트가 특정되면, 활용하는 가용 참조 픽처들도 묵시적으로 유도되는 참조 픽처 리스트의 경우와는 달라질 수 있다. For example, if a reference picture list is specified by entry information, forward short-term reference pictures (eg, pictures having a POC smaller than the current picture), backward short-term reference pictures (eg, pictures having a POC larger than the current picture) And the order (reference picture index) in the reference picture list of the long-term reference pictures may be different from the order (reference picture index) in the reference picture list implicitly derived. In addition, when the reference picture list is specified by the entry information, available reference pictures to be utilized may also be different from the case of the reference picture list implicitly derived.
참조 픽처 리스트가 명시적으로 특정되는 경우에는, 참조 픽처 리스트 수정 정보 정보 및 엔트리 정보를 기반으로 디코딩 장치는 인코딩 장치가 구성한 참조 픽처 리스트와 동일한 참조 픽처를 구성할 수 있다.When the reference picture list is explicitly specified, the decoding apparatus may configure the same reference picture as the reference picture list configured by the encoding apparatus based on the reference picture list modification information information and the entry information.
참조 픽처 리스트가 묵시적으로 유도되는 경우에, 인코딩 장치와 디코딩 장치는 픽처들의 POC를 기반으로 현재 픽처의 인터 예측에 이용될 참조 픽처 리스트를 상술한 바와 같이 유도할 수 있다. When the reference picture list is implicitly derived, the encoding apparatus and the decoding apparatus may derive the reference picture list to be used for inter prediction of the current picture based on the POC of the pictures as described above.
앞서 설명한 참조 픽처 리스트의 묵시적 유도 방법에서는, 설명의 편의를 위해 이용 가능한 픽처들만을 고려하여 참조 픽처 집합을 설명하였으나, 인코더와 디코더에서 참조 픽처들의 이용 가부 혹은 이용 여부를 고려하여 참조 픽처 리스트를 구성할 수 있다.In the above-described implicit derivation method of the reference picture list, a reference picture set has been described by considering only pictures that are available for convenience of description, but the reference picture list is constructed by considering whether or not the reference pictures are used in the encoder and the decoder. can do.
예컨대, 현재 픽처에 대하여 참조 픽처 리스트를 초기화하는 경우에, 참조 픽처 리스트를 참조 픽처 정렬 단계(sorting stage)와 참조 픽처 선택 단계를 거쳐 초기화하도록 할 수도 있다.For example, when initializing a reference picture list with respect to a current picture, the reference picture list may be initialized through a reference picture sorting stage and a reference picture selection step.
참조 픽처 집합은 메모리, 예컨대 DPB 내에서 참조 픽처로서 이용되는지 여부에 따라서, 참조 픽처로 이용된다고 마킹될 수 있다(marked as “used for refernce”).The reference picture set may be marked as being used as a reference picture, depending on whether it is used as a reference picture in a memory, such as a DPB (marked as “used for refernce”).
정렬 단계에서는 참조 픽처로 이용된다고 마킹된 가용 참조 픽처들을 DPB 내에서 정렬한다. In the sorting step, the available reference pictures marked as used as reference pictures are aligned in the DPB.
현재 픽처가 P 픽처인 경우에는 순방향의 픽처들만을 참조하므로, 참조 픽처들은 픽처 번호(PicNum) 예를 들어 POC에 따라서 가장 큰 POC부터 가장 작은 POC까지 내림 차순으로 정렬될 수 있다.When the current picture is a P picture, only the pictures in the forward direction are referred to. Therefore, the reference pictures may be sorted in descending order from the largest POC to the smallest POC according to a picture number (PicNum), for example, a POC.
구체적으로 P 픽처에서 사용될 수 있는 L0(RefPicList0)의 정렬 단계에서는, 우선 단기 참조 픽처들의 정렬이 수행된다. Specifically, in the sorting step of L0 (RefPicList0) that can be used in the P picture, the sorting of the short-term reference pictures is first performed.
구체적으로, entryShortTerm을 단기 참조 픽처로 이용된다고 최근에 마킹되고, 시간적 레벨(temporal level)을 지시하는 시간적 ID(temporal_ID)가 현재 픽처의 시간적 ID와 같거나 현재 픽처의 시간적 ID보다 낮은 모든 참조 픽처(참조 엔트리)들을 지시할 수 있는 변수라고 하자. Specifically, all reference pictures (marked recently that entryShortTerm is used as a short-term reference picture and whose temporal level (temporal_ID) indicating a temporal level are equal to or lower than the temporal ID of the current picture) Reference entries).
특정 entryShortTerm에 대하여, entryShortTerm의 POC가 현재 픽처의 POC보다 작다면, 해당 entryShortTerm 값이L0 상에 POC의 내림차순으로 위치하게 된다. 다시 말하면, 단기 참조 픽처로 이용된다고 마킹된 픽처들 중에서 현재 픽처의 POC 보다 작은 POC 값을 가지는 픽처들이 L0의 처음부터 POC의 내림차순으로 위치하게 된다.For a particular entryShortTerm, if the POC of the entryShortTerm is less than the POC of the current picture, the entryShortTerm value is placed on the L0 in descending order of the POC. In other words, among pictures marked as being used as a short-term reference picture, pictures having a POC value smaller than the POC of the current picture are located in descending order of the POC from the beginning of L0.
나머지 entryShortTerm의 값들이 제시되는 경우에는 POC의 오름차순으로 L0에 추가된다. 다시 말하면, 현재 픽처의 POC보다 POC가 작은 픽처들에 뒤이어서, 단기 참조 픽처로 이용된다고 마킹된 픽처들 중에서 현재 픽처의 POC보다 POC가 큰 픽처들이 L0에 POC의 오름차순으로 더해진다.If the values of the remaining entryShortTerm are presented, they are added to L0 in ascending order of POC. In other words, after POCs smaller than the POC of the current picture, among the pictures marked to be used as a short-term reference picture, pictures with a larger POC than the POC of the current picture are added to L0 in ascending order of POC.
이어서, L0 리스트에 대한 장기 참조 픽처들이 정렬될 수 있다. 이때, 시간적 ID가 현재 픽처의 시간적 ID와 같거나 현재 픽처의 시간적 ID보다 낮은 장기 참조 픽처(장기 참조 엔트리)들이 참조 픽처 리스트 내에 정렬된다. 장기 참조 픽처들의 정렬은 가장 작은 장기 참조 픽처 번호를 가지는 장기 참조 픽처부터 가장 큰 장기 참조 픽처 번호를 가지는 장기 참조 픽처까지 오름차순으로 정렬된다.The long-term reference pictures for the L0 list may then be sorted. At this time, long-term reference pictures (long-term reference entries) whose temporal ID is equal to or smaller than the temporal ID of the current picture are aligned in the reference picture list. The alignment of the long-term reference pictures is arranged in ascending order from the long-term reference picture having the smallest long-term reference picture number to the long-term reference picture having the largest long-term reference picture number.
현재 픽처가 B 픽처인 경우에는 상술한 L0 외에도, L1(RefPicList1) 이 사용될 수 있다. When the current picture is a B picture, in addition to L0 described above, L1 (RefPicList1) may be used.
L1의 정렬 단계에서도, 우선 단기 참조 픽처들의 정렬이 수행된다. In the alignment step of L1, first, alignment of the short-term reference pictures is performed.
구체적으로, L1의 경우에도 entryShortTerm을 단기 참조 픽처로 이용된다고 최근에 마킹되고, 시간적 레벨(temporal level)을 지시하는 시간적 ID(temporal_ID)가 현재 픽처의 시간적 ID와 같거나 현재 픽처의 시간적 ID보다 낮은 모든 참조 픽처(참조 엔트리)들을 지시할 수 있는 변수라고 하자. Specifically, even in the case of L1, entryShortTerm is recently marked as being used as a short-term reference picture, and a temporal ID (temporal_ID) indicating a temporal level is equal to or less than the temporal ID of the current picture. Assume that all reference pictures (reference entries) are variables that can be indicated.
특정 entryShortTerm에 대하여, entryShortTerm의 POC가 현재 픽처의 POC보다 크다면, 해당 entryShortTerm 값이L1 상에 POC의 오름차순으로 위치하게 된다. 다시 말하면, 단기 참조 픽처로 이용된다고 마킹된 픽처들 중에서 현재 픽처의 POC 보다 큰 POC 값을 가지는 픽처들이 L1의 처음부터 POC의 오름차순으로 위치하게 된다.For a particular entryShortTerm, if the POC of entryShortTerm is greater than the POC of the current picture, the entryShortTerm value is placed on L1 in ascending order of POC. In other words, among the pictures marked to be used as the short-term reference picture, pictures having a POC value larger than the POC of the current picture are located in ascending order of the POC from the beginning of L1.
나머지 entryShortTerm의 값들이 제시되는 경우에는 POC의 내림차순으로 L1에 추가된다. 다시 말하면, 현재 픽처의 POC보다 POC가 작은 픽처들에 뒤이어서, 단기 참조 픽처로 이용된다고 마킹된 픽처들 중에서 현재 픽처의 POC보다 POC가 큰 픽처들이 L1에 POC의 오름차순으로 더해진다.If the values of the remaining entryShortTerm are presented, they are added to L1 in descending order of POC. In other words, after PPOs smaller than the POC of the current picture, among the pictures marked as being used as short-term reference pictures, pictures larger in POC than the POC of the current picture are added to L1 in ascending order of POC.
이어서, L1 리스트에 대한 장기 참조 픽처들이 정렬될 수 있다. 이때, 시간적 ID가 현재 픽처의 시간적 ID와 같거나 현재 픽처의 시간적 ID보다 낮은 장기 참조 픽처(장기 참조 엔트리)들이 참조 픽처 리스트 내에 정렬된다. 장기 참조 픽처들의 정렬은 가장 작은 장기 참조 픽처 번호를 가지는 장기 참조 픽처부터 가장 큰 장기 참조 픽처 번호를 가지는 장기 참조 픽처까지 오름차순으로 정렬된다.The long term reference pictures for the L1 list may then be sorted. At this time, long-term reference pictures (long-term reference entries) whose temporal ID is equal to or smaller than the temporal ID of the current picture are aligned in the reference picture list. The alignment of the long-term reference pictures is arranged in ascending order from the long-term reference picture having the smallest long-term reference picture number to the long-term reference picture having the largest long-term reference picture number.
단기 참조 픽처의 경우, 단기 참조 픽처는 POC에 의해 특정될 수 있다. 따라서, 상술한 바와 같이 단기 참조 픽처를 특정하는 픽처 번호는 POC일 수 있다. 장기 참조 픽처의 경우, 장기 참조 픽처는 POC 또는 POC의 LSB(Least Significant Bits)에 의해 특정될 수 있다. 따라서, 장기 참조 픽처를 특정하는 장기 참조 픽처 번호는 POC 또는 POC의 LSB일 수 있다.In the case of a short-term reference picture, the short-term reference picture may be specified by the POC. Therefore, as described above, the picture number specifying the short-term reference picture may be a POC. In the case of a long-term reference picture, the long-term reference picture may be specified by POC or Least Significant Bits (LSB) of the POC. Thus, the long term reference picture number specifying the long term reference picture may be a POC or an LSB of the POC.
정렬 단계에서 단기 참조 픽처들과 장기 참조 픽처들의 정렬이 완료되면, 선택 단계(selection stage)가 수행된다. 선택 단계에서는 정렬된 픽처들 중에서 현재 픽처의 인터 예측에 이용될 수 있는 픽처들이 선택된다.When the alignment of the short-term reference pictures and the long-term reference pictures in the alignment step is completed, a selection stage is performed. In the selecting step, pictures that can be used for inter prediction of the current picture are selected from the sorted pictures.
선택 단계에서는 사용되는 참조 픽처 리스트(L0, L1)에서 처음부터 N 개의 픽처들이 정렬 순서에 따라서 선택되게 된다. 이때, 선택되는 픽처의 개수를 나타내는 N 값은 인코딩 장치로부터 전송되는 정보에 기반하여 결정될 수 있다. 예컨대, 인코딩 장치는 참조 픽처 리스트를 구성한 후, 사용할 참조 픽처들의 개수를 결정하고, 사용할 참조 픽초들의 개수에 관한 정보(예컨대, num_ref_idx_lX_default_active_minus1, X=0 또는 1)를 시퀀스 파라미터 세트(Sequence Parameter Set: SPS)의 신택스 요소(syntax element)로서 디코딩 장치에 전송할 수 있다. 디코딩 장치는 수신한 num_ref_idx_lX_default_active_minus1가 지시하는 참조 픽처들의 개수 N을 현재 시퀀스 내에서 디폴트 값으로 사용될 수 있다.In the selection step, N pictures are selected from the beginning in the reference picture lists L0 and L1 to be used in the sort order. In this case, an N value indicating the number of selected pictures may be determined based on information transmitted from the encoding apparatus. For example, the encoding apparatus constructs a reference picture list, determines a number of reference pictures to use, and transmits information about the number of reference pictures to use (eg, num_ref_idx_lX_default_active_minus1, X = 0 or 1) to a sequence parameter set (SPS). Can be transmitted to the decoding device as a syntax element. The decoding apparatus may use the number N of reference pictures indicated by the received num_ref_idx_lX_default_active_minus1 as a default value in the current sequence.
인코딩 장치는 또한, 픽처 또는 슬라이스별로 참조 픽처들의 개수 N을 지정하고자 하는 경우에 참조 픽처들의 개수 N을 지시하는 별도의 정보(예컨대, num_ref_idx_l1_active_minus1, X=0 또는 1)를 픽처 파라미터 세트(Picture Parameter Set: PPS) 또는 슬라이스 헤더 등을 통해서 전송할 수 있다. 디코딩 장치는 수신한 num_ref_idx_l1_active_minus1가 지시하는 N 값을 현재 픽처 또는 현재 슬라이스에 대한 참조 픽처들의 개수로서 적용할 수 있다.When the encoding apparatus wants to designate the number N of reference pictures per picture or slice, the encoding apparatus may also provide additional information indicating the number N of reference pictures (eg, num_ref_idx_l1_active_minus1, X = 0 or 1). : Can be transmitted through PPS) or a slice header. The decoding apparatus may apply the N value indicated by the received num_ref_idx_l1_active_minus1 as the number of reference pictures for the current picture or the current slice.
이때, 전송되는 참조 픽처들의 개수 정보, 예컨대 num_ref_idx_lX_default_active_minus1 또는 num_ref_idx_lX_active_minus1는 전체 참조 픽처들의 개수를 지시할 수도 있고, 단기 참조 픽처들의 개수만을 지시할 수도 있다. In this case, the number information of the transmitted reference pictures, for example, num_ref_idx_lX_default_active_minus1 or num_ref_idx_lX_active_minus1 may indicate the number of all reference pictures or may indicate only the number of short-term reference pictures.
num_ref_idx_lX_default_active_minus1 또는 num_ref_idx_lX_active_minus1가 단기 참조 픽처들의 개수만을 지시하는 경우라면, 인코딩 장치는 장기 참조 픽처들이 현재 픽처에서 참조 픽처로서 사용되는지를 지시하는 정보와 함께 각 장기 참조 픽처별로 참조 픽처로서 사용되는지를 지시하는 정보를 전송할 수 있다.If num_ref_idx_lX_default_active_minus1 or num_ref_idx_lX_active_minus1 indicates only the number of short-term reference pictures, the encoding apparatus indicates that long-term reference pictures are used as reference pictures for each long-term reference picture together with information indicating whether long-term reference pictures are used as reference pictures in the current picture. Can be transmitted.
한편, 참조 픽처 리스트를 초기화할 때, 인터 예측의 정확도를 높이기 위해 양자화 파라미터의 크기를 고려할 수도 있다.On the other hand, when initializing the reference picture list, the size of the quantization parameter may be considered in order to increase the accuracy of inter prediction.
양자화는 DCT 및/또는 DST 등으로 변환된 성분들을 양자화 단계(quantization step)로 나누고, 그 결과를 대표값으로 근사화한다. 역양자화에서는 양자화된 값에 양자화 단계를 곱하여 변환 성분으로 되돌린다. Quantization divides the components transformed into DCT and / or DST and the like into quantization steps and approximates the result to a representative value. In inverse quantization, the quantized value is multiplied by the quantization step and returned to the transform component.
이때, 양자화 단계가 직접 부호화되지 않고, 양자화 파라미터(Quantization Parameter: QP, 이하 설명의 편의를 위해 ‘QP’라 함)를 부호화하며, QP로부터 양자화 스텝을 유도한다. QP가 작으면 신호를 더 정확하게 부호화/복호화할 수 있으나, 처리할 정보량과 전송할 정보량이 증가하게 된다. In this case, the quantization step is not directly encoded, but a quantization parameter (QP) is referred to as 'QP' for convenience of description, and a quantization step is derived from the QP. If the QP is small, the signal can be encoded / decoded more accurately, but the amount of information to be processed and the amount of information to be transmitted increase.
양자화 파라미터Quantization Parameter (QP)에 기반한 참조 픽처 리스트 초기화Initializing reference picture list based on (QP)
양자화 파라미터를 고려하는 경우에도, 현재 픽처에 대한 참조 픽처 리스트의 초기화는 정렬 단계(sorting stage)와 선택 단계(selection stage)를 포함한다. Even when considering the quantization parameter, the initialization of the reference picture list for the current picture includes a sorting stage and a selection stage.
(1) 정렬 단계(1) sorting step
L0(RefPicList0)의 정렬 단계에서는, 우선 단기 참조 픽처들의 정렬이 수행된다. In the sorting step of L0 (RefPicList0), sorting of the short-term reference pictures is first performed.
구체적으로, entryShortTerm을 단기 참조 픽처로 이용된다고 최근에 마킹되고, 시간적 레벨(temporal level)을 지시하는 시간적 ID(temporal_ID)가 현재 픽처의 시간적 ID와 같거나 현재 픽처의 시간적 ID보다 낮은 모든 참조 픽처(참조 엔트리)들을 지시할 수 있는 변수라고 하자. Specifically, all reference pictures (marked recently that entryShortTerm is used as a short-term reference picture and whose temporal level (temporal_ID) indicating a temporal level are equal to or lower than the temporal ID of the current picture) Reference entries).
특정 entryShortTerm에 대하여, entryShortTerm의 POC가 현재 픽처의 POC보다 작다면, 해당 entryShortTerm 값이L0 상에 POC의 내림차순으로 위치하게 된다. 다시 말하면, 단기 참조 픽처로 이용된다고 마킹된 픽처들 중에서 현재 픽처의 POC 보다 작은 POC 값을 가지는 픽처들이 L0의 처음부터 POC의 내림차순으로 위치하게 된다.For a particular entryShortTerm, if the POC of the entryShortTerm is less than the POC of the current picture, the entryShortTerm value is placed on the L0 in descending order of the POC. In other words, among pictures marked as being used as a short-term reference picture, pictures having a POC value smaller than the POC of the current picture are located in descending order of the POC from the beginning of L0.
나머지 entryShortTerm의 값들이 제시되는 경우에는 POC의 오름차순으로 L0에 추가된다. 다시 말하면, 현재 픽처의 POC보다 POC가 작은 픽처들에 뒤이어서, 단기 참조 픽처로 이용된다고 마킹된 픽처들 중에서 현재 픽처의 POC보다 POC가 큰 픽처들이 L0에 POC의 오름차순으로 더해진다.If the values of the remaining entryShortTerm are presented, they are added to L0 in ascending order of POC. In other words, after POCs smaller than the POC of the current picture, among the pictures marked to be used as a short-term reference picture, pictures with a larger POC than the POC of the current picture are added to L0 in ascending order of POC.
이어서, L0 리스트에 대한 장기 참조 픽처들이 정렬될 수 있다. 이때, 시간적 ID가 현재 픽처의 시간적 ID와 같거나 현재 픽처의 시간적 ID보다 낮은 장기 참조 픽처(장기 참조 엔트리)들이 참조 픽처 리스트 내에 정렬된다. 장기 참조 픽처들의 정렬은 가장 작은 장기 참조 픽처 번호를 가지는 장기 참조 픽처부터 가장 큰 장기 참조 픽처 번호를 가지는 장기 참조 픽처까지 오름차순으로 정렬된다.The long-term reference pictures for the L0 list may then be sorted. At this time, long-term reference pictures (long-term reference entries) whose temporal ID is equal to or smaller than the temporal ID of the current picture are aligned in the reference picture list. The alignment of the long-term reference pictures is arranged in ascending order from the long-term reference picture having the smallest long-term reference picture number to the long-term reference picture having the largest long-term reference picture number.
현재 픽처가 B 픽처인 경우에는 상술한 L0 외에도, L1(RefPicList1) 이 사용될 수 있다. When the current picture is a B picture, in addition to L0 described above, L1 (RefPicList1) may be used.
L1의 정렬 단계에서도, 우선 단기 참조 픽처들의 정렬이 수행된다. In the alignment step of L1, first, alignment of the short-term reference pictures is performed.
구체적으로, L1의 경우에도 entryShortTerm을 단기 참조 픽처로 이용된다고 최근에 마킹되고, 시간적 레벨(temporal level)을 지시하는 시간적 ID(temporal_ID)가 현재 픽처의 시간적 ID와 같거나 현재 픽처의 시간적 ID보다 낮은 모든 참조 픽처(참조 엔트리)들을 지시할 수 있는 변수라고 하자. Specifically, even in the case of L1, entryShortTerm is recently marked as being used as a short-term reference picture, and a temporal ID (temporal_ID) indicating a temporal level is equal to or less than the temporal ID of the current picture. Assume that all reference pictures (reference entries) are variables that can be indicated.
특정 entryShortTerm에 대하여, entryShortTerm의 POC가 현재 픽처의 POC보다 크다면, 해당 entryShortTerm 값이L1 상에 POC의 오름차순으로 위치하게 된다. 다시 말하면, 단기 참조 픽처로 이용된다고 마킹된 픽처들 중에서 현재 픽처의 POC 보다 큰 POC 값을 가지는 픽처들이 L1의 처음부터 POC의 오름차순으로 위치하게 된다.For a particular entryShortTerm, if the POC of entryShortTerm is greater than the POC of the current picture, the entryShortTerm value is placed on L1 in ascending order of POC. In other words, among the pictures marked to be used as the short-term reference picture, pictures having a POC value larger than the POC of the current picture are located in ascending order of the POC from the beginning of L1.
나머지 entryShortTerm의 값들이 제시되는 경우에는 POC의 내림차순으로 L1에 추가된다. 다시 말하면, 현재 픽처의 POC보다 POC가 작은 픽처들에 뒤이어서, 단기 참조 픽처로 이용된다고 마킹된 픽처들 중에서 현재 픽처의 POC보다 POC가 큰 픽처들이 L1에 POC의 오름차순으로 더해진다.If the values of the remaining entryShortTerm are presented, they are added to L1 in descending order of POC. In other words, after PPOs smaller than the POC of the current picture, among the pictures marked as being used as short-term reference pictures, pictures larger in POC than the POC of the current picture are added to L1 in ascending order of POC.
이어서, L1 리스트에 대한 장기 참조 픽처들이 정렬될 수 있다. 이때, 시간적 ID가 현재 픽처의 시간적 ID와 같거나 현재 픽처의 시간적 ID보다 낮은 장기 참조 픽처(장기 참조 엔트리)들이 참조 픽처 리스트 내에 정렬된다. 장기 참조 픽처들의 정렬은 가장 작은 장기 참조 픽처 번호를 가지는 장기 참조 픽처부터 가장 큰 장기 참조 픽처 번호를 가지는 장기 참조 픽처까지 오름차순으로 정렬된다.The long term reference pictures for the L1 list may then be sorted. At this time, long-term reference pictures (long-term reference entries) whose temporal ID is equal to or smaller than the temporal ID of the current picture are aligned in the reference picture list. The alignment of the long-term reference pictures is arranged in ascending order from the long-term reference picture having the smallest long-term reference picture number to the long-term reference picture having the largest long-term reference picture number.
(2) 선택 단계(2) selection step
선택 단계에서 인코딩 장치 또는 디코딩 장치는 정렬된 참조 픽처들 중에서 현재 픽처의 QP와 QP가 같거나 현재 픽처의 QP보다 QP가 작은 픽처들을 선택할 수 있다. 선택된 픽처들 간에는 정렬 단계에서 결정된 픽처들 사이의 선후 관계가 유지된다. In the selecting step, the encoding apparatus or the decoding apparatus may select, among the aligned reference pictures, pictures having the same QP and QP of the current picture or smaller QP than the QP of the current picture. Between the selected pictures, the posterior relationship between the pictures determined in the alignment step is maintained.
즉, L0의 경우에, 현재 픽처의 QP와 QP가 같거나 현재 픽처의 QP보다 QP가 작은 픽처들은 각 픽처의 POC 값에 따라서 내림차순으로 정렬된다. L1의 경우에, 현재 픽처의 QP와 QP가 같거나 현재 픽처의 QP보다 QP가 작은 픽처들은 POC 값에 따라서 오름차순으로 정렬된다. That is, in the case of L0, pictures having the same QP and QP of the current picture or having a QP smaller than the QP of the current picture are sorted in descending order according to the POC value of each picture. In the case of L1, pictures whose QP and QP of the current picture are equal to or smaller than QP of the current picture are sorted in ascending order according to the POC value.
참조 픽처 리스트에서, 선택된 픽처들은 선택되지 않은 픽처들(현재 픽처의 QP보다 큰 QP를 가지는 참조 픽처들)보다 앞쪽에 위치한다. 예컨대, 선택된 픽처들에는 선택되지 않는 픽처들보다 낮은 참조 픽처 인덱스가 할당된다. In the reference picture list, the selected pictures are located ahead of the unselected pictures (reference pictures that have a QP greater than the QP of the current picture). For example, selected pictures are assigned a lower reference picture index than pictures that are not selected.
이용할 수 있는 참조 픽처의 개수(N)가 선택된 픽처들의 개수(M)보다 큰 경우, 즉 할당할 참조 픽처 인덱스가 남을 경우에는 선택되지 않은 참조 픽처들을 선택된 참조 픽처 뒤에 POC 순서에 따라서 추가할 수 있다. 이때, 추가되는 참조 픽처의 개수는 이용할 참조 픽처의 개수(N)과 선택된 참조 픽처의 개수(M)의 차(N-M)과 같다.When the number (N) of available reference pictures is larger than the number (M) of selected pictures, that is, when a reference picture index to be allocated remains, non-selected reference pictures may be added after the selected reference picture according to the POC order. . In this case, the number of reference pictures to be added is equal to the difference (N-M) between the number N of reference pictures to be used and the number M of selected reference pictures.
한편, 장기 참조 픽처의 경우에는, 현재 픽처의 인터 예측에 장치 참조 픽처가 이용되는지를 지시하는 정보가 전송되고, 장기 참조 픽처가 이용되는 경우에는 각각의 장기 참조 픽처별로 현재 픽처에서 참조되는지를 지시함으로써, 선택된 참조 픽처들 또는 단기 참조 픽처들 뒤에 현재 픽처에서 참조되는 장기 참조 픽처가 추가될 수 있다. On the other hand, in the case of a long-term reference picture, information indicating whether a device reference picture is used for inter prediction of the current picture is transmitted, and when a long-term reference picture is used, it is indicated whether the long-term reference picture is referenced in the current picture for each long-term reference picture. By doing so, the long-term reference picture referenced in the current picture can be added after the selected reference pictures or short-term reference pictures.
또한, 장기 참조 픽처도, 선택 단계에서 현재 픽처의 QP 과 같거나 현재 픽처의 QP보다 작은 QP 값을 픽처로서 선택되면, 선택된 픽처로서 선택되지 않은 단기 참조 픽처보다 먼저 위치할 수도 있다. In addition, the long-term reference picture may also be located earlier than the short-term reference picture not selected as the selected picture if a QP value equal to or less than the QP of the current picture is selected as the picture in the selection step.
표 1은 참조 픽처 리스트 초기화에 있어서 QP를 기반으로 선택 단계를 수행하는 방법을 신택스 구조로 나타낸 것이다. Table 1 shows a syntax structure of a method for performing a selection step based on a QP in initializing a reference picture list.
<표 1>TABLE 1
Figure PCTKR2012009052-appb-I000001
Figure PCTKR2012009052-appb-I000001
표 1에서 SortedRefPicList는 정렬 단계 후 DPB에 저장된 참조 픽처들의 리스트를 나타내고, FinalRefPicList는 현재 픽처에 대하여 참조 픽처 리스트 초기화를 수행한 결과 출력되는 참조 픽처들의 최종적인 리스트이며, TmpRefPicList는 참조 픽처들의 임시 리스트이다. In Table 1, SortedRefPicList represents a list of reference pictures stored in the DPB after the sorting step, FinalRefPicList is a final list of reference pictures output as a result of performing reference picture list initialization on the current picture, and TmpRefPicList is a temporary list of reference pictures. .
표 1에서 보듯이, FinalRefPicList와 TmpRefPicList는 초기화 절차의 시작 또는 선택 단계의 시작 시점에 비어 있다.As shown in Table 1, FinalRefPicList and TmpRefPicList are empty at the beginning of the initialization procedure or at the beginning of the selection phase.
한편, 양자화 파라미터의 크기는 참조 픽처들의 시간적 계층 구조에도 반영될 수 있다. 구체적으로, 시간적 레벨이 낮은 참조 픽처의 QP는 시간적 레벨이 높은 참조 픽처의 QP보다 작다. 따라서, 현재 픽처에 대한 참조 픽처 리스트 초기화를 참조 픽처들의 시간적 ID를 이용하여 수행할 수도 있다.On the other hand, the size of the quantization parameter may be reflected in the temporal hierarchical structure of the reference pictures. Specifically, the QP of the reference picture with a low temporal level is smaller than the QP of the reference picture with a high temporal level. Therefore, reference picture list initialization for the current picture may be performed using the temporal IDs of the reference pictures.
도 4는 참조 픽처들의 시간적 레벨(Temporal Level) 구조를 개략적으로 설명하는 도면이다. 도 4를 참조 하면, 인터 예측되는 각 픽처들은 P 픽처의 경우에 순방향의 픽처들을 참조할 수 있고, B 픽처인 경우에 순방향 또는 역방향의 픽처들을 참조할 수 있다. 4 is a diagram schematically illustrating a temporal level structure of reference pictures. Referring to FIG. 4, each picture that is inter predicted may refer to pictures in a forward direction in the case of a P picture, and may refer to pictures in a forward or reverse direction in the case of a B picture.
이 경우, 도시된 바와 같이, 시간적 레벨이 동일하거나 낮은 픽처들을 참조하여 인터 예측이 수행되도록 할 수 있다. 예컨대, 시간적 레벨(TL)이 1인 픽처들은 시간적 레벨이 2인 픽처들(TL2의 픽처들)을 참조하지 않고, 시간적 레벨이 1이거나 0인 픽처들(TL1 또는 TL0의 픽처들)을 참조한다. In this case, as shown, inter prediction may be performed by referring to pictures having the same or lower temporal level. For example, pictures with a temporal level TL of 1 do not refer to pictures with a temporal level 2 (pictures of TL2), but refer to pictures with a temporal level of 1 or 0 (pictures of TL1 or TL0). .
여기서는 시간적 레벨이 3개인 경우를 예로서 설명하였으나, 이는 설명의 편의를 위한 것으로서, 시간적 레벨을 3보다 적거나 많을 수 있다. Here, the case of three temporal levels has been described as an example, but for convenience of description, the temporal level may be less than or greater than three.
시간적 IDTemporal ID (( Temporal IDTemporal ID )에 기반한 참조 픽처 리스트 초기화Reference picture list based on
시간적 ID를 고려하는 경우에도, 현재 픽처에 대한 참조 픽처 리스트의 초기화는 정렬 단계(sorting stage)와 선택 단계(selection stage)를 포함한다. Even when considering the temporal ID, the initialization of the reference picture list for the current picture includes a sorting stage and a selection stage.
(1) 정렬 단계(1) sorting step
L0(RefPicList0)의 정렬 단계에서는, 우선 단기 참조 픽처들의 정렬이 수행된다. In the sorting step of L0 (RefPicList0), sorting of the short-term reference pictures is first performed.
구체적으로, entryShortTerm을 단기 참조 픽처로 이용된다고 최근에 마킹되고, 시간적 레벨(temporal level)을 지시하는 시간적 ID(temporal_ID)가 현재 픽처의 시간적 ID와 같거나 현재 픽처의 시간적 ID보다 낮은 모든 참조 픽처(참조 엔트리)들을 지시할 수 있는 변수라고 하자. Specifically, all reference pictures (marked recently that entryShortTerm is used as a short-term reference picture and whose temporal level (temporal_ID) indicating a temporal level are equal to or lower than the temporal ID of the current picture) Reference entries).
특정 entryShortTerm에 대하여, entryShortTerm의 POC가 현재 픽처의 POC보다 작다면, 해당 entryShortTerm 값이L0 상에 POC의 내림차순으로 위치하게 된다. 다시 말하면, 단기 참조 픽처로 이용된다고 마킹된 픽처들 중에서 현재 픽처의 POC 보다 작은 POC 값을 가지는 픽처들이 L0의 처음부터 POC의 내림차순으로 위치하게 된다.For a particular entryShortTerm, if the POC of the entryShortTerm is less than the POC of the current picture, the entryShortTerm value is placed on the L0 in descending order of the POC. In other words, among pictures marked as being used as a short-term reference picture, pictures having a POC value smaller than the POC of the current picture are located in descending order of the POC from the beginning of L0.
나머지 entryShortTerm의 값들이 제시되는 경우에는 POC의 오름차순으로 L0에 추가된다. 다시 말하면, 현재 픽처의 POC보다 POC가 작은 픽처들에 뒤이어서, 단기 참조 픽처로 이용된다고 마킹된 픽처들 중에서 현재 픽처의 POC보다 POC가 큰 픽처들이 L0에 POC의 오름차순으로 더해진다.If the values of the remaining entryShortTerm are presented, they are added to L0 in ascending order of POC. In other words, after POCs smaller than the POC of the current picture, among the pictures marked to be used as a short-term reference picture, pictures with a larger POC than the POC of the current picture are added to L0 in ascending order of POC.
이어서, L0 리스트에 대한 장기 참조 픽처들이 정렬될 수 있다. 이때, 시간적 ID가 현재 픽처의 시간적 ID와 같거나 현재 픽처의 시간적 ID보다 낮은 장기 참조 픽처(장기 참조 엔트리)들이 참조 픽처 리스트 내에 정렬된다. 장기 참조 픽처들의 정렬은 가장 작은 장기 참조 픽처 번호를 가지는 장기 참조 픽처부터 가장 큰 장기 참조 픽처 번호를 가지는 장기 참조 픽처까지 오름차순으로 정렬된다.The long-term reference pictures for the L0 list may then be sorted. At this time, long-term reference pictures (long-term reference entries) whose temporal ID is equal to or smaller than the temporal ID of the current picture are aligned in the reference picture list. The alignment of the long-term reference pictures is arranged in ascending order from the long-term reference picture having the smallest long-term reference picture number to the long-term reference picture having the largest long-term reference picture number.
현재 픽처가 B 픽처인 경우에는 상술한 L0 외에도, L1(RefPicList1) 이 사용될 수 있다. When the current picture is a B picture, in addition to L0 described above, L1 (RefPicList1) may be used.
L1의 정렬 단계에서도, 우선 단기 참조 픽처들의 정렬이 수행된다. In the alignment step of L1, first, alignment of the short-term reference pictures is performed.
구체적으로, L1의 경우에도 entryShortTerm을 단기 참조 픽처로 이용된다고 최근에 마킹되고, 시간적 레벨(temporal level)을 지시하는 시간적 ID(temporal_ID)가 현재 픽처의 시간적 ID와 같거나 현재 픽처의 시간적 ID보다 낮은 모든 참조 픽처(참조 엔트리)들을 지시할 수 있는 변수라고 하자. Specifically, even in the case of L1, entryShortTerm is recently marked as being used as a short-term reference picture, and a temporal ID (temporal_ID) indicating a temporal level is equal to or less than the temporal ID of the current picture. Assume that all reference pictures (reference entries) are variables that can be indicated.
특정 entryShortTerm에 대하여, entryShortTerm의 POC가 현재 픽처의 POC보다 크다면, 해당 entryShortTerm 값이L1 상에 POC의 오름차순으로 위치하게 된다. 다시 말하면, 단기 참조 픽처로 이용된다고 마킹된 픽처들 중에서 현재 픽처의 POC 보다 큰 POC 값을 가지는 픽처들이 L1의 처음부터 POC의 오름차순으로 위치하게 된다.For a particular entryShortTerm, if the POC of entryShortTerm is greater than the POC of the current picture, the entryShortTerm value is placed on L1 in ascending order of POC. In other words, among the pictures marked to be used as the short-term reference picture, pictures having a POC value larger than the POC of the current picture are located in ascending order of the POC from the beginning of L1.
나머지 entryShortTerm의 값들이 제시되는 경우에는 POC의 내림차순으로 L1에 추가된다. 다시 말하면, 현재 픽처의 POC보다 POC가 작은 픽처들에 뒤이어서, 단기 참조 픽처로 이용된다고 마킹된 픽처들 중에서 현재 픽처의 POC보다 POC가 큰 픽처들이 L1에 POC의 오름차순으로 더해진다.If the values of the remaining entryShortTerm are presented, they are added to L1 in descending order of POC. In other words, after PPOs smaller than the POC of the current picture, among the pictures marked as being used as short-term reference pictures, pictures larger in POC than the POC of the current picture are added to L1 in ascending order of POC.
이어서, L1 리스트에 대한 장기 참조 픽처들이 정렬될 수 있다. 이때, 시간적 ID가 현재 픽처의 시간적 ID와 같거나 현재 픽처의 시간적 ID보다 낮은 장기 참조 픽처(장기 참조 엔트리)들이 참조 픽처 리스트 내에 정렬된다. 장기 참조 픽처들의 정렬은 가장 작은 장기 참조 픽처 번호를 가지는 장기 참조 픽처부터 가장 큰 장기 참조 픽처 번호를 가지는 장기 참조 픽처까지 오름차순으로 정렬된다.The long term reference pictures for the L1 list may then be sorted. At this time, long-term reference pictures (long-term reference entries) whose temporal ID is equal to or smaller than the temporal ID of the current picture are aligned in the reference picture list. The alignment of the long-term reference pictures is arranged in ascending order from the long-term reference picture having the smallest long-term reference picture number to the long-term reference picture having the largest long-term reference picture number.
(2) 선택 단계(2) selection step
선택 단계에서 인코딩 장치 또는 디코딩 장치는 정렬된 참조 픽처들 중에서 현재 픽처의 시간적 ID와 같거나 현재 픽처의 시간적 ID보다 작은 시간적 ID를 가지는 픽처들을 선택할 수 있다. 픽처의 시간적 ID는 픽처가 속하는 시간적 레벨을 특정한다. 시간적 ID가 낮은 픽처는 낮은 시간적 레벨에 속하며, 시간적 ID가 높은 픽처는 높은 시간적 레벨에 속한다.In the selecting step, the encoding apparatus or the decoding apparatus may select, among the aligned reference pictures, pictures having a temporal ID that is equal to or smaller than the temporal ID of the current picture. The temporal ID of the picture specifies the temporal level to which the picture belongs. A picture with a low temporal ID belongs to a low temporal level, and a picture with a high temporal ID belongs to a high temporal level.
선택된 픽처들 간에는 정렬 단계에서 결정된 픽처들 사이의 선후 관계가 유지된다. Between the selected pictures, the posterior relationship between the pictures determined in the alignment step is maintained.
즉, L0의 경우에, 현재 픽처의 시간적 ID와 같거나 현재 픽처의 시간적 ID보다 작은 시간적 ID를 갖는 픽처들은 각 픽처의 POC 값에 따라서 내림차순으로 정렬된다. L1의 경우에, 현재 픽처의 시간적 ID와 같거나 현재 픽처의 시간적 ID보다 작은 시간적 ID를 갖는 픽처들은 POC 값에 따라서 오름차순으로 정렬된다. That is, in the case of L0, pictures having a temporal ID equal to or smaller than the temporal ID of the current picture are sorted in descending order according to the POC value of each picture. In the case of L1, pictures having a temporal ID that is less than or equal to the temporal ID of the current picture are sorted in ascending order according to the POC value.
참조 픽처 리스트에서, 선택된 픽처들은 선택되지 않은 픽처들(현재 픽처의 시간적 ID보다 큰 시간적 ID를 가지는 참조 픽처들)보다 앞쪽에 위치한다. 예컨대, 선택된 픽처들에는 선택되지 않는 픽처들보다 낮은 참조 픽처 인덱스가 할당된다. In the reference picture list, the selected pictures are located ahead of the unselected pictures (reference pictures having a temporal ID that is greater than the temporal ID of the current picture). For example, selected pictures are assigned a lower reference picture index than pictures that are not selected.
이용할 수 있는 참조 픽처의 개수(N)가 선택된 픽처들의 개수(M)보다 큰 경우, 즉 할당할 참조 픽처 인덱스가 남을 경우에는 선택되지 않은 참조 픽처들을 선택된 참조 픽처 뒤에 POC 순서에 따라서 추가할 수 있다. 이때, 추가되는 참조 픽처의 개수는 이용할 참조 픽처의 개수(N)과 선택된 참조 픽처의 개수(M)의 차(N-M)과 같다.When the number (N) of available reference pictures is larger than the number (M) of selected pictures, that is, when a reference picture index to be allocated remains, non-selected reference pictures may be added after the selected reference picture according to the POC order. . In this case, the number of reference pictures to be added is equal to the difference (N-M) between the number N of reference pictures to be used and the number M of selected reference pictures.
한편, 장기 참조 픽처의 경우에는, 현재 픽처의 인터 예측에 장치 참조 픽처가 이용되는지를 지시하는 정보가 전송되고, 장기 참조 픽처가 이용되는 경우에는 각각의 장기 참조 픽처별로 현재 픽처에서 참조되는지를 지시함으로써, 선택된 참조 픽처들 또는 단기 참조 픽처들 뒤에 현재 픽처에서 참조되는 장기 참조 픽처가 추가될 수 있다. On the other hand, in the case of a long-term reference picture, information indicating whether a device reference picture is used for inter prediction of the current picture is transmitted, and when a long-term reference picture is used, it is indicated whether the long-term reference picture is referenced in the current picture for each long-term reference picture. By doing so, the long-term reference picture referenced in the current picture can be added after the selected reference pictures or short-term reference pictures.
또한, 장기 참조 픽처도, 선택 단계에서 현재 픽처의 시간적 ID과 같거나 현재 픽처의 시간적 ID보다 작은 시간적 ID를 갖는 픽처로서 선택되면, 선택된 픽처로서 선택되지 않은 단기 참조 픽처보다 먼저 위치할 수도 있다. In addition, if the long-term reference picture is selected as a picture having a temporal ID that is less than or equal to the temporal ID of the current picture in the selection step, the long-term reference picture may be located before the short-term reference picture that is not selected as the selected picture.
표 2는 참조 픽처 리스트 초기화에 있어서 시간적 ID를 기반으로 선택 단계를 수행하는 방법을 신택스 구조로 나타낸 것이다. Table 2 shows a syntax structure of a method for performing a selection step based on a temporal ID in initializing a reference picture list.
<표 2>TABLE 2
Figure PCTKR2012009052-appb-I000002
Figure PCTKR2012009052-appb-I000002
표 2에서 SortedRefPicList는 정렬 단계 후 DPB에 저장된 참조 픽처들의 리스트를 나타내고, FinalRefPicList는 현재 픽처에 대하여 참조 픽처 리스트 초기화를 수행한 결과 출력되는 참조 픽처들의 최종적인 리스트이며, TmpRefPicList는 참조 픽처들의 임시 리스트이다. In Table 2, SortedRefPicList represents a list of reference pictures stored in the DPB after the sorting step, FinalRefPicList is a final list of reference pictures output as a result of performing reference picture list initialization on the current picture, and TmpRefPicList is a temporary list of reference pictures. .
표 2에서 보듯이, FinalRefPicList와 TmpRefPicList는 초기화 절차의 시작 또는 선택 단계의 시작 시점에 비어 있다.As shown in Table 2, FinalRefPicList and TmpRefPicList are empty at the beginning of the initialization procedure or at the beginning of the selection phase.

도 5는 본 발명에 의한 참조 픽처 리스트 초기화의 일 예를 개략적으로 설명하는 도면이다. 도 5에서는 현재 픽처(500)가 P 픽처이며, 참조 픽처 리스트에서 이용하는 참조 픽처로서 2 개의 참조 픽처가 선택되는 경우를 예로서 설명하고 있다. 5 is a diagram schematically illustrating an example of reference picture list initialization according to the present invention. In FIG. 5, an example in which the current picture 500 is a P picture and two reference pictures are selected as reference pictures used in the reference picture list is described as an example.
도 5에서 참조 1은 QP 또는 시간적 레벨을 고려하지 않는 경우의 참조 관계로서, 참조 픽처 순서 1에 따라서 참조 픽처 리스트 내에 참조 픽처들이 최종적으로 정렬된다. 참조 2는 QP 또는 시간적 레벨을 고려한 경우의 참조 관계로서, 참조 픽처 순서 2에 따라서 참조 픽처 리스트 내에 참조 픽처들이 최종적으로 정렬된다.In FIG. 5, reference 1 refers to a reference relationship in which no QP or temporal level is considered, and reference pictures are finally sorted in the reference picture list according to reference picture order 1. FIG. Reference 2 is a reference relationship in consideration of QP or temporal level, and the reference pictures are finally sorted in the reference picture list according to reference picture order 2.
도 5를 참조하면, QP 또는 시간적 레벨을 고려하지 않는 경우에, 현재 픽처에 대한 L0의 참조 픽처 리스트들은 초기화에 의해 [POC가 8인 픽처, POC가 6인 픽처]로 정렬 및 선택되어 구성된다. Referring to FIG. 5, in the case of not considering the QP or temporal level, the reference picture lists of L0 for the current picture are arranged and selected as [picture with POC 8, picture with POC 6] by initialization. .
본 발명에 따라서, QP 또는 시간적 레벨을 고려하는 경우에, 현재 픽처에 대한 L0의 참조 픽처 리스트들은 초기화에 의해 [POC가 8인 픽처, POC가 4인 픽처]로 정렬 및 선택되어 구성된다.According to the present invention, when considering the QP or temporal level, the reference picture lists of L0 for the current picture are arranged and selected to be [picture with POC of 8, picture with POC of 4] by initialization.
여기서는 설명의 편의를 위해, 랜덤 액세스가 수행되어 DPB에서 IDR 픽처 이전의 픽처들이 정리된(cleared) 경우를 예로서 설명하였으나, 본 발명은 이에 한정되지 않는다.For convenience of description, a case where random access is performed and pictures before IDR pictures are cleared in the DPB has been described as an example, but the present invention is not limited thereto.
도 6은 본 발명에 의한 참조 픽처 리스트 초기화의 다른 예를 개략적으로 설명하는 도면이다. 도 6에서는 현재 픽처(600)가 P 픽처이며, 참조 픽처 리스트에서 이용하는 참조 픽처로서 4 개의 참조 픽처가 선택되는 경우를 예로서 설명하고 있다. 6 is a diagram schematically illustrating another example of initialization of a reference picture list according to the present invention. In FIG. 6, an example in which the current picture 600 is a P picture and four reference pictures are selected as a reference picture used in the reference picture list is described as an example.
도 6에서, 참조 1은 QP 또는 시간적 레벨을 고려하지 않는 경우의 참조 관계로서, 참조 픽처 순서 1에 따라서 참조 픽처 리스트 내에 참조 픽처들이 최종적으로 정렬된다. 참조 2는 QP 또는 시간적 레벨을 고려한 경우의 참조 관계로서, 참조 픽처 순서 2에 따라서 참조 픽처 리스트 내에 참조 픽처들이 최종적으로 정렬된다.In FIG. 6, reference 1 is a reference relationship in which QP or temporal level is not considered, and reference pictures are finally sorted in the reference picture list according to reference picture order 1. Reference 2 is a reference relationship in consideration of QP or temporal level, and the reference pictures are finally sorted in the reference picture list according to reference picture order 2.
도 6을 참조하면, QP 또는 시간적 레벨을 고려하지 않는 경우에, 현재 픽처에 대한 L0의 참조 픽처 리스트들은 초기화에 의해 [POC가 8인 픽처, POC가 6인 픽처, POC가 4인 픽처, POC가 0인 픽처]로 정렬 및 선택되어 구성된다. Referring to FIG. 6, in the case of not considering the QP or temporal level, the reference picture lists of L0 for the current picture are initialized by [initializing a picture having a POC of 8, a picture having a POC of 6, a picture having a POC of 4, and a POC by initialization]. Is selected to be zero).
본 발명에 따라서, QP 또는 시간적 레벨을 고려하는 경우에, 현재 픽처에 대한 L0의 참조 픽처 리스트들은 초기화에 의해 [POC가 8인 픽처, POC가 0인 픽처, POC가 6인 픽처, POC가 4인 픽처]로 정렬 및 선택되어 구성된다.According to the present invention, when considering the QP or temporal level, the reference picture lists of L0 for the current picture are initialized by [initial picture with POC of 8, picture with POC of 0, picture with POC of 6, POC of 4 In-picture].
여기서는 설명의 편의를 위해, 랜덤 액세스가 수행되어 DPB에서 IDR 픽처 이전의 픽처들이 정리된(cleared) 경우를 예로서 설명하였으나, 본 발명은 이에 한정되지 않는다.For convenience of description, a case where random access is performed and pictures before IDR pictures are cleared in the DPB has been described as an example, but the present invention is not limited thereto.
도 7은 본 발명에 따라서 참조 픽처 리스트의 초기화를 수행하는 방법을 개략적으로 설명하는 순서도이다.7 is a flowchart schematically illustrating a method of performing initialization of a reference picture list according to the present invention.
도 7을 참조하면, 먼저 참조 픽처들의 정렬이 수행된다(S710). 정렬 단계에서는 참조 픽처들의 POC를 기반으로 참조 픽처들이 정렬된다. 참조 픽처들의 정렬 단계에서 수행되는 구체적인 정렬 절차는 QP에 기반한 참조 픽처 리스트 초기화와 시간적 ID에 기반한 참조 픽처 리스트 초기화의 (1) 정렬 단계에서 설명한 바와 같다.Referring to FIG. 7, first, alignment of reference pictures is performed (S710). In the sorting step, the reference pictures are aligned based on the POCs of the reference pictures. The specific sorting procedure performed in the sorting step of reference pictures is the same as described in (1) sorting step of the reference picture list initialization based on QP and the reference picture list initialization based on temporal ID.
정렬된 참조 픽처들 중에서 QP를 기반으로 현재 픽처에 대한 인터 예측에 사용될 참조 픽처들이 선택된다(S720). 참조 픽처들의 QP와 현재 픽처의 QP를 비교하여, 현재 픽처의 QP와 동일하거나 현재 픽처의 QP보다 작은 QP를 가지는 참조 픽처들이 선택된다. QP를 반영한 시간적 레벨을 기반으로 선택이 수행될 수도 있다. Among the aligned reference pictures, reference pictures to be used for inter prediction on the current picture are selected based on the QP (S720). By comparing the QPs of the reference pictures with the QP of the current picture, reference pictures having a QP that is equal to or less than the QP of the current picture are selected. The selection may be performed based on the temporal level reflecting the QP.
참조 픽처들의 선택 단계에서 수행되는 구체적인 선택 절차는 QP에 기반한 참조 픽처 리스트 초기화와 시간적 ID에 기반한 참조 픽처 리스트 초기화의 (2) 선택 단계에서 설명한 바와 같다.The specific selection procedure performed in the selection step of the reference pictures is the same as described in the (2) selection step of the reference picture list initialization based on the QP and the reference picture list initialization based on the temporal ID.
도 8은 본 발명에 따라서 참조 픽처 리스트의 초기화를 수행하는 장치를 개략적으로 나타낸 것이다.8 schematically illustrates an apparatus for performing initialization of a reference picture list according to the present invention.
도 8을 참조하면, 참조 픽처 리스트 초기화 장치(800)는 정렬부(810)와 선택부(820)를 포함한다. Referring to FIG. 8, the reference picture list initialization apparatus 800 includes an alignment unit 810 and a selection unit 820.
정렬부(810)는 입력되는 참조 픽처 정보를 기반으로 픽처들의 POC를 기반으로 참조 픽처들을 정렬된다. L0의 경우에, 정렬부(810)는 현재 픽처보다 POC가 작은 픽처들을 POC의 내림차순으로 정렬하고, 이어서 현재 픽처보다 POC가 큰 픽처들을 POC의 오름차순으로 정렬할 수 있다. 또한, L1의 경우에, 정렬부(810)는 현재 픽처보다 POC가 큰 픽처들을 POC의 오름차순으로 정렬하고, 이어서 현재 픽처보다 POC가 작은 픽처들을 POC의 내림차순으로 정렬할 수 있다. The alignment unit 810 aligns reference pictures based on POCs of pictures based on input reference picture information. In the case of L0, the alignment unit 810 may sort the pictures having the smaller POC than the current picture in descending order of the POC, and then sort the pictures having the larger POC than the current picture in ascending order of the POC. In addition, in the case of L1, the alignment unit 810 may sort the pictures having the larger POC than the current picture in ascending order of the POC, and then sort the pictures having the smaller POC than the current picture in descending order of the POC.
정렬부(810)가 수행하는 동작의 구체적인 내용은 QP에 기반한 참조 픽처 리스트 초기화와 시간적 ID에 기반한 참조 픽처 리스트 초기화의 (1) 정렬 단계에서 설명한 바와 같다.Details of operations performed by the alignment unit 810 are the same as described in (1) the alignment step of the reference picture list initialization based on the QP and the reference picture list initialization based on the temporal ID.
선택부(820)는 참조 픽처들의 QP와 현재 픽처의 QP를 비교하여, 현재 픽처의 QP와 동일하거나 현재 픽처의 QP보다 작은 QP를 가지는 참조 픽처들을 선택된다. 선택부(820)는 QP를 반영한 시간적 레벨을 기반으로 참조 픽처를 선택할 수도 있다. The selector 820 compares the QPs of the reference pictures with the QP of the current picture, and selects reference pictures having a QP that is equal to or smaller than the QP of the current picture. The selector 820 may select the reference picture based on the temporal level reflecting the QP.
선택부(820)가 수행하는 동작의 구체적인 내용은 QP에 기반한 참조 픽처 리스트 초기화와 시간적 ID에 기반한 참조 픽처 리스트 초기화의 (2) 선택 단계에서 설명한 바와 같다.Details of operations performed by the selector 820 are the same as those described in (2) selection steps of the reference picture list initialization based on the QP and the reference picture list initialization based on the temporal ID.
선택부(820)에서 선택이 수행된 최종적인 참조 픽처 리스트는 예측을 위해 DPB에 저장되거나 예측부에 전달되어 예측에 참조될 수 있다. The final reference picture list on which the selection is performed by the selection unit 820 may be stored in the DPB for prediction or transferred to the prediction unit to be referred to the prediction.
여기서는 참조 픽처 리스트 초기화가 별도의 구성(참조 픽처 리스트 초기화 장치)에서 수행되는 것으로 설명하였으나, 이는 설명의 편의와 발명의 이해를 위한 것으로서, 본 발명은 이에 한정되지 않는다. 예컨대, 참조 픽처 리스트의 초기화는 도 1 및 도 2에서 설명한 인코딩 장치 및 디코딩 장치의 메모리, 예컨대, DPB에서 수행될 수도 있다. 이 경우, 상술한 참조 픽처 리스트 장치는 DPB일 수 있다. 또한, 참조 픽처 리스트의 초기화는 도 1 및 도 2에서 설명한 인코딩 장치 및 디코딩 장치의 예측부에서 수행될 수도 있다. 이 경우, 상술한 참조 픽처 리스트 초기화 장치는 예측부일 수 있다. 뿐만 아니라, 참조 픽처 리스트 초기화 장치가 인코딩 장치 및 디코딩 장치 내에 별도의 구성으로서 포함될 수도 있다.Here, although reference picture list initialization is described as being performed in a separate configuration (reference picture list initialization device), this is for convenience of explanation and understanding of the present invention, and the present invention is not limited thereto. For example, initialization of the reference picture list may be performed in a memory of the encoding apparatus and the decoding apparatus described with reference to FIGS. 1 and 2, for example, a DPB. In this case, the above-described reference picture list apparatus may be a DPB. In addition, the initialization of the reference picture list may be performed by the prediction unit of the encoding apparatus and the decoding apparatus described with reference to FIGS. 1 and 2. In this case, the above-described reference picture list initialization apparatus may be a prediction unit. In addition, the reference picture list initialization apparatus may be included as separate components in the encoding apparatus and the decoding apparatus.
본 명세서에서는 참조 픽처 리스트에서 참조 픽처들이 정렬 및/또는 선택되거나 참조 픽처 리스트에 참조 픽처가 추가된다고 설명하고 있으나, 이는 설명의 편의를 위한 것으로서, 참조 픽처 리스트에서 참조 픽처를 특정하는 정보들이 정렬 및/또는 선택되거나 참조 픽처 리스트에 참조 픽처를 특정하는 정보들이 추가된다는 의미로 해석될 수 있다. In this specification, although reference pictures are sorted and / or selected in the reference picture list or reference pictures are added to the reference picture list, this is for convenience of description, and information for specifying the reference picture in the reference picture list is aligned and / Or may be interpreted to mean that the information to select or specify the reference picture to the reference picture list is added.
상술한 예시적인 시스템에서, 방법들은 일련의 단계 또는 블록으로써 순서도를 기초로 설명되고 있지만, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 상술한 실시예들은 다양한 양태의 예시들을 포함한다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.In the exemplary system described above, the methods are described based on a flowchart as a series of steps or blocks, but the invention is not limited to the order of steps, and certain steps may occur in a different order or concurrently with other steps than those described above. Can be. In addition, the above-described embodiments include examples of various aspects. Accordingly, it is intended that the present invention cover all other replacements, modifications and variations that fall within the scope of the following claims.
지금까지 본 발명에 관한 설명에서 일 구성 요소가 타 구성 요소에 "연결되어" 있다거나 "접속되어"있다고 언급된 때에는, 상기 일 다른 구성 요소가 상기 타 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 상기 두 구성 요소 사이에 다른 구성 요소가 존재할 수도 있다고 이해되어야 한다. 반면에, 일 구성 요소가 타 구성 요소에 "직접 연결되어"있다거나 "직접 접속되어"있다고 언급된 때에는, 두 구성 요소 사이에 다른 구성요소가 존재하지 않는 것으로 이해되어야 한다.So far in the description of the present invention, when one component is referred to as being "connected" or "connected" to another component, the other component is directly connected to or connected to the other component. It may be, but it should be understood that other components may exist between the two components. On the other hand, when one component is referred to as being "directly connected" or "directly connected" to another component, it should be understood that no other component exists between the two components.

Claims (18)

  1. 현재 픽처에 대한 인터 예측을 위하여, 참조 픽처를 각 참조 픽처들의 POC(Picture Order Count)에 따라서 정렬하는 단계; 및
    상기 정렬된 픽처들 중에서 상기 현재 픽처의 예측에 사용될 참조 픽처들을 선택하는 단계를 포함하며,
    상기 선택 단계에서는 참조 픽처들의 양자화 파라미터를 기반으로 참조 픽처들을 선택하는 것을 특징으로 하는 참조 픽처 리스트 초기화 방법.    Arranging a reference picture according to a picture order count (POC) of each reference picture for inter prediction on a current picture; And
    Selecting reference pictures from among the sorted pictures to be used for prediction of the current picture,
    And in the selecting step, reference pictures are selected based on quantization parameters of the reference pictures.
  2. 제1항에 있어서, 상기 선택 단계에서는,
    상기 정렬된 참조 픽처들 중에서 상기 현재 픽처의 양자화 파라미터보다 작거나 같은 양자화 파라미터를 가지는 참조 픽처들을 선택하는 것을 특징으로 하는 참조 픽처 리스트 초기화 방법.    The method of claim 1, wherein in the selecting step,
    And selecting reference pictures having the quantization parameter that is less than or equal to the quantization parameter of the current picture among the sorted reference pictures.
  3. 제1항에 있어서, 상기 선택 단계에서는,
    상기 정렬된 참조 픽처들 중에서 상기 현재 픽처의 시간적 레벨보다 낮거나 같은 시간적 레벨을 가지는 참조 픽처들을 선택하는 것을 특징으로 하는 참조 픽처 리스트 초기화 방법.    The method of claim 1, wherein in the selecting step,
    And selecting reference pictures having a temporal level lower than or equal to the temporal level of the current picture among the sorted reference pictures.
  4. 제1항에 있어서, 상기 선택된 참조 픽처들 간에는 상기 정렬 단계에서 결정된 정렬 순서를 유지하는 것을 특징으로 하는 참조 픽처 리스트 초기화 방법.The method of claim 1, wherein the sorting order determined in the sorting step is maintained between the selected reference pictures.
  5. 제1항에 있어서, 상기 현재 픽처에 대한 참조 픽처 리스트 0의 초기화에서는, 상기 선택된 참조 픽처들이 POC의 내림차순으로 정렬되는 것을 특징으로 하는 참조 픽처 리스트 초기화 방법.The method of claim 1, wherein in the initialization of the reference picture list 0 for the current picture, the selected reference pictures are arranged in descending order of the POC.
  6. 제1항에 있어서, 상기 현재 픽처에 대한 참조 픽처 리스트 1의 초기화에서는, 상기 선택된 참조 픽처들이 POC의 오름차순으로 정렬되는 것을 특징으로 하는 참조 픽처 리스트 초기화 방법.The method of claim 1, wherein in the initialization of reference picture list 1 for the current picture, the selected reference pictures are arranged in ascending order of POC.
  7. 제1항에 있어서, 상기 정렬 단계에서 정렬되는 참조 픽처들은 적어도 하나의 단기 참조 픽처와 적어도 하나의 장기 참조 픽처인 것을 특징으로 하는 참조 픽처 리스트 초기화 방법.The method of claim 1, wherein the reference pictures arranged in the sorting step are at least one short-term reference picture and at least one long-term reference picture.
  8. 제1항에 있어서, 장기 참조 픽처가 현재 픽처에 대하여 참조 픽처로서 이용되는 경우에는,
    이용되는 것으로 결정된 장기 참조 픽처들이 선택된 참조 픽처들에 이어서 정렬되는 것을 특징으로 하는 참조 픽처 리스트 초기화 방법.    The method of claim 1, wherein when the long-term reference picture is used as a reference picture with respect to the current picture,
    A method of initializing a reference picture list, wherein the long-term reference pictures determined to be used are arranged following the selected reference pictures.
  9. 제1항에 있어서, 상기 선택 단계에서 선택되지 않은 참조 픽처들은, 상기 선택된 참조 픽처들에 이어서 정렬되는 것을 특징으로 하는 참조 픽처 리스트 초기화 방법.The method of claim 1, wherein reference pictures not selected in the selecting step are arranged after the selected reference pictures.
  10. 현재 픽처에 대한 인터 예측을 위하여, 참조 픽처를 각 참조 픽처들의 POC(Picture Order Count)에 따라서 정렬하는 참조 픽처 정렬부; 및
    상기 정렬된 픽처들 중에서 상기 현재 픽처의 예측에 사용될 참조 픽처들을 참조 픽처들을 선택하는 참조 픽처 선택부를 포함하며,
    상기 참조 픽처 선택부에서는 참조 픽처들의 양자화 파라미터를 기반으로 참조 픽처를 선택하는 것을 특징으로 하는 참조 픽처 리스트 초기화 장치.    A reference picture alignment unit for aligning reference pictures according to picture order counts (POCs) of respective reference pictures for inter prediction on a current picture; And
    A reference picture selector which selects reference pictures among reference pictures to be used for prediction of the current picture among the aligned pictures,
    And the reference picture selection unit selects a reference picture based on quantization parameters of the reference pictures.
  11. 제10항에 있어서, 상기 참조 픽처 선택부는,
    상기 정렬된 참조 픽처들 중에서 상기 현재 픽처의 양자화 파라미터보다 작거나 같은 양자화 파라미터를 가지는 참조 픽처들을 선택하는 것을 특징으로 하는 참조 픽처 리스트 초기화 장치.    The method of claim 10, wherein the reference picture selection unit,
    And selecting reference pictures having the quantization parameter that is less than or equal to the quantization parameter of the current picture among the aligned reference pictures.
  12. 제10항에 있어서, 상기 참조 픽처 선택부는,
    상기 정렬된 참조 픽처들 중에서 상기 현재 픽처의 시간적 레벨보다 낮거나 같은 시간적 레벨을 가지는 참조 픽처들을 선택하는 것을 특징으로 하는 참조 픽처 리스트 초기화 장치.    The method of claim 10, wherein the reference picture selection unit,
    And selecting reference pictures having a temporal level lower than or equal to the temporal level of the current picture among the aligned reference pictures.
  13. 제10항에 있어서, 상기 참조 픽처 선택부가 선택한 픽처들 간에는 상기 참조 픽처 정렬부가 결정한 정렬 순서가 유지되는 것을 특징으로 하는 참조 픽처 리스트 초기화 장치.The apparatus as claimed in claim 10, wherein the order determined by the reference picture alignment unit is maintained between the pictures selected by the reference picture selection unit.
  14. 제10항에 있어서, 상기 현재 픽처에 대한 참조 픽처 리스트 0에 대하여, 상기 선택된 참조 픽처들이 POC의 내림차순으로 정렬되는 것을 특징으로 하는 참조 픽처 리스트 초기화 장치.The apparatus of claim 10, wherein the selected reference pictures are arranged in descending order of POC with respect to reference picture list 0 for the current picture.
  15. 제10항에 있어서, 상기 현재 픽처에 대한 참조 픽처 리스트 1에 대하여, 상기 선택된 참조 픽처들이 POC의 오름차순으로 정렬되는 것을 특징으로 하는 참조 픽처 리스트 초기화 장치.The apparatus of claim 10, wherein the selected reference pictures are arranged in ascending order of POCs with respect to reference picture list 1 for the current picture.
  16. 제10항에 있어서, 상기 참조 픽처 정렬부는 적어도 하나의 단기 참조 픽처와 적어도 하나의 장기 참조 픽처를 정렬하는 것을 특징으로 하는 참조 픽처 리스트 초기화 장치.The apparatus of claim 10, wherein the reference picture alignment unit aligns at least one short-term reference picture with at least one long-term reference picture.
  17. 제10항에 있어서, 장기 참조 픽처가 현재 픽처에 대하여 참조 픽처로서 이용되는 경우에,
    상기 참조 픽처 선택부는 상기 선택된 참조 픽처들에 이어서 장기 참조 픽처를 정렬하는 것을 특징으로 하는 참조 픽처 리스트 초기화 방법.    The method of claim 10, wherein in the case where a long-term reference picture is used as a reference picture with respect to the current picture,
    And the reference picture selector aligns a long-term reference picture after the selected reference pictures.
  18. 제10항에 있어서, 상기 참조 픽처 선택부는,
    선택하지 않는 참조 픽처들을 상기 선택된 참조 픽처들에 이어서 정렬하는 것을 특징으로 하는 참조 픽처 리스트 초기화 장치.    The method of claim 10, wherein the reference picture selection unit,
    And reference pictures that are not selected are arranged next to the selected reference pictures.
PCT/KR2012/009052 2011-10-31 2012-10-31 Method and apparatus for initializing reference picture list WO2013066045A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201161553287P 2011-10-31 2011-10-31
US61/553,287 2011-10-31

Publications (1)

Publication Number Publication Date
WO2013066045A1 true WO2013066045A1 (en) 2013-05-10

Family

ID=48192338

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2012/009052 WO2013066045A1 (en) 2011-10-31 2012-10-31 Method and apparatus for initializing reference picture list

Country Status (1)

Country Link
WO (1) WO2013066045A1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015016536A1 (en) * 2013-07-30 2015-02-05 주식회사 케이티 Image encoding and decoding method supporting plurality of layers and apparatus using same
CN105453564A (en) * 2013-07-30 2016-03-30 株式会社Kt Image encoding and decoding method supporting plurality of layers and apparatus using same
CN106937168A (en) * 2015-12-30 2017-07-07 掌赢信息科技（上海）有限公司 A kind of method for video coding of utilization long term reference frame, electronic equipment and system
US9894369B2 (en) 2013-07-30 2018-02-13 Kt Corporation Image encoding and decoding method supporting plurality of layers and apparatus using same
CN115134593A (en) * 2015-06-05 2022-09-30 杜比实验室特许公司 Image encoding and decoding method for performing inter prediction, bit stream storage method

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003284077A (en) * 2002-01-16 2003-10-03 Matsushita Electric Ind Co Ltd Apparatus and method for coding image, and image coding program
KR100796857B1 (en) * 2003-12-25 2008-01-22 닛본 덴끼 가부시끼가이샤 Moving image encoding method and apparatus
KR20090119434A (en) * 2008-05-16 2009-11-19 삼성전자주식회사 Method and apparatus for video encoding and decoding
JP2010521077A (en) * 2007-03-09 2010-06-17 シャープ株式会社 Method and system for rewriting a scalable bitstream into a non-scalable bitstream
JP2011507404A (en) * 2007-12-10 2011-03-03 クゥアルコム・インコーポレイテッド Reference selection for video interpolation or extrapolation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003284077A (en) * 2002-01-16 2003-10-03 Matsushita Electric Ind Co Ltd Apparatus and method for coding image, and image coding program
KR100796857B1 (en) * 2003-12-25 2008-01-22 닛본 덴끼 가부시끼가이샤 Moving image encoding method and apparatus
JP2010521077A (en) * 2007-03-09 2010-06-17 シャープ株式会社 Method and system for rewriting a scalable bitstream into a non-scalable bitstream
JP2011507404A (en) * 2007-12-10 2011-03-03 クゥアルコム・インコーポレイテッド Reference selection for video interpolation or extrapolation
KR20090119434A (en) * 2008-05-16 2009-11-19 삼성전자주식회사 Method and apparatus for video encoding and decoding

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9894369B2 (en) 2013-07-30 2018-02-13 Kt Corporation Image encoding and decoding method supporting plurality of layers and apparatus using same
US10148952B2 (en) 2013-07-30 2018-12-04 Kt Corporation Image encoding and decoding method supporting plurality of layers and apparatus using same
CN105453564B (en) * 2013-07-30 2019-05-10 株式会社Kt Support multiple layers of image coding and decoding method and the device using this method
US9762910B2 (en) 2013-07-30 2017-09-12 Kt Corporation Image encoding and decoding method supporting plurality of layers and apparatus using same
US9762909B2 (en) 2013-07-30 2017-09-12 Kt Corporation Image encoding and decoding method supporting plurality of layers and apparatus using same
US9769478B2 (en) 2013-07-30 2017-09-19 Kt Corporation Scalable video signal encoding/decoding method and apparatus
CN105453564A (en) * 2013-07-30 2016-03-30 株式会社Kt Image encoding and decoding method supporting plurality of layers and apparatus using same
US9894357B2 (en) 2013-07-30 2018-02-13 Kt Corporation Image encoding and decoding method supporting plurality of layers and apparatus using same
WO2015016536A1 (en) * 2013-07-30 2015-02-05 주식회사 케이티 Image encoding and decoding method supporting plurality of layers and apparatus using same
US10148950B2 (en) 2013-07-30 2018-12-04 Kt Corporation Image encoding and decoding method supporting plurality of layers and apparatus using same
US10148949B2 (en) 2013-07-30 2018-12-04 Kt Corporation Scalable video signal encoding/decoding method and apparatus
US10154259B2 (en) 2013-07-30 2018-12-11 Kt Corporation Image encoding and decoding method supporting plurality of layers and apparatus using same
US10200702B2 (en) 2013-07-30 2019-02-05 Kt Corporation Image encoding and decoding method supporting plurality of layers and apparatus using same
CN115134593A (en) * 2015-06-05 2022-09-30 杜比实验室特许公司 Image encoding and decoding method for performing inter prediction, bit stream storage method
CN106937168A (en) * 2015-12-30 2017-07-07 掌赢信息科技（上海）有限公司 A kind of method for video coding of utilization long term reference frame, electronic equipment and system

Similar Documents

Publication Publication Date Title
JP7179884B2 (en) Video information notification method and device, and decoding method and device using the same
KR102219082B1 (en) Method and device for transmitting image information, and decoding method and device using same
US20220141478A1 (en) Video decoding method and apparatus using the same
WO2013066045A1 (en) Method and apparatus for initializing reference picture list

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12846073

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12846073

Country of ref document: EP

Kind code of ref document: A1