WO2020171670A1 - Method and apparatus for processing video signal for inter prediction - Google Patents

Method and apparatus for processing video signal for inter prediction Download PDF

Info

Publication number
WO2020171670A1
WO2020171670A1 PCT/KR2020/002615 KR2020002615W WO2020171670A1 WO 2020171670 A1 WO2020171670 A1 WO 2020171670A1 KR 2020002615 W KR2020002615 W KR 2020002615W WO 2020171670 A1 WO2020171670 A1 WO 2020171670A1
Authority
WO
WIPO (PCT)
Prior art keywords
block
motion vector
current block
mvp
prediction
Prior art date
Application number
PCT/KR2020/002615
Other languages
French (fr)
Korean (ko)
Inventor
박내리
남정학
장형문
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of WO2020171670A1 publication Critical patent/WO2020171670A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Definitions

  • Embodiments of the present specification relate to a video/video compression coding system, and more particularly, to a method and apparatus for performing inter prediction in an encoding/decoding process of a video signal.
  • Compression coding refers to a series of signal processing techniques for transmitting digitized information through a communication line or storing it in a format suitable for a storage medium.
  • Media such as video, image, and audio may be subject to compression encoding.
  • a technique for performing compression encoding on an image is referred to as video image compression.
  • Next-generation video content will be characterized by high spatial resolution, high frame rate, and high dimensionality of scene representation. In order to process such content, it will bring a tremendous increase in terms of memory storage, memory access rate, and processing power.
  • Inter prediction is a method of performing prediction on a current picture by referring to reconstructed samples of another picture.
  • various motion vector derivation methods along with new inter prediction techniques have been discussed.
  • An embodiment of the present specification provides a method and apparatus for constructing an improved motion vector predictor (MVP) candidate list in a process of encoding/decoding information for inter prediction.
  • MVP motion vector predictor
  • Embodiments of the present specification provide a method and apparatus for processing a video signal for inter prediction.
  • a method of encoding a video signal according to an embodiment of the present specification includes determining a reference picture and a motion vector for prediction of a current block, and motion based on motion information of a spatial neighboring block and a temporal neighboring block of the current block. Constructing a motion vector predictor (MVP) candidate list, determining an MVP candidate from the MVP candidate list based on the motion vector, a reference index for the reference picture, and related to the MVP candidate And encoding inter prediction information including an MVP index and a motion vector difference (MVD) between the motion vector of the current block and the motion vector of the MVP candidate.
  • MVP motion vector predictor
  • the forming of the MVP candidate list includes: a first collocated block corresponding to a right-bottom position of the current block in the reference picture and a second identical block corresponding to a partial area of the current block. Determining a temporal MVP candidate based on motion information of a location block, wherein the second co-location block is not able to use the first co-location block and a condition related to the location of the first co-location block is satisfied And adding a motion vector of the temporal MVP candidate to the MVP candidate list.
  • the determining of the temporal MVP candidate includes checking a condition related to the availability of the first co-located block and the location of the second co-located block, and the first co-located block If a block is not available and the condition related to the position of the first co-located block is satisfied, confirming the possibility of use of the motion vector of the second co-located block, and if the second co-located block is available, the It may include determining a motion vector of the second co-located block as the temporal MVP.
  • the step of checking the condition related to the location of the second co-located block includes determining whether to check the availability of the second co-located block based on the size of the current block. can do.
  • the step of checking the condition related to the location of the second co-located block includes: when the size of the current block is larger than a reference size, the block corresponding to the center area of the current block is converted to a second co-located block. And determining the availability of the second co-located block; and when the size of the current block is less than or equal to the reference size, a block corresponding to the upper left corner area of the current block in the reference picture It may include determining the second co-located block as the second co-located block and confirming the possibility of using the second co-located block.
  • the step of confirming the possibility of use of the motion vector of the second co-located block includes a first rounded value for the position of the first co-located block and a second value for the position of the second co-located block. It may include the step of determining whether to check the availability of the second co-located block based on the rounded value.
  • the step of checking the possibility of using the motion vector of the second co-located block may include, when the first rounded value and the second rounded value are different from each other, in the center region of the current block in the reference picture. Determining a corresponding block as a second co-located block and checking the availability of the second co-located block; and when the first rounded value and the second rounded value are the same, the upper left corner of the current block It may include determining an area corresponding to the area as the second co-located block, and confirming the availability of the second co-located block.
  • a video signal decoding method includes a reference index for prediction of a current block, a motion vector predictor (MVP) index, and a motion vector difference (MVD).
  • MVP motion vector predictor
  • MVD motion vector difference
  • the forming of the MVP candidate list includes: a first collocated block corresponding to a right-bottom position of the current block in the reference picture and a second identical block corresponding to a partial area of the current block. Determining a temporal MVP candidate based on motion information of a location block, wherein the second co-location block is not able to use the first co-location block and a condition related to the location of the first co-location block is satisfied And adding a motion vector of the temporal MVP candidate to the MVP candidate list.
  • An encoding apparatus includes a memory for storing the video signal, and a processor coupled to the memory and for processing the video signal.
  • the processor determines a reference picture and a motion vector for prediction of a current block, and generates a motion vector predictor (MVP) candidate list based on motion information of a spatial neighboring block and a temporal neighboring block of the current block. And determining an MVP candidate from the MVP candidate list based on the motion vector, a reference index for the reference picture, an MVP index related to the MVP candidate, a motion vector of the current block and a motion vector of the MVP candidate It is set to encode inter prediction information including a motion vector difference (MVD) therebetween.
  • MVP motion vector predictor
  • the processor includes a first collocated block corresponding to a right-bottom position of the current block in the reference picture and a partial area of the current block.
  • a temporal MVP candidate is determined based on motion information of a second co-located block, where the first co-located block is unavailable and a condition related to the location of the first co-located block is satisfied. If used, it is set to add the motion vector of the temporal MVP candidate to the MVP candidate list.
  • a decoding apparatus includes a memory for storing the video signal, and a processor coupled to the memory and for processing the video signal.
  • the processor obtains inter prediction information including a reference index for prediction of a current block, a motion vector predictor (MVP) index, and a motion vector difference (MVD), and the current block Constructs an MVP candidate list based on motion information of spatial neighboring blocks and temporal neighboring blocks of, and determines an MVP candidate from the MVP candidate list based on the MVP index, and based on the motion vector of the MVP candidate and the MVD. It is configured to determine a motion vector of the current block and generate a prediction sample of the current block based on the motion vector of the current block and a reference picture related to the reference index.
  • MVP motion vector predictor
  • MVPD motion vector difference
  • the processor includes: a first collocated block corresponding to a right-bottom position of the current block in the reference picture and a partial area of the current block.
  • a temporal MVP candidate is determined based on motion information of a second co-located block, where the first co-located block is unavailable and a condition related to the location of the first co-located block is satisfied. If used, it is set to add the motion vector of the temporal MVP candidate to the MVP candidate list.
  • Embodiments of the present specification provide a non-transitory computer readable medium storing one or more instructions.
  • One or more instructions stored in a computer-readable medium include a reference index for prediction of the current block, a motion vector predictor (MVP) index, and a motion vector difference (MVD).
  • MVP motion vector predictor
  • MVD motion vector difference
  • Obtain inter prediction information configure an MVP candidate list based on motion information of a spatial neighboring block and a temporal neighboring block of the current block, determine an MVP candidate from the MVP candidate list based on the MVP index, and the MVP A video signal processing apparatus to determine a motion vector of the current block based on a candidate motion vector and the MVD, and to generate a prediction sample of the current block based on the motion vector of the current block and a reference picture related to the reference index Control.
  • the one or more instructions are a first collocated block corresponding to a right-bottom position of the current block in the reference picture and a part of the current block.
  • a temporal MVP candidate is determined based on the motion information of the second co-located block corresponding to the region, wherein the second co-located block is related to the location of the first co-located block and the first co-located block is unavailable. It is used when the condition is satisfied, and controls the video signal processing apparatus to add a motion vector of the temporal MVP candidate to the MVP candidate list.
  • one or more instructions stored in a computer-readable medium determine a reference picture and a motion vector for prediction of a current block, and are based on motion information of a spatial neighboring block and a temporal neighboring block of the current block.
  • a motion vector predictor (MVP) candidate list is constructed, an MVP candidate is determined from the MVP candidate list based on the motion vector, a reference index for the reference picture, an MVP index related to the MVP candidate , And inter prediction information including a motion vector difference (MVD) between the motion vector of the current block and the motion vector of the MVP candidate is controlled.
  • MVP motion vector predictor
  • the one or more instructions are a first collocated block corresponding to a right-bottom position of the current block in the reference picture and a part of the current block.
  • a temporal MVP candidate is determined based on the motion information of the second co-located block corresponding to the region, wherein the second co-located block is related to the location of the first co-located block and the first co-located block is unavailable. It is used when the condition is satisfied, and controls the video signal processing apparatus to add the motion vector of the temporal MVP candidate to the MVP candidate list.
  • FIG. 1 shows an example of an image coding system according to an embodiment of the present specification.
  • FIG. 2 shows an example of a schematic block diagram of an encoding apparatus in which encoding of a video signal is performed according to an embodiment of the present specification.
  • FIG. 3 shows an example of a schematic block diagram of a decoding apparatus for decoding an image signal according to an embodiment of the present specification.
  • FIG. 4 shows an example of a content streaming system according to an embodiment of the present specification.
  • FIG 5 shows an example of a video signal processing apparatus according to an embodiment of the present specification.
  • 6A to 6D illustrate examples of a block division structure according to an embodiment of the present specification.
  • FIG. 7 is an example of a flowchart for encoding a picture constituting a video signal according to an embodiment of the present specification.
  • FIG. 8 is an example of a flowchart for decoding a picture constituting a video signal according to an embodiment of the present specification.
  • FIG. 9 is an example of a flowchart for inter prediction in an encoding process of a video signal according to an embodiment of the present specification.
  • FIG. 10 illustrates an example of an inter prediction unit in an encoding device according to an embodiment of the present specification.
  • FIG. 11 is an example of a flowchart for inter prediction in a process of decoding a video signal according to an embodiment of the present specification.
  • FIG. 12 illustrates an example of an inter prediction unit in a decoding apparatus according to an embodiment of the present specification.
  • FIG 13 illustrates examples of spatial neighboring blocks used as spatial merge candidates according to an embodiment of the present specification.
  • FIG. 14 is an example of a flowchart for configuring a merge candidate list according to an embodiment of the present specification.
  • MVP motion vector predictor
  • FIG. 16 illustrates examples of affine motion models according to an embodiment of the present specification.
  • 17A and 17B illustrate examples of motion vectors for each control point according to an embodiment of the present specification.
  • FIG. 18 shows an example of a motion vector for each subblock according to an embodiment of the present specification.
  • 19 is an example of a flowchart for configuring an affine merge candidate list according to an embodiment of the present specification.
  • FIG. 20 shows an example of blocks for deriving an inherited affine motion predictor according to an embodiment of the present specification.
  • 21 illustrates an example of control point motion vectors for deriving an inherited affine motion predictor according to an embodiment of the present specification.
  • FIG. 22 shows examples of blocks for deriving a constructed affine merge candidate according to an embodiment of the present specification.
  • FIG. 23 is an example of a flowchart for configuring an affine MVP candidate list according to an embodiment of the present specification.
  • ATMVP advanced temporal motion vector prediction
  • FIG. 25 shows an example of a method of deriving a sub-coding unit (CU) motion field in subblock-based temporal motion vector prediction (SbTMVP) according to an embodiment of the present specification .
  • CU sub-coding unit
  • SBTMVP subblock-based temporal motion vector prediction
  • 26 illustrates examples of spatial neighboring blocks and temporal neighboring blocks for constructing a single prediction candidate list according to an embodiment of the present specification.
  • FIG. 27 shows examples of blocks for inducing a temporal motion vector predictor according to an embodiment of the present specification.
  • FIG. 28 illustrates an example of a case where the lower right col-located (col) block and the center co-located block exist in the same grid according to an embodiment of the present specification.
  • 29 is an example of a flowchart for configuring an MVP candidate list in consideration of a TMVP confirmation condition according to an embodiment of the present specification.
  • FIG. 30 is an example of a flowchart for deriving a TMVP candidate based on a block size condition according to an embodiment of the present specification.
  • FIG. 31 is another example of a flowchart for deriving a TMVP candidate based on a block size condition according to an embodiment of the present specification.
  • FIG 33 is an example of a flowchart for deriving a TMVP candidate based on a rounded value of a lower right col block and a rounded value of a center col block according to an embodiment of the present specification.
  • FIG. 34 is another example of a flowchart for deriving a TMVP candidate based on a rounded value of a lower right col block and a rounded value of a center col block according to an embodiment of the present specification.
  • 35 is another example of a flowchart for configuring an MVP candidate list according to an embodiment of the present specification.
  • FIG. 36 is another example of a flowchart for configuring an MVP candidate list according to an embodiment of the present specification.
  • FIG. 37 is an example of a flowchart for inter prediction in an encoding process of a video signal according to an embodiment of the present specification.
  • 38 is an example of a flowchart for inter prediction in a process of decoding a video signal according to an embodiment of the present specification.
  • a'processing unit' means a unit in which an encoding/decoding process such as prediction, transformation, and/or quantization is performed.
  • the processing unit may be interpreted as including a unit for a luma component and a unit for a chroma component.
  • the processing unit may correspond to a block, a coding unit (CU), a prediction unit (PU), or a transform unit (TU).
  • the processing unit may be interpreted as a unit for a luminance component or a unit for a color difference component.
  • the processing unit may correspond to a coding tree block (CTB), a coding block (CB), a PU, or a transform block (TB) for a luminance component.
  • the processing unit may correspond to CTB, CB, PU or TB for the color difference component.
  • the present invention is not limited thereto, and the processing unit may be interpreted as including a unit for a luminance component and a unit for a color difference component.
  • processing unit is not necessarily limited to a square block, and may be configured in a polygonal shape having three or more vertices.
  • pixels or pixels are collectively referred to as samples.
  • using a sample may mean using a pixel value or a pixel value.
  • the image coding system may include a source device 10 and a reception device 20.
  • the source device 10 may transmit the encoded video/video information or data in a file or streaming format to the receiving device 20 through a digital storage medium or a network.
  • the source device 10 may include a video source 11, an encoding device 12, and a transmitter 13.
  • the receiving device 20 may include a receiver 21, a decoding device 22 and a renderer 23.
  • the encoding device 12 may be referred to as a video/image encoding device, and the decoding device 22 may be referred to as a video/image decoding device.
  • the transmitter 13 may be included in the encoding device 12.
  • the receiver 21 may be included in the decoding device 22.
  • the renderer 23 may include a display unit, and the display unit may be configured as a separate device or an external component.
  • the video source 11 may acquire a video/image through a process of capturing, synthesizing, or generating a video/image.
  • the video source 11 may include a video/image capturing device and/or a video/image generating device.
  • the video/image capturing device may include, for example, one or more cameras, and a video/image archive including previously captured video/images.
  • Video/image generating devices may include, for example, computers, tablets and smartphones, and may (electronically) generate video/images.
  • a virtual video/image may be generated through a computer, and in this case, a video/image capturing process may be substituted as a process of generating related data.
  • the encoding device 12 may encode an input video/video.
  • the encoding apparatus 12 may perform a series of procedures such as prediction, transformation, and quantization for compression and coding efficiency.
  • the encoded data (encoded video/video information) may be output in the form of a bitstream.
  • the transmitter 13 may transmit the encoded video/video information or data output in the form of a bitstream to the receiver 21 of the receiving device 20 through a digital storage medium or a network in a file or streaming form.
  • Digital storage media include USB (universal serial bus), SD card (secure digital card), CD (compact disc), DVD (digital versatile disc), Blu-ray disc, HDD (hard disk drive), SSD (solid state drive) may include a variety of storage media.
  • the transmitter 13 may include an element for generating a media file through a predetermined file format, and may include an element for transmission through a broadcast/communication network.
  • the receiver 21 may extract the bitstream and transmit it to the decoding device 22.
  • the decoding device 22 may decode the video/video by performing a series of procedures such as inverse quantization, inverse transformation, and prediction corresponding to the operation of the encoding device 12.
  • the renderer 23 may render the decoded video/image.
  • the rendered video/image may be displayed through the display unit.
  • FIG. 2 shows an example of a schematic block diagram of an encoding apparatus in which encoding of a video signal is performed according to an embodiment of the present specification.
  • the encoding device 100 of FIG. 2 may correspond to the encoding device 12 of FIG. 1.
  • the image partitioning module 110 may divide an input image (or picture, frame) input to the encoding apparatus 100 into one or more processing units.
  • the processing unit may be referred to as a coding unit (CU).
  • the coding unit may be recursively partitioned from a coding tree unit (CTU) or a largest coding unit (LCU) according to a quad-tree binary-tree (QTBT) structure.
  • CTU coding tree unit
  • LCU largest coding unit
  • QTBT quad-tree binary-tree
  • one coding unit may be divided into a plurality of coding units of a deeper depth based on a quad tree structure and/or a binary tree structure.
  • a quad tree structure may be applied first and a binary tree structure may be applied later.
  • the binary tree structure may be applied first.
  • a coding procedure according to an embodiment of the present specification may be performed based on a final coding unit that is no longer divided.
  • the maximum coding unit may be directly used as the final coding unit based on coding efficiency according to image characteristics.
  • the coding unit is recursively divided into coding units of a lower depth, so that a coding unit having an optimal size may be used as a final coding unit.
  • the coding procedure may include procedures such as prediction, transformation, and restoration described below.
  • the processing unit may further include a prediction unit (PU) or a transform unit (TU).
  • the prediction unit and the transform unit may be divided from the above-described coding units, respectively.
  • the prediction unit may be a unit of sample prediction
  • the transform unit may be a unit for inducing a transform coefficient or a unit for inducing a residual signal from the transform coefficient.
  • the term "unit” used in this document may be used interchangeably with terms such as "block” or "area” in some cases.
  • the MxN block may represent a set of samples or transform coefficients consisting of M columns and N rows.
  • a sample may generally represent a pixel or a value of a pixel, may represent a pixel/pixel value of a luminance component, or a pixel/pixel value of a saturation component.
  • a sample may be used as a term corresponding to one picture (or image) as a pixel or pel.
  • the encoding apparatus 100 includes a prediction signal (predicted block) output from an inter prediction module 180 or an intra prediction module 185 from an input video signal (original block, original sample array). , Predictive sample array), a residual signal (residual signal, residual block, residual sample array) may be generated. The generated residual signal is transmitted to the conversion unit 120.
  • a unit that subtracts a prediction signal (prediction block, prediction sample array) from an input video signal (original block, original sample array) in the encoding apparatus 100 is used as a subtraction module 115. May be referred to.
  • the prediction unit may perform prediction on a block to be processed (hereinafter, referred to as a current block) and generate a predicted block including prediction samples for the current block.
  • the prediction module may determine whether intra prediction or inter prediction is applied on a per CU basis.
  • the prediction unit may generate information about prediction, such as prediction mode information, as described later in the description of each prediction mode, and may transmit information about prediction to the entropy encoding unit 190.
  • Information about prediction is encoded by the entropy encoding unit 190 and may be output in the form of a bitstream.
  • the intra prediction unit 185 may predict the current block by referring to samples in the current picture.
  • the referenced samples may be located in the vicinity of the current block or may be located away from each other according to the prediction mode.
  • prediction modes may include a plurality of non-directional modes and a plurality of directional modes.
  • the non-directional mode may include, for example, a DC mode and a planar mode (Planar mode).
  • the directional mode may include, for example, 33 directional prediction modes or 65 directional prediction modes according to a detailed degree of the prediction direction. However, this is an example, and more or less directional prediction modes may be used depending on the setting.
  • the intra prediction unit 185 may determine a prediction mode applied to the current block by using the prediction mode applied to the neighboring block.
  • the inter prediction unit 180 may derive a predicted block for the current block based on a reference block (reference sample array) specified by a motion vector on the reference picture.
  • the inter prediction unit 180 may predict motion information in units of blocks, subblocks, or samples based on the correlation between motion information between neighboring blocks and the current block.
  • the motion information may include a motion vector and a reference picture index.
  • the motion information may further include inter prediction direction (L0 prediction, L1 prediction, Bi prediction, etc.) information.
  • the neighboring block may include a spatial neighboring block existing in the current picture and a temporal neighboring block existing in the reference picture.
  • the reference picture including the reference block and the reference picture including the temporal neighboring block may be the same or different.
  • the temporal neighboring block may be referred to as a collocated reference block or a colCU (colCU), and a reference picture including the temporal neighboring block may be referred to as a collocated picture (colPic).
  • the inter prediction unit 180 constructs a motion information candidate list based on motion information of neighboring blocks, and indicates which candidate is used to derive a motion vector and/or a reference picture index of the current block. Can generate information. Inter prediction may be performed based on various prediction modes. For example, when a skip mode and a merge mode are used, the inter prediction unit 180 may use motion information of a neighboring block as motion information of a current block.
  • a residual signal is not transmitted.
  • MVP motion vector prediction
  • MVD motion vector difference
  • the prediction signal generated by the inter prediction unit 180 or the intra prediction unit 185 may be used to generate a reconstructed signal or may be used to generate a residual signal.
  • the transform module 120 may generate transform coefficients by applying a transform technique to the residual signal.
  • the transformation technique uses at least one of DCT (Discrete Cosine Transform), DST (Discrete Sine Transform), KLT (Karhunen-Loeve Transform), GBT (Graph-Based Transform), or CNT (Conditionally Non-linear Transform).
  • DCT Discrete Cosine Transform
  • DST Discrete Sine Transform
  • KLT Kerhunen-Loeve Transform
  • GBT Graph-Based Transform
  • CNT Supplementally Non-linear Transform
  • GBT refers to transformation obtained from a graph representing relationship information between pixels.
  • CNT refers to a transformation obtained based on the prediction signal and generating a prediction signal using all previously reconstructed pixels.
  • the conversion process may be applied to a pixel block having the same size of a square, or may be applied to a block that is not a square or has a variable size.
  • the quantization module 130 quantizes the transform coefficients and transmits the quantized transform coefficients to the entropy encoding module 190.
  • the entropy encoding unit 190 may encode a quantized signal (information on quantized transform coefficients) and output it as a bitstream. Information about the quantized transform coefficients may be referred to as residual information.
  • the quantization unit 130 may rearrange the quantized transform coefficients in a block form into a one-dimensional vector form based on a coefficient scan order, and quantize the quantized transform coefficients based on the characteristics of the quantized transform coefficients in a one-dimensional vector form. It is also possible to generate information about transform coefficients.
  • the entropy encoding unit 190 may perform various encoding techniques such as exponential Golomb, context-adaptive variable length coding (CAVLC), and context-adaptive binary arithmetic coding (CABAC).
  • the entropy encoding unit 190 may encode information necessary for video/image restoration (eg, values of syntax elements) in addition to quantized transform coefficients together or separately.
  • the encoded information (eg, video/video information) may be transmitted or stored in a bitstream format in units of network abstraction layer (NAL) units.
  • NAL network abstraction layer
  • the bitstream may be transmitted over a network or may be stored in a digital storage medium.
  • the network may include a broadcasting network and/or a communication network
  • the digital storage medium may include a storage medium such as USB, SD, CD, DVD, Blu-ray, HDD, and SSD.
  • a transmission unit (not shown) for transmitting and/or a storage unit (not shown) for storing may be configured as internal/external elements of the encoding apparatus 100, or the transmission unit It may be a component of the entropy encoding unit 190.
  • the quantized transform coefficients output from the quantization unit 130 may be used to generate a reconstructed signal.
  • a residual signal can be restored by applying inverse quantization and inverse transform through the inverse quantization module 140 and the inverse transform module 150 in the loop for the quantized transform coefficients. have.
  • the addition module 155 adds the reconstructed residual signal to the prediction signal output from the inter prediction unit 180 or the intra prediction unit 185 to provide a reconstructed signal (reconstructed picture, a reconstructed block, and Sample array).
  • the predicted block may be used as a reconstructed block.
  • the addition unit 155 may be referred to as a restoration unit or a restoration block generation unit.
  • the generated reconstructed signal may be used for intra prediction of the next processing target block in the current picture, and may be used for inter prediction of the next picture through filtering as described later.
  • the filtering module 160 may improve subjective/objective image quality by applying filtering to the reconstructed signal.
  • the filtering unit 160 may apply various filtering methods to the reconstructed picture to generate a modified reconstructed picture, and may transmit the modified reconstructed picture to the decoded picture buffer 170.
  • Various filtering methods may include, for example, deblocking filtering, sample adaptive offset (SAO), adaptive loop filter (ALF), and bilateral filter.
  • the filtering unit 160 may generate filtering information and transmit the filtering information to the entropy encoding unit 190 as described later in the description of each filtering method.
  • the filtering information may be output in the form of a bitstream through entropy encoding in the entropy encoding unit 190.
  • the modified reconstructed picture transmitted to the decoded picture buffer (DBP) 170 may be used as a reference picture in the inter prediction unit 180.
  • the encoding apparatus 100 may avoid prediction mismatch between the encoding apparatus 100 and the decoding apparatus 200 by using the modified reconstructed picture, and may improve encoding efficiency.
  • the decoded picture buffer 170 may store the modified reconstructed picture to be used as a reference picture in the inter prediction unit 180.
  • FIG. 3 shows an example of a schematic block diagram of a decoding apparatus for decoding an image signal according to an embodiment of the present specification.
  • the decoding device 200 of FIG. 3 may correspond to the decoding device 22 of FIG. 1.
  • the decoding apparatus 200 includes an entropy decoding module 210, a de-quantization module 220, an inverse transform module 230, and an adder. (addition module) 235, filtering module 240, decoded picture buffer (DPB) 250, inter prediction module 260, and intra prediction module 265 ) Can be included.
  • the inter prediction unit 260 and the intra prediction unit 265 may be collectively referred to as a prediction module. That is, the prediction unit may include an inter prediction unit 180 and an intra prediction unit 185.
  • the inverse quantization unit 220 and the inverse transform unit 230 may be collectively referred to as a residual processing module.
  • the residual processing unit may include an inverse quantization unit 220 and an inverse transform unit 230.
  • the entropy decoding unit 210, the inverse quantization unit 220, the inverse transform unit 230, the addition unit 235, the filtering unit 240, the inter prediction unit 260, and the intra prediction unit 265 are implemented. It may be configured by one hardware component (eg, a decoder or a processor) according to an example. Also, the decoded picture buffer 250 may be configured by one hardware component (eg, a memory or a digital storage medium) according to an embodiment.
  • the decoding apparatus 200 may reconstruct an image in response to a process in which the video/image information is processed by the encoding apparatus 100 of FIG. 2.
  • the decoding apparatus 200 may perform decoding using a processing unit applied by the encoding apparatus 100.
  • the processing unit may be a coding unit, for example, and the coding unit may be divided from a coding tree unit or a maximum coding unit along a quad tree structure and/or a binary tree structure.
  • the reconstructed image signal decoded and output through the decoding device 200 may be reproduced through the playback device.
  • the decoding apparatus 200 may receive a signal output from the encoding apparatus 100 of FIG. 2 in the form of a bitstream, and the received signal may be decoded through the entropy decoding unit 210.
  • the entropy decoding unit 210 may parse the bitstream to derive information (eg, video/video information) necessary for image restoration (or picture restoration).
  • the entropy decoding unit 210 acquires information in the bitstream using a coding technique such as exponential Golomb coding, CAVLC, or CABAC, and a value of a syntax element required for image restoration, and a quantized value of a transform coefficient for a residual Can be printed.
  • a bin corresponding to each syntax element is received in a bitstream, and information about the syntax element to be decoded and decoding information of a block to be decoded and a neighbor or a symbol/bin decoded in a previous step
  • the symbol corresponding to the value of each syntax element is determined by determining the context model using the information of, and performing arithmetic decoding of the bin by predicting the probability of occurrence of the bin according to the determined context model.
  • the CABAC entropy decoding method may update the context model using information of the decoded symbol/bin for the context model of the next symbol/bin after the context model is determined.
  • the entropy decoding unit 210 Among the information decoded by the entropy decoding unit 210, information on prediction is provided to the prediction unit (inter prediction unit 260 and intra prediction unit 265), and the register on which entropy decoding is performed by the entropy decoding unit 210 Dual values, that is, quantized transform coefficients and related parameter information may be input to the inverse quantization unit 220. In addition, information about filtering among information decoded by the entropy decoding unit 210 may be provided to the filtering unit 240. Meanwhile, a receiving unit (not shown) for receiving a signal output from the encoding device 100 may be further configured as an inner/outer element of the decoding device 200, or the receiving unit may be a component of the entropy decoding unit 210. May be.
  • the inverse quantization unit 220 may output transform coefficients through inverse quantization of the quantized transform coefficients.
  • the inverse quantization unit 220 may rearrange the quantized transform coefficients into a two-dimensional block shape. In this case, the reordering may be performed based on the coefficient scan order performed by the encoding apparatus 100.
  • the inverse quantization unit 220 may perform inverse quantization on quantized transform coefficients by using a quantization parameter (eg, quantization step size information) and obtain transform coefficients.
  • a quantization parameter eg, quantization step size information
  • the inverse transform unit 230 inversely transforms the transform coefficients to obtain a residual signal (residual block, residual sample array).
  • the prediction unit may perform prediction on the current block and generate a predicted block including prediction samples for the current block.
  • the prediction unit may determine whether intra prediction or inter prediction is applied to the current block based on information on prediction output from the entropy decoding unit 210, and may determine a specific intra/inter prediction mode.
  • the intra prediction unit 265 may predict the current block by referring to samples in the current picture.
  • the referenced samples may be located near the current block or may be spaced apart according to the prediction mode.
  • prediction modes may include a plurality of non-directional modes and a plurality of directional modes.
  • the intra prediction unit 265 may determine a prediction mode applied to the current block by using the prediction mode applied to the neighboring block.
  • the inter prediction unit 260 may derive a predicted block for the current block based on a reference block (reference sample array) specified by a motion vector on the reference picture.
  • motion information may be predicted in units of blocks, subblocks, or samples based on correlation between motion information between neighboring blocks and current blocks.
  • the motion information may include a motion vector and a reference picture index.
  • the motion information may further include inter prediction direction (L0 prediction, L1 prediction, Bi prediction) information.
  • the neighboring block may include a spatial neighboring block existing in the current picture and a temporal neighboring block existing in the reference picture.
  • the inter prediction unit 260 may construct a motion information candidate list based on neighboring blocks, and derive a motion vector and/or a reference picture index of the current block based on the received candidate selection information.
  • Inter prediction may be performed based on various prediction modes, and information on prediction may include information indicating a mode of inter prediction for a current block.
  • the addition unit 235 adds the obtained residual signal to the prediction signal (predicted block, prediction sample array) output from the inter prediction unit 260 or the intra prediction unit 265 to provide a reconstructed signal (a reconstructed picture, a reconstructed block).
  • a reconstructed signal (a reconstructed picture, a reconstructed block).
  • Restoration sample array) can be generated.
  • the addition unit 235 may be referred to as a restoration unit or a restoration block generation unit.
  • the generated reconstructed signal may be used for intra prediction of the next processing target block in the current picture, and may be used for inter prediction of the next picture through filtering as described later.
  • the filtering unit 240 may improve subjective/objective image quality by applying filtering to the reconstructed signal. For example, the filtering unit 240 may apply various filtering methods to the reconstructed picture to generate a modified reconstructed picture, and may transmit the modified reconstructed picture to the decoded picture buffer 250.
  • Various filtering methods may include, for example, deblocking filtering, sample adaptive offset, adaptive loop filter, and bilateral filter.
  • the modified reconstructed picture delivered to the decoded picture buffer 250 may be used as a reference picture by the inter prediction unit 260.
  • embodiments described in the filtering unit 160, the inter prediction unit 180, and the intra prediction unit 185 of the encoding apparatus 100 are respectively the filtering unit 240 and the inter prediction unit 260 of the decoding apparatus.
  • the intra prediction unit 265 may be applied to be the same or correspond to each other.
  • FIG. 4 shows an example of a content streaming system according to an embodiment of the present specification.
  • Content streaming systems to which the embodiments of the present specification are applied are largely an encoding server 410, a streaming server 420, a web server 430, and a media storage 440. ), a user equipment 450, and a multimedia input device 460.
  • the encoding server 410 generates a bitstream by compressing content input from a multimedia input device 460 such as a smartphone, a camera, or a camcorder into digital data, and transmits the generated bitstream to the streaming server 420.
  • a multimedia input device 460 such as a smartphone, a camera, or a camcorder
  • the encoding server 410 may be omitted.
  • the bitstream may be generated by an encoding method or a bitstream generation method to which an embodiment of the present specification is applied, and the streaming server 420 may temporarily store the bitstream while transmitting or receiving the bitstream.
  • the streaming server 420 transmits multimedia data to the user device 450 based on a user request through the web server 430, and the web server 430 serves as an intermediary that informs the user of what kind of service exists.
  • the web server 430 transmits information on the requested service to the streaming server 420, and the streaming server 420 transmits multimedia data to the user.
  • the content streaming system may include a separate control server, and in this case, the control server serves to control commands/responses between devices in the content streaming system.
  • the streaming server 420 may receive content from the media storage 440 and/or the encoding server 410. For example, when content is received from the encoding server 410, the content may be received in real time. In this case, in order to provide a smooth streaming service, the streaming server 420 may store the bitstream for a predetermined time.
  • the user device 450 includes, for example, a mobile phone, a smart phone, a laptop computer, a digital broadcasting terminal, a personal digital assistants (PDA), a portable multimedia player (PMP), a navigation system, and a slate PC ( slate PC), tablet PC, ultrabook, wearable device, e.g., smartwatch, smart glass, head mounted display (HMD)), It can include digital TV, desktop computer, and digital signage.
  • PDA personal digital assistants
  • PMP portable multimedia player
  • HMD head mounted display
  • Each server in the content streaming system may be operated as a distributed server, and in this case, data received from each server may be distributedly processed.
  • FIG. 5 shows an example of a video signal processing apparatus according to an embodiment of the present specification.
  • the video signal processing apparatus of FIG. 5 may correspond to the encoding apparatus 100 of FIG. 1 or the decoding apparatus 200 of FIG. 2.
  • the video signal processing apparatus 500 for processing a video signal includes a memory 520 for storing a video signal, and a processor 510 for processing a video signal while being combined with the memory 520.
  • the processor 510 may be configured with at least one processing circuit for processing a video signal, and may process a video signal by executing instructions for encoding/decoding a video signal. That is, the processor 510 may encode original video data or decode an encoded video signal by executing encoding/decoding methods described below.
  • the processor 510 determines a reference picture and a motion vector for prediction of a current block, for encoding a video signal, and determines a spatial neighboring block and a temporal block of the current block. Construct a motion vector predictor (MVP) candidate list based on motion information of neighboring blocks, determine an MVP candidate from the MVP candidate list based on the motion vector, and a reference index for the reference picture, It is configured to encode an MVP index related to the MVP candidate and inter prediction information including a motion vector difference (MVD) between a motion vector of the current block and a motion vector of the MVP candidate.
  • MVP motion vector predictor
  • the processor 510 corresponds to a first collocated block corresponding to a right-bottom position of the current block in the reference picture and a partial region of the current block. It is configured to determine a temporal MVP candidate based on motion information of the second co-located block to be determined, and to add a motion vector of the temporal MVP candidate to the MVP candidate list, wherein the second co-located block is the first co-located block It is used when a block is unavailable and a condition related to the location of the first co-located block is satisfied.
  • the processor 510 for decoding a video signal, is a reference index for prediction of a current block, a motion vector predictor (MVP) index, and a motion vector difference (motion vector).
  • vector difference MVD
  • Determine an MVP candidate determine a motion vector of the current block based on the motion vector of the MVP candidate and the MVD, and predict the current block based on the motion vector of the current block and a reference picture related to the reference index It is set up to generate samples.
  • the processor 510 includes a first collocated block corresponding to a right-bottom position of the current block in the reference picture and a partial area of the current block. It is configured to determine a temporal MVP candidate based on motion information of a corresponding second co-location block and add a motion vector of the temporal MVP candidate to the MVP candidate list, where the second co-location block is the first co-located block. It is used when the location block is unavailable and the condition related to the location of the first co-located block is satisfied.
  • the processor 510 in order to determine the temporal MVP candidate, the processor 510 checks a condition related to the availability of the first co-located block and the location of the second co-located block, If the first co-located block is unavailable and the condition related to the position of the first co-located block is satisfied, the possibility of using the motion vector of the second co-located block is checked, and the second co-located block is available. In this case, it may be set to determine the motion vector of the second co-located block as the temporal MVP.
  • the processor 510 determines whether to check the availability of the second co-located block based on the size of the current block. Can be set to determine.
  • the processor 510 in order to check a condition related to the location of the second co-located block, the processor 510, when the size of the current block is larger than a reference size, a block corresponding to the center area of the current block Is determined as a second co-located block, the availability of the second co-located block is checked, and when the size of the current block is less than or equal to the reference size, in the reference picture, in the upper left corner area of the current block A corresponding block may be determined as the second co-located block, and may be set to confirm the availability of the second co-located block.
  • the processor 510 in order to check a condition related to the position of the second co-located block, includes a first rounded value for the position of the first co-located block and the second co-located block. It may be set to determine whether to check the availability of the second co-located block based on the second rounding value for the location.
  • the processor 510 comprises, when the first rounded value and the second rounded value are different from each other, in the reference picture A block corresponding to the center area of the block is determined as a second co-located block, and the availability of the second co-located block is checked, and when the first rounded value and the second rounded value are the same, the current block An area corresponding to the upper left corner area may be determined as the second co-located block, and may be set to check the availability of the second co-located block.
  • 6A to 6D illustrate examples of a block division structure according to an embodiment of the present specification.
  • 6A is a QT (quadtree, QT)
  • FIG. 6B is a binary tree (BT)
  • FIG. 6C is a ternary tree (TT)
  • FIG. 6D shows an example of block division structures by an asymmetric tree (AT). do.
  • one block may be divided based on a QT division scheme.
  • one subblock divided by the QT division method may be further divided recursively according to the QT division method.
  • a leaf block that is no longer divided by the QT division method may be divided by at least one of BT, TT, or AT.
  • BT can have two types of division, such as horizontal BT (2NxN, 2NxN) and vertical BT (Nx2N, Nx2N).
  • TT may have two types of divisions, such as horizontal TT (2Nx1/2N, 2NxN, 2Nx1/2N) and vertical TT (1/2Nx2N, Nx2N, 1/2Nx2N).
  • AT is horizontal-up AT (2Nx1/2N, 2Nx3/2N), horizontal-down AT (2Nx3/2N, 2Nx1/2N), vertical-left AT ( It can have four types of division: 1/2Nx2N, 3/2Nx2N), and vertical-right AT (3/2Nx2N, 1/2Nx2N).
  • Each BT, TT, AT can be further divided recursively using BT, TT, AT.
  • Block A may be divided into four sub-blocks (A0, A1, A2, A3) by QT.
  • Sub-block A1 may be divided into four sub-blocks (B0, B1, B2, B3) by QT again.
  • Block B3 that is no longer divided by QT may be divided by vertical BT (C0, C1) or horizontal BT (D0, D1). Like block C0, each sub-block may be further divided recursively in the form of horizontal BT (E0, E1) or vertical BT (F0, F1).
  • Block B3 which is no longer divided by QT may be divided into vertical TT (C0, C1, C2) or horizontal TT (D0, D1, D2). Like block C1, each sub-block may be further divided recursively in the form of horizontal TT (E0, E1, E2) or vertical TT (F0, F1, F2).
  • Block B3 which is no longer divided by QT, can be divided into vertical ATs (C0, C1) or horizontal ATs (D0, D1). Like block C1, each sub-block can be further divided recursively in the form of a horizontal AT (E0, E1) or a vertical TT (F0, F1).
  • BT, TT, and AT division can be applied together in one block.
  • a sub-block divided by BT may be divided by TT or AT.
  • sub-blocks divided by TT may be divided by BT or AT.
  • Sub-blocks divided by AT may be divided by BT or TT.
  • each sub-block may be divided by vertical BT.
  • each sub-block may be divided by horizontal BT. In this case, the order of division is different, but the shape of the final division is the same.
  • the order of searching for the block may be variously defined.
  • a search is performed from left to right and from top to bottom, and searching for a block means the order of determining whether to divide additional blocks of each divided sub-block, or if the block is no longer divided, each sub It may mean an encoding order of a block, or a search order when a subblock refers to information of another neighboring block.
  • pictures constituting the video/video may be encoded/decoded according to a series of decoding orders.
  • a picture order corresponding to an output order of a decoded picture may be set differently from a decoding order, and based on this, not only forward prediction but also backward prediction may be performed during inter prediction.
  • step S710 may be performed by the prediction units 180 and 185 of the encoding apparatus 100 described in FIG. 2, and step S720 may be performed by the residual processing units 115, 120, and 130. , S730 may be performed by the entropy encoding unit 190.
  • Step S710 may include an inter/intra prediction procedure described in this document
  • step S720 may include a residual processing procedure described in this document
  • step S730 includes an information encoding procedure described in this document. can do.
  • the picture encoding procedure is not only a procedure of encoding information for picture restoration (eg, prediction information, residual information, partitioning information) schematically as described in FIG. 2 to output in a bitstream form,
  • a procedure for generating a reconstructed picture for the current picture and a procedure for applying in-loop filtering to the reconstructed picture (optional) may be included.
  • the encoding device 100 may derive (modified) residual samples from the quantized transform coefficients through the inverse quantization unit 140 and the inverse transform unit 150, and predictive samples corresponding to the output of step S710 and the ( A reconstructed picture may be generated based on the modified) residual samples.
  • the reconstructed picture generated in this way may be the same as the reconstructed picture generated by the decoding apparatus 200 described above.
  • a modified reconstructed picture can be generated through an in-loop filtering procedure for the reconstructed picture, which can be stored in the decoded picture buffer 170 or a memory, and, as in the case of the decoding device 200, subsequent picture encoding It can be used as a reference picture in a time inter prediction procedure. As described above, in some cases, some or all of the in-loop filtering procedure may be omitted.
  • (in-loop) filtering-related information may be encoded by the entropy encoding unit 190 and output in the form of a bitstream, and the decoding apparatus 200
  • the in-loop filtering procedure may be performed in the same manner as the encoding apparatus 100.
  • the encoding device 100 and the decoding device 200 can derive the same prediction result, and increase the reliability of picture coding. , It is possible to reduce the amount of data transmitted for picture coding.
  • Operation S810 may be performed by the entropy decoding unit 210 in the decoding apparatus 200 of FIG. 3, operation S820 may be performed by the prediction units 260 and 265, and operation S830 may be performed by the residual processing unit ( 220, 230), step S840 may be performed by the addition unit 235, step S850 may be performed by the filtering unit 240.
  • Step S810 may include the information decoding procedure described in this document
  • step S820 may include the inter/intra prediction procedure described in this document
  • step S830 includes the residual processing procedure described in this document.
  • step S840 may include the block/picture restoration procedure described in this document
  • step S850 may include the in-loop filtering procedure described in this document.
  • the picture decoding procedure is schematically a procedure for obtaining image/video information (through decoding) from a bitstream (S810), a picture restoration procedure (S820 to S840), and a reconstructed picture as described in FIG. It may include an in-loop filtering procedure (S850) for.
  • the picture restoration procedure is based on prediction samples and residual samples obtained through the process of inter/intra prediction (S820) and residual processing (S830, inverse quantization and inverse transformation of a quantized code or coefficient) described in this document. Can be done.
  • a modified reconstructed picture may be generated through an in-loop filtering procedure for a reconstructed picture generated through a picture restoration procedure, and the modified reconstructed picture may be output as a decoded picture, and the decoding apparatus 200 It is stored in the decoded picture buffer 250 or a memory, and may be used as a reference picture in inter prediction when decoding a picture later.
  • the in-loop filtering procedure may be omitted.
  • the reconstructed picture may be output as a decoded picture, and stored in the decoded picture buffer 250 of the decoding device 200 or in a memory to be It can be used as a reference picture in the prediction train.
  • the in-loop filtering procedure S850 may include a deblocking filtering procedure, a sample adaptive offset (SAO) procedure, an adaptive loop filter (ALF) procedure, and/or a bi-lateral filter procedure as described above. And some or all of them may be omitted.
  • one or some of the deblocking filtering procedure, the SAO procedure, the ALF procedure, and the bilateral filter procedure may be sequentially applied, or all may be sequentially applied.
  • the SAO procedure may be performed.
  • the ALF procedure may be performed. This may be similarly performed in the encoding device 100.
  • a reconstructed block may be generated based on intra prediction/inter prediction for each block, and a reconstructed picture including the reconstructed blocks may be generated.
  • the current picture/slice/tile group is an I picture/slice/tile group
  • blocks included in the current picture/slice/tile group may be reconstructed based only on intra prediction.
  • inter prediction may be applied to some blocks in the current picture/slice/tile group
  • intra prediction may be applied to the remaining some blocks.
  • the color component of a picture may include a luminance component and a chrominance component, and the methods and embodiments proposed in this document may be applied to the luminance component and the chrominance component unless explicitly limited in this document.
  • inter prediction described below may be performed by the inter prediction unit 180 of the encoding apparatus 100 of FIG. 2 or the inter prediction unit 260 of the decoding apparatus 200 of FIG. 3.
  • data encoded according to an embodiment of the present specification may be stored in the form of a bitstream.
  • the prediction unit of the encoding device 100/decoding device 200 may derive a prediction sample by performing inter prediction in block units.
  • Inter prediction may represent prediction derived in a method dependent on data elements (eg, sample values, motion information, etc.) of a picture(s) other than the current picture (Inter prediction can be a prediction derived in a manner). that is de-pendent on data elements (eg, sample values or motion information) of picture(s) other than the current picture).
  • a predicted block (prediction sample array) for the current block is derived based on a reference block (reference sample array) specified by a motion vector on a reference picture indicated by a reference picture index. I can.
  • motion information of the current block may be predicted in units of blocks, subblocks, or samples based on correlation between motion information between neighboring blocks and current blocks.
  • the motion information may include a motion vector and a reference picture index.
  • the motion information may further include inter prediction type (L0 prediction, L1 prediction, Bi prediction, etc.) information.
  • the neighboring block may include a spatial neighboring block existing in the current picture and a temporal neighboring block existing in the reference picture.
  • the reference picture including the reference block and the reference picture including the temporal neighboring block may be the same or different.
  • the temporal neighboring block may be called a collocated reference block, a co-located CU (colCU), or the like, and a reference picture including a temporal neighboring block may be referred to as a collocated picture (colPic).
  • a motion information candidate list may be constructed based on neighboring blocks of the current block, and a flag indicating which candidate is selected (used) to derive a motion vector and/or a reference picture index of the current block, or Index information may be signaled.
  • Inter prediction may be performed based on various prediction modes. For example, in the case of a skip mode and a merge mode, motion information of a current block may be the same as motion information of a selected neighboring block.
  • a residual signal may not be transmitted.
  • MVP motion vector prediction
  • a motion vector of a selected neighboring block is used as a motion vector predictor, and a motion vector difference may be signaled.
  • the motion vector of the current block may be derived using the sum of the motion vector predictor and the motion vector difference.
  • FIG. 9 is an example of a flowchart for inter prediction in a process of encoding a video signal according to an embodiment of the present specification
  • FIG. 10 shows an example of an inter prediction unit in an encoding apparatus according to an embodiment of the present specification.
  • the encoding apparatus 100 performs inter prediction on the current block (S910).
  • the encoding apparatus 100 may derive inter prediction mode and motion information of the current block and generate prediction samples of the current block.
  • the procedure of determining the inter prediction mode, deriving motion information, and generating prediction samples may be performed simultaneously, or one procedure may be performed before the other procedure.
  • the inter prediction unit 180 of the encoding apparatus 100 may include a prediction mode determining unit 181, a motion information deriving unit 182, and a predicted sample deriving unit 183, and the prediction mode determining unit A prediction mode for the current block may be determined at 181, motion information of the current block may be derived by the motion information deriving unit 182, and prediction samples of the current block may be derived by the predicted sample deriving unit 183.
  • the inter prediction unit 180 of the encoding apparatus 100 searches for a block similar to the current block within a predetermined area (search area) of reference pictures through motion estimation, and searches for a block similar to the current block. It is possible to derive a reference block whose difference is less than a minimum or a certain standard.
  • a reference picture index indicating a reference picture in which the reference block is located may be derived, and a motion vector may be derived based on a position difference between the reference block and the current block.
  • the encoding apparatus 100 may determine a mode applied to the current block among various prediction modes.
  • the encoding apparatus 100 may compare RD costs for various prediction modes and determine an optimal prediction mode for the current block.
  • the encoding apparatus 100 configures a merge candidate list to be described later, and the current block and the middle of the reference blocks indicated by merge candidates included in the merge candidate list. It is possible to derive a reference block whose difference from the current block is less than a minimum or a certain standard. In this case, a merge candidate associated with the derived reference block is selected, and merge index information indicating the selected merge candidate may be generated and signaled to the decoding apparatus 200. Motion information of the current block may be derived using motion information of the selected merge candidate.
  • the encoding apparatus 100 configures a (A)MVP candidate list to be described later, and (A)motion vector predictor (MVP) candidates included in the MVP candidate list
  • the motion vector of the selected MVP candidate may be used as the MVP of the current block.
  • a motion vector indicating a reference block derived by motion estimation described above may be used as a motion vector of the current block, and among MVP candidates, a motion vector having the smallest difference from the motion vector of the current block is selected.
  • a motion vector difference (MVD) which is a difference obtained by subtracting MVP from the motion vector of the current block, may be derived.
  • information on the MVD may be signaled to the decoding apparatus 200.
  • the value of the reference picture index may be separately signaled to the decoding apparatus 200 by configuring reference picture index information.
  • the encoding apparatus 100 may derive residual samples based on the prediction samples (S920).
  • the encoding apparatus 100 may derive residual samples by comparing the original samples of the current block with the prediction samples.
  • the encoding apparatus 100 encodes image information including prediction information and residual information (S930).
  • the encoding apparatus 100 may output the encoded image information in the form of a bitstream.
  • the prediction information is information related to a prediction procedure and may include prediction mode information (eg, skip flag, merge flag, or mode index) and motion information.
  • the motion information may include candidate selection information (eg, merge index, mvp flag, or mvp index) that is information for deriving a motion vector. Further, the motion information may include information on the MVD and/or reference picture index information described above. Further, the motion information may include information indicating whether L0 prediction, L1 prediction, or bi prediction is applied.
  • the residual information is information about residual samples.
  • the residual information may include information about quantized transform coefficients for residual samples.
  • the prediction mode information and motion information may be collectively referred to as inter prediction information.
  • the output bitstream may be stored in a (digital) storage medium and transmitted to a decoding device, or may be transmitted to a decoding device through a network.
  • the encoding apparatus may generate a reconstructed picture (including reconstructed samples and a reconstructed block) based on the reference samples and the residual samples. This is because the encoding device 100 derives the same prediction result as that performed by the decoding device 200, and coding efficiency can be improved through this. Accordingly, the encoding apparatus 100 may store a reconstructed picture (or reconstructed samples, and a reconstructed block) in a memory and use it as a reference picture for inter prediction. As described above, an in-loop filtering procedure or the like may be further applied to the reconstructed picture.
  • FIG. 11 is an example of a flowchart for inter prediction in a process of decoding a video signal according to an embodiment of the present specification
  • FIG. 12 illustrates an example of an inter prediction unit in a decoding apparatus according to an embodiment of the present specification.
  • the decoding apparatus 200 may perform an operation corresponding to the operation performed by the encoding apparatus 100.
  • the decoding apparatus 200 may perform prediction on the current block and derive prediction samples based on the received prediction information.
  • the decoding apparatus 200 may determine a prediction mode for the current block based on the received prediction information (S1110). The decoding apparatus 200 may determine which inter prediction mode is applied to the current block based on prediction mode information in the prediction information.
  • the decoding apparatus 200 may determine whether the merge mode is applied to the current block or the (A)MVP mode is determined based on the merge flag. Alternatively, the decoding apparatus 200 may select one of various inter prediction mode candidates based on a mode index. Inter prediction mode candidates may include a skip mode, a merge mode, and/or (A)MVP mode, or may include various inter prediction modes described below.
  • the decoding apparatus 200 derives motion information of the current block based on the determined inter prediction mode (S1120). For example, when a skip mode or a merge mode is applied to the current block, the decoding apparatus 200 may configure a merge candidate list to be described later, and select one merge candidate from among merge candidates included in the merge candidate list. . The selection of a merge candidate may be performed based on a merge index. Motion information of the current block may be derived from motion information of the selected merge candidate. Motion information of the selected merge candidate may be used as motion information of the current block.
  • the decoding apparatus 200 constructs a (A)MVP candidate list to be described later, and (A) a selected MVP candidate among MVP candidates included in the MVP candidate list.
  • the motion vector of can be used as the MVP of the current block.
  • the selection of MVP may be performed based on the above-described selection information (MVP flag or MVP index).
  • the decoding apparatus 200 may derive the MVD of the current block based on the information on the MVD, and may derive the motion vector of the current block based on the MVP and the MVD of the current block.
  • the decoding apparatus 200 may derive the reference picture index of the current block based on the reference picture index information.
  • the picture indicated by the reference picture index in the reference picture list for the current block may be derived as a reference picture referenced for inter prediction of the current block.
  • motion information of the current block may be derived without configuring a candidate list.
  • motion information of the current block may be derived according to a procedure disclosed in a prediction mode to be described later.
  • the configuration of the candidate list as described above may be omitted.
  • the decoding apparatus 200 may generate prediction samples for the current block based on motion information of the current block (S1130). In this case, the decoding apparatus 200 may derive a reference picture based on the reference picture index of the current block, and may derive the prediction samples of the current block by using samples of the reference block indicated on the reference picture by the motion vector of the current block. . In this case, as will be described later, a prediction sample filtering procedure may be further performed on all or part of the prediction samples of the current block in some cases.
  • the inter prediction unit 260 of the decoding apparatus 200 may include a prediction mode determination unit 261, a motion information derivation unit 262, and a prediction sample derivation unit 263, and a prediction mode determination unit A prediction mode for the current block is determined based on the prediction mode information received at (181), and motion information (motion vector) of the current block is determined based on the information on the motion information received from the motion information derivation unit 182. And/or a reference picture index), and the prediction sample derivation unit 183 may derive prediction samples of the current block.
  • the decoding apparatus 200 generates residual samples for the current block based on the received residual information (S1140).
  • the decoding apparatus 200 may generate reconstructed samples for the current block based on the prediction samples and the residual samples, and generate a reconstructed picture based on this (S1150). Thereafter, as described above, an in-loop filtering procedure or the like may be further applied to the reconstructed picture.
  • the inter prediction procedure may include determining an inter prediction mode, deriving motion information according to the determined prediction mode, and performing prediction based on the derived motion information (generating a prediction sample).
  • inter prediction modes may be used for prediction of a current block in a picture.
  • various modes such as a merge mode, a skip mode, an MVP mode, and an affine mode
  • a decoder side motion vector refinement (DMVR) mode, an adaptive motion vector resolution (AMVR) mode, or the like may be further used as an auxiliary mode.
  • the MVP mode may also be called an advanced motion vector prediction (AMVP) mode.
  • Prediction mode information indicating the inter prediction mode of the current block may be signaled from the encoding device to the decoding device 200.
  • the prediction mode information may be included in the bitstream and received by the decoding apparatus 200.
  • the prediction mode information may include index information indicating one of a plurality of candidate modes.
  • the inter prediction mode may be indicated through hierarchical signaling of flag information.
  • the prediction mode information may include one or more flags.
  • the encoding apparatus 100 signals the skip flag to indicate whether to apply the skip mode, and when the skip mode is not applied, signals the merge flag to indicate whether to apply the merge mode, and when the merge mode is not applied It may indicate that the MVP mode is applied or a flag for additional classification may be further signaled.
  • the Rane mode may be signaled as an independent mode, or may be signaled as a mode dependent on the merge mode or the MVP mode.
  • the affine mode may be composed of one candidate of a merge candidate list or an MVP candidate list, as described later.
  • the encoding device 100 or the decoding device 200 may perform inter prediction using motion information of the current block.
  • the encoding apparatus 100 may derive optimal motion information for the current block through a motion estimation procedure. For example, the encoding apparatus 100 may search for a similar reference block with high correlation using the original block in the original picture for the current block in units of fractional pixels within a predetermined search range within the reference picture, and through this Can be derived.
  • the similarity of the block may be derived based on the difference between the phase-based sample values.
  • the similarity of blocks may be calculated based on a sum of absolute difference (SAD) between a current block (or a template of a current block) and a reference block (or a template of a reference block).
  • SAD sum of absolute difference
  • motion information may be derived based on the reference block having the smallest SAD in the search area.
  • the derived motion information may be signaled to the decoding apparatus according to various methods based on the inter prediction mode.
  • the encoding apparatus 100 may indicate motion information of the current prediction block by transmitting flag information indicating that the merge mode has been used and a merge index indicating which prediction block is used.
  • the encoding apparatus 100 In order to perform a merge mode, the encoding apparatus 100 must search for a merge candidate block used to induce motion information of a current prediction block. For example, up to five merge candidate blocks may be used, but the present specification is not limited thereto. In addition, the maximum number of merge candidate blocks may be transmitted in a slice header, and the present specification is not limited thereto. After finding the merge candidate blocks, the encoding apparatus 100 may generate a merge candidate list and select a merge candidate block having the lowest cost among them as the final merge candidate block.
  • the merge candidate list may use, for example, 5 merge candidate blocks. For example, four spatial merge candidates and one temporal merge candidate can be used.
  • FIG 13 illustrates examples of spatial neighboring blocks used as spatial merge candidates according to an embodiment of the present specification.
  • a left neighboring block A1, a bottom-left neighboring block A0, a top-right neighboring block B0, and an upper neighboring block B1 ), and at least one of the top-left neighboring block B2 may be used.
  • the merge candidate list for the current block may be configured based on the procedure shown in FIG. 14.
  • FIG. 14 is an example of a flowchart for configuring a merge candidate list according to an embodiment of the present specification.
  • the coding apparatus inserts the spatial merge candidates derived by searching for spatial neighboring blocks of the current block into the merge candidate list (S1410).
  • the spatial neighboring blocks may include a block around a lower left corner of a current block, a block around a left, a block around an upper right corner, a block around an upper side, and blocks around an upper left corner.
  • additional neighboring blocks such as a right peripheral block, a lower peripheral block, and a right lower peripheral block may be further used as the spatial neighboring blocks.
  • the coding apparatus may detect available blocks by searching spatial neighboring blocks based on priority, and derive motion information of the detected blocks as spatial merge candidates. For example, the encoding device 100 or the decoding device 200 searches the five blocks shown in FIG. 13 in the order of A1, B1, B0, A0, B2, and sequentially indexes the available candidates to be merge candidates. It can be organized as a list.
  • the coding apparatus inserts a temporal merge candidate derived by searching for a temporal neighboring block of the current block into the merge candidate list (S1420).
  • the temporal neighboring block may be located on a reference picture that is a picture different from the current picture in which the current block is located.
  • a reference picture in which a temporal neighboring block is located may be referred to as a collocated picture or a col picture.
  • the temporal neighboring block may be searched in the order of the lower-right corner neighboring block and the lower-right center block of a co-located block with respect to the current block on the collocated picture. Meanwhile, when motion data compression is applied, specific motion information may be stored as representative motion information for each predetermined storage unit in a collocated picture.
  • the predetermined storage unit may be predetermined, for example, in a 16x16 sample unit or an 8x8 sample unit, or the size information for the predetermined storage unit may be signaled from the encoding device 100 to the decoding device 200. have.
  • motion information of a temporal neighboring block may be replaced with representative motion information of a predetermined storage unit in which a temporal neighboring block is located.
  • a temporal merge candidate may be derived based on motion information of the prediction block.
  • the constant storage unit is a 2nx2n sample unit
  • the modified positions ((xTnb >> n) ⁇ n), (yTnb >> n)
  • the motion information of the prediction block located at ⁇ n)) may be used for the temporal merge candidate.
  • the predetermined storage unit is a 16x16 sample unit
  • the modified positions ((xTnb >> 4) ⁇ 4), (yTnb >> 4)
  • Motion information of the prediction block located at ⁇ 4) may be used for a temporal merge candidate.
  • the constant storage unit is an 8x8 sample unit
  • the coordinates of the temporal neighboring block are (xTnb, yTnb)
  • the modified positions ((xTnb >> 3) ⁇ 3), (yTnb >> 3 ) ⁇ 3)) motion information of a prediction block may be used for a temporal merge candidate.
  • the coding apparatus may check whether the number of current merge candidates is smaller than the number of maximum merge candidates (S1430).
  • the maximum number of merge candidates may be predefined or signaled from the encoding device 100 to the decoding device 200.
  • the encoding apparatus 100 may generate information on the number of maximum merge candidates, encode, and transmit the information to the decoding apparatus 200 in the form of a bitstream.
  • the subsequent candidate addition process may not proceed.
  • Additional merge candidates include, for example, adaptive temporal motion vector prediction (ATMVP), combined bi-predictive merge candidate (when the slice type of the current slice is B type), and/or zero vector merge. Can include candidates.
  • ATMVP adaptive temporal motion vector prediction
  • MVP motion vector predictor
  • a motion vector predictor using a motion vector of a reconstructed spatial neighboring block eg, neighboring block in FIG. 13
  • a motion vector corresponding to a temporal neighboring block or Col block
  • a (motion vector predictor, MVP) candidate list may be generated. That is, a motion vector of the reconstructed spatial neighboring block and/or a motion vector corresponding to the temporal neighboring block may be used as a motion vector predictor candidate.
  • the information on prediction may include selection information (eg, an MVP flag or an MVP index) indicating an optimal motion vector predictor candidate selected from among motion vector predictor candidates included in the list.
  • the prediction unit may select a motion vector predictor of the current block from among motion vector predictor candidates included in the motion vector candidate list using the selection information.
  • the prediction unit of the encoding apparatus 100 may obtain a motion vector difference (MVD) between the motion vector of the current block and the motion vector predictor, encode the motion vector, and output it in the form of a bitstream. That is, MVD may be obtained by subtracting the motion vector predictor from the motion vector of the current block.
  • the prediction unit of the decoding apparatus may obtain a motion vector difference included in the prediction information, and derive the motion vector of the current block by adding the motion vector difference and the motion vector predictor.
  • the prediction unit of the decoding apparatus may obtain or derive a reference picture index indicating a reference picture from the prediction information.
  • the motion vector predictor candidate list may be configured as shown in FIG. 15.
  • the coding apparatus searches for a spatial candidate block for motion vector prediction and inserts it into a prediction candidate list (S1510).
  • the coding apparatus may search for neighboring blocks according to a predetermined search order, and add information on neighboring blocks that satisfy a condition for a spatial candidate block to a prediction candidate list (MVP candidate list).
  • MVP candidate list a prediction candidate list
  • the coding apparatus After constructing the spatial candidate block list, the coding apparatus compares the number of spatial candidate lists included in the prediction candidate list with a preset reference number (eg, 2) (S1520). When the number of spatial candidate lists included in the prediction candidate list is greater than or equal to the reference number (eg, 2), the coding apparatus may terminate the construction of the prediction candidate list.
  • a preset reference number eg, 2
  • the coding apparatus searches for a temporal candidate block and inserts it into the prediction candidate list (S1530), and the temporal candidate block is used. If not possible, a zero motion vector is added to the prediction candidate list (S1540).
  • a predicted block for the current block may be derived based on motion information derived according to the prediction mode.
  • the predicted block may include predicted samples (prediction sample array) of the current block.
  • prediction samples of the current block may be derived based on reference samples of the fractional sample unit within a reference picture.
  • prediction samples may be generated based on a motion vector per sample/subblock.
  • the prediction samples derived based on the first direction prediction eg, L0 prediction
  • the prediction samples derived based on the second direction prediction eg, L1 prediction
  • Final prediction samples can be derived through weighted summation (according to phase).
  • reconstructed samples and reconstructed pictures may be generated based on the derived prediction samples, and then procedures such as in-loop filtering may be performed.
  • the present embodiment describes an affine motion prediction method for encoding/decoding using an affine motion model.
  • a motion vector may be expressed in units of each pixel of a block using two, three, or four motion vectors.
  • FIG. 16 illustrates examples of affine motion models according to an embodiment of the present specification.
  • the affine motion model can represent four motions as shown in FIG. 16.
  • the affine motion model that expresses three movements (translation, scale, and rotate) among the movements that can be expressed by the affine motion model is referred to as a similar (or simplified) affine motion model, and the present specification refers to a similar (or singular) motion model.
  • the proposed methods are described based on the affine motion model. However, the embodiments of the present specification are not limited to a similar (or singular) affine motion model.
  • 17A and 17B illustrate examples of motion vectors for each control point according to an embodiment of the present specification.
  • the affine motion prediction may determine a motion vector for each pixel position included in a block using two or more control point motion vectors (CPMVs).
  • CPMVs control point motion vectors
  • a motion vector at the sample position (x, y) can be derived as in Equation 1 below.
  • a motion vector at the sample position (x, y) can be derived as in Equation 2 below.
  • ⁇ v 0x , v 0y ⁇ is the CPMV of the CP at the top-left corner of the coding block
  • ⁇ v 1x , v 1y ⁇ is the CPMV of the CP at the top-right corner
  • ⁇ v 2x , v 2y ⁇ is the CPMV of the CP at the bottom-left corner
  • W corresponds to the width of the current block
  • H corresponds to the height of the current block
  • ⁇ v x , v y ⁇ is a motion vector at the position ⁇ x, y ⁇ .
  • FIG. 18 shows an example of a motion vector for each subblock according to an embodiment of the present specification.
  • a motion vector field which is an affine
  • a motion vector field may be determined in a pixel unit or a predefined subblock unit.
  • the MVP is determined in units of sub-blocks
  • the center of the sub-block (the lower right of the center, that is, the lower right of the center 4 samples) pixel
  • a motion vector of a corresponding block may be obtained based on a value.
  • the affine MVF is determined in units of 4*4 subblocks as shown in FIG. 18. However, this is only for convenience of explanation, and the size of the subblock may be variously changed.
  • motion models applicable to the current block may include the following three types.
  • Translational motion model can represent a model in which an existing block-based motion vector is used
  • 4-parameter affine motion model can represent a model in which two CPMVs are used
  • 6-parameter affine motion model can represent three Can indicate the model in which CPMV is used.
  • the affine motion prediction may include an affine MVP (or affine inter) mode and an affine merge.
  • affine motion prediction motion vectors of a current block may be derived in units of samples or sub-blocks.
  • the CPMV may be determined according to the Rane motion model of the neighboring block coded by the Rane motion prediction. Affine-coded neighboring blocks in the search order may be used for the affine merge mode.
  • the current block may be coded as AF_MERGE. That is, when the affine merge mode is applied, CPMVs of the current block may be derived using CPMVs of neighboring blocks.
  • CPMVs of the neighboring block may be used as CPMVs of the current block, or CPMVs of the neighboring block may be used as CPMVs of the current block by being modified based on the size of the neighboring block and the size of the current block.
  • an affine merge candidate list may be constructed to derive CPMVs for the current block.
  • the affine merge candidate list may include at least one of the following candidates, for example.
  • the inherited affine candidates are candidates derived based on the CPMVs of the neighboring block when the neighboring block is coded in the affine mode, and constructed affine candidates are the corresponding CP neighboring blocks in each CPMV unit. It is a candidate derived by constructing CPMVs based on MV, and a zero MV candidate may represent a candidate composed of CPMVs having a value of 0.
  • 19 is an example of a flowchart for configuring an affine merge candidate list according to an embodiment of the present specification.
  • a coding apparatus inserts inherited affine candidates into a candidate list (S1910), and constructed affine candidates into an affine candidate list And insert into the affine candidate list (S1920), and insert a zero MV candidate into the affine candidate list (S1930).
  • the coding apparatus may insert the configured affine candidates or the zero MV candidate.
  • FIG. 20 illustrates an example of blocks for deriving an inherited affine motion predictor according to an embodiment of the present specification
  • FIG. 21 is a diagram for deriving an inherited affine motion predictor according to an embodiment of the present specification. An example of control point motion vectors is shown.
  • affine candidates There may be up to two (one from the left neighboring CU and one of the upper neighboring CUs) of inherited affine candidates, which may be derived from the affine motion model of neighboring blocks.
  • Candidate blocks are shown in FIG. 20.
  • the scan order for the left predictor is A0-A1
  • the scan order for the upper predictor is B0-B1-B2. Only the first inherited candidates from each side are selected. A pruning check may not be performed between the two inherited candidates.
  • control point motion vectors of the adjacent affine CU may be used to derive a control point motion vector predictor (CPMVP) candidate from the affine merge list of the current CU.
  • CCMVP control point motion vector predictor
  • motion vectors of the CU including the block A are v 2 , v 3 of the upper left corner, the upper right corner, and the lower left corner.
  • And v 4 are used.
  • block A is coded with a 4-parameter affine model
  • two CPMVs of the current CU are calculated according to v 2 and v 3 .
  • block A is coded with a 6-parameter model
  • the three CPMVs of the current CU are calculated according to v 2 , v 3 , and v 4 .
  • FIG. 22 shows examples of blocks for deriving a constructed affine merge candidate according to an embodiment of the present specification.
  • the constructed affine merge means a candidate formed by combining neighboring translational motion information for each control point.
  • motion information for control points is derived from specified spatial and temporal neighbors.
  • blocks are checked in the order of B2-B3-A2 and the MV of the first available block is used. Blocks are checked in the order of B1-B0 with respect to CPMV2 (CP1) in the upper right corner, and blocks in the order of A1-A0 with respect to CPMV3 (CP2) in the lower left corner. If available, TMVP is used for CPMV4 (CP3) in the lower right corner.
  • affine merge candidates are configured based on this motion information.
  • the following combinations of control point MVs are used in order:
  • Combinations of three CPMVs constitute a 6-parameter affine merge candidate, and a combination of two CPMVs constitutes a 4-parameter affine merge candidate.
  • the combination of the related control point MVs is discarded.
  • FIG. 23 is an example of a flowchart for configuring an affine MVP candidate list according to an embodiment of the present specification.
  • the control point motion vector difference (CPMVD) corresponding to the difference value is decoded from the encoding device 100 It is sent to the device 200.
  • an affine MVP candidate list may be configured to derive CPMVs for the current block.
  • the affine MVP candidate list may include at least one of the following candidates.
  • the affine MVP candidate list may include a maximum of n (eg, 2) candidates.
  • the inherited affine candidate is a candidate derived based on the CPMVs of the neighboring block when the neighboring block is coded in the affine mode, and the constructed affine candidate is each CPMV unit.
  • a candidate it is a candidate derived by configuring CPMVs based on the MV of a block adjacent to the corresponding CP, and a zero MV candidate represents a candidate composed of CPMVs whose value is 0.
  • the maximum number of candidates for the affine MVP candidate list is two, in the above order, 2) or less candidates may be considered and added when the number of current candidates is less than two.
  • additional candidates based on Translational MVs from neighboring CUs from neighboring CUs may be derived in the following order.
  • CPMV0 is used as an affine MVP candidate. That is, the MVs of CP0, CP1, and CP2 are all set to be the same as CPMV0 of the constructed candidate.
  • CPMV1 is used as an affine MVP candidate. That is, the MVs of CP0, CP1, and CP2 are all set to be the same as CPMV1 of the constructed candidate.
  • CPMV2 is used as the affine MVP candidate. That is, the MVs of CP0, CP1, and CP2 are all set to be the same as CPMV2 of the constructed candidate.
  • TMVP temporary motion vector predictor or mvCol
  • the affine MVP candidate list may be derived by a procedure as shown in FIG. 23.
  • the order of checking inherited MVP candidates is the same as that of the inherited affine merge candidates. The difference is that, for the MVP candidate, only affine CUs having the same reference picture as the current block are considered.
  • the pruning process is not applied.
  • the configured MVP candidate is derived from neighboring blocks shown in FIG. 22.
  • the same confirmation order as the composition of the affine merge candidate is used.
  • reference picture indexes of neighboring blocks are also checked.
  • the first block that is inter-coded in the check order and has the same reference picture as the current CU is used.
  • FIG. 24 illustrates an example of spatial neighboring blocks for constructing an ATMVP candidate list according to an embodiment of the present specification
  • FIG. 25 illustrates an example of a method of inducing a sub-CU motion field in SbTMVP.
  • the SbTMVP method can be used. Similar to TMVP (temporal motion vector pre-diction) in HEVC, SbTMVP uses a motion field in a collocated picture to improve the merge mode and motion vector prediction for CUs in the current picture. I can. The same col picture used by TMVP is used for SbTMVP. SbTMVP differs from TMVP in two main aspects:
  • TMVP predicts motion at the CU level
  • SbTMVP predicts motion at the sub-CU (sub-CU) level.
  • TMVP fetches temporal motion vectors from the collocated block (col block) in the col picture (col block is the lower right or center block of the current CU), but SbTMVP retrieves temporal motion information from the col picture. Apply a motion shift before fetching, where it is obtained from a motion vector from one of the spatial neighboring blocks of the current CU.
  • the SbTMVP process is shown in FIG. 25.
  • SbTMVP predicts motion vectors of sub-CUs in the current CU in step 2.
  • spatial neighboring blocks in FIG. 24 are examined in the order of A1, B1, B0, and A0.
  • the motion vector is selected to be motion shifted. If no such motion is found from spatial neighbors, the motion shift is set to (0, 0).
  • the motion shift identified in the first step is applied to obtain sub-CU level motion information (motion vectors and reference indices) from the col pictures shown in FIG. 25 (that is, to the coordinates of the current block). Is added).
  • the example in FIG. 25 assumes that the motion shift is set to the motion of block A1.
  • motion information of the corresponding block (the smallest motion grid covering the center sample) in the col picture is used to derive motion information for the sub-CU.
  • the motion information of the collocated sub-CU is confirmed, it is converted into motion vectors and reference indices in a manner similar to the TMVP process of HEVC, where reference pictures of temporal motion vectors are converted to the reference picture of the current CU.
  • Temporal motion scaling is applied to align to the fields.
  • a combined sub-block based merge list including both the SbTMVP candidate and the affine merge candidate may be used for signaling of the Rane merge mode (may be referred to as a subblock-based merge mode. have).
  • the SbTMVP mode may be enabled/disabled by a sequence parameter set (SPS) flag.
  • SPS sequence parameter set
  • SbTMVP sequence parameter set
  • the SbTMVP predictor is added as a first entry in the list of subblock-based merge candidates, and then affine merge candidates are added.
  • the maximum allowed size of the affine merge candidate list may be 5.
  • the sub-CU size used in SbTMVP may be fixed to 2x2, 4x4 or 8x8, and the affine merge mode may also be the same.
  • the SbTMVP mode can be applied to a CU having a width and height greater than or equal to 9.
  • the encoding logic of the additional SbTMVP merge candidate may be the same as the other merge candidates, and this may be performed with an additional RD check to determine whether to use the SbTMVP candidate for each P or B slide. .
  • AMVR Adaptive Motion Vector Resolution
  • a motion vector difference (between the predicted motion vector and the motion vector of the CU) may be signaled in units of quarter-luma-samples.
  • the CU-level AMVR scheme is introduced. AMVR may cause the MVD of the CU to be coded in units of 1/4 luma samples, integer luma samples, or 4 luma samples. If the current CU has at least one non-zero MVD component, a CU-level MVD resolution indicator is conditionally signaled. If all MVD components (i.e., horizontal and vertical MVDs for reference list L0 and reference list L1) are 0, then the 1/4 luma sample MVD resolution is inferred.
  • a first flag is signaled to determine whether 1/4 luma sample MVD accuracy is applied for that CU. If the first flag is 0, no additional signaling is required and 1/4 luma sample MVD accuracy is used for the current CU. Otherwise, a second flag is signaled to indicate whether integer luma sample or 4 luma sample MVD accuracy is used.
  • the motion vector predictors for the CU have the same accuracy as the motion vector predictors previously added with the MVD. Can be rounded to have Motion vector predictors can be rounded to zero.
  • the encoder determines the motion vector resolution for the current CU using the RD check.
  • the RD check of 4 luma sample MVD resolution is called conditionally.
  • the RD cost of 1/4 sample MVD accuracy is calculated first. Then, the RD cost of the integer luma sample MVD accuracy is compared with the RD cost of the 1/4 luma sample MVD accuracy to determine whether it is necessary to check the RD cost of the 4 luma sample MVD accuracy. When the RD cost for 1/4 luma sample MVD accuracy is less than the RD cost for integer luma sample MVD accuracy, the RD cost for 4 sample MVD accuracy is omitted.
  • motion information of a reference picture previously decoded may be stored in units of a predetermined area. This may be referred to as temporal motion field storage, motion field compression, or motion data compression.
  • the storage unit of motion information may be set differently depending on whether the affine mode is applied. In this case, among the explicitly signaled motion vectors, the one with the highest accuracy is a quarter-luma-sample.
  • motion vectors are derived at 1/16th-luma-sample precision and motion compensated prediction is performed at 1/16th-sample accuracy.
  • all motion vectors are stored with 1/16 luma sample accuracy.
  • motion field compression is performed with 8x8 granularity.
  • HMVP history-based MVP
  • TMVP TMVP
  • motion information of a previously coded block is stored in a table and used as an MVP for a current CU.
  • a table composed of multiple HMVP candidates is maintained during the encoding/decoding process. When a new CTU row is used, the table is reset (emptied). When there is a CU coded by inter prediction other than a subblock, related motion information is added to the last entry of the table as a new HMVP candidate.
  • the HMVP table size (S) is set to 6, which means that a maximum of 6 HVMP candidates can be added to the table.
  • a constrained first-in-first-out (FIFO) rule is used.
  • a redundancy check is first performed to check whether an HMVP candidate with the same HMVP candidate to be added exists in the table. If the same HMVP candidate exists, the same existing HMVP candidate is removed from the table and all HMVP candidates are moved in the previous order.
  • HMVP candidates can be used in the merge candidate list construction process.
  • the most recent HMVP candidates are identified in the table, and are inserted into the merge candidate list in the order following the TMVP candidates. Redundancy check for HMVP candidates is applied to spatial or temporal merge candidates.
  • the following simplification methods may be used.
  • N denotes the number of candidates existing in the merge list
  • M denotes the number of HMVP candidates available in the table.
  • Pair average candidates are generated by an average of predefined pairs of candidates existing in the merge candidate list.
  • the predefined pairs are defined as ⁇ (0, 1), (0, 2), (1, 2), (0, 3), (1, 3), (2, 3) ⁇ , 0, 1 Numbers such as, 2, and 3 are merge indexes in the merge candidate list.
  • the average of motion vectors is calculated individually for each reference list. If both motion vectors are available in one list, the average value of the two motion vectors is used even if the two motion vectors are for different reference pictures. If only one motion vector is available, the available motion vector is used immediately. If there are no motion vectors available, the list is kept invalid.
  • 26 illustrates examples of spatial neighboring blocks and temporal neighboring blocks for constructing a single prediction candidate list according to an embodiment of the present specification.
  • the single prediction candidate list consists of five single prediction motion vector candidates.
  • a single prediction candidate list is 7 perimeters including five spatial neighboring blocks (indicated by 1 to 5 in Fig. 26) and two temporally co-located blocks (indicated by 6 to 7 in Fig. 26). Derived from blocks. Motion vectors of 7 neighboring blocks are collected and added to a single prediction candidate list in the following order.
  • L0 motion vectors i.e., the L0 motion vector part of the bi-prediction MV
  • L1 motion vectors i.e., bi-predicted
  • the L1 motion vector part of the MV may be added to the single prediction candidate list in the order of an average of L0 and L1 motion vectors of MVs to which bi-directional prediction is applied. If the number of candidates is less than 5, a zero motion vector is added to the end of the list.
  • a method for improving TMVP one of MVP candidates according to an embodiment of the present specification, will be described.
  • a method of skipping a process of checking a center collocated block in consideration of a block size, a method of using a new co-located block in consideration of a block size, and a co-located block at a rounded center position are Provides a method for improving TMVP without specific conditions and processes when the RB location is the same.
  • Encoding/decoding complexity and performance may be improved by improving TMVP in inter prediction as in the embodiments described below.
  • the TMVP enhancement described below can be performed in the encoder and decoder.
  • TMVP may be included as an MVP candidate and may also be included as a merge candidate.
  • the decoding apparatus 200 may derive a motion information candidate list (eg, an MVP candidate list) based on a spatial neighboring block and/or a temporal neighboring block of the current block.
  • the decoding apparatus 200 is included in the motion information candidate list (eg, merge candidate list or MVP candidate list) based on the received selection information (inter prediction information) (eg, merge index, MVP flag, or MVP index).
  • inter prediction information eg, merge index, MVP flag, or MVP index
  • One of the candidates can be selected.
  • the decoding apparatus 200 may generate a prediction sample based on the derived motion information.
  • the decoding apparatus 200 may determine the selected candidate as the MVP candidate of the current block.
  • the temporal neighboring block may represent a collocated block in a reference picture corresponding to the current block.
  • the TMVP method may represent a method of deriving a motion vector of a temporal neighboring block as a temporal candidate of a motion information candidate list, and using a temporal candidate derived from a motion vector of a co-located block as an MVP of the current block.
  • FIG. 27 shows examples of blocks for inducing TMVP according to an embodiment of the present specification.
  • a motion vector of a block (colocated block) in a reference picture corresponding to a right-bottom position of the current block may be used as the TMVP.
  • the center co-located block (C0) corresponding to the center position of the current block ) Is used.
  • the center position may refer to a position at the lower right of the center. That is, the center position may indicate the position of the lower right sample among the 4 samples when 4 samples are located at the center of the current block.
  • the RB position may be referred to as ColBr
  • the C0 position may be referred to as ColCtr.
  • the motion vector stored in the reference picture has a specific size, for example, motion information compressed in units of 8x8 blocks is stored.
  • C0 has the same motion information.
  • Fig. 28 shows an example in which the lower right co-located block RB and the center co-located block C0 exist in the same grid.
  • the center co-located block (C0) can also be used if the lower right co-located block (RB) is not available. Although not, the availability check for the center co-located block C0 may be performed. A method is proposed to improve this unnecessary verification procedure.
  • the TMVP improvement technique may also be applied to the encoding apparatus 100.
  • the encoding apparatus 100 may derive a motion information candidate list (eg, an MVP candidate list) based on a spatial neighboring block and/or a temporal neighboring block of the current block.
  • the encoding apparatus 100 may select one of candidates included in the motion information candidate list, and derive motion information of the current block based on the selected candidate.
  • the encoding device 100 may generate a prediction sample based on the derived motion information, and encode and transmit selection information (inter prediction information) (eg, merge index, MVP flag, or MVP index) indicating the selected candidate. And/or can be stored.
  • inter prediction information eg, merge index, MVP flag, or MVP index
  • this embodiment can be applied.
  • the inter prediction method according to the embodiment of the present specification may be performed by both the encoding apparatus 100 and the decoding apparatus 200.
  • an apparatus for performing operations according to the present embodiment Is collectively referred to as a coding device.
  • 29 is an example of a flowchart for configuring an MVP candidate list in consideration of a TMVP confirmation condition according to an embodiment of the present specification.
  • the center co-located block (C0) can also be used if the lower right co-located block (RB) is not available.
  • a method for eliminating or reducing a case in which the availability check for the co-located block C0 is unnecessarily performed is provided.
  • whether to apply the center co-located block C0, which is a co-located block candidate of TMVP may be determined in consideration of the size of the block.
  • a method of configuring an MVP candidate list according to this embodiment may be performed as shown in FIG. 29.
  • the coding apparatus checks the availability of spatial neighboring blocks of the current block and adds motion information of the available spatial neighboring blocks to the MVP candidate list as a spatial MVP candidate (S2905). Thereafter, the coding apparatus checks whether a lower-right collocated block (RB) (a first co-located block, a first col block) adjacent to the lower right corner of the current block among temporal neighboring blocks is usable, and When the first col block is available, the coding device adds motion information of the first col block as a temporal MVP candidate to the MVP candidate list (S2910). When the first col block is not available, the coding apparatus does not add motion information of the first col block as a temporal MVP candidate, but considers another temporal neighboring block.
  • RB lower-right collocated block
  • the coding device checks whether the center co-located block (the second co-located block, the second col block) located in a partial area (eg, center area) of the current block is available. Whether or not, if available, motion information of the second col block is added to the MVP candidate list as a temporal MVP candidate (S2920). If the second col block is unavailable, the coding device does not consider the second col block and does not add a temporal MVP candidate to the MVP candidate list.
  • the specific condition is a condition related to the position of the first col block, and more specifically, a condition for determining whether the first col block and the second col block belong to the same grid.
  • a specific condition includes whether the size of the current block is smaller than the reference size, or whether the rounded value of the location coordinates of the first col block and the location coordinates of the second col block are the same. can do.
  • the first col block and the second col block belong to the same grid, compared to the case of immediately checking the availability of the second col block.
  • the coding apparatus checks the availability of the HMVP candidate and the pair-wise prediction candidate, and adds the available candidate to the MVP candidate list (S2925 and S2930). If the MVP candidate list is not filled, the coding device adds a zero motion vector to the MVP candidate list (S2935).
  • FIG. 30 is an example of a flowchart for deriving a TMVP candidate based on a block size condition according to an embodiment of the present specification.
  • the condition of FIG. 30 is determined by the size (width, height) of the current block, and more specifically, the width (w) and height (h) of the current block are smaller than the reference width (T1) and the reference height (T2), respectively.
  • the usability check for the second col block may be omitted.
  • the flowchart of FIG. 30 may correspond to an example of step S2915 of FIG. 29.
  • the coding apparatus determines whether the width (w) and height (h) of the current block are greater than the reference width (T1) and the reference height (T2), respectively (S3005). That is, the coding apparatus determines whether the size of the current block is larger than the reference size.
  • the reference sizes T1 and T2 may be determined as a predetermined value such as 2, 4, 8, or 16, or may be determined based on a motion vector compression unit/size. If the size of the current block is less than or equal to the reference size, the coding apparatus may skip the availability check for the second col block and proceed to the next step (eg, HMVP candidate check step, step S2925 of FIG. 29 ).
  • the coding apparatus applies rounding to the position of the col block (the second col block), checks the availability of the col picture, and checks whether the block to which inter prediction is applied. , Check whether the block to which intra block copy (IBC) is applied (S3010, S3015, S3020, S3025).
  • the coding device derives the motion vector of the second col block, and adds the motion vector as a temporal MVP candidate to the MVP candidate list (S3030).
  • FIG. 31 is another example of a flowchart for deriving a TMVP candidate based on a block size condition according to an embodiment of the present specification
  • FIG. 32 illustrates another example of temporal neighboring blocks according to an embodiment of the present specification.
  • Example 1 The method described in Example 1 may be changed as follows. That is, if the block size is smaller than the reference size, the second col block is set (changed) as the second col block without omitting the confirmation of the second col block and a block at a different location (eg, the upper left position of the current block, C1 in FIG. 33). Availability check can be performed.
  • the coding apparatus determines whether a width w and a height h of a current block are greater than a reference width T1 and a reference height T2, respectively (S3105). If the size of the current block is larger than the reference size, the coding device checks the availability of the center col block (C0) through steps S3110, S3115, S3120, and S3125, and if available, the motion vector of the center col block (C0). By inducing, it can be added to the MVP candidate list as a temporal MVP candidate (S3130).
  • the coding device checks the availability of the upper left col block (C1) through steps S3135, S3140, S3145, and S3150, and if available, the upper left col block (C1) ), and add it to the MVP candidate list as a temporal MVP candidate (S3155).
  • FIG. 33 is an example of a flowchart for deriving a TMVP candidate based on a rounded value of a lower right col block and a rounded value of a center col block according to an embodiment of the present specification.
  • the flowchart of FIG. 33 may correspond to an example of step S2915 of FIG. 29.
  • the coding apparatus determines whether the position value (first rounded value) of the rounded lower right col block RB and the position value (second rounded off value) of the rounded center col block C0 are the same. Check, and if the first rounded value and the second rounded value are the same, the usability check for the center col block is omitted.
  • the coding apparatus applies rounding to the position values (x, y) of the lower right col block (RB) and the position values (x, y) of the center col block (C0) (S3305).
  • rounding may be performed in a multiple of 8, which is a unit of motion compression. For example, it can be performed as shown in Table 1 below, where pos.x and pos.y are input as the position value of each col block (the position of the upper left sample), and the rounded position value (pos) of each col block Is output.
  • the coding apparatus determines whether the first rounded value (Round(RB)) for the center col block (first col block) and the second rounded value (Round(C0)) for the center col block (second col block) are the same Check the (S3310). If the first rounded value and the second rounded value are the same, the coding apparatus may skip checking the availability of the second col block and proceed to the next step (eg, HMVP candidate check step, step S2925 of FIG. 29 ).
  • the coding device checks availability through steps S3315, S3320, and S3325, and if available, induces the motion vector of the center col block C0 as a temporal MVP candidate. It can be added to the MVP candidate list (S3330).
  • the TMVP improvement method described in Example 3 may be changed as follows.
  • the center col block (C0) when the first rounded value (the position value of the rounded lower right col block RB) and the second rounded value (the position value of the rounded center col block C0) are the same, the center col block (C0) ), another col block (the upper left col block (C1) of the current block) may be considered without omitting the availability check.
  • FIG. 34 is another example of a flowchart for deriving a TMVP candidate based on a rounding value of a lower right col block and a rounding value of a center col block according to an embodiment of the present specification.
  • the coding apparatus applies rounding to the position values (x, y) of the lower right col block (RB) and the position values (x, y) of the center col block (C0) (S3405). Thereafter, the coding apparatus has the same first rounded value (Round(RB)) for the center col block (first col block) and the second rounded value (Round(C0)) for the center col block (second col block). Whether or not it is checked (S3410).
  • the coding device checks availability through steps S3410, S3415, S3420, and S3425, and if available, the temporal MVP by deriving the motion vector of the center col block (C0). As a candidate, it may be added to the MVP candidate list (S3430).
  • the coding device checks the availability of the upper left col block (C1) (C1 is determined as the second col block) located at the upper left of the current block and performs motion vector derivation. do. That is, the coding device checks the availability of the upper left col block (C1) through steps S3435, S3440, and S3445, and if available, induces the motion vector of the upper left col block (C1) to serve as a temporal MVP candidate. It can be added to the list (S3450).
  • 35 and 36 are another example of a flowchart for configuring an MVP candidate list according to an embodiment of the present specification.
  • the center col block C0 is used through an inspection procedure for a condition (block size or rounded-off value of position coordinates) related to the position of the lower left col block RB.
  • a method of omitting the possibility check or checking the availability for another col block eg, upper left col block (C1)
  • the possibility of using the center col block (C0) is always omitted or replaced with the upper left col block (C1) without condition check (comparison operation). Can be considered. That is, if the lower left col block RB is not available as shown in FIG.
  • the HMVP candidate may be immediately checked, and the lower left col block ( When RB) is not available, a motion vector may be derived by setting the upper left col block C1 as the second col block instead of the center col block C0.
  • the coding apparatus checks the availability of spatial neighboring blocks of the current block and adds motion information of the available spatial neighboring blocks to the MVP candidate list as a spatial MVP candidate (S3505). Thereafter, the coding apparatus checks whether the lower right col block (RB) (first col block) adjacent to the lower right corner of the current block among the temporal neighboring blocks is available, and if the first col block is available, coding The device adds the motion information of the first col block as a temporal MVP candidate to the MVP candidate list (S3510).
  • RB lower right col block
  • the coding device does not add motion information of the first col block as a temporal MVP candidate, and skips checking for other col blocks (eg, center col block (C0)) and immediately Confirmation of HMVP candidates is performed. Thereafter, the coding apparatus checks the availability of the HMVP candidate and the pair-wise prediction candidate, and adds the available candidate to the MVP candidate list (S3515 and S3520). If the MVP candidate list is not filled, the coding device adds a zero motion vector to the MVP candidate list (S3525).
  • the coding apparatus checks the availability of spatial neighboring blocks of the current block and adds motion information of the available spatial neighboring blocks to the MVP candidate list as a spatial MVP candidate (S3605). Thereafter, the coding apparatus checks whether the lower right col block (RB) (first col block) adjacent to the lower right corner of the current block among temporal neighboring blocks is available, and if the first col block is available, coding The device adds the motion information of the first col block as a temporal MVP candidate to the MVP candidate list (S3610 and S3615).
  • RB lower right col block
  • the coding device does not add motion information of the first col block as a temporal MVP candidate, and checks the availability of the upper left col block (C1) located at the upper left of the current block. Then, motion information of the upper left col block C1 is added to the MVP candidate list as a temporal MVP candidate (S3620). Thereafter, the coding device checks the availability of the HMVP candidate and the pair-wise prediction candidate, and adds the available candidate to the MVP candidate list (S3625 and S3630). When the MVP candidate list is not filled, the coding device adds a zero motion vector to the MVP candidate list (S3635).
  • the encoded information (eg, encoded video/video information) derived by the encoding apparatus 100 based on the above-described embodiments of the present specification may be output in a bitstream form.
  • the encoded information may be transmitted or stored in a bitstream form in units of network abstraction layer (NAL) units.
  • NAL network abstraction layer
  • the bitstream may be transmitted over a network or may be stored in a non-transitory digital storage medium.
  • the bitstream is not directly transmitted from the encoding device 100 to the decoding device 200, but may be provided with a streaming/download service through an external server (eg, a content streaming server).
  • the network may include a broadcasting network and/or a communication network
  • the digital storage medium may include various storage media such as USB, SD, CD, DVD, Blu-ray, HDD, and SSD.
  • FIG. 37 is an example of a flowchart for inter prediction in an encoding process of a video signal according to an embodiment of the present specification.
  • the operations of FIG. 37 may be performed by the encoding device 100 or the video signal processing device 500. More specifically, the operations of FIG. 27 may be performed by the inter prediction unit 180 (motion information derivation unit 182 of FIG. 10) in the encoding apparatus 100, and further, the operation of the video signal processing apparatus 500 It may be performed by the processor 510.
  • steps S3710 to S3730 of FIG. 37 may correspond to an example of step S910 of FIG. 9, and step S3740 of FIG. 37 may correspond to an example of step S930 of FIG. 9.
  • the encoding apparatus 100 determines a reference picture and a motion vector for prediction of the current block (S3710).
  • the encoding apparatus may search for a block similar to the current block within a certain area (search area) of reference pictures in consideration of the RD cost and derive a reference block having a difference from the current block at least or less than a certain standard.
  • the encoding apparatus 100 may derive a reference picture index indicating a reference picture in which the reference block is located, and derive a motion vector based on a position difference between the reference block and the current block.
  • the encoding apparatus 100 constructs an MVP candidate list based on motion information of a spatial neighboring block and a temporal neighboring block of the current block (S3720). Additionally, the encoding apparatus 100 may add an HMVP candidate and a pair-wise candidate to the MVP candidate list. The encoding apparatus 100 may compare RD costs for various prediction modes (eg, merge mode, MVP mode, IBC, Rane merge) and determine an optimal prediction mode for the current block. When the MVP mode is used, the encoding device 100 may configure an MVP candidate list.
  • various prediction modes eg, merge mode, MVP mode, IBC, Enhance merge
  • the encoding apparatus 100 determines an MVP candidate from the MVP candidate list based on the motion vector (S3730), a reference index for a reference picture, an MVP index related to the MVP candidate, and the motion vector of the current block and the MVP candidate.
  • Inter prediction information including a motion vector difference (MVD) between motion vectors is encoded (S3740).
  • the process of configuring the MVP candidate list may be the same as that of FIG. 29 (or FIGS. 35 and 36). That is, the encoding apparatus 100 corresponds to a first collocated block (first col block) (RB) corresponding to a right-bottom position of the current block in a reference picture and a partial region of the current block.
  • a temporal MVP candidate may be determined based on motion information of the second co-located block (second col block) C0, and a motion vector of the temporal MVP candidate may be added to the MVP candidate list.
  • the second col block C0 may be used when the first col block RB is unavailable and a condition related to the position of the first col block RB is satisfied.
  • the encoding apparatus 100 checks the availability of the first col block RB, and the first col block RB is unavailable and the first col If the condition related to the position of the block RB is satisfied, the possibility of using the motion vector of the second col block C0 is checked, and if the second col block C0 is available, the second col block C0 is The motion vector may be determined as a temporal MVP.
  • the condition related to the position of the first col block RB is based on a comparison of the size of the current block or the rounded position value of the first col block RB and the rounded position value of the second col block C0. Can be determined.
  • the encoding apparatus 100 may determine whether to check the availability of the second co-located block based on the size of the current block. For example, as shown in FIG. 30, the encoding device 100 determines whether the width (w) and height (h) of the current block are greater than the reference width (T1) and the reference height (T2), and the width of the current block If (w) and height (h) are larger than the reference width (T1) and reference height (T2), check the availability of the second col block (C0), and the width (w) and height (h) of the current block If is less than or equal to the reference width T1 and the reference height T2, the next step (HMVP candidate confirmation) may be performed without checking the availability of the second col block C0.
  • the next step HMVP candidate confirmation
  • the encoding apparatus 100 determines (maintains) the block C0 corresponding to the center area of the current block as the second col block, and Check the availability of (C0).
  • the encoding apparatus 100 determines (changes) the block C1 corresponding to the upper left corner area of the current block in the reference picture as a second col block, and the second You can check the possibility of using the col block (C1). For example, as shown in FIG. 31, the encoding apparatus 100 may check the availability of the center col block C0 or the upper left col block C1 based on the size of the current block.
  • the encoding apparatus 100 includes a first rounded value (Round(RB)) with respect to the position of the first col block (RB) and a second rounded value (Round) with respect to the position of the second col block (C0). Based on (C0)), it may be determined whether to check the availability of the second col block C0. For example, as shown in FIG. 33, the encoding apparatus 100 determines whether the first rounded value Round(RB) and the second rounded value Round(C0) are the same, and the first rounded value Round(RB) RB)) and the second rounded value (Round(C0)) are different from each other, it is possible to check the availability of the second col block C0.
  • the encoding device 100 skips checking the availability of the second col block C0 and performs the next step. You can proceed to (Check HMVP Candidate).
  • the encoding apparatus 100 when the first rounded value (Round(RB)) and the second rounded value (Round(C0)) are different from each other, the encoding apparatus 100 is configured to perform a block corresponding to the center area of the current block in the reference picture. (C0) is determined (maintained) as the second col block, and the possibility of using the second col block C0 of the current block can be checked.
  • the encoding device 100 determines the area C1 corresponding to the upper left corner area of the current block as the second It is determined (changed) as a col block, and the possibility of using the second col block C1 can be checked.
  • the encoding apparatus 100 may perform a center col block C0 or a center col block C0 based on a comparison result of the first rounded value Round(RB) and the second rounded value Round(C0). Usability can be checked for the upper left col block (C1).
  • FIG. 38 is an example of a flowchart for inter prediction in a process of decoding a video signal according to an embodiment of the present specification.
  • the operations of FIG. 38 may be performed by the decoding apparatus 100 or the video signal processing apparatus 500. More specifically, the operations of FIG. 38 may be performed by the inter prediction unit 260 (motion information derivation unit 262 of FIG. 12) in the decoding apparatus 200, and the video signal processing apparatus 500 It may be performed by the processor 510.
  • steps S3810 to S3840 of FIG. 38 may correspond to an example of step S1120 of FIG. 11, and step S3850 of FIG. 38 may correspond to an example of step S1130 of FIG. 11.
  • the decoding apparatus 100 acquires inter prediction information including a reference index, an MVP index, and an MVD for prediction of the current block (S3810).
  • the decoding apparatus 100 may confirm that the MVP mode is applied as a prediction mode from the bitstream generated by the encoding apparatus 100, and obtain related information (reference index, MVP index, MVD).
  • the decoding apparatus 200 constructs an MVP candidate list based on motion information of a spatial neighboring block and a temporal neighboring block of the current block (S3820). Additionally, the decoding apparatus 200 may add an HMVP candidate and a pair-wise candidate to the MVP candidate list. The decoding apparatus 200 determines an MVP candidate from the MVP candidate list based on the MVP index (S3830), determines the motion vector of the current block based on the motion vector and MVD of the MVP candidate (S3840), and A prediction sample of the current block is generated based on the reference picture related to the motion vector and the reference index (S3850).
  • the process of configuring the MVP candidate list may be the same as that of FIG. 29 (or FIGS. 35 and 36). That is, the decoding apparatus 200 corresponds to a first collocated block (first col block) (RB) corresponding to a right-bottom position of the current block in the reference picture and a partial region of the current block.
  • a temporal MVP candidate may be determined based on motion information of the second co-located block (second col block) C0, and a motion vector of the temporal MVP candidate may be added to the MVP candidate list.
  • the second col block C0 may be used when the first col block RB is unavailable and a condition related to the position of the first col block RB is satisfied.
  • the decoding apparatus 200 checks the availability of the first col block RB, and the first col block RB is unavailable and the first col If the condition related to the position of the block RB is satisfied, the possibility of using the motion vector of the second col block C0 is checked, and if the second col block C0 is available, the second col block C0 is The motion vector may be determined as a temporal MVP.
  • the condition related to the position of the first col block RB is based on a comparison of the size of the current block or the rounded position value of the first col block RB and the rounded position value of the second col block C0. Can be determined.
  • the decoding apparatus 200 may determine whether to check the availability of the second co-located block based on the size of the current block. For example, as shown in FIG. 30, the decoding apparatus 100 determines whether the width (w) and height (h) of the current block are larger than the reference width (T1) and the reference height (T2), and the width of the current block If (w) and height (h) are larger than the reference width (T1) and reference height (T2), check the availability of the second col block (C0), and the width (w) and height (h) of the current block If is less than or equal to the reference width T1 and the reference height T2, the next step (HMVP candidate confirmation) may be performed without checking the availability of the second col block C0.
  • the next step HMVP candidate confirmation
  • the decoding apparatus 200 determines (maintains) the block C0 corresponding to the center area of the current block as the second col block, and the second col block Check the availability of (C0).
  • the decoding apparatus 200 determines (changes) the block C1 corresponding to the upper left corner area of the current block in the reference picture as the second col block, and the second You can check the possibility of using the col block (C1). For example, as shown in FIG. 31, the decoding apparatus 200 may check the availability of the center col block C0 or the upper left col block C1 based on the size of the current block.
  • the decoding apparatus 200 includes a first rounded value (Round(RB)) with respect to the position of the first col block (RB) and a second rounded value (Round) with respect to the position of the second col block (C0). Based on (C0)), it may be determined whether to check the availability of the second col block C0. For example, as shown in FIG. 33, the decoding apparatus 200 determines whether the first rounded value Round(RB) and the second rounded value Round(C0) are the same, and the first rounded value Round(RB) RB)) and the second rounded value (Round(C0)) are different from each other, it is possible to check the availability of the second col block C0.
  • the encoding device 100 skips checking the availability of the second col block C0 and performs the next step. You can proceed to (Check HMVP Candidate).
  • the decoding apparatus 200 when the first rounded value (Round(RB)) and the second rounded value (Round(C0)) are different from each other, the decoding apparatus 200 is a block corresponding to the center area of the current block in the reference picture. (C0) is determined (maintained) as the second col block, and the possibility of using the second col block C0 of the current block can be checked.
  • the encoding device 200 determines the area C1 corresponding to the upper left corner area of the current block as the second It is determined (changed) as a col block, and the possibility of using the second col block C1 can be checked.
  • the decoding apparatus 200 may determine the center col block C0 or the center col block C0 based on the comparison result of the first rounded value Round(RB) and the second rounded value Round(C0). Usability can be checked for the upper left col block (C1).
  • the processing method to which the present invention is applied may be produced in the form of a program executed by a computer, and may be stored in a computer-readable recording medium.
  • Multimedia data having a data structure according to the present invention can also be stored in a computer-readable recording medium.
  • the computer-readable recording medium includes all kinds of storage devices and distributed storage devices in which computer-readable data is stored.
  • the computer-readable recording medium includes, for example, Blu-ray disk (BD), universal serial bus (USB), ROM, PROM, EPROM, EEPROM, RAM, CD-ROM, magnetic tape, floppy disk, and optical It may include a data storage device.
  • the computer-readable recording medium includes media implemented in the form of a carrier wave (for example, transmission through the Internet).
  • the bitstream generated by the encoding method may be stored in a computer-readable recording medium or transmitted through a wired or wireless communication network.
  • an embodiment of the present invention may be implemented as a computer program product using a program code, and the program code may be executed in a computer according to the embodiment of the present invention.
  • the program code may be stored on a carrier readable by a computer.
  • a non-transitory computer-readable medium stores one or more instructions executed by one or more processors.
  • the one or more instructions determine a reference picture and a motion vector for prediction of a current block for encoding a video signal, and predict a motion vector based on motion information of a spatial neighboring block and a temporal neighboring block of the current block.
  • a motion vector predictor (MVP) candidate list determines an MVP candidate from the MVP candidate list based on the motion vector, a reference index for the reference picture, an MVP index related to the MVP candidate, and the current
  • the video signal processing apparatus 500 (or encoding apparatus 100) is controlled to encode inter prediction information including a motion vector difference (MVD) between a motion vector of a block and a motion vector of the MVP candidate.
  • VMD motion vector difference
  • one or more commands correspond to a first collocated block corresponding to a right-bottom position of the current block in the reference picture and a partial area of the current block.
  • a video signal processing apparatus 500 is controlled to determine a temporal MVP candidate based on the motion information of the second co-located block to be performed, and to add the motion vector of the temporal MVP candidate to the MVP candidate list, where the second identical
  • the location block is used when the first co-located block is unavailable and a condition related to the location of the first co-located block is satisfied.
  • the one or more commands include a reference index for prediction of a current block, a motion vector predictor (MVP) index, and a motion vector difference (MVD) for decoding a video signal.
  • Acquire inter prediction information including, configure an MVP candidate list based on motion information of a spatial neighboring block and a temporal neighboring block of the current block, and determine an MVP candidate from the MVP candidate list based on the MVP index.
  • a video to determine a motion vector of the current block based on the motion vector of the MVP candidate and the MVD, and to generate a prediction sample of the current block based on the motion vector of the current block and a reference picture related to the reference index Controls the signal processing device 500 (or the decoding device 200).
  • the one or more commands include a first collocated block corresponding to a right-bottom position of the current block in the reference picture and a partial region of the current block.
  • a video signal processing apparatus 500 is controlled to determine a temporal MVP candidate based on motion information of a second co-located block corresponding to and to add a motion vector of the temporal MVP candidate to the MVP candidate list, wherein 2
  • the co-located block is used when the first co-located block is unavailable and a condition related to the location of the first co-located block is satisfied.
  • the one or more commands in order to determine the temporal MVP candidate, the one or more commands check a condition related to the availability of the first co-located block and the location of the second co-located block, If the first co-located block is unavailable and the condition related to the position of the first co-located block is satisfied, the possibility of using the motion vector of the second co-located block is checked, and the second co-located block is available.
  • the video signal processing apparatus 500 may be controlled to determine the motion vector of the second co-located block as the temporal MVP.
  • the one or more commands correspond to the center area of the current block when the size of the current block is larger than the reference size.
  • a block is determined as a second co-located block, the availability of the second co-located block is checked, and if the size of the current block is less than or equal to the reference size, the upper left corner area of the current block in the reference picture
  • the video signal processing apparatus 500 may be controlled to determine the block corresponding to the second co-location block as the second co-location block, and to check the availability of the second co-location block.
  • the one or more commands are, a first rounded value for the position of the first co-located block and the second co-located block
  • the video signal processing apparatus 500 may be controlled to determine whether to check the availability of the second co-located block based on the second rounded value for the location of.
  • the one or more commands are, when the first rounded value and the second rounded value are different from each other, in the reference picture A block corresponding to the center area of the current block is determined as a second co-located block, the availability of the second co-located block is checked, and if the first rounded value and the second rounded value are the same, the current block
  • the video signal processing apparatus 500 may be controlled to determine an area corresponding to the upper left corner area of the second co-located block as the second co-located block and to check the availability of the second co-located block.
  • the embodiments described in the present invention may be implemented and performed on a processor, microprocessor, controller, or chip.
  • the functional units illustrated in each drawing may be implemented and executed on a computer, processor, microprocessor, controller, or chip.
  • the decoder and encoder to which the present invention is applied include a multimedia broadcasting transmission/reception device, a mobile communication terminal, a home cinema video device, a digital cinema video device, a surveillance camera, a video chat device, a real-time communication device such as video communication, a mobile streaming device, Storage media, camcorders, video-on-demand (VoD) service providers, OTT video (Over the top video) devices, Internet streaming service providers, three-dimensional (3D) video devices, video telephony video devices, and medical video devices. And can be used to process video signals or data signals.
  • an OTT video (Over the top video) device may include a game console, a Blu-ray player, an Internet-connected TV, a home theater system, a smartphone, a tablet PC, and a digital video recorder (DVR).
  • an embodiment of the present invention may be implemented by various means, for example, hardware, firmware, software, or a combination thereof.
  • an embodiment of the present invention is one or more ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs ( field programmable gate arrays), processors, controllers, microcontrollers, microprocessors, etc.
  • ASICs application specific integrated circuits
  • DSPs digital signal processors
  • DSPDs digital signal processing devices
  • PLDs programmable logic devices
  • FPGAs field programmable gate arrays
  • processors controllers, microcontrollers, microprocessors, etc.
  • an embodiment of the present invention may be implemented in the form of a module, procedure, or function that performs the functions or operations described above.
  • the software code can be stored in a memory and driven by a processor.
  • the memory may be located inside or outside the processor, and may exchange data with the processor through various known means.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

Embodiments of the present specification provide a method and apparatus for processing a video signal for inter prediction. An encoding method of a video signal according to one embodiment of the present specification comprises the steps of: determining a reference picture and a motion vector for prediction of a current block; constructing a motion vector predictor (MVP) candidate list on the basis of motion information of a spatial neighboring block and a temporal neighboring block of the current block; determining an MVP candidate from the MVP candidate list on the basis of the motion vector; and encoding inter prediction information including a reference index for the reference picture, an MVP index associated with the MVP candidate, and a motion vector difference (MVD) between a motion vector of the current block and a motion vector of the MVP candidate.

Description

인터 예측을 위한 비디오 신호의 처리 방법 및 장치Video signal processing method and apparatus for inter prediction
본 명세서의 실시예는 비디오/영상 압축 코딩 시스템에 관한 것으로서, 보다 구체적으로 비디오 신호의 인코딩/디코딩 과정에서 인터 예측(inter prediction)을 수행하기 위한 방법 및 장치에 관한 것이다.Embodiments of the present specification relate to a video/video compression coding system, and more particularly, to a method and apparatus for performing inter prediction in an encoding/decoding process of a video signal.
압축 부호화는 디지털화된 정보를 통신 회선을 통해 전송하거나, 저장 매체에 적합한 형태로 저장하기 위한 일련의 신호 처리 기술을 의미한다. 영상, 이미지, 음성 등의 미디어가 압축 부호화의 대상이 될 수 있으며, 특히 영상을 대상으로 압축 부호화를 수행하는 기술을 비디오 영상 압축이라고 일컫는다.Compression coding refers to a series of signal processing techniques for transmitting digitized information through a communication line or storing it in a format suitable for a storage medium. Media such as video, image, and audio may be subject to compression encoding. In particular, a technique for performing compression encoding on an image is referred to as video image compression.
차세대 비디오 컨텐츠는 고해상도(high spatial resolution), 고 프레임 율(high frame rate) 및 영상 표현의 고차원화(high dimensionality of scene representation)라는 특징을 갖게 될 것이다. 그러한 컨텐츠를 처리하기 위해서는 메모리 저장(memory storage), 메모리 액세스율(memory access rate) 및 처리 전력(processing power) 측면에서 엄청난 증가를 가져올 것이다.Next-generation video content will be characterized by high spatial resolution, high frame rate, and high dimensionality of scene representation. In order to process such content, it will bring a tremendous increase in terms of memory storage, memory access rate, and processing power.
인터 예측(inter prediction)은 다른 픽처의 복원된 샘플들을 참조하여 현재 픽처에 대한 예측을 수행하는 방법이다. 인터 예측의 효율을 증대시키기 위하여, 새로운 인터 예측 기법과 함께 다양한 움직임 벡터 유도 방법이 논의되고 있다.Inter prediction is a method of performing prediction on a current picture by referring to reconstructed samples of another picture. In order to increase the efficiency of inter prediction, various motion vector derivation methods along with new inter prediction techniques have been discussed.
본 명세서의 실시예는 인터 예측을 위한 정보의 인코딩/디코딩 과정에서 개선된 움직임 벡터 예측자(motion vector predictor, MVP) 후보 리스트를 구성하기 위한 방법 및 장치를 제공한다.An embodiment of the present specification provides a method and apparatus for constructing an improved motion vector predictor (MVP) candidate list in a process of encoding/decoding information for inter prediction.
본 명세서의 실시예에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 명세서의 실시예가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The technical problems to be achieved in the embodiments of the present specification are not limited to the technical problems mentioned above, and other technical problems that are not mentioned are those of ordinary skill in the technical field to which the embodiments of the present specification belong from the following description. Will be clearly understood.
본 명세서의 실시예들은 인터 예측(inter prediction)을 위한 비디오 신호의 처리 방법 및 장치를 제공한다. 본 명세서의 일 실시예에 따른 비디오 신호의 인코딩 방법은, 현재 블록의 예측을 위한 참조 픽처 및 움직임 벡터를 결정하는 단계와, 상기 현재 블록의 공간적 주변 블록 및 시간적 주변 블록의 움직임 정보에 기반하여 움직임 벡터 예측자(motion vector predictor, MVP) 후보 리스트를 구성하는 단계와, 상기 움직임 벡터에 기반하여 상기 MVP 후보 리스트에서 MVP 후보를 결정하는 단계와, 상기 참조 픽처에 대한 참조 인덱스, 상기 MVP 후보와 관련된 MVP 인덱스, 및 상기 현재 블록의 움직임 벡터와 상기 MVP 후보의 움직임 벡터 사이의 움직임 벡터 차분(motion vector difference, MVD)을 포함하는 인터 예측 정보를 인코딩하는 단계를 포함한다. 상기 MVP 후보 리스트를 구성하는 단계는, 상기 참조 픽처에서 상기 현재 블록의 우하측(right-bottom) 위치에 대응하는 제1 동일위치(collocated) 블록과 상기 현재 블록의 일부 영역에 대응하는 제2 동일위치 블록의 움직임 정보에 기반하여 시간적 MVP 후보를 결정하는 단계와, 여기서 상기 제2 동일위치 블록은 상기 제1 동일위치 블록이 사용 불가능하고 상기 제1 동일위치 블록의 위치와 관련된 조건이 만족되는 경우 사용되고, 상기 시간적 MVP 후보의 움직임 벡터를 상기 MVP 후보 리스트에 추가하는 단계를 포함한다.Embodiments of the present specification provide a method and apparatus for processing a video signal for inter prediction. A method of encoding a video signal according to an embodiment of the present specification includes determining a reference picture and a motion vector for prediction of a current block, and motion based on motion information of a spatial neighboring block and a temporal neighboring block of the current block. Constructing a motion vector predictor (MVP) candidate list, determining an MVP candidate from the MVP candidate list based on the motion vector, a reference index for the reference picture, and related to the MVP candidate And encoding inter prediction information including an MVP index and a motion vector difference (MVD) between the motion vector of the current block and the motion vector of the MVP candidate. The forming of the MVP candidate list includes: a first collocated block corresponding to a right-bottom position of the current block in the reference picture and a second identical block corresponding to a partial area of the current block. Determining a temporal MVP candidate based on motion information of a location block, wherein the second co-location block is not able to use the first co-location block and a condition related to the location of the first co-location block is satisfied And adding a motion vector of the temporal MVP candidate to the MVP candidate list.
일 실시예에서, 상기 시간적 MVP 후보를 결정하는 단계는, 상기 제1 동일위치 블록의 사용 가능성(availability)과 상기 제2 동일위치 블록의 위치와 관련된 조건을 확인하는 단계와, 상기 제1 동일위치 블록이 사용 불가능하고 상기 제1 동일위치 블록의 위치와 관련된 조건이 만족되면, 상기 제2 동일위치 블록의 움직임 벡터의 사용 가능성을 확인하는 단계와, 상기 제2 동일위치 블록이 사용 가능한 경우, 상기 제2 동일위치 블록의 움직임 벡터를 상기 시간적 MVP로서 결정하는 단계를 포함할 수 있다.In one embodiment, the determining of the temporal MVP candidate includes checking a condition related to the availability of the first co-located block and the location of the second co-located block, and the first co-located block If a block is not available and the condition related to the position of the first co-located block is satisfied, confirming the possibility of use of the motion vector of the second co-located block, and if the second co-located block is available, the It may include determining a motion vector of the second co-located block as the temporal MVP.
일 실시예에서, 상기 제2 동일위치 블록의 위치와 관련된 조건을 확인하는 단계는, 상기 현재 블록의 사이즈에 기반하여 상기 제2 동일위치 블록에 대한 사용 가능성을 확인할 지 여부를 결정하는 단계를 포함할 수 있다.In one embodiment, the step of checking the condition related to the location of the second co-located block includes determining whether to check the availability of the second co-located block based on the size of the current block. can do.
일 실시예에서, 상기 제2 동일위치 블록의 위치와 관련된 조건을 확인하는 단계는, 상기 현재 블록의 사이즈가 기준 사이즈보다 큰 경우, 상기 현재 블록의 센터 영역에 대응하는 블록을 제2 동일위치 블록으로서 결정하고, 상기 제2 동일위치 블록의 사용 가능성을 확인하는 단계와, 상기 현재 블록의 사이즈가 기준 사이즈보다 작거나 같은 경우, 상기 참조 픽처에서 상기 현재 블록의 좌상측 코너 영역에 대응하는 블록을 상기 제2 동일위치 블록으로서 결정하고, 제2 동일위치 블록의 사용 가능성을 확인하는 단계를 포함할 수 있다.In one embodiment, the step of checking the condition related to the location of the second co-located block includes: when the size of the current block is larger than a reference size, the block corresponding to the center area of the current block is converted to a second co-located block. And determining the availability of the second co-located block; and when the size of the current block is less than or equal to the reference size, a block corresponding to the upper left corner area of the current block in the reference picture It may include determining the second co-located block as the second co-located block and confirming the possibility of using the second co-located block.
일 실시예에서, 상기 제2 동일위치 블록의 움직임 벡터의 사용 가능성을 확인하는 단계는, 상기 제1 동일위치 블록의 위치에 대한 제1 반올림 값과 상기 제2 동일위치 블록의 위치에 대한 제2 반올림 값에 기반하여 상기 제2 동일위치 블록에 대한 사용 가능성을 확인할 지 여부를 결정하는 단계를 포함할 수 있다.In one embodiment, the step of confirming the possibility of use of the motion vector of the second co-located block includes a first rounded value for the position of the first co-located block and a second value for the position of the second co-located block. It may include the step of determining whether to check the availability of the second co-located block based on the rounded value.
일 실시예에서, 상기 제2 동일위치 블록의 움직임 벡터의 사용 가능성을 확인하는 단계는, 상기 제1 반올림 값과 상기 제2 반올림 값이 서로 다른 경우, 상기 참조 픽처에서 상기 현재 블록의 센터 영역에 대응하는 블록을 제2 동일위치 블록으로서 결정하고, 상기 제2 동일위치 블록의 사용 가능성을 확인하는 단계와, 상기 제1 반올림 값과 상기 제2 반올림 값이 동일한 경우, 상기 현재 블록의 좌상측 코너 영역에 대응하는 영역을 상기 제2 동일위치 블록으로서 결정하고, 상기 제2 동일위치 블록의 사용 가능성을 확인하는 단계를 포함할 수 있다.In one embodiment, the step of checking the possibility of using the motion vector of the second co-located block may include, when the first rounded value and the second rounded value are different from each other, in the center region of the current block in the reference picture. Determining a corresponding block as a second co-located block and checking the availability of the second co-located block; and when the first rounded value and the second rounded value are the same, the upper left corner of the current block It may include determining an area corresponding to the area as the second co-located block, and confirming the availability of the second co-located block.
본 명세서의 일 실시예에 따른 비디오 신호의 디코딩 방법은, 현재 블록의 예측을 위한 참조 인덱스, 움직임 벡터 예측자(motion vector predictor, MVP) 인덱스, 및 움직임 벡터 차분(motion vector difference, MVD)을 포함하는 인터 예측 정보를 획득하는 단계와, 상기 현재 블록의 공간적 주변 블록 및 시간적 주변 블록의 움직임 정보에 기반하여 MVP 후보 리스트를 구성하는 단계와, 상기 MVP 인덱스에 기반하여 상기 MVP 후보 리스트에서 MVP 후보를 결정하는 단계와, 상기 MVP 후보의 움직임 벡터와 상기 MVD에 기반하여 상기 현재 블록의 움직임 벡터를 결정하는 단계와, 상기 현재 블록의 움직임 벡터 및 상기 참조 인덱스와 관련된 참조 픽처에 기반하여 상기 현재 블록의 예측 샘플을 생성하는 단계를 포함한다. 상기 MVP 후보 리스트를 구성하는 단계는, 상기 참조 픽처에서 상기 현재 블록의 우하측(right-bottom) 위치에 대응하는 제1 동일위치(collocated) 블록과 상기 현재 블록의 일부 영역에 대응하는 제2 동일위치 블록의 움직임 정보에 기반하여 시간적 MVP 후보를 결정하는 단계와, 여기서 상기 제2 동일위치 블록은 상기 제1 동일위치 블록이 사용 불가능하고 상기 제1 동일위치 블록의 위치와 관련된 조건이 만족되는 경우 사용되고, 상기 시간적 MVP 후보의 움직임 벡터를 상기 MVP 후보 리스트에 추가하는 단계를 포함한다.A video signal decoding method according to an embodiment of the present specification includes a reference index for prediction of a current block, a motion vector predictor (MVP) index, and a motion vector difference (MVD). Obtaining inter-prediction information, constructing an MVP candidate list based on motion information of a spatial neighboring block and a temporal neighboring block of the current block, and selecting an MVP candidate from the MVP candidate list based on the MVP index. Determining a motion vector of the current block based on the motion vector of the MVP candidate and the MVD; and determining the motion vector of the current block based on a motion vector of the current block and a reference picture related to the reference index. Generating a prediction sample. The forming of the MVP candidate list includes: a first collocated block corresponding to a right-bottom position of the current block in the reference picture and a second identical block corresponding to a partial area of the current block. Determining a temporal MVP candidate based on motion information of a location block, wherein the second co-location block is not able to use the first co-location block and a condition related to the location of the first co-location block is satisfied And adding a motion vector of the temporal MVP candidate to the MVP candidate list.
본 명세서의 일 실시예에 따른 인코딩 장치는, 상기 비디오 신호를 저장하는 메모리와, 상기 메모리와 결합되고 상기 비디오 신호를 처리하는 프로세서를 포함한다. 상기 프로세서는, 현재 블록의 예측을 위한 참조 픽처 및 움직임 벡터를 결정하고, 상기 현재 블록의 공간적 주변 블록 및 시간적 주변 블록의 움직임 정보에 기반하여 움직임 벡터 예측자(motion vector predictor, MVP) 후보 리스트를 구성하고, 상기 움직임 벡터에 기반하여 상기 MVP 후보 리스트에서 MVP 후보를 결정하고, 상기 참조 픽처에 대한 참조 인덱스, 상기 MVP 후보와 관련된 MVP 인덱스, 및 상기 현재 블록의 움직임 벡터와 상기 MVP 후보의 움직임 벡터 사이의 움직임 벡터 차분(motion vector difference, MVD)을 포함하는 인터 예측 정보를 인코딩하도록 설정된다. 상기 프로세서는, 상기 MVP 후보 리스트를 구성하기 위하여, 상기 참조 픽처에서 상기 현재 블록의 우하측(right-bottom) 위치에 대응하는 제1 동일위치(collocated) 블록과 상기 현재 블록의 일부 영역에 대응하는 제2 동일위치 블록의 움직임 정보에 기반하여 시간적 MVP 후보를 결정하고, 여기서 상기 제2 동일위치 블록은 상기 제1 동일위치 블록이 사용 불가능하고 상기 제1 동일위치 블록의 위치와 관련된 조건이 만족되는 경우 사용되고, 상기 시간적 MVP 후보의 움직임 벡터를 상기 MVP 후보 리스트에 추가하도록 설정된다.An encoding apparatus according to an exemplary embodiment of the present specification includes a memory for storing the video signal, and a processor coupled to the memory and for processing the video signal. The processor determines a reference picture and a motion vector for prediction of a current block, and generates a motion vector predictor (MVP) candidate list based on motion information of a spatial neighboring block and a temporal neighboring block of the current block. And determining an MVP candidate from the MVP candidate list based on the motion vector, a reference index for the reference picture, an MVP index related to the MVP candidate, a motion vector of the current block and a motion vector of the MVP candidate It is set to encode inter prediction information including a motion vector difference (MVD) therebetween. In order to construct the MVP candidate list, the processor includes a first collocated block corresponding to a right-bottom position of the current block in the reference picture and a partial area of the current block. A temporal MVP candidate is determined based on motion information of a second co-located block, where the first co-located block is unavailable and a condition related to the location of the first co-located block is satisfied. If used, it is set to add the motion vector of the temporal MVP candidate to the MVP candidate list.
본 명세서의 일 실시예에 따른 디코딩 장치는, 상기 비디오 신호를 저장하는 메모리와, 상기 메모리와 결합되고 상기 비디오 신호를 처리하는 프로세서를 포함한다. 상기 프로세서는, 현재 블록의 예측을 위한 참조 인덱스, 움직임 벡터 예측자(motion vector predictor, MVP) 인덱스, 및 움직임 벡터 차분(motion vector difference, MVD)을 포함하는 인터 예측 정보를 획득하고, 상기 현재 블록의 공간적 주변 블록 및 시간적 주변 블록의 움직임 정보에 기반하여 MVP 후보 리스트를 구성하고, 상기 MVP 인덱스에 기반하여 상기 MVP 후보 리스트에서 MVP 후보를 결정하고, 상기 MVP 후보의 움직임 벡터와 상기 MVD에 기반하여 상기 현재 블록의 움직임 벡터를 결정하고, 상기 현재 블록의 움직임 벡터 및 상기 참조 인덱스와 관련된 참조 픽처에 기반하여 상기 현재 블록의 예측 샘플을 생성하도록 설정된다. 상기 MVP 후보 리스트를 구성하기 위하여, 상기 프로세서는, 상기 참조 픽처에서 상기 현재 블록의 우하측(right-bottom) 위치에 대응하는 제1 동일위치(collocated) 블록과 상기 현재 블록의 일부 영역에 대응하는 제2 동일위치 블록의 움직임 정보에 기반하여 시간적 MVP 후보를 결정하고, 여기서 상기 제2 동일위치 블록은 상기 제1 동일위치 블록이 사용 불가능하고 상기 제1 동일위치 블록의 위치와 관련된 조건이 만족되는 경우 사용되고, 상기 시간적 MVP 후보의 움직임 벡터를 상기 MVP 후보 리스트에 추가하도록 설정된다.A decoding apparatus according to an embodiment of the present specification includes a memory for storing the video signal, and a processor coupled to the memory and for processing the video signal. The processor obtains inter prediction information including a reference index for prediction of a current block, a motion vector predictor (MVP) index, and a motion vector difference (MVD), and the current block Constructs an MVP candidate list based on motion information of spatial neighboring blocks and temporal neighboring blocks of, and determines an MVP candidate from the MVP candidate list based on the MVP index, and based on the motion vector of the MVP candidate and the MVD. It is configured to determine a motion vector of the current block and generate a prediction sample of the current block based on the motion vector of the current block and a reference picture related to the reference index. In order to construct the MVP candidate list, the processor includes: a first collocated block corresponding to a right-bottom position of the current block in the reference picture and a partial area of the current block. A temporal MVP candidate is determined based on motion information of a second co-located block, where the first co-located block is unavailable and a condition related to the location of the first co-located block is satisfied. If used, it is set to add the motion vector of the temporal MVP candidate to the MVP candidate list.
본 명세서의 실시예는 하나 또는 그 이상의 명령어들을 저장하는 비일시적 컴퓨터 판독가능한 매체를 제공한다. 컴퓨터 판독가능한 매체에 저장되는 하나 또는 그 이상의 명령어들은, 현재 블록의 예측을 위한 참조 인덱스, 움직임 벡터 예측자(motion vector predictor, MVP) 인덱스, 및 움직임 벡터 차분(motion vector difference, MVD)을 포함하는 인터 예측 정보를 획득하고, 상기 현재 블록의 공간적 주변 블록 및 시간적 주변 블록의 움직임 정보에 기반하여 MVP 후보 리스트를 구성하고, 상기 MVP 인덱스에 기반하여 상기 MVP 후보 리스트에서 MVP 후보를 결정하고, 상기 MVP 후보의 움직임 벡터와 상기 MVD에 기반하여 상기 현재 블록의 움직임 벡터를 결정하고, 상기 현재 블록의 움직임 벡터 및 상기 참조 인덱스와 관련된 참조 픽처에 기반하여 상기 현재 블록의 예측 샘플을 생성하도록 비디오 신호 처리 장치를 제어한다. 상기 MVP 후보 리스트를 구성하기 위하여, 상기 하나 또는 그 이상의 명령어들은, 상기 참조 픽처에서 상기 현재 블록의 우하측(right-bottom) 위치에 대응하는 제1 동일위치(collocated) 블록과 상기 현재 블록의 일부 영역에 대응하는 제2 동일위치 블록의 움직임 정보에 기반하여 시간적 MVP 후보를 결정하고, 여기서 상기 제2 동일위치 블록은 상기 제1 동일위치 블록이 사용 불가능하고 상기 제1 동일위치 블록의 위치와 관련된 조건이 만족되는 경우 사용되고, 상기 시간적 MVP 후보의 움직임 벡터를 상기 MVP 후보 리스트에 추가하도록 상기 비디오 신호 처리 장치를 제어한다.Embodiments of the present specification provide a non-transitory computer readable medium storing one or more instructions. One or more instructions stored in a computer-readable medium include a reference index for prediction of the current block, a motion vector predictor (MVP) index, and a motion vector difference (MVD). Obtain inter prediction information, configure an MVP candidate list based on motion information of a spatial neighboring block and a temporal neighboring block of the current block, determine an MVP candidate from the MVP candidate list based on the MVP index, and the MVP A video signal processing apparatus to determine a motion vector of the current block based on a candidate motion vector and the MVD, and to generate a prediction sample of the current block based on the motion vector of the current block and a reference picture related to the reference index Control. In order to construct the MVP candidate list, the one or more instructions are a first collocated block corresponding to a right-bottom position of the current block in the reference picture and a part of the current block. A temporal MVP candidate is determined based on the motion information of the second co-located block corresponding to the region, wherein the second co-located block is related to the location of the first co-located block and the first co-located block is unavailable. It is used when the condition is satisfied, and controls the video signal processing apparatus to add a motion vector of the temporal MVP candidate to the MVP candidate list.
일 실시예에서, 컴퓨터 판독가능한 매체에 저장되는 하나 또는 그 이상의 명령어들은, 현재 블록의 예측을 위한 참조 픽처 및 움직임 벡터를 결정하고, 상기 현재 블록의 공간적 주변 블록 및 시간적 주변 블록의 움직임 정보에 기반하여 움직임 벡터 예측자(motion vector predictor, MVP) 후보 리스트를 구성하고, 상기 움직임 벡터에 기반하여 상기 MVP 후보 리스트에서 MVP 후보를 결정하고, 상기 참조 픽처에 대한 참조 인덱스, 상기 MVP 후보와 관련된 MVP 인덱스, 및 상기 현재 블록의 움직임 벡터와 상기 MVP 후보의 움직임 벡터 사이의 움직임 벡터 차분(motion vector difference, MVD)을 포함하는 인터 예측 정보를 인코딩하도록 비디오 신호 처리 장치를 제어한다. 상기 MVP 후보 리스트를 구성하기 위하여, 상기 하나 또는 그 이상의 명령어들은, 상기 참조 픽처에서 상기 현재 블록의 우하측(right-bottom) 위치에 대응하는 제1 동일위치(collocated) 블록과 상기 현재 블록의 일부 영역에 대응하는 제2 동일위치 블록의 움직임 정보에 기반하여 시간적 MVP 후보를 결정하고, 여기서 상기 제2 동일위치 블록은 상기 제1 동일위치 블록이 사용 불가능하고 상기 제1 동일위치 블록의 위치와 관련된 조건이 만족되는 경우 사용되고, 상기 시간적 MVP 후보의 움직임 벡터를 상기 MVP 후보 리스트에 추가하도록 비디오 신호 처리 장치를 제어한다.In one embodiment, one or more instructions stored in a computer-readable medium determine a reference picture and a motion vector for prediction of a current block, and are based on motion information of a spatial neighboring block and a temporal neighboring block of the current block. Thus, a motion vector predictor (MVP) candidate list is constructed, an MVP candidate is determined from the MVP candidate list based on the motion vector, a reference index for the reference picture, an MVP index related to the MVP candidate , And inter prediction information including a motion vector difference (MVD) between the motion vector of the current block and the motion vector of the MVP candidate is controlled. In order to construct the MVP candidate list, the one or more instructions are a first collocated block corresponding to a right-bottom position of the current block in the reference picture and a part of the current block. A temporal MVP candidate is determined based on the motion information of the second co-located block corresponding to the region, wherein the second co-located block is related to the location of the first co-located block and the first co-located block is unavailable. It is used when the condition is satisfied, and controls the video signal processing apparatus to add the motion vector of the temporal MVP candidate to the MVP candidate list.
본 명세서의 실시예에 따르면, MVP 후보 리스트를 구성할 때 시간적 MVP 후보를 확인하는 과정에서 불필요한 사용 가능성(availability) 확인이 발생하는 가능성을 감소시킴으로써 인터 예측에 요구되는 연산 시간/자원을 감소시킬 수 있다.According to an embodiment of the present specification, it is possible to reduce the computation time/resource required for inter prediction by reducing the likelihood that unnecessary availability check occurs in the process of checking temporal MVP candidates when configuring an MVP candidate list. have.
본 명세서의 실시예에서 얻을 수 있는 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 명세서의 실시예가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The effects obtained in the embodiments of the present specification are not limited to the above-mentioned effects, and other effects not mentioned are clearly to those of ordinary skill in the art to which the embodiments of the present specification belong from the following description. It will be understandable.
본 명세서에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는, 첨부 도면은 본 명세서에 대한 실시예를 제공하고, 상세한 설명과 함께 본 명세서의 기술적 특징을 설명한다.The accompanying drawings, which are included as part of the detailed description to aid in understanding of the present specification, provide embodiments of the present specification, and describe technical features of the present specification together with the detailed description.
도 1은 본 명세서의 실시예에 따른 영상 코딩 시스템의 예를 도시한다.1 shows an example of an image coding system according to an embodiment of the present specification.
도 2는 본 명세서의 실시예에 따른 비디오 신호의 인코딩이 수행되는 인코딩 장치의 개략적인 블록도의 예를 도시한다.2 shows an example of a schematic block diagram of an encoding apparatus in which encoding of a video signal is performed according to an embodiment of the present specification.
도 3은 본 명세서의 실시예에 따른 영상 신호의 디코딩이 수행되는 디코딩 장치의 개략적인 블록도의 예를 도시한다.3 shows an example of a schematic block diagram of a decoding apparatus for decoding an image signal according to an embodiment of the present specification.
도 4는 본 명세서의 실시예에 따른 컨텐츠 스트리밍 시스템의 예를 도시한다.4 shows an example of a content streaming system according to an embodiment of the present specification.
도 5는 본 명세서의 실시예에 따른 비디오 신호 처리 장치의 예를 도시한다.5 shows an example of a video signal processing apparatus according to an embodiment of the present specification.
도 6a 내지 도 6d는 본 명세서의 실시예에 따른 블록 분할 구조의 예를 도시한다.6A to 6D illustrate examples of a block division structure according to an embodiment of the present specification.
도 7은 본 명세서의 실시예에 따른 비디오 신호를 구성하는 픽처의 인코딩을 위한 흐름도의 예이다.7 is an example of a flowchart for encoding a picture constituting a video signal according to an embodiment of the present specification.
도 8은 본 명세서의 실시예에 따른 비디오 신호를 구성하는 픽처의 디코딩을 위한 흐름도의 예이다.8 is an example of a flowchart for decoding a picture constituting a video signal according to an embodiment of the present specification.
도 9는 본 명세서의 실시예에 따른 비디오 신호의 인코딩 과정에서 인터 예측을 위한 흐름도의 예이다.9 is an example of a flowchart for inter prediction in an encoding process of a video signal according to an embodiment of the present specification.
도 10은 본 명세서의 실시예에 따른 인코딩 장치 내 인터 예측부의 예를 도시한다.10 illustrates an example of an inter prediction unit in an encoding device according to an embodiment of the present specification.
도 11은 본 명세서의 실시예에 따른 비디오 신호의 디코딩 과정에서 인터 예측을 위한 흐름도의 예이다.11 is an example of a flowchart for inter prediction in a process of decoding a video signal according to an embodiment of the present specification.
도 12는 본 명세서의 실시예에 따른 디코딩 장치 내 인터 예측부의 예를 도시한다.12 illustrates an example of an inter prediction unit in a decoding apparatus according to an embodiment of the present specification.
도 13은 본 명세서의 실시예에 따른 공간적 머지 후보로서 사용되는 공간적 주변 블록들의 예를 도시한다.13 illustrates examples of spatial neighboring blocks used as spatial merge candidates according to an embodiment of the present specification.
도 14는 본 명세서의 실시예에 따른 머지 후보 리스트를 구성하기 위한 흐름도의 예이다.14 is an example of a flowchart for configuring a merge candidate list according to an embodiment of the present specification.
도 15는 본 명세서의 실시예에 따른 움직임 벡터 예측자(motion vector predictor, MVP) 후보 리스트를 구성하기 위한 흐름도의 예이다.15 is an example of a flowchart for configuring a motion vector predictor (MVP) candidate list according to an embodiment of the present specification.
도 16은 본 명세서의 실시예에 따른 어파인 움직임 모델(affine motion model)들의 예를 도시한다.16 illustrates examples of affine motion models according to an embodiment of the present specification.
도 17a 및 도 17b는 본 명세서의 실시예에 따른 제어점(control point)별 움직임 벡터의 예를 도시한다.17A and 17B illustrate examples of motion vectors for each control point according to an embodiment of the present specification.
도 18은 본 명세서의 실시예에 따른 각 서브블록에 대한 움직임 벡터의 예를 도시한다.18 shows an example of a motion vector for each subblock according to an embodiment of the present specification.
도 19는 본 명세서의 실시예에 따른 어파인 머지 후보 리스트를 구성하기 위한 흐름도의 예이다.19 is an example of a flowchart for configuring an affine merge candidate list according to an embodiment of the present specification.
도 20은 본 명세서의 실시예에 따른 상속된(inherited) 어파인 움직임 예측자를 유도하기 위한 블록들의 예를 도시한다.20 shows an example of blocks for deriving an inherited affine motion predictor according to an embodiment of the present specification.
도 21은 본 명세서의 실시예에 따른 상속된 어파인 움직임 예측자를 유도하기 위한 제어점 움직임 벡터들의 예를 도시한다.21 illustrates an example of control point motion vectors for deriving an inherited affine motion predictor according to an embodiment of the present specification.
도 22는 본 명세서의 실시예에 따른 구성된(constructed) 어파인 머지 후보를 유도하기 위한 블록들의 예를 도시한다.22 shows examples of blocks for deriving a constructed affine merge candidate according to an embodiment of the present specification.
도 23은 본 명세서의 실시예예 따른 어파인 MVP 후보 리스트를 구성하기 위한 흐름도의 예이다.23 is an example of a flowchart for configuring an affine MVP candidate list according to an embodiment of the present specification.
도 24는 본 명세서의 실시예에 따른 진보된 시간적 움직임 벡터 예측(advanced temporal motion vector prediction, ATMVP) 후보 리스트를 구성하기 위한 공간적 주변 블록들의 예를 도시한다.24 illustrates an example of spatial neighboring blocks for constructing an advanced temporal motion vector prediction (ATMVP) candidate list according to an embodiment of the present specification.
도 25는 본 명세서의 실시예에 따른 서브블록 기반 시간적 움직임 벡터 예측 (subblock-based temporal motion vector prediction, SbTMVP)에서 서브-코딩 유닛(coding unit, CU) 움직임 필드를 유도하는 방법의 예를 도시한다.FIG. 25 shows an example of a method of deriving a sub-coding unit (CU) motion field in subblock-based temporal motion vector prediction (SbTMVP) according to an embodiment of the present specification .
도 26은 본 명세서의 실시예에 따른 단일 예측 후보 리스트를 구성하기 위한 공간적 주변 블록들과 시간적 주변 블록들의 예를 도시한다.26 illustrates examples of spatial neighboring blocks and temporal neighboring blocks for constructing a single prediction candidate list according to an embodiment of the present specification.
도 27은 본 명세서의 실시예에 따른 시간적 움직임 벡터 예측자(temporal motion vector predictor)를 유도하기 위한 블록들의 예를 도시한다.27 shows examples of blocks for inducing a temporal motion vector predictor according to an embodiment of the present specification.
도 28은 본 명세서의 실시예에 따른 우하측 동일위치(col-located, col) 블록과 센터 동일위치 블록이 동일한 그리드(grid)에 존재하는 경우의 예를 도시한다.FIG. 28 illustrates an example of a case where the lower right col-located (col) block and the center co-located block exist in the same grid according to an embodiment of the present specification.
도 29는 본 명세서의 실시예에 따른 TMVP 확인 조건을 고려하여 MVP 후보 리스트를 구성하기 위한 흐름도의 예이다.29 is an example of a flowchart for configuring an MVP candidate list in consideration of a TMVP confirmation condition according to an embodiment of the present specification.
도 30은 본 명세서의 실시예에 따른 블록 크기 조건에 기반하여 TMVP 후보를 도출하기 위함 흐름도의 예이다.30 is an example of a flowchart for deriving a TMVP candidate based on a block size condition according to an embodiment of the present specification.
도 31은 본 명세서의 실시예에 따른 블록 크기 조건에 기반하여 TMVP 후보를 도출하기 위함 흐름도의 다른 예이다.31 is another example of a flowchart for deriving a TMVP candidate based on a block size condition according to an embodiment of the present specification.
도 32는 본 명세서의 실시예에 따른 시간적 주변 블록들의 다른 예를 도시한다.32 illustrates another example of temporal neighboring blocks according to an embodiment of the present specification.
도 33은 본 명세서의 실시예에 따른 우하측 col 블록의 반올림 값과 센터 col 블록의 반올림 값에 기반하여 TMVP 후보를 도출하기 위한 흐름도의 예이다.33 is an example of a flowchart for deriving a TMVP candidate based on a rounded value of a lower right col block and a rounded value of a center col block according to an embodiment of the present specification.
도 34는 본 명세서의 실시예에 따른 우하측 col 블록의 반올림 값과 센터 col 블록의 반올림 값에 기반하여 TMVP 후보를 도출하기 위한 흐름도의 다른 예이다.34 is another example of a flowchart for deriving a TMVP candidate based on a rounded value of a lower right col block and a rounded value of a center col block according to an embodiment of the present specification.
도 35는 본 명세서의 실시예에 따른 MVP 후보 리스트를 구성하기 위한 흐름도의 다른 예이다.35 is another example of a flowchart for configuring an MVP candidate list according to an embodiment of the present specification.
도 36은 본 명세서의 실시예에 따른 MVP 후보 리스트를 구성하기 위한 흐름도의 또 다른 예이다.36 is another example of a flowchart for configuring an MVP candidate list according to an embodiment of the present specification.
도 37은 본 명세서의 실시예에 따른 비디오 신호의 인코딩 과정에서 인터 예측을 위한 흐름도의 예이다.37 is an example of a flowchart for inter prediction in an encoding process of a video signal according to an embodiment of the present specification.
도 38은 본 명세서의 실시예에 따른 비디오 신호의 디코딩 과정에서 인터 예측을 위한 흐름도의 예이다.38 is an example of a flowchart for inter prediction in a process of decoding a video signal according to an embodiment of the present specification.
이하, 본 발명에 따른 바람직한 실시 형태를 첨부된 도면을 참조하여 상세하게 설명한다. 첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 발명의 예시적인 실시형태를 설명하고자 하는 것이며, 본 발명이 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다. 이하의 상세한 설명은 본 발명의 완전한 이해를 제공하기 위해서 구체적 세부사항을 포함한다. 그러나, 당업자는 본 발명이 이러한 구체적 세부사항 없이도 실시될 수 있음을 안다. Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. The detailed description to be disclosed hereinafter together with the accompanying drawings is intended to describe exemplary embodiments of the present invention, and is not intended to represent the only embodiments in which the present invention may be practiced. The following detailed description includes specific details to provide a thorough understanding of the present invention. However, one of ordinary skill in the art appreciates that the invention may be practiced without these specific details.
몇몇 경우, 본 발명의 개념이 모호해지는 것을 피하기 위하여 공지의 구조 및 장치는 생략되거나, 각 구조 및 장치의 핵심기능을 중심으로 한 블록도 형식으로 도시될 수 있다. In some cases, in order to avoid obscuring the concept of the present invention, well-known structures and devices may be omitted, or may be shown in a block diagram form centering on core functions of each structure and device.
아울러, 본 발명에서 사용되는 용어는 가능한 한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 특정한 경우는 출원인이 임의로 선정한 용어를 사용하여 설명한다. 그러한 경우에는 해당 부분의 상세 설명에서 그 의미를 명확히 기재하므로, 본 발명의 설명에서 사용된 용어의 명칭만으로 단순 해석되어서는 안 될 것이며 그 해당 용어의 의미까지 파악하여 해석되어야 함을 밝혀두고자 한다.In addition, as for terms used in the present invention, general terms that are currently widely used are selected as far as possible, but specific cases will be described using terms arbitrarily selected by the applicant. In such a case, since the meaning of the term is clearly described in the detailed description of the corresponding part, it should not be interpreted simply by the name of the term used in the description of the present invention, and it should be clarified that the meaning of the term should be understood and interpreted .
이하의 설명에서 사용되는 특정 용어들은 본 발명의 이해를 돕기 위해서 제공된 것이며, 이러한 특정 용어의 사용은 본 발명의 기술적 사상을 벗어나지 않는 범위에서 다른 형태로 변경될 수 있다. 예를 들어, 신호, 데이터, 샘플, 픽처, 프레임, 블록 등의 경우 각 코딩 과정에서 적절하게 대체되어 해석될 수 있을 것이다.Specific terms used in the following description are provided to aid understanding of the present invention, and the use of these specific terms may be changed in other forms without departing from the technical spirit of the present invention. For example, signals, data, samples, pictures, frames, blocks, etc. may be appropriately replaced and interpreted in each coding process.
이하 본 명세서에서 '처리 유닛'은 예측, 변환 및/또는 양자화 등과 같은 인코딩/디코딩의 처리 과정이 수행되는 단위를 의미한다. 또한, 처리 유닛은 휘도(luma) 성분에 대한 단위와 색차(chroma) 성분에 대한 단위를 포함하는 의미로 해석될 수 있다. 예를 들어, 처리 유닛은 블록(block), 코딩 유닛(coding unit, CU), 예측 유닛(prediction unit, PU) 또는 변환 블록(transform unit, TU)에 해당될 수 있다. Hereinafter, in the present specification, a'processing unit' means a unit in which an encoding/decoding process such as prediction, transformation, and/or quantization is performed. Also, the processing unit may be interpreted as including a unit for a luma component and a unit for a chroma component. For example, the processing unit may correspond to a block, a coding unit (CU), a prediction unit (PU), or a transform unit (TU).
또한, 처리 유닛은 휘도 성분에 대한 단위 또는 색차 성분에 대한 단위로 해석될 수 있다. 예를 들어, 처리 유닛은 휘도 성분에 대한 코딩 트리 블록(coding tree block, CTB), 코딩 블록(coding block, CB), PU 또는 변환 블록(transform block, TB)에 해당될 수 있다. 또는, 처리 유닛은 색차 성분에 대한 CTB, CB, PU 또는 TB에 해당할 수 있다. 또한, 이에 한정되는 것은 아니며 처리 유닛은 휘도 성분에 대한 단위와 색차 성분에 대한 단위를 포함하는 의미로 해석될 수도 있다. Further, the processing unit may be interpreted as a unit for a luminance component or a unit for a color difference component. For example, the processing unit may correspond to a coding tree block (CTB), a coding block (CB), a PU, or a transform block (TB) for a luminance component. Alternatively, the processing unit may correspond to CTB, CB, PU or TB for the color difference component. Further, the present invention is not limited thereto, and the processing unit may be interpreted as including a unit for a luminance component and a unit for a color difference component.
또한, 처리 유닛은 반드시 정사각형의 블록으로 한정되는 것은 아니며, 3개 이상의 꼭지점을 가지는 다각형 형태로 구성될 수도 있다. Further, the processing unit is not necessarily limited to a square block, and may be configured in a polygonal shape having three or more vertices.
또한, 이하 본 명세서에서 픽셀 또는 화소 등을 샘플로 통칭한다. 그리고, 샘플을 이용한다는 것은 픽셀 값 또는 화소 값 등을 이용한다는 것을 의미할 수 있다. In addition, in the present specification, pixels or pixels are collectively referred to as samples. In addition, using a sample may mean using a pixel value or a pixel value.
도 1은 본 명세서의 실시예에 따른 영상 코딩 시스템의 예를 도시한다. 영상 코딩 시스템은 소스 디바이스(10) 및 수신 디바이스(20)를 포함할 수 있다. 소스 디바이스(10)는 인코딩된 비디오/영상 정보 또는 데이터를 파일 또는 스트리밍 형태로 디지털 저장매체 또는 네트워크를 통하여 수신 디바이스(20)로 전달할 수 있다. 1 shows an example of an image coding system according to an embodiment of the present specification. The image coding system may include a source device 10 and a reception device 20. The source device 10 may transmit the encoded video/video information or data in a file or streaming format to the receiving device 20 through a digital storage medium or a network.
소스 디바이스(10)는 비디오 소스(11), 인코딩 장치(12), 송신기(13)를 포함할 수 있다. 수신 디바이스(20)는 수신기(21), 디코딩 장치(22) 및 렌더러(23)를 포함할 수 있다. 인코딩 장치(12)는 비디오/영상 인코딩 장치로 지칭될 수 있고, 디코딩 장치(22)는 비디오/영상 디코딩 장치로 지칭될 수 있다. 송신기(13)는 인코딩 장치(12)에 포함될 수 있다. 수신기(21)는 디코딩 장치(22)에 포함될 수 있다. 렌더러(23)는 디스플레이부를 포함할 수도 있고, 디스플레이부는 별개의 디바이스 또는 외부 컴포넌트로 구성될 수도 있다. The source device 10 may include a video source 11, an encoding device 12, and a transmitter 13. The receiving device 20 may include a receiver 21, a decoding device 22 and a renderer 23. The encoding device 12 may be referred to as a video/image encoding device, and the decoding device 22 may be referred to as a video/image decoding device. The transmitter 13 may be included in the encoding device 12. The receiver 21 may be included in the decoding device 22. The renderer 23 may include a display unit, and the display unit may be configured as a separate device or an external component.
비디오 소스(11)는 비디오/영상의 캡쳐, 합성 또는 생성 과정을 통하여 비디오/영상을 획득할 수 있다. 비디오 소스(11)는 비디오/영상 캡쳐 디바이스 및/또는 비디오/영상 생성 디바이스를 포함할 수 있다. 비디오/영상 캡쳐 디바이스는 예를 들어, 하나 이상의 카메라, 이전에 캡쳐된 비디오/영상을 포함하는 비디오/영상 아카이브를 포함할 수 있다. 비디오/영상 생성 디바이스는 예를 들어 컴퓨터, 타블렛 및 스마트폰을 포함할 수 있으며 (전자적으로) 비디오/영상을 생성할 수 있다. 예를 들어, 컴퓨터를 통하여 가상의 비디오/영상이 생성될 수 있으며, 이 경우 관련 데이터가 생성되는 과정으로 비디오/영상 캡쳐 과정이 갈음될 수 있다.The video source 11 may acquire a video/image through a process of capturing, synthesizing, or generating a video/image. The video source 11 may include a video/image capturing device and/or a video/image generating device. The video/image capturing device may include, for example, one or more cameras, and a video/image archive including previously captured video/images. Video/image generating devices may include, for example, computers, tablets and smartphones, and may (electronically) generate video/images. For example, a virtual video/image may be generated through a computer, and in this case, a video/image capturing process may be substituted as a process of generating related data.
인코딩 장치(12)는 입력 비디오/영상을 인코딩할 수 있다. 인코딩 장치(12)는 압축 및 코딩 효율을 위하여 예측, 변환, 양자화와 같은 일련의 절차를 수행할 수 있다. 인코딩된 데이터(인코딩된 비디오/영상 정보)는 비트스트림(bitstream) 형태로 출력될 수 있다.The encoding device 12 may encode an input video/video. The encoding apparatus 12 may perform a series of procedures such as prediction, transformation, and quantization for compression and coding efficiency. The encoded data (encoded video/video information) may be output in the form of a bitstream.
송신기(13)는 비트스트림 형태로 출력된 인코딩된 비디오/영상 정보 또는 데이터를 파일 또는 스트리밍 형태로 디지털 저장매체 또는 네트워크를 통하여 수신 디바이스(20)의 수신기(21)로 전달할 수 있다. 디지털 저장 매체는 USB(universal serial bus), SD 카드(secure digital card), CD(compact disc), DVD(digital versatile disc), 블루레이 디스크(blu-ray disc), HDD(hard disk drive), SSD(solid state drive)와 같은 다양한 저장 매체를 포함할 수 있다. 송신기(13)는 미리 정해진 파일 포맷을 통해 미디어 파일을 생성하기 위한 엘레먼트를 포함할 수 있고, 방송/통신 네트워크를 통한 전송을 위한 엘레멘트를 포함할 수 있다. 수신기(21)는 비트스트림을 추출하여 디코딩 장치(22)로 전달할 수 있다.The transmitter 13 may transmit the encoded video/video information or data output in the form of a bitstream to the receiver 21 of the receiving device 20 through a digital storage medium or a network in a file or streaming form. Digital storage media include USB (universal serial bus), SD card (secure digital card), CD (compact disc), DVD (digital versatile disc), Blu-ray disc, HDD (hard disk drive), SSD (solid state drive) may include a variety of storage media. The transmitter 13 may include an element for generating a media file through a predetermined file format, and may include an element for transmission through a broadcast/communication network. The receiver 21 may extract the bitstream and transmit it to the decoding device 22.
디코딩 장치(22)는 인코딩 장치(12)의 동작에 대응하는 역양자화, 역변환, 예측과 같은 일련의 절차를 수행함으로써 비디오/영상을 디코딩할 수 있다. The decoding device 22 may decode the video/video by performing a series of procedures such as inverse quantization, inverse transformation, and prediction corresponding to the operation of the encoding device 12.
렌더러(23)는 디코딩된 비디오/영상을 렌더링할 수 있다. 렌더링된 비디오/영상은 디스플레이부를 통하여 디스플레이될 수 있다.The renderer 23 may render the decoded video/image. The rendered video/image may be displayed through the display unit.
도 2는 본 명세서의 실시예에 따른 비디오 신호의 인코딩이 수행되는 인코딩 장치의 개략적인 블록도의 예를 도시한다. 도 2의 인코딩 장치(100)는 도 1의 인코딩 장치(12)에 대응할 수 있다.2 shows an example of a schematic block diagram of an encoding apparatus in which encoding of a video signal is performed according to an embodiment of the present specification. The encoding device 100 of FIG. 2 may correspond to the encoding device 12 of FIG. 1.
영상 분할부(image partitioning module)(110)는 인코딩 장치(100)에 입력된 입력 영상(또는, 픽처, 프레임)를 하나 이상의 처리 유닛(processing unit)으로 분할할 수 있다. 예를 들어, 처리 유닛은 코딩 유닛(CU)으로 지칭될 수 있다. 이 경우 코딩 유닛은 코딩 트리 유닛(coding tree unit, CTU) 또는 최대 코딩 유닛(largest coding unit, LCU)으로부터 QTBT (Quad-tree binary-tree) 구조에 따라 재귀적으로(recursively) 분할될 수 있다. 예를 들어, 하나의 코딩 유닛은 쿼드 트리 구조 및/또는 바이너리 트리 구조를 기반으로 하위(deeper) 뎁스의 복수의 코딩 유닛들로 분할될 수 있다. 이 경우 예를 들어 쿼드 트리 구조가 먼저 적용되고 바이너리 트리 구조가 나중에 적용될 수 있다. 또는 바이너리 트리 구조가 먼저 적용될 수도 있다. 더 이상 분할되지 않는 최종 코딩 유닛을 기반으로 본 명세서의 실시예에 따른 코딩 절차가 수행될 수 있다. 이 경우 영상 특성에 따른 코딩 효율에 기반하여 최대 코딩 유닛이 바로 최종 코딩 유닛으로 사용될 수 있다. 또한, 필요에 따라 코딩 유닛은 재귀적으로 보다 하위 뎁스의 코딩 유닛들로 분할됨으로써 최적의 사이즈를 갖는 코딩 유닛이 최종 코딩 유닛으로 사용될 수 있다. 여기서 코딩 절차라 함은 후술되는 예측, 변환, 및 복원과 같은 절차를 포함할 수 있다. 다른 예로, 처리 유닛은 예측 유닛(prediction unit, PU) 또는 변환 유닛(transform unit, TU)을 더 포함할 수 있다. 이 경우 예측 유닛 및 변환 유닛은 각각 상술한 코딩 유닛으로부터 분할될 수 있다. 예측 유닛은 샘플 예측의 단위일 수 있고, 변환 유닛은 변환 계수를 유도하는 단위 또는 변환 계수로부터 레지듀얼 신호(residual signal)를 유도하는 단위일 수 있다. The image partitioning module 110 may divide an input image (or picture, frame) input to the encoding apparatus 100 into one or more processing units. For example, the processing unit may be referred to as a coding unit (CU). In this case, the coding unit may be recursively partitioned from a coding tree unit (CTU) or a largest coding unit (LCU) according to a quad-tree binary-tree (QTBT) structure. For example, one coding unit may be divided into a plurality of coding units of a deeper depth based on a quad tree structure and/or a binary tree structure. In this case, for example, a quad tree structure may be applied first and a binary tree structure may be applied later. Alternatively, the binary tree structure may be applied first. A coding procedure according to an embodiment of the present specification may be performed based on a final coding unit that is no longer divided. In this case, the maximum coding unit may be directly used as the final coding unit based on coding efficiency according to image characteristics. Further, if necessary, the coding unit is recursively divided into coding units of a lower depth, so that a coding unit having an optimal size may be used as a final coding unit. Here, the coding procedure may include procedures such as prediction, transformation, and restoration described below. As another example, the processing unit may further include a prediction unit (PU) or a transform unit (TU). In this case, the prediction unit and the transform unit may be divided from the above-described coding units, respectively. The prediction unit may be a unit of sample prediction, and the transform unit may be a unit for inducing a transform coefficient or a unit for inducing a residual signal from the transform coefficient.
본 문서에서 사용되는 용어 '유닛(unit)'은 경우에 따라서 '블록(block)' 또는 '영역(area)'과 같은 용어와 혼용될 수 있다. 본 문서에서, MxN 블록은 M개의 열과 N개의 행으로 이루어진 샘플들 또는 변환 계수(transform coefficient)들의 집합을 나타낼 수 있다. 샘플은 일반적으로 픽셀 또는 픽셀의 값을 나타낼 수 있으며, 휘도(luma) 성분의 픽셀/픽셀값을 나타낼 수도 있고, 채도(chroma) 성분의 픽셀/픽셀 값을 나타낼 수도 있다. 샘플은 하나의 픽처(또는 영상)을 픽셀(pixel) 또는 펠(pel)에 대응하는 용어로서 사용될 수 있다.The term "unit" used in this document may be used interchangeably with terms such as "block" or "area" in some cases. In this document, the MxN block may represent a set of samples or transform coefficients consisting of M columns and N rows. A sample may generally represent a pixel or a value of a pixel, may represent a pixel/pixel value of a luminance component, or a pixel/pixel value of a saturation component. A sample may be used as a term corresponding to one picture (or image) as a pixel or pel.
인코딩 장치(100)는 입력 영상 신호(원본 블록, 원본 샘플 어레이)에서 인터 예측부(inter prediction module)(180) 또는 인트라 예측부(intra prediction module)(185)로부터 출력된 예측 신호(예측된 블록, 예측 샘플 어레이)를 감산함으로써 레지듀얼 신호(residual signal, 잔여 블록, 잔여 샘플 어레이)를 생성할 수 있다. 생성된 레지듀얼 신호는 변환부(120)로 전송된다. 이 경우 도시된 바와 같이 인코딩 장치(100) 내에서 입력 영상 신호(원본 블록, 원본 샘플 어레이)에서 예측 신호(예측 블록, 예측 샘플 어레이)를 감산하는 유닛은 감산부(subtraction module)(115)로 지칭될 수 있다. 예측부는 처리 대상 블록(이하, 현재 블록이라 함)에 대한 예측을 수행하고, 현재 블록에 대한 예측 샘플들을 포함하는 예측된 블록(predicted block)을 생성할 수 있다. 예측부(prediction module)는 CU 단위로 인트라 예측이 적용되는지 또는 인터 예측이 적용되는지 결정할 수 있다. 예측부는 각 예측모드에 대한 설명에서 후술하는 바와 같이 예측 모드 정보와 같이 예측에 관한 정보를 생성하고, 예측에 관한 정보를 엔트로피 인코딩부(190)로 전달할 수 있다. 예측에 관한 정보는 엔트로피 인코딩부(190)에서 인코딩되고, 비트스트림 형태로 출력될 수 있다. The encoding apparatus 100 includes a prediction signal (predicted block) output from an inter prediction module 180 or an intra prediction module 185 from an input video signal (original block, original sample array). , Predictive sample array), a residual signal (residual signal, residual block, residual sample array) may be generated. The generated residual signal is transmitted to the conversion unit 120. In this case, as shown, a unit that subtracts a prediction signal (prediction block, prediction sample array) from an input video signal (original block, original sample array) in the encoding apparatus 100 is used as a subtraction module 115. May be referred to. The prediction unit may perform prediction on a block to be processed (hereinafter, referred to as a current block) and generate a predicted block including prediction samples for the current block. The prediction module may determine whether intra prediction or inter prediction is applied on a per CU basis. The prediction unit may generate information about prediction, such as prediction mode information, as described later in the description of each prediction mode, and may transmit information about prediction to the entropy encoding unit 190. Information about prediction is encoded by the entropy encoding unit 190 and may be output in the form of a bitstream.
인트라 예측부(185)는 현재 픽처 내의 샘플들을 참조하여 현재 블록을 예측할 수 있다. 참조되는 샘플들은 예측 모드에 따라 현재 블록의 주변(neighbor)에 위치할 수 있고, 또는 떨어져서 위치할 수도 있다. 인트라 예측에서 예측 모드들은 복수의 비방향성 모드와 복수의 방향성 모드를 포함할 수 있다. 비방향성 모드는 예를 들어 DC 모드 및 플래너 모드(Planar 모드)를 포함할 수 있다. 방향성 모드는 예측 방향의 세밀한 정도에 따라 예를 들어 33개의 방향성 예측 모드 또는 65개의 방향성 예측 모드를 포함할 수 있다. 다만, 이는 예시로서 설정에 따라 그 이상 또는 그 이하의 개수의 방향성 예측 모드들이 사용될 수 있다. 인트라 예측부(185)는 주변 블록에 적용된 예측 모드를 이용하여, 현재 블록에 적용되는 예측 모드를 결정할 수도 있다.The intra prediction unit 185 may predict the current block by referring to samples in the current picture. The referenced samples may be located in the vicinity of the current block or may be located away from each other according to the prediction mode. In intra prediction, prediction modes may include a plurality of non-directional modes and a plurality of directional modes. The non-directional mode may include, for example, a DC mode and a planar mode (Planar mode). The directional mode may include, for example, 33 directional prediction modes or 65 directional prediction modes according to a detailed degree of the prediction direction. However, this is an example, and more or less directional prediction modes may be used depending on the setting. The intra prediction unit 185 may determine a prediction mode applied to the current block by using the prediction mode applied to the neighboring block.
인터 예측부(180)는 참조 픽처 상에서 움직임 벡터에 의해 특정되는 참조 블록(참조 샘플 어레이)을 기반으로, 현재 블록에 대한 예측된 블록을 유도할 수 있다. 이때, 인터 예측 모드에서 전송되는 움직임 정보의 양을 감소시키기 위해 인터 예측부(180)는 주변 블록과 현재 블록 간의 움직임 정보의 상관성에 기초하여 움직임 정보를 블록, 서브블록, 또는 샘플 단위로 예측할 수 있다. 움직임 정보는 움직임 벡터 및 참조 픽처 인덱스를 포함할 수 있다. 움직임 정보는 인터 예측 방향(L0 예측, L1 예측, Bi 예측 등) 정보를 더 포함할 수 있다. 인터 예측의 경우, 주변 블록은 현재 픽처 내에 존재하는 공간적 주변 블록(spatial neighboring block)과 참조 픽처에 존재하는 시간적 주변 블록(temporal neighboring block)을 포함할 수 있다. 참조 블록을 포함하는 참조 픽처와 시간적 주변 블록을 포함하는 참조 픽처는 동일할 수도 있고, 다를 수도 있다. 시간적 주변 블록은 동일 위치 참조 블록(collocated reference block), 동일 위치 CU(colCU)로 지칭될 수 있으며, 시간적 주변 블록을 포함하는 참조 픽처는 동일 위치 픽처(collocated picture, colPic)로 지칭될 수 있다. 예를 들어, 인터 예측부(180)는 주변 블록들의 움직임 정보에 기반하여 움직임 정보 후보 리스트를 구성하고, 현재 블록의 움직임 벡터 및/또는 참조 픽처 인덱스를 도출하기 위하여 어떤 후보가 사용되는지를 지시하는 정보를 생성할 수 있다. 다양한 예측 모드에 기반하여 인터 예측이 수행될 수 있으며, 예를 들어 스킵 모드와 머지 모드가 사용되는 경우, 인터 예측부(180)는 주변 블록의 움직임 정보를 현재 블록의 움직임 정보로서 이용할 수 있다. 스킵 모드의 경우, 머지 모드와 달리 레지듀얼 신호가 전송되지 않는다. 움직임 벡터 예측(motion vector prediction, MVP) 모드의 경우, 주변 블록의 움직임 벡터를 움직임 벡터 예측자(motion vector predictor)로 이용하고, 움직임 벡터 차분(motion vector difference, MVD)을 시그널링함으로써 현재 블록의 움직임 벡터를 지시할 수 있다.The inter prediction unit 180 may derive a predicted block for the current block based on a reference block (reference sample array) specified by a motion vector on the reference picture. In this case, in order to reduce the amount of motion information transmitted in the inter prediction mode, the inter prediction unit 180 may predict motion information in units of blocks, subblocks, or samples based on the correlation between motion information between neighboring blocks and the current block. have. The motion information may include a motion vector and a reference picture index. The motion information may further include inter prediction direction (L0 prediction, L1 prediction, Bi prediction, etc.) information. In the case of inter prediction, the neighboring block may include a spatial neighboring block existing in the current picture and a temporal neighboring block existing in the reference picture. The reference picture including the reference block and the reference picture including the temporal neighboring block may be the same or different. The temporal neighboring block may be referred to as a collocated reference block or a colCU (colCU), and a reference picture including the temporal neighboring block may be referred to as a collocated picture (colPic). For example, the inter prediction unit 180 constructs a motion information candidate list based on motion information of neighboring blocks, and indicates which candidate is used to derive a motion vector and/or a reference picture index of the current block. Can generate information. Inter prediction may be performed based on various prediction modes. For example, when a skip mode and a merge mode are used, the inter prediction unit 180 may use motion information of a neighboring block as motion information of a current block. In the case of the skip mode, unlike the merge mode, a residual signal is not transmitted. In the case of motion vector prediction (MVP) mode, a motion vector of a neighboring block is used as a motion vector predictor and a motion vector difference (MVD) is signaled to move the current block. Vector can be indicated.
인터 예측부(180) 또는 인트라 예측부(185)에 의해 생성된 예측 신호는 복원 신호를 생성하기 위해 이용되거나 레지듀얼 신호를 생성하기 위해 이용될 수 있다. The prediction signal generated by the inter prediction unit 180 or the intra prediction unit 185 may be used to generate a reconstructed signal or may be used to generate a residual signal.
변환부(transform module)(120)는 레지듀얼 신호에 변환 기법을 적용하여 변환 계수들(transform coefficients)을 생성할 수 있다. 예를 들어, 변환 기법은 DCT(Discrete Cosine Transform), DST(Discrete Sine Transform), KLT(Karhunen-Loeve Transform), GBT(Graph-Based Transform), 또는 CNT(Conditionally Non-linear Transform) 중 적어도 하나를 포함할 수 있다. 여기서, GBT는 픽셀 간의 관계 정보를 나타내는 그래프로부터 획득되는 변환을 의미한다. CNT는 이전에 복원된 모든 픽셀(all previously reconstructed pixel)를 이용하여 예측 신호를 생성하고, 예측 신호에 기반하여 획득되는 변환을 의미한다. 또한, 변환 과정은 정사각형의 동일한 크기를 갖는 픽셀 블록에 적용될 수도 있고, 정사각형이 아니거나 가변적인 크기를 갖는 블록에도 적용될 수 있다.The transform module 120 may generate transform coefficients by applying a transform technique to the residual signal. For example, the transformation technique uses at least one of DCT (Discrete Cosine Transform), DST (Discrete Sine Transform), KLT (Karhunen-Loeve Transform), GBT (Graph-Based Transform), or CNT (Conditionally Non-linear Transform). Can include. Here, GBT refers to transformation obtained from a graph representing relationship information between pixels. CNT refers to a transformation obtained based on the prediction signal and generating a prediction signal using all previously reconstructed pixels. In addition, the conversion process may be applied to a pixel block having the same size of a square, or may be applied to a block that is not a square or has a variable size.
양자화부(quantization module)(130)는 변환 계수들을 양자화하고, 양자화된 변환 계수들을 엔트로피 인코딩부(entropy encoding module)(190)로 전송한다. 엔트로피 인코딩부(190)는 양자화된 신호(양자화된 변환 계수들에 관한 정보)를 인코딩함으로써 비트스트림으로 출력할 수 있다. 양자화된 변환 계수들에 관한 정보는 레지듀얼 정보로 지칭될 수 있다. 양자화부(130)는 계수 스캔 순서(scan order)에 기반하여 블록 형태의 양자화된 변환 계수들을 1차원 벡터 형태로 재정렬할 수 있고, 1차원 벡터 형태의 양자화된 변환 계수들의 특성에 기반하여 양자화된 변환 계수들에 관한 정보를 생성할 수도 있다. 엔트로피 인코딩부(190)는, 예를 들어, 지수 골롬(exponential Golomb), CAVLC(context-adaptive variable length coding), CABAC(context-adaptive binary arithmetic coding)과 같은 다양한 인코딩 기법을 수행할 수 있다. 엔트로피 인코딩부(190)는 양자화된 변환 계수들 외 비디오/이미지 복원에 필요한 정보들(예를 들어, 신택스 요소들(syntax elements)의 값)을 함께 또는 별도로 인코딩할 수도 있다. 인코딩된 정보(예: 비디오/영상 정보)는 비트스트림 형태로 NAL(network abstraction layer) 유닛 단위로 전송 또는 저장될 수 있다. 비트스트림은 네트워크를 통하여 전송될 수 있고, 또는 디지털 저장매체에 저장될 수 있다. 여기서 네트워크는 방송망 및/또는 통신망을 포함할 수 있고, 디지털 저장매체는 USB, SD, CD, DVD, 블루레이, HDD, SSD와 같은 저장매체를 포함할 수 있다. 엔트로피 인코딩부(190)로부터 출력된 신호는 전송하는 전송부(미도시) 및/또는 저장하는 저장부(미도시)가 인코딩 장치(100)의 내/외부 엘리먼트로서 구성될 수 있고, 또는 전송부는 엔트로피 인코딩부(190)의 구성요소일 수도 있다.The quantization module 130 quantizes the transform coefficients and transmits the quantized transform coefficients to the entropy encoding module 190. The entropy encoding unit 190 may encode a quantized signal (information on quantized transform coefficients) and output it as a bitstream. Information about the quantized transform coefficients may be referred to as residual information. The quantization unit 130 may rearrange the quantized transform coefficients in a block form into a one-dimensional vector form based on a coefficient scan order, and quantize the quantized transform coefficients based on the characteristics of the quantized transform coefficients in a one-dimensional vector form. It is also possible to generate information about transform coefficients. The entropy encoding unit 190 may perform various encoding techniques such as exponential Golomb, context-adaptive variable length coding (CAVLC), and context-adaptive binary arithmetic coding (CABAC). The entropy encoding unit 190 may encode information necessary for video/image restoration (eg, values of syntax elements) in addition to quantized transform coefficients together or separately. The encoded information (eg, video/video information) may be transmitted or stored in a bitstream format in units of network abstraction layer (NAL) units. The bitstream may be transmitted over a network or may be stored in a digital storage medium. Here, the network may include a broadcasting network and/or a communication network, and the digital storage medium may include a storage medium such as USB, SD, CD, DVD, Blu-ray, HDD, and SSD. For the signal output from the entropy encoding unit 190, a transmission unit (not shown) for transmitting and/or a storage unit (not shown) for storing may be configured as internal/external elements of the encoding apparatus 100, or the transmission unit It may be a component of the entropy encoding unit 190.
양자화부(130)로부터 출력된 양자화된 변환 계수들은 복원 신호를 생성하기 위해 이용될 수 있다. 예를 들어, 양자화된 변환 계수들에 대한 루프 내의 역양자화부(dequantization module)(140) 및 역변환부(inverse transform module)(150)를 통해 역양자화 및 역변환을 적용함으로써 레지듀얼 신호가 복원될 수 있다. 가산부(addition module)(155)는 복원된 레지듀얼 신호를 인터 예측부(180) 또는 인트라 예측부(185)로부터 출력된 예측 신호에 더함으로써 복원(reconstructed) 신호(복원 픽처, 복원 블록, 복원 샘플 어레이)를 생성할 수 있다. 스킵 모드가 적용된 경우와 같이 처리 대상 블록에 대한 레지듀얼 신호가 없는 경우, 예측된 블록이 복원 블록으로 사용될 수 있다. 가산부(155)는 복원부 또는 복원 블록 생성부라고 불릴 수 있다. 생성된 복원 신호는 현재 픽처 내 다음 처리 대상 블록의 인트라 예측을 위하여 사용될 수 있고, 후술하는 바와 같이 필터링을 거쳐서 다음 픽처의 인터 예측을 위하여 사용될 수도 있다. The quantized transform coefficients output from the quantization unit 130 may be used to generate a reconstructed signal. For example, a residual signal can be restored by applying inverse quantization and inverse transform through the inverse quantization module 140 and the inverse transform module 150 in the loop for the quantized transform coefficients. have. The addition module 155 adds the reconstructed residual signal to the prediction signal output from the inter prediction unit 180 or the intra prediction unit 185 to provide a reconstructed signal (reconstructed picture, a reconstructed block, and Sample array). When there is no residual signal for the block to be processed, such as when the skip mode is applied, the predicted block may be used as a reconstructed block. The addition unit 155 may be referred to as a restoration unit or a restoration block generation unit. The generated reconstructed signal may be used for intra prediction of the next processing target block in the current picture, and may be used for inter prediction of the next picture through filtering as described later.
필터링부(filtering module)(160)는 복원 신호에 필터링을 적용함으로써 주관적/객관적 화질을 향상시킬 수 있다. 예를 들어, 필터링부(160)는 복원 픽처에 다양한 필터링 방법을 적용하여 수정된(modified) 복원 픽처를 생성할 수 있고, 수정된 복원 픽처를 복호 픽쳐 버퍼(170)에 전송할 수 있다. 다양한 필터링 방법은 예를 들어, 디블록킹 필터링, 샘플 적응적 오프셋(sample adaptive offset, SAO), 적응적 루프 필터(adaptive loop filter, ALF), 양방향 필터(bilateral filter)를 포함할 수 있다. 필터링부(160)는 각 필터링 방법에 대한 설명에서 후술하는 바와 같이 필터링에 관한 정보를 생성하고, 필터링에 관한 정보를 엔트로피 인코딩부(190)로 전달할 수 있다. 필터링에 관한 정보는 엔트로피 인코딩부(190)에서의 엔트로피 인코딩을 통해 비트스트림 형태로 출력될 수 있다. The filtering module 160 may improve subjective/objective image quality by applying filtering to the reconstructed signal. For example, the filtering unit 160 may apply various filtering methods to the reconstructed picture to generate a modified reconstructed picture, and may transmit the modified reconstructed picture to the decoded picture buffer 170. Various filtering methods may include, for example, deblocking filtering, sample adaptive offset (SAO), adaptive loop filter (ALF), and bilateral filter. The filtering unit 160 may generate filtering information and transmit the filtering information to the entropy encoding unit 190 as described later in the description of each filtering method. The filtering information may be output in the form of a bitstream through entropy encoding in the entropy encoding unit 190.
복호 픽처 버퍼(decoded picture buffer, DBP)(170)에 전송된 수정된 복원 픽처는 인터 예측부(180)에서 참조 픽처로 사용될 수 있다. 인터 예측이 적용되는 경우, 인코딩 장치(100)는 수정된 복원 픽처를 사용하여 인코딩 장치(100)와 디코딩 장치(200)에서의 예측 미스매치를 피할 수 있고, 부호화 효율도 향상시킬 수 있다. 복호 픽처 버퍼(170)는 수정된 복원 픽처를 인터 예측부(180)에서의 참조 픽처로 사용하기 위해 저장할 수 있다.The modified reconstructed picture transmitted to the decoded picture buffer (DBP) 170 may be used as a reference picture in the inter prediction unit 180. When inter prediction is applied, the encoding apparatus 100 may avoid prediction mismatch between the encoding apparatus 100 and the decoding apparatus 200 by using the modified reconstructed picture, and may improve encoding efficiency. The decoded picture buffer 170 may store the modified reconstructed picture to be used as a reference picture in the inter prediction unit 180.
도 3은 본 명세서의 실시예에 따른 영상 신호의 디코딩이 수행되는 디코딩 장치의 개략적인 블록도의 예를 도시한다. 도 3의 디코딩 장치(200)는 도 1의 디코딩 장치(22)에 대응할 수 있다.3 shows an example of a schematic block diagram of a decoding apparatus for decoding an image signal according to an embodiment of the present specification. The decoding device 200 of FIG. 3 may correspond to the decoding device 22 of FIG. 1.
도 3을 참조하면, 디코딩 장치(200)는 엔트로피 디코딩부(entropy decoding module)(210), 역양자화부(de-quantization module)(220), 역변환부(inverse transform module)(230), 가산부(addition module)(235), 필터링부(filtering module)(240), 복호 픽쳐 버퍼(DPB)(250), 인터 예측부(inter prediction module)(260) 및 인트라 예측부(intra prediction module)(265)를 포함할 수 있다. 인터 예측부(260) 및 인트라 예측부(265)는 예측부(prediction module)로 통칭될 수 있다. 즉, 예측부는 인터 예측부(180) 및 인트라 예측부(185)를 포함할 수 있다. 역양자화부(220)와 역변환부(230)는 레지듀얼 처리부(residual processing module)로 통칭될 수 있다. 즉, 레지듀얼 처리부는 역양자화부(220)와 역변환부(230)를 포함할 수 있다. 상술한 엔트로피 디코딩부(210), 역양자화부(220), 역변환부(230), 가산부(235), 필터링부(240), 인터 예측부(260), 및 인트라 예측부(265)는 실시예에 따라 하나의 하드웨어 컴포넌트(예를 들어 디코더 또는 프로세서)에 의하여 구성될 수 있다. 또한 복호 픽처 버퍼(250)는 실시예에 따라 하나의 하드웨어 컴포넌트(예를 들어 메모리 또는 디지털 저장 매체)에 의하여 구성될 수 있다.Referring to FIG. 3, the decoding apparatus 200 includes an entropy decoding module 210, a de-quantization module 220, an inverse transform module 230, and an adder. (addition module) 235, filtering module 240, decoded picture buffer (DPB) 250, inter prediction module 260, and intra prediction module 265 ) Can be included. The inter prediction unit 260 and the intra prediction unit 265 may be collectively referred to as a prediction module. That is, the prediction unit may include an inter prediction unit 180 and an intra prediction unit 185. The inverse quantization unit 220 and the inverse transform unit 230 may be collectively referred to as a residual processing module. That is, the residual processing unit may include an inverse quantization unit 220 and an inverse transform unit 230. The entropy decoding unit 210, the inverse quantization unit 220, the inverse transform unit 230, the addition unit 235, the filtering unit 240, the inter prediction unit 260, and the intra prediction unit 265 are implemented. It may be configured by one hardware component (eg, a decoder or a processor) according to an example. Also, the decoded picture buffer 250 may be configured by one hardware component (eg, a memory or a digital storage medium) according to an embodiment.
비디오/이미지 정보를 포함하는 비트스트림이 입력되면, 디코딩 장치(200)는 도 2의 인코딩 장치(100)에서 비디오/이미지 정보가 처리된 프로세스에 대응하여 영상을 복원할 수 있다. 예를 들어, 디코딩 장치(200)는 인코딩 장치(100)에서 적용된 처리 유닛을 이용하여 디코딩을 수행할 수 있다. 따라서 디코딩시 처리 유닛은 예를 들어 코딩 유닛일 수 있고, 코딩 유닛은 코딩 트리 유닛 또는 최대 코딩 유닛으로부터 쿼드 트리 구조 및/또는 바이너리 트리 구조를 따라서 분할될 수 있다. 그리고, 디코딩 장치(200)를 통해 디코딩 및 출력된 복원 영상 신호는 재생 장치를 통해 재생될 수 있다.When a bitstream including video/image information is input, the decoding apparatus 200 may reconstruct an image in response to a process in which the video/image information is processed by the encoding apparatus 100 of FIG. 2. For example, the decoding apparatus 200 may perform decoding using a processing unit applied by the encoding apparatus 100. Thus, upon decoding, the processing unit may be a coding unit, for example, and the coding unit may be divided from a coding tree unit or a maximum coding unit along a quad tree structure and/or a binary tree structure. In addition, the reconstructed image signal decoded and output through the decoding device 200 may be reproduced through the playback device.
디코딩 장치(200)는 도 2의 인코딩 장치(100)로부터 출력된 신호를 비트스트림 형태로 수신할 수 있고, 수신된 신호는 엔트로피 디코딩부(210)를 통해 디코딩될 수 있다. 예를 들어, 엔트로피 디코딩부(210)는 비트스트림을 파싱하여 영상 복원(또는 픽처 복원)에 필요한 정보(예: 비디오/영상 정보)를 도출할 수 있다. 예컨대, 엔트로피 디코딩부(210)는 지수 골롬 부호화, CAVLC 또는 CABAC과 같은 코딩 기법을 사용하여 비트스트림 내 정보를 획득하고, 영상 복원에 필요한 신택스 엘레먼트의 값, 레지듀얼에 관한 변환 계수의 양자화된 값을 출력할 수 있다. 보다 상세하게, CABAC 엔트로피 디코딩 방법은, 비트스트림에서 각 구문 요소에 해당하는 빈(bin)을 수신하고, 디코딩 대상 구문 요소 정보와 주변 및 디코딩 대상 블록의 디코딩 정보 혹은 이전 단계에서 디코딩된 심볼/빈의 정보를 이용하여 문맥(context) 모델을 결정하고, 결정된 문맥 모델에 따라 빈(bin)의 발생 확률을 예측하여 빈의 산술 디코딩(arithmetic decoding)를 수행함으로써 각 구문 요소의 값에 해당하는 심볼을 생성할 수 있다. 이때, CABAC 엔트로피 디코딩 방법은 문맥 모델 결정 후 다음 심볼/빈의 문맥 모델을 위해 디코딩된 심볼/빈의 정보를 이용하여 문맥 모델을 업데이트할 수 있다. 엔트로피 디코딩부(210)에서 디코딩된 정보 중 예측에 관한 정보는 예측부(인터 예측부(260) 및 인트라 예측부(265))로 제공되고, 엔트로피 디코딩부(210)에서 엔트로피 디코딩이 수행된 레지듀얼 값, 즉 양자화된 변환 계수들 및 관련 파라미터 정보는 역양자화부(220)로 입력될 수 있다. 또한, 엔트로피 디코딩부(210)에서 디코딩된 정보 중 필터링에 관한 정보는 필터링부(240)로 제공될 수 있다. 한편, 인코딩 장치(100)로부터 출력된 신호를 수신하는 수신부(미도시)가 디코딩 장치(200)의 내/외부 엘리먼트로서 더 구성될 수 있고, 또는 수신부는 엔트로피 디코딩부(210)의 구성요소일 수도 있다. The decoding apparatus 200 may receive a signal output from the encoding apparatus 100 of FIG. 2 in the form of a bitstream, and the received signal may be decoded through the entropy decoding unit 210. For example, the entropy decoding unit 210 may parse the bitstream to derive information (eg, video/video information) necessary for image restoration (or picture restoration). For example, the entropy decoding unit 210 acquires information in the bitstream using a coding technique such as exponential Golomb coding, CAVLC, or CABAC, and a value of a syntax element required for image restoration, and a quantized value of a transform coefficient for a residual Can be printed. In more detail, in the CABAC entropy decoding method, a bin corresponding to each syntax element is received in a bitstream, and information about the syntax element to be decoded and decoding information of a block to be decoded and a neighbor or a symbol/bin decoded in a previous step The symbol corresponding to the value of each syntax element is determined by determining the context model using the information of, and performing arithmetic decoding of the bin by predicting the probability of occurrence of the bin according to the determined context model. Can be generated. In this case, the CABAC entropy decoding method may update the context model using information of the decoded symbol/bin for the context model of the next symbol/bin after the context model is determined. Among the information decoded by the entropy decoding unit 210, information on prediction is provided to the prediction unit (inter prediction unit 260 and intra prediction unit 265), and the register on which entropy decoding is performed by the entropy decoding unit 210 Dual values, that is, quantized transform coefficients and related parameter information may be input to the inverse quantization unit 220. In addition, information about filtering among information decoded by the entropy decoding unit 210 may be provided to the filtering unit 240. Meanwhile, a receiving unit (not shown) for receiving a signal output from the encoding device 100 may be further configured as an inner/outer element of the decoding device 200, or the receiving unit may be a component of the entropy decoding unit 210. May be.
역양자화부(220)는 양자화된 변환 계수들의 역양자화를 통해 변환 계수들을 출력할 수 있다. 역양자화부(220)는 양자화된 변환 계수들을 2차원의 블록 형태로 재정렬할 수 있다. 이 경우 인코딩 장치(100)에서 수행된 계수 스캔 순서에 기반하여 재정렬이 수행될 수 있다. 역양자화부(220)는 양자화 파라미터(예: 양자화 스텝 사이즈 정보)를 이용하여 양자화된 변환 계수들에 대한 역양자화를 수행하고, 변환 계수들(transform coefficient)을 획득할 수 있다. The inverse quantization unit 220 may output transform coefficients through inverse quantization of the quantized transform coefficients. The inverse quantization unit 220 may rearrange the quantized transform coefficients into a two-dimensional block shape. In this case, the reordering may be performed based on the coefficient scan order performed by the encoding apparatus 100. The inverse quantization unit 220 may perform inverse quantization on quantized transform coefficients by using a quantization parameter (eg, quantization step size information) and obtain transform coefficients.
역변환부(230)는 변환 계수들을 역변환하여 레지듀얼 신호(레지듀얼 블록, 레지듀얼 샘플 어레이)를 획득한다. The inverse transform unit 230 inversely transforms the transform coefficients to obtain a residual signal (residual block, residual sample array).
예측부는 현재 블록에 대한 예측을 수행하고, 현재 블록에 대한 예측 샘플들을 포함하는 예측된 블록(predicted block)을 생성할 수 있다. 예측부는 엔트로피 디코딩부(210)로부터 출력된 예측에 관한 정보에 기반하여 현재 블록에 인트라 예측이 적용되는지 또는 인터 예측이 적용되는지 결정할 수 있고, 구체적인 인트라/인터 예측 모드를 결정할 수 있다. The prediction unit may perform prediction on the current block and generate a predicted block including prediction samples for the current block. The prediction unit may determine whether intra prediction or inter prediction is applied to the current block based on information on prediction output from the entropy decoding unit 210, and may determine a specific intra/inter prediction mode.
인트라 예측부(265)는 현재 픽처 내의 샘플들을 참조하여 현재 블록을 예측할 수 있다. 참조되는 샘플들은 예측 모드에 따라 현재 블록의 주변(neighbor)에 위치할 수 있고, 또는 이격되어 위치할 수도 있다. 인트라 예측에서 예측 모드들은 복수의 비방향성 모드와 복수의 방향성 모드를 포함할 수 있다. 인트라 예측부(265)는 주변 블록에 적용된 예측 모드를 이용하여, 현재 블록에 적용되는 예측 모드를 결정할 수도 있다.The intra prediction unit 265 may predict the current block by referring to samples in the current picture. The referenced samples may be located near the current block or may be spaced apart according to the prediction mode. In intra prediction, prediction modes may include a plurality of non-directional modes and a plurality of directional modes. The intra prediction unit 265 may determine a prediction mode applied to the current block by using the prediction mode applied to the neighboring block.
인터 예측부(260)는 참조 픽처 상에서 움직임 벡터에 의해 특정되는 참조 블록(참조 샘플 어레이)을 기반으로, 현재 블록에 대한 예측된 블록을 유도할 수 있다. 이때, 인터 예측 모드에서 전송되는 움직임 정보의 양을 줄이기 위해 주변 블록과 현재 블록 간의 움직임 정보의 상관성에 기초하여 움직임 정보를 블록, 서브블록, 또는 샘플 단위로 예측할 수 있다. 움직임 정보는 움직임 벡터 및 참조 픽처 인덱스를 포함할 수 있다. 움직임 정보는 인터 예측 방향(L0 예측, L1 예측, Bi 예측) 정보를 더 포함할 수 있다. 인터 예측의 경우, 주변 블록은 현재 픽처 내에 존재하는 공간적 주변 블록(spatial neighboring block)과 참조 픽처에 존재하는 시간적 주변 블록(temporal neighboring block)을 포함할 수 있다. 예를 들어, 인터 예측부(260)는 주변 블록들을 기반으로 움직임 정보 후보 리스트를 구성하고, 수신된 후보 선택 정보를 기반으로 현재 블록의 움직임 벡터 및/또는 참조 픽처 인덱스를 도출할 수 있다. 다양한 예측 모드를 기반으로 인터 예측이 수행될 수 있으며, 예측에 관한 정보는 현재 블록에 대한 인터 예측의 모드를 지시하는 정보를 포함할 수 있다. The inter prediction unit 260 may derive a predicted block for the current block based on a reference block (reference sample array) specified by a motion vector on the reference picture. In this case, in order to reduce the amount of motion information transmitted in the inter prediction mode, motion information may be predicted in units of blocks, subblocks, or samples based on correlation between motion information between neighboring blocks and current blocks. The motion information may include a motion vector and a reference picture index. The motion information may further include inter prediction direction (L0 prediction, L1 prediction, Bi prediction) information. In the case of inter prediction, the neighboring block may include a spatial neighboring block existing in the current picture and a temporal neighboring block existing in the reference picture. For example, the inter prediction unit 260 may construct a motion information candidate list based on neighboring blocks, and derive a motion vector and/or a reference picture index of the current block based on the received candidate selection information. Inter prediction may be performed based on various prediction modes, and information on prediction may include information indicating a mode of inter prediction for a current block.
가산부(235)는 획득된 레지듀얼 신호를 인터 예측부(260) 또는 인트라 예측부(265)로부터 출력된 예측 신호(예측된 블록, 예측 샘플 어레이)에 더함으로써 복원 신호(복원 픽처, 복원 블록, 복원 샘플 어레이)를 생성할 수 있다. 스킵 모드가 적용된 경우와 같이 처리 대상 블록에 대한 레지듀얼이 없는 경우, 예측된 블록이 복원 블록으로 사용될 수 있다.The addition unit 235 adds the obtained residual signal to the prediction signal (predicted block, prediction sample array) output from the inter prediction unit 260 or the intra prediction unit 265 to provide a reconstructed signal (a reconstructed picture, a reconstructed block). , Restoration sample array) can be generated. When there is no residual for a block to be processed, such as when the skip mode is applied, the predicted block may be used as a reconstructed block.
가산부(235)는 복원부 또는 복원 블록 생성부로 지칭될 수 있다. 생성된 복원 신호는 현재 픽처 내 다음 처리 대상 블록의 인트라 예측을 위하여 사용될 수 있고, 후술하는 바와 같이 필터링을 거쳐서 다음 픽처의 인터 예측을 위하여 사용될 수도 있다. The addition unit 235 may be referred to as a restoration unit or a restoration block generation unit. The generated reconstructed signal may be used for intra prediction of the next processing target block in the current picture, and may be used for inter prediction of the next picture through filtering as described later.
필터링부(240)는 복원 신호에 필터링을 적용함으로써 주관적/객관적 화질을 향상시킬 수 있다. 예를 들어, 필터링부(240)는 복원 픽처에 다양한 필터링 방법을 적용하여 수정된(modified) 복원 픽처를 생성할 수 있고, 수정된 복원 픽처를 복호 픽쳐 버퍼(250)에 전송할 수 있다. 다양한 필터링 방법은, 예를 들어, 디블록킹 필터링, 샘플 적응적 오프셋(sample adaptive offset), 적응적 루프 필터(adaptive loop filter), 양방향 필터(bilateral filter)를 포함할 수 있다. The filtering unit 240 may improve subjective/objective image quality by applying filtering to the reconstructed signal. For example, the filtering unit 240 may apply various filtering methods to the reconstructed picture to generate a modified reconstructed picture, and may transmit the modified reconstructed picture to the decoded picture buffer 250. Various filtering methods may include, for example, deblocking filtering, sample adaptive offset, adaptive loop filter, and bilateral filter.
복호 픽쳐 버퍼(250)에 전달된 수정된 복원 픽처는 인터 예측부(260)에 의해 참조 픽처로 사용될 수 있다.The modified reconstructed picture delivered to the decoded picture buffer 250 may be used as a reference picture by the inter prediction unit 260.
본 명세서에서, 인코딩 장치(100)의 필터링부(160), 인터 예측부(180) 및 인트라 예측부(185)에서 설명된 실시예들은 각각 디코딩 장치의 필터링부(240), 인터 예측부(260) 및 인트라 예측부(265)에도 동일 또는 대응되도록 적용될 수 있다.In the present specification, embodiments described in the filtering unit 160, the inter prediction unit 180, and the intra prediction unit 185 of the encoding apparatus 100 are respectively the filtering unit 240 and the inter prediction unit 260 of the decoding apparatus. ) And the intra prediction unit 265 may be applied to be the same or correspond to each other.
도 4는 본 명세서의 실시예에 따른 컨텐츠 스트리밍 시스템의 예를 도시한다. 본 명세서의 실시예가 적용되는 컨텐츠 스트리밍 시스템은 크게 인코딩 서버(encoding server)(410), 스트리밍 서버(streaming server)(420), 웹 서버(web server)(430), 미디어 저장소(media storage)(440), 사용자 장치(user equipment)(450), 및 멀티미디어 입력 장치(multimedia input device)(460)를 포함할 수 있다.4 shows an example of a content streaming system according to an embodiment of the present specification. Content streaming systems to which the embodiments of the present specification are applied are largely an encoding server 410, a streaming server 420, a web server 430, and a media storage 440. ), a user equipment 450, and a multimedia input device 460.
인코딩 서버(410)는 스마트폰, 카메라, 캠코더와 같은 멀티미디어 입력 장치(460)로부터 입력된 컨텐츠를 디지털 데이터로 압축하여 비트스트림을 생성하고, 생성된 비트스트림을 스트리밍 서버(420)로 전송한다. 다른 예로, 스마트폰, 카메라, 캠코더와 같은 멀티미디어 입력 장치(460)가 비트스트림을 직접 생성하는 경우, 인코딩 서버(410)는 생략될 수 있다.The encoding server 410 generates a bitstream by compressing content input from a multimedia input device 460 such as a smartphone, a camera, or a camcorder into digital data, and transmits the generated bitstream to the streaming server 420. As another example, when the multimedia input device 460 such as a smartphone, a camera, or a camcorder directly generates a bitstream, the encoding server 410 may be omitted.
비트스트림은 본 명세서의 실시예가 적용되는 인코딩 방법 또는 비트스트림 생성 방법에 의해 생성될 수 있고, 스트리밍 서버(420)는 비트스트림을 전송 또는 수신하는 과정에서 일시적으로 비트스트림을 저장할 수 있다.The bitstream may be generated by an encoding method or a bitstream generation method to which an embodiment of the present specification is applied, and the streaming server 420 may temporarily store the bitstream while transmitting or receiving the bitstream.
스트리밍 서버(420)는 웹 서버(430)를 통한 사용자 요청에 기초하여 멀티미디어 데이터를 사용자 장치(450)에 전송하고, 웹 서버(430)는 사용자에게 어떠한 서비스가 있는지를 알려주는 매개체 역할을 한다. 사용자가 웹 서버(430)에 원하는 서비스를 요청하면, 웹 서버(430)는 요청된 서비스에 대한 정보를 스트리밍 서버(420)에 전달하고, 스트리밍 서버(420)는 사용자에게 멀티미디어 데이터를 전송한다. 이때, 컨텐츠 스트리밍 시스템은 별도의 제어 서버를 포함할 수 있고, 이 경우 제어 서버는 컨텐츠 스트리밍 시스템 내 각 장치 간 명령/응답을 제어하는 역할을 한다.The streaming server 420 transmits multimedia data to the user device 450 based on a user request through the web server 430, and the web server 430 serves as an intermediary that informs the user of what kind of service exists. When a user requests a desired service from the web server 430, the web server 430 transmits information on the requested service to the streaming server 420, and the streaming server 420 transmits multimedia data to the user. In this case, the content streaming system may include a separate control server, and in this case, the control server serves to control commands/responses between devices in the content streaming system.
스트리밍 서버(420)는 미디어 저장소(440) 및/또는 인코딩 서버(410)로부터 컨텐츠를 수신할 수 있다. 예를 들어, 인코딩 서버(410)로부터 컨텐츠를 수신하는 경우, 컨텐츠를 실시간으로 수신할 수 있다. 이 경우, 원활한 스트리밍 서비스를 제공하기 위하여 스트리밍 서버(420)는 비트스트림을 일정 시간동안 저장할 수 있다.The streaming server 420 may receive content from the media storage 440 and/or the encoding server 410. For example, when content is received from the encoding server 410, the content may be received in real time. In this case, in order to provide a smooth streaming service, the streaming server 420 may store the bitstream for a predetermined time.
사용자 장치(450)는, 예를 들어, 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device, 예를 들어, 워치형 단말기 (smartwatch), 글래스형 단말기 (smart glass), HMD(head mounted display)), 디지털 TV, 데스크탑 컴퓨터, 디지털 사이니지를 포함할 수 있다.The user device 450 includes, for example, a mobile phone, a smart phone, a laptop computer, a digital broadcasting terminal, a personal digital assistants (PDA), a portable multimedia player (PMP), a navigation system, and a slate PC ( slate PC), tablet PC, ultrabook, wearable device, e.g., smartwatch, smart glass, head mounted display (HMD)), It can include digital TV, desktop computer, and digital signage.
컨텐츠 스트리밍 시스템 내 각 서버들은 분산 서버로 운영될 수 있으며, 이 경우 각 서버에서 수신하는 데이터는 분산 처리될 수 있다.Each server in the content streaming system may be operated as a distributed server, and in this case, data received from each server may be distributedly processed.
도 5는 본 명세서의 실시예에 따른 비디오 신호 처리 장치의 예를 도시한다. 도 5의 비디오 신호 처리 장치는 도 1의 인코딩 장치(100) 또는 도 2의 디코딩 장치(200)에 해당할 수 있다. 5 shows an example of a video signal processing apparatus according to an embodiment of the present specification. The video signal processing apparatus of FIG. 5 may correspond to the encoding apparatus 100 of FIG. 1 or the decoding apparatus 200 of FIG. 2.
비디오 신호를 처리하는 비디오 신호 처리 장치(500)는, 비디오 신호를 저장하는 메모리(520)와, 메모리(520)와 결합되면서 비디오 신호를 처리하는 프로세서(510)를 포함한다. 본 명세서의 실시예에 따른 프로세서(510)는 비디오 신호의 처리를 위한 적어도 하나의 프로세싱 회로로 구성될 수 있으며, 비디오 신호의 인코딩/디코딩을 위한 명령어들을 실행함으로써 비디오 신호를 처리할 수 있다. 즉, 프로세서(510)는 이하 설명되는 인코딩/디코딩 방법들을 실행함으로써 원본 비디오 데이터를 인코딩하거나 인코딩된 비디오 신호를 디코딩할 수 있다.The video signal processing apparatus 500 for processing a video signal includes a memory 520 for storing a video signal, and a processor 510 for processing a video signal while being combined with the memory 520. The processor 510 according to the embodiment of the present specification may be configured with at least one processing circuit for processing a video signal, and may process a video signal by executing instructions for encoding/decoding a video signal. That is, the processor 510 may encode original video data or decode an encoded video signal by executing encoding/decoding methods described below.
이후 설명되는 것과 같이, 본 명세서의 실시예에 따른 프로세서(510)는, 비디오 신호의 인코딩을 위하여, 현재 블록의 예측을 위한 참조 픽처 및 움직임 벡터를 결정하고, 상기 현재 블록의 공간적 주변 블록 및 시간적 주변 블록의 움직임 정보에 기반하여 움직임 벡터 예측자(motion vector predictor, MVP) 후보 리스트를 구성하고, 상기 움직임 벡터에 기반하여 상기 MVP 후보 리스트에서 MVP 후보를 결정하고, 상기 참조 픽처에 대한 참조 인덱스, 상기 MVP 후보와 관련된 MVP 인덱스, 및 상기 현재 블록의 움직임 벡터와 상기 MVP 후보의 움직임 벡터 사이의 움직임 벡터 차분(motion vector difference, MVD)을 포함하는 인터 예측 정보를 인코딩하도록 설정된다. MVP 후보를 구성하기 위하여, 상기 프로세서(510)는, 상기 참조 픽처에서 상기 현재 블록의 우하측(right-bottom) 위치에 대응하는 제1 동일위치(collocated) 블록과 상기 현재 블록의 일부 영역에 대응하는 제2 동일위치 블록의 움직임 정보에 기반하여 시간적 MVP 후보를 결정하고, 상기 시간적 MVP 후보의 움직임 벡터를 상기 MVP 후보 리스트에 추가하도록 설정되며, 여기서 상기 제2 동일위치 블록은 상기 제1 동일위치 블록이 사용 불가능하고 상기 제1 동일위치 블록의 위치와 관련된 조건이 만족되는 경우 사용된다.As will be described later, the processor 510 according to the embodiment of the present specification determines a reference picture and a motion vector for prediction of a current block, for encoding a video signal, and determines a spatial neighboring block and a temporal block of the current block. Construct a motion vector predictor (MVP) candidate list based on motion information of neighboring blocks, determine an MVP candidate from the MVP candidate list based on the motion vector, and a reference index for the reference picture, It is configured to encode an MVP index related to the MVP candidate and inter prediction information including a motion vector difference (MVD) between a motion vector of the current block and a motion vector of the MVP candidate. In order to construct an MVP candidate, the processor 510 corresponds to a first collocated block corresponding to a right-bottom position of the current block in the reference picture and a partial region of the current block. It is configured to determine a temporal MVP candidate based on motion information of the second co-located block to be determined, and to add a motion vector of the temporal MVP candidate to the MVP candidate list, wherein the second co-located block is the first co-located block It is used when a block is unavailable and a condition related to the location of the first co-located block is satisfied.
또한, 본 명세서의 실시예에 따른 프로세서(510)는, 비디오 신호의 디코딩을 위하여, 현재 블록의 예측을 위한 참조 인덱스, 움직임 벡터 예측자(motion vector predictor, MVP) 인덱스, 및 움직임 벡터 차분(motion vector difference, MVD)을 포함하는 인터 예측 정보를 획득하고, 상기 현재 블록의 공간적 주변 블록 및 시간적 주변 블록의 움직임 정보에 기반하여 MVP 후보 리스트를 구성하고, 상기 MVP 인덱스에 기반하여 상기 MVP 후보 리스트에서 MVP 후보를 결정하고, 상기 MVP 후보의 움직임 벡터와 상기 MVD에 기반하여 상기 현재 블록의 움직임 벡터를 결정하고, 상기 현재 블록의 움직임 벡터 및 상기 참조 인덱스와 관련된 참조 픽처에 기반하여 상기 현재 블록의 예측 샘플을 생성하도록 설정된다. MVP 후보 리스트를 구성하기 위하여, 상기 프로세서(510)는, 상기 참조 픽처에서 상기 현재 블록의 우하측(right-bottom) 위치에 대응하는 제1 동일위치(collocated) 블록과 상기 현재 블록의 일부 영역에 대응하는 제2 동일위치 블록의 움직임 정보에 기반하여 시간적 MVP 후보를 결정하고, 상기 시간적 MVP 후보의 움직임 벡터를 상기 MVP 후보 리스트에 추가하도록 설정되며, 여기서 상기 제2 동일위치 블록은 상기 제1 동일위치 블록이 사용 불가능하고 상기 제1 동일위치 블록의 위치와 관련된 조건이 만족되는 경우 사용된다.In addition, the processor 510 according to the embodiment of the present specification, for decoding a video signal, is a reference index for prediction of a current block, a motion vector predictor (MVP) index, and a motion vector difference (motion vector). vector difference, MVD), and constructs an MVP candidate list based on motion information of a spatial neighboring block and a temporal neighboring block of the current block, and in the MVP candidate list based on the MVP index. Determine an MVP candidate, determine a motion vector of the current block based on the motion vector of the MVP candidate and the MVD, and predict the current block based on the motion vector of the current block and a reference picture related to the reference index It is set up to generate samples. In order to construct an MVP candidate list, the processor 510 includes a first collocated block corresponding to a right-bottom position of the current block in the reference picture and a partial area of the current block. It is configured to determine a temporal MVP candidate based on motion information of a corresponding second co-location block and add a motion vector of the temporal MVP candidate to the MVP candidate list, where the second co-location block is the first co-located block. It is used when the location block is unavailable and the condition related to the location of the first co-located block is satisfied.
일 실시예에서, 상기 시간적 MVP 후보를 결정하기 위하여, 상 상기 프로세서(510)는, 상기 제1 동일위치 블록의 사용 가능성(availability)과 상기 제2 동일위치 블록의 위치와 관련된 조건을 확인하고, 상기 제1 동일위치 블록이 사용 불가능하고 상기 제1 동일위치 블록의 위치와 관련된 조건이 만족되면, 상기 제2 동일위치 블록의 움직임 벡터의 사용 가능성을 확인하고, 상기 제2 동일위치 블록이 사용 가능한 경우, 상기 제2 동일위치 블록의 움직임 벡터를 상기 시간적 MVP로서 결정하도록 설정될 수 있다.In an embodiment, in order to determine the temporal MVP candidate, the processor 510 checks a condition related to the availability of the first co-located block and the location of the second co-located block, If the first co-located block is unavailable and the condition related to the position of the first co-located block is satisfied, the possibility of using the motion vector of the second co-located block is checked, and the second co-located block is available. In this case, it may be set to determine the motion vector of the second co-located block as the temporal MVP.
일 실시예에서, 상기 제2 동일위치 블록의 위치와 관련된 조건을 확인하기 위하여, 상기 프로세서(510)는, 상기 현재 블록의 사이즈에 기반하여 상기 제2 동일위치 블록에 대한 사용 가능성을 확인할 지 여부를 결정하도록 설정될 수 있다.In one embodiment, in order to check a condition related to the location of the second co-located block, the processor 510 determines whether to check the availability of the second co-located block based on the size of the current block. Can be set to determine.
일 실시예에서, 상기 제2 동일위치 블록의 위치와 관련된 조건을 확인하기 위하여, 상기 프로세서(510)는, 상기 현재 블록의 사이즈가 기준 사이즈보다 큰 경우, 상기 현재 블록의 센터 영역에 대응하는 블록을 제2 동일위치 블록으로서 결정하고, 상기 제2 동일위치 블록의 사용 가능성을 확인하고, 상기 현재 블록의 사이즈가 기준 사이즈보다 작거나 같은 경우, 상기 참조 픽처에서 상기 현재 블록의 좌상측 코너 영역에 대응하는 블록을 상기 제2 동일위치 블록으로서 결정하고, 제2 동일위치 블록의 사용 가능성을 확인하도록 설정될 수 있다.In one embodiment, in order to check a condition related to the location of the second co-located block, the processor 510, when the size of the current block is larger than a reference size, a block corresponding to the center area of the current block Is determined as a second co-located block, the availability of the second co-located block is checked, and when the size of the current block is less than or equal to the reference size, in the reference picture, in the upper left corner area of the current block A corresponding block may be determined as the second co-located block, and may be set to confirm the availability of the second co-located block.
일 실시예에서, 상기 제2 동일위치 블록의 위치와 관련된 조건을 확인하기 위하여, 상기 프로세서(510)는, 상기 제1 동일위치 블록의 위치에 대한 제1 반올림 값과 상기 제2 동일위치 블록의 위치에 대한 제2 반올림 값에 기반하여 상기 제2 동일위치 블록에 대한 사용 가능성을 확인할 지 여부를 결정하도록 설정될 수 있다.In one embodiment, in order to check a condition related to the position of the second co-located block, the processor 510 includes a first rounded value for the position of the first co-located block and the second co-located block. It may be set to determine whether to check the availability of the second co-located block based on the second rounding value for the location.
일 실시예에서, 상기 제2 동일위치 블록의 위치와 관련된 조건을 확인하기 위하여, 상기 프로세서(510)는,상기 제1 반올림 값과 상기 제2 반올림 값이 서로 다른 경우, 상기 참조 픽처에서 상기 현재 블록의 센터 영역에 대응하는 블록을 제2 동일위치 블록으로서 결정하고, 상기 제2 동일위치 블록의 사용 가능성을 확인하고, 상기 제1 반올림 값과 상기 제2 반올림 값이 동일한 경우, 상기 현재 블록의 좌상측 코너 영역에 대응하는 영역을 상기 제2 동일위치 블록으로서 결정하고, 상기 제2 동일위치 블록의 사용 가능성을 확인하도록 설정될 수 있다.In one embodiment, in order to check a condition related to the location of the second co-located block, the processor 510 comprises, when the first rounded value and the second rounded value are different from each other, in the reference picture A block corresponding to the center area of the block is determined as a second co-located block, and the availability of the second co-located block is checked, and when the first rounded value and the second rounded value are the same, the current block An area corresponding to the upper left corner area may be determined as the second co-located block, and may be set to check the availability of the second co-located block.
도 6a 내지 도 6d는 본 명세서의 실시예에 따른 블록 분할 구조의 예를 도시한다. 도 6a는 QT(quadtree, QT), 도 6b는 BT(binary tree, BT), 도 6c는 TT(ternary tree, TT) 도 6d는 AT(asymmetric Tree, AT)에 의한 블록 분할 구조들의 예를 도시한다.6A to 6D illustrate examples of a block division structure according to an embodiment of the present specification. 6A is a QT (quadtree, QT), FIG. 6B is a binary tree (BT), FIG. 6C is a ternary tree (TT) and FIG. 6D shows an example of block division structures by an asymmetric tree (AT). do.
비디오 코딩 시스템에서, 하나의 블록은 QT 분할 방식에 기반으로 분할될 수 있다. 또한, QT 분할 방식에 의해서 분할된 하나의 서브 블록(subblock)은 QT 분할 방식에 따라 재귀적으로 더 분할될 수 있다. 더 이상 QT 분할 방식에 의해 분할되지 않는 리프 블록(leaf block)은 BT, TT, 또는 AT 중 적어도 하나의 방식에 의해서 분할될 수 있다. BT는 수평 BT (2NxN, 2NxN)과 수직 BT (Nx2N, Nx2N)와 같은 두 가지 형태의 분할을 가질 수 있다. TT는 수평 TT (2Nx1/2N, 2NxN, 2Nx1/2N)와 수직 TT (1/2Nx2N, Nx2N, 1/2Nx2N)와 같은 두 가지 형태의 분할을 가질 수 있다. AT는 수평-상향(horizontal-up) AT (2Nx1/2N, 2Nx3/2N), 수평-하향(horizontal-down) AT (2Nx3/2N, 2Nx1/2N), 수직-좌측(vertical-left) AT (1/2Nx2N, 3/2Nx2N), 수직-우측(vertical-right) AT (3/2Nx2N, 1/2Nx2N)의 네 가지 형태의 분할을 가질 수 있다. 각각의 BT, TT, AT는 BT, TT, AT를 사용하여 재귀적으로 더 분할될 수 있다.In a video coding system, one block may be divided based on a QT division scheme. In addition, one subblock divided by the QT division method may be further divided recursively according to the QT division method. A leaf block that is no longer divided by the QT division method may be divided by at least one of BT, TT, or AT. BT can have two types of division, such as horizontal BT (2NxN, 2NxN) and vertical BT (Nx2N, Nx2N). TT may have two types of divisions, such as horizontal TT (2Nx1/2N, 2NxN, 2Nx1/2N) and vertical TT (1/2Nx2N, Nx2N, 1/2Nx2N). AT is horizontal-up AT (2Nx1/2N, 2Nx3/2N), horizontal-down AT (2Nx3/2N, 2Nx1/2N), vertical-left AT ( It can have four types of division: 1/2Nx2N, 3/2Nx2N), and vertical-right AT (3/2Nx2N, 1/2Nx2N). Each BT, TT, AT can be further divided recursively using BT, TT, AT.
도 6a는 QT 분할의 예를 도시한다. 블록 A는 QT에 의해서 4개의 서브 블록 (A0, A1, A2, A3)으로 분할될 수 있다. 서브 블록 A1은 다시 QT에 의해서 4개의 서브 블록 (B0, B1, B2, B3)로 분할될 수 있다.6A shows an example of QT division. Block A may be divided into four sub-blocks (A0, A1, A2, A3) by QT. Sub-block A1 may be divided into four sub-blocks (B0, B1, B2, B3) by QT again.
도 6b는 BT 분할의 예를 도시한다. QT에 의해서 더 이상 분할되지 않는 블록 B3은 수직 BT (C0, C1) 또는 수평 BT (D0, D1)에 의해 분할될 수 있다. 블록 C0와 같이 각각의 서브 블록은 수평 BT (E0, E1) 또는 수직 BT (F0, F1)의 형태와 같이 재귀적으로 더 분할될 수 있다.6B shows an example of BT segmentation. Block B3 that is no longer divided by QT may be divided by vertical BT (C0, C1) or horizontal BT (D0, D1). Like block C0, each sub-block may be further divided recursively in the form of horizontal BT (E0, E1) or vertical BT (F0, F1).
도 6c는 TT 분할의 예를 도시한다. QT에 의해서 더 이상 분할되지 않는 블록 B3은 수직 TT (C0, C1, C2) 또는 수평 TT (D0, D1, D2)으로 분할될 수 있다. 블록 C1와 같이 각각의 서브 블록은 수평 TT (E0, E1, E2) 또는 수직 TT (F0, F1, F2)의 형태와 같이 재귀적으로 더 분할될 수 있다.6C shows an example of TT partitioning. Block B3 which is no longer divided by QT may be divided into vertical TT (C0, C1, C2) or horizontal TT (D0, D1, D2). Like block C1, each sub-block may be further divided recursively in the form of horizontal TT (E0, E1, E2) or vertical TT (F0, F1, F2).
도 6d는 AT 분할의 예를 도시한다. QT에 의해서 더 이상 분할되지 않는 블록 B3은 수직 AT (C0, C1) 또는 수평 AT (D0, D1)로 분할 될 수 있다. 블록 C1와 같이 각각의 서브 블록은 수평 AT (E0, E1) 또는 수직 TT (F0, F1)의 형태와 같이 재귀적으로 더 분할 될 수 있다.6D shows an example of AT partitioning. Block B3, which is no longer divided by QT, can be divided into vertical ATs (C0, C1) or horizontal ATs (D0, D1). Like block C1, each sub-block can be further divided recursively in the form of a horizontal AT (E0, E1) or a vertical TT (F0, F1).
한편, BT, TT, AT 분할은 하나의 블록에 함께 적용될 수 있다. 예를 들어, BT에 의해 분할된 서브 블록은 TT 또는 AT에 의해 분할될 수 있다. 또한, TT에 의해 분할된 서브 블록은 BT 또는 AT에 의해 분할될 수 있다. AT에 의해 분할된 서브 블록은 BT 또는 TT에 의해 분할될 수 있다. 예를 들어, 수평 BT 분할 이후, 각각의 서브 블록이 수직 BT에 의해 분할될 수 있다. 또한, 수직 BT 분할 이후, 각각의 서브 블록이 수평 BT에 의해 분할될 수도 있다. 이 경우 분할 순서는 다르지만 최종적으로 분할되는 모양은 동일하다. Meanwhile, BT, TT, and AT division can be applied together in one block. For example, a sub-block divided by BT may be divided by TT or AT. In addition, sub-blocks divided by TT may be divided by BT or AT. Sub-blocks divided by AT may be divided by BT or TT. For example, after horizontal BT division, each sub-block may be divided by vertical BT. In addition, after vertical BT division, each sub-block may be divided by horizontal BT. In this case, the order of division is different, but the shape of the final division is the same.
또한, 블록이 분할되면 블록을 탐색하는 순서가 다양하게 정의될 수 있다. 일반적으로, 좌측에서 우측으로, 상단에서 하단으로 탐색을 수행하며, 블록을 탐색한다는 것은 각 분할된 서브 블록의 추가적인 블록 분할 여부를 결정하는 순서를 의미하거나, 블록이 더 이상 분할되지 않을 경우 각 서브 블록의 부호화 순서를 의미하거나, 또는 서브 블록에서 다른 이웃 블록의 정보를 참조할 때의 탐색 순서를 의미할 수 있다.In addition, when the block is divided, the order of searching for the block may be variously defined. In general, a search is performed from left to right and from top to bottom, and searching for a block means the order of determining whether to divide additional blocks of each divided sub-block, or if the block is no longer divided, each sub It may mean an encoding order of a block, or a search order when a subblock refers to information of another neighboring block.
영상/비디오 코딩 절차Video/video coding procedure
영상/비디오 코딩에 있어서, 영상/비디오를 구성하는 픽처는 일련의 디코딩 순서(decoding order)에 따라 인코딩/디코딩될 수 있다. 디코딩된 픽처의 출력 순서(output order)에 해당하는 픽처 순서(picture order)는 디코딩 순서와 다르게 설정될 수 있으며, 이를 기반으로 인터 예측시 순방향 예측뿐만 아니라 역방향 예측 또한 수행될 수 있다.In video/video coding, pictures constituting the video/video may be encoded/decoded according to a series of decoding orders. A picture order corresponding to an output order of a decoded picture may be set differently from a decoding order, and based on this, not only forward prediction but also backward prediction may be performed during inter prediction.
도 7은 본 명세서의 실시예에 따른 비디오 신호를 구성하는 픽처의 인코딩을 위한 흐름도의 예를 도시한다. 도 7에서 S710 단계는 도 2에서 설명된 인코딩 장치(100)의 예측부(180, 185)에 의해 수행될 수 있고, S720 단계는 레지듀얼 처리부(115, 120, 130)에 의해 수행될 수 있고, S730 단계는 엔트로피 인코딩부(190)에 의해 수행될 수 있다. S710 단계는 본 문서에서 설명되는 인터/인트라 예측 절차를 포함할 수 있고, S720 단계는 본 문서에서 설명되는 레지듀얼 처리 절차를 포함할 수 있고, S730 단계는 본 문서에서 설명되는 정보 인코딩 절차를 포함할 수 있다.7 shows an example of a flowchart for encoding a picture constituting a video signal according to an embodiment of the present specification. In FIG. 7, step S710 may be performed by the prediction units 180 and 185 of the encoding apparatus 100 described in FIG. 2, and step S720 may be performed by the residual processing units 115, 120, and 130. , S730 may be performed by the entropy encoding unit 190. Step S710 may include an inter/intra prediction procedure described in this document, step S720 may include a residual processing procedure described in this document, and step S730 includes an information encoding procedure described in this document. can do.
도 7을 참조하면, 픽처 인코딩 절차는 도 2에서 설명된 것과 같이 개략적으로 픽처 복원을 위한 정보(예: 예측 정보, 레지듀얼 정보, 파티셔닝 정보)를 인코딩함으로써 비트스트림 형태로 출력하는 절차뿐만 아니라, 현재 픽처에 대한 복원 픽처를 생성하는 절차 및 복원 픽처에 인루프 필터링을 적용하는 절차(optional)를 포함할 수 있다. 인코딩 장치(100)는 역양자화부(140) 및 역변환부(150)를 통해 양자화된 변환 계수로부터 (수정된) 레지듀얼 샘플들을 도출할 수 있으며, S710 단계의 출력에 해당하는 예측 샘플들과 (수정된) 레지듀얼 샘플들에 기반하여 복원 픽처를 생성할 수 있다. 이렇게 생성된 복원 픽처는 상술한 디코딩 장치(200)에서 생성된 복원 픽처와 동일할 수 있다. 복원 픽처에 대한 인루프 필터링 절차를 통하여 수정된 복원 픽처가 생성될 수 있으며, 이는 복호 픽처 버퍼(170) 또는 메모리에 저장될 수 있으며, 디코딩 장치(200)에서의 경우와 마찬가지로, 이후 픽처의 인코딩시 인터 예측 절차에서 참조 픽처로 사용될 수 있다. 상술한 바와 같이 경우에 따라 인루프 필터링 절차의 일부 또는 전부는 생략될 수 있다. 인루프 필터링 절차가 수행되는 경우, (인루프) 필터링 관련 정보(파라미터)가 엔트로피 인코딩부(190)에서 인코딩되어 비트스트림 형태로 출력될 수 있고, 디코딩 장치(200)는 필터링 관련 정보를 기반으로 인코딩 장치(100)와 동일한 방법으로 인루프 필터링 절차를 수행할 수 있다.Referring to FIG. 7, the picture encoding procedure is not only a procedure of encoding information for picture restoration (eg, prediction information, residual information, partitioning information) schematically as described in FIG. 2 to output in a bitstream form, A procedure for generating a reconstructed picture for the current picture and a procedure for applying in-loop filtering to the reconstructed picture (optional) may be included. The encoding device 100 may derive (modified) residual samples from the quantized transform coefficients through the inverse quantization unit 140 and the inverse transform unit 150, and predictive samples corresponding to the output of step S710 and the ( A reconstructed picture may be generated based on the modified) residual samples. The reconstructed picture generated in this way may be the same as the reconstructed picture generated by the decoding apparatus 200 described above. A modified reconstructed picture can be generated through an in-loop filtering procedure for the reconstructed picture, which can be stored in the decoded picture buffer 170 or a memory, and, as in the case of the decoding device 200, subsequent picture encoding It can be used as a reference picture in a time inter prediction procedure. As described above, in some cases, some or all of the in-loop filtering procedure may be omitted. When the in-loop filtering procedure is performed, (in-loop) filtering-related information (parameters) may be encoded by the entropy encoding unit 190 and output in the form of a bitstream, and the decoding apparatus 200 The in-loop filtering procedure may be performed in the same manner as the encoding apparatus 100.
이러한 인루프 필터링 절차를 통하여 블로킹 아티팩스(artifact) 및 링잉(ringing) 아티팩트와 같은 영상/동영상 코딩시 발생하는 노이즈를 감소시킬 수 있으며, 주관적/객관적 비주얼 퀄리티를 개선할 수 있다. 또한, 인코딩 장치(100)와 디코딩 장치(200)에서 모두 인루프 필터링 절차를 수행함으로써, 인코딩 장치(100)와 디코딩 장치(200)는 동일한 예측 결과를 도출할 수 있으며, 픽처 코딩의 신뢰성을 높이고, 픽처 코딩을 위하여 전송되는 데이터 량을 감소시킬 수 있다.Through this in-loop filtering procedure, noise generated during video/video coding such as blocking artifacts and ringing artifacts can be reduced, and subjective/objective visual quality can be improved. In addition, by performing the in-loop filtering procedure in both the encoding device 100 and the decoding device 200, the encoding device 100 and the decoding device 200 can derive the same prediction result, and increase the reliability of picture coding. , It is possible to reduce the amount of data transmitted for picture coding.
도 8은 본 명세서의 실시예에 따른 비디오 신호를 구성하는 픽처의 디코딩을 위한 흐름도의 예를 도시한다. S810 단계는 도 3의 디코딩 장치(200)에서의 엔트로피 디코딩부(210)에 의해 수행될 수 있고, S820 단계는 예측부(260, 265)에 의해 수행될 수 있고, S830 단계는 레지듀얼 처리부(220, 230)에 의해 수행될 수 있고, S840 단계는 가산부(235)에 의해 수행될 수 있고, S850 단계는 필터링부(240)에 의해 수행될 수 있다. S810 단계는 본 문서에서 설명된 정보 디코딩 절차를 포함할 수 있고, S820 단계는 본 문서에서 설명된 인터/인트라 예측 절차를 포함할 수 있고, S830 단계는 본 문서에서 설명된 레지듀얼 처리 절차를 포함할 수 있고, S840 단계는 본 문서에서 설명된 블록/픽처 복원 절차를 포함할 수 있고, S850 단계는 본 문서에서 설명된 인루프 필터링 절차를 포함할 수 있다.8 shows an example of a flowchart for decoding a picture constituting a video signal according to an embodiment of the present specification. Operation S810 may be performed by the entropy decoding unit 210 in the decoding apparatus 200 of FIG. 3, operation S820 may be performed by the prediction units 260 and 265, and operation S830 may be performed by the residual processing unit ( 220, 230), step S840 may be performed by the addition unit 235, step S850 may be performed by the filtering unit 240. Step S810 may include the information decoding procedure described in this document, step S820 may include the inter/intra prediction procedure described in this document, and step S830 includes the residual processing procedure described in this document. In addition, step S840 may include the block/picture restoration procedure described in this document, and step S850 may include the in-loop filtering procedure described in this document.
도 8을 참조하면, 픽처 디코딩 절차는 도 2에서 설명된 것과 같이 개략적으로 비트스트림으로부터 (디코딩을 통한) 영상/비디오 정보 획득 절차(S810), 픽처 복원 절차(S820 내지 S840), 및 복원된 픽처에 대한 인루프 필터링 절차(S850)를 포함할 수 있다. 픽처 복원 절차는 본 문서에서 설명된 인터/인트라 예측(S820) 및 레지듀얼 처리(S830, 양자화된 변호나 계수에 대한 역양자화, 역변환) 과정을 거쳐서 획득된 예측 샘플들 및 레지듀얼 샘플들을 기반으로 수행될 수 있다. 픽처 복원 절차를 통하여 생성된 복원 픽처에 대한 인루프 필터링 절차를 통하여 수정된(modified) 복원 픽처가 생성될 수 있으며, 수정된 복원 픽처가 디코딩된 픽처로서 출력될 수 있고, 또한 디코딩 장치(200)의 복호 픽처 버퍼(250) 또는 메모리에 저장되어 이후 픽처의 디코딩시 인터 예측 철차에서 참조 픽처로 사용될 수 있다. 경우에 따라서 인루프 필터링 절차는 생략될 수 있으며, 이 경우 복원 픽처가 디코딩된 픽처로서 출력될 수 있고, 디코딩 장치(200)의 복호 픽처 버퍼(250) 또는 메모리에 저장되어 이후 픽처의 디코딩시 인터 예측 철차에서 참조 픽처로 사용될 수 있다. 인루프 필터링 절차(S850)는 상술한 바와 같이 디블로킹 필터링 절차, SAO(sample adaptive offset) 절차, ALF(adaptive loop filter) 절차, 및/또는 바이래터럴 필터(bi-lateral filter) 절차를 포함할 수 있고, 그 일부 또는 전부가 생략될 수 있다. 또한, 디블로킹 필터링 절차, SAO 절차, ALF 절차, 및 바이래터럴 필터 절차들 중 하나 또는 일부가 순차적으로 적용될 수 있고, 또는 모두가 순차적으로 적용될 수 있다. 예를 들어, 복원 픽처에 대하여 디블로킹 필터링 절차가 적용된 후 SAO 절차가 수행될 수 있다. 또한, 예를 들어, 복원 픽처에 대하여 디블로킹 필터링 절차가 적용된 후 ALF 절차가 수행될 수 있다. 이는 인코딩 장치(100)에서도 마찬가지로 수행될 수 있다.Referring to FIG. 8, the picture decoding procedure is schematically a procedure for obtaining image/video information (through decoding) from a bitstream (S810), a picture restoration procedure (S820 to S840), and a reconstructed picture as described in FIG. It may include an in-loop filtering procedure (S850) for. The picture restoration procedure is based on prediction samples and residual samples obtained through the process of inter/intra prediction (S820) and residual processing (S830, inverse quantization and inverse transformation of a quantized code or coefficient) described in this document. Can be done. A modified reconstructed picture may be generated through an in-loop filtering procedure for a reconstructed picture generated through a picture restoration procedure, and the modified reconstructed picture may be output as a decoded picture, and the decoding apparatus 200 It is stored in the decoded picture buffer 250 or a memory, and may be used as a reference picture in inter prediction when decoding a picture later. In some cases, the in-loop filtering procedure may be omitted. In this case, the reconstructed picture may be output as a decoded picture, and stored in the decoded picture buffer 250 of the decoding device 200 or in a memory to be It can be used as a reference picture in the prediction train. The in-loop filtering procedure S850 may include a deblocking filtering procedure, a sample adaptive offset (SAO) procedure, an adaptive loop filter (ALF) procedure, and/or a bi-lateral filter procedure as described above. And some or all of them may be omitted. In addition, one or some of the deblocking filtering procedure, the SAO procedure, the ALF procedure, and the bilateral filter procedure may be sequentially applied, or all may be sequentially applied. For example, after the deblocking filtering procedure is applied to the reconstructed picture, the SAO procedure may be performed. Also, for example, after the deblocking filtering procedure is applied to the reconstructed picture, the ALF procedure may be performed. This may be similarly performed in the encoding device 100.
상술한 바와 같이 디코딩 장치(200) 뿐만 아니라 인코딩 장치(100)에서도 픽처 복원 절차가 수행될 수 있다. 각 블록 단위로 인트라 예측/인터 예측에 기반하여 복원 블록이 생성될 수 있으며, 복원 블록들을 포함하는 복원 픽처가 생성될 수 있다. 현재 픽처/슬라이스/타일 그룹이 I 픽처/슬라이스/타일 그룹인 경우 현재 픽처/슬라이스/타일 그룹에 포함되는 블록들은 인트라 예측만을 기반으로 복원될 수 있다. 이 경우 현재 픽처/슬라이스/타일 그룹 내 일부 블록들에 대하여 인터 예측이 적용되고, 나머지 일부 블록들에 대하여 인트라 예측이 적용될 수 있다. 픽처의 컬러 성분은 휘도 성분 및 색차 성분을 포함할 수 있으며, 본 문서에서 명시적으로 제한하지 않으면 본 문서에서 제안되는 방법들 및 실시예들은 휘도 성분 및 색차 성분에 적용될 수 있다.As described above, not only the decoding apparatus 200 but also the encoding apparatus 100 may perform a picture restoration procedure. A reconstructed block may be generated based on intra prediction/inter prediction for each block, and a reconstructed picture including the reconstructed blocks may be generated. When the current picture/slice/tile group is an I picture/slice/tile group, blocks included in the current picture/slice/tile group may be reconstructed based only on intra prediction. In this case, inter prediction may be applied to some blocks in the current picture/slice/tile group, and intra prediction may be applied to the remaining some blocks. The color component of a picture may include a luminance component and a chrominance component, and the methods and embodiments proposed in this document may be applied to the luminance component and the chrominance component unless explicitly limited in this document.
인터 예측Inter prediction
이하, 본 명세서의 실시예에 따른 인터 예측 기법에 대하여 설명하도록 한다. 이하 설명되는 인터 예측은 도 2의 인코딩 장치(100)의 인터 예측부(180) 또는 도 3의 디코딩 장치(200)의 인터 예측부(260)에 의해 수행될 수 있다. 또한, 본 명세서의 실시예에 따라 인코딩된 데이터는 비트스트림의 형태로 저장될 수 있다.Hereinafter, an inter prediction technique according to an embodiment of the present specification will be described. The inter prediction described below may be performed by the inter prediction unit 180 of the encoding apparatus 100 of FIG. 2 or the inter prediction unit 260 of the decoding apparatus 200 of FIG. 3. In addition, data encoded according to an embodiment of the present specification may be stored in the form of a bitstream.
인코딩 장치(100)/디코딩 장치(200)의 예측부는 블록 단위로 인터 예측을 수행하여 예측 샘플을 도출할 수 있다. 인터 예측은 현재 픽처 이외의 픽처(들)의 데이터 요소들(예: 샘플값들, 또는 움직임 정보 등)에 의존적인 방법으로 도출되는 예측을 나타낼 수 있다(Inter prediction can be a prediction derived in a manner that is de-pendent on data elements (e.g., sample values or motion information) of picture(s) other than the current picture). 현재 블록에 인터 예측이 적용되는 경우, 참조 픽처 인덱스가 가리키는 참조 픽처 상에서 움직임 벡터에 의해 특정되는 참조 블록(참조 샘플 어레이)을 기반으로, 현재 블록에 대한 예측된 블록(예측 샘플 어레이)을 유도할 수 있다. 이때, 인터 예측 모드에서 전송되는 움직임 정보의 양을 줄이기 위해 주변 블록과 현재 블록 간의 움직임 정보의 상관성에 기초하여 현재 블록의 움직임 정보를 블록, 서브블록 또는 샘플 단위로 예측할 수 있다. 움직임 정보는 움직임 벡터 및 참조 픽처 인덱스를 포함할 수 있다. 움직임 정보는 인터 예측 타입(L0 예측, L1 예측, Bi 예측 등) 정보를 더 포함할 수 있다. 인터 예측이 적용되는 경우, 주변 블록은 현재 픽처 내에 존재하는 공간적 주변 블록(spatial neighboring block)과 참조 픽처에 존재하는 시간적 주변 블록(temporal neighboring block)을 포함할 수 있다. 참조 블록을 포함하는 참조 픽처와 시간적 주변 블록을 포함하는 참조 픽처는 동일할 수도 있고, 다를 수도 있다. 시간적 주변 블록은 동일 위치 참조 블록(collocated reference block), 동일 위치 CU(colCU) 등의 이름으로 불릴 수 있으며, 시간적 주변 블록을 포함하는 참조 픽처는 동일 위치 픽처(collocated picture, colPic)라고 불릴 수도 있다. 예를 들어, 현재 블록의 주변 블록들을 기반으로 움직임 정보 후보 리스트가 구성될 수 있고, 현재 블록의 움직임 벡터 및/또는 참조 픽처 인덱스를 도출하기 위하여 어떤 후보가 선택(사용)되는지를 지시하는 플래그 또는 인덱스 정보가 시그널링될 수 있다. 다양한 예측 모드를 기반으로 인터 예측이 수행될 수 있으며, 예를 들어 스킵 모드와 머지 모드의 경우에, 현재 블록의 움직임 정보는 선택된 주변 블록의 움직임 정보와 같을 수 있다. 스킵 모드의 경우, 머지 모드와 달리 레지듀얼 신호가 전송되지 않을 수 있다. 움직임 정보 예측(motion vector prediction, MVP) 모드의 경우, 선택된 주변 블록의 움직임 벡터를 움직임 벡터 예측자(motion vector predictor)로 이용하고, 움직임 벡터 차분(motion vector difference)은 시그널링될 수 있다. 이 경우 움직임 벡터 예측자 및 움직임 벡터 차분의 합을 이용하여 상기 현재 블록의 움직임 벡터를 도출할 수 있다.The prediction unit of the encoding device 100/decoding device 200 may derive a prediction sample by performing inter prediction in block units. Inter prediction may represent prediction derived in a method dependent on data elements (eg, sample values, motion information, etc.) of a picture(s) other than the current picture (Inter prediction can be a prediction derived in a manner). that is de-pendent on data elements (eg, sample values or motion information) of picture(s) other than the current picture). When inter prediction is applied to the current block, a predicted block (prediction sample array) for the current block is derived based on a reference block (reference sample array) specified by a motion vector on a reference picture indicated by a reference picture index. I can. In this case, in order to reduce the amount of motion information transmitted in the inter prediction mode, motion information of the current block may be predicted in units of blocks, subblocks, or samples based on correlation between motion information between neighboring blocks and current blocks. The motion information may include a motion vector and a reference picture index. The motion information may further include inter prediction type (L0 prediction, L1 prediction, Bi prediction, etc.) information. When inter prediction is applied, the neighboring block may include a spatial neighboring block existing in the current picture and a temporal neighboring block existing in the reference picture. The reference picture including the reference block and the reference picture including the temporal neighboring block may be the same or different. The temporal neighboring block may be called a collocated reference block, a co-located CU (colCU), or the like, and a reference picture including a temporal neighboring block may be referred to as a collocated picture (colPic). . For example, a motion information candidate list may be constructed based on neighboring blocks of the current block, and a flag indicating which candidate is selected (used) to derive a motion vector and/or a reference picture index of the current block, or Index information may be signaled. Inter prediction may be performed based on various prediction modes. For example, in the case of a skip mode and a merge mode, motion information of a current block may be the same as motion information of a selected neighboring block. In the case of the skip mode, unlike the merge mode, a residual signal may not be transmitted. In the case of motion vector prediction (MVP) mode, a motion vector of a selected neighboring block is used as a motion vector predictor, and a motion vector difference may be signaled. In this case, the motion vector of the current block may be derived using the sum of the motion vector predictor and the motion vector difference.
도 9는 본 명세서의 실시예에 따른 비디오 신호의 인코딩 과정에서 인터 예측을 위한 흐름도의 예이고, 도 10은 본 명세서의 실시예에 따른 인코딩 장치 내 인터 예측부의 예를 도시한다.9 is an example of a flowchart for inter prediction in a process of encoding a video signal according to an embodiment of the present specification, and FIG. 10 shows an example of an inter prediction unit in an encoding apparatus according to an embodiment of the present specification.
인코딩 장치(100)는 현재 블록에 대한 인터 예측을 수행한다(S910). 인코딩 장치(100)는 현재 블록의 인터 예측 모드 및 움직임 정보를 도출하고, 현재 블록의 예측 샘플들을 생성할 수 있다. 여기서 인터 예측 모드 결정, 움직임 정보 도출 및 예측 샘플들 생성 절차는 동시에 수행될 수도 있고, 어느 한 절차가 다른 절차보다 먼저 수행될 수도 있다. 예를 들어, 인코딩 장치(100)의 인터 예측부(180)는 예측 모드 결정부(181), 움직임 정보 도출부(182), 예측 샘플 도출부(183)를 포함할 수 있으며, 예측 모드 결정부(181)에서 현재 블록에 대한 예측 모드를 결정하고, 움직임 정보 도출부(182)에서 현재 블록의 움직임 정보를 도출하고, 예측 샘플 도출부(183)에서 현재 블록의 예측 샘플들을 도출할 수 있다. 예를 들어, 인코딩 장치(100)의 인터 예측부(180)는 움직임 추정(motion estimation)을 통하여 참조 픽처들의 일정 영역(서치 영역) 내에서 상기 현재 블록과 유사한 블록을 서치하고, 현재 블록과의 차이가 최소 또는 일정 기준 이하인 참조 블록을 도출할 수 있다. 이를 기반으로 상기 참조 블록이 위치하는 참조 픽처를 가리키는 참조 픽처 인덱스를 도출하고, 참조 블록과 현재 블록의 위치 차이를 기반으로 움직임 벡터를 도출할 수 있다. 인코딩 장치(100)는 다양한 예측 모드들 중 현재 블록에 대하여 적용되는 모드를 결정할 수 있다. 인코딩 장치(100)는 다양한 예측 모드들에 대한 RD 비용(cost)을 비교하고 현재 블록에 대한 최적의 예측 모드를 결정할 수 있다. The encoding apparatus 100 performs inter prediction on the current block (S910). The encoding apparatus 100 may derive inter prediction mode and motion information of the current block and generate prediction samples of the current block. Here, the procedure of determining the inter prediction mode, deriving motion information, and generating prediction samples may be performed simultaneously, or one procedure may be performed before the other procedure. For example, the inter prediction unit 180 of the encoding apparatus 100 may include a prediction mode determining unit 181, a motion information deriving unit 182, and a predicted sample deriving unit 183, and the prediction mode determining unit A prediction mode for the current block may be determined at 181, motion information of the current block may be derived by the motion information deriving unit 182, and prediction samples of the current block may be derived by the predicted sample deriving unit 183. For example, the inter prediction unit 180 of the encoding apparatus 100 searches for a block similar to the current block within a predetermined area (search area) of reference pictures through motion estimation, and searches for a block similar to the current block. It is possible to derive a reference block whose difference is less than a minimum or a certain standard. Based on this, a reference picture index indicating a reference picture in which the reference block is located may be derived, and a motion vector may be derived based on a position difference between the reference block and the current block. The encoding apparatus 100 may determine a mode applied to the current block among various prediction modes. The encoding apparatus 100 may compare RD costs for various prediction modes and determine an optimal prediction mode for the current block.
예를 들어, 인코딩 장치(100)는 현재 블록에 스킵 모드 또는 머지 모드가 적용되는 경우, 후술하는 머지 후보 리스트를 구성하고, 머지 후보 리스트에 포함된 머지 후보들이 가리키는 참조 블록들 중 현재 블록과 중 현재 블록과의 차이가 최소 또는 일정 기준 이하인 참조 블록을 도출할 수 있다. 이 경우 도출된 참조 블록과 연관된 머지 후보가 선택되며, 선택된 머지 후보를 가리키는 머지 인덱스 정보가 생성되어 디코딩 장치(200)로 시그널링될 수 있다. 선택된 머지 후보의 움직임 정보를 이용하여 현재 블록의 움직임 정보가 도출될 수 있다. For example, when the skip mode or the merge mode is applied to the current block, the encoding apparatus 100 configures a merge candidate list to be described later, and the current block and the middle of the reference blocks indicated by merge candidates included in the merge candidate list. It is possible to derive a reference block whose difference from the current block is less than a minimum or a certain standard. In this case, a merge candidate associated with the derived reference block is selected, and merge index information indicating the selected merge candidate may be generated and signaled to the decoding apparatus 200. Motion information of the current block may be derived using motion information of the selected merge candidate.
다른 예로, 인코딩 장치(100)는 현재 블록에 (A)MVP 모드가 적용되는 경우, 후술하는 (A)MVP 후보 리스트를 구성하고, (A)MVP 후보 리스트에 포함된 MVP(motion vector predictor) 후보들 중 선택된 MVP 후보의 움직임 벡터를 현재 블록의 MVP로 이용할 수 있다. 이 경우, 예를 들어, 상술한 움직임 추정에 의하여 도출된 참조 블록을 가리키는 움직임 벡터가 현재 블록의 움직임 벡터로 이용될 수 있으며, MVP 후보들 중 현재 블록의 움직임 벡터와의 차이가 가장 작은 움직임 벡터를 갖는 MVP 후보가 선택된 MVP 후보가 될 있다. 현재 블록의 움직임 벡터에서 MVP를 뺀 차분인 MVD(motion vector difference)가 도출될 수 있다. 이 경우 MVD에 관한 정보가 디코딩 장치(200)로 시그널링될 수 있다. 또한, (A)MVP 모드가 적용되는 경우, 참조 픽처 인덱스의 값은 참조 픽처 인덱스 정보 구성되어 별도로 디코딩 장치(200)로 시그널링될 수 있다. As another example, when the (A)MVP mode is applied to the current block, the encoding apparatus 100 configures a (A)MVP candidate list to be described later, and (A)motion vector predictor (MVP) candidates included in the MVP candidate list The motion vector of the selected MVP candidate may be used as the MVP of the current block. In this case, for example, a motion vector indicating a reference block derived by motion estimation described above may be used as a motion vector of the current block, and among MVP candidates, a motion vector having the smallest difference from the motion vector of the current block is selected. The MVP candidate to have becomes the selected MVP candidate. A motion vector difference (MVD), which is a difference obtained by subtracting MVP from the motion vector of the current block, may be derived. In this case, information on the MVD may be signaled to the decoding apparatus 200. In addition, when the (A)MVP mode is applied, the value of the reference picture index may be separately signaled to the decoding apparatus 200 by configuring reference picture index information.
인코딩 장치(100)는 예측 샘플들을 기반으로 레지듀얼 샘플들을 도출할 수 있다(S920). 인코딩 장치(100)는 현재 블록의 원본 샘플들과 예측 샘플들의 비교를 통하여 레지듀얼 샘플들을 도출할 수 있다.The encoding apparatus 100 may derive residual samples based on the prediction samples (S920). The encoding apparatus 100 may derive residual samples by comparing the original samples of the current block with the prediction samples.
인코딩 장치(100)는 예측 정보 및 레지듀얼 정보를 포함하는 영상 정보를 인코딩한다(S930). 인코딩 장치(100)는 인코딩된 영상 정보를 비트스트림 형태로 출력할 수 있다. 예측 정보는 예측 절차에 관련된 정보들로서 예측 모드 정보(예: skip flag, merge flag, 또는 mode index) 및 움직임 정보를 포함할 수 있다. 움직임 정보는 움직임 벡터를 도출하기 위한 정보인 후보 선택 정보(예: merge index, mvp flag, 또는 mvp index)를 포함할 수 있다. 또한 움직임 정보는 상술한 MVD에 관한 정보 및/또는 참조 픽처 인덱스 정보를 포함할 수 있다. 또한 움직임 정보는 L0 예측, L1 예측, 또는 쌍(bi) 예측이 적용되는지 여부를 나타내는 정보를 포함할 수 있다. 레지듀얼 정보는 레지듀얼 샘플들에 관한 정보이다. 레지듀얼 정보는 레지듀얼 샘플들에 대한 양자화된 변환 계수들에 관한 정보를 포함할 수 있다. 예측 모드 정보와 움직임 정보는 인터 예측 정보로 통칭될 수 있다.The encoding apparatus 100 encodes image information including prediction information and residual information (S930). The encoding apparatus 100 may output the encoded image information in the form of a bitstream. The prediction information is information related to a prediction procedure and may include prediction mode information (eg, skip flag, merge flag, or mode index) and motion information. The motion information may include candidate selection information (eg, merge index, mvp flag, or mvp index) that is information for deriving a motion vector. Further, the motion information may include information on the MVD and/or reference picture index information described above. Further, the motion information may include information indicating whether L0 prediction, L1 prediction, or bi prediction is applied. The residual information is information about residual samples. The residual information may include information about quantized transform coefficients for residual samples. The prediction mode information and motion information may be collectively referred to as inter prediction information.
출력된 비트스트림은 (디지털) 저장매체에 저장되어 디코딩 장치로 전달될 수 있고, 또는 네트워크를 통하여 디코딩 장치로 전달될 수도 있다. The output bitstream may be stored in a (digital) storage medium and transmitted to a decoding device, or may be transmitted to a decoding device through a network.
한편, 상술한 바와 같이 인코딩 장치는 상기 참조 샘플들 및 상기 레지듀얼 샘플들을 기반으로 복원 픽처(복원 샘플들 및 복원 블록 포함)를 생성할 수 있다. 이는 디코딩 장치(200)에서 수행되는 것과 동일한 예측 결과를 인코딩 장치(100)에서 도출하기 위함이며, 이를 통하여 코딩 효율을 높일 수 있기 때문이다. 따라서, 인코딩 장치(100)는 복원 픽처(또는 복원 샘플들, 복원 블록)을 메모리에 저장하고, 인터 예측을 위한 참조 픽처로 활용할 수 있다. 복원 픽처에 인루프 필터링 절차 등이 더 적용될 수 있음은 상술한 바와 같다.Meanwhile, as described above, the encoding apparatus may generate a reconstructed picture (including reconstructed samples and a reconstructed block) based on the reference samples and the residual samples. This is because the encoding device 100 derives the same prediction result as that performed by the decoding device 200, and coding efficiency can be improved through this. Accordingly, the encoding apparatus 100 may store a reconstructed picture (or reconstructed samples, and a reconstructed block) in a memory and use it as a reference picture for inter prediction. As described above, an in-loop filtering procedure or the like may be further applied to the reconstructed picture.
도 11은 본 명세서의 실시예에 따른 비디오 신호의 디코딩 과정에서 인터 예측을 위한 흐름도의 예이고, 도 12는 본 명세서의 실시예에 따른 디코딩 장치 내 인터 예측부의 예를 도시한다.11 is an example of a flowchart for inter prediction in a process of decoding a video signal according to an embodiment of the present specification, and FIG. 12 illustrates an example of an inter prediction unit in a decoding apparatus according to an embodiment of the present specification.
디코딩 장치(200)는 인코딩 장치(100)에서 수행된 동작과 대응되는 동작을 수행할 수 있다. 디코딩 장치(200)는 수신된 예측 정보를 기반으로 현재 블록에 예측을 수행하고 예측 샘플들을 도출할 수 있다. The decoding apparatus 200 may perform an operation corresponding to the operation performed by the encoding apparatus 100. The decoding apparatus 200 may perform prediction on the current block and derive prediction samples based on the received prediction information.
구체적으로 디코딩 장치(200)는 수신된 예측 정보를 기반으로 현재 블록에 대한 예측 모드를 결정할 수 있다(S1110). 디코딩 장치(200)는 예측 정보 내의 예측 모드 정보를 기반으로 현재 블록에 어떤 인터 예측 모드가 적용되는지 결정할 수 있다. In more detail, the decoding apparatus 200 may determine a prediction mode for the current block based on the received prediction information (S1110). The decoding apparatus 200 may determine which inter prediction mode is applied to the current block based on prediction mode information in the prediction information.
예를 들어, 디코딩 장치(200)는 머지 플래그(merge flag)를 기반으로 현재 블록에 머지 모드가 적용되지 또는 (A)MVP 모드가 결정되는지 여부를 결정할 수 있다. 또는 디코딩 장치(200)는 모드 인덱스(mode index)를 기반으로 다양한 인터 예측 모드 후보들 중 하나를 선택할 수 있다. 인터 예측 모드 후보들은 스킵 모드, 머지 모드 및/또는 (A)MVP 모드를 포함할 수 있고, 또는 후술하는 다양한 인터 예측 모드들을 포함할 수 있다. For example, the decoding apparatus 200 may determine whether the merge mode is applied to the current block or the (A)MVP mode is determined based on the merge flag. Alternatively, the decoding apparatus 200 may select one of various inter prediction mode candidates based on a mode index. Inter prediction mode candidates may include a skip mode, a merge mode, and/or (A)MVP mode, or may include various inter prediction modes described below.
디코딩 장치(200)는 결정된 인터 예측 모드를 기반으로 현재 블록의 움직임 정보를 도출한다(S1120). 예를 들어, 디코딩 장치(200)는 현재 블록에 스킵 모드 또는 머지 모드가 적용되는 경우, 후술하는 머지 후보 리스트를 구성하고, 머지 후보 리스트에 포함된 머지 후보들이 중 하나의 머지 후보를 선택할 수 있다. 머지 후보의 선택은 머지 인덱스(merge index)를 기반으로 수행될 수 있다. 선택된 머지 후보의 움직임 정보로부터 현재 블록의 움직임 정보가 도출할 수 있다. 선택된 머지 후보의 움직임 정보가 현재 블록의 움직임 정보로 이용될 수 있다. The decoding apparatus 200 derives motion information of the current block based on the determined inter prediction mode (S1120). For example, when a skip mode or a merge mode is applied to the current block, the decoding apparatus 200 may configure a merge candidate list to be described later, and select one merge candidate from among merge candidates included in the merge candidate list. . The selection of a merge candidate may be performed based on a merge index. Motion information of the current block may be derived from motion information of the selected merge candidate. Motion information of the selected merge candidate may be used as motion information of the current block.
다른 예로, 디코딩 장치(200)는, 현재 블록에 (A)MVP 모드가 적용되는 경우, 후술하는 (A)MVP 후보 리스트를 구성하고, (A)MVP 후보 리스트에 포함된 MVP 후보들 중 선택된 MVP 후보의 움직임 벡터를 현재 블록의 MVP로 이용할 수 있다. MVP의 선택은 상술한 선택 정보(MVP 플래그 또는 MVP 인덱스)를 기반으로 수행될 수 있다. 이 경우 디코딩 장치(200)는 MVD에 관한 정보를 기반으로 상기 현재 블록의 MVD를 도출할 수 있으며, 현재 블록의 MVP와 MVD를 기반으로 현재 블록의 움직임 벡터를 도출할 수 있다. 또한, 디코딩 장치(200)는 참조 픽처 인덱스 정보를 기반으로 현재 블록의 참조 픽처 인덱스를 도출할 수 있다. 현재 블록에 관한 참조 픽처 리스트 내에서 참조 픽처 인덱스가 가리키는 픽처가 현재 블록의 인터 예측을 위하여 참조되는 참조 픽처로 도출될 수 있다. As another example, when the (A)MVP mode is applied to the current block, the decoding apparatus 200 constructs a (A)MVP candidate list to be described later, and (A) a selected MVP candidate among MVP candidates included in the MVP candidate list. The motion vector of can be used as the MVP of the current block. The selection of MVP may be performed based on the above-described selection information (MVP flag or MVP index). In this case, the decoding apparatus 200 may derive the MVD of the current block based on the information on the MVD, and may derive the motion vector of the current block based on the MVP and the MVD of the current block. Also, the decoding apparatus 200 may derive the reference picture index of the current block based on the reference picture index information. The picture indicated by the reference picture index in the reference picture list for the current block may be derived as a reference picture referenced for inter prediction of the current block.
한편, 후술하는 바와 같이 후보 리스트 구성 없이 상기 현재 블록의 움직임 정보가 도출될 수 있으며, 이 경우 후술하는 예측 모드에서 개시된 절차에 따라 현재 블록의 움직임 정보가 도출될 수 있다. 이 경우 상술한 바와 같은 후보 리스트 구성은 생략될 수 있다.Meanwhile, as described later, motion information of the current block may be derived without configuring a candidate list. In this case, motion information of the current block may be derived according to a procedure disclosed in a prediction mode to be described later. In this case, the configuration of the candidate list as described above may be omitted.
디코딩 장치(200)는 현재 블록의 움직임 정보를 기반으로 현재 블록에 대한 예측 샘플들을 생성할 수 있다(S1130). 이 경우 디코딩 장치(200)는 현재 블록의 참조 픽처 인덱스를 기반으로 참조 픽처를 도출하고, 현재 블록의 움직임 벡터가 참조 픽처 상에서 가리키는 참조 블록의 샘플들을 이용하여 현재 블록의 예측 샘플들을 도출할 수 있다. 이 경우 후술하는 바와 같이 경우에 따라 현재 블록의 예측 샘플들 중 전부 또는 일부에 대한 예측 샘플 필터링 절차가 더 수행될 수 있다. The decoding apparatus 200 may generate prediction samples for the current block based on motion information of the current block (S1130). In this case, the decoding apparatus 200 may derive a reference picture based on the reference picture index of the current block, and may derive the prediction samples of the current block by using samples of the reference block indicated on the reference picture by the motion vector of the current block. . In this case, as will be described later, a prediction sample filtering procedure may be further performed on all or part of the prediction samples of the current block in some cases.
예를 들어, 디코딩 장치(200)의 인터 예측부(260)는 예측 모드 결정부(261), 움직임 정보 도출부(262), 예측 샘플 도출부(263)를 포함할 수 있으며, 예측 모드 결정부(181)에서 수신된 예측 모드 정보를 기반으로 상기 현재 블록에 대한 예측 모드를 결정하고, 움직임 정보 도출부(182)에서 수신된 움직임 정보에 관한 정보를 기반으로 상기 현재 블록의 움직임 정보(움직임 벡터 및/또는 참조 픽처 인덱스 등)를 도출하고, 예측 샘플 도출부(183)에서 상기 현재 블록의 예측 샘플들을 도출할 수 있다.For example, the inter prediction unit 260 of the decoding apparatus 200 may include a prediction mode determination unit 261, a motion information derivation unit 262, and a prediction sample derivation unit 263, and a prediction mode determination unit A prediction mode for the current block is determined based on the prediction mode information received at (181), and motion information (motion vector) of the current block is determined based on the information on the motion information received from the motion information derivation unit 182. And/or a reference picture index), and the prediction sample derivation unit 183 may derive prediction samples of the current block.
디코딩 장치(200)는 수신된 레지듀얼 정보를 기반으로 상기 현재 블록에 대한 레지듀얼 샘플들을 생성한다(S1140). 디코딩 장치(200)는 예측 샘플들 및 레지듀얼 샘플들을 기반으로 현재 블록에 대한 복원 샘플들을 생성하고, 이를 기반으로 복원 픽처를 생성할 수 있다(S1150). 이후 상기 복원 픽처에 인루프 필터링 절차 등이 더 적용될 수 있음은 상술한 바와 같다. The decoding apparatus 200 generates residual samples for the current block based on the received residual information (S1140). The decoding apparatus 200 may generate reconstructed samples for the current block based on the prediction samples and the residual samples, and generate a reconstructed picture based on this (S1150). Thereafter, as described above, an in-loop filtering procedure or the like may be further applied to the reconstructed picture.
상술한 바와 같이 인터 예측 절차는 인터 예측 모드 결정 단계, 결정된 예측 모드에 따른 움직임 정보 도출 단계, 도출된 움직임 정보에 기반한 예측 수행(예측 샘플 생성) 단계를 포함할 수 있다.As described above, the inter prediction procedure may include determining an inter prediction mode, deriving motion information according to the determined prediction mode, and performing prediction based on the derived motion information (generating a prediction sample).
인터 예측 모드 결정Inter prediction mode determination
픽처 내 현재 블록의 예측을 위하여 다양한 인터 예측 모드가 사용될 수 있다. 예를 들어, 머지 모드, 스킵 모드, MVP 모드, 어파인(Affine) 모드 등 다양한 모드가 사용될 수 있다. DMVR(decoder side motion vector refinement) 모드, AMVR(adaptive motion vector resolution) 모드 등이 부수적인 모드로 더 사용될 수 있다. 어파인 모드는 어파인 움직임 예측(affine motion prediction) 모드라고 불릴 수도 있다. MVP 모드는 AMVP(advanced motion vector prediction) 모드라고 불릴 수도 있다. Various inter prediction modes may be used for prediction of a current block in a picture. For example, various modes, such as a merge mode, a skip mode, an MVP mode, and an affine mode, may be used. A decoder side motion vector refinement (DMVR) mode, an adaptive motion vector resolution (AMVR) mode, or the like may be further used as an auxiliary mode. The afine mode may also be referred to as an affine motion prediction mode. The MVP mode may also be called an advanced motion vector prediction (AMVP) mode.
현재 블록의 인터 예측 모드를 가리키는 예측 모드 정보가 인코딩 장치로부터 디코딩 장치(200)로 시그널링될 수 있다. 예측 모드 정보는 비트스트림에 포함되어 디코딩 장치(200)에서 수신될 수 있다. 예측 모드 정보는 다수의 후보 모드들 중 하나를 지시하는 인덱스 정보를 포함할 수 있다. 또는, 플래그 정보의 계층적 시그널링을 통하여 인터 예측 모드를 지시할 수도 있다. 이 경우 예측 모드 정보는 하나 이상의 플래그들을 포함할 수 있다. 예를 들어, 인코딩 장치(100)는 스킵 플래그를 시그널링하여 스킵 모드 적용 여부를 지시하고, 스킵 모드가 적용 안되는 경우에 머지 플래그를 시그널링하여 머지 모드 적용 여부를 지시하고, 머지 모드가 적용 안되는 경우에 MVP 모드 적용되는 것으로 지시하거나 추가적인 구분을 위한 플래그를 더 시그널링할 수도 있다. 어파인 모드는 독립적인 모드로 시그널링될 수도 있고, 또는 머지 모드 또는 MVP 모드 등에 종속적인 모드로 시그널링될 수도 있다. 예를 들어, 어파인 모드는 후술하는 바와 같이 머지 후보 리스트 또는 MVP 후보 리스트의 하나의 후보로 구성될 수도 있다.Prediction mode information indicating the inter prediction mode of the current block may be signaled from the encoding device to the decoding device 200. The prediction mode information may be included in the bitstream and received by the decoding apparatus 200. The prediction mode information may include index information indicating one of a plurality of candidate modes. Alternatively, the inter prediction mode may be indicated through hierarchical signaling of flag information. In this case, the prediction mode information may include one or more flags. For example, the encoding apparatus 100 signals the skip flag to indicate whether to apply the skip mode, and when the skip mode is not applied, signals the merge flag to indicate whether to apply the merge mode, and when the merge mode is not applied It may indicate that the MVP mode is applied or a flag for additional classification may be further signaled. The afine mode may be signaled as an independent mode, or may be signaled as a mode dependent on the merge mode or the MVP mode. For example, the affine mode may be composed of one candidate of a merge candidate list or an MVP candidate list, as described later.
움직임 정보 도출Derive motion information
인코딩 장치(100) 또는 디코딩 장치(200)는 현재 블록의 움직임 정보를 이용하여 인터 예측을 수행할 수 있다. 인코딩 장치(100)는 움직임 추정(motion estimation) 절차를 통하여 현재 블록에 대한 최적의 움직임 정보를 도출할 수 있다. 예를 들어, 인코딩 장치(100)는 현재 블록에 대한 원본 픽처 내 원본 블록을 이용하여 상관성이 높은 유사한 참조 블록을 참조 픽처 내의 정해진 탐색 범위 내에서 분수 픽셀 단위로 탐색할 수 있고, 이를 통하여 움직임 정보를 도출할 수 있다. 블록의 유사성은 위상(phase) 기반 샘플 값들의 차를 기반으로 도출될 수 있다. 예를 들어, 블록의 유사성은 현재 블록(또는 현재 블록의 템플릿)과 참조 블록(또는 참조 블록의 템플릿) 간 SAD(sum of absolute difference)를 기반으로 계산될 수 있다. 이 경우 탐색 영역 내 SAD가 가장 작은 참조 블록을 기반으로 움직임 정보를 도출할 수 있다. 도출된 움직임 정보는 인터 예측 모드 기반으로 여러 방법에 따라 디코딩 장치로 시그널링될 수 있다.The encoding device 100 or the decoding device 200 may perform inter prediction using motion information of the current block. The encoding apparatus 100 may derive optimal motion information for the current block through a motion estimation procedure. For example, the encoding apparatus 100 may search for a similar reference block with high correlation using the original block in the original picture for the current block in units of fractional pixels within a predetermined search range within the reference picture, and through this Can be derived. The similarity of the block may be derived based on the difference between the phase-based sample values. For example, the similarity of blocks may be calculated based on a sum of absolute difference (SAD) between a current block (or a template of a current block) and a reference block (or a template of a reference block). In this case, motion information may be derived based on the reference block having the smallest SAD in the search area. The derived motion information may be signaled to the decoding apparatus according to various methods based on the inter prediction mode.
머지 모드 및 스킵 모드Merge mode and skip mode
머지 모드(merge mode)가 적용되는 경우, 현재 예측 블록의 움직임 정보가 직접적으로 전송되지 않고, 주변 예측 블록의 움직임 정보를 이용하여 현재 예측 블록의 움직임 정보를 유도하게 된다. 따라서, 인코딩 장치(100)는 머지 모드를 이용하였음을 알려주는 플래그 정보 및 주변의 어떤 예측 블록을 이용하였는지를 알려주는 머지 인덱스를 전송함으로써 현재 예측 블록의 움직임 정보를 지시할 수 있다.When the merge mode is applied, motion information of a current prediction block is not directly transmitted, and motion information of a current prediction block is derived using motion information of a neighboring prediction block. Accordingly, the encoding apparatus 100 may indicate motion information of the current prediction block by transmitting flag information indicating that the merge mode has been used and a merge index indicating which prediction block is used.
인코딩 장치(100)는 머지 모드를 수행하기 위해서 현재 예측 블록의 움직임 정보를 유도하기 위해 이용되는 머지 후보 블록(merge candidate block)을 서치하여야 한다. 예를 들어, 머지 후보 블록은 최대 5개까지 이용될 수 있으나, 본 명세서는 이에 한정되지 않는다. 그리고, 머지 후보 블록의 최대 개수는 슬라이스 헤더에서 전송될 수 있으며, 본 명세서는 이에 한정되지 않는다. 머지 후보 블록들을 찾은 후, 인코딩 장치(100)는 머지 후보 리스트를 생성할 수 있고, 이들 중 가장 작은 비용을 갖는 머지 후보 블록을 최종 머지 후보 블록으로 선택할 수 있다.In order to perform a merge mode, the encoding apparatus 100 must search for a merge candidate block used to induce motion information of a current prediction block. For example, up to five merge candidate blocks may be used, but the present specification is not limited thereto. In addition, the maximum number of merge candidate blocks may be transmitted in a slice header, and the present specification is not limited thereto. After finding the merge candidate blocks, the encoding apparatus 100 may generate a merge candidate list and select a merge candidate block having the lowest cost among them as the final merge candidate block.
머지 후보 리스트는 예를 들어 5개의 머지 후보 블록을 이용할 수 있다. 예를 들어, 4개의 공간적 머지 후보(spatial merge candidate)와 1개의 시간적 머지 후보(temporal merge candidate)를 이용할 수 있다.The merge candidate list may use, for example, 5 merge candidate blocks. For example, four spatial merge candidates and one temporal merge candidate can be used.
도 13은 본 명세서의 실시예에 따른 공간적 머지 후보로서 사용되는 공간적 주변 블록들의 예를 도시한다.13 illustrates examples of spatial neighboring blocks used as spatial merge candidates according to an embodiment of the present specification.
도 13을 참조하면, 현재 블록의 예측을 위하여 좌측 이웃 블록(A1), 좌하측(bottom-left) 이웃 블록(A0), 우상측(top-right) 이웃 블록(B0), 상측 이웃 블록(B1), 좌상측(top-left) 이웃 블록(B2) 중 적어도 하나가 사용될 수 있다. 현재 블록에 대한 머지 후보 리스트는 도 14와 같은 절차를 기반으로 구성될 수 있다.13, for prediction of a current block, a left neighboring block A1, a bottom-left neighboring block A0, a top-right neighboring block B0, and an upper neighboring block B1 ), and at least one of the top-left neighboring block B2 may be used. The merge candidate list for the current block may be configured based on the procedure shown in FIG. 14.
도 14는 본 명세서의 실시예에 따른 머지 후보 리스트를 구성하기 위한 흐름도의 예이다.14 is an example of a flowchart for configuring a merge candidate list according to an embodiment of the present specification.
코딩 장치(인코딩 장치(100) 또는 디코딩 장치(200))는 현재 블록의 공간적 주변 블록들을 탐색하여 도출된 공간적 머지 후보들을 머지 후보 리스트에 삽입한다(S1410). 예를 들어, 공간적 주변 블록들은 현재 블록의 좌하측 코너 주변 블록, 좌측 주변 블록, 우상측 코너 주변 블록, 상측 주변 블록, 좌상측 코너 주변 블록들을 포함할 수 있다. 다만, 이는 예시로서 상술한 공간적 주변 블록들 이외에도 우측 주변 블록, 하측 주변 블록, 우하측 주변 블록 등 추가적인 주변 블록들이 더 상기 공간적 주변 블록들로 사용될 수 있다. 코딩 장치는 공간적 주변 블록들을 우선순위를 기반으로 탐색하여 가용한 블록들을 검출하고, 검출된 블록들의 움직임 정보를 공간적 머지 후보들로 도출할 수 있다. 예를 들어, 인코딩 장치(100) 또는 디코딩 장치(200)는 도 13에 도시된 5개의 블록들을 A1, B1, B0, A0, B2의 순서대로 탐색하여, 가용한 후보들을 순차적으로 인덱싱하여 머지 후보 리스트로 구성할 수 있다. The coding apparatus (encoding apparatus 100 or decoding apparatus 200) inserts the spatial merge candidates derived by searching for spatial neighboring blocks of the current block into the merge candidate list (S1410). For example, the spatial neighboring blocks may include a block around a lower left corner of a current block, a block around a left, a block around an upper right corner, a block around an upper side, and blocks around an upper left corner. However, as an example, in addition to the spatial neighboring blocks described above, additional neighboring blocks such as a right peripheral block, a lower peripheral block, and a right lower peripheral block may be further used as the spatial neighboring blocks. The coding apparatus may detect available blocks by searching spatial neighboring blocks based on priority, and derive motion information of the detected blocks as spatial merge candidates. For example, the encoding device 100 or the decoding device 200 searches the five blocks shown in FIG. 13 in the order of A1, B1, B0, A0, B2, and sequentially indexes the available candidates to be merge candidates. It can be organized as a list.
코딩 장치는 현재 블록의 시간적 주변 블록을 탐색하여 도출된 시간적 머지 후보를 상기 머지 후보 리스트에 삽입한다(S1420). 시간적 주변 블록은 현재 블록이 위치하는 현재 픽처와 다른 픽처인 참조 픽처 상에 위치할 수 있다. 시간적 주변 블록이 위치하는 참조 픽처는 동일 위치 픽처(collocated picture) 또는 콜 픽처(col picture)라고 불릴 수 있다. 시간적 주변 블록은 콜 픽처 상에서의 현재 블록에 대한 동일 위치 블록(co-located block)의 우하측 코너 주변 블록 및 우하측 센터 블록의 순서로 탐색될 수 있다. 한편, 움직임 데이터 압축(motion data compression)이 적용되는 경우, 콜 픽처에 일정 저장 단위마다 특정 움직임 정보를 대표 움직임 정보로 저장할 수 있다. 이 경우 상기 일정 저장 단위 내의 모든 블록에 대한 움직임 정보를 저장할 필요가 없으며 이를 통하여 움직임 데이터 압축 효과를 얻을 수 있다. 이 경우, 일정 저장 단위는 예를 들어 16x16 샘플 단위, 또는 8x8 샘플 단위 등으로 미리 정해질 수도 있고, 또는 인코딩 장치(100)로부터 디코딩 장치(200)로 일정 저장 단위에 대한 사이즈 정보가 시그널링될 수도 있다. 움직임 데이터 압축이 적용되는 경우 시간적 주변 블록의 움직임 정보는 시간적 주변 블록이 위치하는 일정 저장 단위의 대표 움직임 정보로 대체될 수 있다. 즉, 이 경우 구현 측면에서 보면, 시간적 주변 블록의 좌표에 위치하는 예측 블록이 아닌, 시간적 주변 블록의 좌표(좌상단 샘플 포지션)를 기반으로 일정 값만큼 산술적 우측 시프트 후 산술적 좌측 시프트 한 위치를 커버하는 예측 블록의 움직임 정보를 기반으로 시간적 머지 후보가 도출될 수 있다. 예를 들어, 일정 저장 단위가 2nx2n 샘플 단위인 경우, 시간적 주변 블록의 좌표가 (xTnb, yTnb)라 하면, 수정된 위치인 ((xTnb >> n) << n), (yTnb >> n) << n))에 위치하는 예측 블록의 움직임 정보가 시간적 머지 후보를 위하여 사용될 수 있다. 구체적으로 예를 들어, 일정 저장 단위가 16x16 샘플 단위인 경우, 시간적 주변 블록의 좌표가 (xTnb, yTnb)라 하면, 수정된 위치인 ((xTnb >> 4) << 4), (yTnb >> 4) << 4))에 위치하는 예측 블록의 움직임 정보가 시간적 머지 후보를 위하여 사용될 수 있다. 또는 예를 들어, 일정 저장 단위가 8x8 샘플 단위인 경우, 시간적 주변 블록의 좌표가 (xTnb, yTnb)라 하면, 수정된 위치인 ((xTnb >> 3) << 3), (yTnb >> 3) << 3))에 위치하는 예측 블록의 움직임 정보가 시간적 머지 후보를 위하여 사용될 수 있다.The coding apparatus inserts a temporal merge candidate derived by searching for a temporal neighboring block of the current block into the merge candidate list (S1420). The temporal neighboring block may be located on a reference picture that is a picture different from the current picture in which the current block is located. A reference picture in which a temporal neighboring block is located may be referred to as a collocated picture or a col picture. The temporal neighboring block may be searched in the order of the lower-right corner neighboring block and the lower-right center block of a co-located block with respect to the current block on the collocated picture. Meanwhile, when motion data compression is applied, specific motion information may be stored as representative motion information for each predetermined storage unit in a collocated picture. In this case, it is not necessary to store motion information for all blocks in the predetermined storage unit, and motion data compression effect can be obtained through this. In this case, the predetermined storage unit may be predetermined, for example, in a 16x16 sample unit or an 8x8 sample unit, or the size information for the predetermined storage unit may be signaled from the encoding device 100 to the decoding device 200. have. When motion data compression is applied, motion information of a temporal neighboring block may be replaced with representative motion information of a predetermined storage unit in which a temporal neighboring block is located. In other words, in this case, in terms of implementation, it is not a prediction block located at the coordinates of a temporal neighboring block, but an arithmetic right shift by a certain value based on the coordinates (upper left sample position) of the temporal neighboring block, and then the arithmetic left shifted position is covered. A temporal merge candidate may be derived based on motion information of the prediction block. For example, if the constant storage unit is a 2nx2n sample unit, if the coordinates of the temporal neighboring block are (xTnb, yTnb), the modified positions ((xTnb >> n) << n), (yTnb >> n) The motion information of the prediction block located at << n)) may be used for the temporal merge candidate. Specifically, for example, if the predetermined storage unit is a 16x16 sample unit, if the coordinates of the temporal neighboring block are (xTnb, yTnb), the modified positions ((xTnb >> 4) << 4), (yTnb >> 4) Motion information of the prediction block located at << 4)) may be used for a temporal merge candidate. Or, for example, if the constant storage unit is an 8x8 sample unit, if the coordinates of the temporal neighboring block are (xTnb, yTnb), the modified positions ((xTnb >> 3) << 3), (yTnb >> 3 ) << 3)) motion information of a prediction block may be used for a temporal merge candidate.
코딩 장치는 현재 머지 후보들의 개수가 최대 머지 후보들의 개수보다 작은지 여부를 확인할 수 있다(S1430). 최대 머지 후보들의 개수는 미리 정의되거나 인코딩 장치(100)에서 디코딩 장치(200)로 시그널링될 수 있다. 예를 들어, 인코딩 장치(100)는 최대 머지 후보들의 개수에 관한 정보를 생성하고, 인코딩하여 비트스트림 형태로 디코딩 장치(200)로 전달할 수 있다. 최대 머지 후보들의 개수가 다 채워지면 이후의 후보 추가 과정은 진행하지 않을 수 있다. The coding apparatus may check whether the number of current merge candidates is smaller than the number of maximum merge candidates (S1430). The maximum number of merge candidates may be predefined or signaled from the encoding device 100 to the decoding device 200. For example, the encoding apparatus 100 may generate information on the number of maximum merge candidates, encode, and transmit the information to the decoding apparatus 200 in the form of a bitstream. When the maximum number of merge candidates is filled, the subsequent candidate addition process may not proceed.
확인 결과 현재 머지 후보들의 개수가 상기 최대 머지 후보들의 개수보다 작은 경우, 코딩 장치는 추가 머지 후보를 머지 후보 리스트에 삽입한다(S1440). 추가 머지 후보는 예를 들어 ATMVP(adaptive temporal motion vector prediction), 결합된 양방향 예측(combined bi-predictive) 머지 후보(현재 슬라이스의 슬라이스 타입이 B 타입인 경우) 및/또는 영 벡터(zero vector) 머지 후보를 포함할 수 있다.As a result of checking, if the number of current merge candidates is smaller than the number of the maximum merge candidates, the coding apparatus inserts an additional merge candidate into the merge candidate list (S1440). Additional merge candidates include, for example, adaptive temporal motion vector prediction (ATMVP), combined bi-predictive merge candidate (when the slice type of the current slice is B type), and/or zero vector merge. Can include candidates.
MVP 모드MVP mode
도 15는 본 명세서의 실시예에 따른 움직임 벡터 예측자(motion vector predictor, MVP) 후보 리스트를 구성하기 위한 흐름도의 예이다.15 is an example of a flowchart for configuring a motion vector predictor (MVP) candidate list according to an embodiment of the present specification.
MVP 모드가 적용되는 경우, 복원된 공간적 주변 블록(예를 들어, 도 13의 주변 블록)의 움직임 벡터 및/또는 시간적 주변 블록(또는 Col 블록)에 대응하는 움직임 벡터를 이용하여, 움직임 벡터 예측자(motion vector predictor, MVP) 후보 리스트가 생성될 수 있다. 즉, 복원된 공간적 주변 블록의 움직임 벡터 및/또는 시간적 주변 블록에 대응하는 움직임 벡터는 움직임 벡터 예측자 후보로 사용될 수 있다. 상기 예측에 관한 정보는 상기 리스트에 포함된 움직임 벡터 예측자 후보들 중에서 선택된 최적의 움직임 벡터 예측자 후보를 지시하는 선택 정보(예: MVP 플래그 또는 MVP 인덱스)를 포함할 수 있다. 이 때, 예측부는 상기 선택 정보를 이용하여, 움직임 벡터 후보 리스트에 포함된 움직임 벡터 예측자 후보들 중에서, 현재 블록의 움직임 벡터 예측자를 선택할 수 있다. 인코딩 장치(100)의 예측부는 현재 블록의 움직임 벡터와 움직임 벡터 예측자 간의 움직임 벡터 차분(MVD)을 구할 수 있고, 이를 인코딩하여 비트스트림 형태로 출력할 수 있다. 즉, MVD는 현재 블록의 움직임 벡터에서 상기 움직임 벡터 예측자를 뺀 값으로 구해질 수 있다. 이 때, 디코딩 장치의 예측부는 상기 예측에 관한 정보에 포함된 움직임 벡터 차분을 획득하고, 상기 움직임 벡터 차분과 상기 움직임 벡터 예측자의 가산을 통해 현재 블록의 상기 움직임 벡터를 도출할 수 있다. 디코딩 장치의 예측부는 참조 픽처를 지시하는 참조 픽처 인덱스 등을 상기 예측에 관한 정보로부터 획득 또는 유도할 수 있다. 예를 들어, 움직임 벡터 예측자 후보 리스트는 도 15와 같이 구성될 수 있다.When the MVP mode is applied, a motion vector predictor using a motion vector of a reconstructed spatial neighboring block (eg, neighboring block in FIG. 13) and/or a motion vector corresponding to a temporal neighboring block (or Col block) A (motion vector predictor, MVP) candidate list may be generated. That is, a motion vector of the reconstructed spatial neighboring block and/or a motion vector corresponding to the temporal neighboring block may be used as a motion vector predictor candidate. The information on prediction may include selection information (eg, an MVP flag or an MVP index) indicating an optimal motion vector predictor candidate selected from among motion vector predictor candidates included in the list. In this case, the prediction unit may select a motion vector predictor of the current block from among motion vector predictor candidates included in the motion vector candidate list using the selection information. The prediction unit of the encoding apparatus 100 may obtain a motion vector difference (MVD) between the motion vector of the current block and the motion vector predictor, encode the motion vector, and output it in the form of a bitstream. That is, MVD may be obtained by subtracting the motion vector predictor from the motion vector of the current block. In this case, the prediction unit of the decoding apparatus may obtain a motion vector difference included in the prediction information, and derive the motion vector of the current block by adding the motion vector difference and the motion vector predictor. The prediction unit of the decoding apparatus may obtain or derive a reference picture index indicating a reference picture from the prediction information. For example, the motion vector predictor candidate list may be configured as shown in FIG. 15.
도 15를 참조하면, 코딩 장치는 움직임 벡터 예측을 위한 공간적 후보 블록을 탐색하여 예측 후보 리스트에 삽입한다(S1510). 예를 들어, 코딩 장치는 정해진 탐색 순서에 따라 주변 블록들에 대한 탐색을 수행하고, 공간적 후보 블록에 대한 조건을 만족하는 주변 블록의 정보를 예측 후보 리스트(MVP 후보 리스트)에 추가할 수 있다.Referring to FIG. 15, the coding apparatus searches for a spatial candidate block for motion vector prediction and inserts it into a prediction candidate list (S1510). For example, the coding apparatus may search for neighboring blocks according to a predetermined search order, and add information on neighboring blocks that satisfy a condition for a spatial candidate block to a prediction candidate list (MVP candidate list).
공간적 후보 블록 리스트를 구성한 후, 코딩 장치는 예측 후보 리스트에 포함된 공간적 후보 리스트의 개수와 기 설정된 기준 개수(예: 2)를 비교한다(S1520). 예측 후보 리스트에 포함된 공간적 후보 리스트의 개수가 기준 개수(예: 2)보다 크거나 같은 경우, 코딩 장치는 예측 후보 리스트의 구성을 종료할 수 있다. After constructing the spatial candidate block list, the coding apparatus compares the number of spatial candidate lists included in the prediction candidate list with a preset reference number (eg, 2) (S1520). When the number of spatial candidate lists included in the prediction candidate list is greater than or equal to the reference number (eg, 2), the coding apparatus may terminate the construction of the prediction candidate list.
그러나, 예측 후보 리스트에 포함된 공간적 후보 리스트의 개수가 기준 개수(예: 2)보다 작은 경우, 코딩 장치는 시간적 후보 블록을 탐색하여 예측 후보 리스트에 추가 삽입하고(S1530), 시간적 후보 블록이 사용 불가능한 경우, 제로 움직임 벡터를 예측 후보 리스트에 추가한다(S1540).However, when the number of spatial candidate lists included in the prediction candidate list is less than the reference number (eg, 2), the coding apparatus searches for a temporal candidate block and inserts it into the prediction candidate list (S1530), and the temporal candidate block is used. If not possible, a zero motion vector is added to the prediction candidate list (S1540).
예측 모드에 따라 도출된 움직임 정보를 기반으로 현재 블록에 대한 예측된 블록이 도출될 수 있다. 예측된 블록은 현재 블록의 예측 샘플들(예측 샘플 어레이)을 포함할 수 있다. 현재 블록의 움직임 벡터가 분수 샘플 단위를 가리키는 경우, 보간(interpolation) 절차가 수행될 수 있으며, 이를 통하여 참조 픽처 내에서 분수 샘플 단위의 참조 샘플들을 기반으로 상기 현재 블록의 예측 샘플들이 도출될 수 있다. 현재 블록에 어파인(affine) 인터 예측이 적용되는 경우, 샘플/서브블록 단위 움직임 벡터(motion vector)에 기반하여 예측 샘플들이 생성될 수 있다. 양방향(bi-direction) 예측이 적용되는 경우, 제1 방향 예측(예: L0 예측)을 기반으로 도출된 예측 샘플들과 제2 방향 예측(예: L1 예측)을 기반으로 도출된 예측 샘플들의 (위상에 따른) 가중합을 통하여 최종 예측 샘플들이 도출될 수 있다. 도출된 예측 샘플들을 기반으로 복원 샘플들 및 복원 픽처가 생성될 수 있고, 이후 인루프 필터링 등의 절차가 수행될 수 있음은 전술한 바와 같다.A predicted block for the current block may be derived based on motion information derived according to the prediction mode. The predicted block may include predicted samples (prediction sample array) of the current block. When the motion vector of the current block indicates a fractional sample unit, an interpolation procedure may be performed, and through this, prediction samples of the current block may be derived based on reference samples of the fractional sample unit within a reference picture. . When affine inter prediction is applied to the current block, prediction samples may be generated based on a motion vector per sample/subblock. When bi-direction prediction is applied, the prediction samples derived based on the first direction prediction (eg, L0 prediction) and the prediction samples derived based on the second direction prediction (eg, L1 prediction) Final prediction samples can be derived through weighted summation (according to phase). As described above, reconstructed samples and reconstructed pictures may be generated based on the derived prediction samples, and then procedures such as in-loop filtering may be performed.
어파인 모드(Affine mode)Affine mode
기존 비디오 코딩 시스템은 코딩 블록의 움직임을 표현하기 위해 하나의 움직임 벡터를 사용하였다(translation motion model 사용). 그러나, 하나의 움직임 벡터를 사용한 방법은 블록 단위에서 최적의 움직임을 표현했을 수 있으나, 실제 각 화소에 대한 최적의 움직임은 아니므로, 화소 단위에서 최적의 움직임 벡터를 결정한다면 부호화 효율을 높일 수 있다. 이를 위해 본 실시예는 어파인 움직임 모델(affine motion model)을 사용하여 인코딩/디코딩을 수행하는 어파인 움직임 예측(affine motion prediction) 방법이 설명된다. 어파인 움직임 예측 방법은 2개, 3개 혹은 4개의 움직임 벡터를 사용하여 블록의 각 화소 단위로 움직임 벡터가 표현될 수 있다.Existing video coding systems used one motion vector to represent the motion of a coding block (using a translation motion model). However, the method using one motion vector may express optimal motion in block units, but it is not actually optimal motion for each pixel, so if the optimal motion vector is determined in pixel units, coding efficiency can be improved. . To this end, the present embodiment describes an affine motion prediction method for encoding/decoding using an affine motion model. In the affine motion prediction method, a motion vector may be expressed in units of each pixel of a block using two, three, or four motion vectors.
도 16은 본 명세서의 실시예에 따른 어파인 움직임 모델(affine motion model)들의 예를 도시한다.16 illustrates examples of affine motion models according to an embodiment of the present specification.
어파인 움직임 모델은 도 16과 같이 4개의 움직임을 표현할 수 있다. 어파인 움직임 모델이 표현할 수 있는 움직임 중 3가지 움직임(translation, scale, rotate)을 표현하는 어파인 움직임 모델은 유사(또는 단순화된) 어파인 움직임 모델로 지칭되며, 본 명세서는 유사(또는 단수화된) 어파인 움직임 모델을 기준으로 제안된 방법들을 설명한다. 그러나, 본 명세서의 실시예가 유사(또는 단수화된) 어파인 움직임 모델에 한정되는 것은 아니다.The affine motion model can represent four motions as shown in FIG. 16. The affine motion model that expresses three movements (translation, scale, and rotate) among the movements that can be expressed by the affine motion model is referred to as a similar (or simplified) affine motion model, and the present specification refers to a similar (or singular) motion model. The proposed methods are described based on the affine motion model. However, the embodiments of the present specification are not limited to a similar (or singular) affine motion model.
도 17a 및 도 17b는 본 명세서의 실시예에 따른 제어점(control point)별 움직임 벡터의 예를 도시한다.17A and 17B illustrate examples of motion vectors for each control point according to an embodiment of the present specification.
도 17a 및 도 17b와 같이 어파인 움직임 예측은 2개 이상의 제어점 움직임 벡터(control point motion vector, CPMV)들을 이용하여 블록에 포함된 화소 위치별로 움직임 벡터를 결정할 수 있다.As shown in FIGS. 17A and 17B, the affine motion prediction may determine a motion vector for each pixel position included in a block using two or more control point motion vectors (CPMVs).
4-파라미터 어파인 움직임 모델(도 17a)에 대하여, 샘플 위치(x, y)에서의 움직임 벡터는 아래의 수학식 1과 같이 유도될 수 있다.For a 4-parameter affine motion model (FIG. 17A), a motion vector at the sample position (x, y) can be derived as in Equation 1 below.
Figure PCTKR2020002615-appb-M000001
Figure PCTKR2020002615-appb-M000001
6-파라미터 어파인 움직임 모델(도 17b)에 대하여, 샘플 위치(x, y)에서의 움직임 벡터는 아래의 수학식 2와 같이 유도될 수 있다.For a 6-parameter affine motion model (FIG. 17B), a motion vector at the sample position (x, y) can be derived as in Equation 2 below.
Figure PCTKR2020002615-appb-M000002
Figure PCTKR2020002615-appb-M000002
여기서 {v0x, v0y}는 부호화 블록의 좌상측(top-left) 코너 위치의 CP의 CPMV이고, {v1x, v1y}는 우상측(top-right) 코너 위치의 CP의 CPMV이고, {v2x, v2y}는 좌하측(bottom-left) 코너 위치의 CP의 CPMV이다. 그리고 W는 현재 블록의 너비(width)에 해당하고, H는 현재 블록의 높이(height)에 해당하고, {vx, vy}는 {x, y} 위치에서의 움직임 벡터이다.Where {v 0x , v 0y } is the CPMV of the CP at the top-left corner of the coding block, and {v 1x , v 1y } is the CPMV of the CP at the top-right corner, {v 2x , v 2y } is the CPMV of the CP at the bottom-left corner. In addition, W corresponds to the width of the current block, H corresponds to the height of the current block, and {v x , v y } is a motion vector at the position {x, y}.
도 18은 본 명세서의 실시예에 따른 각 서브블록에 대한 움직임 벡터의 예를 도시한다.18 shows an example of a motion vector for each subblock according to an embodiment of the present specification.
인코딩/디코딩 과정에서 어파인 MVF(motion vector field)는 화소 단위 혹은 이미 정의된 서브블록 단위에서 결정될 수 있다. 화소 단위로 MVF가 결정되는 경우 각 화소 값을 기준으로 움직임 벡터가 획득되고, 서브블록 단위로 MVP가 결정되는 경우 서브블록의 중앙(센터 우하측, 즉 중앙 4개의 샘플들 중 우하측 샘플) 화소 값 기준으로 해당 블록의 움직임 벡터가 획득될 수 있다. 이하 설명에서, 도 18과 같이 어파인 MVF가 4*4서브블록 단위에서 결정되는 경우를 가정하여 설명한다. 다만, 이것은 설명의 편의를 위함일 뿐 서브블록의 사이즈는 다양하게 변형될 수 있다.In the encoding/decoding process, a motion vector field (MVF), which is an affine, may be determined in a pixel unit or a predefined subblock unit. When the MVF is determined in units of pixels, a motion vector is obtained based on each pixel value, and when the MVP is determined in units of sub-blocks, the center of the sub-block (the lower right of the center, that is, the lower right of the center 4 samples) pixel A motion vector of a corresponding block may be obtained based on a value. In the following description, it is assumed that the affine MVF is determined in units of 4*4 subblocks as shown in FIG. 18. However, this is only for convenience of explanation, and the size of the subblock may be variously changed.
즉, 어파인 예측이 사용 가능한 경우, 현재 블록에 적용가능한 움직임 모델은 다음 3가지를 포함할 수 있다. 병진 움직임 모델(translational motion model), 4-파라미터 어파인 움직임 모델(4-parameter affine motion model), 6-파라미터 어파인 움직임 모델(6-parameter affine motion mode). 여기서, 병진 움직임 모델은 기존 블록 단위 움직임 벡터가 사용되는 모델을 나타낼 수 있고, 4-파라미터 어파인 움직임 모델은 2개의 CPMV가 사용되는 모델을 나타낼 수 있고, 6-파라미터 어파인 움직임 모델은 3개의 CPMV가 사용되는 모델을 나타낼 수 있다. That is, when affine prediction is available, motion models applicable to the current block may include the following three types. Translational motion model, 4-parameter affine motion model, and 6-parameter affine motion mode. Here, the translational motion model can represent a model in which an existing block-based motion vector is used, a 4-parameter affine motion model can represent a model in which two CPMVs are used, and a 6-parameter affine motion model can represent three Can indicate the model in which CPMV is used.
어파인 움직임 예측은 어파인 MVP(또는 affine inter) 모드 및 어파인 머지를 포함할 수 있다. 어파인 움직임 예측에서, 현재 블록의 움직임 벡터들은 샘플 단위 또는 서브블록 단위로 유도될 수 있다.The affine motion prediction may include an affine MVP (or affine inter) mode and an affine merge. In affine motion prediction, motion vectors of a current block may be derived in units of samples or sub-blocks.
어파인 머지(Affine merge)Affine merge
어파인 머지 모드에서, CPMV는 어파인 움직임 예측으로 코딩된 주변 블록의 어파인 움직임 모델에 따라 결정될 수 있다. 탐색 순서에서어파인 코딩된 주변 블록이 어파인 머지 모드를 위해 사용될 수 있다. 하나 또는 그 이상의 주변 블록들이 어파인 움직임 예측으로 코딩될 때 현재 블록은 AF_MERGE로 코딩될 수 있다. 즉, 어파인 머지 모드가 적용되는 경우, 주변 블록의 CPMV들을 이용하여 현재 블록의 CPMV들이 도출될 수 있다. 이 경우 주변 블록의 CPMV들이 그대로 현재 블록의 CPMV들로 사용될 수도 있고, 주변 블록의 CPMV들이 주변 블록의 사이즈 및 현재 블록의 사이즈를 기초로 수정됨으로써 현재 블록의 CPMV들로 사용될 수 있다.In the afine merge mode, the CPMV may be determined according to the afine motion model of the neighboring block coded by the afine motion prediction. Affine-coded neighboring blocks in the search order may be used for the affine merge mode. When one or more neighboring blocks are coded by affine motion prediction, the current block may be coded as AF_MERGE. That is, when the affine merge mode is applied, CPMVs of the current block may be derived using CPMVs of neighboring blocks. In this case, CPMVs of the neighboring block may be used as CPMVs of the current block, or CPMVs of the neighboring block may be used as CPMVs of the current block by being modified based on the size of the neighboring block and the size of the current block.
어파인 머지 모드가 적용되는 경우, 현재 블록에 대한 CPMV들의 도출을 위하여 어파인 머지 후보 리스트가 구성될 수 있다. 어파인 머지 후보 리스트는, 예를 들어, 다음 후보들 중 적어도 하나를 포함할 수 있다.When the affine merge mode is applied, an affine merge candidate list may be constructed to derive CPMVs for the current block. The affine merge candidate list may include at least one of the following candidates, for example.
1) 상속된 어파인 후보들(inherited affine candidates)1) Inherited affine candidates
2) 구성된 어파인 후보들(constructed affine candidates)2) Constructed affine candidates
3) 제로 MV 후보(zero MV candidate)3) zero MV candidate
여기서, 상속된 어파인 후보들은 주변 블록이 어파인 모드로 코딩된 경우, 주변 블록의 CPMV들을 기반으로 도출되는 후보이고, 구성된 어파인 후보들(constructed affine candidates)은 각 CPMV 단위로 해당 CP 주변 블록의 MV를 기반으로 CPMV들을 구성함(constructing)으로써 도출된 후보이고, 제로 MV 후보(zero MV candidate)는 0을 값으로 갖는 CPMV들로 구성된 후보를 나타낼 수 있다.Here, the inherited affine candidates are candidates derived based on the CPMVs of the neighboring block when the neighboring block is coded in the affine mode, and constructed affine candidates are the corresponding CP neighboring blocks in each CPMV unit. It is a candidate derived by constructing CPMVs based on MV, and a zero MV candidate may represent a candidate composed of CPMVs having a value of 0.
도 19는 본 명세서의 실시예에 따른 어파인 머지 후보 리스트를 구성하기 위한 흐름도의 예이다.19 is an example of a flowchart for configuring an affine merge candidate list according to an embodiment of the present specification.
도 19를 참조하면, 코딩 장치(인코딩 장치 또는 디코딩 장치)는 후보 리스트에 상속된 어파인 후보들(inherited affine candidates)을 삽입하고(S1910), 구성된 어파인 후보들(constructed affine candidates)을 어파인 후보 리스트에 삽입하고(S1920), 제로 MV 후보(zero MV candidate)를 어파인 후보 리스트에 삽입할 수 있다(S1930). 일 실시예에서, 코딩 장치는, 후보 리스트에 포함된 후보들의 개수가 기준 개수(예: 2개)보다 작은 경우, 구성된 어파인 후보들 또는 제로 MV 후보를 삽입할 수 있다.Referring to FIG. 19, a coding apparatus (encoding apparatus or decoding apparatus) inserts inherited affine candidates into a candidate list (S1910), and constructed affine candidates into an affine candidate list And insert into the affine candidate list (S1920), and insert a zero MV candidate into the affine candidate list (S1930). In an embodiment, when the number of candidates included in the candidate list is smaller than the reference number (eg, two), the coding apparatus may insert the configured affine candidates or the zero MV candidate.
도 20은 본 명세서의 실시예에 따른 상속된(inherited) 어파인 움직임 예측자를 유도하기 위한 블록들의 예를 도시하며, 도 21은 본 명세서의 실시예에 따른 상속된 어파인 움직임 예측자를 유도하기 위한 제어점 움직임 벡터들의 예를 도시한다.20 illustrates an example of blocks for deriving an inherited affine motion predictor according to an embodiment of the present specification, and FIG. 21 is a diagram for deriving an inherited affine motion predictor according to an embodiment of the present specification. An example of control point motion vectors is shown.
최대 2개(좌측 인접 CU로부터 하나와 상측 인접 CU들 중 하나)의 상속된 어파인 후보들이 있을 수 있으며, 이는 주변 블록들의 어파인 움직임 모델로부터 유도될 수 있다. 도 20에서 후보 블록들이 도시된다. 좌측 예측자에 대한 스캔 순서는 A0 - A1이고, 상측 예측자에 대한 스캔 순서는 B0 - B1 - B2이다. 각 측면으로부터의 첫번째 상속된 후보들만이 선택된다. 두 상속된 후보들 사이에 프루닝 체크(pruning check)는 수행되지 않을 수 있다. 인접한 어파인 CU가 확인되면, 인접한 어파인 CU의 제어점 움직임 벡터들이 현재 CU의 어파인 머지 리스트에서 CPMVP(control point motion vector predictor) 후보를 유도하기 위해 사용될 수 있다. 도 21에 도시된 것과 같이, 만약 좌측 주변 블록 A가 어파인 모드로 코딩된 경우, 블록 A를 포함하는 CU의 움직임 벡터들 좌상측 코너, 우상측 코너, 및 좌하측 코너의 v2, v3, 및 v4가 사용된다. 블록 A가 4-파라미터 어파인 모델로 코딩되면, 현재 CU의 2개의 CPMV들이 v2 및 v3에 따라 계산된다. 블록 A가 6-파라미터 모델로 코딩된 경우, 현재 CU의 3개의 CPMV들은 v2, v3, 및 v4에 따라 계산된다.There may be up to two (one from the left neighboring CU and one of the upper neighboring CUs) of inherited affine candidates, which may be derived from the affine motion model of neighboring blocks. Candidate blocks are shown in FIG. 20. The scan order for the left predictor is A0-A1, and the scan order for the upper predictor is B0-B1-B2. Only the first inherited candidates from each side are selected. A pruning check may not be performed between the two inherited candidates. When the adjacent affine CU is identified, control point motion vectors of the adjacent affine CU may be used to derive a control point motion vector predictor (CPMVP) candidate from the affine merge list of the current CU. As shown in FIG. 21, if the left neighboring block A is coded in the afine mode, motion vectors of the CU including the block A are v 2 , v 3 of the upper left corner, the upper right corner, and the lower left corner. , And v 4 are used. When block A is coded with a 4-parameter affine model, two CPMVs of the current CU are calculated according to v 2 and v 3 . When block A is coded with a 6-parameter model, the three CPMVs of the current CU are calculated according to v 2 , v 3 , and v 4 .
도 22는 본 명세서의 실시예에 따른 구성된(constructed) 어파인 머지 후보를 유도하기 위한 블록들의 예를 도시한다.22 shows examples of blocks for deriving a constructed affine merge candidate according to an embodiment of the present specification.
구성된 어파인 머지(constructed affine merge)는 각 제어점 마다의 이웃한 병진 움직임 정보를 결합함으로써 구성되는 후보를 의미한다. 도 22에서 도시된 것과 같이 제어점들에 대한 움직임 정보는 특정된 공간적 이웃들 및 시간적 이웃들로부터 유도된다. CPMVk (k = 1, 2, 3, 4)는 k번째 제어점을 나타낸다. 좌상측 코너의 CPMV1 (CP0)에 대하여, B2 - B3 - A2 순서로 블록들이 체크되고 첫번째 사용 가능한 블록의 MV가 사용된다. 우상측 코너의 CPMV2 (CP1)에 대하여 B1 - B0 순서로 블록들이 체크되고, 좌하측 코너의 CPMV3 (CP2)에 대하여 A1 - A0 순서로 블록들이 체크된다. 사용 가능하다면, TMVP가 우하측 코너의 CPMV4 (CP3)에 대하여 사용된다.The constructed affine merge means a candidate formed by combining neighboring translational motion information for each control point. As shown in FIG. 22, motion information for control points is derived from specified spatial and temporal neighbors. CPMV k (k = 1, 2, 3, 4) represents the kth control point. For CPMV1 (CP0) of the upper left corner, blocks are checked in the order of B2-B3-A2 and the MV of the first available block is used. Blocks are checked in the order of B1-B0 with respect to CPMV2 (CP1) in the upper right corner, and blocks in the order of A1-A0 with respect to CPMV3 (CP2) in the lower left corner. If available, TMVP is used for CPMV4 (CP3) in the lower right corner.
4개의 제어점들의 MV들이 획득되면, 어파인 머지 후보들이 이러한 움직임 정보에 기반하여 구성된다. 아래의 제어점 MV들의 조합들이 순서대로 사용된다:When MVs of the four control points are obtained, affine merge candidates are configured based on this motion information. The following combinations of control point MVs are used in order:
{CPMV1, CPMV2, CPMV3}, {CPMV1, CPMV2, CPMV4}, {CPMV1, CPMV3, CPMV4},{CPMV1, CPMV2, CPMV3}, {CPMV1, CPMV2, CPMV4}, {CPMV1, CPMV3, CPMV4},
{CPMV2, CPMV3, CPMV4}, {CPMV1, CPMV2}, {CPMV1, CPMV3}{CPMV2, CPMV3, CPMV4}, {CPMV1, CPMV2}, {CPMV1, CPMV3}
3개의 CPMV들의 조합들은 6-파라미터 어파인 머지 후보를 구성하고, 2개의 CPMV들의 조합은 4-파라미터 어파인 머지 후보를 구성한다. 모션 스케일링 프로세스를 회피하기 위하여, 제어점들의 참조 인덱스들이 다르면, 관련된 제어점 MV들의 조합은 버려진다(discarded).Combinations of three CPMVs constitute a 6-parameter affine merge candidate, and a combination of two CPMVs constitutes a 4-parameter affine merge candidate. In order to avoid the motion scaling process, if the reference indices of the control points are different, the combination of the related control point MVs is discarded.
어파인 MVP(Affine MVP)Affine MVP
도 23은 본 명세서의 실시예예 따른 어파인 MVP 후보 리스트를 구성하기 위한 흐름도의 예이다.23 is an example of a flowchart for configuring an affine MVP candidate list according to an embodiment of the present specification.
어파인 MVP 모드에서, 현재 블록에 대한 2개 이상의 CPMVP(control point mo-tion vector prediction)와 CPMV가 결정 이후, 차이 값에 해당하는 CPMVD(control point motion vector difference)를 인코딩 장치(100)로부터 디코딩 장치(200)로 전송된다.In the afine MVP mode, after two or more control point mo-tion vector prediction (CPMVP) and CPMV for the current block are determined, the control point motion vector difference (CPMVD) corresponding to the difference value is decoded from the encoding device 100 It is sent to the device 200.
어파인 MVP 모드가 적용되는 경우, 현재 블록에 대한 CPMV들의 도출을 위하여 어파인 MVP 후보 리스트가 구성될 수 있다. 예를 들어, 어파인 MVP 후보 리스트는 다음 후보들 중 적어도 하나를 포함할 수 있다. 예를 들어, 어파인 MVP 후보 리스트는 최대 n개(예: 2개)의 후보를 포함할 수 있다.When the affine MVP mode is applied, an affine MVP candidate list may be configured to derive CPMVs for the current block. For example, the affine MVP candidate list may include at least one of the following candidates. For example, the affine MVP candidate list may include a maximum of n (eg, 2) candidates.
1) 인접 CU들의 CPMV들로부터 외삽된(extrapolated) 상속된 어파인 MVP 후보들 (Inherited affine mvp candidates that extrapolated from the CPMVs of the neighbour CUs) (S2310)1) Inherited affine mvp candidates that extrapolated from the CPMVs of the neighbor CUs (S2310)
2) 인접 CU들의 병진 MV들을 사용하여 유도되는 구성된 어파인 MVP 후보들 CPMVPs (Constructed affine mvp candidates CPMVPs that are derived using the trans-lational MVs of the neighbour CUs) (S2320)2) Constructed affine mvp candidates CPMVPs that are derived using the trans-lational MVs of the neighbor CUs) derived using the translational MVs of adjacent CUs (S2320)
3) 주변 CU들로부터의 병진 MV들에 기반한 추가적인 후보들 (Additional candidates based on Translational MVs from neighboring CUs) (S2330)3) Additional candidates based on Translational MVs from neighboring CUs (S2330)
4) 제로 MV 후보 (Zero MVs candidate) (S2340)4) Zero MVs candidate (S2340)
여기서, 상속된 어파인 후보(inherited affine candidate)는, 주변 블록이 어파인 모드로 코딩된 경우 주변 블록의 CPMV들에 기반하여 도출되는 후보이고, 구성된 어파인 후보(constructed affine candidate)는 각 CPMV 단위로 해당 CP 주변 블록의 MV를 기반으로 CPMV들을 구성함으로써 도출된 후보이며, 제로 MV 후보는 그 값이 0인 CPMV들로 구성된 후보를 나타낸다. 어파인 MVP 후보 리스트에 대한 최대 후보 개수가 2개인 경우, 위 순서에서 2) 이하의 후보들은 현재 후보의 개수가 2개 미만인 경우에 대해 고려되고 추가될 수 있다. 또한, 주변 CU들로부터의 병진 MV들에 기반한 추가적인 후보들(additional candidates based on Translational MVs from neighboring CUs)은 아래와 같은 순서로 도출될 수 있다.Here, the inherited affine candidate is a candidate derived based on the CPMVs of the neighboring block when the neighboring block is coded in the affine mode, and the constructed affine candidate is each CPMV unit. As a candidate, it is a candidate derived by configuring CPMVs based on the MV of a block adjacent to the corresponding CP, and a zero MV candidate represents a candidate composed of CPMVs whose value is 0. When the maximum number of candidates for the affine MVP candidate list is two, in the above order, 2) or less candidates may be considered and added when the number of current candidates is less than two. In addition, additional candidates based on Translational MVs from neighboring CUs from neighboring CUs may be derived in the following order.
1) 만약 후보 개수가 2 미만이고 구성된 후보(constructed candidate)의 CPMV0가 유효하면 CPMV0를 어파인 MVP 후보로 사용한다. 즉, CP0, CP1, CP2의 MV가 모두 구성된 후보(constructed candidate)의 CPMV0와 동일하게 설정된다.1) If the number of candidates is less than 2 and the constructed candidate CPMV0 is valid, CPMV0 is used as an affine MVP candidate. That is, the MVs of CP0, CP1, and CP2 are all set to be the same as CPMV0 of the constructed candidate.
2) 만약 후보 개수가 2 미만이고 구성된 후보(constructed candidate)의 CPMV1 이 유효하면 CPMV1를 어파인 MVP 후보로 사용한다. 즉, CP0, CP1, CP2의 MV 가 모두 구성된 후보(constructed candidate)의 CPMV1와 동일하게 설정된다. 2) If the number of candidates is less than 2 and the constructed candidate CPMV1 is valid, CPMV1 is used as an affine MVP candidate. That is, the MVs of CP0, CP1, and CP2 are all set to be the same as CPMV1 of the constructed candidate.
3) 만약 후보 개수가 2 미만이고 구성된 후보(constructed candidate)의 CPMV2가 유효하면 CPMV2를 어파인 MVP 후보로 사용한다. 즉, CP0, CP1, CP2의 MV가 모두 구성된 후보(constructed candidate)의 CPMV2와 동일하게 설정된다.3) If the number of candidates is less than 2 and the constructed candidate CPMV2 is valid, CPMV2 is used as the affine MVP candidate. That is, the MVs of CP0, CP1, and CP2 are all set to be the same as CPMV2 of the constructed candidate.
4) 만약 후보 개수가 2 미만이면 TMVP(temporal motion vector predictor or mvCol)를 어파인 MVP 후보로 사용한다.4) If the number of candidates is less than 2, TMVP (temporal motion vector predictor or mvCol) is used as an affine MVP candidate.
어파인 MVP 후보 리스트는 도 23과 같은 절차에 의해 도출될 수 있다.The affine MVP candidate list may be derived by a procedure as shown in FIG. 23.
상속된 MVP 후보들의 확인 순서는 상속된 어파인 머지 후보들의 확인 순서와 동일하다. 다른 점은, MVP 후보에 대하여, 현재 블록과 동일한 참조 픽처를 갖는 어파인 CU만이 고려된다는 점이다. 상속된 어파인 움직임 예측자가 후보 리스트에 추가될 때 프루닝 프로세스는 적용되지 않는다.The order of checking inherited MVP candidates is the same as that of the inherited affine merge candidates. The difference is that, for the MVP candidate, only affine CUs having the same reference picture as the current block are considered. When the inherited affine motion predictor is added to the candidate list, the pruning process is not applied.
구성된 MVP 후보는 도 22에 도시된 주변 블록들로부터 유도된다. 어파인 머지 후보의 구성과 동일한 확인 순서가 사용된다. 또한, 주변 블록의 참조 픽처 인덱스 또한 확인된다. 확인 순서에서 인터 코딩되고 현재 CU와 동일한 참조 픽처를 갖는 첫번째 블록이 사용된다.The configured MVP candidate is derived from neighboring blocks shown in FIG. 22. The same confirmation order as the composition of the affine merge candidate is used. In addition, reference picture indexes of neighboring blocks are also checked. The first block that is inter-coded in the check order and has the same reference picture as the current CU is used.
SbTMVP (Subblock-based temporal motion vector prediction)SbTMVP (Subblock-based temporal motion vector prediction)
도 24는 본 명세서의 실시예에 따른 ATMVP 후보 리스트를 구성하기 위한 공간적 주변 블록들의 예를 도시한며, 도 25는 SbTMVP에서 서브-CU 움직임 필드를 유도하는 방법의 예를 도시한다.24 illustrates an example of spatial neighboring blocks for constructing an ATMVP candidate list according to an embodiment of the present specification, and FIG. 25 illustrates an example of a method of inducing a sub-CU motion field in SbTMVP.
SbTMVP 방법이 사용될 수 있다. HEVC에서 TMVP(temporal motion vector pre-diction)와 유사하게, SbTMVP는 현재 픽처에서 CU들에 대한 머지 모드 및 움직임 벡터 예측을 개선하기 위해 콜로케이트(collocated) 픽처(col 픽처)에서의 움직임 필드를 사용할 수 있다. TMVP에 의해 사용되는 동일한 col 픽처가 SbTMVP를 위해 사용된다. SbTMVP는 TMVP와 비교하여 아래와 같은 2개의 주요 측면에서 상이하다:The SbTMVP method can be used. Similar to TMVP (temporal motion vector pre-diction) in HEVC, SbTMVP uses a motion field in a collocated picture to improve the merge mode and motion vector prediction for CUs in the current picture. I can. The same col picture used by TMVP is used for SbTMVP. SbTMVP differs from TMVP in two main aspects:
1. TMVP는 CU 레벨에서 움직임을 예측하나, SbTMVP는 서브-CU(sub-CU) 레벨에서 움직임을 예측한다.1. TMVP predicts motion at the CU level, while SbTMVP predicts motion at the sub-CU (sub-CU) level.
2. TMVP는 col 픽처에서 콜로케이트 블록(col 블록)으로부터 시간적 움직임 벡터들을 펫치(fetch)하나(col 블록은 현재 CU에 대하여 우하측 또는 센터 블록임), SbTMVP는, col 픽처로부터 시간적 움직임 정보를 펫치하기 전에 움직임 시프트를 적용하며, 여기서 현재 CU의 공간적 주변 블록들 중 하나로부터의 움직임 벡터로부터 획득된다.2. TMVP fetches temporal motion vectors from the collocated block (col block) in the col picture (col block is the lower right or center block of the current CU), but SbTMVP retrieves temporal motion information from the col picture. Apply a motion shift before fetching, where it is obtained from a motion vector from one of the spatial neighboring blocks of the current CU.
SbTMVP 프로세스가 도 25에서 도시된다. SbTMVP는 2 단계에서 현재 CU 내에서 서브-CU의 움직임 벡터들을 예측한다. 첫번째 단계에서, 도 24에서의 공간적 주변 블록들이 A1, B1, B0, 및 A0의 순서로 검사된다. col 픽처를 참조 픽처로 사용하는 움직임 벡터를 갖는 첫번째 공간적 이웃 블록이 확인되면, 이 움직임 벡터가 움직임 시프트가 적용되는 것으로 선택된다. 공간적 이웃들로부터 그러한 움직임이 확인되지 않으면, 움직임 시프트는 (0, 0)으로 설정된다.The SbTMVP process is shown in FIG. 25. SbTMVP predicts motion vectors of sub-CUs in the current CU in step 2. In the first step, spatial neighboring blocks in FIG. 24 are examined in the order of A1, B1, B0, and A0. When the first spatial neighboring block having a motion vector using the col picture as a reference picture is identified, the motion vector is selected to be motion shifted. If no such motion is found from spatial neighbors, the motion shift is set to (0, 0).
두번째 단계에서, 첫번째 단계에서 확인된 움직임 시프트가 도 25에 도시된 col 픽처들로부터 서브-CU 레벨 움직임 정보(움직임 벡터들 및 참조 인덱스들)를 획득하기 위해 적용된다(즉, 현재 블록의 좌표에 추가된다). 도 25에서의 예는 움직임 시프트가 블록 A1의 움직임으로 설정되는 것을 가정한다. 그러면, 각각의 sub-CU에 대하여, col 픽처에서 해당 블록(센터 샘플을 커버하는 가장 작은 움직임 그리드)의 움직임 정보가 sub-CU에 대한 움직임 정보를 도출하기 위해 사용된다. 콜로케이트된(collocated) sub-CU의 움직임 정보가 확인된 이후, 이는 HEVC의 TMVP 프로세스와 유사한 방식으로 움직임 벡터들 및 참조 인덱스들로 변환되며, 여기서 시간적 움직임 벡터들의 참조 픽처들을 현재 CU의 참조 픽처들에 정렬시키기 위하여 시간적 움직임 스케일링이 적용된다.In the second step, the motion shift identified in the first step is applied to obtain sub-CU level motion information (motion vectors and reference indices) from the col pictures shown in FIG. 25 (that is, to the coordinates of the current block). Is added). The example in FIG. 25 assumes that the motion shift is set to the motion of block A1. Then, for each sub-CU, motion information of the corresponding block (the smallest motion grid covering the center sample) in the col picture is used to derive motion information for the sub-CU. After the motion information of the collocated sub-CU is confirmed, it is converted into motion vectors and reference indices in a manner similar to the TMVP process of HEVC, where reference pictures of temporal motion vectors are converted to the reference picture of the current CU. Temporal motion scaling is applied to align to the fields.
SbTMVP 후보 및 어파인 머지 후보들을 모두 포함하는 결합된 서브블록 기반 머지 리스트(combined sub-block based merge list)가 어파인 머지 모드의 시그널링을 위해 사용될 수 있다(서브블록 기반의 머지 모드로 지칭될 수 있다). SbTMVP 모드는 SPS(sequence parameter set) 플래그에 의해 활성화/비활성화(enabled/disabled)될 수 있다. SbTMVP가 활성화되면, SbTMVP 예측자가 서브블록 기반의 머지 후보들의 리스트에 첫번째 엔트리로서 추가되고, 이후 어파인 머지 후보들이 추가된다. 어파인 머지 후보 리스트의 최대 허용된 사이즈는 5일 수 있다.A combined sub-block based merge list including both the SbTMVP candidate and the affine merge candidate may be used for signaling of the afine merge mode (may be referred to as a subblock-based merge mode. have). The SbTMVP mode may be enabled/disabled by a sequence parameter set (SPS) flag. When SbTMVP is activated, the SbTMVP predictor is added as a first entry in the list of subblock-based merge candidates, and then affine merge candidates are added. The maximum allowed size of the affine merge candidate list may be 5.
SbTMVP에서 사용되는 sub-CU 사이즈는 2x2, 4x4 또는 8x8로 고정될 수 있고, 어파인 머지 모드 또한 마찬가지일 수 있다. SbTMVP 모드는 9보다 크거나 같은 너비(width) 및 높이(height)를 갖는 CU에 적용될 수 있다.The sub-CU size used in SbTMVP may be fixed to 2x2, 4x4 or 8x8, and the affine merge mode may also be the same. The SbTMVP mode can be applied to a CU having a width and height greater than or equal to 9.
추가적인 SbTMVP 머지 후보의 인코딩 로직(encoding logic)은 다른 머지 후보들과 동일할 수 있는데, 이는 각각의 P 또는 B 슬라이즈에 대하여, SbTMVP 후보를 사용할지 여부를 결정하기 위하여 추가적인 RD 체크가 수행될 수 있다.The encoding logic of the additional SbTMVP merge candidate may be the same as the other merge candidates, and this may be performed with an additional RD check to determine whether to use the SbTMVP candidate for each P or B slide. .
AMVR (Adaptive Motion Vector Resolution)AMVR (Adaptive Motion Vector Resolution)
기존에, 슬라이스 헤더에서 use_integer_mv_flag가 0일 때 (CU의 예측된 움직임 벡터와 움직임 벡터 사이의) MVD(motion vector difference)가 1/4 루마 샘플(quarter-luma-sample) 단위로 시그널링 될 수 있다. 본 문서에서, CU-레벨 AMVR 방식이 소개된다. AMVR은 CU의 MVD가 1/4 루마 샘플, 정수 루마 샘플, 또는 4 루마 샘플 단위로 코딩되도록 할 수 있다. 현재 CU가 적어도 하나의 0이 아닌 MVD 성분(non-zero MVD component)을 가지면, CU-레벨 MVD 해상도 지시자(indication)가 조건적으로 시그널링된다. 모든 MVD 성분들(즉, 참조 리스트 L0 및 참조 리스트 L1에 대한 수평 및 수직 MVD들)이 0이면, 1/4 루마 샘플 MVD 해상도가 유추된다.Conventionally, when use_integer_mv_flag in a slice header is 0, a motion vector difference (MVD) (between the predicted motion vector and the motion vector of the CU) may be signaled in units of quarter-luma-samples. In this document, the CU-level AMVR scheme is introduced. AMVR may cause the MVD of the CU to be coded in units of 1/4 luma samples, integer luma samples, or 4 luma samples. If the current CU has at least one non-zero MVD component, a CU-level MVD resolution indicator is conditionally signaled. If all MVD components (i.e., horizontal and vertical MVDs for reference list L0 and reference list L1) are 0, then the 1/4 luma sample MVD resolution is inferred.
적어도 하나의 0이 아닌 MVD 성분을 갖는 CU에 대하여, 제1 플래그가 1/4 루마 샘플 MVD 정확도가 상기 CU에 대해 적용되는지 여부를 결정하기 위해 시그널링된다. 만약 제1 플래그가 0이면, 추가적인 시그널링이 필요하지 않고 1/4 루마 샘플 MVD 정확도가 현재 CU에 대해 사용된다. 그렇지 않으면, 제2 플래그가 정수 루마 샘플 또는 4 루마 샘플 MVD 정확도가 사용되는지 여부를 지시하기 위해 시그널링 된다. 복원된 MV가 의도된 정확도(1/4 루마 샘플, 정수 루마 샘플, 또는 4 루마 샘플)를 담보하기 위하여, CU에 대한 움직임 벡터 예측자들은 이전에 MVD와 함께 추가된 움직임 벡터 예측자와 동일한 정확도를 갖도록 반올림될(rounded) 수 있다. 움직임 벡터 예측자들은 0으로 반올림될 수 있다. (즉, 음의 움지임 벡터 예측자는 양의 무한대로 반올림되고 양의 움직임 벡터 예측자는 음의 무한대로 반올림된다). 인코더는 RD 체크를 사용하여 현재 CU에 대한 움직임 벡터 해상도를 결정한다. 각 MVD 해상도에 대한 3번의 CU-레벨 RD 체크를 항상 수행하는 것을 회피하기 위하여, VTM3에서, 4 루마 샘플 MVD 해상도의 RD 체크는 조건적으로 호출된다. 1/4 샘플 MVD 정확도의 RD 비용이 첫번째로 계산된다. 그러면, 4 루마 샘플 MVD 정확도의 RD 비용의 확인이 필요한지 여부를 결정하기 위하여 정수 루마 샘플 MVD 정확도의 RD 비용이 1/4 루마 샘플 MVD 정확도의 RD 비용과 비교된다. 1/4 루마 샘플 MVD 정확도에 대한 RD 비용이 정수 루마 샘플 MVD 정확도의 RD 비용보다 작을 때, 4 샘플 MVD 정확도의 RD 비용은 생략된다.For a CU with at least one non-zero MVD component, a first flag is signaled to determine whether 1/4 luma sample MVD accuracy is applied for that CU. If the first flag is 0, no additional signaling is required and 1/4 luma sample MVD accuracy is used for the current CU. Otherwise, a second flag is signaled to indicate whether integer luma sample or 4 luma sample MVD accuracy is used. In order for the reconstructed MV to ensure the intended accuracy (1/4 luma sample, integer luma sample, or 4 luma sample), the motion vector predictors for the CU have the same accuracy as the motion vector predictors previously added with the MVD. Can be rounded to have Motion vector predictors can be rounded to zero. (I.e., a negative motion vector predictor is rounded to positive infinity and a positive motion vector predictor is rounded to negative infinity). The encoder determines the motion vector resolution for the current CU using the RD check. In order to avoid always performing 3 CU-level RD checks for each MVD resolution, in VTM3, the RD check of 4 luma sample MVD resolution is called conditionally. The RD cost of 1/4 sample MVD accuracy is calculated first. Then, the RD cost of the integer luma sample MVD accuracy is compared with the RD cost of the 1/4 luma sample MVD accuracy to determine whether it is necessary to check the RD cost of the 4 luma sample MVD accuracy. When the RD cost for 1/4 luma sample MVD accuracy is less than the RD cost for integer luma sample MVD accuracy, the RD cost for 4 sample MVD accuracy is omitted.
움직임 필드 저장 (Motion Field Storage)Motion Field Storage
메모리 부하의 감소를 위하여, 이전에 디코딩된 참조 픽처의 움직임 정보는 일정 영역 단위로 저장될 수 있다. 이는 temporal motion field storage, motion field compression, 또는 motion data compression으로 지칭될 수 있다. 이 경우 어파인 모드가 적용되었는지 여부에 따라 움직임 정보의 저장 단위가 다르게 설정될 수 있다. 이 경우, 명시적으로 시그널링된 움직임 벡터들 중에서 가장 높은 정확도를 갖는 것은 1/4 루마 샘플(quarter-luma-sample)이다. 어파인 모드와 같은 몇몇 인터 예측 모드들에서, 움직임 벡터들은 1/16 루마 샘플 정확도(1/16th-luma-sample precision)에서 유도되고 움직임 보상된 예측은 1/16 샘플 정확도에서 수행된다. 내부적 움직임 필드 저장의 관점에서, 모든 움직임 벡터들은 1/16 루마 샘플 정확도로 저장된다.In order to reduce the memory load, motion information of a reference picture previously decoded may be stored in units of a predetermined area. This may be referred to as temporal motion field storage, motion field compression, or motion data compression. In this case, the storage unit of motion information may be set differently depending on whether the affine mode is applied. In this case, among the explicitly signaled motion vectors, the one with the highest accuracy is a quarter-luma-sample. In some inter prediction modes, such as the afine mode, motion vectors are derived at 1/16th-luma-sample precision and motion compensated prediction is performed at 1/16th-sample accuracy. In terms of internal motion field storage, all motion vectors are stored with 1/16 luma sample accuracy.
본 문서에서, TMVP와 ATMVP에 의해 사용되는 시간적 움직임 필드 저장을 위하여, 움직임 필드 압축은 8x8 정확도(granularity)에서 수행된다. In this document, for storing the temporal motion field used by TMVP and ATMVP, motion field compression is performed with 8x8 granularity.
히스토리 기반 머지 후보 유도(History-based merge candidate derivation)History-based merge candidate derivation
HMVP(history-based MVP) 머지 후보는 공간적 MVP와 TMVP 이후 머지 리스트에 추가될 수 있다. 본 방법에서, 이전에 코딩된 블록의 움직임 정보가 테이블에 저장되고 현재 CU에 대한 MVP로서 사용된다. 다수의 HMVP 후보들로 구성된 테이블은 인코딩/디코딩 프로세스 동안 유지된다. 새로운 CTU 행이 사용되면, 테이블은 리셋된다(비워진다). 서브블록이 아닌 인터 예측으로 코딩된 CU가 있을 때, 관련된 움직임 정보가 새로운 HMVP 후보로서 테이블의 마지막 엔트리에 추가된다. HMVP (history-based MVP) merge candidates may be added to the merge list after spatial MVP and TMVP. In this method, motion information of a previously coded block is stored in a table and used as an MVP for a current CU. A table composed of multiple HMVP candidates is maintained during the encoding/decoding process. When a new CTU row is used, the table is reset (emptied). When there is a CU coded by inter prediction other than a subblock, related motion information is added to the last entry of the table as a new HMVP candidate.
일 실시예에서, HMVP 테이블 사이즈(S)는 6으로 설정되는데, 이는 최대 6개의 HVMP 후보들이 테이블에 추가될 수 있음을 의미한다. 테이블에 새로운 움직임 후보를 삽입할 때, 제한된(constrained) FIFO(first-in-first-out) 규칙이 사용된다. 여기서 추가하고자 하는 HMVP 후보가 동일한 HMVP 후보가 테이블에 존재하는지 여부를 확인하기 위한 중복성(redundancy) 확인이 먼저 수행된다. 동일한 HMVP 후보가 존재하면, 기존의 동일한 HMVP 후보가 테이블로부터 제거되고 모든 HMVP 후보들이 앞 순서로 이동한다. In one embodiment, the HMVP table size (S) is set to 6, which means that a maximum of 6 HVMP candidates can be added to the table. When inserting a new motion candidate into a table, a constrained first-in-first-out (FIFO) rule is used. Here, a redundancy check is first performed to check whether an HMVP candidate with the same HMVP candidate to be added exists in the table. If the same HMVP candidate exists, the same existing HMVP candidate is removed from the table and all HMVP candidates are moved in the previous order.
HMVP 후보들은 머지 후보 리스트 구성 프로세스에서 사용될 수 있다. 테이블에서 가장 최근의 HMVP 후보들이 확인되고, TMVP 후보 다음 순서로 머지 후보 리스트에 삽입된다. HMVP 후보에 대한 중복성 확인이 공간적 또는 시간적 머지 후보에 대해 적용된다.HMVP candidates can be used in the merge candidate list construction process. The most recent HMVP candidates are identified in the table, and are inserted into the merge candidate list in the order following the TMVP candidates. Redundancy check for HMVP candidates is applied to spatial or temporal merge candidates.
중복성 확인 동작들의 수행 횟수를 감소시키기 위하여, 아래의 단순화 방법들이 사용될 수 있다.In order to reduce the number of times the redundancy check operations are performed, the following simplification methods may be used.
1) 머지 리스트 생성을 위한 HMVP 후보들의 개수는 (N <= 4) ? M : (8 - N)으로 설정된다. 여기서 N은 머지 리스트에 존재하는 후보들의 개수, M은 테이블에서 사용 가능한 HMVP 후보들의 개수를 나타낸다.1) The number of HMVP candidates for creating a merge list is (N <= 4)? M: It is set to (8-N). Here, N denotes the number of candidates existing in the merge list, and M denotes the number of HMVP candidates available in the table.
2) 사용 가능한 머지 후보들의 총 개수가 최대 허용된 머지 후보들의 개수에서 1을 뺀 값에 도달하면, HVMP로부터의 머지 후보 리스트 구성 프로세스는 종료된다.2) When the total number of usable merge candidates reaches a value minus 1 from the maximum number of allowed merge candidates, the process of constructing a merge candidate list from HVMP is terminated.
쌍 평균 머지 후보 유도(Pair-wise average merge candidates derivation)Pair-wise average merge candidates derivation
쌍 평균 후보들은 머지 후보 리스트에 존재하는 후보들의 기 정의된 쌍들의평균에 의해 생성된다. 여기서 기 정의된 쌍들은 {(0, 1), (0, 2), (1, 2), (0, 3), (1, 3), (2, 3)}로서 정의되는데, 0, 1, 2, 3과 같은 숫자들은 머지 후보 리스트에서의 머지 인덱스이다. 움직임 벡터들의 평균은 각 참조 리스트에 대해 개별적으로 계산된다. 하나의 리스트에서 2개의 움직임 벡터들이 모두 사용 가능하면, 2개의 움직임 벡터들이 서로 다른 참조 픽처에 대한 것이라 하더라도 2개의 움직임 벡터들의 평균 값이 사용된다. 만약 하나의 움직임 벡터만이 사용 가능하면, 그 사용 가능한 움직임 벡터가 바로 사용된다. 사용 가능한 움직임 벡터가 없으면, 그 리스트는 사용 불가능한(invalid) 것으로 유지된다.Pair average candidates are generated by an average of predefined pairs of candidates existing in the merge candidate list. Here, the predefined pairs are defined as {(0, 1), (0, 2), (1, 2), (0, 3), (1, 3), (2, 3)}, 0, 1 Numbers such as, 2, and 3 are merge indexes in the merge candidate list. The average of motion vectors is calculated individually for each reference list. If both motion vectors are available in one list, the average value of the two motion vectors is used even if the two motion vectors are for different reference pictures. If only one motion vector is available, the available motion vector is used immediately. If there are no motion vectors available, the list is kept invalid.
쌍 평균 머지 후보가 추가된 이후에도 머지 리스트가 채워지지 않을 때, 제로 MV들이 최대 머지 후보 개수에 도달할 때까지 삽입된다.When the merge list is not filled even after the pair average merge candidate is added, zero MVs are inserted until the maximum number of merge candidates is reached.
단일 예측 후보 리스트 구성(Uni-prediction candidate list construction)Uni-prediction candidate list construction
도 26은 본 명세서의 실시예에 따른 단일 예측 후보 리스트를 구성하기 위한 공간적 주변 블록들과 시간적 주변 블록들의 예를 도시한다.26 illustrates examples of spatial neighboring blocks and temporal neighboring blocks for constructing a single prediction candidate list according to an embodiment of the present specification.
단일 예측 후보 리스트는 5개의 단일 예측 움직임 벡터 후보들로 구성된다. 단일 예측 후보 리스트는 5개의 공간적 주변 블록들(도 26의 1 내지 5로 표시됨) 및 2개의 시간적 동일 위치(co-located) 블록들(도 26의 6 내지 7로 표시됨)을 포함하는 7개의 주변 블록들로부터 유도된다. 7개의 주변 블록들의 움직임 벡터들이 수집되고 아래와 같은 순서에 의해 단일 예측 후보 리스트에 추가된다. The single prediction candidate list consists of five single prediction motion vector candidates. A single prediction candidate list is 7 perimeters including five spatial neighboring blocks (indicated by 1 to 5 in Fig. 26) and two temporally co-located blocks (indicated by 6 to 7 in Fig. 26). Derived from blocks. Motion vectors of 7 neighboring blocks are collected and added to a single prediction candidate list in the following order.
단일 예측 주변 블록들의 움직임 벡터들, 양방향 예측이 적용된(bi-predicted) 주변 블록들에 대하여, L0 움직임 벡터들(즉, 양방향 예측 MV의 L0 움직임 벡터 파트), L1 움직임 벡터들(즉, 양방향 예측 MV의 L1 움직임 벡터 파트), 양방향 예측이 적용된 MV들의 L0 및 L1 움직임 벡터들의 평균의 순서로 단일 예측 후보 리스트에 추가될 수 있다. 만약 후보들의 개수가 5보다 작으면, 제로 움직임 벡터가 리스트의 마지막에 추가된다.For motion vectors of single prediction neighboring blocks, bi-predicted neighboring blocks, L0 motion vectors (i.e., the L0 motion vector part of the bi-prediction MV), L1 motion vectors (i.e., bi-predicted) The L1 motion vector part of the MV) may be added to the single prediction candidate list in the order of an average of L0 and L1 motion vectors of MVs to which bi-directional prediction is applied. If the number of candidates is less than 5, a zero motion vector is added to the end of the list.
실시예Example
이하 본 명세서의 실시예에 따른 MVP 후보 중 하나인 TMVP를 개선하기 위한 방법에 대하여 설명한다. 본 명세서의 실시예들은 블록 크기를 고려한 센터 동일위치 블록(center collocated block) 확인 프로세스를 스킵하는 방법, 블록 크기를 고려한 새로운 동일위치 블록의 사용 방법, 반올림된(rounded) 센터 위치의 동일위치 블록이 RB 위치와 동일할 때의 프로세스, 특정 조건 없이 TMVP를 개선하는 방법을 제공한다. 이하 설명되는 실시예와 같이 인터 예측에 있어 TMVP를 개선함으로써 인코딩/디코딩 복잡도 및 성능 개선이 달성될 수 있다. 이하 설명되는 TMVP 개선은 인코더 및 디코더에서 수행될 수 있다. TMVP는 MVP 후보로 포함될 수 있고 머지 후보로도 포함될 수 있다.Hereinafter, a method for improving TMVP, one of MVP candidates according to an embodiment of the present specification, will be described. In the embodiments of the present specification, a method of skipping a process of checking a center collocated block in consideration of a block size, a method of using a new co-located block in consideration of a block size, and a co-located block at a rounded center position are Provides a method for improving TMVP without specific conditions and processes when the RB location is the same. Encoding/decoding complexity and performance may be improved by improving TMVP in inter prediction as in the embodiments described below. The TMVP enhancement described below can be performed in the encoder and decoder. TMVP may be included as an MVP candidate and may also be included as a merge candidate.
디코딩 장치(200)는 현재 블록의 공간적 주변 블록 및/또는 시간적 주변 블록을 기반으로 움직임 정보 후보 리스트(예: MVP 후보 리스트)를 도출할 수 있다. 또한, 디코딩 장치(200)는 수신된 선택 정보(인터 예측 정보)(예: 머지 인덱스, MVP 플래그, 또는 MVP 인덱스)를 기반으로 움직임 정보 후보 리스트(예: 머지 후보 리스트 또는 MVP 후보 리스트)에 포함된 후보들 중 하나를 선택할 수 있다. 이후, 디코딩 장치(200)는 도출된 움직임 정보를 기반으로 예측 샘플을 생성할 수 있다. 여기서, 예를 들어, 디코딩 장치(200)는 선택된 후보를 현재 블록의 MVP 후보로서 결정할 수 있다. 또한, 시간적 주변 블록은 현재 블록에 대응하는 참조 픽처 내의 동일 위치 블록(collocated block)을 나타낼 수 있다. TMVP 방법은 시간적 주변 블록의 움직임 벡터를 움직임 정보 후보 리스트의 시간적 후보로 도출하고, 동일위치 블록의 움직임 벡터로부터 도출된 시간적 후보를 현재 블록의 MVP 로 사용하는 방법을 나타낼 수 있다.The decoding apparatus 200 may derive a motion information candidate list (eg, an MVP candidate list) based on a spatial neighboring block and/or a temporal neighboring block of the current block. In addition, the decoding apparatus 200 is included in the motion information candidate list (eg, merge candidate list or MVP candidate list) based on the received selection information (inter prediction information) (eg, merge index, MVP flag, or MVP index). One of the candidates can be selected. Thereafter, the decoding apparatus 200 may generate a prediction sample based on the derived motion information. Here, for example, the decoding apparatus 200 may determine the selected candidate as the MVP candidate of the current block. Also, the temporal neighboring block may represent a collocated block in a reference picture corresponding to the current block. The TMVP method may represent a method of deriving a motion vector of a temporal neighboring block as a temporal candidate of a motion information candidate list, and using a temporal candidate derived from a motion vector of a co-located block as an MVP of the current block.
도 27은 본 명세서의 실시예에 따른 TMVP를 유도하기 위한 블록들의 예를 도시한다.27 shows examples of blocks for inducing TMVP according to an embodiment of the present specification.
도 27과 같이 현재 블록의 우하측(right-bottom) 위치에 해당하는 참조 픽처 내의 블록(동일위치 블록)의 움직임 벡터가 TMVP로서 사용될 수 있다. 이때 우하측 동일위치 블록(RB)이 인트라 예측으로 코딩된 블록이거나 우하측 동일위치 블록(RB)이 픽처 경계를 벗어나는 것과 같은 이유로 사용 불가능한 경우 현재 블록의 센터 위치에 대응하는 센터 동일위치 블록(C0)이 사용된다. 여기서 센터 위치라 함은 센터 우하측 위치를 나타낼 수 있다. 즉, 센터 위치는 현재 블록의 센터에 4개의 샘플들이 위치하는 경우 4개의 샘플들 중 우하측 샘플의 위치를 나타낼 수 있다. 예를 들어, RB 위치는 ColBr로 지칭될 수 있고, C0 위치는 ColCtr로 지칭될 수 있다.As shown in FIG. 27, a motion vector of a block (colocated block) in a reference picture corresponding to a right-bottom position of the current block may be used as the TMVP. At this time, if the lower right co-located block (RB) is a block coded by intra prediction or the lower-right co-located block (RB) is not available for reasons such as deviating from the picture boundary, the center co-located block (C0) corresponding to the center position of the current block ) Is used. Here, the center position may refer to a position at the lower right of the center. That is, the center position may indicate the position of the lower right sample among the 4 samples when 4 samples are located at the center of the current block. For example, the RB position may be referred to as ColBr, and the C0 position may be referred to as ColCtr.
상술한 바와 같은 움직임 필드 저장(motion field storage) 기법이 적용되는 경우, 참조 픽처에 저장되는 움직임 벡터는 특정 크기, 예를 들어 8x8 블록 단위 압축된 움직임 정보가 저장되기 때문에 특정 블록 크기에 대하여 RB와 C0는 동일한 움직임 정보를 갖게 된다. 도 28은 우하측 동일위치 블록(RB)과 센터 동일위치 블록(C0)이 동일한 그리드(grid)에 존재하는 경우의 예를 도시한다.When the motion field storage technique as described above is applied, the motion vector stored in the reference picture has a specific size, for example, motion information compressed in units of 8x8 blocks is stored. C0 has the same motion information. Fig. 28 shows an example in which the lower right co-located block RB and the center co-located block C0 exist in the same grid.
도 28과 같이 우하측 동일위치 블록(RB)과 센터 동일위치 블록(C0)이 동일한 그리드에 속할 때, 우하측 동일위치 블록(RB)이 사용 가능하지 않으면 센터 동일위치 블록(C0)도 사용 가능하지 않음에도 불구하고 센터 동일위치 블록(C0)에 대한 사용 가능성(availability) 확인이 수행될 수 있다. 이러한 불필요한 확인 절차를 개선하기 위한 방법이 제안된다. 즉, 8x8 그리드의 단위로 움직임 벡터가 (압축되어) 저장되고 우하측 col 블록(RB)과 센터 col 블록(C0)이 동일한 8x8 그리드에 위치할 때, 우하측 col 블록(RB)이 사용 불가능하면 당연히 센터 col 블록(C0)도 사용 불가능함이 추론됨에도 불구하고, 불필요하게 센터 col 블록(C0)에 대한 사용 가능성 확인 절차가 수행되는 경우를 방지하기 방법이 제공된다. 이러한 불필요한 확인 절차를 개선하기 위하여 블록의 사이즈에 기반한 조건(블록 사이즈가 작은 경우 우하측 col 블록(RB)과 센터 col 블록(C0)이 동일한 그리드에 위치하므로 센터 col 블록(C0)에 대한 확인을 생략) 또는 우하측 col 블록(RB)의 위치 값과 센터 col 블록(C0)의 위치 값에 반올림(rounding) 값을 적용한 후 반올림 값들을 비교하는 방법이 제공된다.As shown in Fig. 28, when the lower right co-located block (RB) and the center co-located block (C0) belong to the same grid, the center co-located block (C0) can also be used if the lower right co-located block (RB) is not available. Although not, the availability check for the center co-located block C0 may be performed. A method is proposed to improve this unnecessary verification procedure. That is, when motion vectors are stored (compressed) in units of an 8x8 grid and the lower right col block (RB) and center col block (C0) are located in the same 8x8 grid, if the lower right col block (RB) is unavailable Naturally, although it is inferred that the center col block C0 is also unusable, a method is provided to prevent the case where a usability check procedure for the center col block C0 is unnecessarily performed. In order to improve this unnecessary verification process, conditions based on the size of the block (if the block size is small, the lower right col block (RB) and the center col block (C0) are located on the same grid, so check the center col block (C0). Omitted) or a method of comparing the rounded values after applying a rounding value to the position value of the lower right col block RB and the position value of the center col block C0.
한편, 인코딩 장치(100)에도 본 실시예에 따른 TMVP 개선 기법이 적용될 수 있다. 예를 들어, 인코딩 장치(100)는 현재 블록의 공간적 주변 블록 및/또는 시간적 주변 블록을 기반으로 움직임 정보 후보 리스트(예: MVP 후보 리스트)를 도출할 수 있다. 또한, 인코딩 장치(100)는 움직임 정보 후보 리스트에 포함된 후보들 중 하나를 선택하고, 선택된 후보를 기반으로 현재 블록의 움직임 정보를 도출할 수 있다. 인코딩 장치(100)는 도출된 움직임 정보를 기반으로 예측 샘플을 생성할 수 있고, 선택된 후보를 지시하는 선택 정보(인터 예측 정보)(예: 머지 인덱스, MVP 플래그, 또는 MVP 인덱스)를 인코딩하여 전송 및/또는 저장할 수 있다. 시간적 주변 블록을 기반으로 시간적 움직임 정보 후보를 도출함에 있어 본 실시예가 적용될 수 있다. 이와 같이, 본 명세서의 실시예에 따른 인터 예측 방법은 인코딩 장치(100)와 디코딩 장치(200)에 의해 모두 수행될 수 있으며, 이하에서는 설명의 편의를 위해 본 실시예에 따른 동작들을 수행하는 장치를 코딩 장치로 통칭한다.Meanwhile, the TMVP improvement technique according to the present embodiment may also be applied to the encoding apparatus 100. For example, the encoding apparatus 100 may derive a motion information candidate list (eg, an MVP candidate list) based on a spatial neighboring block and/or a temporal neighboring block of the current block. Also, the encoding apparatus 100 may select one of candidates included in the motion information candidate list, and derive motion information of the current block based on the selected candidate. The encoding device 100 may generate a prediction sample based on the derived motion information, and encode and transmit selection information (inter prediction information) (eg, merge index, MVP flag, or MVP index) indicating the selected candidate. And/or can be stored. In deriving a temporal motion information candidate based on a temporal neighboring block, this embodiment can be applied. As described above, the inter prediction method according to the embodiment of the present specification may be performed by both the encoding apparatus 100 and the decoding apparatus 200. Hereinafter, for convenience of description, an apparatus for performing operations according to the present embodiment Is collectively referred to as a coding device.
실시예 1Example 1
도 29는 본 명세서의 실시예에 따른 TMVP 확인 조건을 고려하여 MVP 후보 리스트를 구성하기 위한 흐름도의 예이다.29 is an example of a flowchart for configuring an MVP candidate list in consideration of a TMVP confirmation condition according to an embodiment of the present specification.
상술한 바와 같이, 우하측 동일위치 블록(RB)과 센터 동일위치 블록(C0)이 동일한 그리드에 존재할 때 우하측 동일위치 블록(RB)이 사용 가능하지 않으면 센터 동일위치 블록(C0) 또한 사용 가능하지 않음에도 불구하고, 불필요하게 터 동일위치 블록(C0)에 대한 사용 가능성 확인이 수행되는 경우를 없애거나 감소시키기 위한 방법이 제공된다. 본 실시예에 따르면, 블록의 크기를 고려하여 TMVP의 동일위치 블록 후보인 센터 동일위치 블록(C0)의 적용 여부가 결정될 수 있다. 본 실시예에 따른 MVP 후보 리스트의 구성 방법은 도 29와 같이 수행될 수 있다.As described above, when the lower right co-located block (RB) and the center co-located block (C0) exist in the same grid, the center co-located block (C0) can also be used if the lower right co-located block (RB) is not available. Although not, a method for eliminating or reducing a case in which the availability check for the co-located block C0 is unnecessarily performed is provided. According to the present embodiment, whether to apply the center co-located block C0, which is a co-located block candidate of TMVP, may be determined in consideration of the size of the block. A method of configuring an MVP candidate list according to this embodiment may be performed as shown in FIG. 29.
도 29를 참조하면, 코딩 장치는 현재 블록의 공간적 주변 블록들에 대한 사용 가능성 확인 및 사용 가능한 공간적 주변 블록들의 움직임 정보를 공간적 MVP 후보로서 MVP 후보 리스트에 추가한다(S2905). 이후, 코딩 장치는 시간적 주변 블록들 중에서 현재 블록의 우하단 코너에 이웃한 우하측 동일위치(collocated) 블록(RB)(제1 동일위치 블록, 제1 col 블록)이 사용가능한지 여부를 확인하고, 제1 col 블록이 사용 가능한 경우, 코딩 장치는 제1 col 블록의 움직임 정보를 시간적 MVP 후보로서 MVP 후보 리스트에 추가한다(S2910). 제1 col 블록이 사용 가능하지 않은 경우, 코딩 장치는 제1 col 블록의 움직임 정보를 시간적 MVP 후보로서 추가하지 않고 다른 시간적 주변 블록을 고려한다.Referring to FIG. 29, the coding apparatus checks the availability of spatial neighboring blocks of the current block and adds motion information of the available spatial neighboring blocks to the MVP candidate list as a spatial MVP candidate (S2905). Thereafter, the coding apparatus checks whether a lower-right collocated block (RB) (a first co-located block, a first col block) adjacent to the lower right corner of the current block among temporal neighboring blocks is usable, and When the first col block is available, the coding device adds motion information of the first col block as a temporal MVP candidate to the MVP candidate list (S2910). When the first col block is not available, the coding apparatus does not add motion information of the first col block as a temporal MVP candidate, but considers another temporal neighboring block.
제1 col 블록이 사용 가능하지 않고 특정 조건이 만족 되는 지 여부를 확인한다(S2915). 제1 col 블록이 사용 가능하지 않고 특정 조건이 만족 되면, 코딩 장치는 현재 블록의 일부 영역(예: 센터 영역)에 위치한 센터 동일위치 블록(제2 동일위치 블록, 제2 col 블록)이 사용가능한지 여부를 확인하고, 사용 가능한 경우 제2 col 블록의 움직임 정보를 시간적 MVP 후보로서 MVP 후보 리스트에 추가한다(S2920). 제2 col 블록이 사용 불가능한 경우, 코딩 장치는 제2 col 블록을 고려하지 않고, 시간적 MVP 후보를 MVP 후보 리스트에 추가하지 않는다. It is checked whether the first col block is not usable and a specific condition is satisfied (S2915). If the first col block is not available and a specific condition is satisfied, the coding device checks whether the center co-located block (the second co-located block, the second col block) located in a partial area (eg, center area) of the current block is available. Whether or not, if available, motion information of the second col block is added to the MVP candidate list as a temporal MVP candidate (S2920). If the second col block is unavailable, the coding device does not consider the second col block and does not add a temporal MVP candidate to the MVP candidate list.
여기서 특정 조건은 제1 col 블록의 위치와 관련된 조건이며, 보다 구체적으로 제1 col 블록과 제2 col 블록이 동일한 그리드에 속하는지 여부를 판단하기 위한 조건이다. 본 명세서의 실시예에 따르면, 특정 조건은 현재 블록의 사이즈가 기준 사이즈보다 작은지 여부, 또는 제1 col 블록의 위치 좌표의 반올림 값와 제2 col 블록의 위치 좌표의 반올림 값이 동일한지 여부를 포함할 수 있다. 이 경우, 제1 col 블록이 사용 가능하지 않은 경우 곧바로 제2 col 블록에 대한 사용 가능성 확인을 수행하는 경우와 비교하여, 제1 col 블록과 제2 col 블록이 동일한 그리드에 속함으로 인하여 동일하게 사용 불가능함에도 불필요하게 제2 col 블록에 대한 사용 가능성 확인을 반복함으로써 발생하는 시간/자원 낭비를 감소시킬 수 있다.Here, the specific condition is a condition related to the position of the first col block, and more specifically, a condition for determining whether the first col block and the second col block belong to the same grid. According to an embodiment of the present specification, a specific condition includes whether the size of the current block is smaller than the reference size, or whether the rounded value of the location coordinates of the first col block and the location coordinates of the second col block are the same. can do. In this case, when the first col block is not available, the first col block and the second col block belong to the same grid, compared to the case of immediately checking the availability of the second col block. Although it is impossible, it is possible to reduce waste of time/resource caused by unnecessarily repeating the usability check for the second col block.
이후, 코딩 장치는 HMVP 후보, 쌍(pair-wise) 예측 후보에 대한 사용 가능성 확인을 수행하고 사용 가능한 후보를 MVP 후보 리스트에 추가한다(S2925, S2930). MVP 후보 리스트가 채워지지 않은 경우, 코딩 장치는 제로 움직임 벡터를 MVP 후보 리스트에 추가한다(S2935).Thereafter, the coding apparatus checks the availability of the HMVP candidate and the pair-wise prediction candidate, and adds the available candidate to the MVP candidate list (S2925 and S2930). If the MVP candidate list is not filled, the coding device adds a zero motion vector to the MVP candidate list (S2935).
도 30은 본 명세서의 실시예에 따른 블록 크기 조건에 기반하여 TMVP 후보를 도출하기 위한 흐름도의 예이다. 도 30의 조건은 현재 블록의 사이즈(너비, 높이)에 의해 결정되며, 보다 구체적으로 현재 블록의 너비(w)와 높이(h)가 각각 기준 너비(T1)와 기준 높이(T2) 보다 작거나 같은 경우 제2 col 블록에 대한 사용 가능성 확인이 생략될 수 있다. 도 30의 흐름도는 도 29의 S2915 단계의 일 예에 해당할 수 있다.30 is an example of a flowchart for deriving a TMVP candidate based on a block size condition according to an embodiment of the present specification. The condition of FIG. 30 is determined by the size (width, height) of the current block, and more specifically, the width (w) and height (h) of the current block are smaller than the reference width (T1) and the reference height (T2), respectively. In the same case, the usability check for the second col block may be omitted. The flowchart of FIG. 30 may correspond to an example of step S2915 of FIG. 29.
도 30을 참고하면, 코딩 장치는 현재 블록의 너비(w)와 높이(h)가 각각 기준 너비(T1)와 기준 높이(T2) 보다 큰지 여부를 결정한다(S3005). 즉, 코딩 장치는 현재 블록의 사이즈가 기준 사이즈보다 큰지 여부를 결정한다. 이때 기준 사이즈(T1, T2)는 2, 4, 8, 16과 같이 정해진 값으로 결정되거나, 또는 움직임 벡터 압축 단위/크기에 기반하여 결정될 수 있다. 현재 블록의 사이즈가 기준 사이즈보다 작거나 같은 경우, 코딩 장치는 제2 col 블록에 대한 사용 가능성 확인을 생략하고 다음 단계(예: HMVP 후보 확인 단계, 도 29의 S2925 단계)로 진행할 수 있다. Referring to FIG. 30, the coding apparatus determines whether the width (w) and height (h) of the current block are greater than the reference width (T1) and the reference height (T2), respectively (S3005). That is, the coding apparatus determines whether the size of the current block is larger than the reference size. In this case, the reference sizes T1 and T2 may be determined as a predetermined value such as 2, 4, 8, or 16, or may be determined based on a motion vector compression unit/size. If the size of the current block is less than or equal to the reference size, the coding apparatus may skip the availability check for the second col block and proceed to the next step (eg, HMVP candidate check step, step S2925 of FIG. 29 ).
현재 블록의 사이즈가 기준 사이즈보다 큰 경우, 코딩 장치는 col 블록(제2 col 블록) 위치에 대한 반올림(rounding)을 적용하고, col 픽처의 사용 가능성을 확인하고, 인터 예측이 적용된 블록인지 확인하고, IBC(intra block copy)가 적용된 블록인지 확인한다(S3010, S3015, S3020, S3025). 제2 col 블록이 사용 가능한 경우, 코딩 장치는 제2 col 블록의 움직임 벡터를 유도하고, 해당 움직임 벡터를 시간적 MVP 후보로서 MVP 후보 리스트에 추가한다(S3030).If the size of the current block is larger than the reference size, the coding apparatus applies rounding to the position of the col block (the second col block), checks the availability of the col picture, and checks whether the block to which inter prediction is applied. , Check whether the block to which intra block copy (IBC) is applied (S3010, S3015, S3020, S3025). When the second col block is available, the coding device derives the motion vector of the second col block, and adds the motion vector as a temporal MVP candidate to the MVP candidate list (S3030).
실시예 2Example 2
도 31은 본 명세서의 실시예에 따른 블록 크기 조건에 기반하여 TMVP 후보를 도출하기 위한 흐름도의 다른 예이며, 도 32는 본 명세서의 실시예에 따른 시간적 주변 블록들의 다른 예를 도시한다.31 is another example of a flowchart for deriving a TMVP candidate based on a block size condition according to an embodiment of the present specification, and FIG. 32 illustrates another example of temporal neighboring blocks according to an embodiment of the present specification.
실시예 1에서 설명된 방법은 아래와 같이 변경될 수 있다. 즉, 블록 크기가 기준 크기보다 작은 경우 제2 col 블록에 대한 확인을 생략하지 않고 다른 위치(예: 현재 블록의 좌상단 위치, 도 33의 C1)의 블록을 제2 col 블록으로 설정(변경)하고 사용 가능성 확인을 수행할 수 있다. The method described in Example 1 may be changed as follows. That is, if the block size is smaller than the reference size, the second col block is set (changed) as the second col block without omitting the confirmation of the second col block and a block at a different location (eg, the upper left position of the current block, C1 in FIG. 33). Availability check can be performed.
도 31을 참조하면, 코딩 장치는 현재 블록의 너비(w)와 높이(h)가 각각 기준 너비(T1)와 기준 높이(T2) 보다 큰지 여부를 결정한다(S3105). 현재 블록의 사이즈가 기준 사이즈보다 큰 경우, 코딩 장치는 센터 col 블록(C0)에 대하여 S3110, S3115, S3120, S3125 단계를 통해 사용 가능성을 확인하고, 사용 가능한 경우 센터 col 블록(C0)의 움직임 벡터를 유도하여 시간적 MVP 후보로서 MVP 후보 리스트에 추가할 수 있다(S3130). 현재 블록의 사이즈가 기준 사이즈보다 작거나 같은 경우, 코딩 장치는 좌상측 col 블록(C1)에 대하여 S3135, S3140, S3145, S3150 단계를 통해 사용 가능성을 확인하고, 사용 가능한 경우 좌상측 col 블록(C1)의 움직임 벡터를 유도하여 시간적 MVP 후보로서 MVP 후보 리스트에 추가한다(S3155).Referring to FIG. 31, the coding apparatus determines whether a width w and a height h of a current block are greater than a reference width T1 and a reference height T2, respectively (S3105). If the size of the current block is larger than the reference size, the coding device checks the availability of the center col block (C0) through steps S3110, S3115, S3120, and S3125, and if available, the motion vector of the center col block (C0). By inducing, it can be added to the MVP candidate list as a temporal MVP candidate (S3130). When the size of the current block is less than or equal to the reference size, the coding device checks the availability of the upper left col block (C1) through steps S3135, S3140, S3145, and S3150, and if available, the upper left col block (C1) ), and add it to the MVP candidate list as a temporal MVP candidate (S3155).
실시예 3Example 3
도 33은 본 명세서의 실시예에 따른 우하측 col 블록의 반올림 값과 센터 col 블록의 반올림 값에 기반하여 TMVP 후보를 도출하기 위한 흐름도의 예이다. 도 33의 흐름도는 도 29의 S2915 단계의 일 예에 해당할 수 있다.33 is an example of a flowchart for deriving a TMVP candidate based on a rounded value of a lower right col block and a rounded value of a center col block according to an embodiment of the present specification. The flowchart of FIG. 33 may correspond to an example of step S2915 of FIG. 29.
본 실시예는 우하측 col 블록(RB)과 센터 col 블록(C0)이 동일한 그리드에 속할 때 우하측 col 블록(RB)이 사용 가능하지 않으면 센터 col 블록(C0) 또한 사용 가능하지 않음에도 불구하고, 불필요하게 센터 col 블록(C0)에 대한 사용 가능성 확인이 수행되는 경우를 개선하기 위한 다른 방법을 제공한다. 본 실시예에 따르면, 코딩 장치는 반올림된 우하측 col 블록(RB)의 위치 값(제1 반올림 값)과 반올림된 센터 col 블록(C0)의 위치 값(제2 반올림 값)이 동일한 지 여부를 확인하고, 제1 반올림 값과 제2 반올림 값이 동일한 경우 센터 col 블록에 대한 사용 가능성 확인을 생략한다.In this embodiment, although the lower right col block RB and the center col block C0 belong to the same grid, if the lower right col block RB is not available, the center col block C0 is also not available. Also, another method is provided to improve the case where the availability check for the center col block C0 is unnecessarily performed. According to the present embodiment, the coding apparatus determines whether the position value (first rounded value) of the rounded lower right col block RB and the position value (second rounded off value) of the rounded center col block C0 are the same. Check, and if the first rounded value and the second rounded value are the same, the usability check for the center col block is omitted.
도 33을 참고하면, 코딩 장치는 우하측 col 블록(RB)의 위치 값(x, y)과 센터 col 블록(C0)의 위치 값(x, y)에 대해 각각 반올림을 적용한다(S3305). 여기서 반올림은 움직임 압축(motion compression) 단위인 8의 배수로 수행될 수 있다. 예를 들어, 아래의 표 1과 같이 수행될 수 있으며, pos.x, pos.y가 각 col 블록의 위치 값(좌상단 샘플의 위치)로서 입력되고, 각 col 블록의 반올림된 위치 값(pos)이 출력된다.Referring to FIG. 33, the coding apparatus applies rounding to the position values (x, y) of the lower right col block (RB) and the position values (x, y) of the center col block (C0) (S3305). Here, rounding may be performed in a multiple of 8, which is a unit of motion compression. For example, it can be performed as shown in Table 1 below, where pos.x and pos.y are input as the position value of each col block (the position of the upper left sample), and the rounded position value (pos) of each col block Is output.
Figure PCTKR2020002615-appb-T000001
Figure PCTKR2020002615-appb-T000001
코딩 장치는 센터 col 블록(제1 col 블록)에 대한 제1 반올림 값(Round(RB))과 센터 col블록(제2 col 블록)에 대한 제2 반올림 값(Round(C0))이 동일한지 여부를 확인한다(S3310). 제1 반올림 값과 제2 반올림 값이 동일한 경우, 코딩 장치는 제2 col 블록에 대한 사용 가능성 확인을 생략하고 다음 단계(예: HMVP 후보 확인 단계, 도 29의 S2925 단계)로 진행할 수 있다.The coding apparatus determines whether the first rounded value (Round(RB)) for the center col block (first col block) and the second rounded value (Round(C0)) for the center col block (second col block) are the same Check the (S3310). If the first rounded value and the second rounded value are the same, the coding apparatus may skip checking the availability of the second col block and proceed to the next step (eg, HMVP candidate check step, step S2925 of FIG. 29 ).
제1 반올림 값과 제2 반올림 값이 서로 다른 경우, 코딩 장치는 S3315, S3320, S3325 단계를 통해 사용 가능성을 확인하고, 사용 가능한 경우 센터 col 블록(C0)의 움직임 벡터를 유도하여 시간적 MVP 후보로서 MVP 후보 리스트에 추가할 수 있다(S3330).If the first rounding value and the second rounding value are different, the coding device checks availability through steps S3315, S3320, and S3325, and if available, induces the motion vector of the center col block C0 as a temporal MVP candidate. It can be added to the MVP candidate list (S3330).
실시예 4Example 4
실시예 3에서 설명된 TMVP 개선 방법은 아래와 같이 변경될 수 있다. 본 실시예에서, 제1 반올림 값(반올림된 우하측 col 블록(RB)의 위치 값)과 제2 반올림 값(반올림된 센터 col 블록(C0)의 위치 값)이 동일한 경우, 센터 col 블록(C0)에 대한 사용 가능성 확인을 생략하지 않고 또 다른 col 블록(현재 블록의 좌상측 col 블록(C1))이 고려될 수 있다.The TMVP improvement method described in Example 3 may be changed as follows. In this embodiment, when the first rounded value (the position value of the rounded lower right col block RB) and the second rounded value (the position value of the rounded center col block C0) are the same, the center col block (C0) ), another col block (the upper left col block (C1) of the current block) may be considered without omitting the availability check.
도 34는 본 명세서의 실시예에 따른 우하측 col 블록의 라운딩 값과 센터 col 블록의 라운딩 값에 기반하여 TMVP 후보를 도출하기 위한 흐름도의 다른 예이다.34 is another example of a flowchart for deriving a TMVP candidate based on a rounding value of a lower right col block and a rounding value of a center col block according to an embodiment of the present specification.
도 34를 참고하면, 코딩 장치는 우하측 col 블록(RB)의 위치 값(x, y)과 센터 col 블록(C0)의 위치 값(x, y)에 대해 각각 반올림을 적용한다(S3405). 이후, 코딩 장치는 센터 col 블록(제1 col 블록)에 대한 제1 반올림 값(Round(RB))과 센터 col블록(제2 col 블록)에 대한 제2 반올림 값(Round(C0))이 동일한지 여부를 확인한다(S3410). Referring to FIG. 34, the coding apparatus applies rounding to the position values (x, y) of the lower right col block (RB) and the position values (x, y) of the center col block (C0) (S3405). Thereafter, the coding apparatus has the same first rounded value (Round(RB)) for the center col block (first col block) and the second rounded value (Round(C0)) for the center col block (second col block). Whether or not it is checked (S3410).
제1 반올림 값과 제2 반올림 값이 서로 다른 경우, 코딩 장치는 S3410, S3415, S3420, S3425 단계를 통해 사용 가능성을 확인하고, 사용 가능한 경우 센터 col 블록(C0)의 움직임 벡터를 유도하여 시간적 MVP 후보로서 MVP 후보 리스트에 추가할 수 있다(S3430). When the first rounded value and the second rounded value are different, the coding device checks availability through steps S3410, S3415, S3420, and S3425, and if available, the temporal MVP by deriving the motion vector of the center col block (C0). As a candidate, it may be added to the MVP candidate list (S3430).
제1 반올림 값과 제2 반올림 값이 동일한 경우, 코딩 장치는 현재 블록의 좌상단에 위치한 좌상측 col 블록(C1)(C1이 제2 col 블록으로 결정됨)에 대한 사용 가능성 확인 및 움직임 벡터 유도를 수행한다. 즉, 코딩 장치는 좌상측 col 블록(C1)에 대하여 S3435, S3440, S3445 단계를 통하여 사용 가능성을 확인하고, 사용 가능한 경우 좌상측 col 블록(C1)의 움직임 벡터를 유도하여 시간적 MVP 후보로서 MVP 후보 리스트에 추가할 수 있다(S3450).If the first rounded value and the second rounded value are the same, the coding device checks the availability of the upper left col block (C1) (C1 is determined as the second col block) located at the upper left of the current block and performs motion vector derivation. do. That is, the coding device checks the availability of the upper left col block (C1) through steps S3435, S3440, and S3445, and if available, induces the motion vector of the upper left col block (C1) to serve as a temporal MVP candidate. It can be added to the list (S3450).
실시예 5Example 5
도 35 및 도 36은 본 명세서의 실시예에 따른 MVP 후보 리스트를 구성하기 위한 흐름도의 다른 예이다.35 and 36 are another example of a flowchart for configuring an MVP candidate list according to an embodiment of the present specification.
실시예 1 내지 실시예 4에서 설명된 것과 같이, 좌하측 col 블록(RB)의 위치와 관련된 조건(블록 사이즈 또는 위치 좌표의 반올림 값)에 대한 검사 절차를 통해 센터 col 블록(C0)에 대한 사용 가능성 확인을 생략하거나 다른 col 블록(예: 좌상측 col 블록(C1))에 대해 사용 가능성을 확인하는 방법이 제공되었다. 이 경우 조건에 대한 확인 절차로 인한 코딩 시간/자원을 감소시키기 위하여, 조건 확인(비교 동작) 없이 항상 센터 col 블록(C0)에 대한 사용 가능성을 생략하거나 좌상측 col 블록(C1)으로 곧바로 대체하는 것이 고려될 수 있다. 즉, 도 35와 같이 좌하측 col 블록(RB)이 사용 불가능한 경우 (센터 col 블록(C0)에 대한 확인 없이) 바로 HMVP 후보에 대한 확인이 수행될 수 있고, 도 36과 같이 좌하측 col 블록(RB)이 사용 불가능한 경우 센터 col 블록(C0)을 대신하여 좌상측 col 블록(C1)을 제2 col 블록으로 설정하여 움직임 벡터를 유도할 수 있다.As described in Examples 1 to 4, the center col block C0 is used through an inspection procedure for a condition (block size or rounded-off value of position coordinates) related to the position of the lower left col block RB. A method of omitting the possibility check or checking the availability for another col block (eg, upper left col block (C1)) was provided. In this case, in order to reduce the coding time/resource due to the condition check procedure, the possibility of using the center col block (C0) is always omitted or replaced with the upper left col block (C1) without condition check (comparison operation). Can be considered. That is, if the lower left col block RB is not available as shown in FIG. 35 (without confirmation of the center col block C0), the HMVP candidate may be immediately checked, and the lower left col block ( When RB) is not available, a motion vector may be derived by setting the upper left col block C1 as the second col block instead of the center col block C0.
도 35를 참고하면, 코딩 장치는 현재 블록의 공간적 주변 블록들에 대한 사용 가능성 확인 및 사용 가능한 공간적 주변 블록들의 움직임 정보를 공간적 MVP 후보로서 MVP 후보 리스트에 추가한다(S3505). 이후, 코딩 장치는 시간적 주변 블록들 중에서 현재 블록의 우하단 코너에 이웃한 우하측 col 블록(RB)(제1 col 블록) 이 사용가능한지 여부를 확인하고, 제1 col 블록이 사용 가능한 경우, 코딩 장치는 제1 col 블록의 움직임 정보를 시간적 MVP 후보로서 MVP 후보 리스트에 추가한다(S3510). Referring to FIG. 35, the coding apparatus checks the availability of spatial neighboring blocks of the current block and adds motion information of the available spatial neighboring blocks to the MVP candidate list as a spatial MVP candidate (S3505). Thereafter, the coding apparatus checks whether the lower right col block (RB) (first col block) adjacent to the lower right corner of the current block among the temporal neighboring blocks is available, and if the first col block is available, coding The device adds the motion information of the first col block as a temporal MVP candidate to the MVP candidate list (S3510).
제1 col 블록이 사용 가능하지 않은 경우, 코딩 장치는 제1 col 블록의 움직임 정보를 시간적 MVP 후보로서 추가하지 않으며, 다른 col 블록(예: 센터 col 블록(C0))에 대한 확인을 생략하고 곧바로 HMVP 후보에 대한 확인을 수행한다. 이후, 코딩 장치는 HMVP 후보, 쌍(pair-wise) 예측 후보에 대한 사용 가능성 확인을 수행하고 사용 가능한 후보를 MVP 후보 리스트에 추가한다(S3515, S3520). MVP 후보 리스트가 채워지지 않은 경우, 코딩 장치는 제로 움직임 벡터를 MVP 후보 리스트에 추가한다(S3525).If the first col block is not available, the coding device does not add motion information of the first col block as a temporal MVP candidate, and skips checking for other col blocks (eg, center col block (C0)) and immediately Confirmation of HMVP candidates is performed. Thereafter, the coding apparatus checks the availability of the HMVP candidate and the pair-wise prediction candidate, and adds the available candidate to the MVP candidate list (S3515 and S3520). If the MVP candidate list is not filled, the coding device adds a zero motion vector to the MVP candidate list (S3525).
도 36을 참조하면, 코딩 장치는 현재 블록의 공간적 주변 블록들에 대한 사용 가능성 확인 및 사용 가능한 공간적 주변 블록들의 움직임 정보를 공간적 MVP 후보로서 MVP 후보 리스트에 추가한다(S3605). 이후, 코딩 장치는 시간적 주변 블록들 중에서 현재 블록의 우하단 코너에 이웃한 우하측 col 블록(RB)(제1 col 블록)이 사용가능한지 여부를 확인하고, 제1 col 블록이 사용 가능한 경우, 코딩 장치는 제1 col 블록의 움직임 정보를 시간적 MVP 후보로서 MVP 후보 리스트에 추가한다(S3610, S3615). Referring to FIG. 36, the coding apparatus checks the availability of spatial neighboring blocks of the current block and adds motion information of the available spatial neighboring blocks to the MVP candidate list as a spatial MVP candidate (S3605). Thereafter, the coding apparatus checks whether the lower right col block (RB) (first col block) adjacent to the lower right corner of the current block among temporal neighboring blocks is available, and if the first col block is available, coding The device adds the motion information of the first col block as a temporal MVP candidate to the MVP candidate list (S3610 and S3615).
제1 col 블록이 사용 가능하지 않은 경우, 코딩 장치는 제1 col 블록의 움직임 정보를 시간적 MVP 후보로서 추가하지 않으며, 현재 블록 내 좌상측에 위치한 좌상측 col 블록(C1)에 대한 사용 가능성을 확인하고, 좌상측 col 블록(C1)의 움직임 정보를 시간적 MVP 후보로서 MVP 후보 리스트에 추가한다(S3620). 이후, 코딩 장치는 HMVP 후보, 쌍(pair-wise) 예측 후보에 대한 사용 가능성 확인을 수행하고 사용 가능한 후보를 MVP 후보 리스트에 추가한다(S3625, S3630). MVP 후보 리스트가 채워지지 않은 경우, 코딩 장치는 제로 움직임 벡터를 MVP 후보 리스트에 추가한다(S3635).If the first col block is not available, the coding device does not add motion information of the first col block as a temporal MVP candidate, and checks the availability of the upper left col block (C1) located at the upper left of the current block. Then, motion information of the upper left col block C1 is added to the MVP candidate list as a temporal MVP candidate (S3620). Thereafter, the coding device checks the availability of the HMVP candidate and the pair-wise prediction candidate, and adds the available candidate to the MVP candidate list (S3625 and S3630). When the MVP candidate list is not filled, the coding device adds a zero motion vector to the MVP candidate list (S3635).
비트스트림Bitstream
상술한 본 명세서의 실시예들을 기반으로 인코딩 장치(100)에 의하여 도출된 인코딩된 정보(예: 인코딩된 비디오/영상 정보)는 비트스트림 형태로 출력될 수 있다. 인코딩된 정보는 비트스트림 형태로 NAL(network abstraction layer) 유닛 단위로 전송 또는 저장될 수 있다. 비트스트림은 네트워크를 통하여 전송될 수 있고, 또는 비 일시적(non-transitory) 디지털 저장매체에 저장될 수 있다. 또한, 상술한 바와 같이 비트스트림은 인코딩 장치(100)에서 디코딩 장치(200)로 바로 전송되지 않고, 외부 서버(예: 컨텐츠 스트리밍 서버)를 통하여 스트리밍/다운로드 서비스될 수도 있다. 여기서 네트워크는 방송망 및/또는 통신망 등을 포함할 수 있고, 디지털 저장매체는 USB, SD, CD, DVD, 블루레이, HDD, SSD 등 다양한 저장매체를 포함할 수 있다.The encoded information (eg, encoded video/video information) derived by the encoding apparatus 100 based on the above-described embodiments of the present specification may be output in a bitstream form. The encoded information may be transmitted or stored in a bitstream form in units of network abstraction layer (NAL) units. The bitstream may be transmitted over a network or may be stored in a non-transitory digital storage medium. In addition, as described above, the bitstream is not directly transmitted from the encoding device 100 to the decoding device 200, but may be provided with a streaming/download service through an external server (eg, a content streaming server). Here, the network may include a broadcasting network and/or a communication network, and the digital storage medium may include various storage media such as USB, SD, CD, DVD, Blu-ray, HDD, and SSD.
도 37은 본 명세서의 실시예에 따른 비디오 신호의 인코딩 과정에서 인터 예측을 위한 흐름도의 예이다. 도 37의 동작들은 인코딩 장치(100) 또는 비디오 신호 처리 장치(500)에 의해 수행될 수 있다. 보다 구체적으로, 도 27의 동작들은 인코딩 장치(100) 내 인터 예측부(180)(도 10의 움직임 정보 도출부(182))에 의해 수행될 수 있고, 또한, 비디오 신호 처리 장치(500)의 프로세서(510)에 의해 수행될 수 있다. 또한, 도 37의 S3710 단계 내지 S3730 단계는 도 9의 S910 단계의 일 예에 해당하고, 도 37의 S3740 단계는 도 9의 S930 단계의 일 예에 해당할 수 있다.37 is an example of a flowchart for inter prediction in an encoding process of a video signal according to an embodiment of the present specification. The operations of FIG. 37 may be performed by the encoding device 100 or the video signal processing device 500. More specifically, the operations of FIG. 27 may be performed by the inter prediction unit 180 (motion information derivation unit 182 of FIG. 10) in the encoding apparatus 100, and further, the operation of the video signal processing apparatus 500 It may be performed by the processor 510. In addition, steps S3710 to S3730 of FIG. 37 may correspond to an example of step S910 of FIG. 9, and step S3740 of FIG. 37 may correspond to an example of step S930 of FIG. 9.
인코딩 장치(100)는 현재 블록의 예측을 위한 참조 픽처 및 움직임 벡터를 결정한다(S3710). 인코딩 장치는 RD 비용을 고려하여 움직임 추정을 통하여 참조 픽처들의 일정 영역(서치 영역) 내에서 현재 블록과 유사한 블록을 서치하고, 현재 블록과의 차이가 최소 또는 일정 기준 이하인 참조 블록을 도출할 수 있다. 또한, 인코딩 장치(100)는 참조 블록이 위치하는 참조 픽처를 가리키는 참조 픽처 인덱스를 도출하고, 참조 블록과 현재 블록의 위치 차이를 기반으로 움직임 벡터를 도출할 수 있다.The encoding apparatus 100 determines a reference picture and a motion vector for prediction of the current block (S3710). The encoding apparatus may search for a block similar to the current block within a certain area (search area) of reference pictures in consideration of the RD cost and derive a reference block having a difference from the current block at least or less than a certain standard. . Also, the encoding apparatus 100 may derive a reference picture index indicating a reference picture in which the reference block is located, and derive a motion vector based on a position difference between the reference block and the current block.
인코딩 장치(100)는 현재 블록의 공간적 주변 블록 및 시간적 주변 블록의 움직임 정보에 기반하여 MVP 후보 리스트를 구성한다(S3720). 추가적으로, 인코딩 장치(100)는 HMVP 후보와 쌍 예측(pair-wise) 후보를 MVP 후보 리스트에 추가할 수 있다. 인코딩 장치(100)는 다양한 예측 모드들(예: 머지 모드, MVP 모드, IBC, 어파인 머지)에 대한 RD 비용을 비교하고, 현재 블록에 대한 최적의 예측 모드를 결정할 수 있다. MVP 모드가 사용되는 경우, 인코딩 장치(100)는 MVP 후보 리스트를 구성할 수 있다. 이후, 인코딩 장치(100)는 움직임 벡터에 기반하여 MVP 후보 리스트에서 MVP 후보를 결정하고(S3730), 참조 픽처에 대한 참조 인덱스, MVP 후보와 관련된 MVP 인덱스, 및 현재 블록의 움직임 벡터와 MVP 후보의 움직임 벡터 사이의 움직임 벡터 차분(MVD)을 포함하는 인터 예측 정보를 인코딩한다(S3740).The encoding apparatus 100 constructs an MVP candidate list based on motion information of a spatial neighboring block and a temporal neighboring block of the current block (S3720). Additionally, the encoding apparatus 100 may add an HMVP candidate and a pair-wise candidate to the MVP candidate list. The encoding apparatus 100 may compare RD costs for various prediction modes (eg, merge mode, MVP mode, IBC, afine merge) and determine an optimal prediction mode for the current block. When the MVP mode is used, the encoding device 100 may configure an MVP candidate list. Thereafter, the encoding apparatus 100 determines an MVP candidate from the MVP candidate list based on the motion vector (S3730), a reference index for a reference picture, an MVP index related to the MVP candidate, and the motion vector of the current block and the MVP candidate. Inter prediction information including a motion vector difference (MVD) between motion vectors is encoded (S3740).
본 명세서의 실시예에 따르면, MVP 후보 리스트의 구성 과정은 도 29(또는 도 35, 36)와 같을 수 있다. 즉, 인코딩 장치(100)는 참조 픽처에서 현재 블록의 우하측(right-bottom) 위치에 대응하는 제1 동일위치(collocated) 블록(제1 col 블록)(RB)과 현재 블록의 일부 영역에 대응하는 제2 동일위치 블록(제2 col 블록)(C0)의 움직임 정보에 기반하여 시간적 MVP 후보를 결정하고, 시간적 MVP 후보의 움직임 벡터를 MVP 후보 리스트에 추가할 수 있다. 여기서, 제2 col 블록(C0)은 제1 col 블록(RB)이 사용 불가능하고 제1 col 블록(RB)의 위치와 관련된 조건이 만족되는 경우 사용될 수 있다. According to an embodiment of the present specification, the process of configuring the MVP candidate list may be the same as that of FIG. 29 (or FIGS. 35 and 36). That is, the encoding apparatus 100 corresponds to a first collocated block (first col block) (RB) corresponding to a right-bottom position of the current block in a reference picture and a partial region of the current block. A temporal MVP candidate may be determined based on motion information of the second co-located block (second col block) C0, and a motion vector of the temporal MVP candidate may be added to the MVP candidate list. Here, the second col block C0 may be used when the first col block RB is unavailable and a condition related to the position of the first col block RB is satisfied.
일 실시예에서, 시간적 MVP 후보를 결정하기 위하여, 인코딩 장치(100)는 제1 col 블록(RB)의 사용 가능성(availability)을 확인하고, 제1 col 블록(RB)이 사용 불가능하고 제1 col 블록(RB)의 위치와 관련된 조건이 만족되면, 제2 col 블록(C0)의 움직임 벡터의 사용 가능성을 확인하고, 제2 col 블록(C0)이 사용 가능한 경우, 제2 col 블록(C0)의 움직임 벡터를 시간적 MVP로서 결정할 수 있다. 여기서, 제1 col 블록(RB)의 위치와 관련된 조건은 현재 블록의 사이즈 또는 제1 col 블록(RB)의 반올림된 위치 값과 제2 col 블록(C0)의 반올림된 위치 값의 비교에 기반하여 결정될 수 있다.In one embodiment, in order to determine a temporal MVP candidate, the encoding apparatus 100 checks the availability of the first col block RB, and the first col block RB is unavailable and the first col If the condition related to the position of the block RB is satisfied, the possibility of using the motion vector of the second col block C0 is checked, and if the second col block C0 is available, the second col block C0 is The motion vector may be determined as a temporal MVP. Here, the condition related to the position of the first col block RB is based on a comparison of the size of the current block or the rounded position value of the first col block RB and the rounded position value of the second col block C0. Can be determined.
일 실시예에서, 인코딩 장치(100)는 현재 블록의 사이즈에 기반하여 제2 동일위치 블록에 대한 사용 가능성을 확인할 지 여부를 결정할 수 있다. 예를 들어, 도 30과 같이 인코딩 장치(100)는 현재 블록의 너비(w)와 높이(h)가 기준 너비(T1)와 기준 높이(T2) 보다 큰 지 여부를 결정하고, 현재 블록의 너비(w)와 높이(h)가 기준 너비(T1)와 기준 높이(T2) 보다 큰 경우 제2 col 블록(C0)에 대한 사용 가능성을 확인하고, 현재 블록의 너비(w)와 높이(h)가 기준 너비(T1)와 기준 높이(T2) 보다 작거나 같은 경우, 제2 col 블록(C0)에 대한 사용 가능성 확인을 생략한 상태로 다음 단계(HMVP 후보 확인)로 진행할 수 있다.In an embodiment, the encoding apparatus 100 may determine whether to check the availability of the second co-located block based on the size of the current block. For example, as shown in FIG. 30, the encoding device 100 determines whether the width (w) and height (h) of the current block are greater than the reference width (T1) and the reference height (T2), and the width of the current block If (w) and height (h) are larger than the reference width (T1) and reference height (T2), check the availability of the second col block (C0), and the width (w) and height (h) of the current block If is less than or equal to the reference width T1 and the reference height T2, the next step (HMVP candidate confirmation) may be performed without checking the availability of the second col block C0.
일 실시예에서, 현재 블록의 사이즈가 기준 사이즈보다 큰 경우, 인코딩 장치(100)는 현재 블록의 센터 영역에 대응하는 블록(C0)을 제2 col 블록으로서 결정(유지)하고, 제2 col 블록(C0)의 사용 가능성을 확인한다. 현재 블록의 사이즈가 기준 사이즈보다 작거나 같은 경우, 인코딩 장치(100)는 참조 픽처에서 현재 블록의 좌상측 코너 영역에 대응하는 블록(C1)을 제2 col 블록으로서 결정(변경)하고, 제2 col 블록(C1)의 사용 가능성을 확인할 수 있다. 예를 들어, 인코딩 장치(100)는 도 31과 같이 현재 블록의 사이즈에 기반하여 센터 col 블록(C0) 또는 좌상측 col 블록(C1)에 대하여 사용 가능성 확인을 수행할 수 있다.In an embodiment, when the size of the current block is larger than the reference size, the encoding apparatus 100 determines (maintains) the block C0 corresponding to the center area of the current block as the second col block, and Check the availability of (C0). When the size of the current block is less than or equal to the reference size, the encoding apparatus 100 determines (changes) the block C1 corresponding to the upper left corner area of the current block in the reference picture as a second col block, and the second You can check the possibility of using the col block (C1). For example, as shown in FIG. 31, the encoding apparatus 100 may check the availability of the center col block C0 or the upper left col block C1 based on the size of the current block.
일 실시예에서, 인코딩 장치(100)는 제1 col 블록(RB)의 위치에 대한 제1 반올림 값(Round(RB))과 제2 col 블록(C0)의 위치에 대한 제2 반올림 값(Round(C0))에 기반하여 제2 col 블록(C0)에 대한 사용 가능성을 확인할 지 여부를 결정할 수 있다. 예를 들어, 도 33과 같이 인코딩 장치(100)는 제1 반올림 값(Round(RB))과 제2 반올림 값(Round(C0))이 동일한 지 여부를 결정하고, 제1 반올림 값(Round(RB))과 제2 반올림 값(Round(C0))이 서로 다르면, 제2 col 블록(C0)에 대한 사용 가능성 확인할 수 있다. 제1 반올림 값(Round(RB))과 제2 반올림 값(Round(C0))이 동일하면, 인코딩 장치(100)는 제2 col 블록(C0)에 대한 사용 가능성 확인을 생략한 상태로 다음 단계(HMVP 후보 확인)로 진행할 수 있다.In an embodiment, the encoding apparatus 100 includes a first rounded value (Round(RB)) with respect to the position of the first col block (RB) and a second rounded value (Round) with respect to the position of the second col block (C0). Based on (C0)), it may be determined whether to check the availability of the second col block C0. For example, as shown in FIG. 33, the encoding apparatus 100 determines whether the first rounded value Round(RB) and the second rounded value Round(C0) are the same, and the first rounded value Round(RB) RB)) and the second rounded value (Round(C0)) are different from each other, it is possible to check the availability of the second col block C0. If the first rounded value (Round(RB)) and the second rounded value (Round(C0)) are the same, the encoding device 100 skips checking the availability of the second col block C0 and performs the next step. You can proceed to (Check HMVP Candidate).
일 실시예에서, 제1 반올림 값(Round(RB))과 상기 제2 반올림 값(Round(C0))이 서로 다른 경우, 인코딩 장치(100)는 참조 픽처에서 현재 블록의 센터 영역에 대응하는 블록(C0)을 제2 col 블록으로서 결정(유지)하고, 현재 블록의 제2 col 블록(C0)의 사용 가능성을 확인할 수 있다. 제1 반올림 값(Round(RB))과 제2 반올림 값(Round(C0))이 동일한 경우, 인코딩 장치(100)는 상기 현재 블록의 좌상측 코너 영역에 대응하는 영역(C1)을 상기 제2 col 블록으로서 결정(변경)하고, 제2 col 블록(C1)의 사용 가능성을 확인할 수 있다. 예를 들어, 도 34와 같이, 인코딩 장치(100)는 제1 반올림 값(Round(RB))과 상기 제2 반올림 값(Round(C0))의 비교 결과에 기반하여 센터 col 블록(C0) 또는 좌상측 col 블록(C1)에 대하여 사용 가능성 확인을 수행할 수 있다.In one embodiment, when the first rounded value (Round(RB)) and the second rounded value (Round(C0)) are different from each other, the encoding apparatus 100 is configured to perform a block corresponding to the center area of the current block in the reference picture. (C0) is determined (maintained) as the second col block, and the possibility of using the second col block C0 of the current block can be checked. When the first rounded value (Round(RB)) and the second rounded value (Round(C0)) are the same, the encoding device 100 determines the area C1 corresponding to the upper left corner area of the current block as the second It is determined (changed) as a col block, and the possibility of using the second col block C1 can be checked. For example, as shown in FIG. 34, the encoding apparatus 100 may perform a center col block C0 or a center col block C0 based on a comparison result of the first rounded value Round(RB) and the second rounded value Round(C0). Usability can be checked for the upper left col block (C1).
도 38은 본 명세서의 실시예에 따른 비디오 신호의 디코딩 과정에서 인터 예측을 위한 흐름도의 예이다. 도 38의 동작들은 디코딩 장치(100) 또는 비디오 신호 처리 장치(500)에 의해 수행될 수 있다. 보다 구체적으로, 도 38의 동작들은 디코딩 장치(200) 내 인터 예측부(260)(도 12의 움직임 정보 도출부(262))에 의해 수행될 수 있고, 또한, 비디오 신호 처리 장치(500)의 프로세서(510)에 의해 수행될 수 있다. 또한, 도 38의 S3810 단계 내지 S3840 단계는 도 11의 S1120 단계의 일 예에 해당하고, 도 38의 S3850 단계는 도 11의 S1130 단계의 일 예에 해당할 수 있다.38 is an example of a flowchart for inter prediction in a process of decoding a video signal according to an embodiment of the present specification. The operations of FIG. 38 may be performed by the decoding apparatus 100 or the video signal processing apparatus 500. More specifically, the operations of FIG. 38 may be performed by the inter prediction unit 260 (motion information derivation unit 262 of FIG. 12) in the decoding apparatus 200, and the video signal processing apparatus 500 It may be performed by the processor 510. In addition, steps S3810 to S3840 of FIG. 38 may correspond to an example of step S1120 of FIG. 11, and step S3850 of FIG. 38 may correspond to an example of step S1130 of FIG. 11.
디코딩 장치(100)는 현재 블록의 예측을 위한 참조 인덱스, MVP 인덱스, 및 MVD를 포함하는 인터 예측 정보를 획득한다(S3810). 디코딩 장치(100)는 인코딩 장치(100)에 의해 생성된 비트스트림으로부터 예측 모드로서 MVP 모드가 적용됨을 확인하고, 관련된 정보(참조 인덱스, MVP 인덱스, MVD)를 획득할 수 있다.The decoding apparatus 100 acquires inter prediction information including a reference index, an MVP index, and an MVD for prediction of the current block (S3810). The decoding apparatus 100 may confirm that the MVP mode is applied as a prediction mode from the bitstream generated by the encoding apparatus 100, and obtain related information (reference index, MVP index, MVD).
이후 디코딩 장치(200)는 현재 블록의 공간적 주변 블록 및 시간적 주변 블록의 움직임 정보에 기반하여 MVP 후보 리스트를 구성한다(S3820). 추가적으로, 디코딩 장치(200)는 HMVP 후보와 쌍 예측(pair-wise) 후보를 MVP 후보 리스트에 추가할 수 있다. 디코딩 장치(200)는 MVP 인덱스에 기반하여 MVP 후보 리스트에서 MVP 후보를 결정하고(S3830), MVP 후보의 움직임 벡터와 MVD에 기반하여 상기 현재 블록의 움직임 벡터를 결정하고(S3840), 현재 블록의 움직임 벡터 및 참조 인덱스와 관련된 참조 픽처에 기반하여 현재 블록의 예측 샘플을 생성한다(S3850).Thereafter, the decoding apparatus 200 constructs an MVP candidate list based on motion information of a spatial neighboring block and a temporal neighboring block of the current block (S3820). Additionally, the decoding apparatus 200 may add an HMVP candidate and a pair-wise candidate to the MVP candidate list. The decoding apparatus 200 determines an MVP candidate from the MVP candidate list based on the MVP index (S3830), determines the motion vector of the current block based on the motion vector and MVD of the MVP candidate (S3840), and A prediction sample of the current block is generated based on the reference picture related to the motion vector and the reference index (S3850).
본 명세서의 실시예에 따르면, MVP 후보 리스트의 구성 과정은 도 29(또는 도 35, 36)와 같을 수 있다. 즉, 디코딩 장치(200)는 참조 픽처에서 현재 블록의 우하측(right-bottom) 위치에 대응하는 제1 동일위치(collocated) 블록(제1 col 블록)(RB)과 현재 블록의 일부 영역에 대응하는 제2 동일위치 블록(제2 col 블록)(C0)의 움직임 정보에 기반하여 시간적 MVP 후보를 결정하고, 시간적 MVP 후보의 움직임 벡터를 MVP 후보 리스트에 추가할 수 있다. 여기서, 제2 col 블록(C0)은 제1 col 블록(RB)이 사용 불가능하고 제1 col 블록(RB)의 위치와 관련된 조건이 만족되는 경우 사용될 수 있다. According to an embodiment of the present specification, the process of configuring the MVP candidate list may be the same as that of FIG. 29 (or FIGS. 35 and 36). That is, the decoding apparatus 200 corresponds to a first collocated block (first col block) (RB) corresponding to a right-bottom position of the current block in the reference picture and a partial region of the current block. A temporal MVP candidate may be determined based on motion information of the second co-located block (second col block) C0, and a motion vector of the temporal MVP candidate may be added to the MVP candidate list. Here, the second col block C0 may be used when the first col block RB is unavailable and a condition related to the position of the first col block RB is satisfied.
일 실시예에서, 시간적 MVP 후보를 결정하기 위하여, 디코딩 장치(200)는 제1 col 블록(RB)의 사용 가능성(availability)을 확인하고, 제1 col 블록(RB)이 사용 불가능하고 제1 col 블록(RB)의 위치와 관련된 조건이 만족되면, 제2 col 블록(C0)의 움직임 벡터의 사용 가능성을 확인하고, 제2 col 블록(C0)이 사용 가능한 경우, 제2 col 블록(C0)의 움직임 벡터를 시간적 MVP로서 결정할 수 있다. 여기서, 제1 col 블록(RB)의 위치와 관련된 조건은 현재 블록의 사이즈 또는 제1 col 블록(RB)의 반올림된 위치 값과 제2 col 블록(C0)의 반올림된 위치 값의 비교에 기반하여 결정될 수 있다.In one embodiment, in order to determine a temporal MVP candidate, the decoding apparatus 200 checks the availability of the first col block RB, and the first col block RB is unavailable and the first col If the condition related to the position of the block RB is satisfied, the possibility of using the motion vector of the second col block C0 is checked, and if the second col block C0 is available, the second col block C0 is The motion vector may be determined as a temporal MVP. Here, the condition related to the position of the first col block RB is based on a comparison of the size of the current block or the rounded position value of the first col block RB and the rounded position value of the second col block C0. Can be determined.
일 실시예에서, 디코딩 장치(200)는 현재 블록의 사이즈에 기반하여 제2 동일위치 블록에 대한 사용 가능성을 확인할 지 여부를 결정할 수 있다. 예를 들어, 도 30과 같이 디코딩 장치(100)는 현재 블록의 너비(w)와 높이(h)가 기준 너비(T1)와 기준 높이(T2) 보다 큰 지 여부를 결정하고, 현재 블록의 너비(w)와 높이(h)가 기준 너비(T1)와 기준 높이(T2) 보다 큰 경우 제2 col 블록(C0)에 대한 사용 가능성을 확인하고, 현재 블록의 너비(w)와 높이(h)가 기준 너비(T1)와 기준 높이(T2) 보다 작거나 같은 경우, 제2 col 블록(C0)에 대한 사용 가능성 확인을 생략한 상태로 다음 단계(HMVP 후보 확인)로 진행할 수 있다.In an embodiment, the decoding apparatus 200 may determine whether to check the availability of the second co-located block based on the size of the current block. For example, as shown in FIG. 30, the decoding apparatus 100 determines whether the width (w) and height (h) of the current block are larger than the reference width (T1) and the reference height (T2), and the width of the current block If (w) and height (h) are larger than the reference width (T1) and reference height (T2), check the availability of the second col block (C0), and the width (w) and height (h) of the current block If is less than or equal to the reference width T1 and the reference height T2, the next step (HMVP candidate confirmation) may be performed without checking the availability of the second col block C0.
일 실시예에서, 현재 블록의 사이즈가 기준 사이즈보다 큰 경우, 디코딩 장치(200)는 현재 블록의 센터 영역에 대응하는 블록(C0)을 제2 col 블록으로서 결정(유지)하고, 제2 col 블록(C0)의 사용 가능성을 확인한다. 현재 블록의 사이즈가 기준 사이즈보다 작거나 같은 경우, 디코딩 장치(200)는 참조 픽처에서 현재 블록의 좌상측 코너 영역에 대응하는 블록(C1)을 제2 col 블록으로서 결정(변경)하고, 제2 col 블록(C1)의 사용 가능성을 확인할 수 있다. 예를 들어, 디코딩 장치(200)는 도 31과 같이 현재 블록의 사이즈에 기반하여 센터 col 블록(C0) 또는 좌상측 col 블록(C1)에 대하여 사용 가능성 확인을 수행할 수 있다.In one embodiment, when the size of the current block is larger than the reference size, the decoding apparatus 200 determines (maintains) the block C0 corresponding to the center area of the current block as the second col block, and the second col block Check the availability of (C0). When the size of the current block is less than or equal to the reference size, the decoding apparatus 200 determines (changes) the block C1 corresponding to the upper left corner area of the current block in the reference picture as the second col block, and the second You can check the possibility of using the col block (C1). For example, as shown in FIG. 31, the decoding apparatus 200 may check the availability of the center col block C0 or the upper left col block C1 based on the size of the current block.
일 실시예에서, 디코딩 장치(200)는 제1 col 블록(RB)의 위치에 대한 제1 반올림 값(Round(RB))과 제2 col 블록(C0)의 위치에 대한 제2 반올림 값(Round(C0))에 기반하여 제2 col 블록(C0)에 대한 사용 가능성을 확인할 지 여부를 결정할 수 있다. 예를 들어, 도 33과 같이 디코딩 장치(200)는 제1 반올림 값(Round(RB))과 제2 반올림 값(Round(C0))이 동일한 지 여부를 결정하고, 제1 반올림 값(Round(RB))과 제2 반올림 값(Round(C0))이 서로 다르면, 제2 col 블록(C0)에 대한 사용 가능성 확인할 수 있다. 제1 반올림 값(Round(RB))과 제2 반올림 값(Round(C0))이 동일하면, 인코딩 장치(100)는 제2 col 블록(C0)에 대한 사용 가능성 확인을 생략한 상태로 다음 단계(HMVP 후보 확인)로 진행할 수 있다.In an embodiment, the decoding apparatus 200 includes a first rounded value (Round(RB)) with respect to the position of the first col block (RB) and a second rounded value (Round) with respect to the position of the second col block (C0). Based on (C0)), it may be determined whether to check the availability of the second col block C0. For example, as shown in FIG. 33, the decoding apparatus 200 determines whether the first rounded value Round(RB) and the second rounded value Round(C0) are the same, and the first rounded value Round(RB) RB)) and the second rounded value (Round(C0)) are different from each other, it is possible to check the availability of the second col block C0. If the first rounded value (Round(RB)) and the second rounded value (Round(C0)) are the same, the encoding device 100 skips checking the availability of the second col block C0 and performs the next step. You can proceed to (Check HMVP Candidate).
일 실시예에서, 제1 반올림 값(Round(RB))과 상기 제2 반올림 값(Round(C0))이 서로 다른 경우, 디코딩 장치(200)는 참조 픽처에서 현재 블록의 센터 영역에 대응하는 블록(C0)을 제2 col 블록으로서 결정(유지)하고, 현재 블록의 제2 col 블록(C0)의 사용 가능성을 확인할 수 있다. 제1 반올림 값(Round(RB))과 제2 반올림 값(Round(C0))이 동일한 경우, 인코딩 장치(200)는 상기 현재 블록의 좌상측 코너 영역에 대응하는 영역(C1)을 상기 제2 col 블록으로서 결정(변경)하고, 제2 col 블록(C1)의 사용 가능성을 확인할 수 있다. 예를 들어, 도 34와 같이, 디코딩 장치(200)는 제1 반올림 값(Round(RB))과 상기 제2 반올림 값(Round(C0))의 비교 결과에 기반하여 센터 col 블록(C0) 또는 좌상측 col 블록(C1)에 대하여 사용 가능성 확인을 수행할 수 있다.In an embodiment, when the first rounded value (Round(RB)) and the second rounded value (Round(C0)) are different from each other, the decoding apparatus 200 is a block corresponding to the center area of the current block in the reference picture. (C0) is determined (maintained) as the second col block, and the possibility of using the second col block C0 of the current block can be checked. When the first rounded value (Round(RB)) and the second rounded value (Round(C0)) are the same, the encoding device 200 determines the area C1 corresponding to the upper left corner area of the current block as the second It is determined (changed) as a col block, and the possibility of using the second col block C1 can be checked. For example, as shown in FIG. 34, the decoding apparatus 200 may determine the center col block C0 or the center col block C0 based on the comparison result of the first rounded value Round(RB) and the second rounded value Round(C0). Usability can be checked for the upper left col block (C1).
또한, 본 발명이 적용되는 처리 방법은 컴퓨터로 실행되는 프로그램의 형태로 생산될 수 있으며, 컴퓨터가 판독할 수 있는 기록 매체에 저장될 수 있다. 본 발명에 따른 데이터 구조를 가지는 멀티미디어 데이터도 또한 컴퓨터가 판독할 수 있는 기록 매체에 저장될 수 있다. 상기 컴퓨터가 판독할 수 있는 기록 매체는 컴퓨터로 읽을 수 있는 데이터가 저장되는 모든 종류의 저장 장치 및 분산 저장 장치를 포함한다. 상기 컴퓨터가 판독할 수 있는 기록 매체는, 예를 들어, 블루레이 디스크(BD), 범용 직렬 버스(USB), ROM, PROM, EPROM, EEPROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크 및 광학적 데이터 저장 장치를 포함할 수 있다. 또한, 상기 컴퓨터가 판독할 수 있는 기록 매체는 반송파(예를 들어, 인터넷을 통한 전송)의 형태로 구현된 미디어를 포함한다. 또한, 인코딩 방법으로 생성된 비트스트림이 컴퓨터가 판독할 수 있는 기록 매체에 저장되거나 유무선 통신 네트워크를 통해 전송될 수 있다.Further, the processing method to which the present invention is applied may be produced in the form of a program executed by a computer, and may be stored in a computer-readable recording medium. Multimedia data having a data structure according to the present invention can also be stored in a computer-readable recording medium. The computer-readable recording medium includes all kinds of storage devices and distributed storage devices in which computer-readable data is stored. The computer-readable recording medium includes, for example, Blu-ray disk (BD), universal serial bus (USB), ROM, PROM, EPROM, EEPROM, RAM, CD-ROM, magnetic tape, floppy disk, and optical It may include a data storage device. Further, the computer-readable recording medium includes media implemented in the form of a carrier wave (for example, transmission through the Internet). In addition, the bitstream generated by the encoding method may be stored in a computer-readable recording medium or transmitted through a wired or wireless communication network.
또한, 본 발명의 실시예는 프로그램 코드에 의한 컴퓨터 프로그램 제품으로 구현될 수 있고, 상기 프로그램 코드는 본 발명의 실시예에 의해 컴퓨터에서 수행될 수 있다. 상기 프로그램 코드는 컴퓨터에 의해 판독가능한 캐리어 상에 저장될 수 있다.In addition, an embodiment of the present invention may be implemented as a computer program product using a program code, and the program code may be executed in a computer according to the embodiment of the present invention. The program code may be stored on a carrier readable by a computer.
본 명세서의 실시예에 따른 비-일시적 컴퓨터-판독 가능한 매체(non-transitory computer-readable medium)는 하나 또는 그 이상의 프로세서들에 의해 실행되는 하나 또는 그 이상의 명령어들을 저장한다. 상기 하나 또는 그 이상의 명령어들은, 비디오 신호의 인코딩을 위하여, 현재 블록의 예측을 위한 참조 픽처 및 움직임 벡터를 결정하고, 상기 현재 블록의 공간적 주변 블록 및 시간적 주변 블록의 움직임 정보에 기반하여 움직임 벡터 예측자(motion vector predictor, MVP) 후보 리스트를 구성하고, 상기 움직임 벡터에 기반하여 상기 MVP 후보 리스트에서 MVP 후보를 결정하고, 상기 참조 픽처에 대한 참조 인덱스, 상기 MVP 후보와 관련된 MVP 인덱스, 및 상기 현재 블록의 움직임 벡터와 상기 MVP 후보의 움직임 벡터 사이의 움직임 벡터 차분(motion vector difference, MVD)을 포함하는 인터 예측 정보를 인코딩하도록 비디오 신호 처리 장치(500(또는 인코딩 장치(100))를 제어한다. MVP 후보를 구성하기 위하여, 하나 또는 그 이상의 명령어들은, 상기 참조 픽처에서 상기 현재 블록의 우하측(right-bottom) 위치에 대응하는 제1 동일위치(collocated) 블록과 상기 현재 블록의 일부 영역에 대응하는 제2 동일위치 블록의 움직임 정보에 기반하여 시간적 MVP 후보를 결정하고, 상기 시간적 MVP 후보의 움직임 벡터를 상기 MVP 후보 리스트에 추가하도록 비디오 신호 처리 장치(500)를 제어하며, 여기서 상기 제2 동일위치 블록은 상기 제1 동일위치 블록이 사용 불가능하고 상기 제1 동일위치 블록의 위치와 관련된 조건이 만족되는 경우 사용된다.A non-transitory computer-readable medium according to an embodiment of the present specification stores one or more instructions executed by one or more processors. The one or more instructions determine a reference picture and a motion vector for prediction of a current block for encoding a video signal, and predict a motion vector based on motion information of a spatial neighboring block and a temporal neighboring block of the current block. Construct a motion vector predictor (MVP) candidate list, determine an MVP candidate from the MVP candidate list based on the motion vector, a reference index for the reference picture, an MVP index related to the MVP candidate, and the current The video signal processing apparatus 500 (or encoding apparatus 100) is controlled to encode inter prediction information including a motion vector difference (MVD) between a motion vector of a block and a motion vector of the MVP candidate. In order to construct an MVP candidate, one or more commands correspond to a first collocated block corresponding to a right-bottom position of the current block in the reference picture and a partial area of the current block. A video signal processing apparatus 500 is controlled to determine a temporal MVP candidate based on the motion information of the second co-located block to be performed, and to add the motion vector of the temporal MVP candidate to the MVP candidate list, where the second identical The location block is used when the first co-located block is unavailable and a condition related to the location of the first co-located block is satisfied.
또한, 상기 하나 또는 그 이상의 명령어들은, 비디오 신호의 디코딩을 위하여, 현재 블록의 예측을 위한 참조 인덱스, 움직임 벡터 예측자(motion vector predictor, MVP) 인덱스, 및 움직임 벡터 차분(motion vector difference, MVD)을 포함하는 인터 예측 정보를 획득하고, 상기 현재 블록의 공간적 주변 블록 및 시간적 주변 블록의 움직임 정보에 기반하여 MVP 후보 리스트를 구성하고, 상기 MVP 인덱스에 기반하여 상기 MVP 후보 리스트에서 MVP 후보를 결정하고, 상기 MVP 후보의 움직임 벡터와 상기 MVD에 기반하여 상기 현재 블록의 움직임 벡터를 결정하고, 상기 현재 블록의 움직임 벡터 및 상기 참조 인덱스와 관련된 참조 픽처에 기반하여 상기 현재 블록의 예측 샘플을 생성하도록 비디오 신호 처리 장치(500)(또는 디코딩 장치(200))를 제어한다. MVP 후보 리스트를 구성하기 위하여, 상기 하나 또는 그 이상의 명령어들은, 상기 참조 픽처에서 상기 현재 블록의 우하측(right-bottom) 위치에 대응하는 제1 동일위치(collocated) 블록과 상기 현재 블록의 일부 영역에 대응하는 제2 동일위치 블록의 움직임 정보에 기반하여 시간적 MVP 후보를 결정하고, 상기 시간적 MVP 후보의 움직임 벡터를 상기 MVP 후보 리스트에 추가하도록 비디오 신호 처리 장치(500)를 제어하며, 여기서 상기 제2 동일위치 블록은 상기 제1 동일위치 블록이 사용 불가능하고 상기 제1 동일위치 블록의 위치와 관련된 조건이 만족되는 경우 사용된다.In addition, the one or more commands include a reference index for prediction of a current block, a motion vector predictor (MVP) index, and a motion vector difference (MVD) for decoding a video signal. Acquire inter prediction information including, configure an MVP candidate list based on motion information of a spatial neighboring block and a temporal neighboring block of the current block, and determine an MVP candidate from the MVP candidate list based on the MVP index. A video to determine a motion vector of the current block based on the motion vector of the MVP candidate and the MVD, and to generate a prediction sample of the current block based on the motion vector of the current block and a reference picture related to the reference index Controls the signal processing device 500 (or the decoding device 200). In order to construct an MVP candidate list, the one or more commands include a first collocated block corresponding to a right-bottom position of the current block in the reference picture and a partial region of the current block. A video signal processing apparatus 500 is controlled to determine a temporal MVP candidate based on motion information of a second co-located block corresponding to and to add a motion vector of the temporal MVP candidate to the MVP candidate list, wherein 2 The co-located block is used when the first co-located block is unavailable and a condition related to the location of the first co-located block is satisfied.
일 실시예에서, 상기 시간적 MVP 후보를 결정하기 위하여, 상기 하나 또는 그 이상의 명령어들은, 상기 제1 동일위치 블록의 사용 가능성(availability)과 상기 제2 동일위치 블록의 위치와 관련된 조건을 확인하고, 상기 제1 동일위치 블록이 사용 불가능하고 상기 제1 동일위치 블록의 위치와 관련된 조건이 만족되면, 상기 제2 동일위치 블록의 움직임 벡터의 사용 가능성을 확인하고, 상기 제2 동일위치 블록이 사용 가능한 경우, 상기 제2 동일위치 블록의 움직임 벡터를 상기 시간적 MVP로서 결정하도록 비디오 신호 처리 장치(500)를 제어할 수 있다.In one embodiment, in order to determine the temporal MVP candidate, the one or more commands check a condition related to the availability of the first co-located block and the location of the second co-located block, If the first co-located block is unavailable and the condition related to the position of the first co-located block is satisfied, the possibility of using the motion vector of the second co-located block is checked, and the second co-located block is available. In this case, the video signal processing apparatus 500 may be controlled to determine the motion vector of the second co-located block as the temporal MVP.
일 실시예에서, 상기 제2 동일위치 블록의 위치와 관련된 조건을 확인하기 위하여, 상기 하나 또는 그 이상의 명령어들은 상기 현재 블록의 사이즈에 기반하여 상기 제2 동일위치 블록에 대한 사용 가능성을 확인할 지 여부를 결정하도록 비디오 신호 처리 장치(500)를 제어할 수 있다.In one embodiment, in order to check a condition related to the location of the second co-located block, whether the one or more commands check the availability of the second co-located block based on the size of the current block. It is possible to control the video signal processing apparatus 500 to determine.
일 실시예에서, 상기 제2 동일위치 블록의 위치와 관련된 조건을 확인하기 위하여, 상기 하나 또는 그 이상의 명령어들은, 상기 현재 블록의 사이즈가 기준 사이즈보다 큰 경우, 상기 현재 블록의 센터 영역에 대응하는 블록을 제2 동일위치 블록으로서 결정하고, 상기 제2 동일위치 블록의 사용 가능성을 확인하고, 상기 현재 블록의 사이즈가 기준 사이즈보다 작거나 같은 경우, 상기 참조 픽처에서 상기 현재 블록의 좌상측 코너 영역에 대응하는 블록을 상기 제2 동일위치 블록으로서 결정하고, 제2 동일위치 블록의 사용 가능성을 확인하도록 비디오 신호 처리 장치(500)를 제어할 수 있다.In one embodiment, in order to check a condition related to the location of the second co-located block, the one or more commands correspond to the center area of the current block when the size of the current block is larger than the reference size. A block is determined as a second co-located block, the availability of the second co-located block is checked, and if the size of the current block is less than or equal to the reference size, the upper left corner area of the current block in the reference picture The video signal processing apparatus 500 may be controlled to determine the block corresponding to the second co-location block as the second co-location block, and to check the availability of the second co-location block.
일 실시예에서, 상기 제2 동일위치 블록의 위치와 관련된 조건을 확인하기 위하여, 상기 하나 또는 그 이상의 명령어들은, 상기 제1 동일위치 블록의 위치에 대한 제1 반올림 값과 상기 제2 동일위치 블록의 위치에 대한 제2 반올림 값에 기반하여 상기 제2 동일위치 블록에 대한 사용 가능성을 확인할 지 여부를 결정하도록 비디오 신호 처리 장치(500)를 제어할 수 있다.In an embodiment, in order to check a condition related to the position of the second co-located block, the one or more commands are, a first rounded value for the position of the first co-located block and the second co-located block The video signal processing apparatus 500 may be controlled to determine whether to check the availability of the second co-located block based on the second rounded value for the location of.
일 실시예에서, 상기 제2 동일위치 블록의 위치와 관련된 조건을 확인하기 위하여, 상기 하나 또는 그 이상의 명령어들은, 상기 제1 반올림 값과 상기 제2 반올림 값이 서로 다른 경우, 상기 참조 픽처에서 상기 현재 블록의 센터 영역에 대응하는 블록을 제2 동일위치 블록으로서 결정하고, 상기 제2 동일위치 블록의 사용 가능성을 확인하고, 상기 제1 반올림 값과 상기 제2 반올림 값이 동일한 경우, 상기 현재 블록의 좌상측 코너 영역에 대응하는 영역을 상기 제2 동일위치 블록으로서 결정하고, 상기 제2 동일위치 블록의 사용 가능성을 확인하도록 비디오 신호 처리 장치(500)를 제어할 수 있다.In one embodiment, in order to check a condition related to the location of the second co-located block, the one or more commands are, when the first rounded value and the second rounded value are different from each other, in the reference picture A block corresponding to the center area of the current block is determined as a second co-located block, the availability of the second co-located block is checked, and if the first rounded value and the second rounded value are the same, the current block The video signal processing apparatus 500 may be controlled to determine an area corresponding to the upper left corner area of the second co-located block as the second co-located block and to check the availability of the second co-located block.
상기 기술된 것과 같이, 본 발명에서 설명한 실시예들은 프로세서, 마이크로 프로세서, 컨트롤러 또는 칩 상에서 구현되어 수행될 수 있다. 예를 들어, 각 도면에서 도시한 기능 유닛들은 컴퓨터, 프로세서, 마이크로 프로세서, 컨트롤러 또는 칩 상에서 구현되어 수행될 수 있다.As described above, the embodiments described in the present invention may be implemented and performed on a processor, microprocessor, controller, or chip. For example, the functional units illustrated in each drawing may be implemented and executed on a computer, processor, microprocessor, controller, or chip.
또한, 본 발명이 적용되는 디코더 및 인코더는 멀티미디어 방송 송수신 장치, 모바일 통신 단말, 홈 시네마 비디오 장치, 디지털 시네마 비디오 장치, 감시용 카메라, 비디오 대화 장치, 비디오 통신과 같은 실시간 통신 장치, 모바일 스트리밍 장치, 저장 매체, 캠코더, 주문형 비디오(VoD) 서비스 제공 장치, OTT 비디오(Over the top video) 장치, 인터넷 스트리밍 서비스 제공 장치, 3차원(3D) 비디오 장치, 화상 전화 비디오 장치, 및 의료용 비디오 장치 등에 포함될 수 있으며, 비디오 신호 또는 데이터 신호를 처리하기 위해 사용될 수 있다. 예를 들어, OTT 비디오(Over the top video) 장치로는 게임 콘솔, 블루레이 플레이어, 인터넷 접속 TV, 홈시어터 시스템, 스마트폰, 태블릿 PC, DVR(Digital Video Recoder) 등을 포함할 수 있다.In addition, the decoder and encoder to which the present invention is applied include a multimedia broadcasting transmission/reception device, a mobile communication terminal, a home cinema video device, a digital cinema video device, a surveillance camera, a video chat device, a real-time communication device such as video communication, a mobile streaming device, Storage media, camcorders, video-on-demand (VoD) service providers, OTT video (Over the top video) devices, Internet streaming service providers, three-dimensional (3D) video devices, video telephony video devices, and medical video devices. And can be used to process video signals or data signals. For example, an OTT video (Over the top video) device may include a game console, a Blu-ray player, an Internet-connected TV, a home theater system, a smartphone, a tablet PC, and a digital video recorder (DVR).
이상에서 설명된 실시예들은 본 발명의 구성요소들과 특징들이 소정 형태로 결합된 것들이다. 각 구성요소 또는 특징은 별도의 명시적 언급이 없는 한 선택적인 것으로 고려되어야 한다. 각 구성요소 또는 특징은 다른 구성요소나 특징과 결합되지 않은 형태로 실시될 수 있다. 또한, 일부 구성요소들 및/또는 특징들을 결합하여 본 발명의 실시예를 구성하는 것도 가능하다. 본 발명의 실시예들에서 설명되는 동작들의 순서는 변경될 수 있다. 어느 실시예의 일부 구성이나 특징은 다른 실시예에 포함될 수 있고, 또는 다른 실시예의 대응하는 구성 또는 특징과 교체될 수 있다. 특허청구범위에서 명시적인 인용 관계가 있지 않은 청구항들을 결합하여 실시예를 구성하거나 출원 후의 보정에 의해 새로운 청구항으로 포함시킬 수 있음은 자명하다.The embodiments described above are those in which components and features of the present invention are combined in a predetermined form. Each component or feature should be considered optional unless explicitly stated otherwise. Each component or feature may be implemented in a form that is not combined with other components or features. In addition, it is also possible to constitute an embodiment of the present invention by combining some components and/or features. The order of operations described in the embodiments of the present invention may be changed. Some configurations or features of one embodiment may be included in other embodiments, or may be replaced with corresponding configurations or features of other embodiments. It is obvious that the embodiments may be configured by combining claims that do not have an explicit citation relationship in the claims or may be included as new claims by amendment after filing.
본 발명에 따른 실시예는 다양한 수단, 예를 들어, 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 본 발명의 일 실시예는 하나 또는 그 이상의 ASICs(application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서, 콘트롤러, 마이크로 콘트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.The embodiment according to the present invention may be implemented by various means, for example, hardware, firmware, software, or a combination thereof. In the case of implementation by hardware, an embodiment of the present invention is one or more ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs ( field programmable gate arrays), processors, controllers, microcontrollers, microprocessors, etc.
펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 일 실시예는 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차, 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리에 저장되어 프로세서에 의해 구동될 수 있다. 상기 메모리는 상기 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 상기 프로세서와 데이터를 주고받을 수 있다.In the case of implementation by firmware or software, an embodiment of the present invention may be implemented in the form of a module, procedure, or function that performs the functions or operations described above. The software code can be stored in a memory and driven by a processor. The memory may be located inside or outside the processor, and may exchange data with the processor through various known means.
이 문서에서 "/"와 "?"는 "및/또는"으로 해석된다. 예를 들어, "A/B"는 "A 및/또는 B"로 해석되고, "A, B"는 "A 및/또는 B"로 해석된다. 추가적으로, "A/B/C"는 "A, B 및/또는 C 중 적어도 하나"를 의미한다. 또한, "A, B, C"도 "A, B 및/또는 C 중 적어도 하나"를 의미한다. (In this document, the term "/" and "?" should be interpreted to indicate "and/or." For instance, the expression "A/B" may mean "A and/or B." Further, "A, B" may mean "A and/or B." Further, "A/B/C" may mean "at least one of A, B, and/or C." Also, "A/B/C" may mean "at least one of A, B, and/or C.")In this document, "/" and "?" are interpreted as "and/or". For example, "A/B" is interpreted as "A and/or B", and "A, B" is interpreted as "A and/or B". Additionally, “A/B/C” means “at least one of A, B and/or C”. In addition, "A, B, C" also means "at least one of A, B and/or C". (In this document, the term "/" and "?" should be interpreted to indicate "and/or." For instance, the expression "A/B" may mean "A and/or B." Further, "A, B" may mean "A and/or B." Further, "A/B/C" may mean "at least one of A, B, and/or C." Also, "A/B/C" may mean " at least one of A, B, and/or C.")
추가적으로, 본 문서에서 "또는"는 "및/또는"으로 해석된다. 예를 들어, "A 또는 B"은, 1) "A" 만을 의미하고, 2) "B" 만을 의미하거나, 3) "A 및 B"를 의미할 수 있다. 달리 표현하면, 본 문서의 "또는"은 "추가적으로 또는 대체적으로(additionally or alternatively)"를 의미할 수 있다. (Further, in the document, the term "or" should be interpreted to indicate "and/or." For instance, the expression "A or B" may comprise 1) only A, 2) only B, and/or 3) both A and B. In other words, the term "or" in this document should be interpreted to indicate "additionally or alternatively.")Additionally, in this document "or" is interpreted as "and/or". For example, "A or B" may mean only 1) "A", 2) only "B", or 3) "A and B". In other words, "or" in this document may mean "additionally or alternatively". (Further, in the document, the term "or" should be interpreted to indicate "and/or." For instance, the expression "A or B" may comprise 1) only A, 2) only B, and/or 3) both A and B. In other words, the term "or" in this document should be interpreted to indicate "additionally or alternatively.")
본 발명은 본 발명의 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 당업자에게 자명하다. 따라서, 상술한 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니 되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다. It is obvious to those skilled in the art that the present invention can be embodied in other specific forms without departing from the essential features of the present invention. Therefore, the above detailed description should not be construed as restrictive in all respects, but should be considered as illustrative. The scope of the present invention should be determined by reasonable interpretation of the appended claims, and all changes within the equivalent scope of the present invention are included in the scope of the present invention.
이상, 전술한 본 발명의 바람직한 실시예는, 예시의 목적을 위해 개시된 것으로, 당업자라면 이하 첨부된 특허청구범위에 개시된 본 발명의 기술적 사상과 그 기술적 범위 내에서, 다양한 다른 실시예들을 개량, 변경, 대체 또는 부가 등이 가능할 것이다.Above, preferred embodiments of the present invention described above are disclosed for the purpose of illustration, and those skilled in the art improve and change various other embodiments within the technical spirit and scope of the present invention disclosed in the appended claims below. , Substitution or addition may be possible.

Claims (15)

  1. 인터 예측(inter prediction)을 위한 비디오 신호의 인코딩 방법으로서, A video signal encoding method for inter prediction, comprising:
    현재 블록의 예측을 위한 참조 픽처 및 움직임 벡터를 결정하는 단계와,Determining a reference picture and a motion vector for prediction of the current block; and
    상기 현재 블록의 공간적 주변 블록 및 시간적 주변 블록의 움직임 정보에 기반하여 움직임 벡터 예측자(motion vector predictor, MVP) 후보 리스트를 구성하는 단계와, Constructing a motion vector predictor (MVP) candidate list based on motion information of a spatial neighboring block and a temporal neighboring block of the current block; and
    상기 움직임 벡터에 기반하여 상기 MVP 후보 리스트에서 MVP 후보를 결정하는 단계와, Determining an MVP candidate from the MVP candidate list based on the motion vector,
    상기 참조 픽처에 대한 참조 인덱스, 상기 MVP 후보와 관련된 MVP 인덱스, 및 상기 현재 블록의 움직임 벡터와 상기 MVP 후보의 움직임 벡터 사이의 움직임 벡터 차분(motion vector difference, MVD)을 포함하는 인터 예측 정보를 인코딩하는 단계를 포함하고,Encoding inter prediction information including a reference index for the reference picture, an MVP index related to the MVP candidate, and a motion vector difference (MVD) between the motion vector of the current block and the motion vector of the MVP candidate Including the step of,
    상기 MVP 후보 리스트를 구성하는 단계는,The step of constructing the MVP candidate list,
    상기 참조 픽처에서 상기 현재 블록의 우하측(right-bottom) 위치에 대응하는 제1 동일위치(collocated) 블록과 상기 현재 블록의 일부 영역에 대응하는 제2 동일위치 블록의 움직임 정보에 기반하여 시간적 MVP 후보를 결정하는 단계와, 여기서 상기 제2 동일위치 블록은 상기 제1 동일위치 블록이 사용 불가능하고 상기 제1 동일위치 블록의 위치와 관련된 조건이 만족되는 경우 사용되고, Temporal MVP based on motion information of a first collocated block corresponding to a right-bottom position of the current block in the reference picture and a second co-located block corresponding to a partial area of the current block Determining a candidate, wherein the second co-located block is used when the first co-located block is unavailable and a condition related to the location of the first co-located block is satisfied,
    상기 시간적 MVP 후보의 움직임 벡터를 상기 MVP 후보 리스트에 추가하는 단계를 포함하는 것을 특징으로 하는 인코딩 방법.And adding a motion vector of the temporal MVP candidate to the MVP candidate list.
  2. 제1항에 있어서, The method of claim 1,
    상기 시간적 MVP 후보를 결정하는 단계는,The step of determining the temporal MVP candidate,
    상기 제1 동일위치 블록의 사용 가능성(availability)과 상기 제2 동일위치 블록의 위치와 관련된 조건을 확인하는 단계와,Confirming conditions related to the availability of the first co-located block and the location of the second co-located block,
    상기 제1 동일위치 블록이 사용 불가능하고 상기 제1 동일위치 블록의 위치와 관련된 조건이 만족되면, 상기 제2 동일위치 블록의 움직임 벡터의 사용 가능성을 확인하는 단계와,If the first co-located block is not available and a condition related to the position of the first co-located block is satisfied, confirming the possibility of using a motion vector of the second co-located block;
    상기 제2 동일위치 블록이 사용 가능한 경우, 상기 제2 동일위치 블록의 움직임 벡터를 상기 시간적 MVP로서 결정하는 단계를 포함하는 것을 특징으로 하는 인코딩 방법.And determining a motion vector of the second co-located block as the temporal MVP when the second co-located block is available.
  3. 제2항에 있어서, The method of claim 2,
    상기 제2 동일위치 블록의 위치와 관련된 조건을 확인하는 단계는,The step of checking the condition related to the location of the second co-located block,
    상기 현재 블록의 사이즈에 기반하여 상기 제2 동일위치 블록에 대한 사용 가능성을 확인할 지 여부를 결정하는 단계를 포함하는 것을 특징으로 하는 인코딩 방법.And determining whether to check availability of the second co-located block based on the size of the current block.
  4. 제3항에 있어서, The method of claim 3,
    상기 제2 동일위치 블록의 위치와 관련된 조건을 확인하는 단계는,The step of checking the condition related to the location of the second co-located block,
    상기 현재 블록의 사이즈가 기준 사이즈보다 큰 경우, 상기 현재 블록의 센터 영역에 대응하는 블록을 제2 동일위치 블록으로서 결정하고, 상기 제2 동일위치 블록의 사용 가능성을 확인하는 단계와, If the size of the current block is larger than the reference size, determining a block corresponding to the center area of the current block as a second co-located block, and confirming the availability of the second co-located block;
    상기 현재 블록의 사이즈가 기준 사이즈보다 작거나 같은 경우, 상기 참조 픽처에서 상기 현재 블록의 좌상측 코너 영역에 대응하는 블록을 상기 제2 동일위치 블록으로서 결정하고, 제2 동일위치 블록의 사용 가능성을 확인하는 단계를 포함하는 것을 특징으로 하는 인코딩 방법.When the size of the current block is smaller than or equal to the reference size, a block corresponding to the upper left corner area of the current block in the reference picture is determined as the second co-located block, and the possibility of using the second co-located block is determined. Encoding method comprising the step of confirming.
  5. 제2항에 있어서, The method of claim 2,
    상기 제2 동일위치 블록의 움직임 벡터의 사용 가능성을 확인하는 단계는,The step of confirming the possibility of use of the motion vector of the second co-located block,
    상기 제1 동일위치 블록의 위치에 대한 제1 반올림 값과 상기 제2 동일위치 블록의 위치에 대한 제2 반올림 값에 기반하여 상기 제2 동일위치 블록에 대한 사용 가능성을 확인할 지 여부를 결정하는 단계를 포함하는 것을 특징으로 하는 인코딩 방법.Determining whether to check the availability of the second co-located block based on a first rounded value for the position of the first co-located block and a second rounded value for the position of the second co-located block Encoding method comprising a.
  6. 제5항에 있어서, The method of claim 5,
    상기 제2 동일위치 블록의 움직임 벡터의 사용 가능성을 확인하는 단계는,The step of confirming the possibility of using the motion vector of the second co-located block,
    상기 제1 반올림 값과 상기 제2 반올림 값이 서로 다른 경우, 상기 참조 픽처에서 상기 현재 블록의 센터 영역에 대응하는 블록을 제2 동일위치 블록으로서 결정하고, 상기 제2 동일위치 블록의 사용 가능성을 확인하는 단계와, When the first rounding value and the second rounding value are different from each other, a block corresponding to the center area of the current block in the reference picture is determined as a second co-located block, and the possibility of using the second co-located block is determined. The steps to confirm,
    상기 제1 반올림 값과 상기 제2 반올림 값이 동일한 경우, 상기 현재 블록의 좌상측 코너 영역에 대응하는 영역을 상기 제2 동일위치 블록으로서 결정하고, 상기 제2 동일위치 블록의 사용 가능성을 확인하는 단계를 포함하는 것을 특징으로 하는 인코딩 방법.When the first rounded value and the second rounded value are the same, determining an area corresponding to the upper left corner area of the current block as the second co-located block, and confirming the availability of the second co-located block Encoding method comprising the step.
  7. 인터 예측(inter prediction)을 위한 비디오 신호의 디코딩 방법으로서, A method of decoding a video signal for inter prediction, comprising:
    현재 블록의 예측을 위한 참조 인덱스, 움직임 벡터 예측자(motion vector predictor, MVP) 인덱스, 및 움직임 벡터 차분(motion vector difference, MVD)을 포함하는 인터 예측 정보를 획득하는 단계와, Obtaining inter prediction information including a reference index for prediction of the current block, a motion vector predictor (MVP) index, and a motion vector difference (MVD),
    상기 현재 블록의 공간적 주변 블록 및 시간적 주변 블록의 움직임 정보에 기반하여 MVP 후보 리스트를 구성하는 단계와, Constructing an MVP candidate list based on motion information of a spatial neighboring block and a temporal neighboring block of the current block; and
    상기 MVP 인덱스에 기반하여 상기 MVP 후보 리스트에서 MVP 후보를 결정하는 단계와, Determining an MVP candidate from the MVP candidate list based on the MVP index,
    상기 MVP 후보의 움직임 벡터와 상기 MVD에 기반하여 상기 현재 블록의 움직임 벡터를 결정하는 단계와, Determining a motion vector of the current block based on the motion vector of the MVP candidate and the MVD; and
    상기 현재 블록의 움직임 벡터 및 상기 참조 인덱스와 관련된 참조 픽처에 기반하여 상기 현재 블록의 예측 샘플을 생성하는 단계를 포함하고,Generating a prediction sample of the current block based on a motion vector of the current block and a reference picture related to the reference index,
    상기 MVP 후보 리스트를 구성하는 단계는,The step of constructing the MVP candidate list,
    상기 참조 픽처에서 상기 현재 블록의 우하측(right-bottom) 위치에 대응하는 제1 동일위치(collocated) 블록과 상기 현재 블록의 일부 영역에 대응하는 제2 동일위치 블록의 움직임 정보에 기반하여 시간적 MVP 후보를 결정하는 단계와, 여기서 상기 제2 동일위치 블록은 상기 제1 동일위치 블록이 사용 불가능하고 상기 제1 동일위치 블록의 위치와 관련된 조건이 만족되는 경우 사용되고,Temporal MVP based on motion information of a first collocated block corresponding to a right-bottom position of the current block and a second co-located block corresponding to a partial area of the current block in the reference picture Determining a candidate, wherein the second co-located block is used when the first co-located block is unavailable and a condition related to the location of the first co-located block is satisfied,
    상기 시간적 MVP 후보의 움직임 벡터를 상기 MVP 후보 리스트에 추가하는 단계를 포함하는 것을 특징으로 하는 디코딩 방법.And adding a motion vector of the temporal MVP candidate to the MVP candidate list.
  8. 제7항에 있어서, The method of claim 7,
    상기 시간적 MVP 후보를 결정하는 단계는,The step of determining the temporal MVP candidate,
    상기 제1 동일위치 블록의 사용 가능성(availability)을 확인하는 단계와,Checking the availability of the first co-located block,
    상기 제1 동일위치 블록이 사용 불가능한 경우, 상기 제2 동일위치 블록의 움직임 벡터의 사용 가능성을 확인하는 단계와,If the first co-located block is not available, confirming the possibility of using the motion vector of the second co-located block;
    상기 제2 동일위치 블록이 사용 가능한 경우, 상기 제2 동일위치 블록의 움직임 벡터를 상기 시간적 MVP로서 결정하는 단계를 포함하는 것을 특징으로 하는 디코딩 방법.And determining a motion vector of the second co-located block as the temporal MVP when the second co-located block is available.
  9. 제8항에 있어서, The method of claim 8,
    상기 제2 동일위치 블록의 움직임 벡터의 사용 가능성을 확인하는 단계는,The step of confirming the possibility of use of the motion vector of the second co-located block,
    상기 현재 블록의 사이즈에 기반하여 상기 제2 동일위치 블록에 대한 사용 가능성을 확인할 지 여부를 결정하는 단계를 포함하는 것을 특징으로 하는 디코딩 방법.And determining whether to check availability of the second co-located block based on the size of the current block.
  10. 제9항에 있어서, The method of claim 9,
    상기 제2 동일위치 블록의 움직임 벡터의 사용 가능성을 확인하는 단계는,The step of confirming the possibility of use of the motion vector of the second co-located block,
    상기 현재 블록의 사이즈가 기준 사이즈보다 큰 경우, 상기 현재 블록의 센터 영역에 대응하는 블록을 제2 동일위치 블록으로서 결정하고, 상기 제2 동일위치 블록의 사용 가능성을 확인하는 단계와, If the size of the current block is larger than the reference size, determining a block corresponding to the center area of the current block as a second co-located block, and confirming the availability of the second co-located block;
    상기 현재 블록의 사이즈가 기준 사이즈보다 작거나 같은 경우, 상기 참조 픽처에서 상기 현재 블록의 좌상측 코너 영역에 대응하는 블록을 상기 제2 동일위치 블록으로서 결정하고, 상기 현재 블록의 제2 동일위치 블록의 사용 가능성을 확인하는 단계를 포함하는 것을 특징으로 하는 디코딩 방법.When the size of the current block is less than or equal to the reference size, a block corresponding to the upper left corner area of the current block in the reference picture is determined as the second co-located block, and a second co-located block of the current block Decoding method comprising the step of checking the availability of.
  11. 제8항에 있어서, The method of claim 8,
    상기 제2 동일위치 블록의 움직임 벡터의 사용 가능성을 확인하는 단계는,The step of confirming the possibility of use of the motion vector of the second co-located block,
    상기 제1 동일위치 블록의 위치에 대한 제1 반올림 값과 상기 제2 동일위치 블록의 위치에 대한 제2 반올림 값에 기반하여 상기 제2 동일위치 블록에 대한 사용 가능성을 확인할 지 여부를 결정하는 단계를 포함하는 것을 특징으로 하는 디코딩 방법.Determining whether to check the availability of the second co-located block based on a first rounded value for the position of the first co-located block and a second rounded value for the position of the second co-located block Decoding method comprising a.
  12. 제11항에 있어서, The method of claim 11,
    상기 제2 동일위치 블록의 움직임 벡터의 사용 가능성을 확인하는 단계는,The step of confirming the possibility of use of the motion vector of the second co-located block,
    상기 제1 반올림 값과 상기 제2 반올림 값이 서로 다른 경우, 상기 참조 픽처에서 상기 현재 블록의 센터 영역에 대응하는 블록을 제2 동일위치 블록으로서 결정하고, 상기 현재 블록의 센터 영역의 사용 가능성을 확인하는 단계와, When the first rounding value and the second rounding value are different from each other, a block corresponding to the center area of the current block in the reference picture is determined as a second co-located block, and the availability of the center area of the current block is determined. The steps to confirm,
    상기 제1 반올림 값과 상기 제2 반올림 값이 동일한 경우, 상기 현재 블록의 사이즈가 기준 사이즈보다 작거나 같은 경우, 상기 현재 블록의 좌상측 코너 영역에 대응하는 영역을 상기 제2 동일위치 블록으로서 결정하고, 상기 현재 블록의 좌상측 코너 영역의 사용 가능성을 확인하는 단계를 포함하는 것을 특징으로 하는 디코딩 방법.When the first rounded value and the second rounded value are the same, when the size of the current block is less than or equal to the reference size, an area corresponding to the upper left corner area of the current block is determined as the second co-located block And checking the availability of the upper left corner area of the current block.
  13. 인터 예측(inter prediction)을 위한 비디오 신호의 인코딩 장치로서, An apparatus for encoding a video signal for inter prediction, comprising:
    상기 비디오 신호를 저장하는 메모리와,A memory for storing the video signal;
    상기 메모리와 결합되고 상기 비디오 신호를 처리하는 프로세서를 포함하고,A processor coupled to the memory and processing the video signal,
    상기 프로세서는,The processor,
    현재 블록의 예측을 위한 참조 픽처 및 움직임 벡터를 결정하고,Determine a reference picture and a motion vector for prediction of the current block,
    상기 현재 블록의 공간적 주변 블록 및 시간적 주변 블록의 움직임 정보에 기반하여 움직임 벡터 예측자(motion vector predictor, MVP) 후보 리스트를 구성하고, Construct a motion vector predictor (MVP) candidate list based on motion information of a spatial neighboring block and a temporal neighboring block of the current block,
    상기 움직임 벡터에 기반하여 상기 MVP 후보 리스트에서 MVP 후보를 결정하고,Determine an MVP candidate from the MVP candidate list based on the motion vector,
    상기 참조 픽처에 대한 참조 인덱스, 상기 MVP 후보와 관련된 MVP 인덱스, 및 상기 현재 블록의 움직임 벡터와 상기 MVP 후보의 움직임 벡터 사이의 움직임 벡터 차분(motion vector difference, MVD)을 포함하는 인터 예측 정보를 인코딩하도록 설정되며,Encoding inter prediction information including a reference index for the reference picture, an MVP index related to the MVP candidate, and a motion vector difference (MVD) between the motion vector of the current block and the motion vector of the MVP candidate Is set to
    상기 프로세서는, 상기 MVP 후보 리스트를 구성하기 위하여,The processor, in order to configure the MVP candidate list,
    상기 참조 픽처에서 상기 현재 블록의 우하측(right-bottom) 위치에 대응하는 제1 동일위치(collocated) 블록과 상기 현재 블록의 일부 영역에 대응하는 제2 동일위치 블록의 움직임 정보에 기반하여 시간적 MVP 후보를 결정하고, 여기서 상기 제2 동일위치 블록은 상기 제1 동일위치 블록이 사용 불가능하고 상기 제1 동일위치 블록의 위치와 관련된 조건이 만족되는 경우 사용되고, Temporal MVP based on motion information of a first collocated block corresponding to a right-bottom position of the current block in the reference picture and a second co-located block corresponding to a partial area of the current block A candidate is determined, wherein the second co-located block is used when the first co-located block is unavailable and a condition related to the location of the first co-located block is satisfied,
    상기 시간적 MVP 후보의 움직임 벡터를 상기 MVP 후보 리스트에 추가하도록 설정되는 것을 특징으로 하는 인코딩 장치.Encoding apparatus, characterized in that configured to add the motion vector of the temporal MVP candidate to the MVP candidate list.
  14. 인터 예측(inter prediction)을 위한 비디오 신호의 디코딩 장치로서, A video signal decoding apparatus for inter prediction, comprising:
    상기 비디오 신호를 저장하는 메모리와,A memory for storing the video signal;
    상기 메모리와 결합되고 상기 비디오 신호를 처리하는 프로세서를 포함하고,A processor coupled to the memory and processing the video signal,
    상기 프로세서는,The processor,
    현재 블록의 예측을 위한 참조 인덱스, 움직임 벡터 예측자(motion vector predictor, MVP) 인덱스, 및 움직임 벡터 차분(motion vector difference, MVD)을 포함하는 인터 예측 정보를 획득하고, Acquire inter prediction information including a reference index for prediction of the current block, a motion vector predictor (MVP) index, and a motion vector difference (MVD),
    상기 현재 블록의 공간적 주변 블록 및 시간적 주변 블록의 움직임 정보에 기반하여 MVP 후보 리스트를 구성하고, Construct an MVP candidate list based on motion information of a spatial neighboring block and a temporal neighboring block of the current block,
    상기 MVP 인덱스에 기반하여 상기 MVP 후보 리스트에서 MVP 후보를 결정하고, Determine an MVP candidate from the MVP candidate list based on the MVP index,
    상기 MVP 후보의 움직임 벡터와 상기 MVD에 기반하여 상기 현재 블록의 움직임 벡터를 결정하고,Determine a motion vector of the current block based on the motion vector of the MVP candidate and the MVD,
    상기 현재 블록의 움직임 벡터 및 상기 참조 인덱스와 관련된 참조 픽처에 기반하여 상기 현재 블록의 예측 샘플을 생성하도록 설정되며,It is set to generate a prediction sample of the current block based on a motion vector of the current block and a reference picture related to the reference index,
    상기 MVP 후보 리스트를 구성하기 위하여, 상기 프로세서는,In order to construct the MVP candidate list, the processor,
    상기 참조 픽처에서 상기 현재 블록의 우하측(right-bottom) 위치에 대응하는 제1 동일위치(collocated) 블록과 상기 현재 블록의 일부 영역에 대응하는 제2 동일위치 블록의 움직임 정보에 기반하여 시간적 MVP 후보를 결정하고, 여기서 상기 제2 동일위치 블록은 상기 제1 동일위치 블록이 사용 불가능하고 상기 제1 동일위치 블록의 위치와 관련된 조건이 만족되는 경우 사용되고,Temporal MVP based on motion information of a first collocated block corresponding to a right-bottom position of the current block in the reference picture and a second co-located block corresponding to a partial area of the current block A candidate is determined, wherein the second co-located block is used when the first co-located block is unavailable and a condition related to the location of the first co-located block is satisfied,
    상기 시간적 MVP 후보의 움직임 벡터를 상기 MVP 후보 리스트에 추가하도록 설정되는 것을 특징으로 하는 디코딩 장치.And the motion vector of the temporal MVP candidate is set to add to the MVP candidate list.
  15. 하나 또는 그 이상의 명령어들을 저장하는 비일시적 컴퓨터 판독가능한 매체(non-transitory computer-readable medium)로서, 하나 또는 그 이상의 프로세서들에 의해 실행되는 상기 하나 또는 그 이상의 명령어들은, 비디오 신호 처리 장치로 하여금,As a non-transitory computer-readable medium that stores one or more instructions, the one or more instructions executed by one or more processors, the video signal processing apparatus,
    현재 블록의 예측을 위한 참조 인덱스, 움직임 벡터 예측자(motion vector predictor, MVP) 인덱스, 및 움직임 벡터 차분(motion vector difference, MVD)을 포함하는 인터 예측 정보를 획득하고, Acquire inter prediction information including a reference index for prediction of the current block, a motion vector predictor (MVP) index, and a motion vector difference (MVD),
    상기 현재 블록의 공간적 주변 블록 및 시간적 주변 블록의 움직임 정보에 기반하여 MVP 후보 리스트를 구성하고, Construct an MVP candidate list based on motion information of a spatial neighboring block and a temporal neighboring block of the current block,
    상기 MVP 인덱스에 기반하여 상기 MVP 후보 리스트에서 MVP 후보를 결정하고, Determine an MVP candidate from the MVP candidate list based on the MVP index,
    상기 MVP 후보의 움직임 벡터와 상기 MVD에 기반하여 상기 현재 블록의 움직임 벡터를 결정하고,Determine a motion vector of the current block based on the motion vector of the MVP candidate and the MVD,
    상기 현재 블록의 움직임 벡터 및 상기 참조 인덱스와 관련된 참조 픽처에 기반하여 상기 현재 블록의 예측 샘플을 생성하도록 제어하며,Control to generate a prediction sample of the current block based on a motion vector of the current block and a reference picture related to the reference index,
    상기 MVP 후보 리스트를 구성하기 위하여, In order to construct the MVP candidate list,
    상기 참조 픽처에서 상기 현재 블록의 우하측(right-bottom) 위치에 대응하는 제1 동일위치(collocated) 블록과 상기 현재 블록의 일부 영역에 대응하는 제2 동일위치 블록의 움직임 정보에 기반하여 시간적 MVP 후보를 결정하고, 여기서 상기 제2 동일위치 블록은 상기 제1 동일위치 블록이 사용 불가능하고 상기 제1 동일위치 블록의 위치와 관련된 조건이 만족되는 경우 사용되고,Temporal MVP based on motion information of a first collocated block corresponding to a right-bottom position of the current block in the reference picture and a second co-located block corresponding to a partial area of the current block A candidate is determined, wherein the second co-located block is used when the first co-located block is unavailable and a condition related to the location of the first co-located block is satisfied,
    상기 시간적 MVP 후보의 움직임 벡터를 상기 MVP 후보 리스트에 추가하도록 상기 비디오 신호 처리 장치를 제어하는 것을 특징으로 하는 비일시적 컴퓨터 판독가능한 매체.And controlling the video signal processing apparatus to add the motion vector of the temporal MVP candidate to the MVP candidate list.
PCT/KR2020/002615 2019-02-24 2020-02-24 Method and apparatus for processing video signal for inter prediction WO2020171670A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201962809726P 2019-02-24 2019-02-24
US62/809,726 2019-02-24

Publications (1)

Publication Number Publication Date
WO2020171670A1 true WO2020171670A1 (en) 2020-08-27

Family

ID=72144700

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/002615 WO2020171670A1 (en) 2019-02-24 2020-02-24 Method and apparatus for processing video signal for inter prediction

Country Status (1)

Country Link
WO (1) WO2020171670A1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160106025A (en) * 2010-12-14 2016-09-09 엠앤케이홀딩스 주식회사 Apparatus for encoding a moving picture
KR101802375B1 (en) * 2011-09-09 2017-11-28 주식회사 케이티 Methods of derivation of temporal motion vector predictor and appratuses using the same
US20180359483A1 (en) * 2017-06-13 2018-12-13 Qualcomm Incorporated Motion vector prediction

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160106025A (en) * 2010-12-14 2016-09-09 엠앤케이홀딩스 주식회사 Apparatus for encoding a moving picture
KR101802375B1 (en) * 2011-09-09 2017-11-28 주식회사 케이티 Methods of derivation of temporal motion vector predictor and appratuses using the same
US20180359483A1 (en) * 2017-06-13 2018-12-13 Qualcomm Incorporated Motion vector prediction

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BROSS, BENJAMIN ET AL.: "Versatile Video Coding (Draft 4", JVET-M1001-V3. JOINT VIDEO EXPERTS TEAM (JVET) OF [TU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11. 13TH MEETING, 19 February 2019 (2019-02-19), Marrakech, MA., pages 1 - 242, XP030202562 *
CHEN, CHUN-CHIA ET AL.: "CE2.5.1: Simplification of SbTMVP", JVET-M0165 -V1, JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 NNT 3 AND ISO/TEC JTC 1/SC 29/WG 11. 13TH MEETING, 9 January 2019 (2019-01-09), Marrakech, MA, pages 1 - 3, XP030197825 *

Similar Documents

Publication Publication Date Title
WO2017065532A1 (en) Method and apparatus for encoding and decoding video signal
WO2020180155A1 (en) Method and apparatus for processing video signal
WO2020004990A1 (en) Method for processing image on basis of inter-prediction mode and device therefor
WO2020180129A1 (en) Method and device for processing video signal for inter-prediction
WO2020130617A1 (en) Method and apparatus for processing video data
WO2019194514A1 (en) Image processing method based on inter prediction mode, and device therefor
WO2020171660A1 (en) Method and device for processing video signal for intra prediction
WO2020055107A1 (en) Affine motion prediction-based image decoding method and apparatus using affine mvp candidate list in image coding system
WO2019216714A1 (en) Method for processing image on basis of inter-prediction mode and apparatus therefor
WO2020184952A1 (en) Video signal processing method and device for processing motion vector difference information for inter prediction in video signal
WO2019235822A1 (en) Method and device for processing video signal by using affine motion prediction
WO2020171673A1 (en) Video signal processing method and apparatus for intra prediction
WO2020262931A1 (en) Signaling method and device for merge data syntax in video/image coding system
WO2020184964A1 (en) Method and apparatus for video signal processing for inter prediction
WO2021141227A1 (en) Image decoding method and device for same
WO2021006579A1 (en) Video encoding/decoding method and device for deriving weight index for bidirectional prediction of merge candidate, and method for transmitting bitstream
WO2021040482A1 (en) Adaptive loop filtering-based image coding device and method
WO2020262930A1 (en) Method and device for removing redundant syntax from merge data syntax
WO2020251259A1 (en) Image decoding method for deriving weight index information for bi-prediction, and device for same
WO2020009447A1 (en) Inter-prediction mode-based image processing method and device therefor
WO2021141477A1 (en) Image encoding/decoding method and apparatus, and method of transmitting bitstream using sequence parameter set including information on maximum number of merge candidates
WO2020262902A1 (en) Video decoding method using bi-prediction and device therefor
WO2020262929A1 (en) Method and device for syntax signaling in video/image coding system
WO2020184958A1 (en) Method and device for processing video signal for inter prediction
WO2019245228A1 (en) Method and device for processing video signal using affine motion prediction

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20759714

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20759714

Country of ref document: EP

Kind code of ref document: A1