WO2015076580A1 - 비디오 신호 처리 방법 및 장치 - Google Patents

비디오 신호 처리 방법 및 장치 Download PDF

Info

Publication number
WO2015076580A1
WO2015076580A1 PCT/KR2014/011190 KR2014011190W WO2015076580A1 WO 2015076580 A1 WO2015076580 A1 WO 2015076580A1 KR 2014011190 W KR2014011190 W KR 2014011190W WO 2015076580 A1 WO2015076580 A1 WO 2015076580A1
Authority
WO
WIPO (PCT)
Prior art keywords
half frame
current
video decoder
frame
inter prediction
Prior art date
Application number
PCT/KR2014/011190
Other languages
English (en)
French (fr)
Inventor
하재원
박내리
배성호
임진석
이철주
김현수
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020140032492A external-priority patent/KR102232417B1/ko
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to US15/037,594 priority Critical patent/US10349078B2/en
Publication of WO2015076580A1 publication Critical patent/WO2015076580A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/439—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using cascaded computational arrangements for performing a single operation, e.g. filtering

Definitions

  • the present invention relates to a video signal processing method and apparatus.
  • Compression coding refers to a series of signal processing techniques for transmitting digitized information through a communication line or for storing in a form suitable for a storage medium.
  • the object of compression encoding includes objects such as voice, video, text, and the like.
  • a technique of performing compression encoding on an image is called video image compression.
  • Compression coding on a video signal is performed by removing redundant information in consideration of spatial correlation, temporal correlation, and stochastic correlation.
  • An object of the present invention is to improve the coding efficiency of a video signal.
  • An object of the present invention is to provide a video signal processing method and apparatus for parallel processing one frame in units of half frames using a plurality of video decoders.
  • Another object of the present invention is to provide a video signal processing method and apparatus for inter-predicting a half frame when there is a reference relationship between half frames processed in parallel.
  • Another object of the present invention is to provide a video signal processing method and apparatus for performing in-loop filtering on a plurality of coding unit columns constituting one half frame.
  • one video decoder sequentially inter-precodes a video sequence in half-frame units, and the other video decoder reconstructs the inter-predicted half frame.
  • the other video decoder reconstructs the inter-predicted half frame.
  • a plurality of video decoders can be operated full-time, and further, the decoding time of the video sequence can be reduced.
  • the inter prediction is additionally performed after the parallel processing is completed, thereby reducing errors due to inter prediction and
  • the advantage is that compatibility can be maintained.
  • a decoded half frame having the same size as that of the reconstructed half frame can be obtained. There is an advantage that it can.
  • FIG. 1 is a schematic block diagram of a video signal decoding apparatus to which the present invention is applied.
  • FIG. 2 is a flowchart illustrating a method of deriving a motion vector by using the motion information of the current block in the motion vector deriving unit 142 as an embodiment to which the present invention is applied.
  • FIG. 3 is a diagram illustrating a process of parallel processing one frame using a plurality of video decoders according to an embodiment to which the present invention is applied.
  • FIG. 4 is a flowchart illustrating a method of decoding a current half frame in the video signal processing apparatus 200 according to an embodiment to which the present invention is applied.
  • FIG. 5 is a flowchart illustrating an inter prediction process in a second video decoder 300 according to an embodiment to which the present invention is applied.
  • FIG. 6 is a diagram illustrating a decoding process of a current half frame according to whether or not inter prediction is performed on a border row of a current half frame in the first video decoder 200 according to an embodiment to which the present invention is applied.
  • the present invention extracts motion information for inter prediction of a current half frame from a bitstream in a first video decoder, and extracts motion information for the current half frame using the extracted motion information in a second video decoder. Performing inter prediction on the first video decoder, and reconstructing the inter predicted current half frame at the first video decoder.
  • the performing of the inter prediction according to the present invention may include checking whether the current half frame is an upper half frame and, if the current half frame is an upper half frame, determining a current block included in the current half frame.
  • a video signal processing method is performed based on whether a reference block belongs to a lower half frame of a previous frame.
  • the inter prediction of the current block is performed using the sample value of the reference block. And if the reference block belongs to the lower half frame of the previous frame, inter prediction of the current block is skipped.
  • the present invention uses the motion information of the current block to decode the lower half frame of the previous frame in the first video decoder.
  • a video signal processing method is characterized by performing prediction.
  • the first video decoder when the current half frame corresponds to an upper half frame, the first video decoder performs inter prediction on a boundary row of the current half frame while performing inter prediction on the current half frame.
  • a video signal processing method is performed in parallel.
  • the present invention also provides a video signal processing method for performing in-loop filtering on the reconstructed current half frame in the first video decoder.
  • the performing of the in-loop filtering according to the present invention may further include: reconstructing the inter predicted boundary row at the first video decoder and at least one sample of the reconstructed boundary row at the first video decoder. In-loop filtering is performed on at least one sample of the reconstructed current half frame using the video signal processing method.
  • a first video decoder for extracting motion information for inter prediction of a current half frame from a bitstream, and a second for performing inter prediction on the current half frame using the extracted motion information. And a first video decoder for reconstructing the inter predicted current half frame.
  • the second video decoder when the current half frame is an upper half frame, the second video decoder according to the present invention may be based on whether a reference block of the current block included in the current half frame belongs to a lower half frame of a previous frame.
  • a video signal processing apparatus characterized by performing inter prediction of the current block.
  • the second video decoder when the reference block does not belong to the lower half frame of the previous frame, the second video decoder according to the present invention performs inter prediction of the current block by using a sample value of the reference block, and performs the reference.
  • the video signal processing apparatus is characterized by skipping inter prediction of the current block.
  • the first video decoder uses the motion information of the current block to decode the lower half frame of the previous frame to complete the inter prediction of the current block.
  • a video signal processing apparatus characterized by performing prediction.
  • the first video decoder when the current half frame corresponds to an upper half frame, performs inter prediction on a boundary row of the current half frame while performing inter prediction on the current half frame. It provides a video signal processing apparatus characterized in that performed in parallel.
  • the present invention further includes the first video decoder to perform in-loop filtering on the reconstructed current half frame, wherein the first video decoder reconstructs the inter predicted boundary row and reconstructs the reconstructed boundary row.
  • An in-loop filtering is performed on at least one sample of the reconstructed current half frame using at least one sample of a boundary row.
  • FIG. 1 is a schematic block diagram of a video decoder 100 to which the present invention is applied.
  • the video decoder 100 may include a parser 110, an inverse quantizer / inverter 120, an intra predictor 130, an inter predictor 140, an in-loop filter 150, a buffer 160, and the like. It may include.
  • the parser 110 may receive a bitstream coded with data of a video image.
  • the parser 110 performs parsing on a NAL basis to decode the received bitstream, thereby coding information (eg, block partition information, intra prediction mode, motion information, reference index, etc.) for predicting a video image. ) And quantized transform coefficients corresponding to the residual data of the video image may be extracted.
  • coding information eg, block partition information, intra prediction mode, motion information, reference index, etc.
  • the inverse quantization / inverse transform unit 120 may scale the quantized transform coefficients using the quantization parameter to obtain scaled transform coefficients, and inversely transform the scaled transform coefficients to restore residual data.
  • the intra predictor 130 may perform intra prediction using a neighboring sample adjacent to the current block and an intra prediction mode.
  • the neighboring samples are samples located at the left, bottom left, top, and top right of the current block, and may refer to samples in which restoration is completed before the current block.
  • the intra prediction mode may be extracted from the bitstream or may be derived based on the intra prediction mode of at least one of the left neighboring block and the upper neighboring block of the current block.
  • the inter predictor 140 may include a motion vector derivator 142 and a motion compensator 144.
  • the motion vector derivation unit 142 is not limited to being included in the inter prediction unit 140.
  • the motion vector derivator 142 may be included in the parser 110 according to an implementation method.
  • the motion vector derivation unit 142 may derive a motion vector using the motion information extracted from the bitstream.
  • the motion information may include motion vector prediction information and differential motion vector.
  • the motion vector prediction information means index information for specifying the motion vector prediction value of the current block
  • the differential motion vector means the difference between the motion vector and the motion vector prediction value.
  • the motion compensator 144 may specify a reference block based on the derived motion vector and the reference index, and may perform inter prediction on the current block by using a sample value of the reference block.
  • the in-loop filter unit 150 may apply the in-loop filter to the reconstructed block to reduce block distortion.
  • In-loop filters can improve the quality of decoded frames by smoothing the boundaries between blocks or samples within blocks.
  • the frame to which the in-loop filter is applied may be stored in the buffer unit 160 to be output or used as a reference frame.
  • the buffer 160 may store or open previously decoded frames in order to perform inter prediction.
  • FIG. 2 is a flowchart illustrating a method of deriving a motion vector by using the motion information of the current block in the motion vector deriving unit 142 as an embodiment to which the present invention is applied.
  • a motion candidate list for a current block may be generated (S200).
  • the motion candidate list may include a plurality of motion vector candidates available as motion vector prediction values of the current block.
  • the motion vector candidate may include at least one of a motion vector of a spatial neighboring block or a motion vector of a temporal neighboring block.
  • the spatial neighboring block means a neighboring block spatially adjacent to the current block.
  • the spatial neighboring block may mean at least one of the left neighboring block or the upper neighboring block of the current block.
  • the temporal neighboring block may mean a block having a center position of the current block or a block having a lower right position of the current block in a frame located at a different time zone from the current frame including the current block.
  • a motion vector prediction value of the current block may be derived based on the generated motion candidate list and motion vector prediction information (S210). That is, the motion vector candidate specified by the motion vector prediction information among the plurality of motion vector candidates included in the motion candidate list may be set as the motion vector prediction value of the current block.
  • a motion vector of the current block may be derived based on the derived motion vector prediction value and the differential motion vector of the current block (S220).
  • FIG. 3 is a diagram illustrating a process of parallel processing one frame using a plurality of video decoders according to an embodiment to which the present invention is applied.
  • the first video decoder 200 and the second video decoder 300 are configured to process one frame in parallel in units of half frames.
  • the first video decoder 200 and the second video decoder 300 may include all the components of the video decoder 100 described above with reference to FIG. 1, or may optionally include some components according to an implementation manner. It may be.
  • inter prediction is performed by using the motion information of the upper half frame TF N of the N frame in the second video decoder 300. Can be done.
  • the motion information may be extracted from the bitstream through entropy decoding in the first video decoder 200.
  • the second video decoder 300 transmits the inter predicted upper half frame TF N to the first video decoder 200 and inter-predicts the motion information of the lower half frame BF N of the N frames. Can be performed.
  • the first video decoder 200 transmits the upper half frame TF transmitted from the second video decoder 300.
  • N may be reconstructed, and an in-loop filter may be applied to the reconstructed upper half frame TF N.
  • the process of restoring the top half-frames (TF N), the second video decoder 300, in particular the upper half-frame blocks which are not predictive processing in the (TF N) sent from the intra for the blocks coded in intra mode Prediction may be performed, and residual data may be obtained by inverse quantization and inverse transformation of the quantized transform coefficients extracted from the bitstream. Then, the sample value of the upper half frame TF N may be reconstructed using the sample prediction value obtained through inter prediction and / or intra prediction and the residual data.
  • the second video decoder 300 may perform inter prediction on the lower half frame BF N and then transmit it to the first video decoder 200.
  • the first video decoder 200 in the upper half frame (TF N) is, to restore the half frame (BF N) at the bottom of the transmission, and the reconstructed lower half frame (BF N) after completion of decoding of the-loop You can apply filters.
  • the time required to decode one frame can be reduced by half.
  • FIG. 4 is a flowchart illustrating a method of decoding a current half frame in the video signal processing apparatus 200 according to an embodiment to which the present invention is applied.
  • motion information for inter prediction of the current half frame may be extracted from the bitstream (S400).
  • the current half frame may mean either the upper half frame or the lower half frame of the current frame.
  • the second video decoder 300 may perform inter prediction on the current half frame by using the extracted motion information (S410).
  • inter prediction may be performed in consideration of whether the current half frame is an upper half frame or a lower half frame, which will be described later with reference to FIG. 5.
  • the first video decoder 200 performs inter prediction on the current half frame by the second video decoder 300.
  • inter prediction may be performed in parallel on a border row of the current half frame for in-loop filtering of the current half frame. This will be described later with reference to FIG. 6.
  • the first video decoder 200 may reconstruct the current half frame inter-predicted and perform in-loop filtering on the reconstructed current half frame (S420).
  • the process of restoring the half frame has been described in detail with reference to FIG. 3, and a detailed description thereof will be omitted.
  • FIG. 5 is a flowchart illustrating an inter prediction process in a second video decoder 300 according to an embodiment to which the present invention is applied.
  • the current half frame is the upper half frame (S500).
  • whether the current half frame is the upper half frame may be determined based on the location of the current block coded in the inter mode as a block belonging to the current half frame. If the position of the current block belongs to the upper half frame of the current frame, the current half frame may be regarded as corresponding to the upper half frame. Otherwise, the current half frame may correspond to a lower half frame.
  • step S500 when the current half frame is the upper half frame, it may be determined whether the reference block belongs to the lower half frame of the previous frame based on the motion vector and the reference index of the current block (S510).
  • the previous frame may mean a frame having a coding order immediately before the current frame.
  • the lower half frame of the previous frame may refer to a frame that is decoded in parallel in the first video decoder 200 while the current half frame is inter predicted in the second video decoder 300.
  • the sample of the current block may be predicted using the sample value of the corresponding reference block (S520).
  • inter prediction on the current block may be skipped (S530). This is because there is no sample to which the current block refers to while the reference block is being decoded in the first video decoder 200 in parallel with the current block. As such, for the block in which inter prediction is skipped by the second video decoder 300, corresponding motion information may be transmitted to the first video decoder 200, and the first video decoder 200 may transmit a lower half frame of the previous frame. After decoding is completed, the inter prediction may be performed using the received motion information.
  • step S500 when the current half frame is the lower half frame, the reference block is specified based on the motion vector and the reference index of the current block, and the sample of the current block using the sample value of the specified reference block. It can be predicted (S540).
  • FIG. 6 is a diagram illustrating a decoding process of a current half frame according to whether or not inter prediction is performed on a border row of a current half frame in the first video decoder 200 according to an embodiment to which the present invention is applied.
  • one frame is composed of 17 coding unit rows, and 8 coding unit rows arranged at the top are referred to as the upper half frame, and 9 coding unit rows arranged at the bottom are referred to as the lower half frame, respectively.
  • the coding unit refers to a basic unit for processing a video signal, and the size of the coding unit may be adaptively determined in consideration of coding efficiency at the encoder side.
  • FIG. 6 (a) illustrates a process of decoding the upper half frame without inter prediction on the boundary row of the upper half frame.
  • the second video decoder 300 performs inter prediction on an upper half frame of N frames
  • the first video decoder 200 restores an inter predicted upper half frame.
  • In-loop filtering may be performed.
  • in-loop filtering uses the reconstructed samples on both sides about the block boundary. That is, when the block boundary is a horizontal boundary, in-loop filtering is performed using reconstructed samples located at the top and bottom of the horizontal boundary.
  • the second video decoder 300 inter-predicts the lower half frame of the N frames in parallel. Since the coding unit column located at the bottom of the upper half frame of the N frame cannot perform in-loop filtering. Therefore, even if the second video decoder 300 performs inter prediction on eight coding unit columns, only seven coding unit columns will finally be decoded after in-loop filtering in the first video decoder 200.
  • the second half video decoder when the upper half frame of the N + 1 frame performs inter prediction with reference to the upper half frame of the decoded N frame, the second half video decoder includes the upper half frame of the N frame since only seven columns of coding units are currently decoded. In 300, only seven coding unit columns may also be inter predicted in the upper half frame of the N + 1 frame. Similarly, only six coding unit columns will be decoded after in-loop filtering in the first video decoder 200. As such, the first video decoder 200 and the second video decoder 300 may not decode all eight coding unit columns of the upper half frame, and only the coding unit columns in which one coding unit column is cumulatively reduced every frame. Will be decoded.
  • the second video decoder 300 performs inter prediction on the lower half frame of the current frame in parallel during the reconstruction and in-loop filtering of the upper half frame of the current frame at the first video decoder 200. Because. Therefore, in order to decode all eight coding unit columns of the upper half frame in the first video decoder 200, inter prediction may be performed on the boundary rows of the upper half frame in parallel as shown in FIG. 6B.
  • FIG. 6 (b) shows that the first video decoder 200 performs inter prediction on the boundary row of the upper half frame in parallel while the second video decoder 300 performs the inter prediction on the upper half frame. The process is illustrated.
  • the second video decoder 300 performs inter prediction on an upper half frame of N frames, and in parallel thereto, the first video decoder 200 performs a lower prediction of the upper half frame. Inter prediction may be performed on adjacent boundary rows.
  • the boundary row may mean at least one of a plurality of coding unit columns positioned at the bottom of the upper half frame.
  • the size of the boundary row that is, the number of coding unit columns constituting the boundary row may be adaptively determined in consideration of the speed at which the second video decoder 300 processes the frame. For example, when the time taken for performing the inter prediction on the half frame in the second video decoder 300 exceeds the predetermined time, this means that the capacity of the second video decoder 300 is lowered.
  • the size of the boundary row inter predicted by the video decoder 200 may be set. On the contrary, when the time taken to perform inter prediction on the half frame in the second video decoder 300 does not exceed the predetermined time, the size of the boundary row may be set to be small.
  • FIG. 6 (b) a case in which the boundary row includes one coding unit column and the lower half frame of the N frame includes eight coding unit columns will be described as an example.
  • the first video decoder 200 may reconstruct an inter predicted boundary row and an upper half frame inter predicted by the second video decoder 300, respectively. Then, in-loop filtering may be performed on the reconstructed upper half frame. In this case, in-loop filtering may be performed on at least one sample of the reconstructed upper half frame using at least one sample of the reconstructed boundary row. In this case, since the sample of the reconstructed boundary row is available, decoding will be possible for all eight coding unit columns constituting the reconstructed upper half frame.
  • the second video decoder ( In 300, eight coding unit columns may be inter predicted for the upper half frame of the N + 1 frame.
  • the first video decoder 200 performs the inter prediction on the boundary row in parallel, thereby making eight codings every frame. It is possible to decode the entire upper half frame composed of unit columns.
  • the present invention can be used to code a video signal.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명의 비디오 신호 처리 방법은 제1 비디오 디코더에서 비트스트림으로부터 현재 하프 프레임의 인터 예측을 위한 모션 정보를 추출하고, 제2 비디오 디코더에서 추출된 모션 정보를 이용하여 현재 하프 프레임에 대해 인터 예측을 수행하며, 제1 비디오 디코더에서 인터 예측된 현재 하프 프레임을 복원할 수 있다. 이를 통해 비디오 시퀀스의 코딩 시간을 줄일 수 있다.

Description

비디오 신호 처리 방법 및 장치
본 발명은 비디오 신호 처리 방법 및 장치에 관한 것이다.
압축 부호화란 디지털화한 정보를 통신 회선을 통해 전송하거나, 저장 매체에 적합한 형태로 저장하기 위한 일련의 신호 처리 기술을 의미한다. 압축 부호화의 대상에는 음성, 영상, 문자 등의 대상이 존재하며, 특히 영상을 대상으로 압축 부호화를 수행하는 기술을 비디오 영상 압축이라고 일컫는다. 비디오 신호에 대한 압축 부호화는 공간적인 상관관계, 시간적인 상관관계, 확률적인 상관관계 등을 고려하여 잉여 정보를 제거함으로써 이루어진다. 그러나 최근의 다양한 미디어 및 데이터 전송 매체의 발전으로 인해, 더욱 고효율의 비디오 신호 처리 방법 및 장치가 요구되고 있다.
본 발명의 목적은 비디오 신호의 코딩 효율을 높이고자 함에 있다.
본 발명은 복수 개의 비디오 디코더를 이용하여 하나의 프레임을 하프 프레임 단위로 병렬 처리하는 비디오 신호 처리 방법 및 장치를 제공하는 것을 그 목적으로 한다.
또한, 본 발명은 병렬 처리되는 하프 프레임들 간에 참조 관계가 있는 경우, 해당 하프 프레임을 인터 예측하는 비디오 신호 처리 방법 및 장치를 제공하는 것을 그 목적으로 한다.
또한, 본 발명은 하나의 하프 프레임을 구성하는 복수 개의 코딩 유닛 열에 대해 인-루프 필터링을 수행하기 위한 비디오 신호 처리 방법 및 장치를 제공하는 것을 그 목적으로 한다.
본 발명에 따른 비디오 신호 처리 방법 및 장치의 효과에 대해 설명하면 다음과 같다.
본 발명의 실시 예들 중 적어도 하나에 의하면, 어느 하나의 비디오 디코더에서는 비디오 시퀀스를 하프 프레임 단위로 코딩 순서에 따라 순차적으로 인터 예측을 수행하고, 다른 하나의 비디오 디코더에서는 인터 예측된 하프 프레임을 복원, 그리고 인-루프 필터링을 수행함으로써 복수 개의 비디오 디코더를 full-time으로 동작할 수 있고, 나아가 비디오 시퀀스의 디코딩 시간을 줄일 수 있다는 장점이 있다.
또한, 본 발명의 실시 예들 중 적어도 하나에 의하면, 병렬 처리되는 하프 프레임들 간에 참조 관계가 있는 경우, 병렬 처리가 완료된 후 추가적으로 인터 예측을 수행함으로써, 인터 예측에 따른 에러를 줄이고, 기존 코덱과의 호환성을 유지할 수 있다는 장점이 있다.
또한, 본 발명의 실시 예들 중 적어도 하나에 의하면, 복원된 하프 프레임에 대한 인-루프 필터링 과정에서 복원된 경계 행을 이용함으로써, 복원된 하프 프레임의 크기와 동일한 크기의 디코딩된 하프 프레임을 획득할 수 있다는 장점이 있다.
도 1은 본 발명이 적용되는 비디오 신호 디코딩 장치의 개략적인 블록도를 나타낸다.
도 2는 본 발명이 적용되는 일실시예로서, 모션 벡터 유도부(142)에서 현재 블록의 모션 정보를 이용하여 모션 벡터를 유도하는 방법을 도시한 순서도이다.
도 3은 본 발명이 적용되는 일실시예로서, 복수 개의 비디오 디코더를 이용하여 하나의 프레임을 병렬 처리하는 과정을 도시한 것이다.
도 4는 본 발명이 적용되는 일실시예로서, 비디오 신호 처리 장치(200)에서 현재 하프 프레임을 디코딩하는 방법을 도시한 순서도이다.
도 5는 본 발명이 적용되는 일실시예로서, 제2 비디오 디코더(300)에서의 인터 예측 과정을 도시한 순서도이다.
도 6은 본 발명이 적용되는 일실시예로서, 제1 비디오 디코더(200)에서 현재 하프 프레임의 경계 행 (border row)에 대한 인터 예측 여부에 따른 현재 하프 프레임의 디코딩 과정을 도시한 것이다.
상기 목적을 달성하기 위해 본 발명은, 제1 비디오 디코더에서 비트스트림으로부터 현재 하프 프레임의 인터 예측을 위한 모션 정보를 추출하고, 제2 비디오 디코더에서 상기 추출된 모션 정보를 이용하여 상기 현재 하프 프레임에 대해 인터 예측을 수행하며, 상기 제1 비디오 디코더에서 상기 인터 예측된 현재 하프 프레임을 복원하는 단계를 포함하는 것을 특징으로 하는 비디오 신호 처리 방법을 제공한다.
또한, 본 발명에 따른 상기 인터 예측을 수행하는 단계는, 상기 현재 하프 프레임이 상단 하프 프레임인지 여부를 확인하고, 상기 현재 하프 프레임이 상단 하프 프레임인 경우, 상기 현재 하프 프레임에 포함된 현재 블록의 참조 블록이 이전 프레임의 하단 하프 프레임에 속하는지 여부에 기초하여 상기 현재 블록의 인터 예측을 수행하는 것을 특징으로 하는 비디오 신호 처리 방법을 제공한다.
또한, 본 발명에 따른 상기 현재 블록의 인터 예측을 수행하는 단계는, 상기 참조 블록이 상기 이전 프레임의 하단 하프 프레임에 속하지 않는 경우에는 상기 참조 블록의 샘플값을 이용하여 상기 현재 블록의 인터 예측을 수행하고, 상기 참조 블록이 상기 이전 프레임의 하단 하프 프레임에 속하는 경우에는 상기 현재 블록의 인터 예측을 스킵하는 것을 특징으로 하는 비디오 신호 처리 방법을 제공한다.
또한, 본 발명은, 상기 현재 블록의 인터 예측이 스킵된 경우, 상기 제1 비디오 디코더에서 상기 이전 프레임의 하단 하프 프레임에 대한 디코딩이 완료된 후 상기 현재 블록의 모션 정보를 이용하여 상기 현재 블록의 인터 예측을 수행하는 것을 특징으로 하는 비디오 신호 처리 방법을 제공한다.
또한, 본 발명은, 상기 현재 하프 프레임이 상단 하프 프레임에 해당하는 경우, 상기 현재 하프 프레임에 대해 인터 예측을 수행하는 동안, 상기 제1 비디오 디코더에서 상기 현재 하프 프레임의 경계 행에 대해 인터 예측을 병렬적으로 수행하는 것을 특징으로 하는 비디오 신호 처리 방법을 제공한다.
또한, 본 발명은, 상기 제1 비디오 디코더에서 상기 복원된 현재 하프 프레임에 대해 인-루프 필터링을 수행하는 것을 특징으로 하는 비디오 신호 처리 방법을 제공한다.
또한, 본 발명에 따른 상기 인-루프 필터링을 수행하는 단계는, 상기 제1 비디오 디코더에서 상기 인터 예측된 경계 행을 복원하고, 상기 제1 비디오 디코더에서 상기 복원된 경계 행의 적어도 하나의 샘플을 이용하여 상기 복원된 현재 하프 프레임의 적어도 하나의 샘플에 대해 인-루프 필터링을 수행하는 것을 특징으로 하는 비디오 신호 처리 방법을 제공한다.
본 발명의 다른 측면에 따르면, 비트스트림으로부터 현재 하프 프레임의 인터 예측을 위한 모션 정보를 추출하는 제1 비디오 디코더, 상기 추출된 모션 정보를 이용하여 상기 현재 하프 프레임에 대해 인터 예측을 수행하는 제2 비디오 디코더, 상기 인터 예측된 현재 하프 프레임을 복원하는 상기 제1 비디오 디코더를 포함하는 것을 특징으로 하는 비디오 신호 처리 장치를 제공한다.
또한, 본 발명에 따른 상기 제2 비디오 디코더는, 상기 현재 하프 프레임이 상단 하프 프레임인 경우, 상기 현재 하프 프레임에 포함된 현재 블록의 참조 블록이 이전 프레임의 하단 하프 프레임에 속하는지 여부에 기초하여 상기 현재 블록의 인터 예측을 수행하는 것을 특징으로 하는 비디오 신호 처리 장치를 제공한다.
또한, 본 발명에 따른 상기 제2 비디오 디코더는, 상기 참조 블록이 상기 이전 프레임의 하단 하프 프레임에 속하지 않는 경우에는 상기 참조 블록의 샘플값을 이용하여 상기 현재 블록의 인터 예측을 수행하고, 상기 참조 블록이 상기 이전 프레임의 하단 하프 프레임에 속하는 경우에는 상기 현재 블록의 인터 예측을 스킵하는 것을 특징으로 하는 비디오 신호 처리 장치를 제공한다.
또한, 본 발명은, 상기 현재 블록의 인터 예측이 스킵된 경우, 상기 제1 비디오 디코더는 상기 이전 프레임의 하단 하프 프레임에 대한 디코딩이 완료된 후 상기 현재 블록의 모션 정보를 이용하여 상기 현재 블록의 인터 예측을 수행하는 것을 특징으로 하는 비디오 신호 처리 장치를 제공한다.
또한, 본 발명은, 상기 현재 하프 프레임이 상단 하프 프레임에 해당하는 경우, 상기 현재 하프 프레임에 대해 인터 예측을 수행하는 동안, 상기 제1 비디오 디코더는 상기 현재 하프 프레임의 경계 행에 대해 인터 예측을 병렬적으로 수행하는 것을 특징으로 하는 비디오 신호 처리 장치를 제공한다.
또한, 본 발명은, 상기 복원된 현재 하프 프레임에 대해 인-루프 필터링을 수행하는 상기 제1 비디오 디코더를 더 포함하고, 상기 제1 비디오 디코더는 상기 인터 예측된 경계 행을 복원하고, 상기 복원된 경계 행의 적어도 하나의 샘플을 이용하여 상기 복원된 현재 하프 프레임의 적어도 하나의 샘플에 대해 인-루프 필터링을 수행하는 것을 특징으로 하는 비디오 신호 처리 장치를 제공한다.
이하 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하되, 참조 번호에 관계없이 동일하거나 유사한 구성 요소에 대해서 중복되는 설명은 생략하기로 한다. 또한, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위하여 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
도 1은 본 발명이 적용되는 비디오 디코더(100)의 개략적인 블록도를 도시한 것이다.
비디오 디코더(100)는 파싱부(110), 역양자화/역변환부(120), 인트라 예측부(130), 인터 예측부(140), 인-루프 필터부(150), 버퍼부(160) 등을 포함할 수 있다.
파싱부(110)에서는 비디오 영상의 데이터가 코딩된 비트스트림을 수신할 수 있다. 상기 파싱부(110)는 수신된 비트스트림을 디코딩하기 위하여 NAL 단위로 파싱을 수행하여, 비디오 영상을 예측하기 위한 코딩 정보 (예를 들어, 블록 파티션 정보, 인트라 예측 모드, 모션 정보, 레퍼런스 인덱스 등)와 비디오 영상의 레지듀얼 데이터에 대응하는 양자화된 변환 계수 등을 추출할 수 있다.
역양자화/역변환부(120)에서는 양자화 파라미터를 이용하여 양자화된 변환 계수를 스케일링하여 스케일링된 변환 계수를 획득하고, 스케일링된 변환 계수를 역변환하여 레지듀얼 데이터를 복원할 수 있다.
인트라 예측부(130)에서는 현재 블록에 인접한 이웃 샘플 및 인트라 예측 모드를 이용하여 인트라 예측을 수행할 수 있다. 여기서, 상기 이웃 샘플은 현재 블록의 좌측, 좌측하단, 상단, 상단우측에 위치한 샘플로서, 현재 블록 이전에 복원이 완료된 샘플을 의미할 수 있다. 또한, 상기 인트라 예측 모드는 비트스트림으로부터 추출될 수도 있고, 현재 블록의 좌측 이웃 블록 또는 상단 이웃 블록 중 적어도 하나의 인트라 예측 모드에 기초하여 유도될 수도 있다.
인터 예측부(140)는 모션 벡터 유도부(142)와 모션 보상부(144)를 포함할 수 있다. 다만, 상기 모션 벡터 유도부(142)는 상기 인터 예측부(140)에 포함되는 것으로 한정되지 아니한다. 예를 들어, 상기 모션 벡터 유도부(142)는 구현 방식에 따라서 상기 파싱부(110)에 포함될 수도 있다. 여기서, 상기 모션 벡터 유도부(142)는 비트스트림으로부터 추출된 모션 정보를 이용하여 모션 벡터를 유도할 수 있다. 상기 모션 정보에는 모션 벡터 예측 정보 및 차분 모션 벡터가 포함될 수 있다. 여기서, 모션 벡터 예측 정보라 함은 현재 블록의 모션 벡터 예측값을 특정하는 인덱스 정보를 의미하며, 차분 모션 벡터는 상기 모션 벡터와 모션 벡터 예측값 간의 차분을 의미한다. 구체적인 모션 벡터 유도 방법은 도 2를 참조하여 살펴 보기로 한다. 한편, 모션 보상부(144)는 상기 유도된 모션 벡터와 레퍼런스 인덱스에 기초하여 참조 블록을 특정하고, 상기 참조 블록의 샘플값을 이용하여 현재 블록에 대해 인터 예측을 수행할 수 있다.
인-루프 필터부(150)에서는 블록 왜곡 현상을 감소시키기 위해 복원된 블록에 인-루프 필터를 적용할 수 있다. 인-루프 필터는 블록 간 또는 블록 내 샘플 간의 경계를 부드럽게 하여 디코딩된 프레임의 화질을 향상시킬 수 있다. 인-루프 필터가 적용된 프레임은 출력되거나 참조 프레임으로 이용되기 위해 버퍼부(160)에 저장될 수 있다.
버퍼부(160)에서는 인터 예측을 수행하기 위해서 이전에 디코딩된 프레임들을 저장하거나 개방하는 역할을 수행할 수 있다.
도 2는 본 발명이 적용되는 일실시예로서, 모션 벡터 유도부(142)에서 현재 블록의 모션 정보를 이용하여 모션 벡터를 유도하는 방법을 도시한 순서도이다.
도 2를 참조하면, 현재 블록에 대한 모션 후보자 리스트를 생성할 수 있다(S200). 모션 후보자 리스트는 현재 블록의 모션 벡터 예측값으로 이용 가능한 복수 개의 모션 벡터 후보자를 포함할 수 있다. 구체적으로, 상기 모션 벡터 후보자는 공간적 이웃 블록의 모션 벡터 또는 시간적 이웃 블록의 모션 벡터 중 적어도 하나를 포함할 수 있다. 상기 공간적 이웃 블록은 현재 블록에 공간적으로 인접한 이웃 블록을 의미한다. 예를 들어, 공간적 이웃 블록은 현재 블록의 좌측 이웃 블록 또는 상단 이웃 블록 중 적어도 하나를 의미할 수 있다. 상기 시간적 이웃 블록은 현재 블록을 포함한 현재 프레임과 다른 시간 대에 위치한 프레임 내에서 현재 블록의 중심 위치를 가진 블록 또는 현재 블록의 우측하단 위치를 가진 블록을 의미할 수 있다.
상기 생성된 모션 후보자 리스트와 모션 벡터 예측 정보에 기초하여 현재 블록의 모션 벡터 예측값을 유도할 수 있다(S210). 즉, 모션 후보자 리스트에 포함된 복수 개의 모션 벡터 후보자 중 상기 모션 벡터 예측 정보에 의해 특정된 모션 벡터 후보자를 현재 블록의 모션 벡터 예측값으로 설정할 수 있다.
상기 유도된 모션 벡터 예측값과 현재 블록의 차분 모션 벡터에 기초하여 현재 블록의 모션 벡터를 유도할 수 있다(S220).
도 3은 본 발명이 적용되는 일실시예로서, 복수 개의 비디오 디코더를 이용하여 하나의 프레임을 병렬 처리하는 과정을 도시한 것이다.
도 3을 참조하면, 제1 비디오 디코더(200)와 제2 비디오 디코더(300)는 하나의 프레임을 하프 프레임(half frame) 단위로 병렬적으로 처리하기 위한 구성이다. 상기 제1 비디오 디코더(200)와 제2 비디오 디코더(300)는 도 1에서 전술한 비디오 디코더(100)의 구성 요소를 모두 포함할 수도 있고, 또는 구현 방식에 따라 일부 구성 요소를 선택적으로 포함할 수도 있다.
또한, 도 3에서는 발명의 이해 편의를 위해 하나의 프레임을 디코딩하는데 걸리는 시간이 100인 경우, 해당 프레임의 인터 예측에 수행하는데 걸리는 시간이 50이라고 가정한다.
상기 제1 및 제2 비디오 디코더(200, 300)를 이용한 병렬 처리 과정을 살펴 보면, 먼저 제2 비디오 디코더(300)에서 N 프레임의 상단 하프 프레임(TFN)의 모션 정보를 사용하여 인터 예측을 수행할 수 있다. 상기 모션 정보는 제1 비디오 디코더(200)에서 엔트로피 디코딩을 통해 비트스트림으로부터 추출된 것일 수 있다.
상기 제2 비디오 디코더(300)는 인터 예측된 상단 하프 프레임(TFN)을 제1 비디오 디코더(200)로 전송하고, 상기 N 프레임의 하단 하프 프레임(BFN)의 모션 정보를 이용하여 인터 예측을 수행할 수 있다.
한편, 제2 비디오 디코더(300)에서 하단 하프 프레임(BFN)에 대해 인터 예측이 수행되는 동안, 상기 제1 비디오 디코더(200)는 제2 비디오 디코더(300)로부터 전송된 상단 하프 프레임(TFN)을 복원하고, 복원된 상단 하프 프레임(TFN)에 인-루프 필터를 적용할 수 있다.
구체적으로, 상단 하프 프레임(TFN)을 복원하는 과정은, 제2 비디오 디코더(300)로부터 전송된 상단 하프 프레임(TFN) 내에 예측 처리되지 아니한 블록 특히, 인트라 모드로 코딩된 블록에 대해 인트라 예측을 수행하고, 비트스트림으로부터 추출된 양자화된 변환 계수를 역양자화 및 역변환하여 레지듀얼 데이터를 획득할 수 있다. 그런 다음, 인터 예측 및/또는 인트라 예측을 통해 획득된 샘플 예측값과 상기 레지듀얼 데이터를 이용하여 상단 하프 프레임(TFN)의 샘플값을 복원할 수 있다.
마찬가지로, 제2 비디오 디코더(300)는 하단 하프 프레임(BFN)에 대해 인터 예측을 수행한 후, 이를 제1 비디오 디코더(200)로 전송할 수 있다. 제1 비디오 디코더(200)는 상기 상단 하프 프레임(TFN)에 대한 디코딩이 완료된 후, 상기 전송된 하단 하프 프레임(BFN)을 복원하고, 복원된 하단 하프 프레임(BFN)에 인-루프 필터를 적용할 수 있다. 이와 같이 제1 및 제2 비디오 디코더(200, 300)를 이용하여 하나의 프레임을 하프 프레임 단위로 병렬 처리함으로써, 하나의 프레임을 디코딩하는데 걸리는 시간을 기존보다 절반으로 줄일 수 있다.
도 4는 본 발명이 적용되는 일실시예로서, 비디오 신호 처리 장치(200)에서 현재 하프 프레임을 디코딩하는 방법을 도시한 순서도이다.
제1 비디오 디코더(200)에서는, 비트스트림으로부터 현재 하프 프레임의 인터 예측을 위한 모션 정보를 추출할 수 있다(S400). 현재 하프 프레임은 현재 프레임의 상단 하프 프레임 또는 하단 하프 프레임 중 어느 하나를 의미할 수 있다.
제2 비디오 디코더(300)에서는, 상기 추출된 모션 정보를 이용하여 현재 하프 프레임에 대해 인터 예측을 수행할 수 있다(S410). 여기서, 인터 예측은 현재 하프 프레임이 상단 하프 프레임인지, 아니면 하단 하프 프레임인지를 고려하여 수행할 수 있으며, 이에 대해서는 도 5를 참조하여 후술하도록 한다. 한편, 제2 비디오 디코더(300)에서 인터 예측되는 현재 하프 프레임이 상단 하프 프레임에 해당하는 경우, 제1 비디오 디코더(200)에서는 제2 비디오 디코더(300)에서 현재 하프 프레임에 대해 인터 예측을 수행하는 동안, 상기 현재 하프 프레임에 대한 인-루프 필터링을 위해 상기 현재 하프 프레임의 경계 행 (border row)에 대해 인터 예측을 병렬적으로 수행할 수 있다. 이에 대해서는 도 6을 참조하여 후술하도록 한다.
제1 비디오 디코더(200)에서는, S410 단계에서 인터 예측된 현재 하프 프레임을 복원하고, 복원된 현재 하프 프레임에 대해 인-루프 필터링을 수행할 수 있다(S420). 하프 프레임을 복원하는 과정은 도 3에서 자세히 살펴 보았는바, 여기서 자세한 설명은 생략하기로 한다.
도 5는 본 발명이 적용되는 일실시예로서, 제2 비디오 디코더(300)에서의 인터 예측 과정을 도시한 순서도이다.
도 5를 참조하면, 현재 하프 프레임이 상단 하프 프레임인지 여부를 확인할 수 있다(S500).
구체적으로, 현재 하프 프레임이 상단 하프 프레임인지 여부는, 현재 하프 프레임 내에 속하는 블록으로서, 인터 모드로 코딩된 현재 블록의 위치에 기초하여 확인할 수 있다. 만일 상기 현재 블록의 위치가 현재 프레임의 상단 하프 프레임에 속하는 경우, 상기 현재 하프 프레임은 상단 하프 프레임에 해당하는 것으로 볼 수 있다. 그렇지 않은 경우, 상기 현재 하프 프레임은 하단 하프 프레임에 해당하는 것으로 볼 수 있다.
S500 단계의 확인 결과, 현재 하프 프레임이 상단 하프 프레임인 경우, 상기 현재 블록의 모션 벡터와 레퍼런스 인덱스에 기초하여 참조 블록이 이전 프레임의 하단 하프 프레임에 속하는지 여부를 확인할 수 있다(S510).
여기서, 이전 프레임은 현재 프레임 직전의 코딩 순서를 가진 프레임을 의미할 수 있다. 또한, 이전 프레임의 하단 하프 프레임은 현재 하프 프레임이 제2 비디오 디코더(300)에서 인터 예측되는 동안에 제1 비디오 디코더(200)에서 병렬적으로 디코딩되는 프레임을 의미할 수 있다.
S510 단계의 확인 결과, 현재 블록의 참조 블록이 이전 프레임의 하단 하프 프레임에 속하지 않는 경우, 해당 참조 블록의 샘플값을 이용하여 현재 블록의 샘플을 예측할 수 있다(S520).
그러나, 현재 블록의 참조 블록이 이전 프레임의 하단 하프 프레임에 속하는 경우에는 현재 블록에 대한 인터 예측을 스킵할 수 있다(S530). 이는 상기 참조 블록이 현재 블록과 병렬적으로 제1 비디오 디코더(200)에서 디코딩 중에 있어서, 현재 블록이 참조할 샘플이 존재하지 않기 때문이다. 이와 같이, 제2 비디오 디코더(300)에서 인터 예측이 스킵된 블록에 대해서는 해당 모션 정보를 제1 비디오 디코더(200)로 전송할 수 있고, 제1 비디오 디코더(200)는 상기 이전 프레임의 하단 하프 프레임에 대해 디코딩이 완료된 후, 수신된 모션 정보를 이용하여 인터 예측을 수행할 수 있다.
한편, S500 단계의 확인 결과, 현재 하프 프레임이 하단 하프 프레임인 경우, 현재 블록의 모션 벡터와 레퍼런스 인덱스에 기초하여 참조 블록을 특정하고, 상기 특정된 참조 블록의 샘플값을 이용하여 현재 블록의 샘플을 예측할 수 있다(S540).
도 6은 본 발명이 적용되는 일실시예로서, 제1 비디오 디코더(200)에서 현재 하프 프레임의 경계 행 (border row)에 대한 인터 예측 여부에 따른 현재 하프 프레임의 디코딩 과정을 도시한 것이다.
도 6에서 하나의 프레임은 17개의 코딩 유닛 열 (coding unit rows)로 구성되며, 상단에 배열된 8개의 코딩 유닛 열을 상단 하프 프레임, 하단에 배열된 9개의 코딩 유닛 열을 하단 하프 프레임이라고 각각 가정한다. 코딩 유닛은 비디오 신호를 처리하기 위한 기본 단위를 의미하며, 코딩 유닛의 크기는 인코더 측에서 코딩 효율을 고려하여 적응적으로 결정될 수 있다.
도 6(a)는 상단 하프 프레임의 경계 행에 대한 인터 예측없이 상단 하프 프레임을 디코딩하는 과정을 도시한 것이다. 도 6(a)를 참조하면, 제2 비디오 디코더(300)에서 N 프레임의 상단 하프 프레임에 대해서 인터 예측을 수행하며, 제1 비디오 디코더(200)에서는 인터 예측된 상단 하프 프레임을 복원하고, 이에 인-루프 필터링을 수행할 수 있다. 여기서, 인-루프 필터링은 블록 경계를 중심으로 양측의 복원된 샘플을 이용하게 된다. 즉, 블록 경계가 수평 경계인 경우, 해당 수평 경계를 중심으로 상단 및 하단에 위치한 복원된 샘플을 이용하여 인-루프 필터링을 수행하게 된다. 그러나, 제1 비디오 디코더(200)에서 N 프레임의 상단 하프 프레임에 대해서 복원 및 인-루프 필터링을 수행하는 동안에 제2 비디오 디코더(300)에서 상기 N 프레임의 하단 하프 프레임에 대해 병렬적으로 인터 예측을 수행하고 있으므로, N 프레임의 상단 하프 프레임에서 최하단에 위치한 코딩 유닛 열은 인-루프 필터링을 수행할 수 없다. 따라서, 제2 비디오 디코더(300)에서 8개의 코딩 유닛 열에 대해서 인터 예측을 수행하더라도, 제1 비디오 디코더(200)에서 인-루프 필터링을 거친 후에는 최종적으로 7개의 코딩 유닛 열만이 디코딩될 것이다.
나아가, N+1 프레임의 상단 하프 프레임이 디코딩된 N 프레임의 상단 하프 프레임을 참조하여 인터 예측을 수행하는 경우, N 프레임의 상단 하프 프레임은 현재 7개의 코딩 유닛 열만이 디코딩되어 있으므로 제2 비디오 디코더(300)에서 N+1 프레임의 상단 하프 프레임 역시 7개의 코딩 유닛 열만이 인터 예측될 수 있다. 마찬가지로, 제1 비디오 디코더(200)에서는 인-루프 필터링을 거친 후에는 6개의 코딩 유닛 열만이 디코딩될 것이다. 이와 같이, 제1 비디오 디코더(200) 및 제2 비디오 디코더(300)는 상단 하프 프레임의 8개의 코딩 유닛 열을 모두 디코딩하지 못하고, 매 프레임 별로 1개의 코딩 유닛 열이 누적적으로 줄어든 코딩 유닛 열만을 디코딩하게 된다. 이는 제1 비디오 디코더(200)에서 현재 프레임의 상단 하프 프레임에 대한 복원 및 인-루프 필터링 과정 동안에 제2 비디오 디코더(300)에서 상기 현재 프레임의 하단 하프 프레임에 대해서 병렬적으로 인터 예측을 수행하기 때문이다. 따라서, 제1 비디오 디코더(200)에서 상단 하프 프레임의 8개의 코딩 유닛 열을 모두 디코딩하기 위해 도 6(b)와 같이 상단 하프 프레임의 경계 행에 대해 병렬적으로 인터 예측을 수행할 수 있다.
도 6(b)는 제2 비디오 디코더(300)에서 상단 하프 프레임에 대해 인터 예측을 수행하는 동안 제1 비디오 디코더(200)에서 상기 상단 하프 프레임의 경계 행에 대해 병렬적으로 인터 예측을 수행하는 과정을 도시한 것이다.
도 6(b)를 참조하면, 제2 비디오 디코더(300)에서 N 프레임의 상단 하프 프레임에 대해 인터 예측을 수행하고, 이와 병렬적으로 제1 비디오 디코더(200)에서 상기 상단 하프 프레임의 하단에 인접한 경계 행에 대해 인터 예측을 수행할 수 있다.
구체적으로, 상기 경계 행은 상기 상단 하프 프레임의 하단에 위치한 복수 개의 코딩 유닛 열 중 적어도 하나를 의미할 수 있다. 또한, 경계 행의 사이즈 즉, 경계 행을 구성하는 코딩 유닛 열의 개수는 제2 비디오 디코더(300)에서 프레임을 처리하는 속도를 고려하여 적응적으로 결정될 수 있다. 예를 들어, 제2 비디오 디코더(300)에서 하프 프레임에 대해 인터 예측을 수행하는데 걸리는 시간이 기결정된 시간을 초과하는 경우, 이는 제2 비디오 디코더(300)의 capacity가 떨어짐을 의미하므로, 제1 비디오 디코더(200)에서 인터 예측되는 경계 행의 사이즈를 크게 설정할 수 있다. 반대로, 제2 비디오 디코더(300)에서 하프 프레임에 대해 인터 예측을 수행하는데 걸리는 시간이 기결정된 시간을 초과하지 않는 경우, 경계 행의 사이즈를 작게 설정할 수 있다. 다만, 도 6(b)에서는 상기 경계 행이 1개의 코딩 유닛 열로 구성되고, N 프레임의 하단 하프 프레임이 8개의 코딩 유닛 열로 구성된 경우를 예로 들어 살펴 보기로 한다.
상기 제1 비디오 디코더(200)는 인터 예측된 경계 행과 상기 제2 비디오 디코더(300)에서 인터 예측된 상단 하프 프레임을 각각 복원할 수 있다. 그런 다음, 상기 복원된 상단 하프 프레임에 대해 인-루프 필터링을 수행할 수 있다. 이 때, 상기 복원된 경계 행의 적어도 하나의 샘플을 이용하여 상기 복원된 상단 하프 프레임의 적어도 하나의 샘플에 대해 인-루프 필터링을 수행할 수 있다. 이 경우, 상기 복원된 경계 행의 샘플이 이용 가능하므로, 상기 복원된 상단 하프 프레임을 구성하는 8개의 코딩 유닛 열 모두에 대해 디코딩이 가능할 것이다.
나아가, N+1 프레임의 상단 하프 프레임이 디코딩된 N 프레임의 상단 하프 프레임을 참조하여 인터 예측을 수행하는 경우, N 프레임의 상단 하프 프레임은 8개의 코딩 유닛 열 모두 디코딩되어 있으므로 제2 비디오 디코더(300)에서 N+1 프레임의 상단 하프 프레임 역시 8개의 코딩 유닛 열이 인터 예측될 수 있다. 이와 같이, 제2 비디오 디코더(300)에서 상단 하프 프레임에 대해 인터 예측을 수행하는 동안에, 제1 비디오 디코더(200)에서 병렬적으로 경계 행에 대해 인터 예측을 수행함으로써, 매 프레임마다 8개의 코딩 유닛 열로 구성된 상단 하프 프레임 전체를 디코딩하는 것이 가능하다.
본 발명은 비디오 신호를 코딩하는데 이용될 수 있다.

Claims (16)

  1. 제1 비디오 디코더에서, 비트스트림으로부터 현재 하프 프레임의 인터 예측을 위한 모션 정보를 추출하는 단계;
    제2 비디오 디코더에서, 상기 추출된 모션 정보를 이용하여 상기 현재 하프 프레임에 대해 인터 예측을 수행하는 단계; 및
    상기 제1 비디오 디코더에서, 상기 인터 예측된 현재 하프 프레임을 복원하는 단계를 포함하는 것을 특징으로 하는 비디오 신호 처리 방법.
  2. 제 1항에 있어서, 상기 인터 예측을 수행하는 단계는,
    상기 현재 하프 프레임이 상단 하프 프레임인지 여부를 확인하는 단계; 및
    상기 현재 하프 프레임이 상단 하프 프레임인 경우, 상기 현재 하프 프레임에 포함된 현재 블록의 참조 블록이 이전 프레임의 하단 하프 프레임에 속하는지 여부에 기초하여 상기 현재 블록의 인터 예측을 수행하는 단계를 포함하는 것을 특징으로 하는 비디오 신호 처리 방법.
  3. 제 2항에 있어서, 상기 현재 블록의 인터 예측을 수행하는 단계는,
    상기 참조 블록이 상기 이전 프레임의 하단 하프 프레임에 속하지 않는 경우, 상기 참조 블록의 샘플값을 이용하여 상기 현재 블록의 인터 예측을 수행하는 단계; 및
    상기 참조 블록이 상기 이전 프레임의 하단 하프 프레임에 속하는 경우, 상기 현재 블록의 인터 예측을 스킵하는 단계를 포함하는 것을 특징으로 하는 비디오 신호 처리 방법.
  4. 제 3항에 있어서, 상기 현재 블록의 인터 예측이 스킵된 경우,
    상기 제1 비디오 디코더에서, 상기 이전 프레임의 하단 하프 프레임에 대한 디코딩이 완료된 후 상기 현재 블록의 모션 정보를 이용하여 상기 현재 블록의 인터 예측을 수행하는 단계를 더 포함하는 것을 특징으로 하는 비디오 신호 처리 방법.
  5. 제 1항에 있어서,
    상기 현재 하프 프레임이 상단 하프 프레임에 해당하는 경우,
    상기 현재 하프 프레임에 대해 인터 예측을 수행하는 동안, 상기 제1 비디오 디코더에서 상기 현재 하프 프레임의 경계 행에 대해 인터 예측을 병렬적으로 수행하는 단계를 더 포함하는 것을 특징으로 하는 비디오 신호 처리 방법.
  6. 제 5항에 있어서,
    상기 제1 비디오 디코더에서 상기 복원된 현재 하프 프레임에 대해 인-루프 필터링을 수행하는 단계를 더 포함하되,
    상기 인-루프 필터링을 수행하는 단계는,
    상기 제1 비디오 디코더에서 상기 인터 예측된 경계 행을 복원하는 단계; 및
    상기 제1 비디오 디코더에서 상기 복원된 경계 행의 적어도 하나의 샘플을 이용하여 상기 복원된 현재 하프 프레임의 적어도 하나의 샘플에 대해 인-루프 필터링을 수행하는 단계를 포함하는 것을 특징으로 하는 비디오 신호 처리 방법.
  7. 제 6항에 있어서, 상기 경계 행은 상기 현재 하프 프레임의 하단에 위치한 복수 개의 코딩 유닛 열 중 적어도 하나를 의미하는 것을 특징으로 하는 비디오 신호 처리 방법.
  8. 제 7항에 있어서, 상기 경계 행을 구성하는 코딩 유닛 열의 개수는 상기 제2 비디오 디코더에서 프레임을 처리하는 속도를 고려하여 적응적으로 결정되는 것을 특징으로 하는 비디오 신호 처리 방법.
  9. 비트스트림으로부터 현재 하프 프레임의 인터 예측을 위한 모션 정보를 추출하는 제1 비디오 디코더;
    상기 추출된 모션 정보를 이용하여 상기 현재 하프 프레임에 대해 인터 예측을 수행하는 제2 비디오 디코더; 및
    상기 인터 예측된 현재 하프 프레임을 복원하는 상기 제1 비디오 디코더를 포함하는 것을 특징으로 하는 비디오 신호 처리 장치.
  10. 제 9항에 있어서, 상기 제2 비디오 디코더는,
    상기 현재 하프 프레임이 상단 하프 프레임인 경우, 상기 현재 하프 프레임에 포함된 현재 블록의 참조 블록이 이전 프레임의 하단 하프 프레임에 속하는지 여부에 기초하여 상기 현재 블록의 인터 예측을 수행하는 것을 특징으로 하는 비디오 신호 처리 장치.
  11. 제 10항에 있어서, 상기 제2 비디오 디코더는,
    상기 참조 블록이 상기 이전 프레임의 하단 하프 프레임에 속하지 않는 경우, 상기 참조 블록의 샘플값을 이용하여 상기 현재 블록의 인터 예측을 수행하고,
    상기 참조 블록이 상기 이전 프레임의 하단 하프 프레임에 속하는 경우, 상기 현재 블록의 인터 예측을 스킵하는 것을 특징으로 하는 비디오 신호 처리 장치.
  12. 제 11항에 있어서, 상기 현재 블록의 인터 예측이 스킵된 경우,
    상기 제1 비디오 디코더는 상기 이전 프레임의 하단 하프 프레임에 대한 디코딩이 완료된 후 상기 현재 블록의 모션 정보를 이용하여 상기 현재 블록의 인터 예측을 수행하는 것을 특징으로 하는 비디오 신호 처리 장치.
  13. 제 9항에 있어서,
    상기 현재 하프 프레임이 상단 하프 프레임에 해당하는 경우,
    상기 현재 하프 프레임에 대해 인터 예측을 수행하는 동안, 상기 제1 비디오 디코더는 상기 현재 하프 프레임의 경계 행에 대해 인터 예측을 병렬적으로 수행하는 것을 특징으로 하는 비디오 신호 처리 장치.
  14. 제 13항에 있어서,
    상기 복원된 현재 하프 프레임에 대해 인-루프 필터링을 수행하는 상기 제1 비디오 디코더를 더 포함하되,
    상기 제1 비디오 디코더는 상기 인터 예측된 경계 행을 복원하고, 상기 복원된 경계 행의 적어도 하나의 샘플을 이용하여 상기 복원된 현재 하프 프레임의 적어도 하나의 샘플에 대해 인-루프 필터링을 수행하는 것을 특징으로 하는 비디오 신호 처리 장치.
  15. 제 14항에 있어서, 상기 경계 행은 상기 현재 하프 프레임의 하단에 위치한 복수 개의 코딩 유닛 열 중 적어도 하나를 의미하는 것을 특징으로 하는 비디오 신호 처리 장치.
  16. 제 15항에 있어서, 상기 경계 행을 구성하는 코딩 유닛 열의 개수는 상기 제2 비디오 디코더에서 프레임을 처리하는 속도를 고려하여 적응적으로 결정되는 것을 특징으로 하는 비디오 신호 처리 장치.
PCT/KR2014/011190 2013-11-20 2014-11-20 비디오 신호 처리 방법 및 장치 WO2015076580A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/037,594 US10349078B2 (en) 2013-11-20 2014-11-20 Method and device for processing video signal by performing inter-prediction in parallel

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201361906428P 2013-11-20 2013-11-20
US61/906,428 2013-11-20
KR10-2014-0032492 2014-03-20
KR1020140032492A KR102232417B1 (ko) 2013-11-20 2014-03-20 비디오 신호 처리 방법 및 장치

Publications (1)

Publication Number Publication Date
WO2015076580A1 true WO2015076580A1 (ko) 2015-05-28

Family

ID=53179783

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2014/011190 WO2015076580A1 (ko) 2013-11-20 2014-11-20 비디오 신호 처리 방법 및 장치

Country Status (1)

Country Link
WO (1) WO2015076580A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100239024A1 (en) * 2007-11-16 2010-09-23 Keishi Chikamura Image decoding device and image decoding method
KR20110055022A (ko) * 2009-11-19 2011-05-25 한국전자통신연구원 데이터 및 기능적 분할 방식에 기반한 동영상 복호화 장치 및 방법
KR20110129089A (ko) * 2010-05-25 2011-12-01 (주)피타소프트 병렬 프로세서를 구비한 영상 복호화 장치
KR20130070191A (ko) * 2011-12-19 2013-06-27 광운대학교 산학협력단 최대코딩유닛 단위의 병렬 인-루프 필터링 방법 및 장치
KR101292668B1 (ko) * 2009-10-08 2013-08-02 한국전자통신연구원 멀티프로세서기반의 영상 복호화 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100239024A1 (en) * 2007-11-16 2010-09-23 Keishi Chikamura Image decoding device and image decoding method
KR101292668B1 (ko) * 2009-10-08 2013-08-02 한국전자통신연구원 멀티프로세서기반의 영상 복호화 장치 및 방법
KR20110055022A (ko) * 2009-11-19 2011-05-25 한국전자통신연구원 데이터 및 기능적 분할 방식에 기반한 동영상 복호화 장치 및 방법
KR20110129089A (ko) * 2010-05-25 2011-12-01 (주)피타소프트 병렬 프로세서를 구비한 영상 복호화 장치
KR20130070191A (ko) * 2011-12-19 2013-06-27 광운대학교 산학협력단 최대코딩유닛 단위의 병렬 인-루프 필터링 방법 및 장치

Similar Documents

Publication Publication Date Title
WO2012057528A2 (ko) 적응적 화면내 예측 부호화 및 복호화 방법
WO2013070006A1 (ko) 스킵모드를 이용한 동영상 부호화 및 복호화 방법 및 장치
WO2010068020A9 (ko) 다시점 영상 부호화, 복호화 방법 및 그 장치
US11706454B2 (en) One-level transform split
EP3818715B1 (en) Method and apparatus for intra prediction
WO2011126288A2 (en) Method and apparatus for encoding and decoding image and method and apparatus for decoding image using adaptive coefficient scan order
WO2010123198A2 (ko) 다시점 비디오 신호 처리 방법 및 장치
WO2011139099A2 (ko) 비디오 신호의 처리 방법 및 장치
WO2010087620A2 (ko) 보간 필터를 적응적으로 사용하여 영상을 부호화 및 복호화하는 방법 및 장치
WO2015005621A1 (ko) 비디오 신호 처리 방법 및 장치
EP2556673A2 (en) Method and apparatus for encoding and decoding image and method and apparatus for decoding image using adaptive coefficient scan order
CN110691250B (zh) 结合块匹配和串匹配的图像压缩装置
WO2010041855A2 (en) A method and an apparatus for processing a video signal
KR20130050297A (ko) 비디오 데이터 처리 방법 및 장치
EP2617196A2 (en) Method and apparatus for hierarchical picture encoding and decoding
WO2014005426A1 (zh) 帧间预测编码运动信息的处理方法、装置和编解码***
WO2018070556A1 (ko) 정방형 또는 직방형 블록의 화면 내 예측모드 정보 추출 방법 및 장치
WO2018074626A1 (ko) 적응적 보간 필터를 사용하는 비디오 코딩 방법 및 장치
WO2014073877A1 (ko) 다시점 비디오 신호의 처리 방법 및 이에 대한 장치
WO2011090352A2 (ko) 영역 기반의 부호화/복호화 장치 및 방법
WO2014058207A1 (ko) 다시점 비디오 신호의 인코딩 방법, 디코딩 방법 및 이에 대한 장치
WO2018159987A1 (ko) 프리 스캔을 이용한 블록 기반 동영상 복호화 방법 및 그 장치
WO2018038316A1 (ko) 보안 카메라용 영상 코덱에서 블록 분할 정보 전송 방법 및 장치
WO2021137445A1 (ko) 비디오 신호 처리를 위한 변환 커널 결정 방법 및 이를 위한 장치
WO2010147429A2 (ko) 의사 난수 필터를 이용한 영상 필터링 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14864300

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15037594

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14864300

Country of ref document: EP

Kind code of ref document: A1