KR102232417B1 - 비디오 신호 처리 방법 및 장치 - Google Patents

비디오 신호 처리 방법 및 장치 Download PDF

Info

Publication number
KR102232417B1
KR102232417B1 KR1020140032492A KR20140032492A KR102232417B1 KR 102232417 B1 KR102232417 B1 KR 102232417B1 KR 1020140032492 A KR1020140032492 A KR 1020140032492A KR 20140032492 A KR20140032492 A KR 20140032492A KR 102232417 B1 KR102232417 B1 KR 102232417B1
Authority
KR
South Korea
Prior art keywords
half frame
current
video decoder
frame
inter prediction
Prior art date
Application number
KR1020140032492A
Other languages
English (en)
Other versions
KR20150057935A (ko
Inventor
하재원
이철주
배성호
박내리
임진석
김현수
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to PCT/KR2014/011190 priority Critical patent/WO2015076580A1/ko
Priority to US15/037,594 priority patent/US10349078B2/en
Publication of KR20150057935A publication Critical patent/KR20150057935A/ko
Application granted granted Critical
Publication of KR102232417B1 publication Critical patent/KR102232417B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명의 비디오 신호 처리 방법은 제1 비디오 디코더에서 비트스트림으로부터 현재 하프 프레임의 인터 예측을 위한 모션 정보를 추출하고, 제2 비디오 디코더에서 추출된 모션 정보를 이용하여 현재 하프 프레임에 대해 인터 예측을 수행하며, 제1 비디오 디코더에서 인터 예측된 현재 하프 프레임을 복원할 수 있다. 이를 통해 비디오 시퀀스의 코딩 시간을 줄일 수 있다.

Description

비디오 신호 처리 방법 및 장치{A METHOD AND AN APPARATUS FOR PROCESSING A VIDEO SIGNAL}
본 발명은 비디오 신호 처리 방법 및 장치에 관한 것이다.
압축 부호화란 디지털화한 정보를 통신 회선을 통해 전송하거나, 저장 매체에 적합한 형태로 저장하기 위한 일련의 신호 처리 기술을 의미한다. 압축 부호화의 대상에는 음성, 영상, 문자 등의 대상이 존재하며, 특히 영상을 대상으로 압축 부호화를 수행하는 기술을 비디오 영상 압축이라고 일컫는다. 비디오 신호에 대한 압축 부호화는 공간적인 상관관계, 시간적인 상관관계, 확률적인 상관관계 등을 고려하여 잉여 정보를 제거함으로써 이루어진다. 그러나 최근의 다양한 미디어 및 데이터 전송 매체의 발전으로 인해, 더욱 고효율의 비디오 신호 처리 방법 및 장치가 요구되고 있다.
본 발명은 복수 개의 비디오 디코더를 이용하여 하나의 프레임을 하프 프레임 단위로 병렬 처리하는 비디오 신호 처리 방법 및 장치를 제공하는 것을 그 목적으로 한다.
또한, 본 발명은 병렬 처리되는 하프 프레임들 간에 참조 관계가 있는 경우, 해당 하프 프레임을 인터 예측하는 비디오 신호 처리 방법 및 장치를 제공하는 것을 그 목적으로 한다.
또한, 본 발명은 하나의 하프 프레임을 구성하는 복수 개의 코딩 유닛 열에 대해 인-루프 필터링을 수행하기 위한 비디오 신호 처리 방법 및 장치를 제공하는 것을 그 목적으로 한다.
상기 목적을 달성하기 위해 본 발명은, 제1 비디오 디코더에서 비트스트림으로부터 현재 하프 프레임의 인터 예측을 위한 모션 정보를 추출하고, 제2 비디오 디코더에서 상기 추출된 모션 정보를 이용하여 상기 현재 하프 프레임에 대해 인터 예측을 수행하며, 상기 제1 비디오 디코더에서 상기 인터 예측된 현재 하프 프레임을 복원하는 단계를 포함하는 것을 특징으로 하는 비디오 신호 처리 방법을 제공한다.
또한, 본 발명에 따른 상기 인터 예측을 수행하는 단계는, 상기 현재 하프 프레임이 상단 하프 프레임인지 여부를 확인하고, 상기 현재 하프 프레임이 상단 하프 프레임인 경우, 상기 현재 하프 프레임에 포함된 현재 블록의 참조 블록이 이전 프레임의 하단 하프 프레임에 속하는지 여부에 기초하여 상기 현재 블록의 인터 예측을 수행하는 것을 특징으로 하는 비디오 신호 처리 방법을 제공한다.
또한, 본 발명에 따른 상기 현재 블록의 인터 예측을 수행하는 단계는, 상기 참조 블록이 상기 이전 프레임의 하단 하프 프레임에 속하지 않는 경우에는 상기 참조 블록의 샘플값을 이용하여 상기 현재 블록의 인터 예측을 수행하고, 상기 참조 블록이 상기 이전 프레임의 하단 하프 프레임에 속하는 경우에는 상기 현재 블록의 인터 예측을 스킵하는 것을 특징으로 하는 비디오 신호 처리 방법을 제공한다.
또한, 본 발명은, 상기 현재 블록의 인터 예측이 스킵된 경우, 상기 제1 비디오 디코더에서 상기 이전 프레임의 하단 하프 프레임에 대한 디코딩이 완료된 후 상기 현재 블록의 모션 정보를 이용하여 상기 현재 블록의 인터 예측을 수행하는 것을 특징으로 하는 비디오 신호 처리 방법을 제공한다.
또한, 본 발명은, 상기 현재 하프 프레임이 상단 하프 프레임에 해당하는 경우, 상기 현재 하프 프레임에 대해 인터 예측을 수행하는 동안, 상기 제1 비디오 디코더에서 상기 현재 하프 프레임의 경계 행에 대해 인터 예측을 병렬적으로 수행하는 것을 특징으로 하는 비디오 신호 처리 방법을 제공한다.
또한, 본 발명은, 상기 제1 비디오 디코더에서 상기 복원된 현재 하프 프레임에 대해 인-루프 필터링을 수행하는 것을 특징으로 하는 비디오 신호 처리 방법을 제공한다.
또한, 본 발명에 따른 상기 인-루프 필터링을 수행하는 단계는, 상기 제1 비디오 디코더에서 상기 인터 예측된 경계 행을 복원하고, 상기 제1 비디오 디코더에서 상기 복원된 경계 행의 적어도 하나의 샘플을 이용하여 상기 복원된 현재 하프 프레임의 적어도 하나의 샘플에 대해 인-루프 필터링을 수행하는 것을 특징으로 하는 비디오 신호 처리 방법을 제공한다.
본 발명의 다른 측면에 따르면, 비트스트림으로부터 현재 하프 프레임의 인터 예측을 위한 모션 정보를 추출하는 제1 비디오 디코더, 상기 추출된 모션 정보를 이용하여 상기 현재 하프 프레임에 대해 인터 예측을 수행하는 제2 비디오 디코더, 상기 인터 예측된 현재 하프 프레임을 복원하는 상기 제1 비디오 디코더를 포함하는 것을 특징으로 하는 비디오 신호 처리 장치를 제공한다.
또한, 본 발명에 따른 상기 제2 비디오 디코더는, 상기 현재 하프 프레임이 상단 하프 프레임인 경우, 상기 현재 하프 프레임에 포함된 현재 블록의 참조 블록이 이전 프레임의 하단 하프 프레임에 속하는지 여부에 기초하여 상기 현재 블록의 인터 예측을 수행하는 것을 특징으로 하는 비디오 신호 처리 장치를 제공한다.
또한, 본 발명에 따른 상기 제2 비디오 디코더는, 상기 참조 블록이 상기 이전 프레임의 하단 하프 프레임에 속하지 않는 경우에는 상기 참조 블록의 샘플값을 이용하여 상기 현재 블록의 인터 예측을 수행하고, 상기 참조 블록이 상기 이전 프레임의 하단 하프 프레임에 속하는 경우에는 상기 현재 블록의 인터 예측을 스킵하는 것을 특징으로 하는 비디오 신호 처리 장치를 제공한다.
또한, 본 발명은, 상기 현재 블록의 인터 예측이 스킵된 경우, 상기 제1 비디오 디코더는 상기 이전 프레임의 하단 하프 프레임에 대한 디코딩이 완료된 후 상기 현재 블록의 모션 정보를 이용하여 상기 현재 블록의 인터 예측을 수행하는 것을 특징으로 하는 비디오 신호 처리 장치를 제공한다.
또한, 본 발명은, 상기 현재 하프 프레임이 상단 하프 프레임에 해당하는 경우, 상기 현재 하프 프레임에 대해 인터 예측을 수행하는 동안, 상기 제1 비디오 디코더는 상기 현재 하프 프레임의 경계 행에 대해 인터 예측을 병렬적으로 수행하는 것을 특징으로 하는 비디오 신호 처리 장치를 제공한다.
또한, 본 발명은, 상기 복원된 현재 하프 프레임에 대해 인-루프 필터링을 수행하는 상기 제1 비디오 디코더를 더 포함하고, 상기 제1 비디오 디코더는 상기 인터 예측된 경계 행을 복원하고, 상기 복원된 경계 행의 적어도 하나의 샘플을 이용하여 상기 복원된 현재 하프 프레임의 적어도 하나의 샘플에 대해 인-루프 필터링을 수행하는 것을 특징으로 하는 비디오 신호 처리 장치를 제공한다.
본 발명에 따른 비디오 신호 처리 방법 및 장치의 효과에 대해 설명하면 다음과 같다.
본 발명의 실시 예들 중 적어도 하나에 의하면, 어느 하나의 비디오 디코더에서는 비디오 시퀀스를 하프 프레임 단위로 코딩 순서에 따라 순차적으로 인터 예측을 수행하고, 다른 하나의 비디오 디코더에서는 인터 예측된 하프 프레임을 복원, 그리고 인-루프 필터링을 수행함으로써 복수 개의 비디오 디코더를 full-time으로 동작할 수 있고, 나아가 비디오 시퀀스의 디코딩 시간을 줄일 수 있다는 장점이 있다.
또한, 본 발명의 실시 예들 중 적어도 하나에 의하면, 병렬 처리되는 하프 프레임들 간에 참조 관계가 있는 경우, 병렬 처리가 완료된 후 추가적으로 인터 예측을 수행함으로써, 인터 예측에 따른 에러를 줄이고, 기존 코덱과의 호환성을 유지할 수 있다는 장점이 있다.
또한, 본 발명의 실시 예들 중 적어도 하나에 의하면, 복원된 하프 프레임에 대한 인-루프 필터링 과정에서 복원된 경계 행을 이용함으로써, 복원된 하프 프레임의 크기와 동일한 크기의 디코딩된 하프 프레임을 획득할 수 있다는 장점이 있다.
도 1은 본 발명이 적용되는 비디오 신호 디코딩 장치의 개략적인 블록도를 나타낸다.
도 2는 본 발명이 적용되는 일실시예로서, 모션 벡터 유도부(142)에서 현재 블록의 모션 정보를 이용하여 모션 벡터를 유도하는 방법을 도시한 순서도이다.
도 3은 본 발명이 적용되는 일실시예로서, 복수 개의 비디오 디코더를 이용하여 하나의 프레임을 병렬 처리하는 과정을 도시한 것이다.
도 4는 본 발명이 적용되는 일실시예로서, 비디오 신호 처리 장치(200)에서 현재 하프 프레임을 디코딩하는 방법을 도시한 순서도이다.
도 5는 본 발명이 적용되는 일실시예로서, 제2 비디오 디코더(300)에서의 인터 예측 과정을 도시한 순서도이다.
도 6은 본 발명이 적용되는 일실시예로서, 제1 비디오 디코더(200)에서 현재 하프 프레임의 경계 행 (border row)에 대한 인터 예측 여부에 따른 현재 하프 프레임의 디코딩 과정을 도시한 것이다.
이하 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하되, 참조 번호에 관계없이 동일하거나 유사한 구성 요소에 대해서 중복되는 설명은 생략하기로 한다. 또한, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위하여 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
도 1은 본 발명이 적용되는 비디오 디코더(100)의 개략적인 블록도를 도시한 것이다.
비디오 디코더(100)는 파싱부(110), 역양자화/역변환부(120), 인트라 예측부(130), 인터 예측부(140), 인-루프 필터부(150), 버퍼부(160) 등을 포함할 수 있다.
파싱부(110)에서는 비디오 영상의 데이터가 코딩된 비트스트림을 수신할 수 있다. 상기 파싱부(110)는 수신된 비트스트림을 디코딩하기 위하여 NAL 단위로 파싱을 수행하여, 비디오 영상을 예측하기 위한 코딩 정보 (예를 들어, 블록 파티션 정보, 인트라 예측 모드, 모션 정보, 레퍼런스 인덱스 등)와 비디오 영상의 레지듀얼 데이터에 대응하는 양자화된 변환 계수 등을 추출할 수 있다.
역양자화/역변환부(120)에서는 양자화 파라미터를 이용하여 양자화된 변환 계수를 스케일링하여 스케일링된 변환 계수를 획득하고, 스케일링된 변환 계수를 역변환하여 레지듀얼 데이터를 복원할 수 있다.
인트라 예측부(130)에서는 현재 블록에 인접한 이웃 샘플 및 인트라 예측 모드를 이용하여 인트라 예측을 수행할 수 있다. 여기서, 상기 이웃 샘플은 현재 블록의 좌측, 좌측하단, 상단, 상단우측에 위치한 샘플로서, 현재 블록 이전에 복원이 완료된 샘플을 의미할 수 있다. 또한, 상기 인트라 예측 모드는 비트스트림으로부터 추출될 수도 있고, 현재 블록의 좌측 이웃 블록 또는 상단 이웃 블록 중 적어도 하나의 인트라 예측 모드에 기초하여 유도될 수도 있다.
인터 예측부(140)는 모션 벡터 유도부(142)와 모션 보상부(144)를 포함할 수 있다. 다만, 상기 모션 벡터 유도부(142)는 상기 인터 예측부(140)에 포함되는 것으로 한정되지 아니한다. 예를 들어, 상기 모션 벡터 유도부(142)는 구현 방식에 따라서 상기 파싱부(110)에 포함될 수도 있다. 여기서, 상기 모션 벡터 유도부(142)는 비트스트림으로부터 추출된 모션 정보를 이용하여 모션 벡터를 유도할 수 있다. 상기 모션 정보에는 모션 벡터 예측 정보 및 차분 모션 벡터가 포함될 수 있다. 여기서, 모션 벡터 예측 정보라 함은 현재 블록의 모션 벡터 예측값을 특정하는 인덱스 정보를 의미하며, 차분 모션 벡터는 상기 모션 벡터와 모션 벡터 예측값 간의 차분을 의미한다. 구체적인 모션 벡터 유도 방법은 도 2를 참조하여 살펴 보기로 한다. 한편, 모션 보상부(144)는 상기 유도된 모션 벡터와 레퍼런스 인덱스에 기초하여 참조 블록을 특정하고, 상기 참조 블록의 샘플값을 이용하여 현재 블록에 대해 인터 예측을 수행할 수 있다.
인-루프 필터부(150)에서는 블록 왜곡 현상을 감소시키기 위해 복원된 블록에 인-루프 필터를 적용할 수 있다. 인-루프 필터는 블록 간 또는 블록 내 샘플 간의 경계를 부드럽게 하여 디코딩된 프레임의 화질을 향상시킬 수 있다. 인-루프 필터가 적용된 프레임은 출력되거나 참조 프레임으로 이용되기 위해 버퍼부(160)에 저장될 수 있다.
버퍼부(160)에서는 인터 예측을 수행하기 위해서 이전에 디코딩된 프레임들을 저장하거나 개방하는 역할을 수행할 수 있다.
도 2는 본 발명이 적용되는 일실시예로서, 모션 벡터 유도부(142)에서 현재 블록의 모션 정보를 이용하여 모션 벡터를 유도하는 방법을 도시한 순서도이다.
도 2를 참조하면, 현재 블록에 대한 모션 후보자 리스트를 생성할 수 있다(S200). 모션 후보자 리스트는 현재 블록의 모션 벡터 예측값으로 이용 가능한 복수 개의 모션 벡터 후보자를 포함할 수 있다. 구체적으로, 상기 모션 벡터 후보자는 공간적 이웃 블록의 모션 벡터 또는 시간적 이웃 블록의 모션 벡터 중 적어도 하나를 포함할 수 있다. 상기 공간적 이웃 블록은 현재 블록에 공간적으로 인접한 이웃 블록을 의미한다. 예를 들어, 공간적 이웃 블록은 현재 블록의 좌측 이웃 블록 또는 상단 이웃 블록 중 적어도 하나를 의미할 수 있다. 상기 시간적 이웃 블록은 현재 블록을 포함한 현재 프레임과 다른 시간 대에 위치한 프레임 내에서 현재 블록의 중심 위치를 가진 블록 또는 현재 블록의 우측하단 위치를 가진 블록을 의미할 수 있다.
상기 생성된 모션 후보자 리스트와 모션 벡터 예측 정보에 기초하여 현재 블록의 모션 벡터 예측값을 유도할 수 있다(S210). 즉, 모션 후보자 리스트에 포함된 복수 개의 모션 벡터 후보자 중 상기 모션 벡터 예측 정보에 의해 특정된 모션 벡터 후보자를 현재 블록의 모션 벡터 예측값으로 설정할 수 있다.
상기 유도된 모션 벡터 예측값과 현재 블록의 차분 모션 벡터에 기초하여 현재 블록의 모션 벡터를 유도할 수 있다(S220).
도 3은 본 발명이 적용되는 일실시예로서, 복수 개의 비디오 디코더를 이용하여 하나의 프레임을 병렬 처리하는 과정을 도시한 것이다.
도 3을 참조하면, 제1 비디오 디코더(200)와 제2 비디오 디코더(300)는 하나의 프레임을 하프 프레임(half frame) 단위로 병렬적으로 처리하기 위한 구성이다. 상기 제1 비디오 디코더(200)와 제2 비디오 디코더(300)는 도 1에서 전술한 비디오 디코더(100)의 구성 요소를 모두 포함할 수도 있고, 또는 구현 방식에 따라 일부 구성 요소를 선택적으로 포함할 수도 있다.
또한, 도 3에서는 발명의 이해 편의를 위해 하나의 프레임을 디코딩하는데 걸리는 시간이 100인 경우, 해당 프레임의 인터 예측에 수행하는데 걸리는 시간이 50이라고 가정한다.
상기 제1 및 제2 비디오 디코더(200, 300)를 이용한 병렬 처리 과정을 살펴 보면, 먼저 제2 비디오 디코더(300)에서 N 프레임의 상단 하프 프레임(TFN)의 모션 정보를 사용하여 인터 예측을 수행할 수 있다. 상기 모션 정보는 제1 비디오 디코더(200)에서 엔트로피 디코딩을 통해 비트스트림으로부터 추출된 것일 수 있다.
상기 제2 비디오 디코더(300)는 인터 예측된 상단 하프 프레임(TFN)을 제1 비디오 디코더(200)로 전송하고, 상기 N 프레임의 하단 하프 프레임(BFN)의 모션 정보를 이용하여 인터 예측을 수행할 수 있다.
한편, 제2 비디오 디코더(300)에서 하단 하프 프레임(BFN)에 대해 인터 예측이 수행되는 동안, 상기 제1 비디오 디코더(200)는 제2 비디오 디코더(300)로부터 전송된 상단 하프 프레임(TFN)을 복원하고, 복원된 상단 하프 프레임(TFN)에 인-루프 필터를 적용할 수 있다.
구체적으로, 상단 하프 프레임(TFN)을 복원하는 과정은, 제2 비디오 디코더(300)로부터 전송된 상단 하프 프레임(TFN) 내에 예측 처리되지 아니한 블록 특히, 인트라 모드로 코딩된 블록에 대해 인트라 예측을 수행하고, 비트스트림으로부터 추출된 양자화된 변환 계수를 역양자화 및 역변환하여 레지듀얼 데이터를 획득할 수 있다. 그런 다음, 인터 예측 및/또는 인트라 예측을 통해 획득된 샘플 예측값과 상기 레지듀얼 데이터를 이용하여 상단 하프 프레임(TFN)의 샘플값을 복원할 수 있다.
마찬가지로, 제2 비디오 디코더(300)는 하단 하프 프레임(BFN)에 대해 인터 예측을 수행한 후, 이를 제1 비디오 디코더(200)로 전송할 수 있다. 제1 비디오 디코더(200)는 상기 상단 하프 프레임(TFN)에 대한 디코딩이 완료된 후, 상기 전송된 하단 하프 프레임(BFN)을 복원하고, 복원된 하단 하프 프레임(BFN)에 인-루프 필터를 적용할 수 있다. 이와 같이 제1 및 제2 비디오 디코더(200, 300)를 이용하여 하나의 프레임을 하프 프레임 단위로 병렬 처리함으로써, 하나의 프레임을 디코딩하는데 걸리는 시간을 기존보다 절반으로 줄일 수 있다.
도 4는 본 발명이 적용되는 일실시예로서, 비디오 신호 처리 장치(200)에서 현재 하프 프레임을 디코딩하는 방법을 도시한 순서도이다.
제1 비디오 디코더(200)에서는, 비트스트림으로부터 현재 하프 프레임의 인터 예측을 위한 모션 정보를 추출할 수 있다(S400). 현재 하프 프레임은 현재 프레임의 상단 하프 프레임 또는 하단 하프 프레임 중 어느 하나를 의미할 수 있다.
제2 비디오 디코더(300)에서는, 상기 추출된 모션 정보를 이용하여 현재 하프 프레임에 대해 인터 예측을 수행할 수 있다(S410). 여기서, 인터 예측은 현재 하프 프레임이 상단 하프 프레임인지, 아니면 하단 하프 프레임인지를 고려하여 수행할 수 있으며, 이에 대해서는 도 5를 참조하여 후술하도록 한다. 한편, 제2 비디오 디코더(300)에서 인터 예측되는 현재 하프 프레임이 상단 하프 프레임에 해당하는 경우, 제1 비디오 디코더(200)에서는 제2 비디오 디코더(300)에서 현재 하프 프레임에 대해 인터 예측을 수행하는 동안, 상기 현재 하프 프레임에 대한 인-루프 필터링을 위해 상기 현재 하프 프레임의 경계 행 (border row)에 대해 인터 예측을 병렬적으로 수행할 수 있다. 이에 대해서는 도 6을 참조하여 후술하도록 한다.
제1 비디오 디코더(200)에서는, S410 단계에서 인터 예측된 현재 하프 프레임을 복원하고, 복원된 현재 하프 프레임에 대해 인-루프 필터링을 수행할 수 있다(S420). 하프 프레임을 복원하는 과정은 도 3에서 자세히 살펴 보았는바, 여기서 자세한 설명은 생략하기로 한다.
도 5는 본 발명이 적용되는 일실시예로서, 제2 비디오 디코더(300)에서의 인터 예측 과정을 도시한 순서도이다.
도 5를 참조하면, 현재 하프 프레임이 상단 하프 프레임인지 여부를 확인할 수 있다(S500).
구체적으로, 현재 하프 프레임이 상단 하프 프레임인지 여부는, 현재 하프 프레임 내에 속하는 블록으로서, 인터 모드로 코딩된 현재 블록의 위치에 기초하여 확인할 수 있다. 만일 상기 현재 블록의 위치가 현재 프레임의 상단 하프 프레임에 속하는 경우, 상기 현재 하프 프레임은 상단 하프 프레임에 해당하는 것으로 볼 수 있다. 그렇지 않은 경우, 상기 현재 하프 프레임은 하단 하프 프레임에 해당하는 것으로 볼 수 있다.
S500 단계의 확인 결과, 현재 하프 프레임이 상단 하프 프레임인 경우, 상기 현재 블록의 모션 벡터와 레퍼런스 인덱스에 기초하여 참조 블록이 이전 프레임의 하단 하프 프레임에 속하는지 여부를 확인할 수 있다(S510).
여기서, 이전 프레임은 현재 프레임 직전의 코딩 순서를 가진 프레임을 의미할 수 있다. 또한, 이전 프레임의 하단 하프 프레임은 현재 하프 프레임이 제2 비디오 디코더(300)에서 인터 예측되는 동안에 제1 비디오 디코더(200)에서 병렬적으로 디코딩되는 프레임을 의미할 수 있다.
S510 단계의 확인 결과, 현재 블록의 참조 블록이 이전 프레임의 하단 하프 프레임에 속하지 않는 경우, 해당 참조 블록의 샘플값을 이용하여 현재 블록의 샘플을 예측할 수 있다(S520).
그러나, 현재 블록의 참조 블록이 이전 프레임의 하단 하프 프레임에 속하는 경우에는 현재 블록에 대한 인터 예측을 스킵할 수 있다(S530). 이는 상기 참조 블록이 현재 블록과 병렬적으로 제1 비디오 디코더(200)에서 디코딩 중에 있어서, 현재 블록이 참조할 샘플이 존재하지 않기 때문이다. 이와 같이, 제2 비디오 디코더(300)에서 인터 예측이 스킵된 블록에 대해서는 해당 모션 정보를 제1 비디오 디코더(200)로 전송할 수 있고, 제1 비디오 디코더(200)는 상기 이전 프레임의 하단 하프 프레임에 대해 디코딩이 완료된 후, 수신된 모션 정보를 이용하여 인터 예측을 수행할 수 있다.
한편, S500 단계의 확인 결과, 현재 하프 프레임이 하단 하프 프레임인 경우, 현재 블록의 모션 벡터와 레퍼런스 인덱스에 기초하여 참조 블록을 특정하고, 상기 특정된 참조 블록의 샘플값을 이용하여 현재 블록의 샘플을 예측할 수 있다(S540).
도 6은 본 발명이 적용되는 일실시예로서, 제1 비디오 디코더(200)에서 현재 하프 프레임의 경계 행 (border row)에 대한 인터 예측 여부에 따른 현재 하프 프레임의 디코딩 과정을 도시한 것이다.
도 6에서 하나의 프레임은 17개의 코딩 유닛 열 (coding unit rows)로 구성되며, 상단에 배열된 8개의 코딩 유닛 열을 상단 하프 프레임, 하단에 배열된 9개의 코딩 유닛 열을 하단 하프 프레임이라고 각각 가정한다. 코딩 유닛은 비디오 신호를 처리하기 위한 기본 단위를 의미하며, 코딩 유닛의 크기는 인코더 측에서 코딩 효율을 고려하여 적응적으로 결정될 수 있다.
도 6(a)는 상단 하프 프레임의 경계 행에 대한 인터 예측없이 상단 하프 프레임을 디코딩하는 과정을 도시한 것이다. 도 6(a)를 참조하면, 제2 비디오 디코더(300)에서 N 프레임의 상단 하프 프레임에 대해서 인터 예측을 수행하며, 제1 비디오 디코더(200)에서는 인터 예측된 상단 하프 프레임을 복원하고, 이에 인-루프 필터링을 수행할 수 있다. 여기서, 인-루프 필터링은 블록 경계를 중심으로 양측의 복원된 샘플을 이용하게 된다. 즉, 블록 경계가 수평 경계인 경우, 해당 수평 경계를 중심으로 상단 및 하단에 위치한 복원된 샘플을 이용하여 인-루프 필터링을 수행하게 된다. 그러나, 제1 비디오 디코더(200)에서 N 프레임의 상단 하프 프레임에 대해서 복원 및 인-루프 필터링을 수행하는 동안에 제2 비디오 디코더(300)에서 상기 N 프레임의 하단 하프 프레임에 대해 병렬적으로 인터 예측을 수행하고 있으므로, N 프레임의 상단 하프 프레임에서 최하단에 위치한 코딩 유닛 열은 인-루프 필터링을 수행할 수 없다. 따라서, 제2 비디오 디코더(300)에서 8개의 코딩 유닛 열에 대해서 인터 예측을 수행하더라도, 제1 비디오 디코더(200)에서 인-루프 필터링을 거친 후에는 최종적으로 7개의 코딩 유닛 열만이 디코딩될 것이다.
나아가, N+1 프레임의 상단 하프 프레임이 디코딩된 N 프레임의 상단 하프 프레임을 참조하여 인터 예측을 수행하는 경우, N 프레임의 상단 하프 프레임은 현재 7개의 코딩 유닛 열만이 디코딩되어 있으므로 제2 비디오 디코더(300)에서 N+1 프레임의 상단 하프 프레임 역시 7개의 코딩 유닛 열만이 인터 예측될 수 있다. 마찬가지로, 제1 비디오 디코더(200)에서는 인-루프 필터링을 거친 후에는 6개의 코딩 유닛 열만이 디코딩될 것이다. 이와 같이, 제1 비디오 디코더(200) 및 제2 비디오 디코더(300)는 상단 하프 프레임의 8개의 코딩 유닛 열을 모두 디코딩하지 못하고, 매 프레임 별로 1개의 코딩 유닛 열이 누적적으로 줄어든 코딩 유닛 열만을 디코딩하게 된다. 이는 제1 비디오 디코더(200)에서 현재 프레임의 상단 하프 프레임에 대한 복원 및 인-루프 필터링 과정 동안에 제2 비디오 디코더(300)에서 상기 현재 프레임의 하단 하프 프레임에 대해서 병렬적으로 인터 예측을 수행하기 때문이다. 따라서, 제1 비디오 디코더(200)에서 상단 하프 프레임의 8개의 코딩 유닛 열을 모두 디코딩하기 위해 도 6(b)와 같이 상단 하프 프레임의 경계 행에 대해 병렬적으로 인터 예측을 수행할 수 있다.
도 6(b)는 제2 비디오 디코더(300)에서 상단 하프 프레임에 대해 인터 예측을 수행하는 동안 제1 비디오 디코더(200)에서 상기 상단 하프 프레임의 경계 행에 대해 병렬적으로 인터 예측을 수행하는 과정을 도시한 것이다.
도 6(b)를 참조하면, 제2 비디오 디코더(300)에서 N 프레임의 상단 하프 프레임에 대해 인터 예측을 수행하고, 이와 병렬적으로 제1 비디오 디코더(200)에서 상기 상단 하프 프레임의 하단에 인접한 경계 행에 대해 인터 예측을 수행할 수 있다.
구체적으로, 상기 경계 행은 상기 상단 하프 프레임의 하단에 위치한 복수 개의 코딩 유닛 열 중 적어도 하나를 의미할 수 있다. 또한, 경계 행의 사이즈 즉, 경계 행을 구성하는 코딩 유닛 열의 개수는 제2 비디오 디코더(300)에서 프레임을 처리하는 속도를 고려하여 적응적으로 결정될 수 있다. 예를 들어, 제2 비디오 디코더(300)에서 하프 프레임에 대해 인터 예측을 수행하는데 걸리는 시간이 기결정된 시간을 초과하는 경우, 이는 제2 비디오 디코더(300)의 capacity가 떨어짐을 의미하므로, 제1 비디오 디코더(200)에서 인터 예측되는 경계 행의 사이즈를 크게 설정할 수 있다. 반대로, 제2 비디오 디코더(300)에서 하프 프레임에 대해 인터 예측을 수행하는데 걸리는 시간이 기결정된 시간을 초과하지 않는 경우, 경계 행의 사이즈를 작게 설정할 수 있다. 다만, 도 6(b)에서는 상기 경계 행이 1개의 코딩 유닛 열로 구성되고, N 프레임의 하단 하프 프레임이 8개의 코딩 유닛 열로 구성된 경우를 예로 들어 살펴 보기로 한다.
상기 제1 비디오 디코더(200)는 인터 예측된 경계 행과 상기 제2 비디오 디코더(300)에서 인터 예측된 상단 하프 프레임을 각각 복원할 수 있다. 그런 다음, 상기 복원된 상단 하프 프레임에 대해 인-루프 필터링을 수행할 수 있다. 이 때, 상기 복원된 경계 행의 적어도 하나의 샘플을 이용하여 상기 복원된 상단 하프 프레임의 적어도 하나의 샘플에 대해 인-루프 필터링을 수행할 수 있다. 이 경우, 상기 복원된 경계 행의 샘플이 이용 가능하므로, 상기 복원된 상단 하프 프레임을 구성하는 8개의 코딩 유닛 열 모두에 대해 디코딩이 가능할 것이다.
나아가, N+1 프레임의 상단 하프 프레임이 디코딩된 N 프레임의 상단 하프 프레임을 참조하여 인터 예측을 수행하는 경우, N 프레임의 상단 하프 프레임은 8개의 코딩 유닛 열 모두 디코딩되어 있으므로 제2 비디오 디코더(300)에서 N+1 프레임의 상단 하프 프레임 역시 8개의 코딩 유닛 열이 인터 예측될 수 있다. 이와 같이, 제2 비디오 디코더(300)에서 상단 하프 프레임에 대해 인터 예측을 수행하는 동안에, 제1 비디오 디코더(200)에서 병렬적으로 경계 행에 대해 인터 예측을 수행함으로써, 매 프레임마다 8개의 코딩 유닛 열로 구성된 상단 하프 프레임 전체를 디코딩하는 것이 가능하다.

Claims (16)

  1. 제1 비디오 디코더에서, 비트스트림으로부터 현재 하프 프레임의 인터 예측을 위한 모션 정보를 추출하는 단계;
    제 2 비디오 디코더에서, 상기 현재 하프 프레임이 상단 하프 프레임인지 여부를 확인하는 단계;
    상기 현재 하프 프레임이 상단 하프 프레임인 경우, 상기 현재 하프 프레임에 포함된 현재 블록의 참조 블록이 이전 프레임의 하단 하프 프레임에 속하는지 여부에 기초하여 상기 현재 블록의 인터 예측을 수행하는 단계;
    상기 참조 블록이 상기 이전 프레임의 하단 하프 프레임에 속하지 않는 경우, 상기 참조 블록의 샘플값을 이용하여 상기 현재 블록의 인터 예측을 수행하는 단계;
    상기 참조 블록이 상기 이전 프레임의 하단 하프 프레임에 속하는 경우, 상기 현재 블록의 인터 예측을 스킵하는 단계; 및
    상기 제1 비디오 디코더에서, 상기 인터 예측된 현재 하프 프레임을 복원하는 단계를 포함하는,
    비디오 신호 처리 방법.
  2. 삭제
  3. 삭제
  4. 제 1 항에 있어서, 상기 현재 블록의 인터 예측이 스킵된 경우,
    상기 제1 비디오 디코더에서, 상기 이전 프레임의 하단 하프 프레임에 대한 디코딩이 완료된 후 상기 현재 블록의 모션 정보를 이용하여 상기 현재 블록의 인터 예측을 수행하는 단계를 더 포함하는 것을 특징으로 하는 비디오 신호 처리 방법.
  5. 제 1항에 있어서,
    상기 현재 하프 프레임이 상단 하프 프레임에 해당하는 경우,
    상기 현재 하프 프레임에 대해 인터 예측을 수행하는 동안, 상기 제1 비디오 디코더에서 상기 현재 하프 프레임의 경계 행에 대해 인터 예측을 병렬적으로 수행하는 단계를 더 포함하는 것을 특징으로 하는 비디오 신호 처리 방법.
  6. 제 5항에 있어서,
    상기 제1 비디오 디코더에서 상기 복원된 현재 하프 프레임에 대해 인-루프 필터링을 수행하는 단계를 더 포함하되,
    상기 인-루프 필터링을 수행하는 단계는,
    상기 제1 비디오 디코더에서 상기 인터 예측된 경계 행을 복원하는 단계; 및
    상기 제1 비디오 디코더에서 상기 복원된 경계 행의 적어도 하나의 샘플을 이용하여 상기 복원된 현재 하프 프레임의 적어도 하나의 샘플에 대해 인-루프 필터링을 수행하는 단계를 포함하는 것을 특징으로 하는 비디오 신호 처리 방법.
  7. 제 6항에 있어서, 상기 경계 행은 상기 현재 하프 프레임의 하단에 위치한 복수 개의 코딩 유닛 열 중 적어도 하나를 의미하는 것을 특징으로 하는 비디오 신호 처리 방법.
  8. 제 7항에 있어서, 상기 경계 행을 구성하는 코딩 유닛 열의 개수는 상기 제2 비디오 디코더에서 프레임을 처리하는 속도를 고려하여 적응적으로 결정되는 것을 특징으로 하는 비디오 신호 처리 방법.
  9. 비트스트림으로부터 현재 하프 프레임의 인터 예측을 위한 모션 정보를 추출하는 제1 비디오 디코더;
    상기 현재 하프 프레임이 상단 하프 프레임인 경우, 상기 현재 하프 프레임에 포함된 현재 블록의 참조 블록이 이전 프레임의 하단 하프 프레임에 속하는지 여부에 기초하여 상기 현재 블록의 인터 예측을 수행하고,
    상기 참조 블록이 상기 이전 프레임의 하단 하프 프레임에 속하지 않는 경우, 상기 참조 블록의 샘플값을 이용하여 상기 현재 블록의 인터 예측을 수행하고,
    상기 참조 블록이 상기 이전 프레임의 하단 하프 프레임에 속하는 경우, 상기 현재 블록의 인터 예측을 스킵하는 제2 비디오 디코더; 및
    상기 인터 예측된 현재 하프 프레임을 복원하는 상기 제1 비디오 디코더
    를 포함하는 비디오 신호 처리 장치.
  10. 삭제
  11. 삭제
  12. 제 9 항에 있어서, 상기 현재 블록의 인터 예측이 스킵된 경우,
    상기 제1 비디오 디코더는 상기 이전 프레임의 하단 하프 프레임에 대한 디코딩이 완료된 후 상기 현재 블록의 모션 정보를 이용하여 상기 현재 블록의 인터 예측을 수행하는 것을 특징으로 하는 비디오 신호 처리 장치.
  13. 제 9항에 있어서,
    상기 현재 하프 프레임이 상단 하프 프레임에 해당하는 경우,
    상기 현재 하프 프레임에 대해 인터 예측을 수행하는 동안, 상기 제1 비디오 디코더는 상기 현재 하프 프레임의 경계 행에 대해 인터 예측을 병렬적으로 수행하는 것을 특징으로 하는 비디오 신호 처리 장치.
  14. 제 13항에 있어서,
    상기 복원된 현재 하프 프레임에 대해 인-루프 필터링을 수행하는 상기 제1 비디오 디코더를 더 포함하되,
    상기 제1 비디오 디코더는 상기 인터 예측된 경계 행을 복원하고, 상기 복원된 경계 행의 적어도 하나의 샘플을 이용하여 상기 복원된 현재 하프 프레임의 적어도 하나의 샘플에 대해 인-루프 필터링을 수행하는 것을 특징으로 하는 비디오 신호 처리 장치.
  15. 제 14항에 있어서, 상기 경계 행은 상기 현재 하프 프레임의 하단에 위치한 복수 개의 코딩 유닛 열 중 적어도 하나를 의미하는 것을 특징으로 하는 비디오 신호 처리 장치.
  16. 제 15항에 있어서, 상기 경계 행을 구성하는 코딩 유닛 열의 개수는 상기 제2 비디오 디코더에서 프레임을 처리하는 속도를 고려하여 적응적으로 결정되는 것을 특징으로 하는 비디오 신호 처리 장치.
KR1020140032492A 2013-11-20 2014-03-20 비디오 신호 처리 방법 및 장치 KR102232417B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/KR2014/011190 WO2015076580A1 (ko) 2013-11-20 2014-11-20 비디오 신호 처리 방법 및 장치
US15/037,594 US10349078B2 (en) 2013-11-20 2014-11-20 Method and device for processing video signal by performing inter-prediction in parallel

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201361906428P 2013-11-20 2013-11-20
US61/906,428 2013-11-20

Publications (2)

Publication Number Publication Date
KR20150057935A KR20150057935A (ko) 2015-05-28
KR102232417B1 true KR102232417B1 (ko) 2021-03-26

Family

ID=53392662

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140032492A KR102232417B1 (ko) 2013-11-20 2014-03-20 비디오 신호 처리 방법 및 장치

Country Status (2)

Country Link
US (1) US10349078B2 (ko)
KR (1) KR102232417B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10623767B2 (en) * 2015-10-19 2020-04-14 Lg Electronics Inc. Method for encoding/decoding image and device therefor
CN116684642A (zh) * 2018-12-06 2023-09-01 Lg电子株式会社 图像编解码方法、存储介质和数据发送方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100239024A1 (en) * 2007-11-16 2010-09-23 Keishi Chikamura Image decoding device and image decoding method
KR101292668B1 (ko) 2009-10-08 2013-08-02 한국전자통신연구원 멀티프로세서기반의 영상 복호화 장치 및 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8699561B2 (en) * 2006-08-25 2014-04-15 Sony Computer Entertainment Inc. System and methods for detecting and handling errors in a multi-threaded video data decoder
WO2010131422A1 (ja) * 2009-05-13 2010-11-18 パナソニック株式会社 画像復号装置、集積回路、画像復号方法及び画像復号システム
KR20110055022A (ko) * 2009-11-19 2011-05-25 한국전자통신연구원 데이터 및 기능적 분할 방식에 기반한 동영상 복호화 장치 및 방법
KR20110129089A (ko) * 2010-05-25 2011-12-01 (주)피타소프트 병렬 프로세서를 구비한 영상 복호화 장치
KR20130070191A (ko) * 2011-12-19 2013-06-27 광운대학교 산학협력단 최대코딩유닛 단위의 병렬 인-루프 필터링 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100239024A1 (en) * 2007-11-16 2010-09-23 Keishi Chikamura Image decoding device and image decoding method
KR101292668B1 (ko) 2009-10-08 2013-08-02 한국전자통신연구원 멀티프로세서기반의 영상 복호화 장치 및 방법

Also Published As

Publication number Publication date
US10349078B2 (en) 2019-07-09
US20160309178A1 (en) 2016-10-20
KR20150057935A (ko) 2015-05-28

Similar Documents

Publication Publication Date Title
KR102658215B1 (ko) Cclm에 기반한 인트라 예측 방법 및 그 장치
EP3367681B1 (en) Modeling-based image decoding method and device in image coding system
US8649431B2 (en) Method and apparatus for encoding and decoding image by using filtered prediction block
KR102543468B1 (ko) Cclm에 기반한 인트라 예측 방법 및 그 장치
US20160073107A1 (en) Method and apparatus for video encoding/decoding using intra prediction
US20180213224A1 (en) Intra prediction method and device in video coding system
US10701356B2 (en) Image decoding method and apparatus by deriving a frequency component based on filtering in image coding system
CN105556962B (zh) 发送用于视频***的无损模式的信号的方法
WO2010041856A2 (en) A method and an apparatus for processing a video signal
CN108353175B (zh) 使用系数引起的预测处理视频信号的方法和装置
KR101873609B1 (ko) 모션 매트릭스를 사용하여 비디오 인코딩 및 디코딩하기 위한 방법 및 장치
EP4161075A1 (en) Method for reconstructing a current block of an image and corresponding encoding method, corresponding devices as well as storage medium carrying an image encoded in a bit stream
JP2010509799A (ja) 映像の予測符号化方法及び装置、その復号化方法及び装置
US8462851B2 (en) Video encoding method and apparatus and video decoding method and apparatus
CN109964483B (zh) 动态图像编码装置、解码装置以及计算机可读存储介质
KR20130051029A (ko) 변환을 이용한 주파수 도메인 상의 적응적 루프 필터를 이용한 영상 부호화/복호화 방법 및 장치
KR101375667B1 (ko) 영상의 부호화, 복호화 방법 및 장치
WO2012097746A1 (zh) 一种编解码方法和装置
KR102232417B1 (ko) 비디오 신호 처리 방법 및 장치
CN110337809B (zh) 利用预扫描的基于块的视频解码方法以及其装置
JP2024038295A (ja) ビデオ符号化のための動きベクトル予測
KR20240013896A (ko) 영상을 인코딩 및 디코딩하기 위한 방법, 인코딩 및 디코딩 장치, 및 해당 컴퓨터 프로그램
CN104581173A (zh) 软解码验证模型平台
CN115643406A (zh) 视频解码方法、视频编码方法、装置、存储介质及设备
CN106686380B (zh) 采用基于多块的流水线的增强型数据处理设备及操作方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant