KR20150090053A - 비디오 신호 처리 방법 및 장치 - Google Patents
비디오 신호 처리 방법 및 장치 Download PDFInfo
- Publication number
- KR20150090053A KR20150090053A KR1020157011540A KR20157011540A KR20150090053A KR 20150090053 A KR20150090053 A KR 20150090053A KR 1020157011540 A KR1020157011540 A KR 1020157011540A KR 20157011540 A KR20157011540 A KR 20157011540A KR 20150090053 A KR20150090053 A KR 20150090053A
- Authority
- KR
- South Korea
- Prior art keywords
- prediction unit
- block
- current
- unit
- motion vector
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/43—Hardware specially adapted for motion estimation or compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
- H04N19/52—Processing of motion vectors by encoding by predictive encoding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
본 발명은 병렬 처리 정보를 이용하여 현재 코딩 유닛의 인터뷰 모션 벡터를 획득하고, 현재 코딩 유닛의 인터뷰 모션 벡터를 이용하여 현재 코딩 유닛 내 현재 예측 유닛의 움직임 벡터를 병렬적으로 획득한다. 여기서, 현재 예측 유닛에 대응하는 참조 픽쳐의 출력 순서 정보와 대응 블록에 대응하는 참조 픽쳐의 출력 순서 정보를 비교하여, 현재 예측 유닛의 움직임 벡터 예측 값을 획득하는 것을 특징으로 하는 비디오 신호 처리 방법 및 장치에 관한 것이다.
본 발명은 병렬 처리 과정을 통해, 다시점 비디오 영상을 빠르게 복원할 수 있고, 현재 예측 유닛과 다른 시점의 대응 블록의 참조 픽쳐에 대응하는 움직임 정보를 이용하여 움직임 벡터 예측 값의 정확도를 높일 수 있다.
본 발명은 병렬 처리 과정을 통해, 다시점 비디오 영상을 빠르게 복원할 수 있고, 현재 예측 유닛과 다른 시점의 대응 블록의 참조 픽쳐에 대응하는 움직임 정보를 이용하여 움직임 벡터 예측 값의 정확도를 높일 수 있다.
Description
본 발명은 비디오 신호의 코딩 방법 및 장치에 관한 것이다.
압축 부호화란 디지털화한 정보를 통신 회선을 통해 전송하거나, 저장 매체에 적합한 형태로 저장하는 일련의 신호 처리 기술을 의미한다. 압축 부호화의 대상에는 음성, 영상, 문자 등의 대상이 존재하며, 특히 영상을 대상으로 압축 부호화를 수행하는 기술을 비디오 영상 압축이라고 일컫는다. 다시점 비디오 영상의 일반적인 특징은 공간적 중복성, 시간적 중복성 및 시점 간 중복성을 지니고 있는 점에 특징이 있다.
본 발명의 목적은 비디오 신호의 코딩 효율을 높이고자 함에 있다.
본 발명은 다시점 비디오 영상에서 병렬 처리 정보를 이용하여 현재 코딩 유닛의 인터뷰 모션 벡터를 획득할 수 있고, 현재 코딩 유닛의 인터뷰 모션 벡터를 이용하여 현재 예측 유닛의 움직임 벡터를 병렬적으로 획득할 수 있다.
본 발명은 현재 예측 유닛에 대응하는 참조 픽쳐의 출력 순서 정보와 대응 블록에 대응하는 참조 픽쳐의 출력 순서 정보를 비교하여, 현재 예측 유닛의 움직임 벡터 예측 값을 획득할 수 있다.
본 발명은 현재 예측 유닛에 대응하는 참조 픽쳐의 출력 순서 정보와 대응 블록에 대응하는 참조 픽쳐의 출력 순서 정보가 동일한 경우, 대응 블록의 참조 픽쳐에 대응하는 움직임 정보를 이용하여 현재 예측 유닛의 움직임 벡터 예측 값을 획득할 수 있다.
본 발명은 현재 예측 유닛에 대응하는 참조 픽쳐의 출력 순서 정보와 대응 블록에 대응하는 참조 픽쳐의 출력 순서 정보가 동일하지 않은 경우, 현재 예측 유닛에 대응하는 참조 픽쳐의 출력 순서, 대응 블록에 대응하는 참조 픽쳐의 출력 순서 및 대응 블록의 참조 픽쳐에 대응하는 움직임 정보를 이용하여 현재 예측 유닛의 움직임 벡터 예측 값을 획득할 수 있다.
본 발명은 다시점 비디오 영상에서 병렬 처리 과정을 통해 현재 코딩 유닛의 인터뷰 모션 벡터 및 현재 예측 유닛의 움직임 벡터를 획득하여, 비디오 영상을 빠르게 복원할 수 있다.
본 발명은 현재 예측 유닛과 다른 시점의 대응 블록의 참조 픽쳐에 대응하는 움직임 정보를 이용하여 정확한 움직임 벡터 예측 값을 획득할 수 있다.
도 1은 본 발명이 적용되는 일실시예로서, 뎁스 코딩이 적용되는 방송 수신기의 내부 블록도를 나타낸다.
도 2는 본 발명이 적용되는 일실시예로서, 비디오 디코더의 개략적인 블록도를 도시한 것이다.
도 3은 본 발명이 적용되는 일실시예로서, 병렬 처리 정보를 이용하여 현재 유닛의 인터뷰 모션 벡터를 획득하고, 현재 예측 유닛의 움직임 벡터를 획득하는 방법에 대한 흐름도를 도시한 것이다.
도 4는 본 발명이 적용되는 일 실시예로서, 병렬 처리 정보를 이용하여 현재 코딩 유닛의 인터뷰 모션 벡터가 획득되는 일례를 도시한 것이다.
도 5는 본 발명이 적용되는 일실시예로서, 현재 코딩 유닛 내 현재 예측 유닛이 N X N 단위로 병렬 처리 되는 경우의 일례를 도시한 것이다.
도 6은 본 발명이 적용되는 일실시예로서, 현재 코딩 유닛 내 현재 예측 유닛이 2N X N 단위로 병렬 처리 되는 경우의 일례를 도시한 것이다.
도 7은 본 발명이 적용되는 일실시예로서, 현재 코딩 유닛 내 현재 예측 유닛이 N X 2N 단위로 병렬 처리 되는 경우 일례를 도시한 것이다.
도 8은 본 발명이 적용되는 일실시예로서, 현재 예측 유닛에 대응하는 참조 픽쳐의 출력 순서와 대응 블록에 대응하는 참조 픽쳐의 출력 순서 및 대응 블록의 참조 픽쳐에 대응하는 움직임 벡터를 이용하여 현재 예측 유닛의 움직임 벡터 예측 값을 획득하는 방법에 대한 흐름도를 도시한 것이다.
도 9는 본 발명이 적용되는 일실시예로서, 대응 블록에 대응하는 참조 픽쳐의 출력 순서가 현재 예측 유닛에 대응하는 참조 픽쳐의 출력 순서와 동일한 경우의 현재 예측 유닛의 움직임 벡터 예측 값을 획득하는 방법의 일례를 도시한 것이다.
도 10은 본 발명이 적용되는 일실시예로서, 대응 블록에 대응하는 참조 픽쳐의 출력 순서가 현재 예측 유닛에 대응하는 참조 픽쳐의 출력 순서와 동일하지 않은 경우의 현재 예측 유닛의 움직임 벡터 예측 값을 획득하는 방법의 일례를 도시한 것이다.
도 2는 본 발명이 적용되는 일실시예로서, 비디오 디코더의 개략적인 블록도를 도시한 것이다.
도 3은 본 발명이 적용되는 일실시예로서, 병렬 처리 정보를 이용하여 현재 유닛의 인터뷰 모션 벡터를 획득하고, 현재 예측 유닛의 움직임 벡터를 획득하는 방법에 대한 흐름도를 도시한 것이다.
도 4는 본 발명이 적용되는 일 실시예로서, 병렬 처리 정보를 이용하여 현재 코딩 유닛의 인터뷰 모션 벡터가 획득되는 일례를 도시한 것이다.
도 5는 본 발명이 적용되는 일실시예로서, 현재 코딩 유닛 내 현재 예측 유닛이 N X N 단위로 병렬 처리 되는 경우의 일례를 도시한 것이다.
도 6은 본 발명이 적용되는 일실시예로서, 현재 코딩 유닛 내 현재 예측 유닛이 2N X N 단위로 병렬 처리 되는 경우의 일례를 도시한 것이다.
도 7은 본 발명이 적용되는 일실시예로서, 현재 코딩 유닛 내 현재 예측 유닛이 N X 2N 단위로 병렬 처리 되는 경우 일례를 도시한 것이다.
도 8은 본 발명이 적용되는 일실시예로서, 현재 예측 유닛에 대응하는 참조 픽쳐의 출력 순서와 대응 블록에 대응하는 참조 픽쳐의 출력 순서 및 대응 블록의 참조 픽쳐에 대응하는 움직임 벡터를 이용하여 현재 예측 유닛의 움직임 벡터 예측 값을 획득하는 방법에 대한 흐름도를 도시한 것이다.
도 9는 본 발명이 적용되는 일실시예로서, 대응 블록에 대응하는 참조 픽쳐의 출력 순서가 현재 예측 유닛에 대응하는 참조 픽쳐의 출력 순서와 동일한 경우의 현재 예측 유닛의 움직임 벡터 예측 값을 획득하는 방법의 일례를 도시한 것이다.
도 10은 본 발명이 적용되는 일실시예로서, 대응 블록에 대응하는 참조 픽쳐의 출력 순서가 현재 예측 유닛에 대응하는 참조 픽쳐의 출력 순서와 동일하지 않은 경우의 현재 예측 유닛의 움직임 벡터 예측 값을 획득하는 방법의 일례를 도시한 것이다.
발명의 실시를 위한 최선의 형태
본 발명은 현재 코딩 유닛에 대응하는 이웃 블록의 인터뷰 모션 벡터를 이용하여 현재 병렬 처리 유닛 내 상기 현재 코딩 유닛의 인터뷰 모션 벡터를 획득하고, 상기 현재 코딩 유닛의 인터뷰 모션 벡터를 이용하여 적어도 하나의 현재 예측 유닛의 움직임 벡터를 병렬적으로 획득하되, 상기 현재 병렬 처리 유닛의 크기는 병렬 처리 정보를 이용하여 결정되고, 상기 현재 코딩 유닛에 대응하는 이웃 블록은 상기 현재 병렬 처리 유닛에 인접한 병렬 처리 유닛에 포함되고, 상기 현재 코딩 유닛은 상기 적어도 하나의 현재 예측 유닛을 포함하는 것을 특징으로 하는 비디오 신호 처리 방법 및 장치다.
또한, 상기 현재 병렬 처리 유닛에 인접한 병렬 처리 유닛은 상기 현재 병렬 처리 유닛의 좌측 하단 병렬 처리 유닛, 좌측 병렬 처리 유닛, 좌측 상단 병렬 처리 유닛, 상단 병렬 처리 유닛 및 우측 상단 병렬 처리 유닛 중 적어도 하나인 것을 특징으로 하는 비디오 신호 처리 방법 및 장치다.
또한, 상기 현재 코딩 유닛이 2N X 2N이고, 상기 현재 예측 유닛이 N X N로 병렬 처리되는 경우, 상기 현재 예측 유닛은 제 1 예측 유닛, 제 2 예측 유닛, 제 3 예측 유닛 및 제 4 예측 유닛을 포함하되, 상기 제 1 예측 유닛의 움직임 벡터 예측 값은 상기 제 1 예측 유닛의 좌측 상단 블록, 상기 제 1 예측 유닛의 상단 블록, 상기 제 1 예측 유닛의 우측 상단 블록, 상기 제 1 예측 유닛의 좌측 블록, 상기 제 1 예측 유닛의 좌측 하단 블록의 움직임 정보를 이용하여 획득되고, 상기 제 2 예측 유닛의 움직임 벡터 예측 값은 상기 제 2 예측 유닛의 좌측 상단 블록, 상기 제 2 예측 유닛의 상단 블록 및 상기 제 2 예측 유닛의 상기 우측 상단 블록의 움직임 정보를 이용하여 획득되고, 상기 제 3 예측 유닛의 움직임 벡터 예측 값은 상기 제 3 예측 유닛의 좌측 상단 블록, 상기 제 3 예측 유닛의 좌측 블록 및 상기 제 3 예측 유닛의 좌측 하단 블록의 움직임 정보를 이용하여 획득되고, 상기 제 4 예측 유닛의 움직임 벡터 예측 값은 상기 제 4 예측 유닛의 우측 상단 블록 및 상기 제 4 예측 유닛의 좌측 하단 블록의 움직임 정보를 이용하여 획득되는 것을 특징으로 하는 비디오 신호 처리 방법 및 장치다.
또한, 본 발명은 상기 현재 코딩 유닛이 2N X 2N이고, 상기 현재 예측 유닛이 N X 2N로 병렬 처리 되는 경우, 상기 현재 예측 유닛은 제 5 예측 유닛 및 제 6 예측 유닛을 포함하되, 상기 제 5 예측 유닛의 움직임 벡터 예측 값은 상기 제 5 예측 유닛의 좌측 상단 블록, 상기 제 5 예측 유닛의 상단 블록, 상기 제 5 예측 유닛의 우측 상단 블록, 상기 제 5 예측 유닛의 좌측 블록 및 상기 제 5 예측 유닛의 좌측 하단 블록의 움직임 정보를 이용하여 획득되고, 상기 제 6 예측 유닛의 움직임 벡터 예측 값은 상기 제 6 예측 유닛의 좌측 상단 블록, 상기 제 6 예측 유닛의 상단 블록, 상기 제 6 예측 유닛의 우측 상단 블록, 상기 제 6 예측 유닛의 좌측 하단 블록의 움직임 정보를 이용하여 획득되는 것을 특징으로 하는 비디오 신호 처리 방법 및 장치다.
또한, 본 발명은 상기 현재 코딩 유닛이 2N X 2N이고, 상기 현재 예측 유닛이 2N X N로 병렬 처리 되는 경우, 상기 현재 예측 유닛은 제 7 예측 유닛 및 제 8 예측 유닛을 포함하되, 상기 제 7 예측 유닛의 움직임 벡터 예측 값은 상기 제 7 예측 유닛의 좌측 상단 블록, 상기 제 7 예측 유닛의 상단 블록, 상기 제 7 예측 유닛의 우측 상단 블록, 상기 제 7 예측 유닛의 좌측 블록 및 상기 제 7 예측 유닛의 좌측 하단 블록의 움직임 정보를 이용하여 획득되고, 상기 제 8 예측 유닛의 움직임 벡터 예측 값은 상기 제 8 예측 유닛의 좌측 상단 블록, 상기 제 8 예측 유닛의 우측 상단 블록, 상기 제 8 예측 유닛의 좌측 블록, 상기 제 8 예측 유닛의 좌측 하단 블록의 움직임 정보를 이용하여 획득되는 것을 특징으로 하는 비디오 신호 처리 방법 및 장치다.
또한, 본 발명은 상기 현재 예측 유닛에 대응하는 참조 픽쳐의 출력 순서 정보를 획득하고, 상기 인터뷰 움직임 벡터를 이용하여 대응 블록에 대응하는 참조 픽쳐의 출력 순서 정보를 획득하고, 상기 대응 블록에 대응하는 참조 픽쳐의 출력 순서 정보와 상기 현재 예측 유닛에 대응하는 참조 픽쳐의 출력 순서 정보를 비교하고, 상기 비교하는 단계에 기초하여 상기 현재 예측 유닛의 움직임 벡터 예측 값을 획득하되, 상기 현재 예측 유닛에 대응하는 참조 픽쳐는 상기 현재 예측 유닛과 동일 시점, 다른 시간에 있고, 상기 대응 블록은 상기 현재 예측 유닛과 다른 시점, 동일 시간에 있고, 상기 대응 블록에 대응하는 참조 픽쳐는 상기 대응 블록과 동일 시점, 다른 시간에 있는 것을 특징으로 하는 비디오 신호 처리 방법 및 장치다.
또한, 본 발명은 상기 현재 예측 유닛의 움직임 벡터 예측 값을 획득하는 단계에서 이웃 블록이 인터뷰 예측 블록이고, 상기 대응 블록에 대응하는 참조 픽쳐의 출력 순서 정보와 상기 현재 예측 유닛에 대응하는 참조 픽쳐의 출력 순서 정보가 동일한 경우, 상기 대응 블록의 참조 픽쳐에 대응하는 움직임 벡터를 이용하여 상기 현재 예측 유닛의 움직임 벡터 예측 값을 획득하는 것을 특징으로 하는 비디오 신호 처리 방법 및 장치다.
또한, 본 발명은 상기 현재 예측 유닛의 움직임 벡터 예측 값을 획득하는 단계에서 상기 이웃 블록이 인터뷰 예측 블록이고, 상기 대응 블록에 대응하는 참조 픽쳐의 출력 순서정보와 상기 현재 예측 유닛에 대응하는 참조 픽쳐의 출력 순서 정보가 다른 경우, 상기 대응 블록에 대응하는 참조 픽쳐의 출력 순서 정보, 상기 현재 예측 유닛에 대응하는 참조 픽쳐의 출력 순서 정보 및 상기 대응 블록의 참조 픽쳐에 대응하는 움직임 벡터를 이용하여 상기 현재 예측 유닛의 움직임 벡터 예측 값을 획득하는 것을 특징으로 하는 비디오 신호 처리 방법 및 장치다.
또한, 본 발명은 상기 현재 예측 유닛의 움직임 벡터 예측 값을 획득하는 단계에서 상기 이웃 블록이 참조뷰 시간 인터 예측 블록이고, 상기 대응 블록에 대응하는 참조 픽쳐의 출력 순서 정보와 상기 현재 예측 유닛에 대응하는 참조 픽쳐의 출력 순서 정보가 동일한 경우, 상기 대응 블록의 참조 픽쳐에 대응하는 움직임 벡터를 이용하여 상기 현재 예측 유닛의 움직임 벡터 예측 값을 획득하는 것을 특징으로 하는 비디오 신호 처리 방법 및 장치다.
발명의 실시를 위한 형태
다시점 비디오 신호 데이터를 압축 부호화 또는 복호화하는 기술은 공간적 중복성, 시간적 중복성 및 시점 간 존재하는 중복성을 고려하고 있다. 또한, 다시점 영상의 경우, 3차원 영상을 구현하기 위해 2개 이상의 시점에서 촬영된 다시점 텍스쳐 영상을 코딩할 수 있다. 또한, 필요에 따라 다시점 텍스쳐 영상에 대응하는 뎁스 데이터를 더 코딩할 수도 있다. 뎁스 데이터를 코딩함에 있어서, 공간적 중복성, 시간적 중복성 또는 시점 간 중복성을 고려하여 압축 코딩할 수 있음은 물론이다. 뎁스 데이터는 카메라와 해당 화소 간의 거리 정보를 표현한 것이며, 본 명세서 내에서 뎁스 데이터는 뎁스 정보, 뎁스 영상, 뎁스 픽쳐, 뎁스 시퀀스, 뎁스 비트스트림 등과 같이 뎁스에 관련된 정보로 유연하게 해석될 수 있다. 또한, 본 명세서에서 코딩이라 함은 인코딩과 디코딩의 개념을 모두 포함할 수 있고, 본 발명의 기술적 사상 및 기술적 범위에 따라 유연하게 해석할 수 있을 것이다.
도 1은 본 발명이 적용되는 일실시예로서, 뎁스 코딩이 적용되는 방송 수신기의 내부 블록도를 나타낸다.
본 실시예에 따른 방송 수신기는 공중파 방송신호를 수신하여 영상을 재생하기 위한 것이다. 상기 방송 수신기는 수신된 뎁스 관련 정보들을 이용하여 3차원 콘텐츠를 생성할 수 있다. 상기 방송 수신기는 튜너(100), 복조/채널 디코더(102), 트랜스포트 역다중화부(104), 패킷 해제부(106), 오디오 디코더(108), 비디오 디코더(110), PSI/PSIP 처리부(114), 3D 렌더링부(116), 포맷터(120) 및 디스플레이부(122)를 포함한다.
튜너(100)는 안테나(미도시)를 통해 입력되는 다수의 방송 신호들 중에서 사용자가 선국한 어느 한 채널의 방송 신호를 선택하여 출력한다. 복조/채널 디코더(102)는 튜너(100)로부터의 방송 신호를 복조하고 복조된 신호에 대하여 에러 정정 디코딩을 수행하여 트랜스포트 스트림(TS)을 출력한다. 트랜스포트 역다중화부(104)는 트랜스포트 스트림을 역다중화하여, 비디오 PES와 오디오 PES를 분리하고, PSI/PSIP 정보를 추출해낸다. 패킷 해제부(106)는 비디오 PES와 오디오 PES에 대하여 패킷을 해제하여 비디오 ES와 오디오 ES를 복원한다. 오디오 디코더(108)는 오디오 ES를 디코딩하여 오디오 비트스트림을 출력한다. 오디오 비트스트림은 디지털-아날로그 변환기(미도시)에 의해 아날로그 음성신호로 변환되고, 증폭기(미도시됨)에 의해 증폭된 후, 스피커(미도시됨)를 통해 출력된다. 비디오 디코더(110)는 비디오 ES를 디코딩하여 원래의 영상을 복원한다. 상기 오디오 디코더(108) 및 상기 비디오 디코더(110)의 디코딩 과정은 PSI/PSIP 처리부(114)에 의해 확인되는 패킷 ID(PID)를 토대로 진행될 수 있다. 디코딩 과정에서, 상기 비디오 디코더(110)는 뎁스 정보를 추출할 수 있다. 또한, 가상 카메라 시점의 영상을 생성하는데 필요한 부가 정보, 예를 들어, 카메라 정보, 또는 상대적으로 앞에 있는 객체에 의해 가려지는 영역(Occlusion)을 추정하기 위한 정보(예컨대, 객체 윤곽선 등 기하학적 정보, 객체 투명도 정보 및 컬러 정보) 등을 추출하여 3D 렌더링부(116)에 제공할 수 있다. 그러나, 본 발명의 다른 실시예에 있어서는, 상기 뎁스 정보 및/또는 부가 정보가 트랜스포트 역다중화부(104)에 의해 분리될 수도 있다.
PSI/PSIP 처리부(114)는 트랜스포트 역다중화부(104)로부터의 PSI/PSIP 정보를 받아들이고, 이를 파싱하여 메모리(미도시) 또는 레지스터에 저장함으로써, 저장된 정보를 토대로 방송이 재생되도록 한다. 3D 렌더링부(116)는 복원된 영상, 뎁스 정보, 부가 정보 및 카메라 파라미터를 이용하여, 가상 카메라 위치에서의 컬러 정보, 뎁스 정보 등을 생성할 수 있다.
또한, 3D 렌더링부(116)는 복원된 영상과, 상기 복원된 영상에 대한 뎁스 정보를 이용하여 3D 와핑(Warping)을 수행함으로써, 가상 카메라 위치에서의 가상 영상을 생성한다. 본 실시예에서는 상기 3D 렌더링부(116)가 상기 비디오 디코더(110)와 별개의 블록으로 구성되어 설명되고 있지만, 이는 일실시예에 불과하며, 상기 3D 렌더링부(116)는 상기 비디오 디코더(110)에 포함되어 수행될 수도 있다.
포맷터(120)는 디코딩 과정에서 복원한 영상 즉, 실제 카메라에 의하여 촬영된 영상과, 3D 렌더링부(116)에 의하여 생성된 가상 영상을 해당 수신기에서의 디스플레이 방식에 맞게 포맷팅하여, 디스플레이부(122)를 통해 3D 영상이 표시되도록 하게 된다. 여기서, 상기 3D 렌더링부(116)에 의한 가상 카메라 위치에서의 뎁스 정보 및 가상 영상의 합성, 그리고 포맷터(120)에 의한 영상 포맷팅이 사용자의 명령에 응답하여 선택적으로 수행될 수도 있다. 즉, 시청자는 리모콘(미도시)을 조작하여 합성 영상이 표시되지 않도록 할 수도 있고, 영상 합성이 이루어질 시점을 지정할 수도 있다.
상기에서 살펴본 바와 같이, 3D 영상을 생성하기 위해 뎁스 정보는 3D 렌더링부(116)에서 이용되고 있지만, 다른 실시예로서 상기 비디오 디코더(110)에서 이용될 수도 있다. 이하에서는 상기 비디오 디코더(110)에서 뎁스 정보를 이용하는 다양한 실시예들을 살펴보도록 한다.
도 2는 본 발명이 적용되는 실시예로서, 비디오 디코더의 개략적인 블록도를 나타낸다.
도 2를 참조하면, 상기 비디오 디코더(110)는 크게 엔트로피 디코딩부(210), 역양자화부(220), 역변환부(230), 디블로킹 필터부(240), 복호 픽쳐 버퍼부(250), 인터 예측부(260) 및 인트라 예측부(270)를 포함할 수 있다. 여기서, 실선은 컬러 픽쳐 데이터의 흐름을 의미하며, 점선은 뎁스 픽쳐 데이터의 흐름을 의미한다. 이와 같이, 상기 도 2에서는 컬러 픽쳐 데이터와 뎁스 픽쳐 데이터를 구분하여 표시하였지만, 이는 별개의 비트스트림을 의미할 수 있고, 또는 하나의 비트스트림 내에서 데이터의 흐름만을 구분한 것으로 볼 수도 있다. 즉, 상기 컬러 픽쳐 데이터와 상기 뎁스 픽쳐 데이터는 하나의 비트스트림, 또는 별개의 비트스트림으로 전송될 수 있고, 도 2에서는 데이터의 흐름을 나타낼 뿐 하나의 디코더 내에서 모두 수행되는 것으로 한정되지 않는다.
먼저, 수신된 뎁스 비트스트림(200)을 복호하기 위하여 NAL 단위로 파싱을 수행한다. 이 때 NAL 헤더 영역, NAL 헤더의 확장 영역, 시퀀스 헤더 영역(예를 들어, 시퀀스 파라미터 세트), 시퀀스 헤더의 확장 영역, 픽쳐 헤더 영역(예를 들어, 픽쳐 파라미터 세트), 픽쳐 헤더의 확장 영역, 슬라이스 헤더 영역, 슬라이스 헤더의 확장 영역, 슬라이스 데이터 영역, 또는 매크로 블록 영역에는 뎁스에 관련된 여러 가지 속성 정보가 포함될 수 있다. 뎁스 코딩은 별개의 코덱으로 이용될 수 있지만, 기존 코덱과의 호환을 이루는 경우라면 뎁스 비트스트림인 경우에 한해 뎁스에 관련된 여러 가지 속성 정보들을 추가하는 것이 더 효율적일 수 있다. 예를 들어, 상기 시퀀스 헤더 영역(예를 들어, 시퀀스 파라미터 세트) 또는 시퀀스 헤더의 확장 영역에서 뎁스 비트스트림인지 여부를 식별할 수 있는 뎁스 식별 정보를 추가할 수 있다. 상기 뎁스 식별 정보에 따라, 입력된 비트스트림이 뎁스 코딩된 비트스트림일 경우에 한해 뎁스 시퀀스에 대한 속성 정보들을 추가할 수 있다.
파싱된 뎁스 비트스트림(200)은 엔트로피 디코딩부(210)를 통하여 엔트로피 디코딩되고, 각 매크로블록의 계수, 움직임 벡터 등이 추출된다. 역양자화부(220)에서는 수신된 양자화된 값에 일정한 상수를 곱하여 변환된 계수값을 획득하고, 역변환부(230)에서는 상기 계수값을 역변환하여 뎁스 픽쳐의 뎁스 정보를 복원하게 된다. 인트라 예측부(270)에서는 현재 뎁스 픽쳐의 복원된 뎁스 정보를 이용하여 화면내 예측을 수행하게 된다. 한편, 디블로킹 필터부(240)에서는 블록 왜곡 현상을 감소시키기 위해 각각의 코딩된 매크로블록에 디블로킹 필터링을 적용한다. 필터는 블록의 가장자리를 부드럽게 하여 디코딩된 프레임의 화질을 향상시킨다. 필터링 과정의 선택은 경계 세기(boundary strenth)와 경계 주위의 이미지 샘플의 변화(gradient)에 의해 좌우된다. 필터링을 거친 뎁스 픽쳐들은 출력되거나 참조 픽쳐로 이용하기 위해 복호 픽쳐 버퍼부(250)에 저장된다.
복호 픽쳐 버퍼부(Decoded Picture Buffer unit)(250)에서는 화면간 예측을 수행하기 위해서 이전에 코딩된 뎁스 픽쳐들을 저장하거나 개방하는 역할 등을 수행한다. 이 때 복호 픽쳐 버퍼부(250)에 저장하거나 개방하기 위해서 각 픽쳐의 frame_num 과 POC(Picture Order Count)를 이용하게 된다. 따라서, 뎁스 코딩에 있어서 상기 이전에 코딩된 픽쳐들 중에는 현재 뎁스 픽쳐와 다른 시점에 있는 뎁스 픽쳐들도 있으므로, 이러한 픽쳐들을 참조 픽쳐로서 활용하기 위해서는 상기 frame_num 과 POC 뿐만 아니라 뎁스 픽쳐의 시점을 식별하는 뎁스 시점 정보도 함께 이용할 수 있다.
또한, 상기 복호 픽쳐 버퍼부(250)는 뎁스 픽쳐의 시점간 예측을 위한 참조 픽쳐 리스트를 생성하기 위하여 뎁스 시점에 대한 정보를 이용할 수 있다. 예를 들어, 뎁스-뷰 참조 정보(depth-view reference information)를 이용할 수 있다. 뎁스-뷰 참조 정보란, 뎁스 픽쳐들의 시점간 의존 관계를 나타내기 위해 이용되는 정보들을 말한다. 예를 들어, 전체 뎁스 시점의 개수, 뎁스 시점 식별 번호, 뎁스-뷰 참조 픽쳐의 개수, 뎁스-뷰 참조 픽쳐의 뎁스 시점 식별 번호 등이 있을 수 있다.
상기 복호 픽쳐 버퍼부(250)는 보다 유연하게 화면간 예측을 실현하기 위하여 참조 픽쳐를 관리한다. 예를 들어, 적응 메모리 관리 방법(Memory Management Control Operation Method)과 이동 윈도우 방법(Sliding Window Method)이 이용될 수 있다. 이는 참조 픽쳐와 비참조 픽쳐의 메모리를 하나의 메모리로 통일하여 관리하고 적은 메모리로 효율적으로 관리하기 위함이다. 뎁스 코딩에 있어서, 뎁스 픽쳐들은 복호 픽쳐 버퍼부 내에서 컬러 픽쳐들과 구별하기 위하여 별도의 표시로 마킹될 수 있고, 상기 마킹 과정에서 각 뎁스 픽쳐를 식별해주기 위한 정보가 이용될 수 있다. 이러한 과정을 통해 관리되는 참조 픽쳐들은 인터 예측부(260)에서 뎁스 코딩을 위해 이용될 수 있다.
도 2를 참조하면, 인터 예측부(260)는 움직임 보상부(261), 가상시점 합성부(262) 및 뎁스 픽쳐 예측부(263)를 포함할 수 있다.
움직임 보상부(261)에서는 엔트로피 디코딩부(210)로부터 전송된 정보들을 이용하여 현재 블록의 움직임을 보상한다. 비디오 신호로부터 현재 블록에 이웃하는 블록들의 움직임 벡터를 추출하고, 상기 현재 블록의 움직임 벡터 예측 값을 획득한다. 상기 움직임 벡터 예측 값과 상기 비디오 신호로부터 추출되는 차분 벡터를 이용하여 현재 블록의 움직임을 보상한다. 또한, 이러한 움직임 보상은 하나의 참조 픽쳐를 이용하여 수행될 수도 있고, 복수의 픽쳐를 이용하여 수행될 수도 있다. 뎁스 코딩에 있어서, 현재 뎁스 픽쳐가 다른 시점에 있는 뎁스 픽쳐를 참조하게 되는 경우, 상기 복호 픽쳐 버퍼부(250)에 저장되어 있는 뎁스 픽쳐의 시점간 예측을 위한 참조 픽쳐 리스트에 대한 정보를 이용하여 움직임 보상을 수행할 수 있다. 또한, 그 뎁스 픽쳐의 시점을 식별하는 뎁스 시점 정보를 이용하여 움직임 보상을 수행할 수도 있다.
또한, 가상 시점 합성부(Virtual View Synthesizing Unit)(262)는 현재 컬러 픽쳐의 시점에 이웃하는 시점의 컬러 픽쳐를 이용하여 가상 시점의 컬러 픽쳐를 합성한다. 서로 이웃하는 시점의 컬러 픽쳐들을 이용하기 위해 또는 원하는 특정 시점의 컬러 픽쳐들을 이용하기 위해, 상기 컬러 픽쳐의 시점을 나타내는 시점 식별 정보가 이용될 수 있다. 상기 가상 시점의 컬러 픽쳐를 생성할 경우, 상기 가상 시점의 컬러 픽쳐를 생성할지 여부를 지시하는 플래그 정보를 정의할 수 있다. 상기 플래그 정보가 상기 가상 시점의 컬러 픽쳐를 생성할 것을 지시하는 경우, 상기 시점 식별 정보를 이용하여 가상 시점의 컬러 픽쳐를 생성할 수 있다. 상기 가상 시점 합성부(262)를 통해 획득된 가상 시점의 컬러 픽쳐는 레퍼런스 픽쳐로 사용될 수도 있으며, 이 경우 상기 가상 시점의 컬러 픽쳐에도 상기 시점 식별 정보를 할당할 수 있음은 물론이다.
다른 실시예로, 상기 가상 시점 합성부(262)는 현재 뎁스 픽쳐의 시점에 이웃하는 시점에 있는 뎁스 픽쳐를 이용하여 가상 시점의 뎁스 픽쳐를 합성할 수 있다. 마찬가지로, 뎁스 픽쳐의 시점을 나타내기 위해 뎁스 시점 식별 정보가 이용될 수 있다. 여기서, 상기 뎁스 시점 식별 정보는 대응되는 컬러 픽쳐의 시점 식별 정보로부터 유도될 수 있다. 예를 들어, 상기 대응되는 컬러 픽쳐는 현재 뎁스 픽쳐와 동일한 픽쳐 출력 순서 정보 및 동일한 시점 식별 정보를 가질 수 있다.
뎁스 픽쳐 생성부(263)는 뎁스 코딩 정보를 이용하여 현재 뎁스 픽쳐를 생성할 수 있다. 여기서, 상기 뎁스 코딩 정보는 카메라와 객체간의 거리를 나타내는 거리 변수(예를 들어, 카메라 좌표계상의 Z좌표값 등), 뎁스 코딩을 위한 매크로블록 타입 정보, 뎁스 픽쳐 내의 경계선 식별 정보, RBSP내의 데이터가 뎁스 코딩된 데이터를 포함하고 있는지 여부를 나타내는 정보, 또는 데이터 타입이 뎁스 픽쳐 데이터인지 컬러 픽쳐 데이터인지 또는 패러렉스 데이터인지 여부를 나타내는 정보 등을 포함할 수 있다. 또한, 상기 뎁스 코딩 정보를 이용하여 현재 뎁스 픽쳐를 예측할 수도 있다. 즉, 현재 뎁스 픽쳐에 이웃하는 뎁스 픽쳐를 이용한 인터 예측이 가능하며, 현재 뎁스 픽쳐내 디코딩된 뎁스 정보를 이용한 인트라 예측이 가능할 것이다.
본 발명에서 사용되는 유닛이라 함은 비디오 신호에 적용함에 있어서는 블록, 서브 블록, 매크로 블록, 슬라이스, 픽쳐, 프레임, 픽쳐 그룹, 시퀀스 등의 의미를 모두 포함할 수 있다. 따라서, 상기 유닛의 의미는 각각의 적용 예에 따라 그에 상응하는 의미로 해석되어야 할 것이다. 또한, 비디오 신호뿐만 아니라 다른 신호 등에 적용할 때에는 그 신호에 적합한 다른 의미로 해석될 수도 있다. 코딩 유닛은 비디오 신호 처리 과정에서의 기본 단위를 의미한다. 비디오를 처리하는데 있어서 코딩 유닛의 크기는 일정하지 않을 수 있다. 또한, 예측 유닛은 예측을 수행하는 기본 단위이다. 예측 유닛은 정방형(2N X 2N, N X N), 직사각형(2N X N, N X 2N)의 크기를 가질 수 있다. 예측 유닛의 크기는 코딩 유닛과 동일하거나 작을 수 있다. 코딩 유닛은 복수의 예측 유닛으로 분할될 수 있다. 그리고, 본 발명에서 현재 유닛은 현재 코딩 유닛 및 현재 예측 유닛을 포함하는 것으로 정의할 수 있다.
이하에서는 병렬 처리 정보를 이용하여 현재 유닛의 인터뷰 모션 벡터를 병렬적으로 획득하고, 인터뷰 모션 벡터를 이용하여 현재 예측 유닛의 움직임 벡터를 획득하는 방법에 대해서 설명하도록 한다. 본 발명에서 병렬 처리는 복수의 유닛이 동시에 코딩되는 것을 나타낼 수 있다.
도 3은 본 발명이 적용되는 일실시예로서, 병렬 처리 정보를 이용하여 현재 유닛의 인터뷰 모션 벡터를 획득하고, 현재 예측 유닛의 움직임 벡터를 획득하는 방법에 대한 흐름도를 도시한 것이다.
비트스트림으로부터 병렬 처리 정보를 획득할 수 있다(S300). 병렬 처리 정보는 병렬 처리 수행 여부를 나타내고, 병렬 처리 유닛의 크기에 관한 정보를 포함할 수 있다. 여기서, 병렬 처리 유닛은 병렬 처리가 적용되는 기본 단위을 나타낼 수 있다. 병렬 처리 정보는 픽쳐, 프레임, 픽쳐 그룹 또는 시퀀스 단위로 획득될 수 있다.
병렬 처리 정보를 이용하여 현재 유닛의 인터뷰 모션 벡터를 획득할 수 있다(S310). 획득된 병렬 처리 정보를 통해 현재 최상위 코딩 유닛에 대해 병렬 처리가 적용되는지 여부를 판단할 수 있다. 여기서, 현재 최상위 코딩 유닛은 현재 코딩 유닛이 포함된 코딩 유닛으로, 현재 최상위 코딩 유닛의 분할을 통해 현재 코딩 유닛이 획득될 수 있다. 만일, 병렬 처리가 적용되고, 병렬 처리 유닛의 크기가 결정되면, 현재 최상위 코딩 유닛 내 현재 코딩 유닛의 인터뷰 모션 벡터는 현재 코딩 유닛의 이웃 블록의 인터뷰 모션 벡터를 이용하여 획득될 수 있다. 현재 코딩 유닛의 이웃 블록은 현재 코딩 유닛이 포함된 현재 병렬 처리 유닛에 인접한 병렬 처리 유닛에 포함된다. 현재 병렬 처리 유닛에 인접한 병렬 처리 유닛은 현재 병렬 처리 유닛의 좌측 하단 병렬 처리 유닛, 좌측 병렬 처리 유닛, 좌측 상단 병렬 처리 유닛, 상단 병렬 처리 유닛 및 우측 상단 병렬 처리 유닛 중 적어도 하나일 수 있다. 현재 코딩 유닛의 인터뷰 모션 벡터가 획득되는 예는 도 4를 참조하여 자세하게 설명하도록 한다.
현재 코딩 유닛은 현재 예측 유닛을 포함할 수 있는데, 현재 예측 유닛의 인터뷰 모션 벡터는 상기 획득된 현재 코딩 유닛의 인터뷰 모션 벡터를 이용하여 획득될 수 있다. 또는, 현재 예측 유닛의 인터뷰 모션 벡터는 현재 예측 유닛의 이웃 블록의 인터뷰 모션 벡터를 이용하여 획득될 수도 있다.
현재 예측 유닛의 움직임 벡터는 현재 코딩 유닛의 인터뷰 모션 벡터를 이용하여 병렬적으로 획득될 수 있다(S320). 여기서, 현재 예측 유닛의 움직임 벡터는 현재 예측 유닛의 이웃 블록의 움직임 정보를 이용하여 획득될 수 있다. 현재 코딩 유닛 내 현재 예측 유닛이 병렬 처리 되는 일례에 대해서는 도 5 내지 도 7을 참조하여 설명하도록 한다. 그리고, 현재 예측 유닛의 움직임 벡터가 현재 코딩 유닛의 인터뷰 모션 벡터를 이용하여 획득되는 일례에 대해서는 도 8 내지 도 10을 참조하여 설명하도록 한다.
이하에서는, 병렬 처리 정보를 이용하여 현재 코딩 유닛의 인터뷰 모션 벡터가 획득되는 일례에 대해서 설명하도록 한다.
도 4는 본 발명이 적용되는 일 실시예로서, 병렬 처리 정보를 이용하여 현재 코딩 유닛의 인터뷰 모션 벡터가 획득되는 일례를 도시한 것이다.
S310에서 설명한 바와 같이 병렬 처리가 적용되는 블록 내 현재 코딩 유닛이 포함되는 경우, 현재 코딩 유닛의 인터뷰 모션 벡터는 이웃 블록의 인터뷰 모션 벡터를 이용하여 획득될 수 있다.
만일, 도 4와 같이 현재 최상위 코딩 유닛의 크기가 16N X 16N이고, 현재 코딩 유닛의 크기가 2N X 2N이고, 병렬 처리가 8N X 8N으로 적용되는 예를 나타낸다. 현재 코딩 유닛의 인터뷰 모션 벡터는 동시에 병렬 처리가 되는 유닛이 아닌 이웃 유닛의 인터뷰 모션 벡터를 이용하여 획득될 수 있다. 예를 들어, 현재 코딩 유닛의 좌측 상단 블록(400), 좌측 블록(410) 및 좌측 하단 블록(420)의 인터뷰 모션 벡터를 이용하여 현재 코딩 유닛의 인터뷰 모션 벡터가 획득될 수 있다. 또는 이웃 블록의 일부인 좌측 블록(410)의 인터뷰 모션 벡터만을 이용하여 획득될 수도 있다. 현재 코딩 유닛의 이웃 블록이 인터뷰 모션 벡터를 이용하여 코딩된 시점 간 인터 예측 블록이거나 참조뷰 시간적 인터 예측 블록인 경우, 현재 코딩 유닛의 이웃 블록에 대응하는 인터뷰 모션 벡터를 이용하여 현재 코딩 유닛의 인터뷰 모션 벡터가 획득될 수 있다.
반면, 현재 코딩 유닛의 상단 블록(430) 및 우측 상단 블록(440)은 현재 코딩 유닛의 이웃 블록이나 동시에 병렬 처리가 되는 유닛에 포함된다. 따라서, 현재 코딩 유닛의 인터뷰 모션 벡터 획득 과정에 이용되지 않는다.
상술한 방법을 이용하여 현재 최상위 현재 코딩 유닛 내 포함된 모든 코딩 유닛의 인터뷰 모션 벡터가 획득될 수 있다.
이하에서는 현재 코딩 유닛 내 현재 예측 유닛이 병렬 처리되는 일례에 대해서 설명하도록 한다.
도 5는 본 발명이 적용되는 일실시예로서, 현재 코딩 유닛 내 현재 예측 유닛이 N X N 단위로 병렬 처리 되는 경우의 일례를 도시한 것이다.
현재 코딩 유닛이 2N X 2N이고, 현재 코딩 유닛 내 현재 예측 유닛은 N X N의 크기를 갖는 경우, 현재 코딩 유닛은 4개의 현재 예측 유닛을 포함하고, 4개의 현재 예측 유닛의 움직임 벡터 예측 값은 각각의 이웃 블록의 움직임 벡터를 이용하여 동시에 획득될 수 있다.
도 5를 참고하면, 현재 코딩 유닛은 제 1 예측 유닛, 제 2 예측 유닛, 제 3 예측 유닛 및 제 4 예측 유닛을 포함한다. 그리고, 각각의 현재 예측 유닛 주변에는 이웃 블록들이 있다.
제 1 예측 유닛은 이웃한 제 1 예측 유닛의 좌측 상단 블록(500), 상단 블록(501), 우측 상단 블록(502), 좌측 블록(505) 및 좌측 하단 블록(510)의 움직임 벡터를 이용하여 움직임 벡터 예측 값이 획득될 수 있다.
제 2 예측 유닛은 이웃한 제 2 예측 유닛의 좌측 상단 블록(501), 상단 블록(503), 우측 상단 블록(504)의 움직임 벡터를 이용하여 움직임 벡터 예측 값이 획득될 수 있다. 제 2 예측 유닛의 좌측 블록(506) 및 좌측 하단 블록(511)은 현재 코딩 유닛 내 블록으로서, 제 2 예측 유닛의 좌측 블록(506) 및 좌측 하단 블록(511)의 움직임 벡터는 병렬 처리 과정에서 이용되지 않을 수 있다.
제 3 예측 유닛은 이웃한 제 3 예측 유닛의 좌측 상단 블록(505), 좌측 블록(512) 및 좌측 하단 블록(514)의 움직임 벡터를 이용하여 움직임 벡터 예측 값이 획득될 수 있다. 제 3 예측 유닛의 상단 블록(506) 및 우측 상단 블록(507)은 현재 코딩 유닛 내 블록으로서, 제 3 예측 유닛의 상단 블록(506) 및 우측 상단 블록(507)의 움직임 벡터는 병렬 처리 과정에서 이용되지 않을 수 있다.
제 4 예측 유닛은 이웃한 제 4 예측 유닛의 우측 상단 블록(509) 및 좌측 하단 블록(515)의 움직임 벡터를 이용하여 움직임 벡터 예측 값이 획득될 수 있다. 제 4 예측 유닛의 좌측 상단 블록(506), 상단 블록(508) 및 좌측 블록(513)은 현재 코딩 유닛 내 블록으로서, 제 4 예측 유닛의 좌측 상단 블록(506), 상단 블록(508) 및 좌측 블록(513)의 움직임 벡터는 병렬 처리 과정에서 이용되지 않을 수 있다.
도 6은 본 발명이 적용되는 일실시예로서, 현재 코딩 유닛 내 현재 예측 유닛이 N X 2N 단위로 병렬 처리 되는 경우의 일례를 도시한 것이다.
현재 코딩 유닛이 2N X 2N이고, 현재 코딩 유닛 내 현재 예측 유닛이 N X 2N의 크기를 갖는 경우, 현재 코딩 유닛은 2개의 현재 예측 유닛을 포함하고, 2개의 현재 예측 유닛의 움직임 벡터 예측 값은 각각의 이웃 블록의 움직임 벡터를 이용하여 동시에 획득될 수 있다.
도 6을 참고하면, 현재 코딩 유닛은 제 5 예측 유닛 및 제 6 예측 유닛을 포함한다. 그리고, 각각의 현재 예측 유닛 주변에는 이웃 블록들이 있다.
제 5 예측 유닛은 이웃한 제 5 예측 유닛의 좌측 상단 블록(600), 상단 블록(601), 우측 상단 블록(602), 좌측 블록(605) 및 좌측 하단 블록(610)의 움직임 벡터를 이용하여 움직임 벡터 예측 값이 획득될 수 있다.
제 6 예측 유닛은 이웃한 제 6 예측 유닛의 좌측 상단 블록(601), 상단 블록(603), 우측 상단 블록(604) 및 좌측 하단 블록(615)의 움직임 벡터를 이용하여 움직임 벡터 예측 값이 획득될 수 있다. 제 6 예측 유닛 블록의 좌측 블록(613)은 현재 코딩 유닛 내 블록으로서, 제 6 예측 유닛의 좌측 블록(613)의 움직임 벡터는 병렬 처리 과정에서 이용되지 않을 수 있다.
도 7은 본 발명이 적용되는 일실시예로서, 현재 코딩 유닛 내 현재 예측 유닛이 2N X N 단위로 병렬 처리 되는 경우 일례를 도시한 것이다.
현재 코딩 유닛이 2N X 2N이고, 현재 코딩 유닛 내 현재 코딩 유닛이 2N X N의 크기를 갖는 경우, 현재 코딩 유닛은 2개의 현재 예측 유닛을 포함하고, 2개의 현재 예측 유닛의 움직임 벡터 예측 값은 각각의 이웃 블록의 움직임 벡터를 이용하여 동시에 획득될 수 있다.
도 7을 참고하면, 현재 코딩 유닛은 제 7 예측 유닛 및 제 8 예측 유닛을 포함한다. 그리고, 각각의 현재 예측 유닛 주변에는 이웃 블록들이 있다.
제 7 예측 유닛은 이웃한 제 7 예측 유닛의 좌측 상단 블록(700), 상단 블록(703), 우측 상단 블록(704), 좌측 블록(705) 및 좌측 하단 블록(710)의 움직임 벡터를 이용하여 움직임 벡터 예측 값이 획득될 수 있다.
제 8 예측 유닛은 이웃한 제 8 예측 유닛의 좌측 상단 블록(705), 우측 상단 블록(709), 좌측 블록(712) 및 좌측 하단 블록(714)의 움직임 벡터를 이용하여 움직임 벡터 예측 값이 획득될 수 있다. 제 8 예측 유닛 블록의 상단 블록(708)은 현재 코딩 유닛 내 블록으로서, 제 8 예측 유닛의 상단 블록(708)의 움직임 벡터는 병렬 처리 과정에서 이용되지 않을 수 있다.
이하에서는 S310단계에서 획득된 인터뷰 모션 벡터를 이용하여 현재 예측 유닛의 움직임 벡터를 획득하는 방법에 대해서 자세하게 설명하도록 한다.
도 8은 본 발명이 적용되는 일실시예로서, 출력 순서 및 대응 블록의 참조 픽쳐에 대응하는 움직임 벡터를 이용하여 현재 예측 유닛의 움직임 벡터를 획득하는 방법에 대해서 설명하도록 한다.
현재 예측 유닛에 대응하는 참조 픽쳐의 출력 순서 정보를 획득할 수 있다(S800). 출력 순서 정보는 픽쳐의 출력 순서에 관한 정보를 포함할 수 있다. 그리고, 출력 순서(Picture order count, POC)는 비디오가 출력될 때 픽쳐가 출력되는 순서를 의미한다. 현재 예측 유닛은 시간 인터 예측으로 코딩된 경우, 현재 예측 유닛에 대응하는 참조 픽쳐는 현재 예측 유닛을 포함하는 현재 픽쳐와 동일 시점, 다른 시간에 위치할 수 있다. 따라서, 동일 시점 내 픽쳐는 동일한 출력 순서를 가질 수 없다. 현재 예측 유닛이 포함되는 픽쳐의 출력 순서는 POC0으로 가정할 수 있다. 그리고, 현재 예측 유닛에 대응하는 참조 픽쳐의 출력 순서는 POC1로 가정할 수 있다.
인터뷰 움직임 벡터를 이용하여 대응 블록에 대응하는 참조 픽쳐의 출력 순서 정보 및 대응 블록의 참조 픽쳐에 대응하는 움직임 벡터를 획득할 수 있다(S810). S310에서 획득된 현재 코딩 유닛의 인터뷰 모션 벡터를 이용하여 현재 예측 유닛의 인터뷰 모션벡터가 획득될 수 있다. 인터뷰 모션 벡터를 이용하여 현재 예측 유닛의 대응 블록을 획득할 수 있다. 따라서, 대응 블록은 현재 예측 유닛과 다른 시점, 동일 시간에 위치할 수 있다.
대응 블록에 대응하는 참조 픽쳐의 출력 순서 정보 및 대응 블록의 참조 픽쳐에 대응하는 움직임 벡터를 획득할 수 있다. 인터뷰 움직임 벡터를 이용하여 탐색된 대응 블록은 복수의 참조 픽쳐를 이용한 시간 인터 예측으로 코딩될 수 있다. 대응 블록에 대응하는 LO 방향 참조 픽쳐의 출력 순서를 POC2LO, 대응 블록에 대응하는 L1 방향 참조 픽쳐의 출력 순서를 POC2L1으로 가정할 수 있다. 그리고, 대응 블록의 LO 방향 참조 픽쳐에 대응하는 움직임 벡터를 mv2L0, 대응 블록의 L1 방향 참조 픽쳐에 대응하는 움직임 벡터를 mv2L1로 가정할 수 있다.
현재 예측 유닛에 대응하는 참조 픽쳐의 출력 순서 정보와 대응 블록에 대응하는 참조 픽쳐의 출력 순서 정보를 비교하여 현재 예측 유닛의 움직임 벡터 예측 값을 획득할 수 있다(S820). 현재 예측 유닛에 대응하는 참조 픽쳐가 LO 방향이면, L0 방향 참조 픽쳐의 출력 순서 정보를 우선 비교하고, 현재 예측 유닛에 대응하는 참조 픽쳐가 L1 방향이면, L1 방향 참조 픽쳐의 출력 순서 정보를 우선 비교할 수 있다. 현재 예측 유닛에 대응하는 참조 픽쳐의 출력 순서(POC1)와 대응 블록에 대응하는 참조 픽쳐의 출력 순서(POC2L0, POC2L1)를 비교하면, 대응 블록에 대응하는 참조 픽쳐의 출력 순서가 현재 예측 유닛에 대응하는 참조 픽쳐의 출력 순서와 동일하거나 동일하지 않은 경우가 있다. 비교 결과에 기초하여, 대응 블록에 대응하는 참조 픽쳐의 움직임 벡터를 이용하여 현재 예측 유닛의 움직임 벡터를 획득할 수 있다. 대응 블록에 대응하는 참조 픽쳐의 출력 순서가 현재 예측 유닛에 대응하는 참조 픽쳐의 출력 순서와 동일한 경우의 현재 예측 유닛의 움직임 벡터 예측 값을 획득하는 방법은 도 9를 이용하여 설명하기로 한다. 반대로, 대응 블록에 대응하는 참조 픽쳐의 출력 순서가 현재 예측 유닛에 대응하는 참조 픽쳐의 출력 순서와 동일하지 않은 경우의 현재 예측 유닛의 움직임 벡터 예측 값을 획득하는 방법은 도 10을 이용하여 설명하기로 한다.
움직임 벡터 예측 값을 이용하여 현재 예측 유닛의 움직임 벡터를 획득할 수 있다(S830). 움직임 벡터 예측 값은 현재 예측 유닛의 이웃 블록의 움직임 벡터를 이용하여 획득될 수 있다. 이웃 블록의 움직임 벡터 중 하나가 이웃 블록의 움직임 벡터 예측 값으로 획득될 수 있다. 또는, 이웃 블록의 움직임 벡터의 평균 값이 이웃 블록의 움직임 벡터 예측 값으로 획득될 수 있다.
그리고, 움직임 벡터 예측 값을 이용하여 현재 예측 유닛의 움직임 벡터를 획득할 수 있다. 움직임 벡터 예측 값은 바로 현재 예측 유닛의 움직임 벡터로 이용될 수 있다. 또는, 움직임 벡터 예측 값은 현재 예측 유닛의 움직임 벡터 리스트에 포함될 수 있다. 움직임 벡터 리스트 내 우선 순위 또는 현재 예측 유닛의 움직임 벡터 인덱스를 이용하여 현재 예측 유닛의 움직임 벡터를 획득할 수 있다.
도 9는 본 발명이 적용되는 일실시예로서, 대응 블록에 대응하는 참조 픽쳐의 출력 순서 정보가 현재 예측 유닛에 대응하는 참조 픽쳐의 출력 순서 정보와 동일한 경우의 현재 예측 유닛의 움직임 벡터 예측 값을 획득하는 방법의 일례를 도시한 것이다.
대응 블록에 대응하는 참조 픽쳐의 출력 순서 정보가 현재 예측 유닛에 대응하는 참조 픽쳐의 출력 순서 정보와 동일한 경우, 현재 예측 유닛은 현재 예측 유닛에 대응하는 참조 픽쳐의 출력 순서와 동일한 출력 순서를 갖는 대응 블록의 참조 픽쳐에 대응하는 움직임 벡터가 움직임 벡터 예측 값으로 획득될 수 있다.
도 9를 참고하면, 현재 예측 유닛의 참조 픽쳐(910)는 현재 예측 유닛과 동일 시점, 다른 시간에 위치하고 있다. 그리고, 현재 예측 유닛은 이웃 블록으로부터 인터뷰 움직임 벡터(900)가 획득될 수 있다. 현재 예측 유닛의 인터뷰 움직임 벡터(900)는 대응 블록을 가리키고, 대응 블록의 참조 픽쳐(920, 930)는 대응 블록과 동일 시점, 다른 시간에 위치하고 있다.
현재 예측 유닛에 대응하는 참조 픽쳐(910)의 출력 순서(POC1)와 대응 블록에 대응하는 L0 방향 참조 픽쳐(920)의 출력 순서(POC2L0)는 출력 순서가 1로서 동일한 출력 순서를 갖는다. 따라서, 현재 예측 유닛의 움직임 벡터 예측 값은 대응 블록의 L0 방향 참조 픽쳐(920)에 대응하는 움직임 벡터 mv2L0로 결정될 수 있다.
도 10은 본 발명이 적용되는 일실시예로서, 대응 블록에 대응하는 참조 픽쳐의 출력 순서 정보가 현재 예측 유닛에 대응하는 참조 픽쳐의 출력 순서 정보와 동일하지 않은 경우의 현재 예측 유닛의 움직임 벡터 예측 값을 획득하는 방법의 일례를 도시한 것이다.
대응 블록에 대응하는 참조 픽쳐의 출력 순서 정보가 현재 예측 유닛에 대응하는 참조 픽쳐의 출력 순서 정보와 동일하지 않은 경우, 현재 예측 유닛은 대응 블록의 참조 픽쳐에 대응하는 움직임 벡터를 스케일링하여 움직임 벡터 예측 값이 획득될 수 있다.
도 10을 참고하면, 현재 예측 유닛의 참조 픽쳐(1010)는 현재 예측 유닛과 동일 시점, 다른 시간에 위치하고 있다. 그리고, 현재 예측 유닛은 이웃 블록으로부터 인터뷰 움직임 벡터(1000)가 획득될 수 있다. 현재 예측 유닛의 인터뷰 움직임 벡터(1000)는 대응 블록을 가리키고, 대응 블록의 참조 픽쳐(1020, 1030)는 대응 블록과 동일 시점, 다른 시간에 위치하고 있다.
현재 예측 유닛에 대응하는 참조 픽쳐(1010)의 출력 순서(POC1)는 2이나, 대응 블록에 대응하는 LO 방향 참조 픽쳐(1020)의 출력 순서(POC2L0)는 출력 순서는 1이고, 대응 블록에 대응하는 L1 방향 참조 픽쳐(1030)의 출력 순서(POC2L1)는 출력 순서는 4이다. 각 참조 픽쳐의 출력 순서가 다르므로, 현재 예측 유닛은 대응 블록의 참조 픽쳐에 대응하는 움직임 벡터인 mv2L0, mv2L1을 수학식 1에 의해 스케일링 하여 움직임 벡터 예측 값(mv1)이 획득될 수 있다.
수학식 1에서 X는 대응 블록에 대응하는 참조 픽쳐의 방향에 따라 LO 방향이면 0, L1 방향이면 1일 수 있다.
이하에서는 현재 예측 유닛의 인터뷰 움직임 벡터의 획득 방법에 따라 현재 예측 유닛의 움직임 벡터 예측 값 획득 방법의 일례를 설명하도록 한다.
대응 블록을 가리키는 인터뷰 움직임 벡터가 획득된 이웃 블록의 인터 예측 종류에 따라서 현재 예측 유닛의 움직임 벡터 예측 값 획득 방법에 차이가 있을 수 있다. 도 8의 S810 단계에서 설명한 바와 같이, 현재 예측 유닛의 인터뷰 움직임 벡터는 인터뷰 인터 예측으로 코딩된 이웃 블록 또는 참조뷰 시간 인터 예측으로 코딩된 이웃 블록으로부터 획득될 수 있다. 인터뷰 인터 예측으로 코딩된 이웃 블록은 참조뷰 시간 인터 예측으로 코딩된 이웃 블록보다 더 높은 정확도의 인터뷰 움직임 벡터를 제공할 수 있다.
따라서, 현재 예측 유닛의 인터뷰 움직임 벡터가 인터뷰 인터 예측으로 코딩된 이웃 블록으로부터 획득된 경우, 대응 블록에 대응하는 참조 픽쳐의 출력 순서가 현재 예측 유닛에 대응하는 참조 픽쳐의 출력 순서와 동일할 때는 도 9에서 설명한 방법을 이용하여 현재 예측 유닛의 움직임 벡터 예측 값을 획득하고, 대응 블록에 대응하는 참조 픽쳐의 출력 순서가 현재 예측 유닛에 대응하는 참조 픽쳐의 출력 순서와 동일하지 않을 때는 도 10에서 설명한 방법을 이용하여 현재 예측 유닛의 움직임 벡터 예측 값을 획득할 수 있다.
그러나, 현재 예측 유닛의 인터뷰 움직임 벡터가 참조뷰 시간 인터 예측으로 코딩된 이웃 블록으로부터 획득된 경우, 대응 블록에 대응하는 참조 픽쳐의 출력 순서가 현재 예측 유닛에 대응하는 참조 픽쳐의 출력 순서와 동일할 때는 도 9에서 설명한 방법을 이용하여 현재 예측 유닛의 움직임 벡터 예측 값을 획득하고, 대응 블록에 대응하는 참조 픽쳐의 출력 순서가 현재 예측 유닛에 대응하는 참조 픽쳐의 출력 순서와 동일하지 않을 때는 도 10에서 설명한 방법을 이용하지 않을 수 있다.
이하에서는 현재 예측 유닛의 움직임 벡터 예측 값 리스트에 도 9 내지 도 10에서 설명한 방법에 의해 획득된 움직임 벡터 예측 값을 추가하는 순서에 대해서 설명하도록 한다.
도 9의 방법에 의해 획득된 움직임 벡터 예측 값과 도 10의 방법에 의해 획득된 움직임 벡터 예측 값은 현재 예측 유닛의 움직임 벡터 예측 값 리스트에 다른 순서로 추가될 수 있다. 현재 예측 유닛에 대응하는 참조 픽쳐의 출력 순서와 대응 블록에 대응하는 참조 픽쳐의 출력 순서가 동일할 때 획득된 움직임 벡터 예측 값은 현재 예측 유닛에 대응하는 참조 픽쳐의 출력 순서와 대응 블록에 대응하는 참조 픽쳐의 출력 순서가 동일하지 않을 때 획득된 움직임 벡터 예측 값보다 우선 순위로 움직임 벡터 예측 값 리스트에 추가될 수 있다. 예를 들어, 현재 예측 유닛의 움직임 벡터 예측 값 중 도 9의 방법에 의해 획득된 움직임 벡터 예측 값이 존재하는 경우, 움직임 벡터 예측 값은 움직임 벡터 예측 값 리스트의 3번째 순서에 추가될 수 있다. 그리고, 현재 예측 유닛의 움직임 벡터 예측 값 중 도 10의 방법에 의해 획득된 움직임 벡터 예측 값이 존재하는 경우, 움직임 벡터 예측 값은 움직임 벡터 예측 값 리스트의 5번째 순서에 추가될 수 있다.
이상에서 설명한 바와 같이, 본 발명이 적용되는 디코딩/인코딩 장치는 DMB(Digital Multimedia Broadcasting)과 같은 멀티미디어 방송 송/수신 장치에 구비되어, 비디오 신호 및 데이터 신호 등을 디코딩하는데 사용될 수 있다. 또한 상기 멀티미디어 방송 송/수신 장치는 이동통신 단말기를 포함할 수 있다.
또한, 본 발명이 적용되는 디코딩/인코딩 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 본 발명에 따른 데이터 구조를 가지는 멀티미디어 데이터도 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있다. 상기 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 저장 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 인코딩 방법에 의해 생성된 비트스트림은 컴퓨터가 읽을 수 있는 기록 매체에 저장되거나, 유/무선 통신망을 이용해 전송될 수 있다.
본 발명은 비디오 신호를 코딩하는데 이용될 수 있다.
Claims (18)
- 현재 코딩 유닛에 대응하는 이웃 블록의 인터뷰 모션 벡터를 이용하여 현재 병렬 처리 유닛 내 상기 현재 코딩 유닛의 인터뷰 모션 벡터를 획득하는 단계; 및
상기 현재 코딩 유닛의 인터뷰 모션 벡터를 이용하여 적어도 하나의 현재 예측 유닛의 움직임 벡터를 병렬적으로 획득하는 단계를 포함하되,
상기 현재 병렬 처리 유닛의 크기는 병렬 처리 정보를 이용하여 결정되고,
상기 현재 코딩 유닛에 대응하는 이웃 블록은 상기 현재 병렬 처리 유닛에 인접한 병렬 처리 유닛에 포함되고,
상기 현재 코딩 유닛은 상기 적어도 하나의 현재 예측 유닛을 포함하는 것을 특징으로 하는 비디오 신호 처리 방법. - 제 1 항에 있어서,
상기 현재 병렬 처리 유닛에 인접한 병렬 처리 유닛은 상기 현재 병렬 처리 유닛의 좌측 하단 병렬 처리 유닛, 좌측 병렬 처리 유닛, 좌측 상단 병렬 처리 유닛, 상단 병렬 처리 유닛 및 우측 상단 병렬 처리 유닛 중 적어도 하나인 것을 특징으로 하는 비디오 신호 처리 방법. - 제 1 항에 있어서,
상기 현재 코딩 유닛이 2N X 2N이고, 상기 현재 예측 유닛이 N X N로 병렬 처리되는 경우, 상기 현재 예측 유닛은 제 1 예측 유닛, 제 2 예측 유닛, 제 3 예측 유닛 및 제 4 예측 유닛을 포함하되,
상기 제 1 예측 유닛의 움직임 벡터 예측 값은 상기 제 1 예측 유닛의 좌측 상단 블록, 상기 제 1 예측 유닛의 상단 블록, 상기 제 1 예측 유닛의 우측 상단 블록, 상기 제 1 예측 유닛의 좌측 블록, 상기 제 1 예측 유닛의 좌측 하단 블록의 움직임 정보를 이용하여 획득되고,
상기 제 2 예측 유닛의 움직임 벡터 예측 값은 상기 제 2 예측 유닛의 좌측 상단 블록, 상기 제 2 예측 유닛의 상단 블록 및 상기 제 2 예측 유닛의 상기 우측 상단 블록의 움직임 정보를 이용하여 획득되고,
상기 제 3 예측 유닛의 움직임 벡터 예측 값은 상기 제 3 예측 유닛의 좌측 상단 블록, 상기 제 3 예측 유닛의 좌측 블록 및 상기 제 3 예측 유닛의 좌측 하단 블록의 움직임 정보를 이용하여 획득되고,
상기 제 4 예측 유닛의 움직임 벡터 예측 값은 상기 제 4 예측 유닛의 우측 상단 블록 및 상기 제 4 예측 유닛의 좌측 하단 블록의 움직임 정보를 이용하여 획득되는 것을 특징으로 하는 비디오 신호 처리 방법. - 제 1 항에 있어서,
상기 현재 코딩 유닛이 2N X 2N이고, 상기 현재 예측 유닛이 N X 2N로 병렬 처리 되는 경우, 상기 현재 예측 유닛은 제 5 예측 유닛 및 제 6 예측 유닛을 포함하되,
상기 제 5 예측 유닛의 움직임 벡터 예측 값은 상기 제 5 예측 유닛의 좌측 상단 블록, 상기 제 5 예측 유닛의 상단 블록, 상기 제 5 예측 유닛의 우측 상단 블록, 상기 제 5 예측 유닛의 좌측 블록 및 상기 제 5 예측 유닛의 좌측 하단 블록의 움직임 정보를 이용하여 획득되고,
상기 제 6 예측 유닛의 움직임 벡터 예측 값은 상기 제 6 예측 유닛의 좌측 상단 블록, 상기 제 6 예측 유닛의 상단 블록, 상기 제 6 예측 유닛의 우측 상단 블록, 상기 제 6 예측 유닛의 좌측 하단 블록의 움직임 정보를 이용하여 획득되는 것을 특징으로 하는 비디오 신호 처리 방법. - 제 1 항에 있어서,
상기 현재 코딩 유닛이 2N X 2N이고, 상기 현재 예측 유닛이 2N X N로 병렬 처리 되는 경우, 상기 현재 예측 유닛은 제 7 예측 유닛 및 제 8 예측 유닛을 포함하되,
상기 제 7 예측 유닛의 움직임 벡터 예측 값은 상기 제 7 예측 유닛의 좌측 상단 블록, 상기 제 7 예측 유닛의 상단 블록, 상기 제 7 예측 유닛의 우측 상단 블록, 상기 제 7 예측 유닛의 좌측 블록 및 상기 제 7 예측 유닛의 좌측 하단 블록의 움직임 정보를 이용하여 획득되고,
상기 제 8 예측 유닛의 움직임 벡터 예측 값은 상기 제 8 예측 유닛의 좌측 상단 블록, 상기 제 8 예측 유닛의 우측 상단 블록, 상기 제 8 예측 유닛의 좌측 블록, 상기 제 8 예측 유닛의 좌측 하단 블록의 움직임 정보를 이용하여 획득되는 것을 특징으로 하는 비디오 신호 처리 방법. - 제 1 항에 있어서,
상기 현재 예측 유닛의 움직임 벡터를 병렬적으로 획득하는 단계는,
상기 현재 예측 유닛에 대응하는 참조 픽쳐의 출력 순서 정보를 획득하는 단계;
상기 인터뷰 움직임 벡터를 이용하여 대응 블록에 대응하는 참조 픽쳐의 출력 순서 정보를 획득하는 단계;
상기 대응 블록에 대응하는 참조 픽쳐의 출력 순서 정보와 상기 현재 예측 유닛에 대응하는 참조 픽쳐의 출력 순서 정보를 비교하는 단계; 및
상기 비교하는 단계에 기초하여 상기 현재 예측 유닛의 움직임 벡터 예측 값을 획득하는 단계를 포함하고,
상기 현재 예측 유닛에 대응하는 참조 픽쳐는 상기 현재 예측 유닛과 동일 시점, 다른 시간에 있고, 상기 대응 블록은 상기 현재 예측 유닛과 다른 시점, 동일 시간에 있고, 상기 대응 블록에 대응하는 참조 픽쳐는 상기 대응 블록과 동일 시점, 다른 시간에 있는 것을 특징으로 하는 비디오 신호 처리 방법. - 제 6 항에 있어서,
상기 현재 예측 유닛의 움직임 벡터 예측 값을 획득하는 단계에서 이웃 블록이 인터뷰 예측 블록이고, 상기 대응 블록에 대응하는 참조 픽쳐의 출력 순서 정보와 상기 현재 예측 유닛에 대응하는 참조 픽쳐의 출력 순서 정보가 동일한 경우, 상기 대응 블록의 참조 픽쳐에 대응하는 움직임 벡터를 이용하여 상기 현재 예측 유닛의 움직임 벡터 예측 값을 획득하는 것을 특징으로 하는 비디오 신호 처리 방법. - 제 6 항에 있어서,
상기 현재 예측 유닛의 움직임 벡터 예측 값을 획득하는 단계에서 상기 이웃 블록이 인터뷰 예측 블록이고, 상기 대응 블록에 대응하는 참조 픽쳐의 출력 순서정보와 상기 현재 예측 유닛에 대응하는 참조 픽쳐의 출력 순서 정보가 다른 경우, 상기 대응 블록에 대응하는 참조 픽쳐의 출력 순서 정보, 상기 현재 예측 유닛에 대응하는 참조 픽쳐의 출력 순서 정보 및 상기 대응 블록의 참조 픽쳐에 대응하는 움직임 벡터를 이용하여 상기 현재 예측 유닛의 움직임 벡터 예측 값을 획득하는 것을 특징으로 하는 비디오 신호 처리 방법. - 제 6 항에 있어서,
상기 현재 예측 유닛의 움직임 벡터 예측 값을 획득하는 단계에서 상기 이웃 블록이 참조뷰 시간 인터 예측 블록이고, 상기 대응 블록에 대응하는 참조 픽쳐의 출력 순서 정보와 상기 현재 예측 유닛에 대응하는 참조 픽쳐의 출력 순서 정보가 동일한 경우, 상기 대응 블록의 참조 픽쳐에 대응하는 움직임 벡터를 이용하여 상기 현재 예측 유닛의 움직임 벡터 예측 값을 획득하는 것을 특징으로 하는 비디오 신호 처리 방법. - 현재 코딩 유닛에 대응하는 이웃 블록의 인터뷰 모션 벡터를 이용하여 현재 병렬 처리 유닛 내 상기 현재 코딩 유닛의 인터뷰 모션 벡터를 획득하고, 상기 현재 코딩 유닛의 인터뷰 모션 벡터를 이용하여 적어도 하나의 현재 예측 유닛의 움직임 벡터를 병렬적으로 획득하는 인터 예측부를 포함하되, 상기 현재 병렬 처리 유닛의 크기는 병렬 처리 정보를 이용하여 결정되고, 상기 현재 코딩 유닛에 대응하는 이웃 블록은 상기 현재 병렬 처리 유닛에 인접한 병렬 처리 유닛에 포함되고, 상기 현재 코딩 유닛은 상기 적어도 하나의 현재 예측 유닛을 포함하는 것을 특징으로 하는 비디오 디코더.
- 제 10 항에 있어서,
상기 현재 병렬 처리 유닛에 인접한 병렬 처리 유닛은 상기 현재 병렬 처리 유닛의 좌측 하단 병렬 처리 유닛, 좌측 병렬 처리 유닛, 좌측 상단 병렬 처리 유닛, 상단 병렬 처리 유닛 및 우측 상단 병렬 처리 유닛 중 적어도 하나인 것을 특징으로 하는 비디오 디코더. - 제 10 항에 있어서,
상기 현재 코딩 유닛이 2N X 2N이고, 상기 현재 예측 유닛이 N X N로 병렬 처리되는 경우, 상기 현재 예측 유닛은 제 1 예측 유닛, 제 2 예측 유닛, 제 3 예측 유닛 및 제 4 예측 유닛을 포함하되,
상기 인터 예측부는 상기 제 1 예측 유닛의 움직임 벡터 예측 값을 상기 제 1 예측 유닛의 좌측 상단 블록, 상기 제 1 예측 유닛의 상단 블록, 상기 제 1 예측 유닛의 우측 상단 블록, 상기 제 1 예측 유닛의 좌측 블록, 상기 제 1 예측 유닛의 좌측 하단 블록의 움직임 정보를 이용하여 획득하고, 상기 제 2 예측 유닛의 움직임 벡터 예측 값을 상기 제 2 예측 유닛의 좌측 상단 블록, 상기 제 2 예측 유닛의 상단 블록 및 상기 제 2 예측 유닛의 상기 우측 상단 블록의 움직임 정보를 이용하여 획득하고, 상기 제 3 예측 유닛의 움직임 벡터 예측 값을 상기 제 3 예측 유닛의 좌측 상단 블록, 상기 제 3 예측 유닛의 좌측 블록 및 상기 제 3 예측 유닛의 좌측 하단 블록의 움직임 정보를 이용하여 획득하고, 상기 제 4 예측 유닛의 움직임 벡터 예측 값을 상기 제 4 예측 유닛의 우측 상단 블록 및 상기 제 4 예측 유닛의 좌측 하단 블록의 움직임 정보를 이용하여 획득하는 것을 특징으로 하는 비디오 디코더. - 제 10 항에 있어서,
상기 인터 예측부는 상기 제 5 예측 유닛의 움직임 벡터 예측 값을 상기 제 5 예측 유닛의 좌측 상단 블록, 상기 제 5 예측 유닛의 상단 블록, 상기 제 5 예측 유닛의 우측 상단 블록, 상기 제 5 예측 유닛의 좌측 블록 및 상기 제 5 예측 유닛의 좌측 하단 블록의 움직임 정보를 이용하여 획득하고, 상기 제 6 예측 유닛의 움직임 벡터 예측 값을 상기 제 6 예측 유닛의 좌측 상단 블록, 상기 제 6 예측 유닛의 상단 블록, 상기 제 6 예측 유닛의 우측 상단 블록, 상기 제 6 예측 유닛의 좌측 하단 블록의 움직임 정보를 이용하여 획득하되, 상기 현재 코딩 유닛이 2N X 2N이고, 상기 현재 예측 유닛이 N X 2N로 병렬 처리 되는 경우, 상기 현재 예측 유닛은 제 5 예측 유닛 및 제 6 예측 유닛을 포함하는 것을 특징으로 하는 비디오 디코더. - 제 10 항에 있어서,
상기 현재 코딩 유닛이 2N X 2N이고, 상기 현재 예측 유닛이 2N X N로 병렬 처리 되는 경우, 상기 현재 예측 유닛은 제 7 예측 유닛 및 제 8 예측 유닛을 포함하되,
상기 인터 예측부는 상기 제 7 예측 유닛의 움직임 벡터 예측 값을 상기 제 7 예측 유닛의 좌측 상단 블록, 상기 제 7 예측 유닛의 상단 블록, 상기 제 7 예측 유닛의 우측 상단 블록, 상기 제 7 예측 유닛의 좌측 블록 및 상기 제 7 예측 유닛의 좌측 하단 블록의 움직임 정보를 이용하여 획득하고, 상기 제 8 예측 유닛의 움직임 벡터 예측 값을 상기 제 8 예측 유닛의 좌측 상단 블록, 상기 제 8 예측 유닛의 우측 상단 블록, 상기 제 8 예측 유닛의 좌측 블록, 상기 제 8 예측 유닛의 좌측 하단 블록의 움직임 정보를 이용하여 획득하는 것을 특징으로 하는 비디오 디코더. - 제 10 항에 있어서,
상기 인터 예측부는 상기 현재 예측 유닛의 움직임 벡터를 병렬적으로 획득하고, 상기 현재 예측 유닛에 대응하는 참조 픽쳐의 출력 순서 정보를 획득하고, 상기 인터뷰 움직임 벡터를 이용하여 대응 블록에 대응하는 참조 픽쳐의 출력 순서 정보를 획득하고, 상기 대응 블록에 대응하는 참조 픽쳐의 출력 순서 정보와 상기 현재 예측 유닛에 대응하는 참조 픽쳐의 출력 순서 정보를 비교하고, 상기 비교하는 단계에 기초하여 상기 현재 예측 유닛의 움직임 벡터 예측 값을 획득하되,
상기 현재 예측 유닛에 대응하는 참조 픽쳐는 상기 현재 예측 유닛과 동일 시점, 다른 시간에 있고, 상기 대응 블록은 상기 현재 예측 유닛과 다른 시점, 동일 시간에 있고, 상기 대응 블록에 대응하는 참조 픽쳐는 상기 대응 블록과 동일 시점, 다른 시간에 있는 것을 특징으로 하는 비디오 디코더. - 제 15 항에 있어서,
상기 인터 예측부는 상기 이웃 블록이 인터뷰 예측 블록이고, 상기 대응 블록에 대응하는 참조 픽쳐의 출력 순서 정보와 상기 현재 예측 유닛에 대응하는 참조 픽쳐의 출력 순서 정보가 동일한 경우, 상기 대응 블록의 참조 픽쳐에 대응하는 움직임 정보를 이용하여 상기 현재 예측 유닛의 움직임 벡터 예측 값을 획득하는 것을 특징으로 하는 비디오 디코더. - 제 15 항에 있어서,
상기 인터 예측부는 상기 이웃 블록이 인터뷰 예측 블록이고, 상기 대응 블록에 대응하는 참조 픽쳐의 출력 순서 정보와 상기 현재 예측 유닛에 대응하는 참조 픽쳐의 출력 순서 정보가 다른 경우, 상기 대응 블록에 대응하는 참조 픽쳐의 출력 순서 정보, 상기 현재 예측 유닛에 대응하는 참조 픽쳐의 출력 순서 정보 및 상기 대응 블록의 참조 픽쳐에 대응하는 움직임 벡터를 이용하여 상기 현재 예측 유닛의 움직임 벡터 예측 값을 획득하는 것을 특징으로 하는 비디오 디코더. - 제 15 항에 있어서,
상기 인터 예측부는 상기 이웃 블록이 참조뷰 시간 인터 예측 블록이고, 상기 대응 블록에 대응하는 참조 픽쳐의 출력 순서 정보와 상기 현재 예측 유닛에 대응하는 참조 픽쳐의 출력 순서 정보가 동일한 경우, 상기 대응 블록의 참조 픽쳐에 대응하는 움직임 벡터를 이용하여 상기 현재 예측 유닛의 움직임 벡터 예측 값을 획득하는 것을 특징으로 하는 비디오 디코더.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201261710759P | 2012-10-07 | 2012-10-07 | |
| US61/710,759 | 2012-10-07 | ||
| PCT/KR2013/008864 WO2014054896A1 (ko) | 2012-10-07 | 2013-10-04 | 비디오 신호 처리 방법 및 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20150090053A true KR20150090053A (ko) | 2015-08-05 |
| KR102248074B1 KR102248074B1 (ko) | 2021-05-04 |
Family
ID=50435185
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020157011540A KR102248074B1 (ko) | 2012-10-07 | 2013-10-04 | 비디오 신호 처리 방법 및 장치 |
Country Status (8)
| Country | Link |
|---|---|
| US (1) | US10171836B2 (ko) |
| EP (1) | EP2905964B1 (ko) |
| JP (1) | JP6594773B2 (ko) |
| KR (1) | KR102248074B1 (ko) |
| CN (1) | CN104782127B (ko) |
| CA (1) | CA2887120C (ko) |
| ES (1) | ES2775202T3 (ko) |
| WO (1) | WO2014054896A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10701396B2 (en) | 2015-11-23 | 2020-06-30 | Electronics And Telecommunications Research Institute | Multi-viewpoint video encoding/decoding method |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10757437B2 (en) | 2014-07-17 | 2020-08-25 | Apple Inc. | Motion estimation in block processing pipelines |
| US9762919B2 (en) | 2014-08-28 | 2017-09-12 | Apple Inc. | Chroma cache architecture in block processing pipelines |
| KR102601689B1 (ko) | 2018-10-12 | 2023-11-15 | 삼성디스플레이 주식회사 | 전자 장치 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150015462A (ko) * | 2012-04-20 | 2015-02-10 | 퀄컴 인코포레이티드 | 비디오 코딩에 있어 인터-뷰 예측을 위한 디스패리티 벡터 생성 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100846780B1 (ko) * | 2003-11-10 | 2008-07-16 | 삼성전자주식회사 | 움직임 벡터 추정 방법 및 장치 |
| JP4898415B2 (ja) * | 2006-12-19 | 2012-03-14 | キヤノン株式会社 | 動画像符号化装置及び動画像符号化方法 |
| KR20080060188A (ko) * | 2006-12-26 | 2008-07-01 | 엘지전자 주식회사 | 비디오 신호 디코딩 방법 및 장치 |
| KR20090129412A (ko) * | 2007-03-02 | 2009-12-16 | 엘지전자 주식회사 | 비디오 신호 디코딩/인코딩 방법 및 장치 |
| US20100166073A1 (en) * | 2008-12-31 | 2010-07-01 | Advanced Micro Devices, Inc. | Multiple-Candidate Motion Estimation With Advanced Spatial Filtering of Differential Motion Vectors |
| JP2012191298A (ja) * | 2011-03-09 | 2012-10-04 | Fujitsu Ltd | 動画像復号装置、動画像符号化装置、動画像復号方法、動画像符号化方法、動画像復号プログラム及び動画像符号化プログラム |
| KR20120118780A (ko) * | 2011-04-19 | 2012-10-29 | 삼성전자주식회사 | 다시점 비디오의 움직임 벡터 부호화 방법 및 장치, 그 복호화 방법 및 장치 |
-
2013
- 2013-10-04 JP JP2015535562A patent/JP6594773B2/ja active Active
- 2013-10-04 CA CA2887120A patent/CA2887120C/en active Active
- 2013-10-04 WO PCT/KR2013/008864 patent/WO2014054896A1/ko active Application Filing
- 2013-10-04 KR KR1020157011540A patent/KR102248074B1/ko active IP Right Grant
- 2013-10-04 EP EP13844143.1A patent/EP2905964B1/en active Active
- 2013-10-04 US US14/433,773 patent/US10171836B2/en active Active
- 2013-10-04 CN CN201380058243.4A patent/CN104782127B/zh active Active
- 2013-10-04 ES ES13844143T patent/ES2775202T3/es active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150015462A (ko) * | 2012-04-20 | 2015-02-10 | 퀄컴 인코포레이티드 | 비디오 코딩에 있어 인터-뷰 예측을 위한 디스패리티 벡터 생성 |
Non-Patent Citations (3)
| Title |
|---|
| H. Schwarz, et al. 3D-HEVC-CE3 results on inter-view motion parameter prediction by HHI. ISO/IEC JTC1/SC29/WG11 M23698 Ver.1, Jan. 30, 2012, pp.1-10 * |
| J. Sung, et al. 3D-CE5.h: Simplification of disparity vector derivation for HEVC-based 3D video coding. JCT-3V of ITU-T and ISO/IEC. JCT3V-A0126 Ver.2, Jul. 14, 2012, pp.1-4 * |
| L. Zhang, et al. 3D-CE5.h related: Disparity vector derivation for multiview video and 3DV. ISO/IEC JTC1/SC29/WG11 MPEG2012/m24937 Ver.2, May. 1, 2012, pp.1-6 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10701396B2 (en) | 2015-11-23 | 2020-06-30 | Electronics And Telecommunications Research Institute | Multi-viewpoint video encoding/decoding method |
Also Published As
| Publication number | Publication date |
|---|---|
| US10171836B2 (en) | 2019-01-01 |
| CN104782127A (zh) | 2015-07-15 |
| WO2014054896A1 (ko) | 2014-04-10 |
| ES2775202T3 (es) | 2020-07-24 |
| JP2015536109A (ja) | 2015-12-17 |
| CA2887120C (en) | 2017-08-22 |
| EP2905964A1 (en) | 2015-08-12 |
| CA2887120A1 (en) | 2014-04-10 |
| EP2905964A4 (en) | 2016-03-16 |
| JP6594773B2 (ja) | 2019-10-23 |
| US20150281734A1 (en) | 2015-10-01 |
| CN104782127B (zh) | 2021-05-28 |
| KR102248074B1 (ko) | 2021-05-04 |
| EP2905964B1 (en) | 2020-01-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101619450B1 (ko) | 뎁스 정보를 이용한 비디오 신호 처리 방법 및 장치 | |
| KR101619448B1 (ko) | 영상 신호 처리 방법 및 장치 | |
| KR20160002716A (ko) | 비디오 신호 처리 방법 및 장치 | |
| KR20160034259A (ko) | 비디오 신호 처리 방법 및 장치 | |
| KR101770211B1 (ko) | 비디오 신호 처리 방법 및 장치 | |
| KR102248074B1 (ko) | 비디오 신호 처리 방법 및 장치 | |
| US10123007B2 (en) | Method and apparatus for processing video signal | |
| US20150215626A1 (en) | Method and device for processing video signal | |
| US9998762B2 (en) | Method and apparatus for processing video signals | |
| KR101753592B1 (ko) | 비디오 신호 처리 방법 및 장치 | |
| KR20150095679A (ko) | 비디오 신호 처리 방법 및 장치 | |
| KR20150079606A (ko) | 비디오 신호 처리 방법 및 장치 | |
| KR101783617B1 (ko) | 비디오 신호 처리 방법 및 장치 | |
| KR101750316B1 (ko) | 비디오 신호 처리 방법 및 장치 | |
| KR102300036B1 (ko) | 비디오 신호 처리 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |