KR20120095610A - 다시점 비디오의 부호화 방법 및 장치, 그 복호화 방법 및 장치 - Google Patents

다시점 비디오의 부호화 방법 및 장치, 그 복호화 방법 및 장치 Download PDF

Info

Publication number
KR20120095610A
KR20120095610A KR1020110015033A KR20110015033A KR20120095610A KR 20120095610 A KR20120095610 A KR 20120095610A KR 1020110015033 A KR1020110015033 A KR 1020110015033A KR 20110015033 A KR20110015033 A KR 20110015033A KR 20120095610 A KR20120095610 A KR 20120095610A
Authority
KR
South Korea
Prior art keywords
view
current block
motion vector
block
frame
Prior art date
Application number
KR1020110015033A
Other languages
English (en)
Inventor
최병두
조대성
정승수
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020110015033A priority Critical patent/KR20120095610A/ko
Priority to CN201280019290.3A priority patent/CN103493492A/zh
Priority to US13/401,264 priority patent/US20120213282A1/en
Priority to EP12749404.5A priority patent/EP2676445A4/en
Priority to JP2013555362A priority patent/JP5830548B2/ja
Priority to PCT/KR2012/001315 priority patent/WO2012115436A2/en
Publication of KR20120095610A publication Critical patent/KR20120095610A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

다시점 비디오의 부호화 방법 및 장치, 그 복호화 방법 및 장치가 개시된다. 본 발명의 일 실시예에 따른 다시점 비디오의 부호화 방법은 부호화되는 제 1 시점의 현재 블록의 주변 블록들 중 이전에 부호화된 후 복원된 제 2 시점의 프레임을 참조하는 주변 블록의 시점 방향 움직임 벡터를 이용하여 현재 블록의 시점 방향 스킵 움직임 벡터를 생성하고, 스킵 움직임 벡터에 기초하여 제 2 시점의 프레임으로부터 현재 블록에 대한 움직임 보상을 수행하며, 현재 블록의 움직임 보상값과 현재 블록 사이의 차이값을 부호화하는 한편, 스킵 움직임 벡터에 대한 모드 정보를 부호화하는 것을 특징으로 한다.

Description

다시점 비디오의 부호화 방법 및 장치, 그 복호화 방법 및 장치{Method and apparatus for encoding and decoding multi-view video}
본 발명은 비디오 부호화 및 복호화에 관한 것으로서, 보다 상세하게는 다시점 비디오 영상의 움직임 벡터를 예측하여 부호화하는 방법 및 장치, 복호화하는 방법 및 장치에 관한 것이다.
다시점 비디오 부호화(multi-view video coding: MVC)는 다수의 카메라로부터 획득된 서로 다른 시점의 복수 개의 영상을 처리하는 것으로, 다시점 영상을 시간적 상관 관계(temporal correlation) 및 카메라들 사이(inter-view)의 공간적 상관 관계(spatial correlation)를 이용하여 압축 부호화한다.
시간적 상관 관계를 이용하는 시간 예측(temporal prediction) 및 공간적 상관 관계를 이용하는 시점간 예측(inter-view prediction)에서는 하나 이상의 참조 픽처를 이용하여 현재 픽처의 움직임을 블록 단위로 예측하고 보상하여 영상을 부호화한다. 시간 예측 및 시점 예측에서는 현재 블록과 가장 유사한 블록을 참조 픽처의 정해진 검색 범위에서 검색하고, 유사한 블록이 검색되면 현재 블록과 유사한 블록 사이의 레지듀얼 데이터(residual data)만 전송함으로써 데이터의 압축률을 높인다.
본 발명이 해결하고자 하는 기술적 과제는 다시점 비디오 코딩시에 시점 방향으로 스킵 모드를 제공함으로써 영상의 압축 효율을 향상시키는 다시점 비디오 부호화 방법 및 장치와 그 복호화 방법 및 장치를 제공하는 것이다.
본 발명의 일 실시예에 따른 다시점 비디오의 부호화 방법은 부호화되는 제 1 시점의 현재 블록의 주변 블록들 중 이전에 부호화된 후 복원된 제 2 시점의 프레임을 참조하는 주변 블록의 시점 방향 움직임 벡터를 이용하여 상기 현재 블록의 시점 방향 스킵 움직임 벡터를 생성하는 단계; 상기 스킵 움직임 벡터에 기초하여 상기 제 2 시점의 프레임으로부터 상기 현재 블록에 대한 움직임 보상을 수행하는 단계; 상기 현재 블록의 움직임 보상값과 상기 현재 블록 사이의 차이값을 부호화하는 단계; 및 상기 스킵 움직임 벡터에 대한 모드 정보를 부호화하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 일 실시예에 따른 다시점 비디오의 복호화 방법은 비트스트림으로부터 복호화되는 제 1 시점의 현재 블록의 예측 모드 정보를 복호화하는 단계; 상기 예측 모드 정보가 시점 방향 스킵 모드인 경우, 상기 복호화되는 제 1 시점의 현재 블록의 주변 블록들 중 이전에 복호화된 제 2 시점의 프레임을 참조하는 주변 블록의 시점 방향 움직임 벡터를 이용하여 상기 현재 블록의 시점 방향 스킵 움직임 벡터를 생성하는 단계; 상기 스킵 움직임 벡터에 기초하여 상기 제 2 시점의 프레임으로부터 상기 현재 블록에 대한 움직임 보상을 수행하는 단계; 및 상기 현재 블록의 움직임 보상값과 상기 비트스트림으로부터 추출된 레지듀얼 값을 가산하여 상기 현재 블록을 복원하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 일 실시예에 따른 다시점 비디오의 부호화 장치는 부호화되는 제 1 시점의 현재 블록의 주변 블록들 중 이전에 부호화된 후 복원된 제 2 시점의 프레임을 참조하는 주변 블록의 시점 방향 움직임 벡터를 이용하여 상기 현재 블록의 시점 방향 스킵 움직임 벡터를 생성하는 예측부; 상기 스킵 움직임 벡터에 기초하여 상기 제 2 시점의 프레임으로부터 상기 현재 블록에 대한 움직임 보상을 수행하는 움직임 보상부; 상기 현재 블록의 움직임 보상값과 상기 현재 블록 사이의 차이값을 부호화하는 부호화부; 및 상기 스킵 움직임 벡터에 대한 모드 정보를 부호화하는 엔트로피 부호화부를 포함하는 것을 특징으로 한다.
본 발명의 일 실시예에 따른 다시점 비디오의 복호화 장치는 비트스트림으로부터 복호화되는 제 1 시점의 현재 블록의 예측 모드 정보를 복호화하는 엔트로피 복호화부; 상기 예측 모드 정보가 시점 방향 스킵 모드인 경우, 상기 복호화되는 제 1 시점의 현재 블록의 주변 블록들 중 이전에 복호화된 제 2 시점의 프레임을 참조하는 주변 블록의 시점 방향 움직임 벡터를 이용하여 상기 현재 블록의 시점 방향 스킵 움직임 벡터를 생성하고, 상기 스킵 움직임 벡터에 기초하여 상기 제 2 시점의 프레임으로부터 상기 현재 블록에 대한 움직임 보상을 수행하는 움직임 보상부; 및 상기 현재 블록의 움직임 보상값과 상기 비트스트림으로부터 추출된 레지듀얼 값을 가산하여 상기 현재 블록을 복원하는 복원부를 포함하는 것을 특징으로 한다.
본 발명에 따르면 시간 방향뿐만이 아니라 시점 방향으로 현재 블록의 움직임 벡터를 예측하고 모드 정보만을 전송하는 스킵 모드를 제공함으로써 다시점 비디오 코딩시의 압축 효율을 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 다시점 비디오 부호화 및 복호화 방법에 따라서 부호화되는 다시점 비디오 시퀀스를 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 비디오 부호화 장치의 구성을 나타낸 블록도이다.
도 3은 본 발명의 일 실시예에 따른 시점 방향 스킵 모드 예측 부호화 과정을 설명하기 위한 참조도이다.
도 4는 본 발명의 일 실시예에 따른 시점 방향 스킵 움직임 벡터를 생성하는 과정을 설명하기 위한 참조도이다.
도 5는 본 발명의 다른 실시예에 따른 시점 방향 스킵 움직임 벡터를 생성하는 과정을 설명하기 위한 참조도이다.
도 6은 본 발명의 또 다른 실시예에 따른 시점 방향 스킵 움직임 벡터를 생성하는 과정을 설명하기 위한 참조도이다.
도 7은 본 발명의 일 실시예에 따른 다시점 비디오 부호화 방법을 나타낸 플로우 차트이다.
도 8은 본 발명의 일 실시예에 따른 비디오 복호화 장치를 나타낸 블록도이다.
도 9는 본 발명의 일 실시예에 따른 비디오 복호화 방법을 나타낸 플로우 차트이다.
이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들에 대하여 구체적으로 설명한다.
도 1은 본 발명의 일 실시예에 따른 다시점 비디오 부호화 및 복호화 방법에 따라서 부호화되는 다시점 비디오 시퀀스를 나타낸 도면이다.
도 1을 참조하면, x축은 시간축이고, y축은 시점축이다. x축의 T0 내지 T8은 각각 영상의 샘플링 시간을 나타내며, y축의 S0 내지 S8은 각각 서로 다른 시점을 나타낸 것이다. 도 1에서 각각의 행은 동일한 시점에서 입력된 영상 픽처 그룹을 나타내며, 각각의 열은 동일한 시간에서의 다시점 영상들을 나타낸다.
다시점 영상의 부호화에서는 기본 시점의 영상에 대하여 주기적으로 인트라 픽처를 생성하고, 생성된 인트라 픽처들을 기초로 시간적 예측 또는 시점간 예측을 수행하여 다른 픽처들을 예측 부호화한다.
시간적 예측이란 동일한 시점(view) 즉, 도 1에서 동일한 행에 있는 영상 사이에 시간적인 상관 관계를 이용하는 예측이다. 시간적 예측을 위해서 계층적 B 픽처를 이용한 예측 구조가 이용될 수 있다. 시점간 예측은 같은 시간 즉, 동일한 열에 있는 영상 사이에 공간적인 상관 관계를 이용하는 예측이다. 이하의 설명에서는 계층적 B 픽처를 이용하여 영상 픽처 그룹들을 부호화하는 것을 설명하지만, 본 발명에 따른 부호화 및 복호화 방식은 계층적 B 픽처 구조 이외에 다른 구조를 갖는 다시점 영상 시퀀스에도 적용될 수 있을 것이다.
계층적 B 픽처를 이용한 다시점 영상 픽처의 예측 구조는 동일한 시점, 즉 동일한 행에 있는 영상 사이에 존재하는 시간적인 상관 관계를 이용한 예측을 수행할 때, 동일 시점의 영상 픽처 그룹을 앵커(Anchor) 픽처들을 이용하여 양방향 픽처(Bi-directional Picture, 이하 "B 픽처"라고 함)로 예측 부호화하는 것이다. 여기서, 앵커 픽처는 도 1에 도시된 열들 중에서 인트라 픽처를 포함하고 있는 처음(T0)과 마지막 시간(T8)에서의 열들(110 및 120)에 포함되어 있는 픽처들을 의미한다. 앵커 픽처들(110 및 120)은 인트라 픽처(Intra picture, 이하 "I 픽처"라고 함)를 제외하고 시점간 예측만을 이용해 예측 부호화된다. 인트라 픽처를 포함하고 있는 열들(110 및 120)을 제외한 나머지 열들(130)에 포함되어 있는 픽처들은 비앵커 픽처들(non-anchor pictures)이라고 한다.
일 예로서, 첫 번째 시점(S0)에서 소정의 시간 동안 입력된 영상 픽처들을 계층적 B 픽처를 이용하여 부호화하는 경우를 설명한다. 첫 번째 시점(S0)에서 입력된 영상 픽처들 중 처음 시간(T0)에 입력된 픽처(111) 및 마지막 시간(T8)에 입력된 픽처(121)는 I 픽처로 부호화된다. 다음, T4 시간에 입력된 픽처(131)은 앵커 픽처들인 I 픽처들(111,121)을 참조하여 양방향 예측 부호화되어 B 픽처로 부호화된다. T2 시간에 입력된 픽처(132)는 I 픽처(111) 및 B 픽처(131)을 이용하여 양방향 예측 부호화되어 B 픽처로 부호화된다. 유사하게 T1 시간에 입력된 픽처(133)는 I 픽처(111) 및 B 픽처(132)를 이용하여 양방향 예측 부호화되고, T3 시간에 입력된 픽처(134)는 B 픽처(132) 및 B 픽처(131)을 이용하여 양방향 예측 부호화된다. 이와 같이, 동일 시점의 영상 시퀀스들은 앵커 픽처들을 이용하여 계층적으로 양방향 예측 부호화되기 때문에 이러한 예측 부호화 방식을 계층적 B 픽처라고 부르는 것이다. 한편, 도 1에 도시된 Bn(n=1,2,3,4)에서 n은 n번째 양방향 예측된 B 픽처를 나타내는 것으로, 예를 들어 B1은 I 픽처 또는 P 픽처인 앵커 픽처들을 이용하여 첫 번째로 양방향 예측된 픽처임을 나타내는 것이며, B2는 B1 픽처 이후에 양방향 예측된 픽처임을 나타내는 것이며, B3는 B2 픽처 이후에 양방향 예측된 픽처임을 나타내는 것이며, B4는 B3 픽처 이후에 양방향 예측된 픽처임을 나타낸다.
다시점 비디오 시퀀스의 부호화시에는 먼저 기본 시점인 첫 번째 시점(S0)의 영상 픽처 그룹들을 전술한 계층적 B 픽처를 이용하여 부호화할 수 있다. 나머지 시점의 영상 시퀀스들을 부호화하기 위하여 먼저 첫 번째 시점(S0)의 I 픽처들(111,121)을 이용한 시점간 예측을 통해 앵커 픽처들(110, 120)에 구비된 홀수 번째 시점(S2,S4,S6) 및 마지막 시점(S7)의 영상 픽처들을 P 픽처들로 예측 부호화한다. 앵커 픽처들(110,120)에 구비된 짝수 번째 시점(S1, S3, S5)의 영상 픽처들은 시점간 예측을 통해 인접한 시점의 영상 픽처를 이용하여 양방향 예측되어 B 픽처로 부호화된다. 예를 들어, T0 시간에 두 번째 시점(S1)에서 입력된 B 픽처(113)는 인접한 시점(S0,S2)의 I 픽처(111) 및 P 픽처(112)를 이용하여 양방향 예측된다.
앵커 픽처들(110,120)에 구비된 모든 시점의 영상 픽처들이 IBP 중 어느 하나의 픽처로 부호화되면, 비앵커 픽처들(130)은 전술한 바와 같이 계층적 B 픽처를 이용한 시간적 예측 및 시점간 예측을 통하여 양방향 예측 부호화된다.
비앵커 픽처들(130) 중 홀수 번째 시점(S2,S4,S6) 및 마지막 시점(S7)의 영상 픽처들은 계층적 B 픽처를 이용한 시간적 예측을 통해 동일 시점의 앵커 픽처들을 이용하여 양방향 예측 부호화된다. 비앵커 픽처들(130) 중 짝수 번째 시점(S1,S3,S5,S7)의 픽처들은 계층적 B 픽처를 이용한 시간적 예측 뿐만 아니라, 인접한 시점의 픽처들을 이용한 시점간 예측을 통해 양방향 예측된다. 예를 들어, T4 시간에 두 번째 시점(S2)에서 입력된 픽처(136)는 앵커 픽처들(113,123) 및 인접한 시점의 픽처들(131,135)를 이용하여 예측된다.
앵커 픽처들(110,120)에 구비된 P 픽처들은 전술한 바와 같이 동일 시간에 입력된 다른 시점의 I 픽처 또는 이전의 P 픽처를 이용하여 예측 부호화된다. 예를 들어, T8 시간에 세 번째 시점(S2)에서 입력된 P 픽처(122)는 동일 시간의 첫 번째 시점(S0)에서 입력된 I 픽처(121)을 참조 픽처로서 이용하여 예측 부호화된다.
도 1에 도시된 바와 같은 다시점 비디오 시퀀스에서 P픽처나 B픽처는 전술한 바와 같이 동일 시간에 입력된 다른 시점의 픽처를 참조 픽처로 이용하여 예측 부호화된다. 이러한 다른 참조 픽처를 이용하는 예측 부호화 모드 중 스킵 모드(skip mode) 및 다이렉트 모드(direct mode)는 현재 블록 이전에 부호화된 적어도 하나의 블록의 움직임 벡터에 기초해 현재 블록의 움직임 벡터를 결정하고 결정된 움직임 벡터에 기초해 현재 블록을 부호화하며, 현재 블록에 대한 정보로써 움직임 벡터를 별도로 부호화하지 않는 모드이다. 다이렉트 모드는 현재 블록의 주변 블록의 움직임 벡터를 이용하여 생성된 예측 블록과 현재 블록 사이의 차이인 레지듀얼 블록을 픽셀 값에 대한 정보로써 부호화하는데 반하여, 스킵 모드는 예측 블록이 현재 블록과 동일한 것으로 간주하여 스킵 모드로 부호화되었음을 나타내는 신택스 정보만을 부호화하는 모드이다.
다이렉트 모드와 스킵 모드는 모두 움직임 벡터를 별도로 부호화하지 않으므로, 압축률 향상에 크게 기여한다. 그러나, 종래 기술에 따르면 이러한 다이렉트 모드 및 스킵 모드는 종래 동일 시점의 영상 시퀀스 사이, 즉 시간 방향으로만 적용되고, 서로 다른 시점의 영상 시퀀스 사이에는 적용되지 않는다. 따라서, 본 발명에서는 다시점 비디오 시퀀스의 부호화시에 부호화되는 현재 블록과 다른 시점의 참조 프레임을 참조하여 예측 부호화를 수행하면서 현재 블록의 움직임 벡터 정보는 별도로 부호화하지 않는 스킵 모드를 제공함으로써 다시점 비디오의 압축 효율을 향상시킨다.
도 2는 본 발명의 일 실시예에 따른 비디오 부호화 장치의 구성을 나타낸 블록도이다.
도 2를 참조하면, 비디오 부호화 장치(200)는 인트라 예측부(210), 움직임 예측부(220), 움직임 보상부(225), 주파수 변환부(230), 양자화부(240), 엔트로피 부호화부(250), 역양자화부(260), 주파수 역변환부(270), 디블록킹부(280) 및 루프 필터링부(280)를 포함한다.
인트라 예측부(210)는 다시점 영상 중 앵커 픽처 내의 I 픽처로 부호화되는 블록들에 대해서 인트라 예측을 수행하고, 움직임 예측부(220) 및 움직임 보상부(225)는 부호화되는 현재 블록과 동일 시점의 영상 시퀀스에 속하면서 다른 프레임 번호(Picture Order Count:POC)를 갖는 참조 프레임을 참조하거나, 현재 블록과 다른 시점이면서 현재 블록과 동일한 프레임 번호를 갖는 참조 프레임을 참조하여 움직임 예측 및 움직임 보상을 수행한다. 특히, 후술되는 바와 같이 본 발명의 실시예에 따른 움직임 예측부(220) 및 움직임 보상부(225)는 현재 블록과 다른 시점의 참조 프레임을 참조하여 예측 부호화를 수행하면서 현재 블록의 움직임 벡터 정보는 별도로 부호화하지 않는 스킵 모드를 통해 현재 블록을 예측할 수 있다.
인트라 예측부(210), 움직임 예측부(220) 및 움직임 보상부(225)로부터 출력된 데이터는 주파수 변환부(230) 및 양자화부(240)를 거쳐 양자화된 변환 계수로 출력된다. 양자화된 변환 계수는 역양자화부(260), 주파수 역변환부(270)을 통해 공간 영역의 데이터로 복원되고, 복원된 공간 영역의 데이터는 디블로킹부(280) 및 루프 필터링부(290)를 거쳐 후처리되어 참조 프레임(295)으로 출력된다. 여기서 참조 프레임은 다시점 영상 시퀀스 중에서 다른 시점의 영상 시퀀스에 비하여 먼저 부호화된 특정 시점의 영상 시퀀스일 수 있다. 예를 들어 앵커 픽처가 포함된 특정 시점의 영상 시퀀스는 다른 시점의 영상 시퀀스에 비하여 먼저 부호화되어 다른 시점의 영상 시퀀스의 시점 방향 예측 부호화시에 참조 픽처로써 이용된다. 양자화된 변환 계수는 엔트로피 부호화부(250)를 거쳐 비트스트림(255)으로 출력될 수 있다.
이하, 시점 방향 예측 부호화시에 스킵 모드로 현재 블록을 부호화하는 과정에 대하여 구체적으로 설명한다.
도 3은 본 발명의 일 실시예에 따른 시점 방향 스킵 모드 예측 부호화 과정을 설명하기 위한 참조도이다.
도 3을 참조하면, 먼저 본 발명의 일 실시예에 따른 부호화 장치(200)는 제 2 시점(view 0)의 영상 시퀀스(310) 내에 구비된 프레임들(311,312,313)에 대해서 예측 부호화를 수행한 다음 다른 시점의 영상 시퀀스의 예측 부호화를 위한 참조 프레임으로 이용하기 위하여 부호화된 제 2 시점(view 0)의 영상 시퀀스(310)에 속한 프레임들(311,312,313)을 복원한다. 즉, 제 2 시점(view 0)의 영상 시퀀스(310)에 속한 프레임들은 제 1 시점(view 1)의 영상 시퀀스(320)보다 먼저 부호화되어 복원된 프레임들이다. 제 2 시점(view 0)의 영상 시퀀스(310)에 속한 프레임들은 도시된 바와 같이 동일 시점(view 0) 내의 영상 시퀀스(310)에 속한 다른 프레임들을 참조하여, 즉 시간 방향으로만 예측 부호화되거나, 미도시된 또 다른 시점의 영상 시퀀스를 참조하여 이전에 부호화된 후 복원된 프레임들일 수 있다. 도 3에서 화살표는 어떤 참조 프레임을 참조하여 각 프레임이 예측되는지를 나타내는 예측 방향을 나타낸다. 예를 들어, 부호화되는 현재 블록(324)이 속하는 제 1 시점(view 1)의 P 프레임(323)은 동일 시점의 다른 P 프레임(321)을 참조하여 예측 부호화되거나, 제 2 시점(view 0)에 속한 동일 프레임 번호 POC 2를 갖는 P 프레임(313)을 참조하여 예측 부호화될 수 있다. 동일 시점의 영상 시퀀스에 속하는 프레임들 사이의 예측 부호화 과정은 종래 기술에 따른 예측 부호화 과정과 동일하게 수행될 수 있으므로 이하의 설명에서는 서로 다른 시점의 참조 프레임을 참조하여 예측 부호화를 수행하는 시점 방향 예측 부호화 과정을 중심으로 설명한다.
움직임 예측부(220)는 제 1 시점(view 1)의 현재 블록(324)의 주변 블록들 중 이전에 부호화된 후 복원된 제 2 시점(view 0)의 프레임을 참조하는 주변 블록의 시점 방향 움직임 벡터를 이용하여 현재 블록(324)의 시점 방향 스킵 움직임 벡터를 생성한다. 여기서 시점 방향 움직임 벡터는 다른 시점의 참조 프레임을 가리키는 움직임 벡터를 의미하며, 시점 방향 스킵 움직임 벡터란 현재 블록(324)의 움직임 벡터 정보로써 모드 정보만이 전송되고 실제 움직임 벡터 정보는 전송되지 않는 본 발명의 실시예에 따른 시점 방향 스킵 모드에서 현재 블록의 움직임 보상을 위해서 이용되는 벡터를 의미한다. 다시 말해서, 시점 방향 스킵 움직임 벡터는 종래 시간 방향의 스킵 모드에서 현재 블록의 주변 블록으로부터 결정되는 스킵 모드의 움직임 벡터와 유사하게, 시점 방향의 참조 프레임의 대응 영역을 결정하는 데 이용되는 벡터를 의미한다.
움직임 예측부(220)에서 현재 블록(324)의 시점 방향 스킵 움직임 벡터가 결정되면, 움직임 보상부(225)는 제 2 시점(view 0)의 영상 시퀀스들(310)에 속하면서 현재 블록(324)가 속한 프레임(323)과 동일한 프레임 번호 POC 2를 갖는 P 프레임(313)에서 시점 방향 스킵 움직임 벡터가 가리키는 대응 영역(314)를 현재 블록의 예측값으로 결정한다. 시점 방향 스킵 모드에서는 대응 영역(314)을 현재 블록의 값으로 간주하여, 시점 방향 스킵 모드를 나타내는 신택스 정보만이 부호화되게 되며 시점 방향 다이렉트 모드에서는 대응 영역(314)과 현재 블록(324)의 차이값인 레지듀얼 정보가 다이렉트 모드임을 나타내는 신택스 정보에 부가되어 전송된다.
도 4는 본 발명의 일 실시예에 따른 시점 방향 스킵 움직임 벡터를 생성하는 과정을 설명하기 위한 참조도이다.
도 4를 참조하면, 제 2 시점(view 0)의 영상 시퀀스(410)에 속한 프레임들(440,460)은 제 1 시점(view 1)의 영상 시퀀스(420)보다 먼저 부호화되어 복원된 프레임들이며, 부호화되는 현재 블록(431)이 속한 프레임(430)은 (n+1)이라는 프레임 번호를 갖는다고 가정한다. 또한, 도 4에 도시된 바와 같이 현재 블록(431)의 주변 블록들(432 내지 440) 중에서 ao(432), a2(434), b1(436), c(439) 및 d(440) 각각은 동일 프레임 번호 (n+1)을 갖으면서 현재 블록(431)이 속한 프레임(430)과 다른 시점(view 0)에 속한 프레임(440)의 대응 영역들인 ao'(441), a2'(444), b1'(443), c'(446) 및 d'(445)를 참조하여 예측 부호화된 시점 방향 예측된 주변 블록이라고 가정한다. 또한, a1(433), bo(435), b2(437) 및 e(438) 각각은 현재 블록(431)과 동일 시점의 영상 시퀀스(420)에 속하면서 다른 프레임 번호 n을 갖는 프레임(450)의 대응 영역들인 a1'(451), bo'(452), b2'(453) 및 e'(454)를 참조하여 예측 부호화된 시간 방향 예측된 주변 블록이라고 가정한다.
전술한 바와 같이, 움직임 예측부(220)는 부호화되는 제 1 시점(view 1)의 현재 블록(431)의 주변 블록들(432 내지 440) 중 이전에 부호화된 후 복원된 제 2 시점(View 0)의 프레임을 참조하는 주변 블록의 시점 방향 움직임 벡터를 이용하여 현재 블록의 시점 방향 스킵 움직임 벡터를 생성한다. 구체적으로, 움직임 예측부(220)는 현재 블록(431)이 속한 프레임(430)과 동일 프레임 번호 (n+1)을 갖으면서 다른 시점(view 0)에 속하는 참조 프레임(440)을 참조하는 주변 블록인 ao(432), a2(434), b1(436), c(439) 및 d(440)이 갖는 시점 방향 움직임 벡터를 이용하여 현재 블록(431)의 시점 방향 스킵 움직임 벡터를 생성한다. 전술한 예와 같이, 주변 블록들이 복수 개의 시점 방향 움직임 벡터들을 갖는 경우 현재 블록(431)에 적용할 하나의 시점 방향 스킵 움직임 벡터를 결정하기 위해서, 중간값(median)을 이용할 수 있다. 예를 들어, 움직임 예측부(220)는 현재 블록(431) 상측에 인접한 주변 블록들(a0 내지 a2)로부터 하나의 제 1 대표 시점 방향 움직임 벡터(mv_view1)를 결정하고, 좌측에 인접한 주변 블록들(b0 내지 b2)로부터 하나의 제 2 대표 시점 방향 움직임 벡터(mv_view2)를 결정하고, 코너에 위치한 블록들(c,d,e) 중에서 하나의 제 3 대표 시점 방향 움직임 벡터(mv_view3)를 결정한 다음, 제 1,2,3 대표 시점 방향 움직임 벡터들의 중간값, 즉 median(mv_view1, mv_view2, mv_view3)을 현재 블록(431)의 시점 방향 스킵 움직임 벡터로 결정할 수 있다.
전술한 예와 같이 상측에 인접한 주변 블록들(a0 내지 a2) 중 시점 방향 움직임 벡터를 갖는 주변 블록들 a0(432), a2(434)이 복수 개 존재하는 경우, 먼저 스캔되는 a0(432)가 갖는 시점 방향 움직임 벡터를 제 1 대표 시점 방향 움직임 벡터(mv_view1)으로 결정할 수 있다. 유사하게 코너에 위치한 주변 블록들(438,439,440) 중에서 시점 방향 움직임 벡터를 갖는 복수 개의 주변 블록 c(439), d(440)이 존재하는 경우 미리 결정된 스캔 순서, 예를 들어 c,d,e의 스캔 순서로 코너에 위치한 주변 블록의 움직임 예측 정보를 독출한다고 가정하였을 때 먼저 시점 방향 움직임 벡터를 갖는 것으로 결정된 주변블록 c(439)의 시점 방향 움직임 벡터를 제 3 대표 움직임 벡터로 결정할 수 있다. 만약, 현재 블록(431)의 좌측에 인접한 블록, 상측에 인접한 블록 및 코너에 위치한 블록들 각각에 대해서 제 2 시점(view 0)의 프레임(440)을 참조하는 주변 블록이 존재하지 않는 경우에는 해당 그룹의 주변 블록들에 대해서 대표 시점 방향 움직임 벡터를 0으로 설정하여 중간값을 계산할 수 있다. 예를 들어, 만약 현재 블록(431)의 좌측에 인접한 주변 블록들(435,436,437) 중에서 프레임(440)을 참조하는 시점 방향 예측된 주변 블록이 존재하지 않는 경우에는 제 2 대표 움직임 벡터(mv_view2)를 0으로 설정하여 중간값을 계산할 수 있다.
현재 블록(431)의 시점 방향 스킵 움직임 벡터가 결정되면, 움직임 보상부(225)는 제 2 시점(view 0)의 프레임(440)에서 시점 방향 스킵 움직임 벡터가 가리키는 대응 영역을 현재 블록의 예측값으로 결정한다. 전술한 바와 같이 시점 방향 스킵 모드에서는 대응 영역을 현재 블록의 값으로 간주하여, 시점 방향 스킵 모드를 나타내는 신택스 정보만이 부호화되며 시점 방향 다이렉트 모드에서는 대응 영역과 현재 블록(431)의 차이값인 레지듀얼 정보가 다이렉트 모드임을 나타내는 신택스 정보에 부가되어 전송된다.
도 5는 본 발명의 다른 실시예에 따른 시점 방향 스킵 움직임 벡터를 생성하는 과정을 설명하기 위한 참조도이다.
도 5를 참조하면, 현재 블록(511)과 동일한 시점(view 1)에 속하면서 현재 프레임(510)의 프레임 번호 (n+1)과 다른 프레임 번호 n을 갖는 프레임(520)의 동일 위치 블록(co-located block)(521)은 다른 시점(view 0)의 프레임(530)을 참조하는 시점 방향으로 예측된 블록으로써, 시점 방향 움직임 벡터(mv_col)를 갖는다고 가정한다. 이와 같은 경우, 움직임 예측부(220)는 동일 위치 블록(co-located block)(521)이 갖는 시점 방향 움직임 벡터(mv_col)를 현재 블록(511)의 시점 방향 스킵 움직임 벡터로 결정할 수 있다. 또한, 움직임 예측부(220)는 현재 블록(511)의 주변 블록들 중에서 프레임(520)을 참조하는 주변 블록의 시간 방향 움직임 벡터를 이용하여 동일 위치 블록(521)을 쉬프트시키고, 쉬프트된 대응 블록(522)이 갖는 시점 방향 움직임 벡터를 현재 블록(511)의 시점 방향 스킵 움직임 벡터로 결정할 수 있다. 일 예로, 현재 블록(511)의 주변 블록들 a(512), b(513) 및 c(514)가 각각 프레임(520)을 참조하는 시간 방향으로 예측된 주변 블록들이라고 가정하면, 움직임 예측부(220)는 주변 블록들 a(512), b(513) 및 c(514)가 갖는 중간값(mv_med)을 계산하고, 동일 위치 블록(521)을 중간값(mv_med)만큼 쉬프트시켜 쉬프트된 대응 블록(522)를 결정하며, 쉬프트된 대응 블록(522)가 갖는 시점 방향 움직임 벡터를 현재 블록(511)의 시점 방향 스킵 움직임 벡터로 결정할 수 있다.
도 6은 본 발명의 또 다른 실시예에 따른 시점 방향 스킵 움직임 벡터를 생성하는 과정을 설명하기 위한 참조도이다.
도 6을 참조하면, 현재 블록(611)과 다른 시점(view 2)에 속하면서 현재 프레임(610)의 프레임 번호 (n+1)와 동일한 프레임 번호를 갖는 프레임(620)의 동일 위치 블록(co-located block)(621)은 또 다른 시점(view 3)의 프레임(630)을 참조하는 시점 방향으로 예측된 블록으로써, 시점 방향 움직임 벡터(mv_col)를 갖는다고 가정한다. 이와 같은 경우, 움직임 예측부(220)는 동일 위치 블록(co-located block)(621)이 갖는 시점 방향 움직임 벡터(mv_col)를 현재 블록(611)의 시점 방향 스킵 움직임 벡터로 결정할 수 있다. 또한, 움직임 예측부(220)는 현재 블록(611)의 주변 블록들 중에서 프레임(620)을 참조하는 주변 블록의 시점 방향 움직임 벡터를 이용하여 동일 위치 블록(621)을 쉬프트시키고, 쉬프트된 대응 블록(622)이 갖는 시점 방향 움직임 벡터를 현재 블록(611)의 시점 방향 스킵 움직임 벡터로 결정할 수 있다. 일 예로, 현재 블록(611)의 주변 블록들 a(612), b(613) 및 c(614)가 각각 프레임(620)을 참조하는 시점 방향으로 예측된 주변 블록들이라고 가정하면, 움직임 예측부(220)는 주변 블록들 a(612), b(613) 및 c(614)가 갖는 중간값(mv_med)을 계산하고, 동일 위치 블록(621)을 중간값(mv_med)만큼 쉬프트시켜 쉬프트된 대응 블록(622)를 결정하며, 쉬프트된 대응 블록(622)가 갖는 시점 방향 움직임 벡터를 현재 블록(611)의 시점 방향 스킵 움직임 벡터로 결정할 수 있다.
전술한 도 4 내지 6과 같이 다양한 방식으로 시점 방향 스킵 움직임 벡터가 생성되면, 본 발명에 따른 비디오 부호화 장치(200)는 각 시점 방향 스킵 움직임 벡터의 생성 방식에 따른 코스트를 비교하여 최적의 코스트를 갖는 시점 방향 스킵 움직임 벡터를 최종 시점 방향 스킵 움직임 벡터로 결정하고, 해당 시점 방향 스킵 움직임 벡터를 생성하는 데 이용되는 생성 방식을 나타내는 인덱스 정보만을 부호화할 수 있다. 예를 들어, 현재 블록의 주변 블록들 중 시점 방향 움직임 벡터를 이용하여 현재 블록의 시점 방향 스킵 움직임 벡터를 생성하는 경우를 mode 0, 현재 블록과 동일한 시점이면서 다른 프레임에 속한 동일 위치의 블록이 갖는 시점 방향 움직임 벡터를 이용하여 현재 블록의 시점 방향 스킵 움직임 벡터를 생성하는 경우를 mode 1, 현재 블록과 동일한 시점이면서 다른 프레임에 속한 동일 위치의 블록을 쉬프트시킨 대응 블록이 갖는 시점 방향 움직임 벡터를 이용하는 경우를 mode 2, 현재 블록과 다른 시점이면서 동일한 프레임 번호를 갖는 프레임에 속한 동일 위치의 블록이 갖는 시점 방향 움직임 벡터를 이용하는 경우를 mode 4, 현재블록과 다른 시점이면서 동일한 프레임 번호를 갖는 프레임에 속한 동일 위치의 블록을 쉬프트시킨 대응 블록이 갖는 시점 방향 움직임 벡터를 이용하는 경우를 mode 5라고 구별된다고 가정하면, 엔트로피 부호화부(250)는 현재 블록의 최종 시점 방향 스킵 움직임 벡터를 생성하는데 이용한 모드 정보만을 비트스트림에 부가할 수 있다. 시점 방향 스킵 모드에서는 이러한 모드 정보만이 부호화되고, 시점 방향 다이렉트 모드에서는 모드 정보 이외에 현재 블록과 시점 방향 스킵 움직임 벡터를 이용하여 획득된 현재 블록의 움직임 보상값 사이의 차이값인 레지듀얼 데이터에 대한 정보 역시 부호화될 수 있다.
도 7은 본 발명의 일 실시예에 따른 다시점 비디오 부호화 방법을 나타낸 플로우 차트이다.
도 7을 참조하면, 단계 710에서 움직임 예측부(220)는 부호화되는 제 1 시점의 현재 블록의 주변 블록들 중 이전에 부호화된 후 복원된 제 2 시점의 프레임을 참조하는 주변 블록의 시점 방향 움직임 벡터를 이용하여 상기 현재 블록의 시점 방향 스킵 움직임 벡터를 생성한다. 전술한 바와 같이, 시점 방향 스킵 움직임 벡터는 현재 블록의 주변 블록들 중 시점 방향 움직임 벡터를 이용하거나, 현재 블록과 동일한 시점이면서 다른 프레임에 속한 동일 위치의 블록이 갖는 시점 방향 움직임 벡터를 이용하거나, 현재 블록과 동일한 시점이면서 다른 프레임에 속한 동일 위치의 블록을 쉬프트시킨 대응 블록이 갖는 시점 방향 움직임 벡터를 이용하거나, 현재 블록과 다른 시점이면서 동일한 프레임 번호를 갖는 프레임에 속한 동일 위치의 블록이 갖는 시점 방향 움직임 벡터를 이용하거나, 현재블록과 다른 시점이면서 동일한 프레임 번호를 갖는 프레임에 속한 동일 위치의 블록을 쉬프트시킨 대응 블록이 갖는 시점 방향 움직임 벡터를 이용할 수 있다.
단계 720에서, 움직임 보상부(225)는 스킵 움직임 벡터에 기초하여 제 2 시점의 프레임으로부터 현재 블록에 대한 움직임 보상을 수행한다.
단계 730에서, 엔트로피 부호화부(250)는 스킵 움직임 벡터에 대한 모드 정보를 부호화한다. 전술한 바와 같이, 시점 방향 스킵 모드에서는 모드 정보만이 부호화되고, 시점 방향 다이렉트 모드에서는 모드 정보 이외에 현재 블록과 시점 방향 스킵 움직임 벡터를 이용하여 획득된 현재 블록의 움직임 보상값 사이의 차이값인 레지듀얼 데이터에 대한 정보 역시 부호화된다.
도 8은 본 발명의 일 실시예에 따른 비디오 복호화 장치를 나타낸 블록도이다.
도 8을 참조하면, 본 발명의 일 실시예에 따른 비디오 복호화 장치(800)는 파싱부(810), 엔트로피 복호화부(820), 역양자화부(830), 주파수 역변환부(840), 인트라 예측부(850), 움직임 보상부(860), 디블록킹부(870), 루프 필터링부(880)를 포함한다.
비트스트림(805)이 파싱부(810)를 거쳐 복호화 대상인 부호화된 다시점 영상 데이터 및 복호화를 위해 필요한 정보가 파싱된다. 부호화된 영상 데이터는 엔트로피 복호화부(820) 및 역양자화부(830)를 거쳐 역양자화된 데이터로 출력되고, 주파수 역변환부(840)를 거쳐 공간 영역의 영상 데이터가 복원된다.
공간 영역의 영상 데이터에 대해서, 인트라 예측부(850)는 인트라 모드의 블록에 대해 인트라 예측을 수행하고, 움직임 보상부(860)는 참조 프레임(585)를 함께 이용하여 인터 모드의 블록에 대해 움직임 보상을 수행한다. 특히, 본 발명의 일 실시예에 따른 움직임 보상부(860)는 복호화되는 현재 블록의 예측 모드 정보가 시점 방향 스킵 모드인 경우, 복호화되는 제 1 시점의 현재 블록의 주변 블록들 중 이전에 복호화된 제 2 시점의 프레임을 참조하는 주변 블록의 시점 방향 움직임 벡터를 이용하여 현재 블록의 시점 방향 스킵 움직임 벡터를 생성하고, 스킵 움직임 벡터에 기초하여 제 2 시점의 프레임으로부터 현재 블록에 대한 움직임 보상을 수행한 다음, 움직임 보상된 값을 바로 현재 블록의 복원된 값으로 결정한다. 만약, 현재 블록의 예측 모드 정보가 시점 방향 다이렉트 모드인 경우, 움직임 보상부(860)는 주파수 역변환부(840)로부터 출력되는 현재 블록의 레지듀얼 값과 시점 방향 스킵 움직임 벡터에 의해 움직임 보상값을 가산하여 현재 블록을 보상한다. 움직임 보상부(860)에서 시점 방향 스킵 움직임 벡터를 생성하는 과정은 전술한 도 2의 움직임 예측부(220)에서 시점 방향 스킵 움직임 벡터를 생성하는 과정과 동일하므로 구체적인 설명은 생략한다.
인트라 예측부(850) 및 움직임 보상부(860)를 거친 공간 영역의 데이터는 디블로킹부(870) 및 루프 필터링부(880)를 거쳐 후처리되어 복원 프레임(595)으로 출력될 수 있다. 또한, 디블로킹부(870) 및 루프 필터링부(880)를 거쳐 후처리된 데이터는 참조 프레임(885)으로서 출력될 수 있다.
도 9는 본 발명의 일 실시예에 따른 비디오 복호화 방법을 나타낸 플로우 차트이다.
도 9를 참조하면, 단계 910에서 엔트로피 복호화부(820)는 비트스트림으로부터 복호화되는 제 1 시점의 현재 블록의 예측 모드 정보를 복호화한다.
단계 920에서, 움직임 보상부(860)는 현재 블록의 예측 모드 정보가 시점 방향 스킵 모드인 경우,복호화되는 제 1 시점의 현재 블록의 주변 블록들 중 이전에 복호화된 제 2 시점의 프레임을 참조하는 주변 블록의 시점 방향 움직임 벡터를 이용하여 현재 블록의 시점 방향 스킵 움직임 벡터를 생성한다. 그리고, 단계 930에서 움직임 보상부(860)는 생성된 스킵 움직임 벡터에 기초하여 제 2 시점의 프레임으로부 현재 블록에 대한 움직임 보상을 수행한다.
단계 940에서, 현재 블록의 움직임 보상값과 비트스트림으로부터 추출된 레지듀얼 값이 가산되어 현재 블록이 복원된다. 이러한 단계 940은 시점 방향 다이렉트 모드인 경우에 수행되며, 시점 방향 스킵 모드에서는 움직임 보상값 자체가 복원된 현재 블록에 해당하므로 단계 940이 생략될 수 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는, ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장 장치 등이 포함된다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드로 저장되고 실행될 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (22)

  1. 다시점 비디오의 부호화 방법에 있어서,
    부호화되는 제 1 시점의 현재 블록의 주변 블록들 중 이전에 부호화된 후 복원된 제 2 시점의 프레임을 참조하는 주변 블록의 시점 방향 움직임 벡터를 이용하여 상기 현재 블록의 시점 방향 스킵 움직임 벡터를 생성하는 단계;
    상기 스킵 움직임 벡터에 기초하여 상기 제 2 시점의 프레임으로부터 상기 현재 블록에 대한 움직임 보상을 수행하는 단계; 및
    상기 스킵 움직임 벡터에 대한 모드 정보를 부호화하는 단계를 포함하는 것을 특징으로 하는 다시점 비디오의 부호화 방법.
  2. 제 1항에 있어서,
    상기 제 1 시점의 현재 블록의 프레임 번호(Picture Order Count)와 상기 제 2 시점의 프레임 번호는 동일한 것을 특징으로 하는 다시점 비디오의 부호화 방법.
  3. 제 1항에 있어서,
    상기 현재 블록의 시점 방향 스킵 움직임 벡터를 생성하는 단계는
    상기 현재 블록 이전에 부호화된 주변 블록들 중 상기 제 2 시점의 프레임을 참조하는 주변 블록의 시점 방향 움직임 벡터를 이용하여 상기 현재 블록의 시점 방향 스킵 움직임 벡터를 생성하는 것을 특징으로 하는 다시점 비디오의 부호화 방법.
  4. 제 3항에 있어서,
    상기 제 2 시점의 프레임을 참조하는 주변 블록의 시점 방향 움직임 벡터는
    상기 현재 블록의 좌측에 인접한 블록, 상기 현재 블록의 상측에 인접한 블록 및 상기 현재 블록 이전에 부호화된 코너에 위치한 블록들 중에서 선택되는 것을 특징으로 하는 다시점 비디오의 부호화 방법.
  5. 제 1항에 있어서,
    상기 현재 블록의 시점 방향 스킵 움직임 벡터는
    상기 제 2 시점의 프레임을 참조하는 현재 블록의 좌측에 인접한 블록, 상기 제 2 시점의 프레임을 참조하는 상기 상측에 인접한 블록 및 상기 제 2 시점의 프레임을 참조하는 상기 현재 블록 이전에 부호화된 코너에 위치한 블록들 각각에서 선택된 시점 방향 움직임 벡터의 중간값(median value)을 포함하는 것을 특징으로 하는 다시점 비디오의 부호화 방법.
  6. 제 5항에 있어서,
    상기 중간값은
    상기 제 2 시점의 프레임을 참조하는 상기 현재 블록의 좌측에 인접한 블록, 상기 상측에 인접한 블록 및 상기 현재 블록 이전에 부호화된 코너에 위치한 블록이 존재하지 않는 경우에는 상기 주변 블록의 제 2 시점의 프레임을 참조하지 않는 주변 블록의 시점 방향 움직임 벡터를 0 벡터로 설정하여 계산되는 것을 특징으로 하는 다시점 비디오의 부호화 방법.
  7. 제 1항에 있어서,
    상기 현재 블록의 시점 방향 스킵 움직임 벡터를 생성하는 단계는
    상기 현재 블록과 동일한 제 1 시점이면서 상기 현재 블록이 속한 프레임과 다른 프레임에 속한 상기 현재 블록과 동일한 위치(co-located)의 대응 블록이 갖는 시점 방향 움직임 벡터를 이용하여 상기 현재 블록의 시점 방향 스킵 움직임 벡터를 생성하는 것을 특징으로 하는 다시점 비디오의 부호화 방법.
  8. 제 1항에 있어서,
    상기 현재 블록의 시점 방향 스킵 움직임 벡터를 생성하는 단계는
    상기 현재 블록 이전에 부호화된 주변 블록들 중 상기 제 1 시점의 현재 블록이 속한 프레임과 다른 프레임을 참조하는 주변 블록의 시간 방향 움직임 벡터를 이용하여 상기 다른 프레임에 속한 상기 현재 블록과 동일한 위치의 대응 블록을 쉬프트시키고, 쉬프트된 대응 블록이 갖는 시점 방향 움직임 벡터를 이용하여 상기 현재 블록의 시점 방향 스킵 움직임 벡터를 생성하는 것을 특징으로 하는 다시점 비디오의 부호화 방법.
  9. 제 1항에 있어서,
    상기 현재 블록의 시점 방향 스킵 움직임 벡터를 생성하는 단계는
    상기 현재 블록 이전에 부호화된 주변 블록들 중 상기 제 1 시점의 현재 블록이 속한 프레임과 다른 프레임을 참조하는 주변 블록의 시간 방향 움직임 벡터를 이용하여, 상기 제 1 시점의 현재 블록과 다른 제 3 시점에 속하면서 상기 현재 블록과 동일한 프레임 번호를 갖는 프레임에 속한 상기 현재 블록과 동일한 위치의 대응 블록을 쉬프트시키고, 상기 쉬프트된 대응 블록이 갖는 시점 방향 움직임 벡터를 이용하여 상기 현재 블록의 시점 방향 스킵 움직임 벡터를 생성하는 것을 특징으로 하는 다시점 비디오의 부호화 방법.
  10. 제 1항에 있어서,
    상기 스킵 움직임 벡터에 대한 모드 정보를 부호화하는 단계는
    상기 현재 블록의 시점 방향 스킵 움직임 벡터 생성 방식을 소정 인덱스에 의하여 구별하고, 상기 현재 블록의 시점 방향 스킵 움직임 벡터를 생성하는데 이용된 시점 방향 스킵 움직임 벡터 생성 방식을 나타내는 인덱스 정보를 부호화하는 것을 특징으로 하는 다시점 비디오의 부호화 방법.
  11. 다시점 비디오의 복호화 방법에 있어서,
    비트스트림으로부터 복호화되는 제 1 시점의 현재 블록의 예측 모드 정보를 복호화하는 단계;
    상기 예측 모드 정보가 시점 방향 스킵 모드인 경우, 상기 복호화되는 제 1 시점의 현재 블록의 주변 블록들 중 이전에 복호화된 제 2 시점의 프레임을 참조하는 주변 블록의 시점 방향 움직임 벡터를 이용하여 상기 현재 블록의 시점 방향 스킵 움직임 벡터를 생성하는 단계;
    상기 스킵 움직임 벡터에 기초하여 상기 제 2 시점의 프레임으로부터 상기 현재 블록에 대한 움직임 보상을 수행하는 단계; 및
    상기 현재 블록의 움직임 보상값과 상기 비트스트림으로부터 추출된 레지듀얼 값을 가산하여 상기 현재 블록을 복원하는 단계를 포함하는 것을 특징으로 하는 다시점 비디오의 복호화 방법.
  12. 제 11항에 있어서,
    상기 제 1 시점의 현재 블록의 프레임 번호(Picture Order Count)와 상기 제 2 시점의 프레임 번호는 동일한 것을 특징으로 하는 다시점 비디오의 복호화 방법.
  13. 제 11항에 있어서,
    상기 현재 블록의 시점 방향 스킵 움직임 벡터를 생성하는 단계는
    상기 현재 블록 이전에 복호화된 주변 블록들 중 상기 제 2 시점의 프레임을 참조하는 주변 블록의 시점 방향 움직임 벡터를 이용하여 상기 현재 블록의 시점 방향 스킵 움직임 벡터를 생성하는 것을 특징으로 하는 다시점 비디오의 복호화 방법.
  14. 제 13항에 있어서,
    상기 제 2 시점의 프레임을 참조하는 주변 블록의 시점 방향 움직임 벡터는
    상기 현재 블록의 좌측에 인접한 블록, 상기 현재 블록의 상측에 인접한 블록 및 상기 현재 블록 이전에 복호화된 코너에 위치한 블록들 중에서 선택되는 것을 특징으로 하는 다시점 비디오의 복호화 방법.
  15. 제 11항에 있어서,
    상기 현재 블록의 시점 방향 스킵 움직임 벡터는
    상기 제 2 시점의 프레임을 참조하는 현재 블록의 좌측에 인접한 블록, 상기 제 2 시점의 프레임을 참조하는 상기 상측에 인접한 블록 및 상기 제 2 시점의 프레임을 참조하는 상기 현재 블록 이전에 복호화된 코너에 위치한 블록들 각각에서 선택된 시점 방향 움직임 벡터의 중간값(median value)을 포함하는 것을 특징으로 하는 다시점 비디오의 복호화 방법.
  16. 제 15항에 있어서,
    상기 중간값은
    상기 제 2 시점의 프레임을 참조하는 상기 현재 블록의 좌측에 인접한 블록, 상기 상측에 인접한 블록 및 상기 현재 블록 이전에 복호화된 코너에 위치한 블록이 존재하지 않는 경우에는 상기 주변 블록의 제 2 시점의 프레임을 참조하지 않는 주변 블록의 시점 방향 움직임 벡터를 0 벡터로 설정하여 계산되는 것을 특징으로 하는 다시점 비디오의 복호화 방법.
  17. 제 11항에 있어서,
    상기 현재 블록의 시점 방향 스킵 움직임 벡터를 생성하는 단계는
    상기 현재 블록과 동일한 제 1 시점이면서 상기 현재 블록이 속한 프레임과 다른 프레임에 속한 상기 현재 블록과 동일한 위치(co-located)의 대응 블록이 갖는 시점 방향 움직임 벡터를 이용하여 상기 현재 블록의 시점 방향 스킵 움직임 벡터를 생성하는 것을 특징으로 하는 다시점 비디오의 복호화 방법.
  18. 제 11항에 있어서,
    상기 현재 블록의 시점 방향 스킵 움직임 벡터를 생성하는 단계는
    상기 현재 블록 이전에 복호화된 주변 블록들 중 상기 제 1 시점의 현재 블록이 속한 프레임과 다른 프레임을 참조하는 주변 블록의 시간 방향 움직임 벡터를 이용하여 상기 다른 프레임에 속한 상기 현재 블록과 동일한 위치의 대응 블록을 쉬프트 시키고, 쉬프트된 대응 블록이 갖는 시점 방향 움직임 벡터를 이용하여 상기 현재 블록의 시점 방향 스킵 움직임 벡터를 생성하는 것을 특징으로 하는 다시점 비디오의 복호화 방법.
  19. 제 11항에 있어서,
    상기 현재 블록의 시점 방향 스킵 움직임 벡터를 생성하는 단계는
    상기 현재 블록 이전에 복호화된 주변 블록들 중 상기 제 1 시점의 현재 블록이 속한 프레임과 다른 프레임을 참조하는 주변 블록의 시간 방향 움직임 벡터를 이용하여, 상기 제 1 시점의 현재 블록과 다른 제 3 시점에 속하면서 상기 현재 블록과 동일한 프레임 번호를 갖는 프레임에 속한 상기 현재 블록과 동일한 위치의 대응 블록을 쉬프트시키고, 상기 쉬프트된 대응 블록이 갖는 시점 방향 움직임 벡터를 이용하여 상기 현재 블록의 시점 방향 스킵 움직임 벡터를 생성하는 것을 특징으로 하는 다시점 비디오의 복호화 방법.
  20. 제 11항에 있어서,
    상기 예측 모드 정보는
    상기 현재 블록이 시점 방향 스킵 움직임 벡터를 이용하여 부호화된 경우, 상기 현재 블록의 시점 방향 스킵 움직임 벡터 생성 방식을 구별하기 위한 소정 인덱스 정보를 포함하는 것을 특징으로 하는 다시점 비디오의 복호화 방법.
  21. 다시점 비디오의 부호화 장치에 있어서,
    부호화되는 제 1 시점의 현재 블록의 주변 블록들 중 이전에 부호화된 후 복원된 제 2 시점의 프레임을 참조하는 주변 블록의 시점 방향 움직임 벡터를 이용하여 상기 현재 블록의 시점 방향 스킵 움직임 벡터를 생성하는 예측부;
    상기 스킵 움직임 벡터에 기초하여 상기 제 2 시점의 프레임으로부터 상기 현재 블록에 대한 움직임 보상을 수행하는 움직임 보상부; 및
    상기 스킵 움직임 벡터에 대한 모드 정보를 부호화하는 엔트로피 부호화부를 포함하는 것을 특징으로 하는 다시점 비디오의 부호화 장치.
  22. 다시점 비디오의 복호화 장치에 있어서,
    비트스트림으로부터 복호화되는 제 1 시점의 현재 블록의 예측 모드 정보를 복호화하는 엔트로피 복호화부;
    상기 예측 모드 정보가 시점 방향 스킵 모드인 경우, 상기 복호화되는 제 1 시점의 현재 블록의 주변 블록들 중 이전에 복호화된 제 2 시점의 프레임을 참조하는 주변 블록의 시점 방향 움직임 벡터를 이용하여 상기 현재 블록의 시점 방향 스킵 움직임 벡터를 생성하고, 상기 스킵 움직임 벡터에 기초하여 상기 제 2 시점의 프레임으로부터 상기 현재 블록에 대한 움직임 보상을 수행하는 움직임 보상부; 및
    상기 현재 블록의 움직임 보상값과 상기 비트스트림으로부터 추출된 레지듀얼 값을 가산하여 상기 현재 블록을 복원하는 복원부를 포함하는 것을 특징으로 하는 다시점 비디오의 복호화 장치.
KR1020110015033A 2011-02-21 2011-02-21 다시점 비디오의 부호화 방법 및 장치, 그 복호화 방법 및 장치 KR20120095610A (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020110015033A KR20120095610A (ko) 2011-02-21 2011-02-21 다시점 비디오의 부호화 방법 및 장치, 그 복호화 방법 및 장치
CN201280019290.3A CN103493492A (zh) 2011-02-21 2012-02-21 用于对多视点视频进行编码和解码的方法和设备
US13/401,264 US20120213282A1 (en) 2011-02-21 2012-02-21 Method and apparatus for encoding and decoding multi-view video
EP12749404.5A EP2676445A4 (en) 2011-02-21 2012-02-21 METHOD AND APPARATUS FOR ENCODING AND DECODING MULTI-VIEW VIDEO
JP2013555362A JP5830548B2 (ja) 2011-02-21 2012-02-21 多視点ビデオの符号化方法及び装置、その復号化方法及び装置
PCT/KR2012/001315 WO2012115436A2 (en) 2011-02-21 2012-02-21 Method and apparatus for encoding and decoding multi-view video

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110015033A KR20120095610A (ko) 2011-02-21 2011-02-21 다시점 비디오의 부호화 방법 및 장치, 그 복호화 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20120095610A true KR20120095610A (ko) 2012-08-29

Family

ID=46652733

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110015033A KR20120095610A (ko) 2011-02-21 2011-02-21 다시점 비디오의 부호화 방법 및 장치, 그 복호화 방법 및 장치

Country Status (6)

Country Link
US (1) US20120213282A1 (ko)
EP (1) EP2676445A4 (ko)
JP (1) JP5830548B2 (ko)
KR (1) KR20120095610A (ko)
CN (1) CN103493492A (ko)
WO (1) WO2012115436A2 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9648342B2 (en) 2012-11-14 2017-05-09 Hfi Innovation Inc. Method and apparatus for residual prediction in three-dimensional video coding
US10075690B2 (en) 2013-10-17 2018-09-11 Mediatek Inc. Method of motion information prediction and inheritance in multi-view and three-dimensional video coding

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101366092B1 (ko) * 2006-10-13 2014-02-21 삼성전자주식회사 다시점 영상의 부호화, 복호화 방법 및 장치
US8548261B2 (en) 2007-04-11 2013-10-01 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding multi-view image
US9247249B2 (en) * 2011-04-20 2016-01-26 Qualcomm Incorporated Motion vector prediction in video coding
US9503720B2 (en) 2012-03-16 2016-11-22 Qualcomm Incorporated Motion vector coding and bi-prediction in HEVC and its extensions
US10200709B2 (en) 2012-03-16 2019-02-05 Qualcomm Incorporated High-level syntax extensions for high efficiency video coding
KR102186605B1 (ko) 2012-09-28 2020-12-03 삼성전자주식회사 다시점 영상 부호화/복호화 장치 및 방법
EP3061233B1 (en) 2013-10-25 2019-12-11 Microsoft Technology Licensing, LLC Representing blocks with hash values in video and image coding and decoding
WO2015131325A1 (en) 2014-03-04 2015-09-11 Microsoft Technology Licensing, Llc Hash table construction and availability checking for hash-based block matching
CN105706450B (zh) * 2014-06-23 2019-07-16 微软技术许可有限责任公司 根据基于散列的块匹配的结果的编码器决定
KR102358276B1 (ko) 2014-09-30 2022-02-04 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 비디오 코딩을 위한 해시 기반 인코더 결정
EP3200456A1 (en) * 2016-01-28 2017-08-02 Axis AB Video encoding method and video encoder system for temporal noise reduction
FR3058858A1 (fr) * 2016-11-15 2018-05-18 Orange Procede et dispositif de codage et de decodage d'une sequence multi-vues
US11095877B2 (en) 2016-11-30 2021-08-17 Microsoft Technology Licensing, Llc Local hash-based motion estimation for screen remoting scenarios
US11202085B1 (en) 2020-06-12 2021-12-14 Microsoft Technology Licensing, Llc Low-cost hash table construction and hash-based block matching for variable-size blocks

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8107535B2 (en) * 2003-06-10 2012-01-31 Rensselaer Polytechnic Institute (Rpi) Method and apparatus for scalable motion vector coding
JP5059766B2 (ja) * 2005-09-22 2012-10-31 サムスン エレクトロニクス カンパニー リミテッド 視差ベクトルの予測方法、その方法を利用して多視点動画を符号化及び復号化する方法及び装置
KR101276720B1 (ko) * 2005-09-29 2013-06-19 삼성전자주식회사 카메라 파라미터를 이용하여 시차 벡터를 예측하는 방법,그 방법을 이용하여 다시점 영상을 부호화 및 복호화하는장치 및 이를 수행하기 위한 프로그램이 기록된 기록 매체
ZA200805337B (en) * 2006-01-09 2009-11-25 Thomson Licensing Method and apparatus for providing reduced resolution update mode for multiview video coding
KR100943912B1 (ko) * 2006-01-12 2010-03-03 엘지전자 주식회사 다시점 비디오의 처리 방법 및 장치
US20090290643A1 (en) * 2006-07-12 2009-11-26 Jeong Hyu Yang Method and apparatus for processing a signal
CA2665781C (en) * 2006-10-30 2014-02-18 Nippon Telegraph And Telephone Corporation Predicted reference information generating method, video encoding and decoding methods, apparatuses therefor, programs therefor, and storage media which store the programs
EP2512139B1 (en) * 2006-10-30 2013-09-11 Nippon Telegraph And Telephone Corporation Video encoding method and decoding method, apparatuses therefor, programs therefor, and storage media which store the programs
WO2008056934A1 (en) * 2006-11-07 2008-05-15 Samsung Electronics Co., Ltd. Method of and apparatus for video encoding and decoding based on motion estimation
US20100266042A1 (en) * 2007-03-02 2010-10-21 Han Suh Koo Method and an apparatus for decoding/encoding a video signal
EP2135454A4 (en) * 2007-03-02 2010-09-01 Lg Electronics Inc METHOD AND DEVICE FOR DECODING / CODING A VIDEO SIGNAL
US20080247466A1 (en) * 2007-04-09 2008-10-09 Jian Wang Method and system for skip mode detection
WO2008133455A1 (en) * 2007-04-25 2008-11-06 Lg Electronics Inc. A method and an apparatus for decoding/encoding a video signal
US8804839B2 (en) * 2007-06-27 2014-08-12 Korea Electronics Technology Institute Method for image prediction of multi-view video codec and computer-readable recording medium thereof
WO2009020542A1 (en) * 2007-08-06 2009-02-12 Thomson Licensing Methods and apparatus for motion skip mode with multiple inter-view reference pictures
CN101415115B (zh) * 2007-10-15 2011-02-02 华为技术有限公司 基于运动跳跃模式的视频编解码方法及其编解码器

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9648342B2 (en) 2012-11-14 2017-05-09 Hfi Innovation Inc. Method and apparatus for residual prediction in three-dimensional video coding
US9819959B2 (en) 2012-11-14 2017-11-14 Hfi Innovation Inc. Method and apparatus for residual prediction in three-dimensional video coding
US10075690B2 (en) 2013-10-17 2018-09-11 Mediatek Inc. Method of motion information prediction and inheritance in multi-view and three-dimensional video coding

Also Published As

Publication number Publication date
EP2676445A2 (en) 2013-12-25
JP5830548B2 (ja) 2015-12-09
US20120213282A1 (en) 2012-08-23
CN103493492A (zh) 2014-01-01
WO2012115436A2 (en) 2012-08-30
JP2014512720A (ja) 2014-05-22
WO2012115436A3 (en) 2012-12-20
EP2676445A4 (en) 2014-10-22

Similar Documents

Publication Publication Date Title
KR20120095610A (ko) 다시점 비디오의 부호화 방법 및 장치, 그 복호화 방법 및 장치
KR20120118780A (ko) 다시점 비디오의 움직임 벡터 부호화 방법 및 장치, 그 복호화 방법 및 장치
KR102605638B1 (ko) 부분 코스트 계산
US11190795B2 (en) Method and an apparatus for processing a video signal
KR101908249B1 (ko) 단방향 예측 및 병합 후보로부터의 모션 벡터에 기초한 양방향 예측 비디오 코딩 방법
JP3863510B2 (ja) 動きベクトル符号化／復号化方法及びその装置
CN106713910B (zh) 对图像进行解码的设备
EP3937497B1 (en) Motion vector predictor selection
US8818114B2 (en) Method and apparatus for image encoding/decoding
KR101375666B1 (ko) 전역 차이 벡터를 이용한 다시점 영상의 부호화, 복호화방법 및 장치
US20200014931A1 (en) Methods and Apparatuses of Generating an Average Candidate for Inter Picture Prediction in Video Coding Systems
EP2699001B1 (en) A method and a system for video signal encoding and decoding with motion estimation
KR102081945B1 (ko) 비디오 신호 처리 방법 및 장치
US20120207221A1 (en) Video coding device and video decoding device
US20130315311A1 (en) Image encoding/decoding device and method, and reference picture indexing device and method
KR20110071047A (ko) 비디오 신호 디코딩 방법 및 장치
JP5821542B2 (ja) 動画像符号化装置、および動画像復号装置
CN112840645B (zh) 视频编码***中组合多个预测子用于块预测的方法及装置
KR20090076762A (ko) 다시점 비디오 부호화 방법과 그 장치 및 다시점 비디오 복호화 방법과 그 장치
KR20120095611A (ko) 다시점 비디오 부호화/복호화 방법 및 장치
JP2013110524A (ja) 動画像符号化装置、および動画像復号装置
CN111183641A (zh) 视频编码设备、视频解码设备、视频编码方法、视频解码方法和程序
EP1950974A1 (en) Dynamic image encoding device, dynamic image decoding device, dynamic image encoding method, dynamic image decoding method, dynamic image encoding program, and dynamic image decoding program
KR20080006494A (ko) 비디오 신호의 디코딩 방법 및 장치
KR101315295B1 (ko) 다시점 영상의 부호화, 복호화 방법 및 장치

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid