KR20130084227A - 화상 처리 장치 및 화상 처리 방법 - Google Patents

화상 처리 장치 및 화상 처리 방법 Download PDF

Info

Publication number
KR20130084227A
KR20130084227A KR20127028984A KR20127028984A KR20130084227A KR 20130084227 A KR20130084227 A KR 20130084227A KR 20127028984 A KR20127028984 A KR 20127028984A KR 20127028984 A KR20127028984 A KR 20127028984A KR 20130084227 A KR20130084227 A KR 20130084227A
Authority
KR
South Korea
Prior art keywords
image
viewpoint
residual
synthesis
information
Prior art date
Application number
KR20127028984A
Other languages
English (en)
Inventor
요시토모 다카하시
준 요네미츠
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20130084227A publication Critical patent/KR20130084227A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/003—Aspects relating to the "2D+depth" image format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Processing (AREA)

Abstract

본 발명은, 고화질의 시점 합성 화상을 생성할 수 있는 화상 처리 장치 및 화상 처리 방법에 관한 것이다.
다시점 영상 복호 장치(105)는, N 시점의 2D 화상(11)과 N 시점의 깊이 화상(12)을 사용하여 생성된 시점 합성 화상과, 그 시점 합성 화상의 시점 합성 위치의 (M-N) 시점의 2D 화상(101)과의 차분인 잔차 정보, N 시점의 2D 화상(11) 및 깊이 화상(12)을 부호화한 결과 얻어지는 부호화 스트림을 수취하여, 복호한다. 시점 합성 장치(15)는, 다시점 영상 복호 장치(105)에 의해 복호된 N 시점의 2D 화상(11)과 깊이 화상(12)을 사용하여, 시점 합성 화상을 생성한다. 잔차 정보 보상 장치(106)는, 잔차 정보를 생성된 시점 합성 화상에 추가한다. 본 발명은, 예를 들어 시점 합성을 행하는 시스템에 적용할 수 있다.

Description

화상 처리 장치 및 화상 처리 방법{IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD}
본 발명은, 화상 처리 장치 및 화상 처리 방법에 관한 것이며, 특히 고화질의 시점(視點) 합성 화상을 생성할 수 있도록 한 화상 처리 장치 및 화상 처리 방법에 관한 것이다.
임의 시점의 화상을 생성하는 시점 합성 기술이 있다. 이 시점 합성 기술은, N 시점의 2D 화상과 깊이 화상(깊이 정보)으로부터 M(>N) 시점의 2D 화상을 생성하는 기술이다.
도 1을 참조하여, 시점 합성 기술의 개요에 대하여 설명한다.
도 1에 도시한 바와 같이, 시점 합성 기술에서는 2D 화상과 깊이 화상으로 이루어지는 입력 화상(1)이 입력된다. 그리고, 이 입력 화상(1)을 사용하여 시점 합성이 행해지고, 입력 화상(1)의 카메라 위치의 내측 및 외측의 시점의 2D 화상인 시점 합성 화상(2)이 생성된다.
도 1의 예에서는, 2 시점의 입력 화상(1)으로부터 6 시점의 시점 합성 화상(2)이 생성되고, 2 시점의 입력 화상(1)과 6 시점의 시점 합성 화상(2)의 합계 8 시점의 화상이 얻어지고 있다.
실제의 용도에서는, 시점 합성 기술은 압축 기술과 조합하여 사용된다. 시점 합성 기술과 압축 기술을 조합한 시스템의 구성예를 도 2에 도시한다.
도 2의 시스템에서는, N 시점의 2D 화상(11)과 N 시점의 깊이 화상(12)이 다시점 영상 부호화 장치(13)에 입력된다.
다시점 영상 부호화 장치(13)는, N 시점의 2D 화상(11)과 N 시점의 깊이 화상(12)을 AVC(Advanced Video Coding) 방식이나 MVC(Multiview Video Coding) 방식으로 부호화하여, 다시점 영상 복호 장치(14)에 공급한다.
다시점 영상 복호 장치(14)는, 다시점 영상 부호화 장치(13)로부터 공급되는, 부호화된 N 시점의 2D 화상(11)과 N 시점의 깊이 화상(12)을 AVC 방식이나 MVC 방식에 대응하는 방식으로 복호하여, 시점 합성 장치(15)에 공급한다.
시점 합성 장치(15)는, 다시점 영상 복호 장치(14)에 의한 복호의 결과 얻어지는 N 시점의 2D 화상(11)과 깊이 화상(12)을 사용하여, (M-N) 시점의 시점 합성 화상을 생성한다. 시점 합성 장치(15)는, N 시점의 2D 화상(11)과 (M-N) 시점의 시점 합성 화상으로 이루어지는 M 시점의 2D 화상을 M 시점의 재구성 2D 화상(16)으로서 출력한다.
그런데, 복수의 시점의 화상 데이터의 부호화와 복호의 방법에 대해서는, 예를 들어 특허문헌 1에 기재되어 있다.
일본 특허 공개 제2008-182669호 공보
도 2의 시스템에서는, 소수의 시점의 화상으로부터 다수의 시점의 화상을 생성하기 때문에, 시점 합성 화상에는 다수의 결락 정보(missing information)가 발생한다. 특히, 입력 화상의 카메라 위치의 외측의 시점의 화상이 생성되는 경우, 오클루전 영역(occluded area)의 정보는 완전히 결락되어 버린다. 종래 기술에서는, 이러한 오클루전 영역을 주변의 화면 내 정보를 이용하여 보간하고 있다. 그러나, 화면 내 보간의 성능에는 한계가 있으며, 시점 합성 화상의 화질은 충분하지 못하다.
본 발명은 이러한 상황을 감안하여 이루어진 것이며, 고화질의 시점 합성 화상을 생성할 수 있도록 하는 것이다.
본 발명의 제1 측면의 화상 처리 장치는, 기준 2D 화상과 깊이 정보를 사용하여 생성된 시점 합성 화상과, 상기 시점 합성 화상의 시점 합성 위치에 있어서의 2D 화상과의 차분인 잔차 정보(residual information)를 수취하는 수취 수단과, 상기 기준 2D 화상을 부호화하여 부호화 스트림을 생성하는 부호화 수단과, 상기 수취 수단에 의해 수취된 상기 잔차 정보, 상기 깊이 정보 및 상기 부호화 수단에 의해 생성된 상기 부호화 스트림을 전송하는 전송 수단을 구비하는 화상 처리 장치이다.
본 발명의 제1 측면의 화상 처리 방법은, 본 발명의 제1 측면의 화상 처리 장치에 대응한다.
본 발명의 제1 측면에 있어서는, 기준 2D 화상과 깊이 정보를 사용하여 생성된 시점 합성 화상과, 상기 시점 합성 화상의 시점 합성 위치에 있어서의 2D 화상과의 차분인 잔차 정보가 수취되고, 상기 기준 2D 화상이 부호화되어 부호화 스트림이 생성되어, 상기 잔차 정보, 상기 깊이 정보 및 상기 부호화 스트림이 전송된다.
본 발명의 제2 측면의 화상 처리 장치는, 기준 2D 화상과 깊이 정보를 사용하여 생성된 시점 합성 화상과, 상기 시점 합성 화상의 시점 합성 위치에 있어서의 2D 화상과의 차분인 잔차 정보와, 상기 깊이 정보를 수취하는 수취 수단과, 상기 기준 2D 화상을 부호화한 결과 얻어지는 부호화 스트림을 복호하는 복호 수단과, 상기 복호 수단에 의해 복호된 상기 기준 2D 화상과 상기 수취 수단에 의해 수취된 상기 깊이 정보를 사용하여, 상기 시점 합성 화상을 생성하는 생성 수단과, 상기 수취 수단에 의해 수취된 상기 잔차 정보를, 상기 생성 수단에 의해 생성된 상기 시점 합성 화상에 추가하는 잔차 정보 보상 수단을 구비하는 화상 처리 장치이다.
본 발명의 제2 측면의 화상 처리 방법은, 본 발명의 제2 측면의 화상 처리 방법에 대응한다.
본 발명의 제2 측면에 있어서는, 기준 2D 화상과 깊이 정보를 사용하여 생성된 시점 합성 화상과, 상기 시점 합성 화상의 시점 합성 위치에 있어서의 2D 화상과의 차분인 잔차 정보와, 상기 깊이 정보가 수취되고, 상기 기준 2D 화상을 부호화한 결과 얻어지는 부호화 스트림이 복호되고, 복호된 상기 기준 2D 화상과 수취된 상기 깊이 정보를 사용하여 상기 시점 합성 화상이 생성되고, 수취된 잔차 정보가, 생성된 시점 합성 화상에 추가된다.
본 발명의 제1 측면에 의하면, 고화질의 시점 합성 화상을 생성하기 위한 정보를 전송할 수 있다.
본 발명의 제2 측면에 의하면, 고화질의 시점 합성 화상을 생성할 수 있다.
도 1은 시점 합성 기술의 개요에 대하여 설명하는 도면이다.
도 2는 종래의 시스템의 구성예를 도시하는 블록도이다.
도 3은 본 발명의 개요를 설명하는 도면이다.
도 4는 본 발명의 개요를 설명하는 도면이다.
도 5는 본 발명을 적용한 시스템의 한 실시 형태의 구성예를 도시하는 블록도이다.
도 6은 도 5의 시스템의 처리를 설명하는 흐름도이다.
[본 발명의 개요]
도 3 및 도 4는, 본 발명의 개요를 설명하는 도면이다.
또한, 도 3 및 도 4는, 2 시점의 화상으로부터 8 시점의 화상이 생성되는 경우에 대하여 설명하는 도면이다.
도 3에 도시한 바와 같이, 본 발명에서는 입력 화상(1) 뿐만 아니라, 시점 합성 화상(2)의 시점 합성 위치에서 카메라에 의해 취득된 2D 화상(31)과 시점 합성 화상(2)의 차분 정보인 잔차 정보가 부호화된다. 이 잔차 정보는, 합성 화상의 결락 정보를 포함하고 있으며, 유용한 정보이다.
그리고, 시점 합성을 행할 때, 도 4에 도시한 바와 같이 입력 화상(1)을 사용하여 시점 합성 화상(2)을 생성하고, 이 시점 합성 화상(2)을 잔차 정보로 보상하여, 최종적인 시점 합성 화상(41)을 생성한다.
이와 같이, 본 발명에서는, 시점 합성 화상(2)에 잔차 정보를 추가하기 때문에, 결락 정보가 보상되어, 고화질의 시점 합성 화상(41)을 생성할 수 있다.
[시스템의 한 실시 형태의 구성예]
도 5는, 본 발명을 적용한 시스템의 한 실시 형태의 구성예를 도시하는 블록도이다.
또한, 도 5에서 도 2와 동일한 것에는 동일한 부호를 부여하였으며, 설명은 반복이 되므로 적절히 생략한다.
도 5의 시스템에는, N 시점의 2D 화상(11)(기준 2D 화상), N 시점의 깊이 화상(12) 및 시점 합성 위치의 (M-N) 시점의 2D 화상(101)이 입력된다. 이 (M-N) 시점의 2D 화상(101)은, 시점 합성 위치의 카메라에 의해 촬상되어, 잔차 정보를 취득하기 위해 사용된다.
시점 합성 장치(102)는, 잔차 정보 취득 장치(103)에서 잔차 정보를 취득하기 위해, 도 1의 시점 합성 장치(15)와 마찬가지로 N 시점의 2D 화상(11)과 N 시점의 깊이 화상(12)을 사용하여 (M-N) 시점의 시점 합성 화상을 생성하고, 잔차 정보 취득 장치(103)에 공급한다.
잔차 정보 취득 장치(103)는, 시점 합성 장치(102)로부터 공급되는 (M-N) 시점의 시점 합성 화상과, 시점 합성 위치의 (M-N) 시점의 2D 화상(101)의 차분을 계산하여, 잔차 정보로 한다. 잔차 정보 취득부(103)는, 그 잔차 정보를 다시점 영상 부호화 장치(104)에 공급한다.
다시점 영상 부호화 장치(104)는, N 시점의 2D 화상(11), N 시점의 깊이 화상(12) 및 잔차 정보 취득 장치(103)로부터 공급되는 잔차 정보를 AVC 방식이나 MVC 방식으로 부호화한다. 그리고, 다시점 영상 부호화 장치(104)는, 부호화의 결과 얻어지는 부호화 스트림을 다시점 영상 복호 장치(105)에 공급한다.
다시점 영상 복호 장치(105)는, 다시점 영상 부호화 장치(104)로부터 공급되는 부호화 스트림을 AVC 방식이나 MVC 방식에 대응하는 방식으로 복호하고, N 시점의 2D 화상(11), N 시점의 깊이 화상(12) 및 잔차 정보를 얻는다. 다시점 영상 복호 장치(105)는, 그 N 시점의 2D 화상(11)과 N 시점의 깊이 화상(12)을 시점 합성 장치(15)에 공급하고, 잔차 정보를 잔차 정보 보상 장치(106)에 공급한다.
잔차 정보 보상 장치(106)는, 시점 합성 장치(15)에 의해 생성된 (M-N) 시점의 시점 합성 화상에 다시점 영상 복호 장치(105)로부터 공급되는 잔차 정보를 추가하고, (M-N) 시점의 시점 합성 화상의 결락 정보를 보상한다. 잔차 정보 보상 장치(106)는, 보상 후의 (M-N) 시점의 시점 합성 화상과, 시점 합성 장치(15)로부터 공급되는 N 시점의 2D 화상(11)을 M 시점의 재구성 2D 화상(107)으로서 출력한다. 이 M 시점 재구성 2D 화상(107)은, 예를 들어 입체 화상의 표시에 사용되고, 유저는 이 입체 화상을 안경을 사용하지 않고 볼 수 있다.
[시스템의 처리의 설명]
도 6은, 도 5의 시스템의 처리를 설명하는 흐름도이다.
도 6의 스텝 S11에 있어서, 시점 합성 장치(102)는 N 시점의 2D 화상(11)과 N 시점의 깊이 화상(12)을 사용하여 (M-N) 시점의 시점 합성을 행하고, (M-N) 시점의 시점 합성 화상을 생성한다. 그리고, 시점 합성 장치(102)는, 그 (M-N) 시점의 시점 합성 화상을 잔차 정보 취득 장치(103)에 공급한다.
스텝 S12에 있어서, 잔차 정보 취득 장치(103)는 시점 합성 장치(102)로부터 공급되는 (M-N) 시점의 시점 합성 화상과, 시점 합성 위치의 (M-N) 시점의 2D 화상(101)의 잔차 정보를 계산한다. 잔차 정보 취득부(103)는, 그의 잔차 정보를 다시점 영상 부호화 장치(104)에 공급한다.
스텝 S13에 있어서, 다시점 영상 부호화 장치(104)는 N 시점의 2D 화상(11) 및 N 시점의 깊이 화상(12), 및 잔차 정보 취득 장치(103)로부터 공급되는 잔차 정보를 AVC 방식이나 MVC 방식으로 부호화한다. 그리고, 다시점 영상 부호화 장치(104)는, 그 결과 얻어지는 부호화 스트림을 다시점 영상 복호 장치(105)에 공급한다.
스텝 S14에 있어서, 다시점 영상 복호 장치(105)는 다시점 영상 부호화 장치(104)로부터 공급되는 부호화된 N 시점의 2D 화상(11) 및 N 시점의 깊이 화상(12), 및 잔차 정보인 부호화 스트림을 AVC 방식이나 MVC 방식에 대응하는 방식으로 복호한다. 그리고, 다시점 영상 복호 장치(105)는, 그 결과 얻어지는 N 시점의 2D 화상(11), N 시점의 깊이 화상(12) 및 잔차 정보를 시점 합성 장치(15)에 공급하고, 잔차 정보를 잔차 정보 보상 장치(106)에 공급한다.
스텝 S15에 있어서, 시점 합성 장치(15)는, 다시점 영상 복호 장치(105)로부터 공급되는 N 시점의 2D 화상(11)과 N 시점의 깊이 화상을 사용하여 (M-N) 시점의 시점 합성을 행하고, (M-N) 시점의 시점 합성 화상을 생성한다. 그리고, 시점 합성 장치(102)는, 그 (M-N) 시점의 시점 합성 화상과 N 시점의 2D 화상(11)을 잔차 정보 취득 장치(103)에 공급한다.
스텝 S16에 있어서, 잔차 정보 보상 장치(106)는 시점 합성 장치(15)에 의해 생성된 (M-N) 시점의 시점 합성 화상에 다시점 영상 복호 장치(105)로부터 공급되는 잔차 정보를 추가하고, (M-N) 시점의 시점 합성 화상의 결락 정보를 보상한다.
스텝 S16에 있어서, 잔차 정보 보상 장치(106)는 보상 후의 (M-N) 시점의 시점 합성 화상과, 시점 합성 장치(105)로부터 공급되는 N 시점의 2D 화상(11)을 M 시점의 재구성 2D 화상(107)으로서 출력한다. 그리고, 처리는 종료된다.
또한, 상술한 설명에서는, N 시점의 2D 화상(11), N 시점의 깊이 화상(12) 및 잔차 정보가 모두 부호화되었지만, N 시점의 2D 화상(11) 이외에는 부호화되지 않아도 좋다.
또한, 다시점 영상 부호화 장치(104)는, N 시점의 2D 화상(11), N 시점의 깊이 화상(12) 및 잔차 정보와 함께, 각 시점 합성 화상에 대한 잔차 정보가 존재하는지의 여부를 나타내는 잔차 존재 정보도 포함시켜 다시점 영상 복호 장치(105)에 전송하도록 해도 좋다.
또한, N 시점의 2D 화상(11) 및 N 시점의 깊이 화상(12)과 함께 다시점 영상 복호 장치(105)에 전송되는 잔차 정보는, N 시점의 2D 화상(11)의 시점보다 외측의 시점 합성 위치의 시점 합성 화상(도 3의 예에서는, 좌측의 시점의 입력 화상(1)보다 좌측의 2 시점의 시점 합성 화상(2)과, 우측의 시점의 입력 화상(1)보다 우측의 2 시점의 시점 합성 화상(2))에 대한 잔차 정보만이어도 좋다. 마찬가지로, 전송되는 잔차 정보는, N 시점의 2D 화상(11)의 시점보다 내측의 시점 합성 위치의 시점 합성 화상(도 3의 예에서는, 2 시점의 입력 화상(1)의 각 시점의 사이의 2 시점의 시점 합성 화상(2))에 대한 잔차 정보만이어도 좋다.
또한, 본 명세서에 있어서 시스템이란, 복수의 장치에 의해 구성되는 장치 전체를 나타내는 것이다.
또한, 본 발명의 실시 형태는 상술한 실시 형태로 한정되는 것은 아니며, 본 발명의 요지를 일탈하지 않는 범위에서 다양한 변경이 가능하다.
15: 시점 합성 장치
104: 다시점 영상 부호화 장치
105: 다시점 영상 복호 장치
106: 잔차 정보 보상 장치

Claims (12)

  1. 화상 처리 장치로서,
    기준 2D 화상과 깊이 정보를 사용하여 생성된 시점 합성 화상과, 상기 시점 합성 화상의 시점 합성 위치에 있어서의 2D 화상과의 차분인 잔차 정보를 수취하는 수취 수단과,
    상기 기준 2D 화상을 부호화하여 부호화 스트림을 생성하고, 상기 수취 수단에 의해 수취된 상기 잔차 정보를 부호화하여 잔차 스트림을 생성하는 부호화 수단과,
    상기 부호화 수단에 의해 생성된 상기 잔차 스트림, 상기 깊이 정보 및 상기 부호화 수단에 의해 생성된 상기 부호화 스트림을 전송하는 전송 수단
    을 구비하는, 화상 처리 장치.
  2. 제1항에 있어서,
    상기 부호화 수단은, 상기 깊이 정보를 부호화하여 깊이 스트림을 생성하고,
    상기 전송 수단은, 상기 잔차 스트림, 상기 부호화 수단에 의해 생성된 깊이 스트림 및 상기 부호화 스트림을 전송하는, 화상 처리 장치.
  3. 제1항에 있어서,
    상기 시점 합성 화상과 상기 시점 합성 화상의 시점 합성 위치에 있어서의 2D 화상과의 차분을 계산하여, 상기 잔차 정보를 산출하는 산출 수단을 더 구비하는, 화상 처리 장치.
  4. 제1항에 있어서,
    상기 기준 2D 화상의 시점수는 N이며,
    상기 시점 합성 화상의 시점수는 N보다 큰 M으로부터 N을 감산한 값인, 화상 처리 장치.
  5. 제4항에 있어서,
    상기 기준 2D 화상의 시점수는 2이며,
    상기 시점 합성 화상의 시점수는 6인, 화상 처리 장치.
  6. 제1항에 있어서,
    상기 수취 수단은, 상기 시점 합성 화상에 대한 잔차 정보가 존재하는지 여부를 나타내는 잔차 존재 정보도 수취하고,
    상기 전송 수단은, 상기 수취 수단에 의해 수취된 잔차 존재 정보도 전송하는, 화상 처리 장치.
  7. 제1항에 있어서,
    상기 잔차 정보는, 상기 기준 2D 화상의 시점보다 외측의 시점 합성 위치의 시점 합성 화상인 외측 시점 합성 화상과, 상기 외측 시점 화상의 시점 합성 위치에 있어서의 2D 화상과의 차분인, 화상 처리 장치.
  8. 제7항에 있어서,
    상기 수취 수단은, 상기 외측 시점 합성 화상과 상기 외측 시점 화상의 시점 합성 위치에 있어서의 2D 화상과의 차분이 존재하는지 여부를 나타내는 외측 잔차 존재 정보를 수취하고,
    상기 전송 수단은, 상기 수취 수단에 의해 수취된 상기 외측 잔차 존재 정보도 전송하는, 화상 처리 장치.
  9. 제1항에 있어서,
    상기 잔차 정보는, 상기 기준 2D 화상의 시점보다 내측의 시점 합성 위치의 시점 합성 화상인 내측 시점 합성 화상과, 상기 내측 시점 화상의 시점 합성 위치에 있어서의 2D 화상과의 차분인, 화상 처리 장치.
  10. 화상 처리 방법으로서,
    화상 처리 장치가,
    기준 2D 화상과 깊이 정보를 사용하여 생성된 시점 합성 화상과, 상기 시점 합성 화상의 시점 합성 위치에 있어서의 2D 화상과의 차분인 잔차 정보를 수취하는 수취 스텝과,
    상기 기준 2D 화상을 부호화하여 부호화 스트림을 생성하고, 상기 수취 스텝의 처리에 의해 수취된 상기 잔차 정보를 부호화하여 잔차 스트림을 생성하는 부호화 스텝과,
    상기 부호화 스텝의 처리에 의해 생성된 상기 잔차 스트림, 상기 깊이 정보 및 상기 부호화 스텝의 처리에 의해 생성된 상기 부호화 스트림을 전송하는 전송 스텝
    을 포함하는, 화상 처리 방법.
  11. 화상 처리 장치로서,
    기준 2D 화상과 깊이 정보를 사용하여 생성된 시점 합성 화상과, 상기 시점 합성 화상의 시점 합성 위치에 있어서의 2D 화상과의 차분인 잔차 정보의 부호화 스트림인 잔차 스트림과, 상기 깊이 정보를 수취하는 수취 수단과,
    상기 기준 2D 화상을 부호화한 결과 얻어지는 부호화 스트림과 상기 잔차 스트림을 복호하는 복호 수단과,
    상기 복호 수단에 의해 복호된 상기 기준 2D 화상과 상기 수취 수단에 의해 수취된 상기 깊이 정보를 사용하여, 상기 시점 합성 화상을 생성하는 생성 수단과,
    상기 복호 수단에 의해 복호된 상기 잔차 정보를 상기 생성 수단에 의해 생성된 상기 시점 합성 화상에 추가하는 잔차 정보 보상 수단
    을 구비하는, 화상 처리 장치.
  12. 화상 처리 방법으로서,
    화상 처리 장치가,
    기준 2D 화상과 깊이 정보를 사용하여 생성된 시점 합성 화상과, 상기 시점 합성 화상의 시점 합성 위치에 있어서의 2D 화상과의 차분인 잔차 정보의 부호화 스트림인 잔차 스트림과, 상기 깊이 정보를 수취하는 수취 스텝과,
    상기 기준 2D 화상을 부호화한 결과 얻어지는 부호화 스트림과 상기 잔차 스트림을 복호하는 복호 스텝과,
    상기 복호 스텝의 처리에 의해 복호된 상기 기준 2D 화상과 상기 수취 스텝의 처리에 의해 수취된 상기 깊이 정보를 사용하여, 상기 시점 합성 화상을 생성하는 생성 스텝과,
    상기 복호 스텝의 처리에 의해 복호된 상기 잔차 정보를 상기 생성 스텝의 처리에 의해 생성된 상기 시점 합성 화상에 추가하는 잔차 정보 보상 스텝
    을 포함하는, 화상 처리 방법.
KR20127028984A 2010-05-13 2011-04-25 화상 처리 장치 및 화상 처리 방법 KR20130084227A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2010-111561 2010-05-13
JP2010111561A JP2011244025A (ja) 2010-05-13 2010-05-13 画像処理装置および画像処理方法
PCT/JP2011/060014 WO2011142239A1 (ja) 2010-05-13 2011-04-25 画像処理装置および画像処理方法

Publications (1)

Publication Number Publication Date
KR20130084227A true KR20130084227A (ko) 2013-07-24

Family

ID=44914295

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20127028984A KR20130084227A (ko) 2010-05-13 2011-04-25 화상 처리 장치 및 화상 처리 방법

Country Status (9)

Country Link
US (1) US20130050424A1 (ko)
EP (1) EP2571275A1 (ko)
JP (1) JP2011244025A (ko)
KR (1) KR20130084227A (ko)
CN (1) CN102934450A (ko)
BR (1) BR112012028441A2 (ko)
RU (1) RU2012147271A (ko)
TW (1) TW201204058A (ko)
WO (1) WO2011142239A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014082541A (ja) * 2012-10-12 2014-05-08 National Institute Of Information & Communication Technology 互いに類似した情報を含む複数画像のデータサイズを低減する方法、プログラムおよび装置
CN103200405B (zh) * 2013-04-03 2016-06-01 清华大学 一种3dv视频编码方法及编码器
CN110012310B (zh) 2019-03-28 2020-09-25 北京大学深圳研究生院 一种基于自由视点的编解码方法及装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3551467B2 (ja) * 1994-04-13 2004-08-04 松下電器産業株式会社 視差演算装置、視差演算方法及び画像合成装置
JP3593466B2 (ja) * 1999-01-21 2004-11-24 日本電信電話株式会社 仮想視点画像生成方法およびその装置
JP4414379B2 (ja) * 2005-07-28 2010-02-10 日本電信電話株式会社 映像符号化方法、映像復号方法、映像符号化プログラム、映像復号プログラム及びそれらのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP4793366B2 (ja) 2006-10-13 2011-10-12 日本ビクター株式会社 多視点画像符号化装置、多視点画像符号化方法、多視点画像符号化プログラム、多視点画像復号装置、多視点画像復号方法、及び多視点画像復号プログラム
WO2009001255A1 (en) * 2007-06-26 2008-12-31 Koninklijke Philips Electronics N.V. Method and system for encoding a 3d video signal, enclosed 3d video signal, method and system for decoder for a 3d video signal
JP5346076B2 (ja) * 2008-04-25 2013-11-20 トムソン ライセンシング 奥行きを用いた視点間スキップモード
CN101616322A (zh) * 2008-06-24 2009-12-30 深圳华为通信技术有限公司 立体视频编解码方法、装置及***

Also Published As

Publication number Publication date
US20130050424A1 (en) 2013-02-28
EP2571275A1 (en) 2013-03-20
RU2012147271A (ru) 2014-05-20
TW201204058A (en) 2012-01-16
JP2011244025A (ja) 2011-12-01
BR112012028441A2 (pt) 2016-07-19
WO2011142239A1 (ja) 2011-11-17
CN102934450A (zh) 2013-02-13

Similar Documents

Publication Publication Date Title
EP2604036B1 (en) Multi-view signal codec
KR101622690B1 (ko) 3차원 영상신호 처리 방법과 이를 구현하기 위한 영상표시 장치
KR100636785B1 (ko) 다시점 입체 영상 시스템 및 이에 적용되는 압축 및 복원방법
JP5303754B2 (ja) 多視点映像符号化方法、多視点映像復号方法、多視点映像符号化装置、多視点映像復号装置、及びプログラム
KR101396351B1 (ko) 스테레오스코픽 영상 비트스트림 생성 방법 및 장치
KR20130091323A (ko) 스테레오스코픽 및 멀티-뷰 이미지들의 송신, 프로세싱 및 렌더링을 위한 시스템 및 방법
JP6027143B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、および画像復号プログラム
JPWO2012131895A1 (ja) 画像符号化装置、方法及びプログラム、画像復号化装置、方法及びプログラム
US8798356B2 (en) Apparatus and method for encoding and decoding multi-view image
CN101248670A (zh) 估计视差矢量的方法以及使用该视差矢量估计方法对多视角运动图像编码和解码的方法和设备
US7697609B2 (en) Apparatus and method for encoding and decoding a moving picture using digital watermarking
US11889115B2 (en) Method and device for multi-view video decoding and method and device for image processing
KR20150079905A (ko) 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 화상 부호화 프로그램, 화상 복호 프로그램 및 기록 매체
WO2013159702A1 (zh) 三维视频序列辅助信息的解码方法、编码方法及装置
TW200931948A (en) Generation of a signal
KR20130084227A (ko) 화상 처리 장치 및 화상 처리 방법
JP2015019326A (ja) 符号化装置および符号化方法、並びに、復号装置および復号方法
Maugey et al. Consistent view synthesis in interactive multiview imaging
JP2004048725A5 (ja) 画像伝送装置、送信装置、受信装置、送信方法および受信方法
US20110234769A1 (en) Apparatus and method for displaying images in image system
KR20070075354A (ko) 비디오 신호의 디코딩/인코딩 방법 및 장치
KR102468223B1 (ko) 3dtv 방송 송신 장치 및 그의 기준영상 선택 방법
JP2015005807A (ja) 立体映像符号化装置、立体映像復号装置及び立体映像符号化システム、並びに、立体映像符号化プログラム及び立体映像復号プログラム
KR20070098437A (ko) 비디오 신호의 디코딩/인코딩 방법 및 장치
JP2018093448A (ja) 映像データ処理装置および多視点映像符号化方式を応用した付加価値情報の伝送方法

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid