KR20100022065A

KR20100022065A - 영상 부호화 방법 및 복호 방법, 그 장치, 그 프로그램 및 프로그램을 기록한 기록 매체

Info

Publication number: KR20100022065A
Application number: KR20097026557A
Authority: KR
Inventors: 신야 시미즈; 히데아키 기마타; 가즈토 가미쿠라; 요시유키 야시마
Original assignee: 니폰덴신뎅와 가부시키가이샤
Priority date: 2007-06-25
Filing date: 2008-06-23
Publication date: 2010-02-26
Also published as: EP2161937A4; RU2444856C2; JPWO2009001791A1; TW200910975A; RU2009147012A; CN101690234B; JP5197591B2; EP2161937A1; TWI364221B; WO2009001791A1; US20100189177A1; US8204118B2; KR101103723B1; CA2692250C; CN101690234A; BRPI0813261A2; CA2692250A1

Abstract

다시점 화상을 부호화할 때 부호화 대상의 화상을 촬영한 카메라의 시점과 다른 시점에서 이미 부호화된 참조 카메라 화상과, 그 참조 카메라 화상과 부호화 대상의 화상간의 시차 정보로부터, 부호화 대상의 화상을 촬영한 카메라에 대한 합성 화상을 생성하여 부호화 대상의 화상을 부호화하는 영상 부호화 장치. 차후 부호화할 부호화 대상 영역의 입력 화상과, 그것에 대한 상기 합성 화상과의 차분 화상의 예측 화상을 생성하고, 상기 예측 차분 화상과 부호화 대상 영역의 상기 합성 화상과의 합으로 표현된 그 영역의 예측 화상을 생성하고, 상기 부호화 대상 영역의 예측 화상과 그 영역의 부호화 대상 화상과의 차로 표시되는 예측 잔차를 부호화한다.

Description

영상 부호화 방법 및 복호 방법, 그 장치, 그 프로그램 및 프로그램을 기록한 기록 매체{Video encoding method, decoding method, device thereof, program thereof, and recording medium containing the program}

본 발명은 다시점 영상의 부호화에 사용되는 영상 부호화 장치 및 그 방법과, 그 영상 부호화 기술에 의해 부호화된 부호화 데이터를 복호하는 영상 복호 장치 및 그 방법과, 그 영상 부호화 장치의 실현에 사용되는 영상 부호화 프로그램 및 그 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체와, 그 영상 복호 장치의 실현에 사용되는 영상 복호 프로그램 및 그 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체에 관한 것이다.

본원은 2007년 6월 25일에 출원된 일본특원2007-165828호에 기초하여 우선권을 주장하고 그 내용을 여기에 원용한다.

다시점 화상이란, 여러 개의 카메라로 같은 피사체와 배경을 촬영한 여러 개의 화상이고, 다시점 동화상(다시점 영상)이란, 그 동화상이다. 이하에서는, 하나의 카메라로 촬영된 동화상을 "2차원 동화상"이라고 부르고, 같은 피사체와 배경을 촬영한 2차원 동화상군을 다시점 동화상이라고 부른다.

2차원 동화상은 시간 방향과 강한 상관이 있고, 그 상관을 이용함으로써 부 호화 효율을 높인다. 반면, 다시점 화상이나 다시점 동화상에서는 각 카메라가 동기된 경우, 같은 시간에 대응한 각 카메라의 영상은 완전히 같은 상태의 피사체와 배경을 다른 위치에서 촬영한 것이므로 카메라간에 강한 상관이 있다. 다시점 화상이나 다시점 동화상의 부호화에서는 이 상관을 이용함으로써 부호화 효율을 높일 수 있다.

우선, 2차원 동화상의 부호화 기술에 관한 종래 기술을 설명하기로 한다.

국제 부호화 표준인 H.264, MPEG-2, MPEG-4를 비롯한 종래의 많은 2차원 동화상 부호화 방식에서는, 움직임 보상, 직교 변환, 양자화, 엔트로피 부호화라는 기술을 이용하여 고효율의 부호화를 수행한다. 움직임 보상이라고 불리는 기술이 프레임간의 시간 상관을 이용하는 방법이다.

H.264에서 사용되고 있는 움직임 보상 기술의 상세에 대해서는 하기의 비특허문헌 1에 기재되어 있는데, 이하에서 개요를 설명하기로 한다.

H.264의 움직임 보상에서는 부호화 대상 프레임을 여러가지 사이즈의 블록으로 분할하고 각 블록에서 다른 움직임 벡터를 가질 수 있도록 하여 국소적인 영상 변화에 대해서도 높은 부호화 효율을 달성하였다. 또 참조 프레임의 후보로서 부호화 대상 프레임에 대해 과거 또는 미래의 이미 부호화된 여러 장의 프레임을 준비하여 각 블록에서 다른 참조 프레임을 사용할 수 있도록 한다. 이로써 시간 변화에 따라 오클루전(Occlusion)이 생기는 영상에 대해서도 높은 부호화 효율을 달성하였다.

다음으로 종래의 다시점 화상이나 다시점 동화상의 부호화 방식에 대해서 설 명하기로 한다.

다시점 동화상의 부호화에 대해서는 움직임 보상을 같은 시각의 다른 시점에 놓인 카메라로 촬영된 화상에 적용한 "시차 보상"에 의해 고효율로 다시점 동화상을 부호화하는 방식이 종래부터 존재한다. 여기에서 시차란, 다른 위치에 배치된 카메라의 화상 평면상에서 피사체상의 같은 위치가 투영되는 위치의 차이다.

도 12에 이 카메라간에 생기는 시차의 개념도를 도시한다. 이 개념도에서는, 광축이 평행한 카메라의 화상 평면을 수직으로 내려다 본 것으로 되어 있다. 이와 같이 다른 카메라의 화상 평면상에서 피사체상의 같은 위치가 투영되는 위치는, 일반적으로 대응점이라고 불린다. 시차 보상은, 이 대응 관계에 기초하여 부호화 대상 프레임의 각 화소값을 참조 프레임으로 예측하여 그 예측 잔차와, 대응 관계를 나타내는 시차 정보를 부호화한다.

다시점 동화상의 각 프레임에는 시간 방향의 리던던시성과 카메라간의 리던던시성이 동시에 존재하기 때문에 양쪽의 리던던시성을 동시에 없애는 방법으로서, 하기에 나타내는 특허문헌 1의 수법이 있다.

이 수법으로는, 입력 화상과 시차 보상 화상과의 차분 화상을 시시각각 생성하고 그것을 2차원 동화상으로 선정하여 움직임 보상을 적용하면서 부호화한다. 이 방법에 의하면, 카메라간의 리던던시성을 제거하는 시차 보상에서는 제거할 수 없었던 시간 방향의 리던던시성을, 움직임 보상에 의해 제거할 수 있기 때문에 최종적으로 부호화되는 예측 잔차가 적어져 높은 부호화 효율을 달성할 수 있다.

비특허문헌 1: ITU-T Rec.H.264/ISO/IEC 11496-10, "Editor's Proposed Draft Text Modifications for Joint Video Specification(ITU-T Rec.H.264/ISO/IEC 11496-10AVC), Draft 7", Document JVT-E022d7, pp.10-13, 62-73, September 2002

특허문헌 1: 일본특개2007-036800호 공보

시차 보상 잔차 신호(입력 화상과 시차 보상 화상과의 차분 화상)를 영상으로 선정하여 움직임 보상을 하는 종래의 다시점 동화상의 부호화 방법에 의하면, 시간 방향과 카메라간의 리던던시성을 동시에 갖는 부분의 예측 잔차를 줄일 수 있기 때문에 다시점 동화상을 효율적으로 부호화할 수 있다.

그러나 차분 동화상 신호의 비트 심도(양자화 비트수)는 통상의 영상보다 1비트 커지기 때문에 이 방식으로는 부호화/복호기의 규모는 원래 영상을 부호화하는 것보다 커진다. 즉, 예를 들면, 8비트의 화상의 경우, 최소값은 0이고 최대값은 255인데, 이 경우의 차분 화상은 최소값이 ―255이고 최대값이 +255가 됨으로써 차분 동화상 신호의 비트 심도는 통상의 영상보다 1비트 커지는 것이다.

또 기준 시점(하나의 카메라가 기준 시점의 카메라로서 선출되는)에 대응하는 카메라 등, 통상의 영상 그대로 부호화/복호를 수행하는 카메라도 존재하기 때문에 다시점 동화상 부호화/복호기 전체적으로는 2종류의 비트 심도를 다루기 위한 기구를 구비할 필요가 있어 회로 규모나 실장 규모가 커진다는 문제가 있다.

또 오클루전 등으로 다른 카메라의 영상으로부터 부호화/복호 대상의 카메라 영상을 예측할 수 없는 영역에서, 차분을 사용한 부호화/복호에서는 차분을 사용하지 않는 경우에 비해 효율이 악화되는 경우가 있다. 따라서 차분을 사용한 부호화/ 복호와 차분을 사용하지 않는 부호화/복호를 적응적으로 바꾼 쪽이 부호화 효율을 향상시킬 수 있다.

그러나 차분의 경우와 그렇지 않은 경우에는 비트 심도가 다르기 때문에 같은 부호화/복호부에서 처리를 할 수 없다. 따라서 적응적으로 바꾸는 처리를 할 경우에는, 한 시점의 영상을 부호화/복호하는 부분만으로도 2종류의 신호를 취급할 수 있는 부호화/복호부를 구비할 필요가 있어 회로 규모나 실장 규모가 커지는 문제가 있다.

이들 회로나 실장 규모뿐만 아니라 차분 동화상에서 움직임 보상을 할 경우, 원래 영상일 때의 화소값이 허용되는 값의 최대값이나 최소값으로 되어 있는 부분에서는 쓸모없는 신호를 부호화하는 경우가 있을 수 있다.

예를 들면 8비트의 영상에서 원래 화상이 있는 화소의 화소값이 255이고, 그 위치의 합성 화상(시차 보상 화상)의 화소값이 250이라고 하자. 즉, 이 화소에서의 차분 화상의 화소값은 5이다. 이 때, 다른 시각의 차분 화상을 사용하여 이 화소의 화소값을 움직임 보상을 사용하여 예측했을 때의 값이 10인 경우, 5와 10의 차인 ―5라는 값이 부호화된다.

그러나 원래 영상의 화소값의 최대값은 255이고, 255보다 큰 값은 전부 255로 클리핑되기 때문에 ―5를 부호화하는 대신에 0을 부호화했을 때에 얻어진 합성 화상의 화소값 250에 차분 화상의 움직임 보상에 의한 예측값 10을 더함으로써 얻어지는 260이라는 값도 또한 255라는 입력 영상의 값을 나타낼 수 있다. 즉, 이 경우 ―5라는 차분 화상간의 예측 잔차를 부호화하는 것은 무의미하며 부호량의 증가 를 초래한다.

이와 같이 차분 동화상에서 움직임 보상을 할 경우, 원래 영상일 때의 화소값이 허용되는 값의 최대값이나 최소값으로 되어 있는 부분에서는 쓸모없는 신호를 부호화하는 일이 일어난다.

본 발명은 상기 사정을 감안하여 이루어진 것으로서, 다시점 영상을 부호화할 때 차분 화상을 사용한 예측값에 합성 화상의 화소값을 가산하여 입력 화상에 대한 예측 화상으로 함으로써 부호화/복호기에서 여러 개의 비트 심도의 영상 신호를 다룰 필요가 없다, 입력 영상과 합성 영상의 차분 영상에 대한 예측을 사용한 새로운 영상 부호화 복호기술의 제공을 목적으로 한다.

따라서 본 발명은 시점이 다른 여러 개의 카메라에 의해 촬영된 다시점 화상을 부호화할 때 부호화 대상의 화상을 촬영한 카메라의 시점과 다른 적어도 하나의 시점에서의 이미 부호화된 참조 카메라 화상과, 그 참조 카메라 화상과 부호화 대상의 화상간의 시차 정보로부터 부호화 대상의 화상을 촬영한 카메라에 대한 합성 화상을 생성하고, 그 합성 화상을 사용하여 부호화 대상의 화상을 부호화하는 영상 부호화 장치로서,

차후 부호화할 부호화 대상 영역의 입력 화상과, 그것에 대한 상기 합성 화상과의 차분 화상의 예측 화상을 생성하는 차분 화상 예측 수단과,

상기 차분 화상 예측 수단이 생성한 예측 차분 화상과 부호화 대상 영역의 상기 합성 화상과의 합으로 표시되는, 그 영역의 예측 화상을 생성하는 예측 화상 생성 수단과,

상기 예측 화상 생성 수단이 생성한 부호화 대상 영역의 예측 화상과 그 영역의 부호화 대상 화상과의 차로 표시되는, 예측 잔차를 부호화하는 예측 잔차 부호화 수단을 구비하는,

것을 특징으로 하는 영상 부호화 장치를 제공한다.

전형예로서, 상기 차분 화상 예측 수단은 부호화 대상 화상의 이미 부호화된 영역의 복호 화상과 그 영역의 상기 합성 화상과의 차로 표시되는, 부호화 대상 화상이 촬영된 시각과 같은 시각의 차분 화상을 사용하여 상기 부호화 대상 영역의 차분 화상의 예측 화상을 생성한다.

다른 전형예로서, 상기 차분 화상 예측 수단은 부호화 대상 화상을 촬영한 시점에서 촬영된 이미 부호화된 화상의 복호 화상과 그 복호 화상과 같은 시각의 상기 합성 화상과의 차로 표시되는, 부호화 대상 화상이 촬영된 시각과는 다른 시각의 차분 화상을 사용하여 상기 부호화 대상 영역의 차분 화상의 예측 화상을 생성한다.

다른 전형예로서,

부호화 대상 화상의 부호화 데이터를 복호하여 부호화 대상 화상의 복호 화상을 생성하는 화상 복호 수단과,

상기 화상 복호 수단이 복호한 복호 화상과 상기 합성 화상과의 차로 표시되는 복호 차분 화상을 생성하고, 그 생성한 복호 차분 화상을 축적 메모리에 축적하는 복호 차분 화상 생성 축적 수단을 구비하고,

상기 차분 화상 예측 수단은, 상기 축적 메모리에 축적되어 있는 복호 차분 화상을 사용하여 상기 부호화 대상 영역의 차분 화상의 예측 화상을 생성한다.

다른 전형예로서,

상기 예측 잔차 부호화 수단이 부호화한 예측 잔차를 복호하는 예측 잔차 복호 수단과,

상기 예측 잔차 복호 수단이 복호한 복호 예측 잔차와 상기 예측 차분 화상과의 합으로 표시되는 복호 차분 화상을 생성하고, 그 생성한 복호 차분 화상을 축적 메모리에 축적하는 복호 차분 화상 생성 축적 수단을 구비하고,

이 경우의 바람직한 예로서, 상기 복호 차분 화상 생성 축적 수단은, 상기 복호 차분 화상의 각 화소가 소정의 유효 범위내의 화소값을 갖도록 클리핑한다.

다른 전형예로서,

부호화 대상 화상의 이미 부호화된 영역의 복호 화상 및 부호화 대상 화상을 촬영한 시점에서 촬영되고, 또한 부호화 대상 화상과는 다른 시각에 촬영된 이미 부호화된 화상의 복호 화상 중 어느 하나를 사용하여 부호화 대상 화상의 예측 화상을 생성하는 원화상 예측 수단을 구비하고,

상기 예측 화상 생성 수단은, 선택적으로 상기 예측 차분 화상과 상기 합성 화상에 기초하여 부호화 대상 영역의 예측 화상을 생성하거나, 또는 상기 원화상 예측 수단이 생성한 예측 화상을 그대로 이용하여 부호화 대상 영역의 예측 화상을 생성한다.

바람직한 예로서, 상기 예측 화상 생성 수단은 상기 예측 화상의 각 화소가 소정의 유효 범위내의 화소값을 갖도록 클리핑한다.

본 발명은 또 시점이 다른 여러 개의 카메라에 의해 촬영된 다시점 화상의 부호화 데이터를 복호할 때 부호화 대상의 화상을 촬영한 카메라의 시점과 다른 적어도 하나의 시점에서의 이미 복호된 참조 카메라 화상과, 그 참조 카메라 화상과 복호 대상의 화상간의 시차 정보로부터, 복호 대상의 화상을 촬영한 카메라에 대한 합성 화상을 생성하고, 그 합성 화상을 사용하여 복호 대상의 화상의 부호화 데이터를 복호하는 영상 복호 장치로서,

부호화 데이터에 포함되는 복호 대상 화상의 예측 잔차를 복호하는 예측 잔차 복호 수단과,

앞으로 복호할 복호 대상 영역의 복호 대상 화상과, 그것에 대한 상기 합성 화상과의 차분 화상의 예측 화상을 생성하는 차분 화상 예측 수단과,

복호 대상 영역에 대해서, 상기 차분 화상 예측 수단이 생성한 예측 차분 화상과, 상기 예측 잔차 복호 수단이 복호한 예측 잔차와, 상기 합성 화상을 합함으로써 복호 대상 화상을 복호하는 화상 복호 수단을 구비하는

것을 특징으로 하는 영상 복호 장치를 제공한다.

전형예로서, 상기 차분 화상 예측 수단은, 복호 대상 화상의 이미 복호된 영역의 복호 화상과 그 영역의 상기 합성 화상과의 차로 표시되는, 복호 대상 화상이 촬영된 시각과 같은 시각의 차분 화상을 사용하여 상기 복호 대상 영역의 차분 화상의 예측 화상을 생성한다.

다른 전형예로서, 상기 차분 화상 예측 수단은, 복호 대상 화상을 촬영한 시점에서 촬영된 이미 복호된 참조 화상과 그 참조 화상과 같은 시각의 상기 합성 화상과의 차로 표시되는, 복호 대상 화상이 촬영된 시각과는 다른 시각의 차분 화상을 사용하여 상기 복호 대상 영역의 차분 화상의 예측 화상을 생성한다.

다른 전형예로서,

상기 화상 복호 수단이 생성한 복호 화상과 상기 합성 화상과의 차로 표시되는 복호 차분 화상을 생성하여 축적 메모리에 축적하는 복호 차분 화상 생성 축적 수단을 구비하고,

상기 차분 화상 예측 수단은 상기 축적 메모리에 축적되어 있는 복호 차분 화상을 사용하여 상기 복호 대상 영역의 차분 화상의 예측 화상을 생성한다.

다른 전형예로서,

상기 예측 잔차 복호 수단이 복호한 복호 예측 잔차와 상기 예측 차분 화상과의 합으로 표시되는 복호 차분 화상을 생성하여 축적 메모리에 축적하는 복호 차분 화상 생성 축적 수단을 구비하고,

상기 차분 화상 예측 수단은, 상기 축적 메모리에 축적되어 있는 복호 차분 화상을 사용하여 상기 복호 대상 영역의 차분 화상의 예측 화상을 생성한다.

이 경우의 바람직한 예로서, 상기 복호 차분 화상 생성 축적 수단은 상기 복호 차분 화상의 각 화소가 소정의 유효 범위내의 화소값을 갖도록 클리핑한다.

다른 전형예로서,

복호 대상 화상의 이미 복호된 화상 및 복호 대상 화상을 촬영한 시점에서 촬영되고, 또한 복호 대상 화상과는 다른 시각에 촬영된 이미 복호된 화상 중 어느 하나를 사용하여 복호 대상 화상의 예측 화상을 생성하는 원화상 예측 수단을 구비하고,

상기 화상 복호 수단은 복호 대상 영역에 대해서 선택적으로 상기 차분 화상 예측 수단이 생성한 예측 차분 화상과, 상기 예측 잔차 복호 수단이 복호한 예측 잔차와, 상기 합성 화상을 합함으로써 복호 대상 화상을 복호하거나, 또는 상기 원화상 예측 수단이 생성한 예측 화상과, 상기 예측 잔차 복호 수단이 복호한 예측 잔차를 합함으로써 복호 대상 화상을 복호한다.

본 발명은 또 시점이 다른 여러 개의 카메라에 의해 촬영된 다시점 화상을 부호화할 때 부호화 대상의 화상을 촬영한 카메라의 시점과 다른 적어도 하나의 시점에서의 이미 부호화된 참조 카메라 화상과, 그 참조 카메라 화상과 부호화 대상의 화상간의 시차 정보로부터, 부호화 대상의 화상을 촬영한 카메라에 대한 합성 화상을 생성하고 그 합성 화상을 사용하여 부호화 대상의 화상을 부호화하는 영상 부호화 방법으로서,

차후 부호화할 부호화 대상 영역의 입력 화상과, 그것에 대한 상기 합성 화상과의 차분 화상의 예측 화상을 생성하는 차분 화상 예측 단계와,

상기 차분 화상 예측 단계에서 생성한 예측 차분 화상과 부호화 대상 영역의 상기 합성 화상과의 합으로 표시되는, 그 영역의 예측 화상을 생성하는 예측 화상 생성 단계와,

상기 예측 화상 생성 단계에서 생성한 부호화 대상 영역의 예측 화상과 그 영역의 부호화 대상 화상과의 차로 표시되는, 예측 잔차를 부호화하는 예측 잔차 부호화 단계를 구비하는

것을 특징으로 하는 영상 부호화 방법을 제공한다.

전형예로서, 상기 차분 화상 예측 단계에서는 부호화 대상 화상의 이미 부호화된 영역의 복호 화상과 그 영역의 상기 합성 화상과의 차로 표시되는, 부호화 대상 화상이 촬영된 시각과 같은 시각의 차분 화상을 사용하여 상기 부호화 대상 영역의 차분 화상의 예측 화상을 생성한다.

다른 전형예로서, 상기 차분 화상 예측 단계에서는 부호화 대상 화상을 촬영한 시점에서 촬영된 이미 부호화된 화상의 복호 화상과 그 복호 화상과 같은 시각의 상기 합성 화상과의 차로 표시되는, 부호화 대상 화상이 촬영된 시각과는 다른 시각의 차분 화상을 사용하여 상기 부호화 대상 영역의 차분 화상의 예측 화상을 생성한다.

다른 전형예로서,

상기 예측 잔차 부호화 단계에서 부호화한 예측 잔차를 복호하는 예측 잔차 복호 단계와,

상기 예측 잔차 복호 단계에서 복호한 복호 예측 잔차와 상기 예측 차분 화상과의 합으로 표시되는 복호 차분 화상을 생성하고, 그 생성한 복호 차분 화상을 축적 메모리에 축적하는 복호 차분 화상 생성 축적 단계를 구비하고,

상기 차분 화상 예측 단계에서는, 상기 축적 메모리에 축적되어 있는 복호 차분 화상을 사용하여 상기 부호화 대상 영역의 차분 화상의 예측 화상을 생성한다.

다른 전형예로서,

부호화 대상 화상의 이미 부호화된 영역의 복호 화상 및 부호화 대상 화상을 촬영한 시점에서 촬영되고, 또한 부호화 대상 화상과는 다른 시각에 촬영된 이미 부호화된 화상의 복호 화상 중 하나를 사용하여 부호화 대상 화상의 예측 화상을 생성하는 원화상 예측 단계를 구비하고,

상기 예측 화상 생성 단계에서는, 선택적으로 상기 예측 차분 화상과 상기 합성 화상에 기초하여 부호화 대상 영역의 예측 화상을 생성하거나, 또는 상기 원화상 예측 단계에서 생성한 예측 화상을 그대로 이용하여 부호화 대상 영역의 예측 화상을 생성한다.

본 발명은 또 시점이 다른 여러 개의 카메라에 의해 촬영된 다시점 화상의 부호화 데이터를 복호할 때, 부호화 대상의 화상을 촬영한 카메라의 시점과 다른 적어도 하나의 시점에서의 이미 복호된 참조 카메라 화상과, 그 참조 카메라 화상과 복호 대상의 화상간의 시차 정보로부터, 복호 대상의 화상을 촬영한 카메라에 대한 합성 화상을 생성하고 그 합성 화상을 사용하여 복호 대상의 화상의 부호화 데이터를 복호하는 영상 복호 방법으로서,

부호화 데이터에 포함되는 복호 대상 화상의 예측 잔차를 복호하는 예측 잔차 복호 단계와,

앞으로 복호할 복호 대상 영역의 복호 대상 화상과, 그것에 대한 상기 합성 화상과의 차분 화상의 예측 화상을 생성하는 차분 화상 예측 단계와,

복호 대상 영역에 대해서, 상기 차분 화상 예측 단계에서 생성한 예측 차분 화상과, 상기 예측 잔차 복호 단계에서 복호한 예측 잔차와, 상기 합성 화상을 합함으로써 복호 대상 화상을 복호하는 화상 복호 단계를 구비하는

것을 특징으로 하는 영상 복호 방법을 제공한다.

전형예로서, 상기 차분 화상 예측 단계에서는 복호 대상 화상의 이미 복호된 영역의 복호 화상과 그 영역의 상기 합성 화상과의 차로 표시되는, 복호 대상 화상이 촬영된 시각과 같은 시각의 차분 화상을 사용하여 상기 복호 대상 영역의 차분 화상의 예측 화상을 생성한다.

다른 전형예로서, 상기 차분 화상 예측 단계에서는 복호 대상 화상을 촬영한 시점에서 촬영된 이미 복호된 참조 화상과 그 참조 화상과 같은 시각의 상기 합성 화상과의 차로 표시되는, 복호 대상 화상이 촬영된 시각과는 다른 시각의 차분 화상을 사용하여 상기 복호 대상 영역의 차분 화상의 예측 화상을 생성한다.

다른 전형예로서,

상기 예측 잔차 복호 단계에서 복호한 복호 예측 잔차와 상기 예측 차분 화상과의 합으로 표시되는 복호 차분 화상을 생성하여 축적 메모리에 축적하는 복호 차분 화상 생성 축적 단계를 구비하고,

상기 차분 화상 예측 단계에서는, 상기 축적 메모리에 축적되어 있는 복호 차분 화상을 사용하여 상기 복호 대상 영역의 차분 화상의 예측 화상을 생성한다.

이 경우, 바람직하게는 상기 복호 차분 화상 생성 축적 단계에서는 상기 복호 차분 화상의 각 화소가 소정의 유효 범위내의 화소값을 갖도록 클리핑한다.

다른 전형예로서,

복호 대상 화상의 이미 복호된 화상 및 복호 대상 화상을 촬영한 시점에서 촬영되고, 또한 복호 대상 화상과는 다른 시각에 촬영된 이미 복호된 화상 중 하나를 사용하여 복호 대상 화상의 예측 화상을 생성하는 원화상 예측 단계를 구비하고,

상기 화상 복호 단계에서는 복호 대상 영역에 대해서 선택적으로 상기 차분 화상 예측 단계에서 생성한 예측 차분 화상과, 상기 예측 잔차 복호 단계에서 복호한 예측 잔차와 상기 합성 화상을 합함으로써 복호 대상 화상을 복호하거나, 또는 상기 원화상 예측 단계에서 생성한 예측 화상과, 상기 예측 잔차 복호 단계에서 복호한 예측 잔차를 합함으로써 복호 대상 화상을 복호한다.

이상에 설명한 본 발명의 영상 부호화 장치 또는 영상 복호 장치를 구성하는 각 처리 수단은 컴퓨터 프로그램에서도 실현할 수 있는 것으로서, 이 컴퓨터 프로그램은 적당한 컴퓨터로 읽을 수 있는 기록 매체에 기록하여 제공되거나, 네트워크를 통해 제공되고 본 발명을 실시할 때에 인스톨되어 CPU 등의 제어 수단상에서 동작함으로써 본 발명을 실현할 수 있다.

상술한 것처럼 본 발명에서는 이미 부호화된 영역에서의 입력 영상과 합성 영상과의 차분 영상을 사용하여 부호화 대상의 영역에서의 입력 영상과 합성 영상과의 차분을 예측하고, 거기에 부호화 대상의 영역에서의 합성 영상을 가산하여 입력 영상에 대한 예측 영상을 생성할 수 있다.

따라서 예측 잔차를 부호화하는 부분에서는, 일반적인 영상 부호화 방법과 동일하게 입력 영상과 그것에 대한 예측 영상과의 예측 잔차를 부호화한다. 즉, 종래의 수법과 같이 잔차 부호화 단계에서 취급하는 신호의 비트 심도가 증가하지는 않는다. 그리고 예측 자체는 입력 영상과 그에 대한 합성 영상과의 차분에 대해 수행되기 때문에 카메라간의 상관과 프레임내의 공간적인 상관을 동시에 이용할 수 있어 높은 부호화 효율을 달성할 수 있다.

이 수법은, 합성 영상이 특허문헌 1과 같이 1장의 참조 영상과 촬영 씬의 깊이 정보로부터 생성되든, 또 하기의 참고문헌과 같이 여러 개의 참조 영상을 사용하여 대응점을 찾으면서 생성되든, 다른 방법을 사용하여 생성되든 부호화 대상의 시점에 촬영한 카메라의 영상을 합성할 수 있다면 어떠한 방법을 사용해도 좋다.

참고문헌: M.Kitahara, H.Kimata, M.Tanimoto, t.Fujii and K.Yamamoto, "Report of Core Experiment on View Interpolation(Multi-view Video Coding CE3)," Document JVT-T119, pp.1-8, July, 2006.

또 잔차의 부호화 방법도 국제 부호화 표준인 H.264, MPEG-2, MPEG-4를 비롯한 종래의 많은 2차원 동화상 부호화 방식과 마찬가지로 DCT나 양자화에 의하든 템플릿을 사용한 벡터 부호화에 의하든 어떤 방법을 사용해도 좋다.

본 발명에서는, 마찬가지로 차분 영상에 의한 예측과 합성 영상을 더하여 입력 영상에 대한 예측으로 할 경우에 입력 영상과 합성 영상과의 차분 영상을 프레임내에서 공간적으로 예측하지 않으며, 다른 시각의 프레임으로부터 차분 영상의 시간 상관을 이용하여 예측을 할 수도 있다.

이 수법도, 상기와 같이 예측 잔차를 부호화하는 부분에서는 일반적인 동화상 부호화와 같이 입력 영상과 그에 대한 예측 영상이라는 예측 잔차를 부호화하기 때문에 종래 수법의 문제점이었던 잔차 부호화 단계에서 취급하는 신호의 비트 심도 증가를 해결할 수 있다. 그리고 카메라간의 상관과 시간 방향의 상관을 동시에 이용할 수 있기 때문에 높은 부호화 효율을 달성할 수 있다.

또 잔차 영상에서의 프레임내의 공간적인 상관과 시간 방향의 상관을 선택하면서도 부호화할 수도 있고, 그에 의하면 더욱 높은 부호화 효율을 달성할 수 있다.

통상의 영상 부호화 방법에서는, 예측 영상의 생성을 위해 이미 부호화된 입력 영상의 복호 영상을 축적하여 이용한다. 그러나 본 발명에서는 입력 영상에 대한 예측 영상을 생성하기 위해 입력 영상과 합성 영상과의 차분 영상을 사용한다. 즉, 예측 영상을 생성할 때마다 합성 영상을 생성하여 축적되어 있는 복호 영상과의 차분을 구할 필요가 있기 때문에 상당한 연산 비용이 든다.

그래서 복호 영상을 얻은 후에 예측 영상 생성을 위해 이미 생성되어 있는 합성 영상을 감산하여 차분 영상을 생성하여 축적함으로써 매회 차분 영상을 생성하는 처리를 생략하여 연산 비용을 대폭 줄일 수 있다.

또 차분 영상을 사용하여 예측을 한 경우에 부호화한 예측 잔차의 복호 데이터에 차분 영상의 예측값을 더함으로써 복호 영상에 대한 차분 영상을 생성할 수 있다. 이로써 한번 복호 영상을 생성한 후에 차분 영상을 생성하는 것보다도 합성 영상을 감산하는 연산을 생략할 수 있어 연산 비용을 더 삭감할 수 있게 된다.

아울러 이 때 대응하는 합성 영상의 화소값에 마이너스를 곱한 값을 최소값, 그 최소값과 허용되는 복호 영상의 화소값의 가장 큰 값의 합으로 표시되는 값을 최대값으로 하여 복호 잔차 데이터와 차분 영상 예측의 합을 클리핑함으로써, 복호 영상을 생성하고 나서 차분 영상을 구하는 경우와 완전히 동일한 차분 영상을 생성할 수 있다.

또 차분 영상을 사용한 예측 영상 생성과 차분 영상을 사용하지 않는 예측 영상 생성을 선택하면서 입력 영상을 부호화할 수도 있다.

오클루전 부분 등에서는 합성 영상을 고정밀도로 생성할 수 없다. 그 부분에서는 입력 영상과 합성 영상으로부터 생성되는 차분 영상에 큰 오차가 포함되어 효율적으로 부호화할 수 없다. 따라서 그 부분에서는 시간 방향의 상관만을 이용하는 편이 입력 영상을 효율적으로 부호화할 수 있다.

종래의 방법과 같이 차분 영상을 생성하여 그 차분 영상을 입력으로 하여 부호화할 경우, 차분을 사용하지 않는 부호화를 실현하려면 부호화 대상 영상 신호의 비트 심도가 다르기 때문에 입력 신호를 바꿀 뿐만 아니라 부호화기 자체를 바꿀 필요가 있다. 이것은, 하나의 영상을 처리하는 인코더에 2개의 다른 신호를 취급하는 부호화기가 포함되어 있어야 한다는 것을 의미한다.

이에 반해 본 발명에 의하면, 차분 영상상에서 예측하는 경우이든, 입력 영상상에서 예측하는 경우이든 부호화기가 취급하는 입력 신호는 입력 영상이고, 예측 신호는 입력 영상에 대한 예측 영상이 되기 때문에 같은 입력 신호와 부호화기를 사용하여 부호화할 수 있게 된다. 즉, 본 발명에 의해 인코더의 회로나 실장 규모를 크게 줄일 수 있게 된다.

이상에서 설명한 것처럼, 본 발명에 의하면 다시점 영상을 부호화할 때 입력 영상과 합성 영상과의 차분 영상에 대한 예측 신호를 생성하고 그 생성한 예측 차분 영상과 합성 영상의 합을 입력 영상에 대한 예측 신호로 함으로써, 차분 영상을 사용한 고효율의 부호화를 적은 회로 규모·실장 규모로 실현할 수 있게 된다.

종래 기술에서는 입력 영상과 그에 대한 합성 영상과의 차분 영상을 생성하고 그 생성한 차분 영상을 동화상 부호화하는 방법을 사용하였으나, 본 발명에서는 그 차분 영상에 대한 예측 신호를 생성하고 그 생성한 예측 차분 영상과 합성 영상의 합을 입력 영상에 대한 예측 신호로 함으로써, 입력 화상을 직접 동화상 부호화한다는 방법을 사용하고 있으며, 이로써 차분 영상의 예측을 사용한 고효율의 부호화를 적은 회로 규모·실장 규모로 실현할 수 있게 되는 것이다.

도 1은 본 발명의 실시형태예 1의 영상 부호화 장치의 구성도이다.

도 2는 실시형태예 1의 영상 부호화 장치가 실행하는 처리 흐름도이다.

도 3은 예측 화상의 생성 처리의 처리 흐름도이다.

도 4a는 실시형태예 1의 영상 부호화 장치와 다시점 영상을 부호화하는 종래의 영상 부호화 장치의 비교를 설명하기 위한, 실시형태예 1의 영상 부호화 장치쪽 도면이다.

도 4b는 상기 비교를 설명하기 위한 종래의 영상 부호화 장치쪽 도면이다.

도 5는 본 발명의 실시형태예 2의 영상 부호화 장치의 구성도이다.

도 6은 실시형태예 2의 영상 부호화 장치가 실행하는 처리 흐름도이다.

도 7a는 실시형태예 2의 영상 부호화 장치와 다시점 영상을 부호화하는 종래의 영상 부호화 장치와의 비교를 설명하기 위한, 실시형태예 1의 영상 부호화 장치쪽 도면이다.

도 7b는 상기 비교를 설명하기 위한 종래의 영상 부호화 장치쪽 도면이다.

도 8은 본 발명의 실시형태예 3의 영상 복호 장치의 구성도이다.

도 9는 실시형태예 3의 영상 복호 장치가 실행하는 처리 흐름도이다.

도 1O은 본 발명의 실시형태예 4의 영상 복호 장치의 구성도이다.

도 11은 실시형태예 4의 영상 복호 장치가 실행하는 처리 흐름도이다.

도 12는 카메라간에 생기는 시차의 설명도이다.

<부호의 설명>

100 영상 부호화 장치

101 화상 입력부

102 합성 화상 입력부

103 예측 화상 생성부

104 예측 잔차 부호화부

105 예측 잔차 복호부

106 차분 화상 복호부

107 차분 화상 메모리

108 예측 차분 화상 생성부

이하, 실시형태에 따라서 본 발명을 상세히 설명하기로 한다.

여기에서 이하에 설명하는 실시형태예에서는 하나 이상의 이미 부호화/복호된 부호화 대상과는 다른 시점의 영상과, 그들의 시점과 부호화 대상 시점과의 시차 정보를 사용하여 생성한 합성 영상을 사용하여 어느 한 시점의 영상을 부호화/복호하는 방법에 대해서 설명하기로 한다.

합성 영상을 생성하기 위해 필요한 시차 정보는 부호화기쪽에서 생성되어 복호기쪽으로 전송되어도 좋고 부호화기쪽·복호기쪽에서 같은 것이 계산되는 것이어도 좋다. 또 시차 정보로부터 합성 영상을 생성하는 수법도 어떤 것이든 상관 없으며 여러 시점간의 대응점 정보로부터 평균값을 취하는 방법이어도 좋고 하나의 대표값을 취하는 방법이어도 좋다.

[1]실시형태예 1

우선, 제1 실시형태예(이하, 실시형태예 1로 기재한다)에 대해서 설명하기로 한다.

도 1에, 본 발명의 실시형태예 1에 관한 영상 부호화 장치(100)의 구성을 도시한다. 이 도면에 도시한 것처럼 실시형태예 1의 영상 부호화 장치(100)는, 화상 입력부(101)와, 합성 화상 입력부(102)와, 예측 화상 생성부(103)와, 예측 잔차 부호화부(104)와, 예측 잔차 복호부(105)와, 차분 화상 복호부(106)와,차분 화상 메모리(107)와, 예측 차분 화상 생성부(108)를 구비한다.

이 화상 입력부(101)는 부호화 대상이 되는 카메라로 촬영된 영상(화상)을 입력한다. 합성 화상 입력부(102)는, 그 카메라에 대한 합성 영상(합성 화상, 즉, 시차 보상 화상)을 입력한다.

예측 화상 생성부(103)는, 예측 차분 화상 생성부(108)가 생성한 예측 차분 화상(복호 화상과 합성 화상과의 차분 화상을 사용하여 예측한, 입력 화상과 합성 화상과의 차분 화상에 대한 예측 화상)과, 합성 화상 입력부(102)가 입력한 합성 화상을 가산함으로써 입력 화상에 대한 예측 화상을 생성한다.

예측 잔차 부호화부(104)는, 화상 입력부(101)가 입력한 입력 화상과 예측 화상 생성부(103)가 생성한 예측 화상과의 예측 잔차를 부호화하여 부호화 데이터를 출력한다. 예측 잔차 복호부(105)는, 예측 잔차 부호화부(104)가 부호화한 예측 잔차를 복호한다.

차분 화상 복호부(106)는, 합성 화상 입력부(102)가 입력한 합성 화상에 따라서 처리 범위를 결정하면서 예측 차분 화상 생성부(108)가 생성한 예측 차분 화상과, 예측 잔차 복호부(105)가 복호한 예측 잔차를 가산함으로써 복호 화상과 합성 화상과의 차분으로 표시되는 차분 화상을 생성한다. 차분 화상 메모리(107)는 차분 화상 복호부(106)가 생성한 차분 화상을 축적한다.

예측 차분 화상 생성부(108)는 차분 화상 메모리(107)에 축적되는 차분 화상을 사용하여 입력 화상과 합성 화상과의 차분으로 표시되는 차분 화상에 대한 예측 화상(예측 차분 화상)을 생성한다.

도 2에, 이와 같이 구성되는 실시형태예 1의 영상 부호화 장치(100)가 실행하는 처리 흐름도를 도시한다.

이 처리 흐름도는, 실시형태예 1의 영상 부호화 장치(100)에 의해 소정 시각의 화상(프레임)을 부호화할 때의 처리를 도시한 것으로서, 여러 개의 프레임을 부호화할 때에는 이 처리 흐름이 반복 실행되게 된다.

이하에서는 이 처리 흐름도에 따라 실시형태예 1의 영상 부호화 장치(100)가 실행하는 처리에 대해서 상세히 설명하기로 한다.

실시형태예 1의 영상 부호화 장치(100)에서는, 우선 화상 입력부(101)에서 부호화 대상 화상을 입력한다[A1]. 이하에서는 부호화 대상 화상(입력 화상)은 0rg[·]로 표시한다. 또 화상에 대해 기호[]를 부가함으로써 특정 영역의 화상 신호임을 표시한다.

다음으로 합성 화상 입력부(102)에서, 여기에서 입력된 Org[·]에 대한 합성 화상을 입력한다[A2] . 합성 화상은 Syn[·]로 표시한다.

본 실시형태예 1에서는 화상 전체를 여러 개의 블록으로 분할하고 블록마다 처리를 반복함으로써 화상 전체를 부호화한다. 아울러 반드시 블록 형태로 분할할 필요는 없으며 임의의 형상으로 분할해도 좋고 분할하지 않아도 상관 없다. 이하에서는 블록의 인덱스를 blk, 화상에 포함되는 블록수를 numBlk로 표시한다.

따라서 blk를 0으로 초기화한 후[A3], Blk에 1을 가산하면서[A11], Blk가 numBlk가 될 때까지[A12] 이하의 처리[A4-A10]를 반복함으로써 부호화를 수행한다.

즉, 블록마다 반복되는 처리에서는 우선, 예측 차분 화상 생성부(108)에서 차분 화상 메모리(107)에 저장되어 있는 이미 부호화된 다른 시각의 프레임이나 부호화 대상 프레임내의 이미 부호화된 블록을 사용하여 예측 차분 화상 PredDiff[·]를 생성한다[A4].

일반적으로 다른 시각의 프레임으로부터 예측할 경우에는 프레임간 예측이라고 불리고, 같은 시각의 프레임의 이미 부호화된 영역에서 예측을 할 경우에는 프레임내 예측이라고 불린다. 여기에서 수행되는 프레임간 예측과 프레임내 예측 방법으로서는, 상술한 비특허문헌 1에서 나타나는 기존 영상 부호화 방식으로 사용되고 있는 임의의 방법을 사용할 수 있다.

예를 들면, 다음 수학식 1과 같이 다른 시각의 프레임에서 어느 한 영역을 지정하여 그 복사를 예측값으로 해도 좋고, 수학식 2와 같이 같은 시각의 프레임의 이미 부호화된 주변 화소로부터 방향성(Directional) 예측을 해도 좋다.

[수학식 1]

∀(x,y)∈blk,PredDiff[t,x,y]=DecDiff[t-1,x+mv_x,y+mv_y]

[수학식 2]

∀(x,y)∈blk,PredDiff[t,x,y]=DecDiff[t,x,up_line]

여기에서 DecDiff[·]는 차분 화상 메모리(107)에 축적되어 있는 복호된 차분 화상(복호 차분 화상)을 나타내고, t는 부호화 대상 프레임의 시각을 나타내고, (mv_x,mv_y)는 임의의 2차원 벡터를 나타내고, up_line는 blk의 바로 위 화소 위치(라인)를 나타낸다.

다음으로, 예측 화상 생성부(103)에서 예측 차분 화상 PredDiff[·]와 합성 화상 Syn[·]의 합으로 표시되는 예측 화상 Pred[·]를 생성한다[A5].

이 때, 각 화소의 값은 유효한 범위로 클리핑된다. 화소값의 유효 범위는 입력 화상의 비트 심도에 의해 결정되고, 8비트의 화상인 경우, 최소값은 0, 최대값은 255가 된다. 이 클리핑의 처리는, 수식을 사용하면 다음 수학식 3으로 표시된다.

[수학식 3]

∀(x,y)∈blk,Pred[t,x,y]=Clip(PredDiff[t,x,y]+Syn[t,x,y],min,max)

여기에서 min은 화소값의 유효 최소값을 나타내고, max는 화소값의 유효 최대값을 나타낸다. 또 함수 Clip은 제1 인수에서 주어지는 값이 제2 인수의 값보다 작은 경우에는 제2 인수의 값을 돌려주고, 제3 인수의 값보다도 큰 경우에는 제3 인수의 값을 돌려주고, 어느 쪽도 아닌 경우에는 제1 인수의 값을 돌려준다는 함수이다.

그리고 입력 화상 Org[·]와 예측 화상 Pred[·]와의 차분으로 표시되는 예측 잔차 Res[·]를 생성한다[A6]. 이 생성 처리는, 수식을 사용하면 다음 수학식 4로 표시된다.

[수학식 4]

∀(x,y)∈blk,Res[t,x,y]=Org[t,x,y]-Pred[t,x,y]

예측 잔차 Res[·]를 생성하면 예측 잔차 부호화부(104)에서 이 예측 잔차Res[·]를 부호화한다[A7].

예측 잔차 Res[·]의 부호화에는 어떤 방식을 사용해도 좋다. 일반적인 영상 부호화 방식으로는, DCT(이산 코사인 변환)로 주파수 변환을 한 후 양자화하여 DCT 계수 정보를 2치화하고 그것을 산술 부호화한다.

이와 같이 하여 생성한 예측 잔차 Res[·]의 부호화 데이터는 영상 부호화 장치(100)의 출력이 되는 한편, 예측 잔차 복호부(105)에 보내져 예측 잔차 복호부(105)에서 이후의 예측을 위해 복호한다[A8]. 복호된 예측 잔차를 DecRes[·]로 표시한다.

예측 잔차 복호부(105)에서 복호된 예측 잔차 DecRes[·]는 차분 화상 복호부(106)에 보내지고 차분 화상 복호부(106)에서 예측 차분 화상 PredDiff[·]를 사용하여 복호 차분 화상 DecDiff[·]를 생성한다[A9].

이 때, 화소값의 유효 최소값과 화소값의 유효 최대값에 의해

min≤DecRes[t,x,y]+PredDiff[t,x,y]+Syn[t,x,y]≤max

를 만족하도록 클리핑이 이루어진다. 이 클리핑의 처리는, 상술한 함수 Clip를 사용하면 다음 수학식 5로 표시된다.

[수학식 5]

∀(x,y)∈blk,DecDiff[t,x,y]=Clip(DecRes[t,x,y]+PredDiff[t,x,y],min-Syn[t,x,y],max-Syn[t,x,y])

아울러 이 클리핑은 수행해도 좋고 수행하지 않아도 좋다. 단, 클리핑을 수행할 경우에는 부호화기와 복호기에서 같은 처리를 할 필요가 있다.

차분 화상 복호부(106)에 의해 생성된 복호 차분 화상 DecDiff[·]는 차분 화상 메모리(107)에 저장되고, 이후의 블록을 부호화할 때의 예측에 이용된다[A10].

이와 같이 하여 실시형태예 1의 영상 부호화 장치(100)는 입력 화상과 합성 화상과의 차분 화상에 대한 예측 신호를 생성하고 그 생성한 예측 차분 화상과 합성 화상과의 합을 입력 화상에 대한 예측 신호로 하여 입력 화상을 부호화하는 것이다.

다음으로, 도 3의 처리 흐름도에 따라 도 2의 처리 흐름도의 A5에서 실행하는 예측 화상 Pred[·]의 생성 처리에 대해서 상세히 설명하기로 한다.

부호화 대상 화상에 대한 예측 화상 Pred[·]를 생성하는 처리[A5]는 블록에 포함되는 화소마다 예측 화상 생성부(103)에서 이루어진다. 이 처리를 하기 위해 예측 화상 생성부(103)는, 도 1에 도시한 것처럼 합성 화상 입력부(102)가 입력한 합성 화상 Syn[·]의 화소값과 예측 차분 화상 생성부(108)가 생성한 예측 차분 화상 PredDiff[·]의 화소값을 가산하는 가산 기능과, 이 가산 기능이 가산한 화소값을 클리핑하는 클리핑 기능을 구비한다.

여기에서의 처리는 블록내의 화소마다 이루어진다. 즉, 각 화소의 인덱스를 pix로 하면, pix를 0으로 초기화한 후[B1], pix에 1을 가산하면서[B7] pix가 블록내의 화소수 numPix가 될 때까지[B8] 이하의 처리 [B2-B6]를 반복함으로써 수행한다.

즉, 이 반복 수행하는 처리에서는 우선 화소 pix에 대해 예측 차분 화상 생성부(108)에서 생성된 예측 차분 화상 PredDiff[·]의 값을 레지스터 r0에 읽어들이고[B2], 계속해서 화소 pix에 대해서 합성 화상 입력부(102)에서 입력된 합성 화상 Syn[·]의 값을 레지스터 r1로 읽어들인다[B3].

계속해서 상기 가산 기능을 사용하여 레지스터 rO에 저장되는 화소값과 레지스터 r1에 저장되는 화소값을 가산하여 그 가산 결과를 레지스터 r2에 저장한다[B4].

계속해서 상기 클리핑 기능을 사용하여 레지스터 r2에 저장되는 화소값을 입력 화상에 대한 유효 범위에서 클리핑하여 그 결과를 레지스터 r3에 저장한다[B5]. 이 유효 범위는 입력 화상의 비트 심도에 의해 결정되며, 8비트의 화상의 경우에는 최소값은 0, 최대값은 255가 된다.

계속해서 레지스터 r3에 저장되는 화소값을, 화소 pix에 대한 부호화 대상 화상에 대한 예측 화상 Pred[·]로서 출력한다[B6].

아울러 여기에서는 레지스터를 이용하였으나, 레지스터를 이용하지 않는 구성을 채용할 수도 있다. 또 B4나 B5의 처리에서 처리 결과를 다른 레지스터에 저장하는 구성을 채용하였으나, 레지스터 rO에 덮어쓰도록 해도 좋다. 또 가산 처리를 하나의 레지스터를 사용하여 수행할 수 있는 경우에는 레지스터 r1에 합성 화상 Syn[·]의 값을 읽어들일 필요는 없으며 직접 가산을 실행하도록 해도 좋다. 또 이 처리 흐름도에서는 각 화소에 대한 예측 화상 Pred[·]를 하나하나 출력하도록 하였는데, 버퍼링을 수행하여 일시에 출력하도록 해도 좋다.

도 4a 및 도 4b에 실시형태예 1의 영상 부호화 장치(100)와 다시점 영상을 부호화하는 종래의 영상 부호화 장치를 비교하는 도면을 도시한다.

여기에서, 도 4a에 도시한 구성이 실시형태예 1의 영상 부호화 장치(100)의 구성이고, 도 4b에 도시한 구성이 다시점 영상을 부호화하는 종래의 영상 부호화 장치의 구성이다. 또 도면 중에 도시한 가장 가는 선은 N비트를 처리하는 구성 부분이고, 그 다음으로 굵은 선은 N+1비트를 처리하는 구성 부분이고, 가장 굵은 선은 N+2비트를 처리하는 구성 부분이다.

실시형태예 1의 영상 부호화 장치(100)에서는, 입력 영상과 그것에 대한 합성 영상과의 차분 영상에 대한 예측 신호를 생성하고 그 생성한 예측 차분 영상과 합성 영상과의 합을 입력 영상에 대한 예측 신호로 하여 입력 영상과 그것에 대한 예측 영상과의 차분을 부호화한다는 방법을 사용하고 있으며, 앞으로 1회의 차분만 실행하기 때문에, 도 4a에 도시한 것처럼 동화상을 부호화하는 통상의 영상 부호화 장치와 동일한 비트 심도로 부호화할 수 있다.

이에 반해 다시점 영상을 부호화하는 종래의 영상 부호화 장치에서는, 입력 영상과 그것에 대한 합성 영상과의 차분 영상을 생성하고 그 생성한 차분 영상을 동화상 부호화하는 방법을 사용하고 있으며, 앞으로 2회의 차분을 실행할 필요가 있기 때문에 도 4b에 도시한 것처럼 동화상을 부호화하는 통상의 영상 부호화 장치보다도 비트 심도가 증가한다.

이와 같이 본 발명의 실시형태에 의하면, 입력 영상과 그것에 대한 합성 영상과의 차분 영상에 대한 예측 신호를 생성하고 그 생성한 예측 차분 영상과 합성 영상의 합을 입력 영상에 대한 예측 신호로 함으로써 차분 영상을 사용한 고효율의 부호화를 적은 회로 규모·실장 규모로 실현할 수 있게 된다.

게다가 종래 기술에서는 입력 영상과 그것에 대한 합성 영상과의 차분 영상을 생성하고 그 생성한 차분 영상을 동화상 부호화하는 방법을 사용하였기 때문에 화소값이 허용되는 값의 최대값이나 최소값으로 되어 있는 부분에서 쓸모없는 신호를 부호화한다는 문제가 있었으나, 본 발명의 실시형태에서는 화소값의 값을 그것이 허용되는 최대값이나 최소값으로 클리핑하는 구성을 채용함으로써 그러한 문제도 일어나지 않는다.

[2]실시형태예 2

다음으로, 제2 실시형태예(이하, 실시형태예 2로 기재한다)에 대해서 설명하기로 한다.

도 5에, 본 발명의 실시형태예 2에 관한 영상 부호화 장치(200)의 구성을 도시한다.

이 도면에 도시한 것처럼, 실시형태예 2의 영상 부호화 장치(200)는, 화상 입력부(201)와, 합성 화상 입력부(202)와, 제1 예측 화상 생성부(203)와, 제2 예측 화상 생성부(204)와, 예측 잔차 부호화부(205)와, 예측 잔차 복호부(206)와, 화상 복호부(207)와, 복호 화상 메모리(208)와, 차분 화상 메모리(209)와, 예측 차분 화상 생성부(210)와, 예측 교환 스위치(211)를 구비한다.

이 화상 입력부(201)는 부호화 대상이 되는 카메라로 촬영된 영상(화상)을 입력한다. 합성 화상 입력부(202)는, 그 카메라에 대한 합성 화상(합성 영상)을 입력한다.

제1 예측 화상 생성부(203)는 차분 화상(입력 화상과 합성 화상과의 차분 화상)에 대한 예측에 기초하여 입력 화상에 대한 예측 화상을 생성하는 것으로서, 도 3의 처리 흐름도와 같은 처리를 실행함으로써 클리핑 처리를 하면서 예측 차분 화 상 생성부(210)가 생성한 예측 차분 화상(차분 화상에 대한 예측 화상)과, 합성 화상 입력부(202)가 입력한 합성 화상을 가산함으로써 입력 화상에 대한 예측 화상을 생성한다.

제2 예측 화상 생성부(204)는, 복호 화상에 기초하여 입력 화상에 대한 예측 화상을 생성하는 것으로서, 차분 화상을 사용하지 않고 복호 화상 메모리(208)에 저장되는 복호 화상을 사용하여 입력 화상에 대한 예측 화상을 생성한다.

예측 잔차 부호화부(205)는, 화상 입력부(201)가 입력한 입력 화상과 제1 예측 화상 생성부(203) 혹은 제2 예측 화상 생성부(204)가 생성한 예측 화상과의 예측 잔차를 부호화하여 부호화 데이터를 출력한다. 예측 잔차 복호부(206)는 예측 잔차 부호화부(205)가 부호화한 예측 잔차를 복호한다.

화상 복호부(207)는, 예측 잔차 복호부(206)가 복호한 예측 잔차와 제1 예측 화상 생성부(203) 혹은 제2 예측 화상 생성부(204)가 생성한 예측 화상을 가산함으로써 복호 화상을 생성한다. 복호 화상 메모리(208)는 화상 복호부(207)가 생성한 복호 화상을 축적한다.

차분 화상 메모리(209)는, 화상 복호부(207)가 복호한 복호 화상과 합성 화상 입력부(202)가 입력한 합성 화상과의 차분으로 표현되는 차분 화상을 축적한다.

예측 차분 화상 생성부(210)는, 차분 화상 메모리(209)에 축적되는 차분 화상을 사용하여 입력 화상과 합성 화상과의 차분으로 표현되는 차분 화상에 대한 예측 화상(예측 차분 화상)을 생성한다.

예측 교환 스위치(211)는, 제1 예측 화상 생성부(203)가 생성한 예측 화상, 제2 예측 화상 생성부(204)가 생성한 예측 화상 중 하나를 선택하여 출력한다.

도 6에, 이와 같이 구성되는 실시형태예 2의 영상 부호화 장치(200)가 실행하는 처리 흐름도를 도시한다.

이 처리 흐름도는, 실시형태예 2의 영상 부호화 장치(200)에 의해 소정 시각의 화상을 부호화할 때의 처리를 도시한 것으로서, 여러 개의 프레임을 부호화할 때에는 이 처리 흐름도가 반복 실행되게 된다.

이하에는, 이 처리 흐름도에 따라 실시형태예 2의 영상 부호화 장치(200)가 실행하는 처리에 대해서 상세히 설명하기로 한다. 여기에서 상술한 실시형태예 1에서 사용한 기호를 그대로 사용하여 설명하기로 한다.

실시형태예 2의 영상 부호화 장치(200)에서는, 우선, 화상 입력부(201)에서 부호화 대상 화상 Org[·]를 입력하고[C1], 합성 화상 입력부(202)에서, 여기에서 입력된 Org[·]에 대한 합성 화상 Syn[·]를 입력한다[C2].

본 실시형태예 2에서도, 화상 전체를 여러 개의 블록으로 분할하고 블록마다 처리를 반복함으로써 화상 전체를 부호화한다. 아울러 반드시 블록 형태로 분할할 필요는 없으며 임의의 형상으로 분할해도 좋고 분할하지 않아도 좋다. 이하에서는 실시형태예 1과 같이 블록의 인덱스를 blk, 화상에 포함되는 블록수를 numBlk로 표시한다.

따라서 blk를 O으로 초기화한 후[C3], Blk에 1을 가산하면서[C1] Blk가 numBlk가 될 때까지[C16] 이하의 처리[C4-C14]를 반복함으로써 부호화를 수행한다.

블록마다 반복되는 처리에서는 최초로 예측 화상을 생성한다[C4-C7]. 본 실 시형태예 2에서는, 제1 예측 화상 생성부(203)에서 차분 화상을 사용하여 예측 화상을 생성하고(이하, 이 예측 화상을 차분 예측 화상 DiffPred[·]로 기재한다), 제2 예측 화상 생성부(204)에서 차분 화상을 사용하지 않고 복호 화상을 사용하여 예측 화상을 생성하고(이하, 이 예측 화상을 복호 예측 화상 DecPred[·]으로 기재한다), 그것들을 사용하여 하나의 예측 화상을 생성한다.

차분 예측 화상 DiffPred[·]의 생성 처리에 대해서는, 우선 예측 차분 화상 생성부(210)에서 차분 화상 메모리(209)에 축적되어 있는 이미 부호화된 다른 시각의 프레임이나 부호화 대상 프레임 내의 이미 부호화된 블록을 사용하여 예측 차분 화상 PredDiff[·]를 생성한다[C4]. 다음으로 제1 예측 화상 생성부(203)에서 예측 차분 화상 PredDiff[·]와 합성 화상 Syn[·]의 합으로 표시되는 차분 예측 화상 DiffPred[·]를 생성한다[C5].

이 때 각 화소의 값은 유효한 범위로 클리핑된다. 화소값의 유효 범위는 입력 화상의 비트 심도에 의해 결정되고, 8비트의 화상의 경우 최소값은 0, 최대값은 255가 된다. 이 클리핑 처리는 수식을 사용하면 다음 수학식 6으로 표시된다. 아울러 이 C4,C5에서 이루어지는 처리는, 실시형태예 1의 각각 A4,A5에서 이루어지는 처리와 같다.

[수학식 6]

∀(x,y)∈blk,DiffPred[t,x,y]=Clip(PredDiff[t,x,y]+Syn[t,x,y],min,max)

한편, 복호 예측 화상 DecPred[·]의 생성 처리에 대해서는, 제2 예측 화상 생성부(204)에서 복호 화상 메모리(208)에 축적되어 있는 이미 부호화된 다른 시각 의 프레임이나 부호화 대상 프레임내의 이미 부호화된 블록의 복호 화상 Dec[·]를 사용하여 수행한다[C6].

이 복호 예측 화상 DecPred[·]의 생성법으로서는, 상술한 비특허문헌 1에 나타난 기존의 영상 부호화 방식에서 사용되고 있는 임의의 방법을 사용할 수 있다.

예를 들면, 다음 수학식 7과 같이 다른 시각의 프레임에서 소정 영역을 지정하여 그 복사를 예측값으로 해도 좋고, 수학식 8과 같이 같은 시각의 프레임의 이미 부호화된 주변 화소로부터 방향성(Directional) 예측을 해도 좋다.

[수학식 7]

∀(x,y)∈blk,DecPred[t,x,y]=Dec[t-1,x+mv_x,y+mv_y]

[수학식 8]

∀(x,y)∈blk,DecPred[t,x,y]=Dec[t,x,up_line]

본 실시형태예 2에서는, 예측 화상은 예측 교환 스위치(211)를 사용하여 제1 예측 화상 생성부(203)가 생성한 차분 예측 화상 DiffPred[·], 제2 예측 화상 생성부(204)가 생성한 복호 예측 화상 DecPred[·] 중 하나를 선택함으로써 생성한다[C7]. 그 밖에 대응하는 화소끼리의 평균값을 사용하여 예측 화상으로 하는 방법도 있다.

아울러 여기에서는 2개의 예측 화상을 선택할 때 어떤 방법을 사용하여 선택해도 좋다. 예를 들면, 한 번 부호화를 하여 부호화 효율이 좋은 쪽을 선택해도 좋 고 부호화 대상 화상 Org[·]에 대한 예측 효율을 차분 절대값화나 차분 제곱화를 사용하여 계측하여 효율이 좋은 쪽을 선택해도 좋다.

또 입력 화상에 따라 프레임마다, 프레임내의 부분 영역마다, 블록마다 적절히 바꾸어 선택할 수도 있다.

예측 화상을 생성하면, 입력 화상 Org[·]와 예측 교환 스위치(211)가 출력하는 예측 화상과의 차분으로 표시되는 예측 잔차 Res[·]를 생성한다[C8]. 이 생성 처리는, 수식을 사용하면 상술한 수학식 4로 표시된다.

예측 잔차 Res[·]를 생성하면, 예측 잔차 부호화부(205)에서 이 예측 잔차 Res[·]를 부호화한다[C9]. 예측 잔차의 부호화에는 어떤 방식을 사용해도 좋다.

이와 같이 하여 생성한 예측 잔차 Res[·]의 부호화 데이터는 영상 부호화 장치(200)의 출력이 되는 한편, 예측 잔차 복호부(206)에 보내져 예측 잔차 복호부(206)에서 이후의 예측을 위해 복호한다[C10].

예측 잔차 복호부(206)에서 복호된 예측 잔차 DecRes[·]는 화상 복호부(207)에 보내지고, 화상 복호부(207)에서 예측 교환 스위치(211)가 출력하는 예측 화상을 사용하여 복호 화상 Dec[·]를 생성한다[C11].

이 때, 화소값의 유효 최소값과 화소값의 유효 최대값에 의해 클리핑된다. 이 클리핑 처리는, 수식을 사용하면 다음 수학식 9로 표현된다.

[수학식 9]

∀(x,y)∈blk,Dec[t,x,y]=Clip(DecRes[t,x,y]+Pred[t,x,y],min,max)

화상 복호부(207)에 의해 생성된 복호 화상 Dec[·]는 복호 화상 메모 리(208)에 저장되어 이후의 블록을 부호화할 때의 예측에 이용된다[C12].

또 이 복호 화상 Dec[·]와 합성 화상 Syn[·]를 사용하여 복호 차분 화상 DecDiff[·]를 다음 수학식 10에 따라 생성한다[C13].

[수학식 10]

∀(x,y)∈blk,DecDiff[t,x,y]=Dec[t,x,y]-Syn[t,x,y]

이와 같이 생성된 복호 차분 화상 DecDiff[·]는 차분 화상 메모리(209)에 저장되어 이후의 블록을 부호화할 때의 예측에 이용된다[C14].

이와 같이 하여 실시형태예 2의 영상 부호화 장치(200)는 입력 화상과 합성 화상과의 차분 화상에 대한 예측 신호를 생성하고, 그 생성한 예측 차분 화상과 합성 화상과의 합을 입력 화상에 대한 예측 신호로 하여 입력 화상을 부호화하는 것이다.

도 7a 및 도 7b에 실시형태예 2의 영상 부호화 장치(200)와, 이에 대응한 다시점 영상을 부호화하는 종래의 영상 부호화 장치를 비교하는 도면을 도시한다.

여기에서 도 7a에 도시한 구성이 실시형태예 2의 영상 부호화 장치(200)의 구성이며, 도 7b에 도시한 구성이 이에 대응한 다시점 영상을 부호화하는 종래의 영상 부호화 장치의 구성이다. 또 도면 중에 도시한 가장 가는 선은 N비트를 처리하는 구성 부분이고, 그 다음으로 굵은 선은 N+1비트를 처리하는 구성 부분이고, 가장 굵은 선은 N+2비트를 처리하는 구성 부분이고, 점선은 처리하는 비트가 전환되는 구성 부분이다.

실시형태예 2의 영상 부호화 장치(200)에서는, 입력 영상과 그것에 대한 합 성 영상과의 차분 영상에 대한 예측 신호를 생성하고 그 생성한 예측 차분 영상과 합성 영상과의 합을 입력 영상에 대한 예측 신호로 하여, 입력 영상과 그것에 대한 예측 영상과의 차분을 부호화하는 방법을 사용하고 있으며, 앞으로 1회의 차분만 실행하기 때문에, 도 7a에 도시한 것처럼 동화상을 부호화하는 통상의 영상 부호화 장치와 같은 비트 심도로 부호화할 수 있다.

이에 반해 다시점 영상을 부호화하는 종래의 영상 부호화 장치에서는, 입력 영상과 그에 대한 합성 영상과의 차분 영상을 생성하고 그 생성한 차분 영상을 동화상 부호화하는 방법을 사용하고 있으며, 앞으로 2회의 차분을 실행할 필요가 있기 때문에, 도 7b에 도시한 것처럼 동화상을 부호화하는 통상의 영상 부호화 장치보다도 비트 심도가 증가한다.

또 도 7a와 도 7b를 비교하면 알 수 있듯이, 실시형태예 2의 영상 부호화 장치(200)에서는 차분 영상상에서 예측을 하는 경우이든, 입력 영상상에서 예측을 하는 경우이든, 부호화기가 취급하는 입력 신호는 입력 영상이고, 예측 신호는 입력 영상에 대한 예측 영상이 되기 때문에 같은 입력 신호와 부호화기를 사용하여 부호화할 수 있게 된다.

[3]실시형태예 3

다음으로, 제3 실시형태예(이하, 실시형태예 3으로 기재한다)에 대해서 설명하기로 한다.

도 8에, 본 발명의 실시형태예 3에 관한 영상 복호 장치(300)의 구성을 도시한다.

이 도면에 도시한 것처럼, 실시형태예 3의 영상 복호 장치(300)는 부호화 데이터 입력부(301)와, 합성 화상 입력부(302)와, 예측 잔차 복호부(303)와, 차분 화상 복호부(304)와, 차분 화상 메모리(305)와, 예측 차분 화상 생성부(306)와, 화상 복호부(307)를 구비한다.

이 부호화 데이터 입력부(301)는, 실시형태예 1의 영상 부호화 장치(100)에 의해 생성된 부호화 데이터(복호 대상이 되는 카메라로 촬영된 영상의 부호화 데이터)를 입력한다. 합성 화상 입력부(302)는, 그 카메라에 대한 합성 영상(합성 화상, 즉, 시차 보상 화상)을 입력한다. 예측 잔차 복호부(303)는 부호화 데이터에 포함되는 예측 잔차를 복호한다.

차분 화상 복호부(304)는, 합성 화상 입력부(302)가 입력한 합성 화상에 따라 처리 범위를 결정하면서 예측 차분 화상 생성부(306)가 생성한 예측 차분 화상(복호 대상 화상과 합성 화상과의 차분 화상에 대한 예측 화상)과, 예측 잔차 복호부(303)가 복호한 예측 잔차를 가산함으로써 복호 대상 화상과 합성 화상과의 차분으로 표시되는 차분 화상을 생성한다. 차분 화상 메모리(305)는 차분 화상 복호부(304)가 생성한 차분 화상을 축적한다.

예측 차분 화상 생성부(306)는, 차분 화상 메모리(305)에 축적되는 차분 화상을 사용하여 복호 대상 화상과 합성 화상과의 차분으로 표시되는 차분 화상에 대한 예측 화상(예측 차분 화상)을 생성한다.

화상 복호부(307)는 차분 화상 복호부(304)가 생성한 차분 화상과, 합성 화상 입력부(302)가 입력한 합성 화상을 가산함으로써 복호 대상의 화상을 복호한다.

도 9에, 이와 같이 구성되는 실시형태예 3의 영상 복호 장치(300)가 실행하는 처리 흐름도를 도시한다.

이 처리 흐름도는, 실시형태예 3의 영상 복호 장치(300)에 의해 소정 시각의 화상의 부호화 데이터를 복호할 때의 처리를 나타내는 것으로서, 여러 개의 프레임을 복호할 때에는 이 처리 흐름이 반복 실행된다.

이하에서는, 이 처리 흐름에 따라 실시형태예 3의 영상 복호 장치(300)가 실행하는 처리에 대해서 상세히 설명하기로 한다. 여기에서 상술한 실시형태예 1이나 실시형태예 2에서 사용한 기호를 그대로 사용하여 설명하기로 한다.

실시형태예 3의 영상 복호 장치(300)에서는, 우선 부호화 데이터 입력부(301)에서 복호 대상 화상의 부호화 데이터를 입력한다[D1]. 다음으로, 합성 화상 입력부(302)에서 복호 대상 화상에 대한 합성 화상을 입력한다[D2].

본 실시형태예 3에서는, 화상 전체는 여러 개의 블록으로 분할되어 부호화되어 있는 것을 상정하고 있으며 블록마다 처리를 반복함으로써 화상 전체를 복호하는 것으로 한다. 아울러 반드시 블록 형태로 분할되어 있을 필요는 없으며 임의의 형상으로 분할되어 있어도 좋고, 분할되어 있지 않아도 좋다. 이하에서는, 블록의 인덱스를 blk, 화상에 포함되는 블록수를 numBlk로 표시한다.

따라서, blk를 0으로 초기화한 후[D3], Blk에 1을 가산하면서[D9], Blk가 numBlk가 될 때까지[D10], 이하의 처리 [D4-D8]를 반복함으로써 복호를 수행한다.

즉, 블록마다 반복되는 처리에서는, 우선 예측 잔차 복호부(303)에서 입력한 부호화 데이터에 포함되는 예측 잔차를 복호한다[D4].

다음으로, 예측 차분 화상 생성부(306)에서 차분 화상 메모리(305)에 축적되어 있는 이미 복호된 다른 시각의 프레임이나 복호 대상 프레임내의 이미 복호된 블록을 사용하여 예측 차분 화상을 생성한다[D5].

여기에서 예측 차분 화상의 생성법이 여러 가지 존재할 때에는 부호화 데이터에 포함되는 블록 blk에서의(부호화시의) 예측 방법을 나타내는 정보를 사용하여 하나의 생성법을 특정하고, 거기에 기초하여 예측 차분 화상을 생성하게 된다.

예측 차분 화상 생성부(306)에 의해 예측 차분 화상이 생성되면, 계속해서 차분 화상 복호부(304)에서 생성된 예측 차분 화상과 복호된 예측 잔차와의 합으로 표시되는 복호 차분 화상을 생성한다[D6].

이 때, 화소값의 유효 최소값과 화소값의 유효 최대값에 의해 실시형태예 1의 A9에서 수행되는 클리핑 처리와 동일한 클리핑 처리(상술한 수학식 5로 표시되는 클리핑 처리)가 이루어진다. 아울러 이 클리핑은 수행해도 좋고 수행하지 않아도 좋다. 단, 클리핑을 수행할 경우에는 부호화기와 복호기에서 같은 처리를 할 필요가 있다.

차분 화상 복호부(304)에 의해 생성된 복호 차분 화상은 차분 화상 메모리(305)에 저장되어 이후의 블록을 복호할 때의 예측 차분 화상 생성에 이용된다[D7].

차분 화상 복호부(304)에 의해 복호 차분 화상이 생성되면, 화상 복호부(307)에서 복호 차분 화상과 합성 화상과의 합으로 표시되는 복호 화상을 생성한다[D8].

이 때, 각 화소의 값은 유효한 범위로 클리핑된다. 단, D6에서 클리핑이 수행되는 경우에는 여기에서의 클리핑을 수행할 필요는 없다. 이 클리핑 처리는, 수식을 사용하면 다음 수학식 11로 표시된다.

[수학식 11]

∀(x,y)∈blk,Dec[t,x,y]=Clip(DecDiff[t,x,y]+Syn[t,x,y],min,max)

이와 같이 하여 생성된 복호 화상이 영상 복호 장치(300)의 출력이 된다. 아울러 실시형태예 3에서는 복호된 화상이 금방 출력되는데, 부호화→복호의 순서에서 적정한 표시 타이밍으로 되어 있지 않은 경우에는 출력전에 버퍼링되어 적절한 표시 타이밍이 왔을 때 영상 복호 장치(300)로부터 출력된다.

여기에서 도 9에 도시한 처리 흐름도에서는 부호화 데이터에 포함되는 복호 대상 화상의 예측 잔차를 복호함과 동시에, 복호 대상 화상의 이미 복호된 영역의 화상과 합성 화상과의 차로 표시되는 차분 화상을 사용하여 앞으로 복호할 영역에서의 차분 화상의 예측 화상을 생성한 후 그 생성한 예측 차분 화상과 복호한 예측 잔차를 합함으로써 복호 차분 화상을 얻고, 그 복호 차분 화상과 합성 화상을 더함으로써 복호 화상을 복호하는 구성을 채용하였으나, 복호 화상의 생성 순서는 여기에 한정되지는 않는다.

즉, 부호화 데이터에 포함되는 복호 대상 화상의 예측 잔차를 복호함과 동시에 복호 대상 화상의 이미 복호된 영역의 화상과 합성 화상과의 차로 표시되는 차분 화상을 사용하여 앞으로 복호할 영역에서의 차분 화상의 예측 화상을 생성한 후 그 생성한 예측 차분 화상과 합성 화상을 합함으로써 복호 대상 화상의 예측 화상 을 얻고 그 복호 대상 화상의 예측 화상과 복호한 예측 잔차를 더함으로써 복호 화상을 복호하는 구성을 채용해도 좋다.

[4]실시형태예 4

다음으로, 제4 실시형태예(이하, 실시형태예 4로 기재한다)에 대해서 설명하기로 한다.

도 10에, 본 발명의 실시형태예 4에 관한 영상 복호 장치(400)의 구성을 도시한다.

이 도면에 도시한 것처럼, 실시형태예 4의 영상 복호 장치(400)는 부호화 데이터 입력부(401)와, 합성 화상 입력부(402)와, 예측 잔차 복호부(403)와, 화상 복호부(404)와, 복호 화상 메모리(405)와, 차분 화상 메모리(406)와, 예측 차분 화상 생성부(407)와, 제1 예측 화상 생성부(408)와, 제2 예측 화상 생성부(409)와, 예측 교환 스위치(410)를 구비한다.

이 부호화 데이터 입력부(401)는 실시형태예 2의 영상 부호화 장치(200)에 의해 생성된 부호화 데이터(복호 대상이 되는 카메라로 촬영된 영상의 부호화 데이터)를 입력한다. 합성 화상 입력부(402)는 그 카메라에 대한 합성 영상(합성 화상)을 입력한다. 예측 잔차 복호부(403)은 부호화 데이터에 포함되는 예측 잔차를 복호한다.

화상 복호부(404)는 예측 잔차 복호부(403)가 복호한 예측 잔차와 제1 예측 화상 생성부(408) 혹은 제2 예측 화상 생성부(409)가 생성한 예측 화상을 가산함으로써 복호 대상의 화상을 복호한다. 복호 화상 메모리(405)는 화상 복호부(404)가 복호한 복호 화상을 축적한다.

차분 화상 메모리(406)는 화상 복호부(404)가 복호한 복호 화상과 합성 화상 입력부(402)가 입력한 합성 화상과의 차분으로 표시되는 차분 화상(복호 차분 화상)을 축적한다.

예측 차분 화상 생성부(407)는 차분 화상 메모리(406)에 축적되는 차분 화상을 사용하여 복호 대상 화상과 합성 화상과의 차분으로 표시되는 차분 화상에 대한 예측 화상(예측 차분 화상)을 생성한다.

제1 예측 화상 생성부(408)는 예측 차분 화상 생성부(407)가 생성한 예측 차분 화상과 합성 화상 입력부(402)가 입력한 합성 화상을 가산함으로써 복호 대상 화상에 대한 예측 화상을 생성한다.

제2 예측 화상 생성부(409)는 복호 화상 메모리(405)에 축적되는 복호 화상에 기초하여 복호 대상 화상에 대한 예측 화상을 생성한다.

예측 교환 스위치(410)는 제1 예측 화상 생성부(408)가 생성한 예측 화상과, 제2 예측 화상 생성부(409)가 생성한 예측 화상 중 어느 하나를 선택하여 출력한다.

도 11에, 이와 같이 구성되는 실시형태예 4의 영상 복호 장치(400)가 실행하는 처리 흐름도를 도시한다.

이 처리 흐름도는 실시형태예 4의 영상 복호 장치(400)에 의해 소정 시각의 화상의 부호화 데이터를 복호할 때의 처리를 도시한 것으로서, 여러 개의 프레임을 복호할 때에는 이 처리 흐름도가 반복 실행되게 된다.

이하에서는, 이 처리 흐름도에 따라 실시형태예 4의 영상 복호 장치(400)가 실행하는 처리에 대해서 상세히 설명하기로 한다. 여기에서 상술한 실시형태예 1∼3에서 사용한 기호를 그대로 사용하여 설명하기로 한다.

실시형태예 4의 영상 복호 장치(400)에서는, 우선 부호화 데이터 입력부(401)에서 복호 대상 화상의 부호화 데이터를 입력한다[E1]. 다음으로, 합성 화상 입력부(402)에서 복호 대상 화상에 대한 합성 화상을 입력한다[E2].

본 실시형태예 4에서는, 화상 전체는 여러 개의 블록으로 분할되어 부호화되어 있는 것을 상정하고 있으며, 블록마다 처리를 반복함으로써 화상 전체를 복호하는 것으로 한다. 아울러 반드시 블록 형태로 분할되어 있을 필요는 없으며, 임의의 형상으로 분할되어 있어도 좋고 분할되어 있지 않아도 좋다. 이하에서는 블록의 인덱스를 blk, 화상에 포함되는 블록수를 numBlk로 나타낸다.

따라서, blk를 0으로 초기화한 후[E3], Blk에 1을 가산하면서[E10] blk가 numBlk가 될 때까지[E11] 이하의 처리 [E4-E9]를 반복함으로써 복호를 수행한다.

즉, 블록마다 반복되는 처리에서는, 우선 예측 잔차 복호부(403)에서 입력한 부호화 데이터에 포함되는 예측 잔차를 복호한다[E4].

다음으로, 제1 예측 화상 생성부(408)에서 차분 화상 메모리(406)에 축적되어 있는 이미 복호된 다른 시각의 프레임이나 복호 대상 프레임내의 이미 복호된 블록의 복호 차분 화상을 사용하여 예측 화상을 생성하거나, 제2 예측 화상 생성부(409)에서 복호 화상 메모리(405)에 축적되어 있는 이미 복호된 다른 시각의 프레임의 복호 화상을 사용하여 예측 화상을 생성한다[E5].

여기에서 예측 화상의 생성법은 어느 한 방법에 의해 각 블록에 대해서 하나의 생성법이 결정된다. 이 결정은, 지금까지 복호한 화상이나 블록의 정보를 사용하여 결정해도 좋고 부호화 데이터에 포함되는 예측 방법을 지정하는 정보에 의해 결정해도 좋다. 단, 영상 부호화 장치가 상정하는 결정법을 사용할 필요가 있다.

본 실시형태예 4에서는, 제1 예측 화상 생성부(408)에 의한 차분 화상을 사용한 예측을 할지, 제2 예측 화상 생성부(409)에 의한 차분 화상을 사용하지 않는 예측을 할지를, 예측 전환 스위치(410)를 사용하여 전환하였다.

제1 예측 화상 생성부(408)를 사용하는 차분 화상을 사용하는 예측을 할 경우에는, 우선 예측 차분 화상 생성부(407)에서 차분 화상 메모리(406)에 축적되어 있는 차분 화상을 사용하여 예측 차분 화상을 생성한다. 다음으로, 제1 예측 화상 생성부(408)에서 예측 차분 화상과 합성 화상과의 합으로 표시되는 예측 화상을 생성한다. 이 예측 화상이 복호 대상 화상에 대한 예측 화상이 된다.

이 때, 화소값의 유효 최소값과 화소값의 유효 최대값에 의해 실시형태예 2의 C4,C5에서 수행되는 클리핑 처리와 동일한 클리핑 처리(상술한 수학식 6으로 표시되는 클리핑 처리)가 이루어진다. 아울러 이 클리핑은 수행해도 좋고 수행하지 않아도 좋다. 단, 클리핑을 수행할 경우에는 부호화기와 복호기에서 같은 처리를 할 필요가 있다.

한편, 제2 예측 화상 생성부(409)를 사용하는 차분 화상을 사용하지 않는 예측을 할 경우에는, 제2 예측 화상 생성부(409)에서 복호 화상 메모리(405)에 축적되어 있는 복호 화상을 사용하여 예측 화상을 생성한다. 예측 화상이 복호 대상 화 상에 대한 예측 화상이 된다. 아울러 여기에서 수행되는 처리는 실시형태예 2의 C6에서 수행되는 처리와 같다.

본 실시형태예 4에서는, 제2 예측 화상 생성부(409)와 예측 차분 화상 생성부(407)를 구비하였는데, 양자가 수행하는 예측법이 같은 경우, 입력하는 화상 메모리를 전환함으로써 하나의 예측 화상 생성부로 구성할 수도 있다. 그 경우, 예측 화상 생성부의 출력은 차분 화상을 사용한 예측을 한 경우에만 제1 예측 화상 생성부(408)에 입력될 필요가 있다. 즉, 연동하여 동작하는 스위치가 2개 필요하다.

제1 예측 화상 생성부(408)나 제2 예측 화상 생성부(409)에 의해 예측 화상이 생성되면, 화상 복호부(404)에서 그 예측 화상과 예측 잔차 복호부(403)에 의해 복호된 예측 잔차와의 합으로 표시되는 복호 화상을 생성한다[E6].

이 때, 각 화소의 값은 유효한 범위로 클리핑된다. 이 클리핑 처리는 실시형태예 2의 C11에서 수행되는 처리와 같다. 수식을 사용하면 상술한 수학식 9로 표시된다.

이와 같이 하여 생성된 복호 화상은 복호 화상 메모리(405)에 저장되어 이후의 블록을 복호할 때의 예측 화상 생성에 이용된다[E7].

또 이 복호 화상과 합성 화상을 사용하여, 상술한 수학식 10에 따라 복호 차분 화상을 생성한다[E8]. 이 생성된 복호 차분 화상은 차분 화상 메모리(406)에 저장되어 이후의 블록을 복호할 때의 예측 화상 생성에 이용된다[E9].

E6에서 생성된 복호 화상이 영상 복호 장치(400)의 출력이 된다. 아울러 본 실시형태예 4에서는 복호된 화상이 금방 출력되는데, 부호화→복호의 순서에서 적 정한 표시 타이밍으로 되어 있지 않은 경우에는 출력전에 버퍼링되어 적절한 표시 타이밍이 왔을 때 영상 복호 장치(400)에서 출력된다.

본 발명은 다시점 영상의 부호화에 적용할 수 있는 것으로서, 차분 영상을 사용한 고효율의 부호화를 적은 회로 규모·실장 규모로 실현할 수 있게 된다.

Claims

시점이 다른 여러 개의 카메라에 의해 촬영된 다시점 화상을 부호화할 때 부호화 대상의 화상을 촬영한 카메라의 시점과 다른 적어도 하나의 시점에서의 이미 부호화된 참조 카메라 화상과, 그 참조 카메라 화상과 부호화 대상의 화상간의 시차 정보로부터 부호화 대상의 화상을 촬영한 카메라에 대한 합성 화상을 생성하고, 그 합성 화상을 사용하여 부호화 대상의 화상을 부호화하는 영상 부호화 장치로서,

차후 부호화할 부호화 대상 영역의 입력 화상과, 그것에 대한 상기 합성 화상과의 차분 화상의 예측 화상을 생성하는 차분 화상 예측 수단,

상기 차분 화상 예측 수단이 생성한 예측 차분 화상과 부호화 대상 영역의 상기 합성 화상과의 합으로 표시되는, 그 영역의 예측 화상을 생성하는 예측 화상 생성 수단,

상기 예측 화상 생성 수단이 생성한 부호화 대상 영역의 예측 화상과 그 영역의 부호화 대상 화상과의 차로 표시되는, 예측 잔차를 부호화하는 예측 잔차 부호화 수단을 구비하는 것을 특징으로 하는 영상 부호화 장치.
제1항에 있어서,

상기 차분 화상 예측 수단은 부호화 대상 화상의 이미 부호화된 영역의 복호 화상과 그 영역의 상기 합성 화상과의 차로 표시되는, 부호화 대상 화상이 촬영된 시각과 같은 시각의 차분 화상을 사용하여 상기 부호화 대상 영역의 차분 화상의 예측 화상을 생성하는 것을 특징으로 하는 영상 부호화 장치.
제1항에 있어서,

상기 차분 화상 예측 수단은 부호화 대상 화상을 촬영한 시점에서 촬영된 이미 부호화된 화상의 복호 화상과 그 복호 화상과 같은 시각의 상기 합성 화상과의 차로 표시되는, 부호화 대상 화상이 촬영된 시각과는 다른 시각의 차분 화상을 사용하여 상기 부호화 대상 영역의 차분 화상의 예측 화상을 생성하는 것을 특징으로 하는 영상 부호화 장치.
제1항에 있어서,

부호화 대상 화상의 부호화 데이터를 복호하여 부호화 대상 화상의 복호 화상을 생성하는 화상 복호 수단,

상기 화상 복호 수단이 복호한 복호 화상과 상기 합성 화상과의 차로 표시되는 복호 차분 화상을 생성하고, 그 생성한 복호 차분 화상을 축적 메모리에 축적하는 복호 차분 화상 생성 축적 수단을 구비하고,

상기 차분 화상 예측 수단은, 상기 축적 메모리에 축적되어 있는 복호 차분 화상을 사용하여 상기 부호화 대상 영역의 차분 화상의 예측 화상을 생성하는 것을 특징으로 하는 영상 부호화 장치.
제1항에 있어서,

상기 예측 잔차 부호화 수단이 부호화한 예측 잔차를 복호하는 예측 잔차 복호 수단,

상기 예측 잔차 복호 수단이 복호한 복호 예측 잔차와 상기 예측 차분 화상과의 합으로 표시되는 복호 차분 화상을 생성하고, 그 생성한 복호 차분 화상을 축적 메모리에 축적하는 복호 차분 화상 생성 축적 수단을 구비하고,

상기 차분 화상 예측 수단은, 상기 축적 메모리에 축적되어 있는 복호 차분 화상을 사용하여 상기 부호화 대상 영역의 차분 화상의 예측 화상을 생성하는 것을 특징으로 하는 영상 부호화 장치.
제1항에 있어서,

부호화 대상 화상의 이미 부호화된 영역의 복호 화상 및 부호화 대상 화상을 촬영한 시점에서 촬영되고, 또한 부호화 대상 화상과는 다른 시각에 촬영된 이미 부호화된 화상의 복호 화상 중 어느 하나를 사용하여 부호화 대상 화상의 예측 화상을 생성하는 원화상 예측 수단을 구비하고,

상기 예측 화상 생성 수단은, 선택적으로 상기 예측 차분 화상과 상기 합성 화상에 기초하여 부호화 대상 영역의 예측 화상을 생성하거나, 또는 상기 원화상 예측 수단이 생성한 예측 화상을 그대로 이용하여 부호화 대상 영역의 예측 화상을 생성하는 것을 특징으로 하는 영상 부호화 장치.
제1항에 있어서,

상기 예측 화상 생성 수단은 상기 예측 화상의 각 화소가 소정의 유효 범위내의 화소값을 갖도록 클리핑하는 것을 특징으로 하는 영상 부호화 장치.
제5항에 있어서,

상기 복호 차분 화상 생성 축적 수단은 상기 복호 차분 화상의 각 화소가 소정의 유효 범위내의 화소값을 갖도록 클리핑하는 것을 특징으로 하는 영상 부호화 장치.
시점이 다른 여러 개의 카메라에 의해 촬영된 다시점 화상의 부호화 데이터를 복호할 때 부호화 대상의 화상을 촬영한 카메라의 시점과 다른 적어도 하나의 시점에서의 이미 복호된 참조 카메라 화상과, 그 참조 카메라 화상과 복호 대상의 화상간의 시차 정보로부터, 복호 대상의 화상을 촬영한 카메라에 대한 합성 화상을 생성하고, 그 합성 화상을 사용하여 복호 대상의 화상의 부호화 데이터를 복호하는 영상 복호 장치로서,

부호화 데이터에 포함되는 복호 대상 화상의 예측 잔차를 복호하는 예측 잔차 복호 수단,

앞으로 복호할 복호 대상 영역의 복호 대상 화상과, 그것에 대한 상기 합성 화상과의 차분 화상의 예측 화상을 생성하는 차분 화상 예측 수단,

복호 대상 영역에 대해서, 상기 차분 화상 예측 수단이 생성한 예측 차분 화상과, 상기 예측 잔차 복호 수단이 복호한 예측 잔차와 상기 합성 화상을 합함으로 써 복호 대상 화상을 복호하는 화상 복호 수단을 구비하는 것을 특징으로 하는 영상 복호 장치.
제9항에 있어서,

상기 차분 화상 예측 수단은, 복호 대상 화상의 이미 복호된 영역의 복호 화상과 그 영역의 상기 합성 화상과의 차로 표시되는, 복호 대상 화상이 촬영된 시각과 같은 시각의 차분 화상을 사용하여 상기 복호 대상 영역의 차분 화상의 예측 화상을 생성하는 것을 특징으로 하는 영상 복호 장치.
제9항에 있어서,

상기 차분 화상 예측 수단은, 복호 대상 화상을 촬영한 시점에서 촬영된 이미 복호된 참조 화상과 그 참조 화상과 같은 시각의 상기 합성 화상과의 차로 표시되는, 복호 대상 화상이 촬영된 시각과는 다른 시각의 차분 화상을 사용하여 상기 복호 대상 영역의 차분 화상의 예측 화상을 생성하는 것을 특징으로 하는 영상 복호 장치.
제9항에 있어서,

상기 화상 복호 수단이 생성한 복호 화상과 상기 합성 화상과의 차로 표시되는 복호 차분 화상을 생성하여 축적 메모리에 축적하는 복호 차분 화상 생성 축적 수단을 구비하고,

상기 차분 화상 예측 수단은 상기 축적 메모리에 축적되어 있는 복호 차분 화상을 사용하여 상기 복호 대상 영역의 차분 화상의 예측 화상을 생성하는 것을 특징으로 하는 영상 복호 장치.
제9항에 있어서,

상기 예측 잔차 복호 수단이 복호한 복호 예측 잔차와 상기 예측 차분 화상과의 합으로 표시되는 복호 차분 화상을 생성하여 축적 메모리에 축적하는 복호 차분 화상 생성 축적 수단을 구비하고,

상기 차분 화상 예측 수단은, 상기 축적 메모리에 축적되어 있는 복호 차분 화상을 사용하여 상기 복호 대상 영역의 차분 화상의 예측 화상을 생성하는 것을 특징으로 하는 영상 복호 장치.
제9항에 있어서,

복호 대상 화상의 이미 복호된 화상 및 복호 대상 화상을 촬영한 시점에서 촬영되고, 또한 복호 대상 화상과는 다른 시각에 촬영된 이미 복호된 화상 중 어느 하나를 사용하여 복호 대상 화상의 예측 화상을 생성하는 원화상 예측 수단을 구비하고,

상기 화상 복호 수단은 복호 대상 영역에 대해서 선택적으로 상기 차분 화상 예측 수단이 생성한 예측 차분 화상과, 상기 예측 잔차 복호 수단이 복호한 예측 잔차와 상기 합성 화상을 합함으로써 복호 대상 화상을 복호하거나, 또는 상기 원 화상 예측 수단이 생성한 예측 화상과, 상기 예측 잔차 복호 수단이 복호한 예측 잔차를 합함으로써 복호 대상 화상을 복호하는 것을 특징으로 하는 영상 복호 장치.
제13항에 있어서,

상기 복호 차분 화상 생성 축적 수단은 상기 복호 차분 화상의 각 화소가 소정의 유효 범위내의 화소값을 갖도록 클리핑하는 것을 특징으로 하는 영상 복호 장치.
시점이 다른 여러 개의 카메라에 의해 촬영된 다시점 화상을 부호화할 때 부호화 대상의 화상을 촬영한 카메라의 시점과 다른 적어도 하나의 시점에서의 이미 부호화된 참조 카메라 화상과, 그 참조 카메라 화상과 부호화 대상의 화상간의 시차 정보로부터, 부호화 대상의 화상을 촬영한 카메라에 대한 합성 화상을 생성하고 그 합성 화상을 사용하여 부호화 대상의 화상을 부호화하는 영상 부호화 방법으로서,

차후 부호화할 부호화 대상 영역의 입력 화상과, 그것에 대한 상기 합성 화상과의 차분 화상의 예측 화상을 생성하는 차분 화상 예측 단계,

상기 차분 화상 예측 단계에서 생성한 예측 차분 화상과 부호화 대상 영역의 상기 합성 화상과의 합으로 표시되는, 그 영역의 예측 화상을 생성하는 예측 화상 생성 단계,

상기 예측 화상 생성 단계에서 생성한 부호화 대상 영역의 예측 화상과 그 영역의 부호화 대상 화상과의 차로 표시되는, 예측 잔차를 부호화하는 예측 잔차 부호화 단계를 구비하는 것을 특징으로 하는 영상 부호화 방법.
제16항에 있어서,

상기 차분 화상 예측 단계에서는 부호화 대상 화상의 이미 부호화된 영역의 복호 화상과 그 영역의 상기 합성 화상과의 차로 표시되는, 부호화 대상 화상이 촬영된 시각과 같은 시각의 차분 화상을 사용하여 상기 부호화 대상 영역의 차분 화상의 예측 화상을 생성하는 것을 특징으로 하는 영상 부호화 방법.
제16항에 있어서,

상기 차분 화상 예측 단계에서는 부호화 대상 화상을 촬영한 시점에서 촬영된 이미 부호화된 화상의 복호 화상과 그 복호 화상과 같은 시각의 상기 합성 화상과의 차로 표시되는, 부호화 대상 화상이 촬영된 시각과는 다른 시각의 차분 화상을 사용하여 상기 부호화 대상 영역의 차분 화상의 예측 화상을 생성하는 것을 특징으로 하는 영상 부호화 방법.
제16항에 있어서,

상기 예측 잔차 부호화 단계에서 부호화한 예측 잔차를 복호하는 예측 잔차 복호 단계,

상기 예측 잔차 복호 단계에서 복호한 복호 예측 잔차와 상기 예측 차분 화상과의 합으로 표시되는 복호 차분 화상을 생성하고, 그 생성한 복호 차분 화상을 축적 메모리에 축적하는 복호 차분 화상 생성 축적 단계를 구비하고,

상기 차분 화상 예측 단계에서는, 상기 축적 메모리에 축적되어 있는 복호 차분 화상을 사용하여 상기 부호화 대상 영역의 차분 화상의 예측 화상을 생성하는 것을 특징으로 하는 영상 부호화 방법.
제16항에 있어서,

부호화 대상 화상의 이미 부호화된 영역의 복호 화상 및 부호화 대상 화상을 촬영한 시점에서 촬영되고, 또한 부호화 대상 화상과는 다른 시각에 촬영된 이미 부호화된 화상의 복호 화상 중 하나를 사용하여 부호화 대상 화상의 예측 화상을 생성하는 원화상 예측 단계를 구비하고,

상기 예측 화상 생성 단계에서는, 선택적으로 상기 예측 차분 화상과 상기 합성 화상에 기초하여 부호화 대상 영역의 예측 화상을 생성하거나, 또는 상기 원화상 예측 단계에서 생성한 예측 화상을 그대로 이용하여 부호화 대상 영역의 예측 화상을 생성하는 것을 특징으로 하는 영상 부호화 방법.
시점이 다른 여러 개의 카메라에 의해 촬영된 다시점 화상의 부호화 데이터를 복호할 때, 부호화 대상의 화상을 촬영한 카메라의 시점과 다른 적어도 하나의 시점에서의 이미 복호된 참조 카메라 화상과, 그 참조 카메라 화상과 복호 대상의 화상간의 시차 정보로부터, 복호 대상의 화상을 촬영한 카메라에 대한 합성 화상을 생성하고 그 합성 화상을 사용하여 복호 대상의 화상의 부호화 데이터를 복호하는 영상 복호 방법으로서,

부호화 데이터에 포함되는 복호 대상 화상의 예측 잔차를 복호하는 예측 잔차 복호 단계,

앞으로 복호할 복호 대상 영역의 복호 대상 화상과, 그것에 대한 상기 합성 화상과의 차분 화상의 예측 화상을 생성하는 차분 화상 예측 단계,

복호 대상 영역에 대해서, 상기 차분 화상 예측 단계에서 생성한 예측 차분 화상과, 상기 예측 잔차 복호 단계에서 복호한 예측 잔차와 상기 합성 화상을 합함으로써 복호 대상 화상을 복호하는 화상 복호 단계를 구비하는 것을 특징으로 하는 영상 복호 방법.
제21항에 있어서,

상기 차분 화상 예측 단계에서는 복호 대상 화상의 이미 복호된 영역의 복호 화상과 그 영역의 상기 합성 화상과의 차로 표시되는, 복호 대상 화상이 촬영된 시각과 같은 시각의 차분 화상을 사용하여 상기 복호 대상 영역의 차분 화상의 예측 화상을 생성하는 것을 특징으로 하는 영상 복호 방법.
제21항에 있어서,

상기 차분 화상 예측 단계에서는 복호 대상 화상을 촬영한 시점에서 촬영된 이미 복호된 참조 화상과 그 참조 화상과 같은 시각의 상기 합성 화상과의 차로 표시되는, 복호 대상 화상이 촬영된 시각과는 다른 시각의 차분 화상을 사용하여 상기 복호 대상 영역의 차분 화상의 예측 화상을 생성하는 것을 특징으로 하는 영상 복호 방법.
제21항에 있어서,

상기 예측 잔차 복호 단계에서 복호한 복호 예측 잔차와 상기 예측 차분 화상과의 합으로 표시되는 복호 차분 화상을 생성하여 축적 메모리에 축적하는 복호 차분 화상 생성 축적 단계를 구비하고,

상기 차분 화상 예측 단계에서는, 상기 축적 메모리에 축적되어 있는 복호 차분 화상을 사용하여 상기 복호 대상 영역의 차분 화상의 예측 화상을 생성하는 것을 특징으로 하는 영상 복호 방법.
제21항에 있어서,

복호 대상 화상의 이미 복호된 화상 및 복호 대상 화상을 촬영한 시점에서 촬영되고, 또한 복호 대상 화상과는 다른 시각에 촬영된 이미 복호된 화상 중 하나를 사용하여 복호 대상 화상의 예측 화상을 생성하는 원화상 예측 단계를 구비하고,

상기 화상 복호 단계에서는 복호 대상 영역에 대해서 선택적으로 상기 차분 화상 예측 단계에서 생성한 예측 차분 화상과, 상기 예측 잔차 복호 단계에서 복호 한 예측 잔차와 상기 합성 화상을 합함으로써 복호 대상 화상을 복호하거나, 또는 상기 원화상 예측 단계에서 생성한 예측 화상과, 상기 예측 잔차 복호 단계에서 복호한 예측 잔차를 합함으로써 복호 대상 화상을 복호하는 것을 특징으로 하는 영상 복호 방법.
제24항에 있어서,

상기 복호 차분 화상 생성 축적 단계에서는 상기 복호 차분 화상의 각 화소가 소정의 유효 범위내의 화소값을 갖도록 클리핑하는 것을 특징으로 하는 영상 복호 방법.
제1항에 기재된 영상 부호화 장치의 실현에 사용되는 처리를 컴퓨터에 실행시키기 위한 영상 부호화 프로그램.
제1항에 기재된 영상 부호화 장치의 실현에 사용되는 처리를 컴퓨터에 실행시키기 위한 영상 부호화 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
제9항에 기재된 영상 복호 장치의 실현에 사용되는 처리를 컴퓨터에 실행시키기 위한 영상 복호 프로그램.
제9항에 기재된 영상 복호 장치의 실현에 사용되는 처리를 컴퓨터에 실행시 키기 위한 영상 복호 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.