KR101175554B1 - 입체시 화상 생성 장치 - Google Patents

Abstract

본 발명은, 화질의 열화를 억제하면서 자연스러운 입체감을 가진 입체시 화상을 생성하는 것을 목적으로 한다.

본 발명의 입체시 화상 생성 장치에 있어서, RAM(23)에는 원화상 IMG0를 구성하는 복수개의 화소 Pix의 각각에 대하여 화소값 G가 기억된다. CPU(10)는, 각 화소 Pix의 화소값 G와 그 화소 Pix에 대해서 행 방향으로 인접하는 화소 Pix의 화소값 G의 대소에 기초하여 각 화소 Pix의 깊이값 Z를 결정하고, 상기 깊이값 Z에 기초하여 입체시 화상을 생성한다.

입체시, 화상, 계조, 화소, 깊이값, 계수치, 프로그램, 가중치, 입체감

Description

입체시 화상 생성 장치{3D IMAGE REPRODUCTION DEVICE}

본 발명은, 관찰자에게 입체로서 지각되는 화상을 생성하기 위한 기술에 관한 것이다.

서로 시차(視差)를 가지는 2개의 화상 중 한쪽을 왼쪽 눈에 시인시키는 동시에 다른 쪽을 오른쪽 눈에 시인시키면, 관찰자에게 그 화상을 입체로서 지각시킬 수 있다. 이와 같은 시차를 가지는 화상(이하 「입체시(立體視) 화상」이라고 함)을 소재가 되는 평면 화상(이하 「원화상(original image)」이라고 함)으로부터 생성하기 위한 기술이 종래부터 제안되고 있다(예를 들면 특허 문헌 1 참조). 이 기술에 있어서는, 원화상의 각 화소의 채도가 피사체의 깊이값으로서 선정되고, 상기 깊이값에 따른 거리만큼 각 피사체의 화소를 좌우로 이동시킨 한쌍의 화상을 합성함으로써 입체시 화상이 생성된다.

[특허 문헌 1] 일본국 특개 2002-123842호 공보(단락 0033 및 도 7)

그러나, 전술한 바와 같은 방법에 있어서는, 각 화소의 채도에 따라 그 화소의 이동량이 결정되므로, 이용자가 자연스럽게 입체감을 지각할 수 있는 입체시 화상을 반드시는 생성할 수 없는 문제가 있었다. 예를 들면, 광의 조사에 의해 국소적으로 고계조(연한 계조)가 된 피사체나 그림자에 의해 국소적으로 저계조(진한 계조)가 된 피사체가 원화상에 포함되어 있는 경우, 하나의 피사체를 구성하는 모든 화소의 깊이값은 본래라면 거의 동일하게 되어야 함에도 불구하고, 광이나 그림자가 존재하는 부분과 그 이외의 부분에서 깊이값이 상이하게 된다. 그러므로, 관찰자는, 피사체의 일부만 국소적으로 뛰쳐나오는(또는 들어가는) 부자연스러운 입체감을 지각하게 된다. 또한, 각 화소의 깊이값에 기초하여서는, 원화상에서 인접하는 각 화소가 서로 상이한 방향으로 이동되는 경우가 있다. 이것은 화소 크로스(픽셀 크로스) 현상으로서, 이에 따라 화상의 불균일, 즉 화질의 열화가 생긴다. 특히, 원화상 중 복수개의 피사체가 서로 중첩되는 부분에서는 화소 크로스가 발생하기 쉽기 때문에, 화질의 열화는 한층 더 심각한 문제가 된다.

본 발명은 전술한 바와 같은 사정을 감안하여 이루어진 것이며, 그 목적은, 화질의 열화를 억제하면서 자연스럽게 입체감을 내는 입체시 화상을 생성하는 것이다.

본 발명의 과제를 해결하기 위해, 본 발명에 따른 입체시 화상 생성 장치는, 우안용 화상과 좌안용 화상이 합성된 입체시 화상을 원화상으로부터 생성하는 장치로서, 원화상을 구성하는 복수개의 화소의 각각에 대하여 화소값을 기억하는 화소값 기억 수단과, 원화상을 구성하는 각 화소의 화소값과 그 화소에 인접하는 화소의 화소값의 차분을 산출하고, 이 차분에 기초하여 각 화소의 깊이값을 결정하는 결정 수단과, 상기 결정 수단이 결정된 각 화소의 깊이값에 기초하여 입체시 화상을 생성하는 입체화 수단을 구비한다. 예를 들면, 각 화소의 깊이값은, 해당 화소의 화소값과, 이 화소에 대해서 행 방향(X 방향) 또는 열 방향(Y 방향)에 인접하는 화소의 화소값의 대소에 기초하여 결정된다.

즉, 특허 문헌 1에 기재된 종래의 구성에 있어서는, 하나의 화소의 화소값으로부터 직접적으로 그 화소의 깊이값이 결정되는 것에 비해, 본 발명의 입체시 화상 생성 장치에 있어서는, 서로 인접하는 화소의 화소값의 관계에 따른 각 화소의 깊이값이 결정된다. 따라서, 본 발명에 따르면, 종래의 구성과 비교하여, 자연스러운 입체감을 가진 입체시 화상을 생성할 수 있다.

본 발명의 바람직한 태양으로서, 원화상을 구성하는 각 화소는 각각의 표시색이 상이한 복수개의 서브 화소를 포함하고, 각 서브 화소의 계조값을 화소마다 기억하는 서브 화소 기억 수단과, 상기 서브 화소 기억 수단에 기억된 각 서브 화소의 계조값에 기초하여 화소마다의 화소값을 산정하는 산정 수단을 구비하고, 상기 화소값 기억 수단은 상기 산정 수단에 의해 산정된 화소값을 화소마다 기억한다. 본 태양에 의하면, 각 서브 화소의 계조값에 기초하여 화소마다의 화소값이 산정되므로, 여러 색으로 이루어지는 컬러 화상이 원화상이 되는 경우라 하더도 자연스러운 입체시 화상을 생성할 수 있다.

또한, 바람직한 태양에 있어서, 상기 산정 수단은, 하나의 화소에 속하는 각 서브 화소의 계조값을 2치화하고, 2치화된 각 계조값을 표시색마다 가중치를 부여한 후에 가산하고, 이 가산값에 기초하여 해당 화소의 화소값을 산정한다. 본 태양에 의하면, 각 서브 화소의 계조값을 표시색마다 중요한 수치에 기초하여 화소값이 산정되므로, 각 색에 대한 감도가 상이한 인간의 시각 특성에 적합한 입체시 화상을 생성할 수 있다.

보다 구체적으로는, 인간의 시각 특성은, 녹색에 대한 감도가 최대이며 청색에 대한 감도가 최소가 되는 특성을 나타낸다. 그래서, 각 화소가 적색의 서브 화소와 녹색의 서브 화소와 청색의 서브 화소를 포함하는 경우, 상기 산정 수단은, 각 화소에 대하여, 녹색의 서브 화소에 대하여 2치화된 계조값과 제1 가중치의 곱셈값과, 적색의 서브 화소에 대하여 2치화된 계조값과 상기 제1 가중치보다 작은 제2 가중치의 곱셈값과, 청색의 서브 화소에 대하여 2치화된 계조값과 상기 제2 가중치보다 작은 제3 가중치의 곱셈값을 가산하고, 이 가산값에 기초하여 해당 화소의 화소값을 산정한다.

본 발명의 다른 태양에 있어서, 깊이값을 기억하는 깊이값 기억 수단을 구비하고, 상기 결정 수단은, 원화상을 구성하는 복수개의 화소의 각각을 그 배열을 따라 순서대로 선택하는 선택 수단과, 상기 선택 수단이 선택한 화소의 화소값과 해당 화소에 인접하는 화소의 화소값의 차분을 차례대로 산출하는 차분 산출 수단과, 차분 산출 수단에 의해 산출된 차분에 기초하여, 상기 깊이값 기억 수단에 기억된 깊이값을 변경하는 변경 수단을 가지고, 상기 입체화 수단은, 상기 선택 수단이 화소를 선택할 때에 상기 기억 수단에 기억되어 있는 깊이값에 기초하여 해당 화소에 대한 입체화 처리를 실행한다.

바람직한 태양에 있어서, 상기 변경 수단은, 상기 차분이 양(+)으로부터 음(-)으로 변화된 경우는, 상기 변화 이후에 선택된 화소의 깊이값으로부터 소정값만큼 감산하는 한편, 상기 차분이 음으로부터 양으로 변화된 경우는, 상기 변화가 발생한 이후에 선택된 화소의 깊이값에 상기 소정값을 가산한다.

다른 바람직한 태양에 있어서, 임계값을 기억하는 임계값 기억 수단을 구비하고, 상기 결정 수단은 상기 차분 산출 수단에 의해 산출된 차분의 부호가 연속적으로 일치하는 횟수를 계수하는 계수 수단을 가지고, 상기 변경 수단은 상기 계수 수단에 의한 계수치와 상기 임계값 기억 수단에 기억된 임계값을 비교하여, 상기 계수값이 임계값을 넘었을 경우에 상기 깊이값을 변경한다. 이들 태양에 의하면, 계수 수단에 의한 계수치와 임계값의 비교의 결과에 따라 깊이값이 변경되기 때문에, 예를 들면, 계수 수단에 의한 계수값이 임계값을 넘었을 경우에 깊이값을 변경함으로써, 입체감의 자연스러움을 유지하면서 깊이값의 변동의 범위를 억제할 수 있다.

또한, 입력 장치로부터 입력된 초기치를 취득하는 취득 수단을 구비하고, 상기 변경 수단은, 상기 취득 수단이 취득한 초기치를, 상기 소정의 방향으로 배열하는 복수개의 화소 중 최초의 화소가 상기 선택 수단에 의해 선택될 때의 깊이값이 되도록 구성하면, 각 화소의 깊이값을 원화상의 전체로서 조정할 수 있으므로, 입력 장치로부터의 입력에 따른 다양한 입체시 화상이 생성된다.

본 발명의 다른 태양에 있어서, 원화상을 구성하는 각 화소의 계조값을 기억하는 계조값 기억 수단을 구비하고, 입체화 수단은, 좌안용 화상의 각 행에 속하는 각 화소의 계조값이, 원화상 중, 그 화소로부터 행 방향의 일측을 향하여 해당 화소의 깊이값에 따른 화소 개수만큼 떨어진 위치에 있는 화소의 계조값이 되도록 좌안용 화상을 생성하고, 우안용 화상의 각 행에 속하는 각 화소의 계조값이, 원화상 중, 그 화소로부터 행 방향의 타측을 향하여 해당 화소의 깊이값에 따른 화소 개수만큼 떨어진 위치에 있는 화소의 계조값이 되도록 우안용 화상을 생성하는 생성 수단과, 생성 수단이 생성한 좌안용 화상 및 우안용 화상을 합성함으로써 입체시 화상을 생성하는 합성 수단을 구비한다. 원화상의 화소를 깊이값에 기초하여 이동시키는 구성에 있어서는 화소의 결손이 생기기 쉬운 문제가 있지만, 본 태양에 의하면, 좌안용 화상 및 우안용 화상을 구성하는 각 화소로서 원화상 중에서 깊이값에 따른 위치에 있는 화소가 채택되므로, 이와 같은 결손의 발생을 방지할 수 있다.

무엇보다도, 좌안용 화상 및 우안용 화상을 생성하기 위해, 원화상의 각 화소의 계조값을 반드시 사용할 필요는 없고, 예를 들면, 원화상의 각 화소의 화소값을 사용함으로써 좌안용 화상 및 우안용 화상을 생성하여도 된다. 즉, 본 발명의 다른 태양에 있어서, 입체화 수단은, 좌안용 화상의 각 행에 속하는 각 화소의 화소값이, 원화상 중, 그 화소로부터 행 방향의 일측을 향하여 해당 화소의 깊이값에 따른 화소 개수만큼 떨어진 위치에 있는 화소의 화소값이 되도록 좌안용 화상을 생성하고, 우안용 화상의 각 행에 속하는 각 화소의 화소값이, 원화상 중, 그 화소로부터 행 방향의 타측을 향하여 해당 화소의 깊이값에 따른 화소 개수만큼 떨어진 위치에 있는 화소의 화소값이 되도록 우안용 화상을 생성하는 생성 수단과, 생성 수단이 생성한 좌안용 화상 및 우안용 화상을 합성함으로써 입체시 화상을 생성하는 합성 수단을 가진다.

이들 태양에 있어서, 생성 수단은 좌안용 화상 및 우안용 화상의 생성 처리를 복수회에 걸쳐서 실행하는 한편, 첫회 이외의 각 회의 생성 처리에 있어서는, 그 직전의 생성 처리에서 생성한 좌안용 화상 및 우안용 화상의 각각을 원화상으로 하여 좌안용 화상 및 우안용 화상을 생성하고, 합성 수단은 복수회의 생성 처리에 의해 생성된 좌안용 화상 및 우안용 화상을 합성함으로써 입체시 화상을 생성한다. 이 태양에 의하면, 좌안용 화상과 우안용 화상과의 생성이 단계적으로 실행되므로, 1회의 입체화 처리에 의해 입체시 화상을 생성하는 경우와 비교하여, 화소의 결손이 적은 자연스러운 입체시 화상을 생성할 수 있다.

입체화 수단의 구체적인 내용에 주목한 본 발명의 다른 태양은, 원화상을 구성하는 각 화소의 계조값을 기억하는 계조값 기억 수단과, 원화상을 구성하는 복수개의 화소의 각각에 대하여 깊이값을 산정하는 산정 수단과, 상기 산정 수단이 산정한 각 화소의 깊이값에 기초하여 입체시 화상을 생성하는 입체화 수단을 구비하고, 상기 입체화 수단은, 좌안용 화상의 각 행에 속하는 각 화소의 계조값이, 원화상 중, 그 화소로부터 행 방향의 일측을 향하여 해당 화소의 깊이값에 따른 화소 개수만큼 떨어진 위치에 있는 화소의 계조값이 되도록 좌안용 화상을 생성하고, 우안용 화상의 각 행에 속하는 각 화소의 계조값이, 원화상 중, 그 화소로부터 행 방향의 타측을 향하여 해당 화소의 깊이값에 따른 화소 개수만큼 떨어진 위치에 있는 화소의 계조값이 되도록 우안용 화상을 생성하는 생성 수단과, 생성 수단이 생성한 좌안용 화상 및 우안용 화상을 합성함으로써 입체시 화상을 생성하는 합성 수단을 구비한다. 이 태양에 있어서, 깊이값은 임의의 방법에 의하여 산정된다. 즉, 서로 인접하는 화소의 화소값의 대소에 기초하여 각 화소의 깊이값을 결정하는 방법 외에, 공지된 각종 방법이 채용된다.

본 발명에 따른 입체시 화상 생성 장치는, 화상 처리에 전용되는 DSP(Digital Signal Processor) 등의 하드웨어에 의해 실현되고, 그 외에도 퍼스널 컴퓨터 등의 컴퓨터와 프로그램의 협동에 의해 실현된다. 상기 프로그램은, 원화상을 구성하는 복수개의 화소의 각각에 대하여 화소값을 기억하는 화소값 기억 수단을 구비한 컴퓨터에, 원화상을 구성하는 각 화소의 화소값과 그 화소에 대해서 행 방향에 인접하는 화소의 화소값의 대소에 기초하여 해당 화소의 깊이값을 결정하는 결정 처리와, 결정 처리에서 결정한 각 화소의 깊이값에 기초하여 입체시 화상을 생성하는 입체화 처리를 실행시킨다. 상기 프로그램에 의해서도, 본 발명의 입체시 화상 생성 장치에 대하여 전술한 바와 마찬가지의 작용 및 효과를 얻을 수 있다. 그리고, 본 발명에 따른 프로그램은, CD－ROM 등 휴대형의 기록 매체에 저장된 형태로 이용자에게 제공되어 컴퓨터에 인스톨되고, 그 외에도 네트워크를 통하여 분배되는 형태로 서버 장치로부터 제공되어 컴퓨터에 인스톨된다.

또한, 본 발명은, 화상을 표시하는 표시 장치나, 기록 매체에 기록된 화상을 재생하는 재생 장치에도 적용된다. 즉, 상기 표시 장치는, 원화상을 구성하는 복수개의 화소의 각각에 대하여 화소값을 기억하는 화소값 기억 수단과, 원화상을 구성하는 각 화소의 화소값과 그 화소에 인접하는 화소의 화소값의 대소에 기초하여 각 화소의 깊이값을 결정하는 결정 수단과, 상기 결정 수단이 결정된 각 화소의 깊이값에 기초하여 입체시 화상을 생성하는 입체화 수단과, 입체화 수단에 의해 생성된 입체시 화상을 생성하는 표시 수단을 구비한다. 한편, 재생 장치는, 광디스크 등 각종의 기록 매체로부터 원화상을 판독하는 판독 수단과, 판독 수단에 의해 판독된 원화상을 구성하는 각 화소의 화소값과 그 화소에 인접하는 화소의 화소값의 대소에 기초하여 각 화소의 깊이값을 결정하는 결정 수단과, 상기 결정 수단이 결정된 각 화소의 깊이값에 기초하여 입체시 화상을 생성하여 출력하는 입체화 수단을 구비한다.

도 1은 본 발명의 제1 실시예에 따른 입체시 화상 생성 장치의 구성을 나타낸 블록도이다.

도 2는 원화상의 구성을 나타낸 도면이다.

도 3은 원화상 데이터의 데이터 구조를 나타낸 도면이다.

도 4는 원화상 데이터가 RAM에 판독되는 모습을 나타낸 도면이다.

도 5는 화소값 산정 처리의 내용을 설명하기 위한 도면이다.

도 6은 각 표시색의 서브 화소값과 화소값의 대응 관계를 나타낸 표이다.

도 7은 각 표시색의 서브 화소값으로 이루어지는 비트열과 화소값의 대응 관계를 나타낸 표이다.

도 8은 깊이값 결정 처리의 내용을 설명하기 위한 도면이다.

도 9는 입체화 처리의 내용을 설명하기 위한 도면이다.

도 10은 입체시 화상 생성 처리의 구체적인 내용을 나타낸 흐름도이다.

도 11은 입체시 화상 생성 처리의 구체적인 내용을 나타낸 흐름도이다.

도 12는 입체시 화상 생성 처리의 구체적인 내용을 나타낸 흐름도이다.

도 13은 입체시 화상 생성 처리의 구체적인 내용을 나타낸 흐름도이다.

도 14는 본 발명의 제2 실시예에 따른 입체시 화상 생성 장치의 동작을 설명하기 위한 도면이다.

[부호의 설명]

D: 입체시 화상 생성 장치 10: CPU

21: RAM 23: RAM

30: 기억 장치 40: 표시 장치

45: 입력 장치 IMG0: 원화상

Pix: 화소 Ps: 서브 화소

Dg: 원화상 데이터 D: 화소 데이터

U(Ur, Ug, Ub): 단위 데이터 G: 화소값

Gsub: 서브 화소값.

＜A: 제1 실시예＞

＜A-1: 입체시 화상 생성 장치의 구성＞

도 1은 본 발명의 제1 실시예에 따른 입체시 화상 생성 장치 D의 구성을 나타낸 블록도이다. 도 1에서 나타내는 CPU(10)는, 상기 입체시 화상 생성 장치 D의 각 부를 주로 제어하기 위한 수단이며, 프로그램에 따라 각종 연산이나 각 부의 제어를 실행함으로써 각종 기능을 실현한다. ROM(21)은 CPU(10)에 의해 실행되는 프로그램을 기억하기 위한 메모리이며, RAM(23)은 CPU(10)에 의해 작업 영역으로서 사용되는 메모리이다.

기억 장치(30)는 CPU(10)에 의해 실행되는 프로그램이나 상기 프로그램의 실행 시에 사용되는 각종 데이터를 기억하는 수단이다. 예를 들면, 자기 디스크를 내장한 하드 디스크 장치나, CD-ROM 등의 기록 매체를 수용하는 디스크 장치 등이 기억 장치(30)로서 채용된다. 상기 기억 장치(30)에는, 입체시 화상 생성 장치 D의 전체 동작을 관리하기 위한 OS(Operating System) 외에, 화상을 처리하기 위한 응용 프로그램(이하 「화상 처리 프로그램」이라고 함)이 기억되어 있다. 상기 화상 처리 프로그램은, 소재가 되는 원화상의 내용을 나타낸 원화상 데이터로부터 입체시 화상을 나타내는 입체시 화상 데이터를 생성하기 위한 처리(이하 「입체시 화상 생성 처리」라고 함)를 CPU(10)에 실행하도록 하기 위한 프로그램이다. 입체시 화상은, 이용자의 왼쪽 눈에 의해 시인되는 좌안용 화상과 이용자의 오른쪽 눈에 의해 시인되는 우안용 화상이 합성된 화상이다. 좌안용 화상과 우안용 화상 사이에는 시차가 있다.

CPU(10)가 화상 처리 프로그램을 실행함으로써 생성된 입체시 화상은 표시 장치(40)에 표시된다. 상기 표시 장치(40)는, CPU(10)에 의한 제어에 기초하여 각종 화상을 표시하는 수단이며, 예를 들면 CRT(Cathode Ray Tube)나 액정 표시 패널 등의 표시 기기를 구비하고 있다. 본 실시예에서의 표시 장치(40)는, 입체시 화상 중 좌안용 화상을 이용자의 왼쪽 눈에만 시인시키는 한편, 우안용 화상을 이용자의 오른쪽 눈에만 시인시키도록 입체시 화상을 표시한다. 이와 같은 표시를 실현하기 위한 방법으로서는, 예를 들면 이용자에게 편광 안경을 장착시키는 방법이나, 렌티큘러(lenticular) 렌즈 또는 패럴랙스 배리어(parallax barrier) 등의 기구를 이용 하여 이용자의 시야의 일부를 차단하는 방법 등 종래부터 제안되고 있는 각종 방법이 채용된다. 무엇보다, 각각이 상이한 주파수 대역의 광(예를 들면 청색광 및 적색광)을 선택적으로 투과시키는 한쌍의 렌즈를 구비한 여색(보색, complementary color) 안경 등을 채용하여 입체시를 실현하는 경우에는, 입체시를 위해서 전용되는 기구를 표시 장치(40)에 설치할 필요는 없다. 이용자는, 좌안용 화상을 왼쪽 눈으로 시인하는 동시에 우안용 화상을 오른쪽 눈으로 시인함으로써, 원화상에 포함되는 각 피사체에 대하여 시차에 따른 깊이를 지각할 수 있다.

다음에, 도 2는 원화상의 구성을 나타낸 도면이다. 도 2에 나타낸 바와 같이, 원화상 IMG0는, 행 방향(X 방향) 및 열 방향(Y 방향)에 걸쳐서 H행 × W열의 매트릭스 형태로 배열된 복수개의 화소 Pix로 이루어진다(H 및 W는 모두 자연수). 하나의 화소 Pix는, 각각의 표시색이 상이한 3개의 서브 화소 Ps(Ps-r, Ps-g 및 Ps-b)로 이루어진다. 본 실시예에서의 각 화소 Pix는, 청색(B)의 서브 화소 Ps-b와 녹색(G)의 서브 화소 Ps-g와 적색(R)의 서브 화소 Ps-r를 행 방향(X 방향)의 마이너스측으로부터 플러스측으로 이 순서로 배열되어 구성되어 있다.

이와 같은 원화상 IMG0를 나타낸 원화상 데이터는 기억 장치(30)에 기억되어 있다. 도 3에 나타낸 바와 같이, 원화상 데이터 Dg는, 각각이 하나의 화소 Pix의 계조값을 지정하는 복수개(H × W)의 화소 데이터 D의 집합이다. 그리고, 도 3의 각 화소 데이터 D에 부여된 문자［i, j］는, 그 화소 데이터 D가 제i(i는 0 ≤ i ≤ (H-1)를 만족시키는 정수)행에 속하는 제j(j는 0 ≤ j ≤ (W-1)를 만족시키는 정수)열의 화소 Pix의 화소 데이터 D인 것을 나타내고 있다. 도 3에 나타낸 바와 같이, 하나의 화소 데이터 D는, 각 서브 화소 Ps의 표시색에 대응하는 3개의 단위 데이터 U(Ur, Ug 및 Ub)를 포함하고 있다. 즉, 단위 데이터 Ub는 청색의 서브 화소 Ps-b의 계조값을, 단위 데이터 Ug는 녹색의 서브 화소 Ps-g의 계조값을, 단위 데이터 Ur는 적색의 서브 화소 Ps-r의 계조값을 각각 나타내는 데이터이다. 하나의 단위 데이터 U의 데이터 길이는 8비트이다(따라서 화소 데이터 D는 24비트). 따라서, 각 단위 데이터 U는 「0」으로부터 「255」까지의 합계 256계조의 어느 하나를 나타낸 수치가 된다. 무엇보다, 각 단위 데이터 U의 데이터 길이나 상기 단위 데이터 U가 나타낸 계조수는 임의로 변경된다. 예를 들면, 청색의 단위 데이터 Ub 및 적색의 단위 데이터 Ur의 각각이 5비트이며, 녹색의 단위 데이터 Ug가 6비트가 되는 화소 데이터 D(16 비트)를 채용해도 된다.

기억 장치(30)에 기억된 원화상 데이터 Dg는 화상 처리 프로그램의 실행 시에 RAM(23)에 읽어들여진다. 도 4는 RAM(23)에 원화상 데이터 Dg가 저장된 모습(메모리 맵)을 나타낸 도면이다. 도 4에 나타낸 바와 같이, 원화상 데이터 Dg는 RAM(23) 중 어드레스 AD0를 시작점으로 하여 연속되는 영역에 저장된다. 보다 상세하게 설명하면, 원화상 데이터 Dg를 구성하는 각 화소 데이터 D는, 원화상 IMG0에서의 화소 Pix가 배열된 순서로 RAM(23)에 기억된다. 또한, 하나의 화소 데이터 D에 포함되는 각 단위 데이터 U는 서로 어드레스가 상이한 영역에 각 서브 화소 Ps가 배열된 순서로 기억된다. 예를 들면, 제0 행에 속하는 제0 번째의 화소 Pix 중 청색의 서브 화소 Ps-b에 대응하는 단위 데이터 Ub는 어드레스 「AD0」에 저장되고, 상기 화소 Pix 중 녹색의 서브 화소 Ps-g에 대응하는 단위 데이터 Ug는 어드레 스 「AD0 + 1」에 저장되고, 상기 화소 Pix 중 적색의 서브 화소 Ps-r에 대응하는 단위 데이터 Ur은 어드레스 「AD0 + 2」에 저장된다. 행의 개수 i와 열의 개수 j를 사용하여 일반적으로 표기하면, 제 i행에 속하는 제 j번째의 화소 Pix 중 청색의 서브 화소 Ps-b의 단위 데이터 Ub는 어드레스 「AD0 + (i*W＋j)*3」에 저장되고, 상기 화소 Pix 중 녹색의 서브 화소 Ps-g의 단위 데이터 Ug는 어드레스 「AD0 + (i*W＋j)*3 + 1」에 저장되고, 상기 화소 Pix 중 적색의 서브 화소 Ps-r의 단위 데이터 Ur은 어드레스 「AD0 + (i*W＋j)*3 + 2」에 저장된다.

도 1에 나타내는 입력 장치(45)는, 문자나 기호를 입력하기 위한 조작기구를 구비한 기기이며, 이용자가 조작하면 신호를 CPU(10)에 출력한다. 이용자는, 상기 입력 장치(45)를 적절하게 조작함으로써, 입체시 화상 생성 처리 시에 적용되는 각종 변수를 변경할 수 있다.

＜A-2: 입체시 화상 생성 처리의 개요＞

다음에, CPU(10)가 실행하는 입체시 화상 생성 처리의 개요를 설명한다. 상기 입체시 화상 생성 처리는, 화소 Pix마다 화소값 G를 산정하기 위한 처리(이하 「화소값 산정 처리」라고 함)와, 각 화소 Pix의 화소값 G에 기초하여 화소 Pix마다 깊이값 Z를 결정하는 처리(이하 「깊이값 결정 처리」라고 함)와, 상기 깊이값에 따른 시차를 가지는 입체시 화상을 생성하는 처리(이하 「입체화 처리」라고 함)로 대별된다. 이들 처리는 원화상 IMG0를 구성하는 화소 Pix마다 실행된다. 보다 상세하게 설명하면, CPU(10)는, 도 2에 파선으로 나타낸 바와 같이, 원화상 IMG0를 구성하는 각 행을 제 0행으로부터 제 (H-1)행을 향하여 순서대로 선택하는 동시에, 이 선택한 행에 속하는 각 열의 화소 Pix를 제 0번째로부터 제 (W-1)번째를 향하여 순서대로 선택한다. 그리고, CPU(10)는, 이 선택한 화소 Pix(이하에서는 특히 「주목 화소 P」라고 함)를 대상으로 하여 각 처리를 실행한다. 이하, 이들 처리마다 내용을 설명한다.

(1) 화소값 산정 처리(도 5)

상기 화소값 산정 처리는, 각 화소 Pix의 화소 데이터 D에 포함되는 단위 데이터 U로부터 화소 Pix마다 화소값 G를 산정하기 위한 처리이다. 이 처리를 개시하면, CPU(10)는, 주목 화소 P에 대응한 각 표시색의 단위 데이터 U가 나타낸 계조값을 2치화한 수치(이하 「서브 화소값」이라 한다) Gsub를 산정한다. 각 서브 화소값 Gsub에는, 표시색마다 별개로 선정된 가중치에 의해 가중되어 있다. 보다 상세하게 설명하면, 도 5에 나타낸 바와 같이, CPU(10)는, 주목 화소 P 중 녹색의 서브 화소 Ps-g의 단위 데이터 Ug가 나타낸 계조값을 RAM(23)에 기억된 임계값 TH와 비교하여, 이 계조값이 임계값 TH보다 큰 경우에는 「4」를, 임계값 TH보다 작은 경우에는 「0」를, 각각 녹색의 서브 화소값 Gsub-g로서 선정한다. 또한, CPU(10)는, 적색의 단위 데이터 Ur의 계조값이 임계값 TH보다 큰 경우에는 「2」를, 임계값 TH보다 작은 경우에는 「0」를, 각각 적색의 서브 화소값 Gsub-r로서 선정한다. 마찬가지로, 청색의 단위 데이터 Ub의 계조값이 임계값 TH보다 큰 경우에는 「1」이, 임계값 TH보다 작은 경우에는 「0」가, 각각 청색의 서브 화소값 Gsub-b로서 선정된다(도 6 참조). 이어서, CPU(10)는, 도 5에 나타낸 바와 같이, 각 표시색의 서브 화소값 Gsub(Gsub-g, Gsub-r 및 Gsub-b)를 가산하여 수치 factor를 산정하고, 이 가산값 factor에 단계값 STEP을 곱함으로써 주목 화소 P의 화소값 G를 산정한다. 상기 단계값 STEP은 이용자가 입력 장치(45)를 조작함으로써 임의로 갱신된다. 단계값 STEP을 「8」로 가정할 경우, 도 6에 나타낸 바와 같이, 이상의 단계에 의해 산정된 화소값 G는, 「0」, 「8」, 「16」, 「24」, 「32」, 「40」, 「48」 및 「56」중 어느 하나의 수치가 된다. 또한, 임계값 TH에 대하여도 입력 장치(45)에 대한 조작의 내용에 따라 적절하게 변경된다.

상기 화소값 산정 처리를 다른 관점으로부터 파악하면 이하와 같다. 즉, CPU(10)는, 각 표시색의 단위 데이터 U의 계조값과 임계값 TH를 비교한 결과에 따라 「0」 및 「1」중 어느 하나가 되는 서브 화소값 Gsub를 표시색마다 산정한다. 예를 들면, 청색의 단위 데이터 Ub의 계조값이 임계값 TH보다 크면 「1」을, 임계값 TH보다 작으면 「0」를, 청색의 서브 화소값 Gsub-b로서 산정한다(도 7 참조). 그리고, CPU(10)는, 녹색의 서브 화소값 Gsub-g와 적색의 서브 화소값 Gsub-r와 청색의 서브 화소값 Gsub-b를 최상위로부터 최하위로 향하여 이 순서대로 배열한 비트열(수치 factor에 해당한다)을 생성하고, 상기 비트열에 대해서 단계값 STEP를 곱셈한다. 여기서 생성되는 비트열의 수치는, 최상위에 위치하는 녹색의 서브 화소값 Gsub-g의 가중치를 「4(=2²)」로 하고, 그 하위에 위치하는 적색의 서브 화소값 Gsub-r의 가중치를 「2(=2¹)」로 하고, 최하위에 위치하는 청색의 서브 화소값 Gsub-b의 가중치를 「1(=2⁰)」로 한 수치이다. 따라서, 상기 비트열과 단계값 STEP를 곱한 화소값 G가 취할 수 있는 수치는 도 5에 나타낸 방법으로 얻어지는 화소값 G와 동일하다.

그런데, 본 실시예에 있어서는, 녹색의 가중치를 최대로 하면서 청색의 가중치를 최소로 하였으나, 이는 이하의 이유가 있기 때문이다. 인간의 망막에 존재하는 각 색의 추체(錐體)의 평균적인 비율은, 녹추체가 약 59%로 가장 많고, 이어서 많은 것이 약 30%를 차지하는 적추체이며, 청추체는 약 11%로 가장 적다. 그러므로, 인간의 시각은, 녹색에 대한 지각이 적색이나 청색에 대한 지각보다 민감한 특성을 가진다. 그래서, 본 실시예에 있어서는, 이들 각 색의 추체의 비율에 합치하도록, 녹색의 가중치를 최대로 설정하면서 청색의 가중치를 최소로 설정하고, 적색의 가중치를 그 중간값으로 설정한다. 이와 같은 가중치에 기초하여 화소값 G를 산정함으로써, 인간의 시각 특성에 합치한 자연스러운 입체감을 내는 입체시 화상을 생성할 수 있다.

(2) 깊이값 결정 처리(도 8)

상기 깊이값 결정 처리는, 관찰자가 지각하는 깊이감의 대소를 정하는 깊이값 Z를 화소값 G에 기초하여 산정하는 처리이다. 전술한 바와 같이, CPU(10)는, 처리 대상으로서 선택한 행(이하 「선택행」이라고 함)에 속하는 각 화소 Pix를 첫번째로부터 제(W-1)번째를 향하여 순서대로 주목 화소 P로서 선택한다. 한편, RAM(23)에는 변수 Zx가 기억되어 있다. CPU(10)는, 처리 대상으로서 선택한 주목 화소 P의 깊이값 Z로서 RAM(23)에 저장된 변수 Zx를 할당한다. 상기 변수 Zx는, 선택된 행의 각 화소 Pix를 순서대로 선택해 나갈 때의 화소값 G의 변화에 따라 초기치 Z0로부터 차례대로 갱신된다. 보다 상세하게 설명하면 이하와 같다.

CPU(10)는, 선택행에 속하는 제j번째의 주목 화소 P의 화소값 G가 동일한 행의 제(j-1)번째의 화소 Pix의 화소값 G에 대해서 증가하고 있는지 감소하고 있는지를 판정한다. 그리고, CPU(10)는, 화소값 G의 증가가 검출된 경우에는, 그 증가(이하 「화소값 G의 상승」이라고 함)를 나타낸 「RAISE_UP」를 RAM(23)에 저장된 변수 which에 세트하고, 화소값 G의 감소가 검출된 경우에는, 그 감소(이하 「화소값 G의 하강」이라고 함)를 나타낸 「FALL_DOWN」을 변수 which에 세트한다. 한편, 화소값 G가 변하지 않는 경우, CPU(10)는, 변수 which를 그 직전의 내용을 유지한다(변수 which를 변경하지 않는다). 즉, 변수 which는, 깊이값 결정 처리 시에 화소값 G가 증가하고 있는지 감소하고 있는지의 여부를 나타낸 변수이다.

여기서, 도 8에는, 선택행에 속하는 제0 번째로부터 제18 번째까지의 각 화소 Pix의 화소값 G가 나타나 있다. 상기 도 8에 나타낸 바와 같이, 각 선택행에 대한 깊이값 결정 처리가 개시될 때(즉 제0 번째의 화소 Pix가 주목 화소 P로서 선택되었을 때)의 변수 which의 초기치는 「RAISE_UP」이 된다. 도 8에 있어서는, 각 주목 화소 P에 대하여 검출된 화소값 G의 상승이 상측 방향의 화살표 「↑」에 의해 나타내는 동시에 화소값 G의 하강이 하측 방향의 화살표 「↓」에 의해 나타나 있다. 또한, 화소값 G에 변경이 없는 것은 부호 「－」에 의해 나타나 있다. 상기 도 8의 예에서는, 제7 번째의 화소 Pix의 화소값 G「32」가 그 직전의 화소 Pix(제6 번째의 화소 Pix)의 화소값 G「48」에 대해서 감소하고 있다(하강하고 있다). 따라서, 제7 번째의 화소 Pix가 주목 화소 P로서 선택된 단계에서 변수 which는 지금까지의 「RAISE_UP」로부터 「FALL_DOWN」으로 변경된다. 이것에 계 속되는 제8 번째 및 제9 번째의 각 화소 Pix의 화소값 G는, 그 전열의 화소 Pix의 화소값 G로부터 하강하고 있기 때문에, 이들 각 화소 Pix가 주목 화소 P로서 선택된 단계에서 변수 which는 「FALL_DOWN」으로 유지된다. 한편, 제10 번째의 화소 Pix의 화소값 G「16」은 제9 번째의 화소 Pix의 화소값 G「8」보다 증가하고 있으므로, 제10 번째의 화소 Pix가 주목 화소 P로서 선택된 단계에서, 변수 which는 「FALL_DOWN」으로부터 「RAISE_UP」으로 갱신된다. 다른 화소 Pix 대하여도 마찬가지이다.

그리고, CPU(10)는, 변수 which가 변경된 경우(즉 「RAISE_UP」으로부터 「FALL_DOWN」으로 변경된 경우, 및 「FALL_DOWN」으로부터 「RAISE_UP」으로 변경된 경우)에, 변수 Zx를 단계값 PLX만큼 증감시킨다. 보다 구체적으로는, 도 8에 나타낸 바와 같이, 변수 which가 「RAISE_UP」으로부터 「FALL_DOWN」에 변경된 경우에는, 변수 Zx를 단계값 PLX만큼 감소시키는 한편, 변수 which가 「FALL_DOWN」으로부터 「RAISE_UP」으로 변경된 경우에는, 변수 Zx를 단계값 PLX만큼 증가시킨다. 예를 들면, 도 8의 예에서는, 제7 번째의 화소 Pix가 선택된 단계에서 변수 which가 「RAISE_UP」으로부터 「FALL_DOWN」으로 변경되어 있으므로, CPU(10)는, 이 단계에서 변수 Zx를 단계값 PLX만큼 감소시킨다. 또한, 제10 번째의 화소 Pix가 선택된 단계에서 변수 which는 「FALL_DOWN」으로부터 「RAISE_UP」으로 변경되어 있으므로, CPU(10)는, 이 단계에서 변수 Zx를 단계값 PLX만큼 증가시킨다. 이와 같이, 단계값 PLX는 변수 Zx(따라서 깊이값 Z)의 변화폭을 지정하는 변수이다. 상기 단계값 PLX의 수치는, 입력 장치(45)에 대한 조작의 내용에 따라 CPU(10)가 적절하 게 선정한다.

또한, CPU(10)는, 화소값 G의 상승을 연속적으로 검출한 횟수(이하 「연속 증가 횟수」라 함)가 임계값 N(여기서는 N=4로 가정한다)을 넘었을 경우에, RAM(23)에 저장된 변수 Zx를 단계값 PLX만큼 증가시킨다. 예를 들면, 도 8에 있어서, 제1 번째로부터 제4 번째까지의 각 화소 Pix의 화소값 G는, 「16」→「24」→「32」→「40」의 상태로 합계 4회에 걸쳐서 연속적으로 상승하고 있다. 또한, 제5 번째의 화소 Pix의 화소값 G는 「48」이며, 그 좌측(제4 번째)의 화소 Pix의 화소값 G「40」으로부터 상승하고 있으므로, 상기 제5 번째의 화소 Pix가 주목 화소 P로서 선택된 단계에서 연속 증가 횟수는 「5회」가 되어, 임계값 N으로 설정된 「4회」를 넘게 된다. 따라서, CPU(10)는, 제5 번째의 화소 Pix가 주목 화소 P로서 선택된 단계에서, 변수 Zx를, 그 직전의 수치(=Z0)보다 단계값 PLX만큼 증가시킨 수치(=Z0 ＋ PLX)로 변경한다. 이 변경 후의 변수 Zx는 제5 번째의 화소 Pix의 깊이값 Z로서 지정된다. 한편, 제10 번째로부터 제12 번째의 각 화소 Pix에 대해서는 화소값 G의 상승이 연속적으로 검출되지만, 그 연속 증가 횟수는 「3회」이며, 임계값 N으로 설정된 「4회」를 밑돌기 때문에, CPU(10)는 변수 Zx를 변경하지 않는다.

마찬가지로, CPU(10)는, 화소값 G의 하강을 연속적으로 검출한 횟수(이하 「연속 감소 횟수」라고 함)가 임계값 N을 넘었을 경우에, RAM(23)에 저장된 변수 Zx를 단계값 PLX만큼 감소시킨다. 예를 들면, 도 8에 있어서, 제13 번째의 화소 Pix로부터 제17 번째까지의 각 화소 Pix의 화소값 G는, 「32」→「24」→「16」→「8 」→「0」의 상태로 합계 5회에 걸쳐서 연속적으로 하강하므로, CPU(10)는, 제17 번째의 화소 Pix가 주목 화소 P로서 선택된 단계(즉 연속 감소 횟수가 「5회」에 도달한 단계)에서, 변수 Zx를, 그 직전의 수치(=Z0)로부터 단계값 PLX를 감산한 수치(=Z0 - PLX)로 변경한다. 이 변경 후의 변수 Zx가 제17 번째의 화소 Pix의 깊이값 Z로서 지정된다. 한편, 제7 번째로부터 제9 번째의 각 화소 Pix에 대해서는 화소값 G의 하강이 연속적으로 검출되는 연속 감소 횟수는 「3회」이므로, 이들 각 화소 Pix가 선택된 단계에서 변수 Zx는 변경되지 않는다. 이와 같이, 본 실시예에 있어서는, 각 화소 Pix의 깊이값 Z로서 할당되는 변수 Zx를, 각 화소 Pix의 화소값 G의 변화에 따라(특히 변화가 연속하는 횟수에 따라) 갱신하도록 되어 있다. 이 깊이값 결정 처리를 전행에 대하여 반복함으로써, 각 화소 Pix에 대하여 깊이값 Z가 결정된다. 그리고, 임계값 N의 수치는, 입력 장치(45)에 대한 조작의 내용에 따라 CPU(10)가 적절하게 갱신한다. 또한, 본 실시예에 있어서는, 연속 증가 횟수의 임계값과 연속 감소 횟수의 임계값이 공통의 수치 N으로 설정된 구성을 예시하지만, 이들을 별개의 수치로 설정할 수도 있다.

(3) 입체화 처리(도 9)

상기 입체화 처리는, 각 화소 Pix의 깊이값 Z에 따른 시차를 가지는 좌안용 화상과 우안용 화상을 생성하고, 상기 좌안용 화상과 우안용 화상을 합성함으로써 입체시 화상을 생성하는 처리이다. 이 처리를 개시하면, CPU(10)는, 선택행인 제i 행에 속하는 주목 화소 P의 열수 j로부터 그 주목 화소 P의 깊이값 Z를 감산한 수치 LFx(= j - Z)를 산정하고, 원화상 IMG0 중 제i행의 제LFx 번째에 속하는 화소 Pix의 화소 데이터 D를, 좌안용 화상 중 제i 행에 속하는 제j 번째의 화소 Pix의 화소 데이터 Dl로서 선정한다. 마찬가지로, CPU(10)는, 선택행인 제i 행에 속하는 주목 화소 P의 열수 j에 그 주목 화소 P의 깊이값 Z를 가산한 수치 RTx( = j ＋ Z)를 산정하고, 원화상 IMG0 중 제i행의 제RTx 번째에 속하는 화소 Pix의 화소 데이터 D를, 우안용 화상 중 제i 행에 속하는 제j번째의 화소 Pix의 화소 데이터 Dr로서 선정한다.

예를 들면, 제i행의 제j번째에 있는 주목 화소 P의 깊이값 Z가 「2」로 가정하면 변수 LFx는 「j - 2」가 되므로, 도 9에 나타낸 바와 같이, 원화상 IMG0 중 제i 행의 제(j-2)번째의 화소 Pix의 화소 데이터 D［i, j-2］가, 좌안용 화상 중 제i행의 제j열에 속하는 화소 Pix의 화소 데이터 Dl［i, j］로서 채택된다. 또한, 이 경우의 변수 RTx는 「j + 2」가 되므로, 상기 도 9에 나타낸 바와 같이, 원화상 IMG0 중 제(j+2)번째의 화소 Pix의 화소 데이터 D［i, j+2］가, 우안용 화상 중 제i행의 제j열에 속하는 화소 Pix의 화소 데이터 Dr［i, j］로서 채택된다. 이상의 처리가 선택행에 속하는 모든 화소 Pix에 대하여 실행되고, 또한 원화상 IMG0의 전행에 대하여 마찬가지의 처리가 반복됨으로써, 좌안용 화상의 화상 데이터(이하 「좌안용 화상 데이터」라고 함)와 우안용 화상의 화상 데이터(이하 「우안용 화상 데이터」라고 함)가 생성되고, 도 4와 마찬가지의 형태로 RAM(23)에 저장된다.

그리고, 각 화소 Pix의 깊이값 Z에 기초하여 좌안용 화상과 우안용 화상을 작성하기 위한 방법은 이것에 한정되지 않는다. 예를 들면, 원화상 IMG0의 각 화소 Pix를 깊이값 Z에 따른 화소 개수만큼 행 방향으로 이동시킴으로써 좌안용 화상 과 우안용 화상을 생성하는 방법도 채용된다. 그러나, 이 방법에 있어서는, 원화상 IMG0 중 서로 인접하는 화소 Pix의 깊이값 Z가 크게 상이한 경우에, 상기 깊이값 Z에 기초하여 이동된 각 화소 Pix의 간극에 화소 Pix의 결락이 생길 가능성이 있다. 바림(gradation) 처리 등 각종 화상 처리에 의해 화소 Pix의 결락을 수정할 수 있지만, 이 경우에는 화상 처리의 부하가 과대하게 될 우려가 있다. 이에 비해, 본 실시예에 있어서는, 좌안용 화상 및 우안용 화상을 구성하는 각 화소 Pix에 대하여 원화상 IMG0 중 어느 하나의 화소 Pix의 화소 데이터 D를 할당하도록 구성되어 있으므로, 화소 Pix의 결손 문제는 억제된다. 따라서, 극히 적은 처리 부하에 의해 좌안용 화상과 우안용 화상을 생성할 수 있는 이점이 있다.

그런데, 이상의 순서에 의해 좌안용 화상과 우안용 화상을 생성하면, CPU(10)는, 이들 화상을 합성함으로써 입체시 화상을 생성한다. 예를 들면, 표시면 중 짝수 행의 주사선과 홀수 행의 주사선의 편광 방향이 상이한 편광판이 부착된 표시 장치(40)와, 오른쪽 눈 부분과 왼쪽 눈 부분에 편광 방향이 상이한 편광판이 부착된 편광 안경을 사용하여 입체시 화상을 시인하는 경우에는, 좌안용 화상 중 홀수행에 속하는 각 화소 Pix와 우안용 화상 중 짝수행에 속하는 각 화소 Pix를 합성함으로써 입체시 화상이 생성된다. 무엇보다, 입체시 화상을 시인하기 위한 기구는 전술한 바와 같이 임의로 형성될 수 있다. 따라서, 좌안용 화상과 우안용 화상을 합성하기 위한 방법은, 입체시 화상을 시인하기 위한 기구에 따라 적절하게 선정된다.

＜A-3: 입체시 화상 생성 처리의 구체적인 내용＞

이용자에 의해 입력 장치(45)가 조작되어 화상 처리 프로그램의 기동이 지시되면, CPU(10)는, 화상 처리 프로그램을 기억 장치(30)로부터 RAM(23)에 읽어들인 후에 이것을 차례대로 실행한다. 이하에서는, 도 10 내지 도 13을 참조하여, 화상 처리 프로그램의 구체적인 내용을 설명한다. 도 10 내지 도 13 중 단계 Sb1로부터 단계 Sb8까지의 처리가 화소값 산정 처리에 해당되고, 단계 Sc1로부터 단계 Sc14까지의 처리가 깊이값 결정 처리에 해당되며, 단계 Sd1로부터 단계 Sd7까지의 처리가 입체화 처리에 해당된다.

도 10에 나타낸 바와 같이, 화상 처리 프로그램이 기동되면, CPU(10)는 먼저, 변수 srcp, 변수 pLEFT, 변수 pRIGHT 및 변수 Z0를 초기화한다(단계 Sa1). 변수 srcp는, 원화상 IMG0 중 주목 화소 P의 화소 데이터 D가 저장되는 영역의 선두 어드레스(즉 주목 화소 P 중 청색의 서브 화소 Ps-b의 단위 데이터 Ub가 저장되는 어드레스)를 나타낸 변수이다. 본 실시예에 있어서는 전술한 바와 같이 제0 행의 제0 번째의 화소 Pix로부터 순서대로 주목 화소 P로서 선택되므로, 단계 Sa1에 있어서, CPU(10)는, 변수 srcp를, RAM(23) 중 원화상 데이터 Dg가 저장되는 영역의 선두의 어드레스 AD0(즉 제0 행에 속하는 제0 번째의 화소 Pix 중 청색의 서브 화소 Ps-b의 단위 데이터 Ub가 저장되는 어드레스)로 초기화한다. 한편, 변수 pLEFT는 좌안용 화상에서의 주목 화소 P의 화소 데이터 Dl가 저장되는 영역의 선두의 어드레스를 나타낸 변수이며, 변수 pRIGHT는 우안용 화상에서의 주목 화소 P의 화소 데이터 Dr가 저장되는 영역의 선두의 어드레스를 나타낸 변수이다. 단계 Sa1에 있어서, CPU(10)는, 좌안용 화상 데이터가 저장되는 영역의 선두의 어드레스 ADleft 를 변수 pLEFT에 대입하고, 또한 우안용 화상 데이터가 저장되는 영역의 선두의 어드레스 ADright를 변수 pRIGHT에 대입한다. 또한, 변수 Z0는, 깊이값 결정 처리에서 사용되는 깊이값 Z의 초기치를 나타낸 변수이다. 여기서는 CPU(10)가 변수 Z0를 수치 「2」로 초기화하는 경우가 상정되어 있다. 이 변수 Z0의 초기치는, 이용자에 의한 입력 장치(45)에 대한 조작에 따라 CPU(10)가 적절하게 변경한다.

이어서, CPU(10)는, 원화상 IMG0 중 어느 하나의 행을 지정하는 변수 i를 「0」로 초기화하고(단계 Sb1), 상기 변수 i가 원화상 IMG0의 총행수 H를 밑도는지의 여부를 판정한다(단계 Sb2). 여기서 변수 i가 총 행수 H를 밑도는 것으로 판정한 경우(즉, 아직 전행의 화소 Pix에 대한 처리가 완료되어 있지 않은 경우), CPU(10)는, 각 행마다 실행되는 처리에 관련되는 각종 변수를 초기화한다(단계 Sb3). 상기 단계 Sb3에 있어서는, 연속 감소 횟수를 나타낸 변수 falldown_CNT와 연속 증가 횟수를 나타낸 변수 raiseup_CNT가 「0」로 초기화된다. 또한, 변수 which는, 도 8을 참조하여 설명한 바와 같이 「RAISE_UP」으로 초기화된다. 또한, 각 화소 Pix에 할당되는 깊이값 Z를 나타낸 변수 Zx에는 초기치 Z0가 설정된다. 또한, 변수 lineP에는, 「AD0 ＋ i*W*3」을 대입시킨다. 상기 「AD0 ＋ i*W*3」은, 원화상 IMG0 중 선택행에 속하는 제0 번째의 화소 Pix의 화소 데이터 D가 저장되어 있는 어드레스이다(도 4 참조).

이어서, CPU(10)는, 원화상 IMG0의 열을 지정하는 변수 j를 「0」로 초기화하고(단계 Sb4), 상기 변수 j가 원화상 IMG0의 총 열수 W를 밑도는지의 여부를 판정한다(단계 Sb5). 여기서 변수 j가 총 열수 W 이상으로 판정된 경우(즉, 선택행 에 속하는 모든 화소 Pix에 대하여 처리가 완료된 경우), CPU(10)는, 변수 i를 「1」만큼 증가시킨 후에(단계 Sb6), 단계 Sb2로 처리를 이행한다. 상기 변수 i의 증가는, 처리 대상이 되는 선택행을 그 다음 행으로 변경하는 것을 의미한다.

한편, 단계 Sb5에 있어서 변수 j가 총 열수 W를 밑도는 것으로 판정된 경우(즉, 선택행에 속하는 모든 화소 Pix에 대해서는 처리가 완료되지 않은 경우), CPU(10)는, 주목 화소 P의 각 표시색의 단위 데이터 U로부터 도 5의 단계에서 산정된 수치를 변수 factor에 대입한다(단계 Sb7). 즉, 변수 srcp가 나타낸 어드레스에 저장된 청색의 단위 데이터 Ub와, 어드레스 「srcp + 1」에 저장된 녹색의 단위 데이터 Ug와, 어드레스 「srcp + 2」에 저장된 적색의 단위 데이터 Ur로부터 변수 factor를 산정한다. 그리고, CPU(10)는, 상기 변수 factor와 단계값 STEP를 곱한 화소값 G를 변수 gray에 대입한다(단계 Sb8). 이상의 순서에 따라 주목 화소 P의 화소값 G가 산정된다.

이어서, 도 11에 나타낸 바와 같이, CPU(10)는, 변수 j가 「0」인지의 여부, 즉 주목 화소 P가 선택행의 선두열(제0 열)에 속하는 화소 Pix인지의 여부를 판정한다(단계 Sc1). 여기서, 변수 j가 「0」인 것으로 판정된 경우, CPU(10)는, 변수 gray에 대입되어 있는 화소값 G를 변수 prev에 대입한다. 상기 변수 prev는, 주목 화소 P의 좌측에 위치하는 화소 Pix의 화소값 G를 나타낸 변수이다. 단, 선택행의 선두열에 속하는 화소 Pix의 좌측에는 화소 Pix가 존재하지 않으므로, 상기 화소 Pix가 주목 화소 P로서 선택되는 경우(즉 변수 j가 「0」인 경우)에는, 상기 주목 화소 P의 화소값 G를 변수 prev에 대입하도록 되어 있다(단계 Sc2).

이어서, 화소값 G의 감소를 검출하는 동시에, 그 결과에 따라 변수 Zx를 갱신하기 위한 처리가 실행된다(단계 Sc3로부터 단계 Sc8). 즉, CPU(10)는 먼저, 변수 prev의 수치가 변수 gray의 수치보다 큰지의 여부를 판정하다(단계 Sc3). 전술한 바와 같이, 변수 gray에는 주목 화소 P의 화소값 G가 대입되고, 변수 prev에는 그 좌측 화소 Pix의 화소값 G가 대입되어 있으므로, 단계 Sc3에 있어서는, 주목 화소 P의 화소값 G가 그 좌측 화소 Pix의 화소값 G와 비교하여 감소하고 있는지의 여부가 판정된다. 그리고, 선택행의 선두열에 위치하는 화소 Pix가 주목 화소 P인 경우에는, 변수 prev와 변수 gray와 동일하므로, 단계 Sc3에서의 판정의 결과는 「No」가 된다.

단계 Sc3에 있어서 변수 prev가 변수 gray보다 큰 것으로 판정된 경우(즉, 주목 화소 P의 화소값 G가 그 좌측 화소 Pix의 화소값 G보다 감소하고 있는 경우), CPU(10)는, 변수 which에 「RAISE_UP」이 설정되어 있는지 여부를 판정한다(단계 Sc4). 여기서 변수 which에 「RAISE_UP」이 설정되어 있는 것으로 판정한 경우(즉, 이번 주목 화소 P에서 화소값 G가 증가로부터 감소로 변한 경우), CPU(10)는, 변수 Zx를 단계값 PLX만큼 감산한다(단계 Sc5). 또한, CPU(10)는, 화소값 G가 감소하고 있는 것을 나타낸 「FALL_DOWN」를 변수 which에 대입하고, 또한 연속 감소 횟수를 나타낸 변수 falldown_CNT에 「0」를 설정한다(단계 Sc5).

이에 비해, 단계 Sc4에 있어서 변수 which에 「RAISE_UP」가 설정되어 있지 않은 것으로 판정한 경우(즉 전회 이전의 주목 화소 P에 있어서 화소값 G의 감소가 검출되어서 변수 which에 「FALL_DOWN」이 설정되어 있는 경우), CPU(10)는, 연속 감소 횟수를 나타낸 변수 falldown_CNT를 「1」만큼 증가시킨 후(단계 Sc6), 상기 변수 falldown_CNT가 임계값 N을 넘는지의 여부를 판정한다(단계 Sc7). 여기서 변수 falldown_CNT가 임계값 N을 넘는 것으로 판정된 경우(즉 연속 감소 횟수가 (N+1)회 이상이 되었을 경우), CPU(10)는, 변수 Zx를 단계값 PLX만큼 감산하고, 또한 변수 falldown_CNT를 「0」로 클리어한다(단계 Sc8). 따라서, 연속 감소 횟수가 N회를 넘음으로써 일단 변수 Zx가 감소하면, 그 시점으로부터 다시 계수되는 연속 감소 횟수가 N회를 넘길 때까지 변수 Zx는 감소하지 않는다. 이에 비해, 변수 falldown_CNT가 임계값 N 이하로 판정된 경우, CPU(10)는, 단계 Sc8를 실행하지 않는다.

한편, 단계 Sc3에서의 판정의 결과가 「No」인 경우에는, 화소값 G의 증가를 검출하는 동시에, 그 결과에 따라 변수 Zx를 갱신하기 위한 처리가 실행된다(단계 Sc9로부터 단계 Sc14). 즉, 도 12에 나타낸 바와 같이, CPU(10)는 먼저, 변수 prev가 변수 gray보다 작은지의 여부를 판정한다(단계 Sc9). 상기 단계 Sc9에 있어서는, 주목 화소 P의 화소값 G가 그 좌측 화소 Pix의 화소값 G와 비교하여 증가하고 있는지의 여부가 판정된다. 그리고, 선택행의 선두열에 위치하는 화소 Pix가 주목 화소 P인 경우, 변수 prev와 변수 gray는 동일하므로, 단계 Sc9에서의 판정의 결과는 「No」가 된다.

단계 Sc9에 있어서 변수 prev가 변수 gray보다 작은 것으로 판정된 경우(즉, 주목 화소 P의 화소값 G가 그 좌측 화소 Pix의 화소값 G보다 증가하고 있는 경우), CPU(10)는, 변수 which에 「FALL_DOWN」이 설정되어 있는지의 여부를 판정한다(단 계 Sc10). 여기서 변수 which에 「FALL_DOWN」이 설정되어 있는 것으로 판정한 경우(즉, 이번 주목 화소 P에서 화소값 G가 감소로부터 증가로 변한 경우), CPU(10)는, 변수 Zx에 단계값 PLX를 가산하는 동시에 화소값 G가 증가하고 있는 것을 나타낸 「RAISE_UP」을 변수 which에 대입하고, 또한 연속 증가 횟수를 나타낸 변수 raiseup_CNT에 「0」를 설정한다(단계 Sc11).

한편, 단계 Sc10에 있어서 변수 which에 「FALL_DOWN」이 설정되어 있지 않은 것으로 판정된 경우(즉 전회 이전의 주목 화소 P에 있어서 화소값 G의 증가가 검출되어서 변수 which에 「RAISE_UP」이 설정되어 있는 경우), CPU(10)는, 연속 증가 횟수를 나타낸 변수 raiseup_CNT를 「1」만큼 증가시킨 후(단계 Sc12), 상기 변수 raiseup_CNT가 임계값 N을 넘는지의 여부를 판정한다(단계 Sc13). 여기서 변수 raiseup_CNT가 임계값 N을 넘는 것으로 판정된 경우(즉 연속 증가 횟수가 (N+1)회 이상이 되었을 경우), CPU(10)는, 변수 Zx에 단계값 PLX를 가산하고, 또한 변수 raiseup_CNT를 「0」로 클리어한다(단계 Sc14). 따라서, 연속 증가 횟수가 N회를 넘김으로써 일단 변수 Zx가 증가하면, 그 시점으로부터 다시 계수되는 연속 증가 횟수가 N회를 넘길 때까지 변수 Zx는 증가하지 않는다. 한편, 변수 raiseup_CNT가 임계값 N 이하인 것으로 판정된 경우에는 단계 Sc14의 처리가 실행되지 않는다.

이상의 각 단계를 거쳐서 깊이값 결정 처리가 완료되면(단계 Sc3, 단계 Sc7, 단계 Sc9 또는 단계 Sc13에 있어서 「No」로 판정된 경우, 또는, 단계 Sc5, 단계 Sc8, 단계 Sc11 또는 단계 Sc14의 처리가 완료된 경우), 이어서 입체화 처리가 실행된다(단계 Sd1로부터 단계 Sd7). 즉, CPU(10)는 먼저, 변수 j로부터 현단계에서 의 변수 Zx를 감산한 수치를 변수 LFx에 대입하고, 또한 변수 j와 변수 Zx를 가산한 수치를 변수 RTx에 대입한다(단계 Sd1). 도 9를 참조하여 설명한 바와 같이, 상기 변수 LFx 및 상기 변수 RTx는, 원화상 IMG0 중 좌안용 화상 및 우안용 화상으로 채택되는 화소 Pix를 지정하는 변수이다. 즉, 그 시점에 있어서 변수 Zx에 대입되어 있는 수치가 주목 화소 P의 깊이값 Z로서 선정된다.

이어서, CPU(10)는, 좌안용 화상 중 제i행에 속하는 제j번째의 화소 Pix의 화소 데이터 Dl가 저장되는 어드레스에, 원화상 IMG0 중 변수 LFx에 의해 지정되는 화소 Pix의 화소 데이터 D가 저장되는 어드레스를 대입한다(단계 Sd2). 보다 구체적으로는, 좌안용 화상의 제i행의 제j열에 있는 화소 Pix 중 청색의 서브 화소 Ps-b의 단위 데이터 Ub가 저장되는 어드레스 「pLEFT」에는, 원화상 데이터 Dg가 저장된 영역의 어드레스 「lineP ＋ LFx*3」이 대입된다. 여기서, 변수 lineP에는 단계 Sb2에 있어서 「AD0 ＋ i*W*3」이 대입되므로, 어드레스 「pLEFT」에 대입되는 어드레스는 「AD0 ＋ i*W*3 + LFx*3」즉 「AD0 + (i*W ＋ LFx)*3」이 된다. 도 4에 나타낸 바와 같이, 상기 어드레스 「AD0 + (i*W ＋ LFx)*3」은, 주목 화소 P에 대해서 행 방향으로 변수 LFx의 화소 개수만큼 떨어진 화소 Pix의 화소 데이터 D가 저장된 어드레스이다. 따라서, 좌안용 화상의 제i행의 제j열에 있는 화소 Pix 중 청색의 서브 화소 Ps-b의 단위 데이터 Ub가 저장되는 어드레스 「pLEFT」에는, 원화상 IMG0 중 주목 화소 P로부터 행 방향으로 변수 LFx만큼 떨어진 위치에 있는 화소 Pix의 청색의 단위 데이터 Ub가 저장되는 어드레스 「lineP ＋ LFx*3」이 대입된다. 한편, 녹색에 대응하는 단위 데이터 Ug는, 청색에 대응하는 단위 데이터 Ub 의 어드레스를 「1」만큼 증가시킨 어드레스에 저장되어 있으므로, 좌안용 화상의 제i행의 제j열에 있는 화소 Pix 중 녹색의 서브 화소 Ps-g의 단위 데이터 Ug가 저장되는 어드레스 「pLEFT + 1」에는, 원화상 IMG0 중 주목 화소 P로부터 행 방향으로 변수 LFx만큼 떨어진 위치에 있는 화소 Pix의 녹색의 단위 데이터 Ug가 저장되는 어드레스 「lineP ＋ LFx*3 +1」이 대입된다. 마찬가지의 이유에 의해, 적색의 서브 화소 Ps-r의 단위 데이터 Ur가 저장되는 어드레스 「pLEFT + 2」에는 어드레스 「lineP ＋ LFx*3 + 2」가 대입된다. 이상의 처리에 의해, 도 9를 참조하여 설명한 바와 같이 좌안용 화상의 각 화소 Pix의 화소 데이터 Dl이 생성된다.

우안용 화상에 대해서는, 변수 RTx에 기초하여 단계 Sd2와 마찬가지의 처리가 실행된다(단계 Sd3). 즉, CPU(10)는, 우안용 화상의 제i행의 제j번째에 있는 화소 Pix 중 청색의 서브 화소 Ps-b의 단위 데이터 Ub가 저장되는 어드레스 「pRIGHT」에 대해, 원화상 IMG0 중 주목 화소 P로부터 행 방향으로 변수 RTx만큼 떨어진 위치에 있는 화소 Pix의 청색의 단위 데이터 Ub가 저장되는 어드레스 「lineP ＋ RTx*3」을 대입한다. 마찬가지로, 우안용 화상 중 녹색의 서브 화소 Ps-g에 대응하는 어드레스 「pRIGHT + 1」에는 원화상 데이터 Dg의 어드레스 「lineP ＋ RTx*3 + 1」이 대입되고, 적색의 서브 화소 Ps-r에 대응하는 어드레스 「pRIGHT + 2」에는 원화상 데이터 Dg의 어드레스 「lineP ＋ RTx*3 + 2」가 대입된다. 이 처리에 의해, 도 9를 참조하여 설명한 바와 같이 우안용 화상의 각 화소 Pix의 화소 데이터 Dr가 생성된다.

이어서, CPU(10)는, 단계 Sb8에서 산정한 변수 gray의 수치를 변수 prev에 대입한다(단계 Sd4). 이 처리를 실행하는 것은, 다음에 선택되는 주목 화소 P(실제로 선택되어 있는 주목 화소 P의 우측 화소 Pix)의 화소값 G를, 단계 Sc3 또는 단계 Sc9에 있어서 이번 주목 화소 P의 화소값 G와 비교하기 위해서이다. 또한, CPU(10)는, RAM(23)에 저장된 각 변수를 갱신한다(단계 Sd5). 즉, CPU(10)는 먼저, 변수 srcp를 「3」만큼 증가시킨다. 이로써, 변수 srcp는, 원화상 IMG0 중 다음에 선택되는 주목 화소 P의 화소 데이터 D의 어드레스를 나타내게 된다. 마찬가지로, CPU(10)는, 변수 pLEFT 및 변수 pRIGHT를 「3」만큼 증가시킨다. 이로써, 변수 pLEFT 및 변수 pRIGHT는, 각각 좌안용 화상 및 우안용 화상 중 다음에 선택되는 주목 화소 P의 화소 데이터 Dl 및 화소 데이터 Dr이 저장되는 영역의 선두의 어드레스를 나타내게 된다. 또한, CPU(10)는, 주목 화소 P의 열수를 나타낸 변수 j를 「1」만큼 증가시킴으로써, 이번 주목 화소 P의 우측 인접한 화소 Pix를 다음의 주목 화소 P로서 선택한다. 이 단계 Sd5의 처리가 완료되면, CPU(10)는, 처리를 도 10의 단계 Sb5로 이행시키고, 새로운 주목 화소 P에 대하여 마찬가지의 처리를 반복한다. 또한, 어느 선택행에 속하는 모든 화소 Pix에 대하여 처리를 실행하면, 단계 Sb5에서의 판정의 결과가 「No」가 되고, 변수 i가 「1」만큼 증가된다(단계 Sb6). 따라서, 처리의 대상이 되는 선택행은 다음의 행으로 변경된다.

그런데, 이상으로 설명한 처리를 모든 행의 모든 화소 Pix에 대하여 실행하면, 단계 Sb2에서의 판정의 결과가 「No」가 된다. 이 경우, CPU(10)는, 단계 Sd2 및 단계 Sd3에서 생성한 좌안용 화상과 우안용 화상을 합성하여 입체시 화상을 생성하고(단계 Sd6), 상기 입체시 화상을 표시 장치(40)에 표시시킨다(단계 Sd7). 이용자는, 상기 입체시 화상 중 좌안용 화상을 왼쪽 눈으로 시인하는 동시에 우안용 화상을 오른쪽 눈으로 시인함으로써, 각 화소 Pix에 대하여 지정된 깊이값에 따른 입체감을 지각할 수 있다.

이상으로 설명한 바와 같이, 본 실시예에 있어서는, 주목 화소 P의 화소값 G와 상기 주목 화소 P에 대해서 행 방향으로 인접하는 화소 Pix의 화소값 G의 대소에 기초하여 주목 화소 P의 깊이값 Z가 결정되므로, 이용자가 자연스러운 입체감을 지각할 수 있는 입체시 화상을 생성할 수 있다. 즉, 먼저, 각 화소 Pix의 화소값 G의 증가 또는 감소가 임계값 N을 넘는 횟수에 걸쳐서 연속된 경우에 깊이값 Z가 변경되므로, 임계값 N을 넘지 않는 범위 내에서 화소값 G가 증가 또는 감소하더라도, 그 영역에서의 각 화소 Pix의 깊이값 Z는 공통의 수치가 된다. 또한, 각 화소 Pix의 깊이값 Z가 화소값 G의 변화에 따라 단계값 PLX만큼 증감되도록 되어 있다. 이와 같이, 본 실시예에 있어서는, 각 화소 Pix의 깊이값 Z의 수치의 범위가, 각 화소 Pix의 계조값으로부터 직접적으로 해당되는 화소 Pix의 깊이값을 설정하는 종래의 구성과 비교하여 좁은 범위로 억제된다. 따라서, 원화상 IMG0의 피사체 중 특정한 부분만이 극단적으로 뛰어나오게(또는 들어가게) 지각되거나 화소 크로스에 기인한 화상의 불균일이 발생하는 사태는 효과적으로 방지할 수 있다. 또한, 이와 같은 자연스러운 입체시 화상의 취득 시에 이용자가 원화상 IMG0마다 다양한 파라미터를 입력할 필요가 없다.

그런데, 깊이값 Z를 나타낸 변수 Zx의 초기치 Z0는 입체시 화상의 전체적인 입체감(깊이감)을 특징짓는 수치이다. 예를 들면, 상기 초기치 Z0가 클수록 원화 상 IMG0의 깊이값 Z가 전체적으로 커지므로, 입체시 화상의 피사체는 깊이측(또는 바로 앞쪽)으로 지각되고, 초기치 Z0가 작을수록 원화상 IMG0의 깊이값 Z가 전체적으로 작아지므로 입체시 화상의 피사체는 바로 앞쪽(또는 깊이측)으로 지각되는 상태이다. 본 실시예에 있어서는, 상기 초기치 Z0를 이용자가 임의로 선택할 수 있기 때문에, 이용자의 취향에 따라 다양한 입체시 화상을 생성할 수 있는 이점이 있다.

＜B: 제2 실시예＞

다음에, 본 발명의 제2 실시예에 따른 입체시 화상 생성 장치 D의 구성을 설명한다. 제1 실시예에서는, 각 화소 Pix의 깊이값 Z에서 1회의 입체화 처리에 의해 입체시 화상이 생성되는 구성을 예시했다. 이에 비해, 본 실시예에 있어서는, 입체화 처리가 복수회에 걸쳐서 단계적으로 실행되도록 되어 있다. 그리고, 본 실시예에 따른 입체시 화상 생성 장치 D 중에서 제1 실시예와 마찬가지의 요소에 대하여는 공통의 부호를 부여하고, 그에 대한 설명은 생략한다.

도 14는, 본 실시예에 따른 입체시 화상 생성 장치 D의 동작의 개요를 나타낸 도면이다. 도 14에 나타낸 바와 같이, 본 실시예는, 하나의 원화상 IMG0로부터 입체시 화상 생성 처리(제1 단계)에 의해 좌안용 화상 IMG1 및 우안용 화상 IMG2가 생성되는 단계까지는 제1 실시예와 공통되지만, 이에 더하여, 좌안용 화상 IMG1 및 우안용 화상 IMG2을 새로운 원화상으로서 입체시 화상 생성 처리가 더 실행되도록 되어 있다. 즉, 도 14에 나타낸 바와 같이, CPU(10)는, 원화상 IMG0로부터 좌안용 화상으로서 생성된 제1 화상 IMG1을 새로운 원화상으로서 제2 단계째의 입체시 화 상 생성 처리를 실행함으로써 좌안용 화상 IMGL1 및 우안용 화상 IMGR1를 생성하고, 또한 원화상 IMG0로부터 우안용 화상으로서 생성된 제2 화상 IMG2를 새로운 원화상으로서 제2 단계째의 입체시 화상 생성 처리를 실행함으로써 좌안용 화상 IMGL2 및 우안용 화상 IMGR2를 생성한다. 그리고, 제1 화상 IMG1로부터 생성된 좌안용 화상 IMGL1과 제2 화상 IMG2로부터 생성된 우안용 화상 IMGR2를 합성함으로써 최종적인 입체시 화상이 생성된다. 한편, 제1 화상 IMG1로부터 생성된 우안용 화상 IMGR1과 제2 화상 IMG2로부터 생성된 좌안용 화상 IMGL2는 파기된다. 단, 좌안용 화상 IMGL1 및 우안용 화상 IMGR2에 더하여 우안용 화상 IMGR1 및 좌안용 화상 IMGL2도 사용한 입체시 화상(예를 들면 4개의 시점(視點)으로부터의 입체시가 가능한 입체시 화상)을 합성하도록 구성해도 된다.

도 14에서 나타내는 동작을 상세히 설명하면 이하와 같다. CPU(10)는 먼저, 도 10으로부터 도 13에 나타내는 입체시 화상 생성 처리에 의해 좌안용 화상인 제1 화상 IMG1과 우안용 화상인 제2 화상 IMG2를 제1 실시예와 마찬가지의 단계에서 생성한다. 이어서, 제1 화상 IMG1를 원화상으로 한 제2 단계째의 입체시 화상 생성 처리가 실행된다. 즉, CPU(10)는, 제1 화상 IMG1의 화상 데이터가 저장된 영역의 선두의 어드레스 ADleft를 도 10의 단계 Sa1에서 변수 srcp에 대입한 후에 제2 단계째의 입체시 화상 생성 처리를 실행함으로써 좌안용 화상 IMGL1과 우안용 화상 IMGR1을 생성한다. 마찬가지로, CPU(10)는, 제2 화상 IMG2의 화상 데이터가 저장된 영역의 선두의 어드레스 ADright를 도 10의 단계 Sa1에서 변수 srcp에 대입한 후에 제2 단계째의 입체시 화상 생성 처리를 실행함으로써 좌안용 화상 IMGL2와 우 안용 화상 IMGR2를 생성한다. 그리고, CPU(10)는, 제1 화상 IMG1로부터 생성된 좌안용 화상 IMGL1과 제2 화상 IMG2로부터 생성된 우안용 화상 IMGR2를 합성함으로써 입체시 화상을 생성한 후에(단계 Sd6), 상기 입체시 화상을 표시 장치(40)에 표시시킨다(단계 Sd7).

여기서, 제1 실시예와 같이 1회의 입체시 화상 생성 처리에 의해 좌안용 화상과 우안용 화상을 생성하는 경우에, 변수 Zx의 변화폭인 단계값 PLX를 너무 크게 설정하면, 원화상 IMG0 중 좌안용 화상 및 우안용 화상으로 채택되는 각 화소 Pix의 위치가 대폭 상이하게 되므로, 화소 크로스 등에 기인한 화소 Pix의 결함이 발생하는 경우가 있다. 이 결함은 단계값 PLX를 작은 수치로 설정함으로써 해결할 수 있지만, 이 경우에는 각 화소 Pix의 깊이값 Z의 변동이 극히 좁은 범위로 억제되므로, 이용자에 의해 지각되는 입체감이 부족한 입체시 화상 밖에 생성할 수 없는 문제가 생길 수 있다. 이에 비해, 본 실시예에 있어서는, 화소 Pix의 결함을 방지하기 위해 단계값 PLX를 억제한 경우라도, 입체시 화상 생성 처리가 2회에 걸쳐서 실행되므로, 충분한 입체감을 가진 입체시 화상을 생성할 수 있는 이점이 있다.

그리고, 여기서는 2회의 입체시 화상 생성 처리가 실행되는 경우를 예시했지만, 이 횟수는 임의로 변경될 수 있다. 예를 들면, 입체시 화상 생성 처리를 3회에 걸쳐서 실행하는 경우에는, 도 14에 나타내는 좌안용 화상 IMGL1을 원화상으로서 또한 좌안용 화상과 우안용 화상이 생성되고, 또한 우안용 화상 IMGR2를 원화상으로서 좌안용 화상과 우안용 화상이 생성되며, 여기서 좌안용 화상 IMGL1으로부터 생성된 좌안용 화상과 우안용 화상 IMGR2로부터 생성된 우안용 화상이 합성됨으로써 최종적인 입체시 화상이 생성된다.

＜C: 변형예＞

각 실시예에 대하여는 각종 변형이 가해진다. 구체적인 변형의 형태를 예시하면 이하와 같다. 이하의 각 형태를 적절하게 조합해도 된다.

(1) 각 실시예에 있어서는, 각 화소 Pix의 단위 데이터 U를 2치화한 후에 가산함으로써 화소값 G를 산정했지만, 본 발명에 있어서 화소값 G를 산정하는 방법이나 그 산정의 기초가 되는 요소는 이것에 한정되지 않는다. 예를 들면, 단위 데이터 U가 나타낸 각 서브 화소의 내용(RGB 요소), 각 화소의 휘도, 각 화소의 채도, 및 각 화소의 명도 등, 각종 요소 중에서 임의로 선택된 일부 또는 전부의 요소로부터 화소값 G가 산정되도록 구성해도 된다. 이와 같이, 본 발명에서의 「화소값」은 각 화소에 의한 표시의 내용에 따른 수치이면 된다.

또한, 각 실시예에 있어서는 각 화소 Pix의 단위 데이터 U로부터 화소값 G를 산정하는 구성을 예시했지만, 화소값 G를 산정하는 구성은 반드시 필요한 것은 아니다. 예를 들면, 원화상 IMG0의 각 화소 Pix에 대하여 사전에 화소값 G가 기억되도록 구성하면, 입체시 화상 생성 처리에서의 화소값 G의 산정은 불필요해진다. 또한, 각 실시예에 있어서는 여러 색으로 이루어지는 컬러 화상을 예시하여 설명하였으나, 백색 및 흑색만으로 이루어지는 흑백 화상이 대상으로 되는 경우에는, 각 화소 Pix의 계조값을 그대로 화소값 G로서 채용해도 된다. 이와 같이, 본 발명에 있어서는, 화소값 G를 산정하는 처리의 유무는 자유롭게 선택될 수 있으며, 화소값 G가 입체시 화상 생성 처리마다 산정되거나 화소값 G가 사전에 준비되거나, 화소마다 화소값 G를 기억하는 수단을 구비하도록 구성되면 된다.

그리고, 각 실시예에 있어서는, 화소의 계조값을 지정하는 화소 데이터는 별개로 화소값 G를 산정하는 구성을 예시했기 때문에, 입체화 처리에 있어서는 좌안용 화상 및 우안용 화상의 작성 시에 원화상의 화소 데이터를 이용하지만, 흑백 화상을 표시하는 경우처럼 화소의 계조값이 그대로 화소값 G로서 채용되는 경우에는, 각 화소의 화소값 G 자체가 좌안용 화상 및 우안용 화상의 작성 시에 이용된다.

(2) 각 실시예에 있어서는, 변수 which가 변화된 경우, 및, 연속 증가 횟수 또는 연속 감소 횟수가 임계값 N을 넘었을 경우에 변수 Zx를 증감시키는 구성을 예시했지만, 이 중 한쪽의 경우에만 변수 Zx를 증감시키도록 구성되어도 된다. 예를 들면, 변수 which의 변화에 관계없이, 연속 증가 횟수 또는 연속 감소 횟수가 임계값 N을 넘을 경우에 한해서 변수 Zx를 증감시키는 상태이다. 무엇보다, 본 발명에 있어서 변수 Zx를 증감시키기 위한 조건은 이것에 한정되지 않는다. 요점은, 서로 인접하는 각 화소의 화소값 G의 대소에 기초하여 각 화소의 깊이값 Z가 결정되도록 구성되면 된다.

(3) 각 실시예에 있어서는, 원화상 데이터 Dg가 미리 기억 장치(30)에 기억된 구성을 예시했지만, 본 발명에 있어서 원화상을 취득하는 방법 및 그 취득처는 임의이다. 예를 들면, 비디오 테이프나 DVD(Digital Versatile Disk) 등의 기록 매체로부터 원화상 데이터 Dg를 취득하여 입체시 화상 생성 처리에 제공하도록 구성되어도 되고, 네트워크를 통하여 접속된 다른 통신 단말기로부터 원화상 데이터 Dg를 수신하여 입체시 화상 생성 처리에 제공하도록 구성되어도 된다. 또한, 원화상은 정지 화상으로 한정되지 않고, 복수개의 화상이 시계열적으로 배열된 동화상이라도 된다. 상기 동화상의 형식은 임의이지만, 예를 들면, MPEG(Moving Picture Experts Group) 등의 동영상 압축 기술에 의해 압축된 데이터를 푼 것이 채용된다. 그리고, 동화상을 처리의 대상으로 하는 경우에는, 이것을 구성하는 화상마다 도 10 내지 도 13의 처리가 실행된다.

(4) 도 2에 나타낸 바와 같이, 각 실시예에 있어서는, 하나의 화소 Pix를 구성하는 각 서브 화소 Ps가 행 방향의 마이너스측으로부터 플러스측을 향해 「청색 B」→「녹색 G」→「적색 R」의 순서로 배열된 구성을 예시했지만, 각 서브 화소 Ps의 배열이 이에 한정되지 않는 것은 물론이다. 예를 들면, 하나의 화소 Pix에서의 각 서브 화소 Ps가 「적색 R」→「녹색 G」→「청색 B」의 순서로 배열된 구성에 있어서도, 각 실시예의 구성 및 동작이 마찬가지로 적용된다.

(5) 각 실시예에 있어서는, 주목 화소 P의 화소값 G와 그 주목 화소 P에 대해서 행 방향에 인접하는 화소 Pix의 화소값 G의 대소에 기초하여 주목 화소 P의 깊이값 Z를 산정하는 구성을 예시했지만, 깊이값 Z를 산정하기 위해 참조되는 화소 Pix와 주목 화소 P의 위치 관계는 이것에 한정되지 않는다. 예를 들면, 주목 화소 P에 대해서 열 방향(Y 방향)에 인접하는 화소 Pix의 화소값 G와 주목 화소 Pix의 화소값 G의 대소에 기초하여 주목 화소 Pix의 깊이값 Z를 산정하도록 구성될 수도 있다. 이 구성에서의 처리 내용은 제1 실시예와 동일하다. 단, 제1 실시예에 있어서는 하나의 행마다 각 화소 Pix의 화소값 G가 산정되는 구성을 예시했지만, 본 변형예의 구성에 있어서는, 주목 화소 P가 속하는 행에 더하여 그 다음에 선택되는 행(또는 그 직전에 선택된 행)에 대하여도 각 화소 Pix의 화소값 G를 산정하여 기억해 둘 필요가 있다.

(6) 본 발명에 따른 입체시 화상 생성 장치는, 각 실시예에 나타낸 바와 같이 CPU가 화상 처리 프로그램을 실행함으로써 실현되고, 그 외 화상 처리에 전용되는 DSP 등의 하드웨어에 의해서도 실현된다.

본 발명에 따르면, 화질의 열화를 억제하면서 자연스럽게 입체감을 내는 입체시 화상을 생성할 수 있다.

Claims (12)

1. 우안용 화상과 좌안용 화상이 합성된 입체시(立體視) 화상을 원화상(original image)으로부터 생성하는 장치로서,

   원화상을 구성하는 복수개의 화소의 각각에 대하여 화소값을 기억하는 화소값 기억 수단과,

   원화상을 구성하는 각 화소의 화소값과 그 화소에 인접하는 화소의 화소값의 대소에 기초하여 각 화소의 깊이값을 결정하는 결정 수단과,

   상기 결정 수단이 결정한 각 화소의 깊이값에 기초하여 입체시 화상을 생성하는 입체화 수단

   을 구비하는 입체시 화상 생성 장치.
2. 제1항에 있어서,

   상기 입체시 화상 생성 장치는,

   원화상을 구성하는 각 화소는 각각의 표시색이 상이한 복수개의 서브 화소를 포함하고,

   각 서브 화소의 계조값을 화소마다 기억하는 서브 화소 기억 수단과,

   상기 서브 화소 기억 수단에 기억된 각 서브 화소의 계조값에 기초하여 화소마다의 화소값을 산정하는 산정 수단

   을 더 구비하고,

   상기 화소값 기억 수단은, 상기 산정 수단에 의해 산정된 화소값을 화소마다 기억하는, 입체시 화상 생성 장치.
3. 제2항에 있어서,

   상기 산정 수단은, 하나의 화소에 속하는 각 서브 화소의 계조값을 2치화하고, 2치화된 각 계조값을 표시색마다 가중치를 부여하여 가산하고, 이 가산값에 기초하여 상기 화소의 화소값을 산정하는, 입체시 화상 생성 장치.
4. 제3항에 있어서,

   각 화소는 적색의 서브 화소와 녹색의 서브 화소와 청색의 서브 화소를 포함하고,

   상기 산정 수단은, 각 화소에 대하여, 녹색의 서브 화소에 대하여 2치화된 계조값과 제1 가중치를 곱한 값과, 적색의 서브 화소에 대하여 2치화된 계조값과 상기 제1 가중치보다 작은 제2 가중치를 곱한 값과, 청색의 서브 화소에 대하여 2치화된 계조값과 상기 제2 가중치보다 작은 제3 가중치를 곱한 값을 가산하고, 이 가산값에 기초하여 상기 화소의 화소값을 산정하는, 입체시 화상 생성 장치.
5. 제1항에 있어서,

   상기 입체시 화상 생성 장치는, 깊이값을 기억하는 깊이값 기억 수단을 더 구비하고,

   상기 결정 수단은,

   원화상을 구성하는 복수개의 화소의 각각을 그 배열을 따라서 순서대로 선택하는 선택 수단과,

   상기 선택 수단이 선택한 화소의 화소값과 상기 화소에 인접하는 화소의 화소값의 대소에 기초하여, 상기 깊이값 기억 수단에 기억된 깊이값을 변경하는 변경 수단을 구비하고,

   상기 입체화 수단은, 상기 선택 수단이 화소를 선택할 때, 상기 기억 수단에 기억되어 있는 깊이값에 기초하여 상기 화소에 대한 입체화 처리를 실행하는, 입체시 화상 생성 장치.
6. 제5항에 있어서,

   상기 입체시 화상 생성 장치는, 임계값을 기억하는 임계값 기억 수단을 더 구비하고,

   상기 결정 수단은,

   상기 선택 수단이 선택한 화소의 화소값이 상기 화소에 대해서 수평 방향으로 인접하는 화소의 화소값보다 큰지의 여부를 판정하는 판정 수단과,

   상기 판정 수단에 의해 큰 것으로 판정된 화소가 상기 수평 방향으로 연속하는 개수를 계수하는 계수 수단과,

   상기 계수 수단이 계수한 계수치와 상기 임계값 기억 수단에 기억된 임계값을 비교하는 비교 수단을 구비하고,

   상기 변경 수단은, 상기 비교 수단이 비교한 비교 결과에 기초하여 상기 깊이값 기억 수단의 깊이값을 변경하는, 입체시 화상 생성 장치.
7. 제5항에 있어서,

   상기 입체시 화상 생성 장치는, 임계값을 기억하는 임계값 기억 수단을 더 구비하고,

   상기 결정 수단은,

   상기 선택 수단이 선택한 화소의 화소값이 상기 화소에 대해서 수평 방향으로 인접하는 화소의 화소값보다 작은지의 여부를 판정하는 판정 수단과,

   상기 판정 수단에 의해 작은 것으로 판정된 화소가 상기 수평 방향으로 연속하는 개수를 계수하는 계수 수단과,

   상기 계수 수단이 계수한 계수치와 상기 임계값 기억 수단에 기억된 임계값을 비교하는 비교 수단을 구비하고,

   상기 변경 수단은, 상기 비교 수단이 비교한 비교 결과에 기초하여 상기 깊이값 기억 수단이 기억하는 깊이값을 변경하는, 입체시 화상 생성 장치.
8. 제6항 또는 제7항에 있어서,

   상기 변경 수단은, 상기 계수 수단에 의해 계산된 계수한 계수치가 임계값을 넘을 경우에 상기 깊이값 기억 수단에 기억되어 있는 깊이값을 변경하는, 입체시 화상 생성 장치.
9. 제6항 또는 제7항에 있어서,

   상기 입체시 화상 생성 장치는, 입력 장치로부터 입력된 초기치를 취득하는 취득 수단을 더 구비하고,

   상기 변경 수단은, 상기 취득 수단이 취득한 초기치를, 상기 수평 방향으로 배열하는 복수개의 화소 중 최초의 화소가 상기 선택 수단에 의해 선택될 때의 깊이값으로서 설정하는, 입체시 화상 생성 장치.
10. 제1항에 있어서,

    상기 입체시 화상 생성 수단은, 원화상을 구성하는 각 화소의 계조값을 기억하는 계조값 기억 수단을 구비하고,

    상기 입체화 수단은,

    좌안용 화상의 각 행에 속하는 각 화소의 계조값이, 원화상 중, 그 화소로부터 행 방향의 일측으로 상기 화소의 깊이값에 따른 화소 개수만큼 떨어진 위치에 있는 화소의 계조값이 되도록 좌안용 화상을 생성하고, 우안용 화상의 각 행에 속하는 각 화소의 계조값이, 원화상 중, 그 화소로부터 행 방향의 타측으로 상기 화소의 깊이값에 따른 화소 개수만큼 떨어진 위치에 있는 화소의 계조값이 되도록 우안용 화상을 생성하는 생성 수단과,

    상기 생성 수단이 생성한 좌안용 화상 및 우안용 화상을 합성함으로써 입체시 화상을 생성하는 합성 수단을 구비하는, 입체시 화상 생성 장치.
11. 제10항에 있어서,

    상기 생성 수단은, 좌안용 화상 및 우안용 화상의 생성 처리를 복수회에 걸쳐서 실행하는 한편, 첫회 이외의 각 회의 생성 처리에 있어서는, 그 직전의 생성 처리에서 생성한 좌안용 화상 및 우안용 화상의 각각을 원화상으로 하여 좌안용 화상 및 우안용 화상을 생성하고,

    상기 합성 수단은, 복수회의 생성 처리에 의해 생성된 좌안용 화상 및 우안용 화상을 합성함으로써 입체시 화상을 생성하는, 입체시 화상 생성 장치.
12. 원화상을 구성하는 복수개의 화소의 각각에 대하여 화소값을 기억하는 화소값 기억 수단을 구비한 컴퓨터에,

    원화상을 구성하는 각 화소의 화소값과 그 화소에 인접하는 화소의 화소값의 대소에 기초하여 상기 화소의 깊이값을 결정하는 결정 처리와,

    상기 결정 처리에서 결정한 각 화소의 깊이값에 기초하여 입체시 화상을 생성하는 입체화 처리를 실행시키는 프로그램이 기록되어 있는, 컴퓨터로 판독 가능한 기록 매체.

Images