KR100414629B1

KR100414629B1 - 3차원표시화상생성방법,깊이정보를이용한화상처리방법,깊이정보생성방법

Info

Publication number: KR100414629B1
Application number: KR1019960008266A
Authority: KR
Inventors: 유끼노리 마쯔모또; 하지메 데라사끼; 가즈히데 스기모또; 마사즈미 가따야마; 쯔도무 아라까와; 오사무 스즈끼
Original assignee: 산요덴키가부시키가이샤
Priority date: 1995-03-29
Filing date: 1996-03-26
Publication date: 2004-05-03
Also published as: CN1132123C; EP1150254A3; CN1153362A; DE69621509T2; KR960035351A; EP0735512A3; EP1150254A2; US20010045979A1; US6384859B1; EP1150253A2; EP0735512A2; DE69621509D1; EP0735512B1

Abstract

2차원 등화상으로부터 깊이 정보를 자동적으로 생성하고, 3차원 표시 화상을 생성하는 방법이 제공된다. 또한, 깊이 정보의 생성시, 처리를 적당히 중지하고, 깊이 정보의 생성에 어울리는 프레임을 선택하는 방법, 및 깊이 정보를 이용해서 각종 화상 처리를 행하는 방법이 제공된다. 각종 화상 처리의 예로, 시점 변경 영상, 화상 영역의 자연스러운 확대ㆍ축소, 소기의 화상 영역의 절취가 있다.

우선, 입력 영상으로부터 피사체의 화면상의 움직임 정보를 추출한다. 이때, 블록 정합 등의 기법을 사용한다. 이어서 3차원 공간에서의 피사체의 현실의 움직임을 산출한다. 입력 영상은 원래의 3차원적인 움직임의 투영이기 때문에, 복수의 대표점의 움직임으로부터 3차원 표시의 움직임이 역변환에 의해서 구해진다.

이 결과, 피사체의 좌표가 판명되기 때문에, 피사체의 깊이 정보를 획득할 수 있다. 이후, 깊이 정보로부터 시차를 계산하고, 입력 영상으로부터 양 눈용 화상을 생성한다. 또한, 깊이 정보를 기초로, 깊이가 어느 범위에 있는 피사체를 잘라내기도 하고, 확대하는 등의 처리를 행한다.

Description

3차원 표시 화상 생성 방법, 깊이 정보를 이용한 화상 처리 방법, 깊이 정보 생성 방법

본 발명은 3차원 표시 화상을 생성하는 방법, 깊이(depth) 정보를 이용한 각종 화상 처리 방법, 및 깊이 정보를 생성하는 방법에 관한 것이다. 3차원 표시 화상 생성 방법은 특히 한 눈 화상으로부터 의사적으로 다안(多眼) 화상(스테레오 화상)을 생성하는 방법에 관한 것이다. 깊이 정보를 이용한 화상 처리 방법은 3차원 표시 화상의 생성 또는 그 중지를 시작하고, 강조 표시 등의 응용에 관한 것이다. 깊이 정보 생성 방법은 피사체와 감시자의 거리를 도출하는 방법이며, 3차원 피사체 화상 생성 방법의 실시에 사용할 수 있다.

[1] 3차원 표시 화상 생성에 대해서

텔레비젼 기술 분야에 있어서는 종래로부터 2차원 동화상의 움직임을 검출하고, 이 움직임을 기초로 3차원 화상(의사 입체 화상)을 생성하는 기술이 알려져 있다. 이 대표적인 기술로 시간차 방식의 3차원 표시가 있다. 이 원리를 제1도 내지 제3도로써 설명한다.

제1도에 도시하는 바와 같이, 배경은 변하지 않은 채 피사체만이 왼쪽에서 오른쪽으로 이동하는 영상에 있어서, 제2도와 같이 재생된 오른쪽 눈 화상과 왼쪽눈 화상 사이에 일정한 시간차를 두게 한다. 이때, 제3도에 도시하는 바와 같은 시차 θ가 생긴다. 여기에서는 「시차」혹은 「양 눈 시차」를, 좌우 양 눈으로부터 어떤 점을 보았을 때의 시선 벡터의 각도 차라고 정의한다. 이 시차에 의해서 차가 앞쪽으로 뛰어나가게 보이기 때문에 의사 입체시(疑似立體視)가 실현된다. 설사 피사체가 역방향으로 이동한다면 오른쪽 눈에 부여되는 필드를 진행시키면 된다.

일본 특허 공고 번호 소화 제55-36240호 공보에는 깊이 정보를 이용한 입체 화상 표시 장치가 개시되어 있다. 이 장치는 여러 방향으로부터 촬영한 영상 신호중 기본적인 한 방향으로부터의 영상 신호(즉, 2차원 동화상)와, 피사체의 깊이 정보 신호만을 수신하고, 원래의 여러 방향 촬영 영상 신호를 장치 내부에서 실현하는 것으로, 그 목적은 전송 대역폭의 절약에 있다. 이 장치는 깊이 정보에 관련하여 지연량이 제어되는 가변 지연 회로를 갖는다. 이 회로에 의해서 부여되는 지연에 의해서 시차를 발생시키고, 이 회로의 출력 신호로부터 왼쪽 눈과 오른쪽 눈용의 화상 신호를 재생한다. 이 결과, 의사 입체 화상을 표시할 수 있다. 장치의 실시예로서, (1) 두 개의 CRT에 왼쪽 눈용, 오른쪽 눈용의 화상을 출력하고, 이들 CRT와 하프미러(half mirror)를 소정의 각도로 배치함으로써 관찰자 의사 입체 화상을 제공하는 것, (2) 랜티큘러 렌즈(lenticular lens)를 표시화면에 고착하고, 관찰자가 수평 방향으로 이동했을 때에도 양호한 의사 입체 화상을 제공하는 것이 개시되어 있다.

그러나 이 장치의 경우, 깊이 정보는 외부로부터 부여되는 것을 전제로 하고 있다. 입력으로서 2차원 동화상만이 부여되고, 깊이 정보가 부여되지 않을 경우,의사 입체 화상의 생성과 표시는 전혀 불가능하다.

일본 특허 공개 번호 평성 제7-59119호 공보에도, 2차원 동화상을 기초로 의사 입체 화상을 생성해서 표시하는 장치가 개시되어 있다. 이 장치는 입력된 2차원 동화상으로부터 움직임 벡터를 검출하는 검출 장치와, 이 움직임 벡터에 따라서 왼쪽 눈용 또는 오른쪽 눈용의 화상에 대해서 지연을 부여하는 지연 회로를 갖는다. 이 회로에 의한 지연이 시차를 발생시킨다. 장치의 실시예로서, 헤드 마운트 디스플레이(HMD)가 개시되어 있다. 이것은 좌우의 눈에 대해서 개개의 화상을 공급하는 안경형의 디스플레이이다. 이 HMD에 의해 관찰자는 의사 입체 화상을 볼 수 있다.

그러나 이 장치의 경우, 움직임 벡터의 크기에 따라서 지연 크기를 결정하기 때문에 빠르게 움직이는 피사체는 보다 앞쪽으로 보인다. 따라서, 관찰자의 시점(촬영 카메라의 시점(視點))에서 피사체까지의 실제 거리(즉, 깊이)에 따른 자연적인 입체시(立體視)는 실현할 수 없다.

더욱이 일본 특허 공개 번호 소화 제60-263594호 공보에도, 시간차 방식의 의사 입체 화상을 표시하는 장치가 개시되어 있다. 이 장치는 좌우 양 눈의 화상을 필드마다 교대로 표시하고, 이것을 필드마다 교대로 좌우의 눈의 한쪽만이 열리는 셔터 안경을 통해서 보는 것이다. 이 장치에서는 더욱이 피사체의 움직임이 늦으면 시간차를 넉넉하게 주어서 입체시(立體視)의 효과를 유지하는 방법이 개시되어 있다. 그러나, 이 장치에서도 깊이 정보를 기조(base)로 하지 않기 때문에 정확한 의사 입체 화상의 생성과 표시는 불가능하다.

한편, 잡지 PIXEL (No.128) (1993년 5월 1일 발행)의 97 내지 102쪽에는 깊이를 이용한 의사 입체 화상 시스템이 제안되어 있다. 이 시스템에 의한 입체시는 우선 피사체를 깊이에 따라서 원근 화상(농담(濃淡) 화상)으로 표현하고, 이어서 이 농담 데이타로부터 시차에 대응하는 도트수를 산출하고, 좌우 양 눈 화상을 생성한다. 이것을 셔터 안경으로 본다. 그러나 이 시스템의 경우, 원근 화상의 생성이 수작업으로 행해지고, 이것을 자동화하는 기술은 개시되어 있지 않다.

일본 특표(National Publication) 평성 제4-504333호 공보(WO88/04804)에도 마찬가지로, 깊이 정보를 이용하여 의사 입체시를 실현하는 방법이 개시되어 있다. 이 방법은 우선 2차원 동화상을 영역 분할하고, 분할된 각 영역에 대해서 깊이 정보를 부여하고, 그런 다음에 영역마다 시차를 부여하여 의사 입체 화상을 생성하는 것이다. 그러나 이 방법에서도 역시 수작업으로 깊이 정보를 공급하고 있고, 이것을 자동화하는 기술은 나타나 있지 않다.

그 한편, 컴퓨터비젼이라 불리는 연구 분야에서는 로봇의 자동 제어를 주된 목적으로 하여, 대상이 되는 3차원 구조나 3차원 운동을 추정하는 수법이 연구되고 있다. 구체적으로는, 로봇의 자율 수행을 위하여 스테레오 카메라(다안 카메라)에서 물체를 촬영하거나, 또는 한 눈 카메라를 이동시키면서 물체를 촬영함으로써 물체까지의 거리를 정확하게 파악하는 수법 등이다. 이 수법의 몇가지 관점에 대해서는 예를 들면 「1990년 화상 부호화 심포지움(PCSJ90)」의 57 페이지에 기재되어 있다.

[2] 깊이 정보 생성에 대하여

상술한 컴퓨터 비젼으로 물체의 깊이를 아는 것 자체는 가능하다. 그러나,통상의 2차원 동화상에서 깊이 정보를 생성하는 경우, 항상 깊이 정보의 생성에 있어서 적절한 화상이 입력된다 할 수 없다. 부적절한 화상이 입력되었는데도 불구하고 이 화상에서 깊이 정보를 생성하였을 때, 대단히 큰 오차가 발생할 수 있다. 예를 들면 이 깊이 정보를 기초로 의사 입체 화상을 생성하여 표시하면, 예를 들면 멀리 있는 사람의 쪽이 가까이 있는 사람보다도 앞에 표시되는 사태가 발생하여 극히 부자연스럽다.

또, 프레임 간 대응 관계의 파악에서 깊이 정보를 생성하는 아이디어 자체는 이미 알려져 있다. 예를 들면, 특개평 7-71940호 공보(대응하는 것은 USP 5,475,422)에서 「종래의 기술」로서 (1) 스테레오 카메라로 촬영된 2개의 화상 간에 점과 선을 대응시켜 실제의 장면 공간(3차원 공간)에 있어서의 점과 선의 위치를 추정하는 기술, (2) 카메라를 이동시켜 가면서 피사체를 연속적으로 촬영하여 화상 상의 특징점을 추적함으로써, 각 특징점의 장면 공간에서의 실제 위치를 추정하는 기술의 존재가 지적되어 있다.

[3] 깊이 정보를 이용한 화상 처리 방법에 대해서

전술한 컴퓨터비젼과 같이 깊이 정보를 이용하여 로봇의 동작을 제어하는 방법은 공지되어 있다. 전술의 일본 특공소 제55-36240호 공보에 나타나는 바와 같이 깊이 정보를 이용하여 의사 입체 화상을 생성하는 기술 자체도 공지되어 있다. 그러나, 깊이 정보를 의사 입체 화상의 생성 이외의 화상 처리를 위해서 이용하는 제안은 별로 없다.

본 발명의 제1 목적은 상기 [1]의 3차원 표시 화상 생성에 관한 것이다. 본발명의 목적을 정하는데 있어서, 본 발명자는 상기의 의사 입체 화상 생성 기술이 다음의 어떤 과제를 갖는 것에 착안하였다.

1. 단지 동작량에 따라서 편의적으로 입체감을 얻고 있을 뿐이며, 깊이 정보에 기초하는 올바른 입체 화상을 생성하고 있지 않는다. 또한 지연(시간차)에 의해 시차를 발생시킬 필요성에서, 전제로서 피사체가 수평 방향으로 움직여야만 한다. 이것은 근본적인 제약이다.

2. 2차원 동화상에서 깊이 정보를 생성하는 공정이 자동화되어 있지 않아서, 편집 작업이 필요해진다. 2차원 동화상을 입력한 후, 리얼 타임을 입체 화상을 출력할 수 없다.

그래서 본 발명의 제1 목적은 상기 컴퓨터비젼에서의 수법을 텔레비젼 분야를 시초로 하는 화상 처리 분야에 응용하여, 깊이 정보에 기초하여 올바른 입체 화상을 생성하는 것이다.

이 목적을 위해서 본 발명은 2차원 동화상으로부터 깊이 정보를 추출하고, 이 깊이 정보에 따라서 3차원 표시용 화상을 생성한다. 이것은 컴퓨터비젼 기법의 화상 생성 또는 화상 표시 기술 분야로의 응용이다. 본 발명의 어떤 실시예에서는 2차원 동화상의 움직임을 검출하고, 이 움직임으로부터 그 동화상의 장면과 촬영 시점과의 3차원 운동을 산출하며, 이 상대적인 3차원 운동과 화상 각 부위의 움직임을 기초로, 상기 촬영 시점에서부터 화상 각 부위까지의 상대 거리를 산출함으로써 깊이 정보를 도출한다. 이렇게 얻은 깊이 정보를 기초로 의사 입체 화상을 생성한다.

본 발명의 하나의 실시예를 다른 표현으로 말하면, 처리 대상이 되는 2차원 동화상으로부터 복수의 영상 프레임(이하 단순히 「프레임」이라고도 함)을 선택하고, 이들 프레임 사이에서의 2차원적인 위치의 변위로부터 영상 각 부위가 현실의 3차원 공간에 있어서 차지하는 상대 위치 관계를 도출하고, 그 결과에 따라서 깊이를 결정한다. 즉, 상기 2차원적인 위치의 변위로부터 상기 영상 각 부위의 3차원적인 움직임을 도출하고, 이 움직임으로부터 삼각 측량 원리에 의해서 상기 영상 각 부위의 3차원 공간에서의 위치 좌표를 산출하며, 그 결과에 따라서 깊이를 결정한다. 여기에서 「프레임」이란 한 개의 화상 처리 단위이고, 예를 들면 MPEG라고 하는 프레임 픽쳐(frame picture)나 필드 픽쳐(field picture)를 포함하는 개념이다.

2차원 동화상의 경우, 「복수의 영상 프레임」은 다른 시각으로 촬영된 복수 프레임이기 때문에, 이하 이것을 「상이 시각(相異時刻) 프레임」이라고 한다.(또, 나중에 설명하는 다안 카메라에 의해서 동시에 촬영된 복수 프레임은 「동시각(同時刻)프레임」이라고 부른다). 「2차원적인 위치의 변위」란 프레임 평면상에서의 위치 변위를 말한다. 본 발명의 이 태양에서는 상이 시각 프레임이 문제로 되기 때문에 「2차원적인 위치 변위」는 시간 경과에 수반하는 위치 변화, 즉 움직임을 가리킨다. (동시각 프레임의 경우, 「2차원적인 위치 변위」가 복수 프레임사이의 위치 어긋남을 가리키는 것에 주의해야 한다).

본 발명의 제2 목적은 상기 [2]의 깊이 정보의 생성에 관한 것이다. 그 목적은 깊이 정보를 생성하였을 때 부자연스러운 의사 입체 화상이 발생할 수 있는 등, 장애가 발생될 수 있는 경우에는 이 처리를 중지하는 방법 또는 깊이 정보를 생성하는데 어울리는 입력 화상의 선택 방법을 제안하는 것이다. 또한, 깊이 정보를 정확하게 계산하기 위해서 복수의 화상간의 대응 관계를 올바르게 파악하는 방법을 개시하는데 있다. 또한, 본 발명은 상술한 대응점과 특징점의 효과적인 결정방법과, 정밀도가 높은 탐색 및 추적 방법을 제안하는 것은 목적으로 하고 있다.

이 목적을 위하여 본 발명은 프레임 간의 움직임이 큰 2장의 프레임을 2차원 동화상으로부터 선택하고, 이들 2장의 프레임으로부터 깊이 정보를 생성한다. 이 태양에서는 미리 깊이 정보를 계산하기 쉬운 프레임을 선택함으로써 양호한 계산결과를 얻을 수 있다. 움직임이 큰지 아닌지의 여부는 특징점의 이동량이나 특징점의 움직임의 분산에 기초해서 판단해도 된다.

본 발명의 또 다른 실시예에서는 기준 프레임(이하, 「기준 프레임」)에 대표점을 설정하고, 다른 프레임(이하, 「대상 프레임」)에서의 특정점 근방의 영상 영역과 상기 기준 프레임의 대표점 근방의 영상 영역 사이에서 영상의 유사성을 평가한다. 「특정점」란 평가에 투입되는 대응점의 후보를 말한다. 후보의 결정 방법은 문제되지 않는다. 이어서, 상기 특정점간의 상대 위치의 타당성을 평가하고, 이들 양 평가의 결과가 양호한 경우에 일단 상기 특정점을 상기 대표점의 대응점이라고 결정한다. 이어서, 모든 대응점의 위치를 고정하고, 한 개의 대응점만을 이동시키면서 상기 각 평가의 결과가 가장 양호하게 되는 점을 탐색한다(이하, 이 기법을 「고정 탐색 기법」이라고 부른다). 탐색된 최선점의 위치를 상기 한 개의 대응점의 새로운 위치로 하고, 이들의 탐색 및 위치 변경을 순차로 모든 대응점에 대해서 행한다. 이 다음에 일련의 처리 결과 구해진 대응점과의 위치 관계로부터 깊이 정보를 생성한다.

종래, 영상의 유사성의 평가는 예를 들면 블록 정합(block matching) 등의 기법으로 행해지고 있었다. 그러나, 이 평가에 대해서 위치의 타당성의 평가를 가미함으로써 프레임 간의 대응 관계의 파악 정밀도를 개선할 수 있다. 더욱이 이때, 반복 계산함으로써 이 정밀도를 더 개선해 갈 수 있다.

본 발명의 어떤 실시예에서는 상기 영상의 유사성 평가를 상기 기준 프레임과 상기 대상 프레임이 동일의 피사체를 촬영하고 있을 때에 계산상 그들의 차이가 없어지도록 보정된 블록 정합(이하, 「바이어스된 블록 정합(biased block matching)」이라고 한다)으로 행한다. 동시각 프레임의 경우, 복수의 카메라의 특성에 의해서 색 농도에 일정한 편위(偏位)가 생기기 쉽다. 동일 카메라에 의한 상이 시각 프레임의 경우에도 시각에 따라 날씨가 변하게(즉 영상의 명도가 변하게)될 때, 마찬가지의 현상이 일어난다. 이를 제거하도록 보정한다. 계속하여, 영상의 유사성과 상대 위치의 타당성을 같은 단위를 갖는 수치로 판단한 후, 이들 평가결과를 더하여 양 평가 결과의 양호 불량을 종합적으로 판단한다. 한 예로서, 영상의 유사성을 상대 위치의 타당성 판단 개념인 거리로 변환한 후(transforming the degree of the resemblance between the frame into geometrical distance serving as judging concept upon which the properness of the relatlve location is inherently judged 정도의 이미지), 이것들을 더하여 종합 판단을 행한다. 이때, 미리 이전의 바이어스된 블록 매칭에 있어서의 보정 한도를 정하고, 이 한도내에서 바이어스된 블록 애칭을 행하여도 된다.

또, 이 한도값은 당연히 기준 프레임과 대상 프레임과의 프레임 간 거리에 따라서 설정된다. 즉, 프레임 간 거리가 크다면 이 한도값도 크게 설정된다.

또한, 명도 변경을 없애도록 보정을 행하는 것 자체는 특개평 5-308630호 공보에 소개되어 있다. 그러나, 본 예에서는 페이드 아웃ㆍ페이드 인(전 화면에 일정한 명도 변화)을 대상으로 하고 있어서, 부분적인 명도 변화에 대응할 수 없다.

본 발명의 어떤 실시예는 기준 프레임에 대표점을 설정하고, 대상 프레임에서의 상기 대표점의 대응점을 구하고, 상기 대표점 중 적어도 특징점과, 그 대응점의 위치 관계를 구함으로써 깊이 정보를 생성하는 방법으로서, 상기 특징점으로서, 촬영 시각이 상이한 복수의 프레임에 있어서 위치가 안정적으로 변화하고 있는 점을 채용한다. 이러한 점은 정밀도 좋게 추적되고 있다고 생각되기 때문이다.

마찬가지로 본 발명의 어떤 실시예에서는 상기 특징점으로서 동시에 촬영된 프레임 간에서의 움직임이 그 근방 시각에 있어서 동시에 촬영된 프레임 간에 있어서도 거의 일정하던가, 또는 일정 변화하는 점을 채용한다.

본 발명의 또 다른 실시예는 기준이 되는 화상에 대표점을 설정하고, 다른 화상에서의 상기 대표점의 대응점을 구하여, 이들 대표점과 대응점의 위치 관계를 구함으로써 깊이 정보를 생성하는 방법이며, 상기 대표점 중 특징점인 것의 수가 작은 경우는 상기 깊이 정보의 생성을 중지한다. 특징점이 작은 경우 화상 간 대응 관계 파악의 정밀도가 높지 못할 우려가 있기 때문이다.

또, 대응점에는 「참인 대응점」과 「계산상 대응점」의 2가지 개념이 존재한다. 대응점은 본래, 각 대표점에 대하여 반드시 존재하고, 그 존재 개소 이외의점이 대응점인 상태는 고려되지 않는다. 이 이상적인 대응점이 참인 대응점이다. 한편, 화상 처리 계산으로 정해지는 대응점은 참인 대응점에 일치하는 것으로 한정하지 않는다. 이것이 계산 상의 대응점이다. 계산 상의 대응점은 참인 대응점의 존재 개소 이외에 존재할 수 있을 뿐만 아니라, 그 위치가 적당히 변경되기도 한다. 후자는 예를 들면 후술하는 대응점 정밀도의 개선 처리를 행하는 경우에 발생한다. 또, 본 명세서에서는 특별히 필요하지 않는 한, 「대응점」이라는 단어를 「참인 대응점」과 「계산상의 대응점」의 2가지 개념에 대하여 구별하지 않고 이용한다.

본 발명의 또 다른 실시예는 2차원 화상의 깊이 정보를 생성하는 방법으로서, 어떤 화상에 포함되는 임의 점의 깊이의 산출 결과가 음(-)이 되었을 때, 그 점 근방에서 깊이가 양(+)의 값으로서 구해지는 점의 깊이 정보를 보간함으로써, 상기 임의의 점의 깊이를 다시 산출하는 것이다. 깊이가 음(-)이 되는 원인은 계산 오차 등의 장애 요인이라고 생각할 수 있기 때문에, 이것을 근방의 점의 깊이로부터 수정하는 것이다.

본 발명의 제3 목적은 상기 [3]과 관련한다. 즉, 깊이 정보를 의사 입체 화상의 생성 이외의 화상 처리를 위하여 이용하는 제안을 행한다.

이 목적을 위하여, 본 발명은 2차원 영상에 대하여, 그 깊이 정보에 따라서 시차를 부여하여, 다안 화상을 생성할 때, 상기 시차가 소정 범위에 들어가도록 그 시차를 변환하고, 변환 후의 시차에 따라서 상기 다안 영상을 생성한다. 예를 들면, 시차가 너무 클 때, 관찰자의 눈이 피로해지는 경향이 있다. 반대로, 시차가 너무 클 경우, 시차를 데이타로서 갖는 의미가 상실된다. 그래서 시차를 소정의 범위에 들어가도록 하는 것이다.

본 발명의 다른 실시예에서는 2차원 화상에 대하여, 그 깊이 정보에 따라서 시차를 부여하고, 다안 화상을 생성할 때, 상기 깊이 정보에 기초하여 시차를 가변되게 한다. 예를 들면, 관찰자로부터 시차의 변경 지시를 받은 경우, 관찰자의 기호에 맞는 의사 입체 화상을 제공할 수 있다.

본 발명의 또 다른 실시예에서는 2차원 화상에 대하여, 이 2차원 화상에 대응하는 깊이 정보에 따라서 시차를 부여하여, 다안 영상을 생성하고, 이것을 다안 화상 표시 수단으로 표시할 때, 상기 시차를 발생시키기 때문에, 상기 2차원 화상에 실시해야 할 처리를 상기 다안 화상 표시 수단의 고유의 표시 조건에 따라서 결정한다. 이 표시 조건은 예를 들면 상기 다안 화상 표시 수단의 표시 화면 사이즈와, 표시 화면으로부터 그 화면을 보는 사람까지의 상정 거리를 기초로 설정되고, 이 조건으로부터 소기의 시차가 발생하도록 화상에 공급되어야 할 처리를 개별적으로 결정한다.

본 발명의 또 다른 실시예는 2차원 화상의 화상 각 부위마다 그 깊이 정보에 따라서 시차를 부여하고, 다안 화상을 생성할 때, 부여된 시차에 따라서 화상 외각에 생기는 요철(凹凸)을 수정한다. 시차를 부여하기 위해서 예를 들면 화면 우측단에 있던 화상 영역을 오른쪽으로 약간 옮기면, 그 영역이 원래의 화상 틀로부터 오른쪽으로 밀려 나온다. 이러한 요철을 수정함으로써 화상의 체재(體裁)를 정비한다. 이때, 화상 주변부를 어떤 폭에 걸쳐서 잘라냄으로써 소기의 화상 틀 형상을 실현해도 된다.

본 발명의 또 다른 실시예에서는 2차원 화상에 대해서 그 깊이 정보에 따라서 화상 처리를 행하는 방법에 있어서, 상기 깊이 정보를 기준으로 하고, 상기 화상 처리를 실시해야 할 화상 영역을 결정한다. 이 태양에 의하면, 예를 들면, 관찰자로부터 어떤 거리 이내에 있는 어떤 피사체를 잘라내기도 하고, 확대 또는 축소 표시하는 등의 처리가 가능해진다.

본 발명의 또 다른 실시예에서는 2차원 화상에 대하여, 그 깊이 정보에 따라서 화상 처리를 행하는 방법에 있어서, 상기 2차원 화상의 촬영 시점을 가상적인 이동 경로를 따라서 가상적으로 이동했을 때, 그 이동 경로 상의 복수 개소를 시점으로 하는 화상을 상기 깊이 정보를 기초로 생성하고, 생성된 화상을 느린 동작 화상으로서 이용한다.

또, 본 발명에서는 깊이 정보에 따라서 시점 변경 영상을 생성해도 된다. 이를 위해서, 상정되는 시점의 변경에 수반하는 영상 각 부위의 위치 변위를 상기 깊이 정보로부터 역산하고, 상기 위치의 변위에 따라서 영상을 재구축한다. 이것은 일종의 화상 가중 기술이다. 예를 들면, 일시점의 높이를 바꾸어 볼 경우, 카메라의 이동 거리와 상기 깊이 정보로부터 피사체(영상 각 부위)의 변위(병진량과 회전량)을 계산할 수 있다. 이 계산 결과에 따라서 소기의 영상을 구축하면 된다.

본 발명의 양호한 실시예를 적당히 도면을 참조하면서 설명한다. 실시예 1 내지 4에서는 최종적으로 출력되는 화상이 3차원 표시 화상(의사 입체 화상)이며, 한편, 실시예 5 내지 7에서는 최종적으로 출력되는 화상이 2차원 표시 화상(통상의 2차원 화상)이다.

실시예 1 과 2에서는 한 눈으로 촬영된 영상이 입력되는 것으로 하고, 실시예 3에서는 다안 화상(스테레오 화상)이 입력되는 것으로 한다. 실시예 5, 6, 7은 각각 실시예 1, 2, 3에 거의 대응한다. 그들은 출력 형식이 2차원과 3차원인지로 분류되어 있는 것에 불과하다. 또, 그 후의 실시예 8을 설명한다. 이것은 의사 입체 화상을 표시할 때, 표시 장치에 고유한 조건을 고려한 표시 방법에 관한 것이다.

실시예 1

제4도는 본 실시예에 의해서 3차원 표시 화상을 생성하기 위한 주된 공정을 도시하는 도면이다. 본 실시예의 공정 3까지의 처리에 의해서 본 발명의 깊이 정보 생성 방법의 내용도 명확해진다.

제4도에 도시하는 바와 같이 본 실시예는 이하의 공정에 따라서 원래로 되는 2차원 영상으로부터 3차원 표시용 화상을 생성한다. 여기에서 공정 1 내지 3이 영상 해석, 공정 4가 생성에 관한 것이다. 먼저, 각 공정의 개략을 설명한다.

[공정 1] 2차원 움직임 정보의 추출

영상에 포함되는 피사체의 움직임 정보를 추출한다. 이 단계에서는 또한 움직임 정보를 2차원 정보로서 취급한다. 표시 화면을 좌표 평면 위에 두고, 피사체의 이 화면 위의 움직임을 2차원 좌표로 기술한다.

본 공정에서는 피사체의 움직임의 파악을 위해서 영상 프레임 간의 대응 관계를 검출한다. 기준 프레임인 시각t의 영상 프레임(이하, 「프레임 t」라고 한다)에 미리 복수의 대표점을 설정해 두고, 다른 시각t'의 대상 프레임(이하, 「프레임t'」라고 한다)에서의 상기 각 대표점의 대응점을 추적한다. 프레임 t와 t'는 상이 시각 프레임을 형성하지만, 이들은 시간적으로 인접하는 프레임일 필요는 없다. 또한, 본 공정의 특징은 피사체의 수평 방향만이 아니라, 임의의 방향의 움직임으로부터 2차원 움직임 정보를 추출할 수 있다는 점이다. 본 명세서에서는 이하 t, t'가 각각 시각을 나타낸다.

본 명세서에서는 이하 「프레임」이라고 하면, 필드 등 넓게 영상 구성 단위 전반을 지칭하는 것으로 하고, 예를 들면 525개의 주사선에 의해서 구성되는 텔레비젼 수상기의 1프레임이나, 640 ×480 화소로 구성되는 개인용 컴퓨터의 한 화면만을 지칭하는 것은 아니다. 또한, 대표점은 프레임 t만이 아니라 프레임 t, t'의 쌍방에 설정해도 된다.

[공정 2] 3차원 움직임 정보의 산출

피사체의 2차원적인 움직임이 판명되면, 이 피사체의 3차원 공간에서의 현실의 움직임 정보(3차원 움직임 정보)를 산출한다. 이때, 대표점과 대응점의 조(組)를 다수로 함으로써 피사체가 실제로 일어나는 움직임을 병진 및 회전의 양 운동성분으로써 기술한다.

[공정 3] 깊이 정보의 획득

피사체의 현실의 움직임의 모양을 알면, 각 시각에서의 피사체의 상대 위치관계가 판명된다. 이 관계를 알면, 피사체 또는 그 각 부위(이하, 간단히 「영상각 부위」라고 한다)의 깊이 정보가 구해진다.

[공정 4] 화상의 생성

깊이 정보에 따라서 시차를 결정하고, 좌우 양 눈의 화상을 생성한다. 이때, 일반적으로는 가까울수록 크게 한다. 영상 각 부위에서 깊이는 다르기 때문에 좌우 화상은 부위마다 다른 시차를 생기게 하도록 생성된다. 여기에서 주의해야할 것은 공정 1에서의 움직임 정보가 임의 방향의 움직임으로부터 추출 가능한 사실과, 본 공정에 있어서 시차를 둔 방향이 원칙으로서 수평 방향에 한하는 사실을 혼동해서는 안된다는 점이다. 후자는 화상을 보는 사람의 양 눈이 수평 방향으로 위치하는 것에 유래한다.

이상이 개략이다. 이하, 각 공정을 상술한다.

[공정 1] 2차원 움직임 정보의 추출

제5도는 영상 프레임 간의 대응 관계를 검출하기 위한 흐름도이다. 제5도에 도시하는 각 단계를 설명한다.

(S10) 프레임 t에 대표점을 설정

제6도에 도시하는 바와 같이, 우선 기준 프레임 t에 대표점을 설정한다. 제5도에서는 프레임 t를 8 ×8 화소마다 메쉬(mesh)에 의해서 분할하고, 각 대표점을 격자점에 두고 있다. 여기에서는 왼쪽으로부터 i번째, 위에서부터 j번째의 대표점을 Pt(i,j)라고 기술하고, Pt(i,j)에 대한 시각t'의 대응점을 Pt'(i,j)이라고 기술한다. 또한, 필요에 따라서 Pt(i,j)의 x, y 좌표를 각각 Pt(i,j)x, Pt(i,j)y라고 기술한다.

또 이 단계에 있어서, 대표점은 격자점에 한하지 않고, 임의의 장소에 배치해도 된다. 극단적인 경우에는 모든 화소를 대표점으로 할 수도 있다.

(S11) 대응점 후보 영역의 설정

예를 들면 제6도에 도시하는 Pt(6,4)라고 하는 대표점을 고려했을 경우, Pt'(6,4)가 존재할 수 있는 영역을 미리 설정한다. 이것은 영상의 움직임이 어느 정도 이상으로 급격한 경우를 제하고, Pt'(6,4)가 Pt(6,4)의 근방에 있다고 하는 가정에 근거한다. 이 실시예에서는 예를 들면 Pt(6,4)의 근방 100×60화소의 영역에 Pt'(6,4)가 들어가는 것으로 하고, Pt'(6,4)의 검출시의 계산량을 삭감한다.

이 단계에 대해서는 이하의 응용이 가능하다.

1. 영상이 비교적 격렬하게 움직이고 있을 때에는 프레임 t,t'가 인접하도록 t'를 결정한다. 대표점의 위치 변화는 최소로 억제되고, 대응점이 상기 영역에 들어가지 않을 우려도 최소가 된다. 다만 당연하지만, 미리 후보 영역을 화소 전체로 하는 방법도 고려된다. 그 경우, 계산량이 증가하지만 영상의 큰 움직임에 의해서 대응점을 놓칠 우려는 줄어든다.

2. 이 실시예에서는 단순히 Pt'(6,4)가 Pt(6,4)의 근방에 있다고 가정했지만, 일단 Pt(6,4)의 복수 프레임에서의 이동 궤적이 판명되었을 때는 이 궤적의 연장선상에 후보 영역을 결정하는 것도 가능하다. 영상의 움직임이 어느 정도 일정해 있을 경우, 이 방법에 의한 대응점 후보 영역을 좁히는 것은 상당히 유효하다.

(S12) 대응점 후보 영역에서의 비유사도 계산

이어서, 후보 영역으로부터 대응점의 위치를 구체적으로 결정해 간다. 다만 이 단계에서는 전 단계와는 반대로 영상의 움직임이 너무 완만한 경우에 문제가 생긴다. 움직임이 적으면 움직임 정보의 추출이 곤란해지고, 추출된 정보가 큰 오차를 포함할 가능성이 있기 때문이다.

그래서, 이러한 때에는 미리 프레임 t,t'가 어느 정도 떨어지도록 t'를 선택한다. 이때, 영상 각 부위의 변화량을 통계적으로 처리하고, 예를 들면 변화의 크기 또는 변화량의 분산이 소정값을 넘도록 t'를 선택하면 된다. 이외의 방법으로서 소정수 이상의 특징점(후술)의 움직임의 총합이 소정값을 넘도록 t', 또는 특징점의 움직임의 분산이 소정값을 넘도록 t'를 선택해도 된다. 또 비록 이들 조건을 만족하는 t'가 발견되지 않으면, 3차원 표시용 화상의 생성(또는 깊이 정보의 생성)을 중지한다. 이때는 입력된 영상을 그대로 출력하던가, 또는 영상의 모든 부위에 같은 깊이를 부여해서 표시하면 된다.

이 단계에서는 대응점의 위치를 결정해야 하는 프레임 t,t'사이에서 블록 정합에 의한 비유사도의 계산을 행한다. 상기 대응점 후보 영역 안의 어떤 점을 중심으로 하는 근방 블록과 대표점 근방 블록과의 사이에서 농도의 2승 오차의 총합(비유사도)를 구하고, 이것이 최소로 되는 점을 계산상의 대응점이라고 결정한다.

제7도는 블록 정합의 모양을 도시하는 도면으로서, 이 실시 형태에서는 9화소로 1블록이라고 정의하고, 중앙의 화소를 대표점이라고 한다.

제7도에 있어서, 우선 프레임 t상에서 Pt(i,j)를 포함하는 블록1을 취하고, 프레임 t'측에서는 대응점의 임시 후보Pt'(i,j)를 포함하는 블록2를 취한다. 여기에서 일반적으로 화소(x,y)의 시각t에서의 화소값을 It(x,y)라고 기술하면 비유사도(E1이라고 한다)는

[수1]

에 의해서 구해진다. 여기에서 두 개의 ∑는 u, v에 관한 것이다. 이들은 각각

u = -1, 0, 1

v = -1, 0, 1

의 값을 취하고, 임시의 Pt'(i,j)에 대해서 합계 9화소에 관한 2승 오차 총합을 계산할 수 있다. 거기에서 Pt'(i,j)를 후보 영역 안에서 조금씩 움직여 가고, E1이 최소로 되는 점을 대응점이라고 결정해도 된다.

제8도는 Pt'(i,j)마다 E1의 값을 횡방향으로 표현한 모식도이며, 제8도의 경우, 비유사도가 급준한 정점(peak)을 취하는 점Q가 대응점이라고 결정한다. 이하, 마찬가지로 다른 대표점에 대해서도 대응점을 결정해 간다.

또, 이 단계에서는 이하의 응용 또는 변형이 있다.

1. 여기에서는 농담 화상을 전제로 농도의 2승 오차를 계산했지만, 카메라 화상의 경우 RGB 각농도의 2승 오차의 총합, 즉 E1_R+E1_G+E1_B를 비유사도로 해도된다. 이것은 다른 색공간에 의한 농도, 예를 들면 HVC 농도라도 된다. 2승 오차 대신에 단순한 오차의 절대값(나머지 차의 총합)을 채용해도 된다.

2. 이 단계에서는 1블록을 9화소로 했지만, 통상은 어느 정도 다수의 화소에 의해서 블록을 정의하는 것이 바람직하다. 예컨대 통상의 개인용 컴퓨터 또는 워크스테이션의 고해상도 화면을 상정할 경우, 실험 결과, 16×16화소 정도의 블록에 의해서 양호한 결과가 얻어지고 있다.

(S13) 대응점의 초기 위치 결정

전 단계로부터 대응점을 대충은 구할 수 있었다. 그러나, 이 단계에서는 대응점의 위치가 올바르다고는 한정되지 않는다. 피사체의 경계나 모서리(edge)에 대해서는 대응점이 비교적 올바르게 구해지지만, 예컨대 변화가 부족한 영상 부위에서는 대응점의 위치는 상대 오차를 포함하고 있다고 보아야 한다. 제8도로 말하면, E1이 명확한 피크를 취하지 않는 상태라고 말해도 된다. 제9도는 전단계의 결과 구해진 대응점과 대표점의 관계를 도시하는 도면으로서, 제9도에 도시하는 것처럼, 집이나 나무, 특히 그들의 윤곽 등의 특징적인 점에 대해서는 대응점이 양호하게 구해지지만, 하늘이나 지면에 대해서는 오차가 크다.

거기에서 이 단계와 다음 단계에 의해 대응점의 위치 보정을 행한다. 이 단계에서는 우선 대응점의 초기 위치라고 하는 개념을 도입하고, 실제로 그 초기 위치를 결정한다. 이어서, 다음 단계에서 반복 계산에 의한 위치 정밀도의 개선을 도모한다.

이 단계에서의 대응점 초기 위치의 결정에는 이하의 방침이 고려된다.

1. 전 단계에서 구해진 모든 대응점을 동등하게 취급한다.

모든 대응점의 위치를 그대로 그들의 초기 위치로서 다음 단계로 투입한다.

2. 대응점의 취급에 차이를 설정한다.

당초부터 어느 정도 올바른 위치에 있다고 사료되는 대응점(이하, 「특징점」이라고 한다)의 위치는 그대로 초기 위치로서 사용하고, 그렇지 않은 대응점(이하, 「비특징점」이라고 한다)의 초기 위치에 대해서는 상기 특징점의 그것을 기초로 결정한다고 하는 것이다. 여기에서 특징점으로서는 이하의 점을 상정할 수 있지만, 이것의 점은 현실에는 일치하는 것도 많다. 또, 이들 대응점에 대응하는 것의 대표점도 이 명세서에서는 특징점이라고 부르는 것으로 한다.

(1) 전 단계의 E1이 명확한 정점(peak)을 나타낸 대응점

이러한 대응점의 위치 정밀도는 일반적으로 높기 때문이다.

(2) 직교 모서리 성분이 많이 존재하는 장소에 있는 대응점

건물의 각 등의 부분에서는 대응점의 위치가 패 올바르다고 사료되기 때문이다.

(3) 프레임 t,t',. . . 에 있어서, 위치가 안정적으로 변화하고 있는 대응점

여기에서 변화의 안정성은 움직임 벡터의 일정성이라고 할 수 있다. 여기에서는 프레임의 진행에 수반하여 이동 방향, 이동 거리가 일정한 대응점을 고른다. 구체적으로는 예컨대 움직임 벡터의 계측(dispersion)이 소정값 이하의 대응점을 선택한다. 이러한 대응점은 당연히 정확하게 추적되고 있고, 대표점과 올바른 대응 관계에 있다고 판단되기 때문이다. 다만, 예컨대 영상을 촬영하는 카메라가 불규칙하게 움직였을 경우에는 그 영향을 가미해서 판단한다.

이렇게 해서 특징점이 선정되면, 이들은 그대로 초기 위치로서 사용하고, 비특징점의 초기 위치는 특징점의 위치를 보간하기도 하고, 또는 특징점의 근방으로부터 순서대로 결정해 갈 수 있다. 즉, 전단계에 의한 비특징점의 위치 정밀도는낮기 때문에 정밀도가 높은 특징점으로부터 기하학적으로 비특징점의 초기 위치를 부여하는 것이다. 또, 당연하지만, (3)의 특징점을 찾아내는 경우에도 전단계의 방법을 유효하게 이용할 수 있다.

이상, 특징점의 선정에 기초한 대응점 초기 위치의 결정 방법을 서술했지만, 이외에 동적 계획법(dynamic programming)을 이용해서 대응점의 초기화를 구해도 된다.

(S14) 대응점의 개선 처리

대응점의 위치의 타당성을 평가하기 위해서 식을 도입하고, 반복 계산에 의해서 위치 정밀도를 개선한다. S12단계에서는 비유사도를 평가하는 식1을 도입했지만, 여기에서는 더욱이, 대응점간의 상대 위치 관계의 타당성을 평가하는 식을 도입하고, 이들 두 개의 평가 결과를 통합해서 위치 개선을 도모한다.

제10도는 상대 위치를 평가하는 원리를 설명하는 도면이다. 제10도에 있어서, 각 점은 각각 대응점을 표시하고 있다. 이중, 도면 중의 Pt'(i,j)를 중심으로 생각하면, 이것에는 이하의 네 개의 대응점,

[수2]

가 인접하고 있다. Pt'(i,j)는 통상 이들 네 개점의 중심 부근에 존재한다고 생각되는 것이 타당하다. 이것은 영상 각 부위가 움직이더라도 화소 단위의 미시적인 견해를 하면 상대 위치 관계가 거의 유지된다고 하는 경험법칙에 기초하고 있다. 또, 이 성질을 수학적으로 말하면 (i,j)의 관계Pt'(i,j)의 2차원 미분이 거의0이라고 하는 것밖에 안된다.

따라서 상기 4점의 중심을 (St'(i,j)x, St'(i,j)y)라고 표시하면

[수3]

가 상대 위치의 타당성 평가식으로 된다. 이 식만을 고려하면, E2가 최소값으로 될 때 대응점의 위치가 가장 바람직한 상태로 된다.

이 단계에서는 식1 및 식2의 평가 결과를 적당한 결합 정수 k로 가산하고,

으로 표현되는 E를 최종적인 평가식이라고 한다(N은 블록 정합시에 정의된 한 개의 블록에 포함되는 화소수이다). 즉, 우선 각 대칭점에 대해서 E를 계산하고, 계속해서 모든 대응점의 E의 총합 ∑E를 계산하며, ∑E가 최소값으로 되도록 각 대응점의 위치를 조금씩 변화시킨다. ∑E의 값이 수속(收束)하던가, 또는 반복 계산을 소정의 상한회수에 달할 때까지 행하여 개선 처리를 시행한다. 보다 구체적으로는 각 대칭점의 위치를 변화시킬 때, 이하 중 어느 하나의 방법을 실시하면 된다.

(1) 오일러 방정식을 푸는 방법

∑E가 극값(여기에서는 극소값)을 취하는 조건을 나타내는 오일러 방정식을 수치적으로 풀이함으로써 대응점을 얻는다. 이 기법 자체는 공지되어 있다. 이것을 각 대표점을 포함하는 블록에서의 화상 기울기 정보와, 대칭 블록간의 화소 차 분 정보로부터 개선해야 할 방향을 찾아내고, 이것에 기초해서 대응점의 위치를 초기위치로부터 서서히 움직여 가서 최종의 해를 얻는다.

(2) 고정 탐색 기법

우선, 대응점 후보 영역에 있어서, 개선 대상의 대응점의 E가 최소로 되는 점을 탐색하고, 이것을 새로운 대응점으로 한다. 이때, 다른 점의 위치를 부동으로 간주해서 탐색을 행하는 점에 특징이 있다. 이 처리를 순차적으로 모든 대응점에 대해서 행한다.

(3) 혼합 기법

(2)의 기법에 의하면, 화소 단위의 정밀도로 대응점의 위치가 구해진다. 한편, (1)에 의하면, 이론상 화소 단위 이하의 정밀도로 위치를 구할 수 있다. 거기에서 우선 (2)의 기법에 의해서 화소 단위의 정밀도로 대칭 관계를 구하고, 이런 다음에 오일러 방정식을 적용해서 정밀도를 높히는 것도 가능하다.

또 실험에 의하면, 같은 정밀도로 비교했을 경우, (2)의 기법에 의해서 (1)보다 단시간에 양호한 해가 얻어지고 있다.

제11도는 제9도의 대칭점 후보에 대해서 이 단계의 개선 처리를 행한 결과를 도시하는 도면이다. 실험에 의하면, 카메라 화상의 경우, k는 5 내지 200 정도로 양호한 결과를 얻을 수 있음을 알았다. 제9도와 제11도는 모두 모식도이지만, 실험 결과, 실제로 이들 도면에 가까운 개선을 찾았다.

이상이 공정 1의 상세이다. 이 공정의 특징은 피사체의 임의 방향의 움직임으로부터 2차원 동화상 정보를 추출할 수 있는 점이다. 이것은 대표점이라고 하는 개념으로 움직임을 파악하는 이점이 있고, 수평 방향의 움직임을 검출해서 시간차를 결정하는 종래의 기술에 비해 넓은 응용을 가능케 하는 것이다.

또 이 공정에는 이하의 응용 또는 변형이 있다.

1. E2 도출시, 상하 좌우의 네점만 아니라, 기울기 방향의 네점을 더한 여덟점의 중심을 고려한다. 어떠한 조합이 최적인지는 영상의 종류에도 의존하기 때문에 실험에 의해서 적당히 결정해 가는 것이 바람직하다.

2. 식3에 의한 평가는 E1만에 의한 평가 결과가 바람직하게 된 대응점에서부터 우선적으로 행한다. 이것은 E1의 결과가 나쁜 대응점은 일반적으로 위치의 오차가 크다고 생각되기 때문이며, 이러한 대응점의 위치를 조기에, 게다가 대폭으로 개선하는 것이 바람직하기 때문이다.

3. 위치 개선시, 기하정보도 이용한다. 프레임 t에 있어서 기하적으로 특징이 있는 영역, 예컨대 직선을 형성하고 있던 복수의 대표점에 대해서는 그들의 대응점도 직선을 형성하도록 위치를 보정한다. 이것은 영상 위에서 직선으로 보이는 부분은 현실의 3차원 공간에서도 직선일 가능성이 높고, 한편 3차원 공간의 직선은 프레임 t'에서도 직선으로 되어야 하기 때문이다. 본래 깊이는 직선을 따라 한결같이 변화하는 것이며, 이러한 개선을 하지 않는 경우, 최종적으로 생성되는 화상에 있어서 직선을 연하는 깊이에 무리(group)가 생기고, 부자연스런 3차원 표시로 되는 것이다. 또, 다른 기하 정보로서 화상 영역의 모서리 등이 고려된다.

4. 또 다른 프레임에 있어서도 대응점을 구한다. 이 공정에서는 프레임 t에 대한 프레임 t'의 대응점을 구했지만, 제3의 프레임 t''에서의 대응점도 더 구하고, 영상 각 부위의 평균화된 움직임을 구할 수 있다. 이 방법은 프레임 t'에서의대응점 위치를 개선해 가는 것은 아니다. 많은 프레임에서 대응점을 취함으로써 대응점의 위치와 그 프레임이 촬영된 시간에서부터 영상 각 부위의 움직임을 통계적으로 결정해 가는 것이다.

5. 대응점의 초기값으로서 특징점이 소정수 이하 밖에 취해지지 않았을 때, 처리를 중지한다. 올바른 대응 관계를 얻지 못할 가능성이 높기 때문이다.

[공정 2] 3차원 움직임 정보의 산출

공정 1에 의해서 영상 각 부위의 화면 위의 2차원적인 움직임이 판명되었다. 공정 2에서는 이 정보로부터 각 부위의 3차원적인 움직임을 산출한다. 영상은 피사체의 현실의 움직임을 평면적으로 투영한 것이며, 이 공정에서는 대표점의 위치관계로부터도 어떤 움직임을 도출한다.

일반적으로 피사체의 3차원 공간에서의 움직임은 병진 운동과 회전 운동의 합성으로서 기술할 수 있다. 여기에서는 우선 움직임이 병진 운동만으로 구성되는 경우의 계산 방법을 설명하고, 다음에 일반화된 방법을 개설한다.

1. 움직임이 병진 운동만인 경우

제12도는 어떤 점 P의 화면 위의 이동과 3차원 공간에서의 현실의 이동의 대응을 도시하는 도면이다. 제12도에서는 화면 위의 2차원 좌표를 대문자X 등으로, 현실의 3차원 좌표를 소문자x 등으로 표시하는 것으로 하고, 3차원 좌표 중 x,y축을 화면 위에, z축을 깊이 방향으로 취하고 있다. 또한, 시점에서부터 화면까지의 거리를 1로 한다.

제12도에 도시하는대로 P(X,Y)는 화면 위를 P'(X',Y')로 이동하지만, 이사이에 이점은 3차원 공간에 있어서 S(x,y,z)에서부터 S(x',y',z')로 이동한다. 여기 에서,

[수4]

로 하면, 화면까지의 거리가 1이며,

로 된다. 이것을 풀면,

로 되기 때문에, z를 소거하고, 다음 식을 구한다.

[수5]

식4는 화면 위의 움직임 정보로 표현되고 있기 때문에 공정 1에서 얻은 정보에 의해서 미지수 a,b,c를 결정할 수 있다. 그러나 이때, 현실적으로는 k배 크기의 물체가 k배 떨어진 곳을 k배 속도로 이동하는 경우에 있어서, 이 k값(scale factor)을 결정할 수는 없고, a,b,c에 대해서는 그들의 비만을 구하는 것이 가능해진다. 수학적으로 말하면, (X,Y)와 (X',Y')의 대칭을 3조 부여하더라도, 이 연립방정식을 행렬 표시했을 때의 계수 행렬의 라인(계수)은 기껏해야 2이고, a,b,c는 상대값으로서 밖에 결정되지 않는다. 거기에서 이 공정에서는 임시로 c=1로 정규화해서 a,b를 표현하는 것으로 한다. 비(比)만으로도 다음 공정에 의한 처리가 가능하기 때문이다.

병진 운동의 다른 해법으로서 식4로부터 오차e를,

[수6]

로 정의하고, 대표점과 대칭점의 모든 대응 관계에 대해서 e의 총합∑e를 취하고, 이 값을 최소로 하는 a,b,c를 다음 식으로부터 구해도 된다.

보다 구체적으로는 식6 내지 8은 각각 다음의 형태로 전개된다.

[수7]

이상이 병진 운동에 관한 계산 방법의 예이다.

2. 움직임이 회전 운동을 포함하는 경우

회전 운동은 x,y,z방향의 세 개의 변위와 각축을 중심으로 하는 세 개의 회전각, 예컨대 α,β,γ로써 기술할 수 있다. 회전각은 오일러 각 또는 롤피치법 등으로써 표현할 수 있다.

여기에서 상기 합계 여섯 개의 변수를 결정하면 되지만, 여기에서도 전술한 바와 같이 스케일 인자(scale factor)가 결정되지 않기 때문에, 어떤 변수를 1로서 각 변수의 비를 구한다. 이론상, 대표점과 대응점을 5조로 하면, 운동을 기술할 수 있다.

여기에서 주의해야 할 것은, 조를 취하는 방법에 의해서는 움직임의 모양이 선형 해법에 의해서 구해지지 않는 것이 있다는 점이다. 이러한 경우를 고려할때, 조를 8이상으로 하면 된다는 것이 알려져 있다. 8조의 변화로부터 선형 해법에 의해서 회전 운동을 기술할 수 있는 근거에 대해서는 예컨대 「움직임으로부터의 한 눈입체시에 의한 형상 인식의 선형 해법에 대해서」(데구찌(出口)ㆍ아키바(秋場), 계측 자동 제어 학회 논문집 vol. 26, No. 6, 714/720 (1990)) 등에 도시되어 있다.

[공정 3] 깊이 정보의 획득

공정 2에 의해 영상 각 부위의 3차원적인 움직임의 상대량을 알았다. 공정 3에서는 이 상대량으로부터 각 부위의 깊이 정보를 도출한다. 이 공정에서는 설명을 위해서 피사체는 정지해 있고, 그것을 촬영하는 카메라쪽이 움직이는 것으로 가정한다. 영상 처리시에는 피사체와 카메라의 상대 운동이 문제로 되기 때문에 이 가정에 의해서 양호한 결과를 얻는다.

영상의 어떤 부위의 움직임을 회전 행렬R과 병진 벡터(a,b,c)에 의해,

로 나타내는 경우, 이것의 역 변환,

[수8]

를 카메라의 움직임이라고 생각한다.

제13도는 카메라의 3차원 이동화 어떤 점 P의 화면상의 이동으로부터 점 P의 3차원 좌표를 도입하는 원리를 설명하는 도면이다. 제13도로부터 알 수 있는 바와 같이, 이 원리는 일반적으로 3각 측량의 원리로서 알려진 것으로써, 위치가 다른 2점으로부터 점 P의 방향을 보았을 때, 점 P의 현실의 위치(제13도중의 점S)는 그들 두 개의 시선의 교점에 존재한다고 하는 것이다.

제13도에서는 시각t 내지 t'사이에 카메라가 화살표로 나타내는 바와 같이 식12에 따라서 이동한 것으로 한다. 프레임 t에서는 점S가 점 Pt에, t'에서는 점Pt'에 각각 투영되고 있다. 점S는 제13도중의 두 개의 직선 Lt, Lt'의 교점에 있다.

여기에서 카메라 방향과 Lt, Lt'가 이루는 각θt, θt'는 이미 알려져 있고, 한편으로 카메라의 이동 방향과 거리가 판명되어 있기 때문에, 점S의 3차원 좌표를 구하는 것이 가능해진다. 이 좌표에 의해 영상 각 부위의 깊이 정보가 판명된다.

여기에서 주의해야 할 것은 전술한 바와 같이 c=1이라고 하는 정규화를 위해, 구해진 좌표도 일정한 비율로 확대 또는 축소되어 있다는 것이다. 그러나 이 경우에도 깊이 정보는 한결같이 확대 압축되기 때문에 깊이의 상호관계는 올바르다.

이상이 이 공정의 개요이지만, 이 공정에서는 전 공정까지의 오차를 고려할 필요가 있다. 오차에 의해, 통상은 상기 Lt, Lt'가 계산상 엇갈리지 않기 때문이다. 이러한 사정을 배려하여, 이 공정에서는 두 직선의 최접근점의 중점의 z좌표를 점S의 깊이값과 근사한다. 이것을 수식으로 설명한다.

상기 Lt, Lt'의 방향 벡터를 각각 (u,v,w), (u',v',w')라고 한다. 여기에서 실수 매개변수α,β에 의해 두 직선은,

으로 표현할 수 있다. 따라서,

[수9]

라고 하고, e를 최소로 하는 α,β를 de/da=0, de/dβ으로 구한다. 즉,

[수10]

를 풀어서 α,β를 구하고, 최종적으로 점S의 깊이값을,

[수11]

라고 하면 된다. 여기에서 비록 오차가 0이었다고 하면, 이 좌표는 두 직선의 교점의 z좌표에 일치한다.

또는 다른 방법으로서, 이들 두 직선을 일단 프레임 t의 화상에 투시 투영하고, 투영 후의 최근접점의 z좌표를 구할 수 있다. 여기에서 Lt는 대표점인 한점에 투영되고, 한편으로 Lt'는 일반적으로 직선으로 투영된다. Lt'가 식13으로 표기되게 되면, 투영 후의 각 점의 x,y좌표는 Lt, Lt'상의 각 점의 그것들을 그 z좌표로 나눔으로써,

라고 쓸 수 있다. 여기에서 f는 시점으로부터 프레임 t의 화소까지의 거리로써, 실제로는 f=1등으로서 취급하면 된다. 식14,15로부터 β를 소거하면, 투영 후의 직선(이하, Li라고 한다)이 이하와 같이 구해진다.

다만 여기에서,

라고 두고 있다.

구해야 할 최근접점은 대표점 Pt로부터 Li로 내린 수직선과Li의 교점(이하,D라고 한다)이며, 그 좌표는,

로 된다. 여기에서 점T에 대응하는 것의 Lt'상의 점을 E(x'',y'',z'')로 하면, 점E는 식16을 식14에 대입해서 β를 구하고, 이것을 Lt'의 식에 대입함으로써 구해진다. 여기에서 β는,

이기 때문에, 이것을 식13에 대입하고, 점E의 z좌표z''는,

라고 구해진다. 이것을 점S의 깊이값으로 하면 된다.

또, 화상 처리시의 오차에 의해서 상기 깊이가 부(負)의 값으로 되는 경우(점S가 카메라 후방에 존재하게 되는 경우), 이 계산 결과는 신뢰할 수 없다. 이때는 정(正)의 깊이값을 갖는 근방의 대표점으로부터 보간하는 등의 처리를 행한다.

이상, 어느 것을 취하는 가는 별개로 하고, 구해진 영상 각 부위의 깊이는 예컨대 대표점마다 수치로서 부여하면 된다. 제14도는 프레임 t에 있어서 각 대표점에 수치가 부여된 상태를 도시하는 도면으로써, 예컨대 Pt(2,3), Pt(4,3) 각각의 깊이는 100, 200으로 되며, 후자의 실제 위치는 전자보다도 2배 떨어진 곳에 있다는 것을 알 수 있다.

[공정 4] 화상의 생성

공정 3에서 구해진 깊이 정보에 따라서 시차를 결정하고, 좌우 화상을 생성한다. 이때, 깊이가 클수록 시차를 작게 한다.

제15도는 깊이 정보에 따라서 시차를 부여하는 모양을 도시하는 도면이다. 제15도에서는 피사체와 카메라를 포함하는 시스템 전체를 위에서부터 보고 있다. 여기에서 카메라에 의해서 촬영된 영상 화면에 제14도에서 예시한 Pt(2,3), Pt(4,3)을 취하면, 그들의 실제 위치(제14도에서는 각각 St(2,3), St(4,3)이라고 한다)는 카메라로부터 1:2의 거리에 있다.

그래서, 이 공정에서는 우선 L스케일링과 R스케일링을 도면의 위치에 둔다. 다음에 사람의 좌우 양 눈에 대응하는 L시점, R시점을 설정하고, 이들 각 시점으로부터 St(2,3), St(4,3)을 보고, 상기 L, R스케일링으로 투영한다. 이 작업을 모든 대표점에 대해서 행하고, 최종적으로 L, R스케일링으로 얻어진 화상을 각각 왼쪽 눈용, 오른쪽 눈용 화상으로 한다. 이상이 이 공정의 개요이며, 이렇게 해서 얻어진 양 눈용 화상을 예컨대 일본 특허 공개 평성 제3-65943호에 기재된 렌티큘러(lenticular)방식의 디스플레이에 표시하면 양호한 입체시가 실현된다.

이 실시 형태에서는 소기의 영역을 잘라낸 다음에 입체 표시를 행해도 된다. 예컨대 깊이 5미터의 위치에 「사람」이 있고, 배경에 「산」이 있는 영상의 경우, 「깊이 10미터 이내」라고 하는 조건을 부여하여 화상 처리를 행함으로써 「사람」의 영역만을 잘라낼 수 있다. 거기에서 「사람」의 영역만에 대해서 좌우 화상을 생성하고, 그외의 영역을 공백으로 하며, 미리 준비한 다른 영상을 붙일 수 있다. 본 발명은 이러한 화상 인식ㆍ가공 기술도 부여한다.

이 공정과 이제까지의 공정의 차이 중 한가지로, 사용하는 영상 프레임의 수가 있다. 이제까지의 공정에서는 적어도 두 개의 영상 프레임으로부터 필요 정보를 추출했지만, 이 공정에서는 한 개의 영상 프레임으로부터 좌우 화상을 생성할 수 있다. 제16도는 프레임 t를 기준으로서 생성된 좌우 화상을 도시하는 도면으로써, 프레임 t의 영상 각 부위 「나무」,「집」,「사람」은 이 순서대로 깊이가 작아진다. 가장 가까운 「사람」에는,

1. 오른쪽 눈 화상에 있어서 가장 왼쪽으로 변위한다

2. 왼쪽 눈 화상에 있어서 가장 오른쪽으로 변위한다

고 하는 특징이 있다. 1.은 원래의 프레임 t의 실제 풍경을 약간 오른쪽으로 이동해 본 상태, 2.는 그 반대로 생각하면 된다. 이 결과, 「사람」의 깊이는 작아지고, 가까운 거리로 지각된다. 동 도면에서는 각 부위의 변위가 메쉬 격자점의 이동에 의해서 표현되어 있고, 「사람」,「집」,「나무」의 순서대로 변위(시차)가 작아진다.

프레임 t에서부터 화상을 생성하는 경우, 제16도에서 메쉬 분할된 영역을 변형시키게 되지만, 이 영역 변환시 조건에 따라서 이하와 같이 선형 또는 비선형 변환을 잘 분간해서 사용할 필요가 있다.

1. 비선형 변환

제16도로부터 이해되는 바와 같이, 영역의 어느 정도는 사다리꼴형(받침형)으로 변환되어야 하지만, 어핀(affine)변환 등의 통상의 선형 변환으로 이를 실현할 수는 없다. 거기에서 영역의 4정점에 대한 변환을 행할 경우에는 투시 변환 등의 비선형 변환을 이용한다.

2. 선형 변환

영역을 두 개의 삼각형으로 분할하면, 그 3정점에 대해서 어핀 변환 등의 선형 변환을 채용할 수 있다.

이상의 변환에 의하면, 화상 각 부위가 수평 방향으로 변위하는 결과, 화상의 틀부에 요철이 발생한다. 예를 들면, 제16도에 있어서 좌우 화상이 함께 화상 안쪽으로 변위하고 있는 개소가 해당된다. 이 공정에서는 이러한 개소에 화소를 추가해서 요철을 수정하고, 화상 영역의 형상(이 경우는 사각형)을 그대로 유지하는 것으로 한다.

부족 화소의 깊이는, 예를 들면 그 근방 화소의 깊이를 보간하는 등의 방법에 의해서 구할 수 있다. 그렇게 하여 추가된 화소는 양 눈 중 한쪽으로만 보게 되지만, 이것은 사람이 실제로 창으로부터 밖을 보는 경우에도 창틀 부근에서 발생하는 현상이며, 부자연스럽지는 않다. 또 당연하지만, 단차에 의해서 부족한 화소를 추가하는 이외에, 단차에 의해서 바깥쪽으로 밀려나온 잉여 화소를 삭제해서 형상을 유지해도 된다. 또 다른 방법으로서, 화상 주변을 전체적으로 어떤 폭으로 잘라내도 된다. 어느 쪽이든 이러한 처리에 의해서 부자연스런 표시를 회피할 수 있다.

이상, 본 공정에서는 깊이에 따라서 시차를 결정했지만, 이하의 이유 때문에 이단 결정된 시차에 대해서 조절 가능한 구성으로 하는 것이 바람직하다.

1. 안구 피로의 고려

상기의 예로 말하면, 가장 가까운「사람」이더라도 그 깊이가 극단적으로 작은 것은 바람직하지 않다. 화면보다도 상이 극단적으로 앞에 맺히면 눈이 피로해지기 쉽다는 것이 알려져 있기 때문이다. 다른 보고(닛케이(日經)일렉트로닉스 1988년 4월 4일호 211쪽에 기재)에 의하면, 눈으로부터 50cm의 거리에 디스플레이를 설치했을 때, 화상 각 부위의 깊이가 0.2 내지 2m 정도의 범위에 있는 것이 바람직하게 된다.

2. 개인차의 고려

시차의 넓이를 크게 취한 화상(가까운 물건)은 보다 앞쪽으로, 먼 물건은 보다 멀리 보이는 화상을 좋아하는 사람도 있지만, 그 반대도 있다.

3. 처리 능력의 고려

예를 들면, 산 등 원경을 구성하는 영역을 모두 일정한 깊이로서 화상을 생성하면 처리해야 할 데이터량이 줄어든다.

이상의 이유 때문에, 본 공정에서는 필요에 따라서 이하의 깊이 변환 또는 시차 변환 기능을 채용한다.

1. 깊이 변환 기능

깊이를 직접 선형 또는 비선형 변환한다. 변환의 대상은 깊이이며, 여기에서 시차는 결과적으로 변경되게 된다. 예컨대 깊이가 a 내지 10a(a는 임의)의 사이를 취하는 영상에 대해서는 이를 한결같이 10배 하여, 10a 내지 100a로 할 수 있다. 이는 깊이가 전체적으로 너무 작은 경우에 유효한 조치이다.

또 다른 예로서, 깊이가 0 내지 100a일 때, 이를 임의의 점, 예컨대 50a를 중심으로 하여 25a 내지 75a로 압축 변환해도 된다. 또 다른 예로서, 20a이하의 깊이는 모두 20a로, 한편으로 1000a 이상은 모두 1000a로 변환하는 방법도 생각된다. 다만 이 경우, 상하한값인 1000a 및 20a에 있어서 변환 결과가 불연속으로 되기 때문에, 영상에 의해서는 다소 부자연스런 표시로 된다. 이 상태를 해결하는 방법으로서는 상기 상하한값에 순조롭게 수속하도록 한 비선형 변환, 이 경우라면 원래의 깊이를 z로 하여,

단,

와 같은 변환을 행하면 좋다.

2. 시차 변환 기능

시차를 선형 또는 비선형 변환한다. 깊이로부터 일단 시차를 도출하고, 이 시차에 대해서 변환을 가해, 이를 다시 깊이로 되돌리는 방법이다.

제17도는 시차를 비선형 변환하는 모양을 도시하고 있다. 제17도의 중심선 L상에 대상이 되는 점S를 취하고, 한편으로 시점A에서부터 L로 내리는 수선의 다리를 점B로 한다. 이때, 점S의 깊이는 선분 SB, 점S의 시차θ(엄밀하게 정의에 따르면 시차의 1/2)는 도면과 같이 부여된다.

여기에서, 일예로서 시차를 1/2배로 한결같이 압축하는 것을 생각한다. 즉,

이 되는 점S'가 변환 후의 점이며, 이 깊이는 선분S'B에 의해서 부여된다. 이 변환에 관한 일련의 처리를 보다 수학적으로 설명하면, 우선 깊이SB로부터 θ를,

에 의해서 구하고, S'B를,

에 의해서 구하며, 이 S'B를 변환 후의 깊이로서 이용하면 된다. 이 변환은 깊이의 단순한 선형 변환으로도, 먼 점은 보다 멀리, 가까운 점은 보다 가깝게 변환되기 때문에, 깊이감의 조절 효과가 크다. 또 식17은 단순한 선형 압축식이지만, θ→θ'에 대해서도 1.에서 나타낸 각종 비선형 변환을 시행할 수 있다.

이상이 공정 4의 개요이다. 이상, 실시 형태 1에 의하면, 기존 영상의 조합이 아니라, 화상을 깊이 정보에 따라서 새로 생성한다. 이때, 시간차 방식의 전제조건인 피사체의 수평 방향의 움직임은 필요없기 때문에, 본 발명의 적용 범위는 넓다. 또, 대표점에 대한 대응점의 검출 방법을 개시했지만, 깊이 정보의 자동 추출, 화상의 자동 생성을 용이하게 또한 효과적으로 행할 수 있다.

실시예 2.

실시예 2에서는 실시예 1의 실시에 최적한 장치를 설명한다.

제18도는 실시예 1을 실시하기 위한 하드웨어 구성예를 도시하는 도면이다.

제18도에 있어서, 처리 대상이 되는 영상은 영상 입력 회로(20)에서부터 입력되고, 여기에서 A/D 변환을 받는다. 변환 후의 영상은 프레임 메모리 제어 회로(22)에 의해서 프레임 메모리(24)에 격납된다. 프레임 메모리(24)의 후단에는 복수의 영상 프레임을 판독하여 대응점을 검출하는 대응점 검출 회로(26)가 설치되어 있다. 이 회로는 실시예 1의 공정 1을 하드웨어적으로 실시하는 것으로써, 블록 정합에는 예컨대 MPEG의 부호화 회로를 채용할 수 있다.

대응점 검출 회로(26)에 있어서 검출된 대응점의 좌표는 일단 대응점 좌표 메모리(28)에 격납되고, 움직임 검출 회로(30)에 의해서 적당히 판독된다. 움직임 검출 회로(30)는 실시 형태 1의 공정 2, 3을 실시하는 것으로써, 병진ㆍ회전 운동으로부터 피사체의 3차원 상대 위치를 산출한다.

이어서 3차원 위치 정보는 화상 생성 회로(32)로 입력된다. 이 회로는 프레임 메모리(24)로부터 생성의 원 영상을 판독하고, 소정의 시차를 부여하여 좌우 화상을 생성한다. 화상 생성 회로(32)의 전단에는 외부로부터 각종 지시를 받아들이는 지시 입력부(34)가 설치되어 있다.

이렇게 해서 화상 생성 회로(32)에 의해서 생성된 좌우 화상은 화상 출력 회로(36)에 의한 D/A변환을 받고, 도시하지 않은 디스플레이 장치로 출력된다.

이상의 구성에 의한 본 장치의 동작을 설명한다.

우선, 카메라에 의해서 촬영된 영상 또는 텔레비젼 재생 장치에 의해서 재생된 영상 등이 영상 입력 회로(20)로부터 입력된다. 이 영상은 프레임 메모리(24)에 격납되지만, 이 장치에 있어서 3차원 표시가 아닌 통상의 표시를 행하는 경우에는 프레임 메모리(24)에 격납된 영상을 순차적으로 판독해서 디스플레이에 표시하던가, 또는 입력된 영상을 그대로 디스플레이에 표시하는 것에 대응한다. 3차원 표시를 행하는 경우는 프레임 메모리(24)로부터 판독된 복수의 영상 프레임에 대해 대응점 검출 회로(26), 움직임 검출 회로(30)에 의해서 피사체의 깊이 정보가 획득된다. 이어서 화상 생성 회로(32)가 이 깊이 정보에 따라서 좌우 화상을 생성한다.

이상이 본 장치의 개요이다. 또, 전술의 지시 입력부(34)의 구성과 기능은 이하와 같이 실현할 수 있다.

1. 지시 입력부(34)가 조절 분량인 경우

사용자의 기호에 따라서 생성된 화상의 깊이감(感)을 조절한다. 이 분량에 의해서 깊이를 압축 또는 확대하고, 깊이감을 가변하게 한다. 깊이감을 최소로 설정했을 경우에 통상의 2차원 표시로 돌아가도록, 미리 분량의 회전량을 조정해 두는 방법도 있다.

2. 지시 입력부(34)가 포인팅 디바이스인 경우

(1) 깊이감의 조절을 화상 전체가 아니라, 화상 각 영역마다 행한다. 예컨대 제16도에 있어서 「사람」을 보다 가까운 위치에 표시하고 싶을 경우, 마우스 등의 포인팅 디바이스로 「사람」을 클릭한다. 이 결과, 화상 생성 회로(32)는 「사람」의 깊이 정보를 내부에서 변환하고, 시차를 크게 해서 강조 표시할 수 있다. 이때, 깊이감의 변경에 따라서 그 영역의 표시 면적을 변경하면 더 효과적이다. 보다 구체적으로는 깊이를 1/2배 하면 그 영역의 면적을 4배 하는 등의 방법이 있다.

(2) 시점 변경 영상을 얻을 수 있다. 영상의 촬영 시점을 마우스 등으로 클릭해서 지시하면, 깊이 정보를 이용할 수 있기 때문에, 시점의 변경에 수반하여 발생해야 할 영상 각 부위의 병진ㆍ회전 운동을 역산할 수 있다. 이 때문에, 시점 변경 후에 보아야 할 영상을 재구축하는 것이 가능해진다. 예컨대 제16도에 있어서, 카메라가 설치되는 높이를 바꾼 경우, 카메라를 전진, 후진시킨 경우의 영상을 생성하는 것이 가능하게 된다. 이 때 재구축된 영상에 대해 영상 각 부위의 깊이 정보를 재계산하고, 새로운 깊이 정보로부터 시차를 보정하면, 3차원 표시도 양호하게 유지된다. 또, 시점 변경 영상에 대해서는 실시 형태 5에서 상술한다.

이상, 본 장치는 워크스테이션에 조립해서 실험한 결과를 도면에 의해서 설명한다.

제19도 내지 제26도는 본 장치에 의한 화상 생성의 과정을 도시하는 것으로써, 어느 디스플레이 상에 표시된 중간조 화상의 사진이며, 약 640×480 화소 영역으로 구성되어 있다.

제19도와 제20도는 각각 프레임 t와 프레임 t'의 영상으로써, 카메라의 이동에 의해서 다소 영상에 움직임이 있다. 제21도는 프레임 t를 메쉬 분할해서 대표점을 설정한 상태를 도시하고, 제22도는 프레임 t'에서의 대응점의 초기 위치를 도시하고 있다. 여기에서는 특징점을 우선적으로 취급하고, 대표점을 중심으로 하는 16×16화소의 영역으로 블록 정합을 행한 결과의 최우량점을 초기 위치라고 하였다.

제23도는 실시예 1의 식3, 즉 대응점의 위치 관계도 고려해서 대응점 위치를 개선한 결과를 도시하는 도면으로써, 제22도에 비해서 위치의 대폭적인 개선이 보여진다.

제24도는 획득된 깊이 정보를 농담으로 표현한 것으로써, 얇은 화소일수록 깊이가 작다. 제24도로부터 이해되는 바와 같이, 깊이 정보가 꽤 정확히 얻어지고 있다.

제25도와 제26도는 각각, 깊이 정보에 따라서 생성된 좌우 화상이다. 이들도면으로부터 이해되는 바와 같이, 앞쪽의 물건일수록 시차가 커지고, 부여되는 수평 변위도 커지고 있다.

이상, 본 장치에 의하면 실시예 1의 방법을 원활히 수행할 수 있다. 이때, 특히 블록 정합의 소프트웨어에 의한 실행 시간을 고려하면, 여기를 하드웨어로 행하는 것에 의한 처리 속도의 개선 효과는 크다.

본 장치를 제품으로 하는 경우의 태양으로서는 예컨대 개인용 컴퓨터나 워크스테이션에 제18도의 구성을 가지는 애드 온카드를 탑재하는 방법, 텔레비젼 수신 장치나 비디오 재생 장치에 제18도의 구성을 미리 내장하는 방법 등이 유효하다. 본 장치를 카메라와 조합시킨 경우, 예컨대 물건의 주변을 일주해서 영상을 잡아들이고, 이것으로부터 3차원 표시 카탈로그를 작성하는 등의 응용도 있다. 이 방법에 의하면, 종래에 필요했던 레이저, 적외선, 초음파 등에 의한 깊이의 측정이 불필요해진다.

실시예 3.

실시예 1, 2에서는 입력 영상이 한 눈 카메라에 의해서 촬영되는 것이라고 하였다. 여기에서는 다안 카메라에 의한 스테레오 영상을 입력 영상이라고 하는 경우의 3차원 표시 화면 생성 방법을 실시 형태 1과의 상위점을 중심으로 설명한다.

제27도는 실시예 3에 의해서 3차원 표시 화상을 생성하기 위한 주된 공정을 도시한다. 제27도와 실시예 1의 제 4도의 주된 차이는 이하와 같다.

1. 공정 1의 「움직임 정보」가 「변위 정보」로 변경된다

실시예 1에서는 상이 시각 프레임을 취급했지만, 실시예 3에서는 기본적으로동시각 프레임을 취급한다. 동시각의 경우, 피사체에 움직임을 정의하는 것은 불가능하기 때문에, 대신에 동시각 프레임 간의 피사체의 위치 어긋남(변위)의 정보를 추출한다.

2. 공정 2가 불필요해진다.

제4도의 공정 2 「3차원 움직임 정보의 산출」에 대응하는 단계가 없다. 다안의 경우, 처음부터 제13도의 상태로 촬영이 되기 때문에, 3각측량의 원리에 의해서 직접 깊이 정보를 획득할 수 있기 때문이다.

또, 복수 카메라의 상대 위치 관계에 차질이 발생할 수 있는 다안 카메라 시스템을 이용하는 경우, 이 차질을 보정하는 자가 보정(self calibration)을 행한 편이 낳다. 이 경우, 공정 2는 자가보정 공정이 된다. 자가보정 기법에 대해서는 예컨대 후쿠다(福田), 다카하시(高橋)「스테레오 카메라의 자가 보정」(정보 처리 Vol. 31, No. 5 (1990) 650 내지 659쪽), 일본 특허 공개 번호 제02-138671호 공보, 일본 특허 공개 번호 제02-138672호 공보 등에 나타나 있다.

이하, 실시예 3의 공정 1 내지 3을 설명한다.

[공정 1] 2차원 변위 정보의 추출

실시예 1의 설명에 있어서, 「움직임」을 「변위」로 치환하는 이외에, 프레임 t, t'의 세트를 프레임1, 2로 치환하면 된다. 프레임1, 2는 각각 카메라(1, 2)로부터 촬영된 영상을 가리키고, 촬영 시각은 t로 고정한다. 실시예 3에서는 최저 이들 두개의 프레임만으로부터 최종 화상을 얻을 수 있다. 즉, 다안 촬영의 경우에는 입력은 정지 화상이어도 된다. 그 외에, 실시예 1의 공정 1과의 다른 점은 이하와 같다.

(1) 실시예 1의 S11(대응점 후보 영역의 설정)에서는 영상의 움직임의 격함 또는 각 부위의 이동 궤적에 기초를 두고, 상이 시각 프레임의 선택 또는 대응점 후보 영역을 좁혀 대응점 검출 처리의 계산량 삭감을 행하였다. 실시예 3에서는 좁혀가는 방법을 이하와 같이 변경하고, 마찬가지로 유효하게 계산량 삭감을 실현한다.

우선, 통상대로 다안 카메라가 수평으로 설치된다고 가정한다. 이때, 대응점의 y좌표(상하 방향의 좌표)는 거의 동등해진다. 이 가정과 화상 처리에 따른 오차 및 카메라의 설치 오차를 고려하고, 대응점 후보 영역을 횡길이의 띠형(帶狀)영역에 한정한다. 더욱이, 프레임 t'(t'=t-1)에 있어서 대응하는 대표점 위치의 차가 x라면, 프레임 t에서의 대응점 탐색 영역도, 역시 차가 x로 되는 근방에 한정할 수 있다.

(2) 실시예 1의 S12(대응점 후보 영역에서의 비유사도의 계산)에서는 영상의 움직임이 너무 완만한 경우에 통계 처리를 도입했지만, 실시예 3에서는 이 작업도 불필요하다.

(3) 실시예 1의 S12와 마찬가지로, 실시예 3에서도 대응점의 위치를 결정해야 하는 블록 정합을 행하지만, 여기에서는 바이어스된 블록 정합을 채용한 편이 좋을 경우가 있다. 바이어스된 블록 정합은 다안 카메라를 구성하는 각 카메라가 다른 특성을 갖을 경우 유효하게 기능한다. 예컨대, 카메라(2)가 카메라(1)보다도 푸르스름한 영상을 송출한다고 하면, 프레임2의 색 농도로부터 청색(B)의 성분을일정량 제거한 후(즉, 색 편향 정수 α_B를 뽑은 후), 블록 정합을 행할 수 있다. 이러한 처리를 행하지 않을 경우, E1과 E2를 가산하는 식3의 의미가 유실될 우려가 있다. 실제로는 예컨대 RGB로 색 농도를 표현하는 경우, 상기 청색(B)뿐만 아니라, 적색(R)과 녹색(G)에 대해서도 각각 색편향 정수 α_R, α_G를 빼야 한다. 바이어스된 블록 정합은 영상의 유사성을 수치화하기 위해, 2개의 카메라의 특성을 일치시키는 캐리브레이션 작용을 취한다. 바이어스된 블록 정합은 영상의 유사성과 상대 위치의 타당성을 동일 스텝에서 평가하는 적절함을 보증한다.

제7도 및 식1을 기초로 하여, 바이어스된 블록 정합을 식으로 설명한다. 여기에서는 실시예 1에서 사용한 Pt(i,j)를 프레임1, 2에 대응하여 간단히 P1, P2로 표기하고, It(i, j)도 마찬가지로 I1, I2라고 표기한다. 이때, 식1은,

[수12]

로 간단하게 된다. 이 식이 농담 화상의 경우의 통상의 블록 정합을 표현한다.

한편, 바이어스된 블록 정합에서는 식18을,

[수13]

로 하면 된다. 카메라 화상의 경우, α는 α_R, α_G또는 α_B이며, RGB 각각의 화상에 있어서 구한 E1의 합, 즉 E1_R+E1_G+E1_B로 정합을 행한다. 더욱이 보기에 용이함을 고려해서 I1(P1x+u, P1y+v)를 간단히 I1, I2(P2x+u, P2y+v)를 간단히 I2라고 표현하면, 식19는,

으로 된다. I1, I2는 u, v의 함수이지만, α는 정수이다.

α의 최적값을 고려한다. 카메라(1, 2)는 같은 피사체를 촬영하고 있기 때문에, 프레임1, 2의 영상은, 영상 각 부위의 변위는 별개로 하고, 거의 마찬가지의 내용을 포함한다. 즉, 카메라의 특성이 가까워질수록 식20의 E1 값은 작아진다. 이 사실로부터 역으로 α는 E1을 최소로 하는 값으로 해야 하는 것을 알 수 있다. 식20은,

[수14]

영역의 총 화소수를 N이라고 가정하면, ∑∑1 = N이기 때문에, 식21은,

[수15]

로 된다. 따라서,

이기 때문에,

일 때, E1은 최소로 된다. 이 α는 블록 정합의 대상으로 되는 두 개의 영역간의 각 화소의 색 농도차의 평균값으로 환언된다. 식23을 식22에 대입해서 계산하면,

[수16]

로 되기 때문에, 결국 바이어스된 블록 정합에서는 식24를 계산하면 된다. 식24의 채용에 의해 비록 카메라(1과 2)가 완전히 같은 피사체를 찍고 있다고 하면, E1은 거의 0이 된다. 한편, 이때 식2로부터 E2도 거의 0이 되기 때문에, 바이어스된 블록 정합은 영상 유사성의 판단과, 상대 위치의 타당성 판단의 원점을 일치시키는 효과가 있다. 이하, 실시예 1과 마찬가지의 처리를 거쳐서 가장 양호한 블록 정합을 탐색하면 된다.

여기에서는 당연하지만, HVC등 RGB 농도 이외의 색 공간에 의한 농도를 채용해도 된다. 2승 오차 대신에 1승 오차, 즉 잔차(殘差)에 기초하여 블록 정합을 행해도 된다. 또, 식23에서 부여되는 보정값α의 값이 어떤 범위를 초과한 경우, 바이어스된 블록 정합을 중지해도 된다. 카메라(1, 2)는 같은 피사체를 찍고 있어도 찍는 각도가 다르기 때문에, 비록 이들 카메라의 특성이 완전히 같다고 하더라도, 당연히 촬영된 영상에는 어느 정도의 차이가 있다. 이것을 모두 보정해 버리면, 불필요하게 E1의 값이 작아지고, 올바른 평가를 할 수 없는 경우도 있을 수 있다.

또, 바이어스된 블록 정합을 중지한 경우, 통상의 블록 정합에 의한 평가치를 영상 유사성의 평가치로 해도 좋지만, 보정이 허락되는 범위의 상한 값(이것을 T라 한다)분만큼 보정한 후의 값을 영상 유사성의 평가치로 해도 좋다. 그 경우의평가치는 이하의 식으로 계산된다.

단,

(4) 실시예 1의 S13(대응점의 초기 위치의 결정)에서는 특징점으로서 상이 시각 프레임 t, t', ㆍㆍㆍ에 있어서 위치가 안정적으로 변화하고 있는 점을 선택했지만, 여기에서는 선정 기준을 가중한다.

제28도는 실시예 3에서 도입되는 특징점의 선정 기준을 도시하는 도면이다. 제28도에 있어서, F10 내지 F12의 3장이 카메라(1)에 의해서 촬영된 상이 시각 프레임, F20 내지 F22의 3장이 카메라(2)에 의해서 촬영된 상이 시각 프레임이다. 각각 좌우 두개의 세트가 동시각 프레임을 나타낸다. 여기에서는 어떤 점 P에 주목하고, 점 P의 위치의 상이 시각 프레임 간의 움직임을 벡터 An으로, 점 P의 동시 각 프레임 간의 변위를 벡터 Bn(n:자연수)로 각각 표현하고 있다.

이상의 설정하에서, 실시예 3에서는 다음의 기준을 만족하는 점을 특징점으로서 선정한다.

(a) 벡터Bn이 거의 일정하던가, 거의 일정 변화한다.

혹은, 이외에,

(b) 벡터An이 거의 일정하던가, 거의 일정 변화한다

의 기준도 추가하고, (a), (b)를 기초로 만족하는 점을 특징점으로서 선정해도 된다.

(b)는 실시예 1에서 도입한 조건에 상당한다. 이미 서술한 바와 같이, 다안 촬영에서는 동시각 프레임만으로부터 깊이 정보를 구할 수 있다. 그러나 그 전제가 되는 영상 사이의 대응 관계의 정확한 파악은 이것과는 다른 문제이고, 상이 시각 프레임 간의 정보도 적극적으로 이용해야 한다. 상기 두 조건을 동시에 만족하는 점은 상당히 정확하게 추적되고 있다고 생각되기 때문에, 2차원 변위 정보의 추출에 대해서 중요한 실마리를 부여한다. 다만, 입력이 정지 영상인 경우는 공지의 동적 계획법(dynamic programming)에 의해서 대응점을 구할 수 있다.

[공정 2] 깊이 정보의 획득

공정 1에서 구한 영상 각 부위의 변위로부터 각 부위의 깊이 정보를 도출한다. 다안인 경우, 어떤 시각 t에서 제13도의 상태가 실현되므로, 이하, 실시예 1의 공정 3의 방법에 의해서 깊이 정보를 획득하면 된다.

여기에서 주의해야 할 것은 촬영 카메라의 위치 관계가 고정이기 때문에, 이 관계 및 카메라의 배율(초점 거리)을 이미 알고 있으면, 실시예 1에서 결정되지 않게 된 스케일 인자 c도 포함해서 실시예 3에서는 올바른 깊이 정보가 구해진다.

[공정 3] 화상의 생성

실시예 1의 공정 4(화상의 생성)과 동등한 처리를 행하면 된다.

이상이 실시예 3의 개요이다. 실시예 3의 경우, 입력이 스테레오 영상, 출력이 3차원 표시 화상이다. 따라서 입력 영상의 충실한 재현이 가능해지는 이외에, 실시예 1에서 설명한 강조 표시 등의 처리를 시행함으로써 소기의 화상을 생성할수 있다.

실시예 4.

실시예 2에서는 마우스 클릭에 의해서 시점 변경 영상을 얻는 기술을 설명했다. 여기에서는 다른 목적에 의해서 시점 변경 영상을 생성하고, 이것을 다른 용도로 이용하는 예를 설명한다.

전술한 바와 같이, 본 발명에 의하면, 실제로 카메라의 위치를 이동하지 않더라도, 다른 시점으로부터의 영상을 얻을 수 있지만, 이 경우, 당연하지만 시점의 가상적인 이동 거리가 짧은 편이 정확한 화상을 얻을 수 있다. 이 사실을 이용해서 실시예 4에서는 다음의 용도를 고려한다.

1. 두 눈 영상으로부터 다시점(多視点) 영상의 생성

두 눈 카메라에 의해서 스테레오 영상이 얻어지고 있을 때, 가상적으로 제3 카메라를 설치해서 다시점 영상을 생성한다. 두 눈 카메라의 간격은 일반적으로 작기 때문에, 예컨대 이들과 함께 작은 삼각형을 이루는 점을 시점으로 하는 시점 변경 영상을 생성한다. 이 영상은 비교적 정확하며, 원래의 두 눈 카메라에 의한 영상과 일치되는 것으로써 양호한 다시점 영상을 형성할 수 있다. 이후, 깊이 정보를 가미함으로써 다시점 중 임의의 시점으로부터 3차원 표시 화상을 생성할 수 있다.

2. 느린 동작(slow motion)영상의 생성

예컨대 시간적으로 가장 가까운 두개의 상이 시각 프레임을 프레임 t, t'라 한다. 이들 프레임을 촬영한 시점을 각각 시점 t, t'이라 한다. 시점은 프레임 t, t'사이에 시점 t에서 시점 t'로 실제로 이동하고 있지만, 이 사이의 영상은 존재하지 않는다. 그래서, 시점 t, t'사이에 가상적인 시점을 설치하고, 시점 변경 영상을 생성한다. 시점 변경 영상을 다수 설치해서 순차적으로 표시하면, 느린 동작 영상이 얻어진다. 이때, 다음의 효과가 있다.

a. 본래부터 프레임 보내기(frame feed)적인 영상으로 되어야 할 영상의 매우 원활하게 된다

b. 시간적으로 가까운 프레임 사이에서는 일반적으로 시점의 이동이 적기 때문에, 상당히 양호한 영상이 얻어진다

c. 시점 t, t'사이의 시점의 이동 경로를 변화시키면, 다른 이미지의 느린 동작 영상이 얻어진다.

이 사이에도, 깊이 정보를 가미함으로써 원활한 3차원 표시 화상을 생성하는 것이 가능해진다. 또 이 기술은 당연하지만 동시각 프레임 간에 적용할 수 있다.

실시예 5.

실시예 5를 설명한다. 실시예 5는 실시예 1과 거의 마찬가지의 처리를 거치지만, 최종적으로 통상의 2차원 화상을 출력하는 점에서 다르다. 실시예 5는 깊이 정보를 이용한 이하의 화상 처리를 행하는 것을 목적으로 한다.

1. 시점 변경

시점을 가상적으로 변경했을 때, 영상은 반드시 변화한다. 본 발명은 현실의 카메라 위치를 고정한대로, 시점 변경 영상을 자동 생성한다.

2. 화상의 일부 확대ㆍ축소

화상 처리에 있어서 화상의 일부 확대ㆍ축소는 자주 행해지지만, 본 발명은깊이 정보를 이용함으로써 가장 자연적이고 효과적인 화상을 자동 생성한다.

3. 화상 영역의 절취(잘라냄)

소망의 화상 영역을 절취할 때, 전제로서 화상 영역의 인식이 필요해진다. 화상 영역의 인식에는 클러스터링 기법 등 몇가지 기술이 제안되어 있지만, 대성공에 이르지 못한다. 본 발명은 깊이 정보라고 하는 전혀 다른 관점에서, 높은 정밀도로 영역의 절취를 행한다.

본 실시예에서도, 깊이 정보의 도출까지는 실시예 1과 같이 처리하기 때문에, 이하, 실시예 1과 다른 공정 4(화상 생성)만을 설명한다.

[공정 4] 화상 생성

공정 3에서 구해진 깊이 정보에 따라서 소기의 화상을 생성한다. 이제까지의 공정에서는 적어도 두개의 영상 프레임으로부터 필요 정보를 추출했지만, 이 공정에서는 한 개의 영상 프레임을 기초로 소기의 화상을 얻을 수 있다.

(1) 시점 변경 영상

제29도, 제30도는 원래의 영상과 시점 변경 영상의 대응 관계를 도시하는 도면이다. 제29도에는 원래의 영상이 도시되고, 이 영상은 깊이가 작은 순서대로 「나무」, 「집」, 「사람」의 영상 영역을 포함하고 있다. 한편, 제30도에는 시점 변경 영상이 도시되어 있다. 여기에서는 시점을 가상적으로 좌우로 이동한 경우를 예로 하고 있다.

이들 도면으로부터 이해되는 바와 같이, 본 발명에 의하면, 실제로 카메라의 위치를 이동하지 않고서도, 다른 시점으로부터의 영상을 얻을 수 있다. 공정 3에의해 영상 각 부위에 대해서 깊이 정보를 포함하는 3차원 위치 좌표가 파악되고 있기 때문이다. 여기에서는 시점이 좌우로 이동한다고 가정했지만, 이것은 피사체가 왼쪽 아래로 이동한다고 생각하는 것과 등가이다. 이 왼쪽 아래로의 이동은 공정3에서 설명한 바와 같이, 회전과 병진에 의해서 표현할 수 있다. 그래서, 본 실시형태의 공정 1 내지 3을 역방향으로 더듬어 감으로써 이 가상적인 3차원 이동으로부터 화상 위의 3차원 이동을 거꾸로 계산하는 것이 가능해진다. 이 결과, 제30도에 도시하는 화상이 얻어진다. 공정 1 내지 4의 화상 생성 과정에는 사람이 자의(恣意)를 품을 여지는 없고, 얻어지는 화상은 극히 자연적인 것으로 된다.

본 공정에서는 차폐 관계를 고려해서 화상을 생성하는 것이 바람직하다. 예컨대 제30도의 경우, 시점의 이동에 수반하여 「나무」의 하단이 「집」의 지붕에 은폐된다. 그래서, 「나무」의 하단 부분을 「집」의 화상 데이타로 모두 칠함으로써 자연스러운 화상을 생성한다. 실제의 소프트웨어 처리에서는 깊이가 큰 영상 부위로부터 순서대로 시점 이동 후의 화상을 생성해 가면 된다. 차폐 관계를 계산에 의해서 파악하고 싶을 때는, 새로운 시점에서부터 영상 각 부위를 예상하는 시선 벡터가 일치하는지 아닌지를 판정하면 된다. 시선 벡터가 일치하는 두 개의 부위A, B가 있을 경우, 부위A 쪽이 부위B 쪽보다도 시점에 가까우면, 부위B가 부위A에 의해서 은폐되게 된다. 이 정보에 따라서 화상을 생성해도 된다.

(2) 일부 확대ㆍ축소 화상

화상 표시 기술의 하나로 강조 표시가 있다. 강조 표시의 일예로서 가까운 피사체는 보다 가깝게, 언 피사체는 보다 멀게 고쳐 배치하는 경우가 있다. 화상에강약의 장단을 맞추기 위해서이다.

이러한 요청에 답해야 하는 본 발명에서는 깊이 정보에 기초해서 화상의 일부 확대ㆍ축소를 행한다. 제31도는 제29도의 화상의 일부를 확대해서 생성된 화상을 도시한다. 여기에서는 확대 처리의 대상을 깊이가 작은 영역, 즉 「사람」으로 하고 있다. 이 결과, 관찰자에게 가장 가까운 「사람」이 더 앞쪽으로 지각되고, 효과적인 강조 표시가 가능해진다. 여기에서도 (1)과 마찬가지로, 차폐 관계를 고려하는 것이 바람직하다.

여기에서 주의해야 할 것은, 최소의 깊이를 가지는 영역을 확대하는 한, 원칙으로서 확대율에 제한이 없는 것이다. 그 영역이 논리상 깊이 0인 거리로 지각되어도 되기 때문이다. 한편, 중간의 깊이를 가지는 영역, 예컨대 제31도의 「집」을 확대할 경우, 이것은 「사람」보다도 앞쪽으로 지각되어야 하는 것은 아니기 때문에, 스스로 제한이 생긴다. 이 제한을 지키지 않을 경우, 상당히 부자연스런 화상이 생성된다. 본 발명에서와 같이, 깊이 정보에 기초하여 확대를 행하는 경우, 예컨대 「최소의 깊이를 가지는 영역만을 확대하고, 최대의 깊이를 가지는 영역만을 축소한다」고 하는 규칙을 설정하는 것이 가능해지고, 현실적으로 정합된 자연스러운 화상(자연 법칙에 따른 화상)을 얻을 수 있다.

여기에서는 자연스러운 화상의 생성에 대해서 언급했지만, 반대로 굳이 부자연스런 화상을 만들고 싶다는 요망도 있다. 예컨대 게임의 화상에 있어서 먼 장소에 있는 것을 확대해서 일종의 균형이 안잡힌 느낌을 창출하려는 용도가 생각될 수 있다. 어떻든 본 실시 형태의 특징은 이러한 자연감, 부자연감의 선택을 의식적으로 행할 수 있다는 점에 있다. 종래의 기법에서는 어느 영역을 확대했더니 부자연스런 화상이 얻어졌다고 하는 바와 같은 사태가 잘 발생했지만, 본 실시 형태는 이러한 사태를 해소한다.

또, 본 공정의 결과, 자연스러운 화상을 얻었다고 하고, 이 화상에 대해 상기 (1) 또는 후술 (3)의 처리를 더 시행하는 경우, 우선 확대ㆍ축소한 영역의 깊이를 변경하는 것이 바람직하다. 예컨대, 두배의 길이로 확대한 영역에 대해서는 그 깊이를 약 1/2로 한다. 반대로 1/2의 크기로 확대한 영역은 깊이를 약 두배로 한다. 이것은 영역의 크기와 깊이가 거의 반비례하는 사실에 기인한다. 이 배려에 의해 후단의 처리에 있어서도 자연스러운 화상을 얻을 수 있다.

또한, (1)과 (2)의 화상 처리에 즈음하여, 화상 틀에 드러나는 요철을 수정해서 최종 화상을 생성해도 된다. 예컨대 제29도의 원래의 영상으로부터 제30도의 시점 변경 영상을 생성하는 경우, 일반적으로 제30도에 포함되는 모든 영상 부위와 제29도의 그것들이 완전히 일대일 대응하는 것은 아니다. 제30도의 오른쪽 상단은 제29도의 경우에 비해서, 「집」의 오른쪽 상단으로부터 보다 멀기 때문에, 제30도의 오른쪽 상단 부근의 영상의 원래로 되는 영상은 제29도에 포함되어 있지 않다. 따라서 제29도에 포함되는 영상 정보로부터 단순히 제30도의 영상을 생성하는 경우, 오른쪽 상단 부근이 결여된다. 이 부분이 제30도에 도시하는 이상적인 화상틀로부터 안쪽으로 패인다. 마찬가지의 이유로, 제29도에 포함되는 잉여의 영상 정보는 제30도의 화상 틀로부터 밖으로 밀려 나온다.

그래서, 여기에서는, 요부(凹部)에 화소를 충당하고, 한편 철부(凸部)로부터잉여 화소를 잘라 버림으로써 화상 틀(화상 영역의 외형에서, 여기에서는 사각형)을 원래대로 유지하는 것으로 한다. 충당은 예컨대 근방의 화소와 같은 색의 화소에 의해서 행한다. (2)의 일부 확대ㆍ축소의 경우에도, 각각 요철이 발생한다고 생각되기 때문에, 마찬가지의 처리를 시행한다. 이러한 처리에 의해서 부자연스런 화소틀의 표시를 회피할 수 있다.

(3) 절취(잘라냄)에 의한 화소

소기의 영역을 잘라내어 화상을 생성한다. 예컨대 제29도에 있어서, 「사람」「집」「나무」의 깊이가 각각 3, 10, 20미터라고 한다. 여기에서 반대로, 「사람」만을 잘라내는 경우, 예컨대 「깊이 5미터 이내」라고 하는 조건을 부여해서 각 부위의 깊이를 검색, 판정해 가면 된다. 「집」의 경우에는 「깊이 5 내지 15미터」등으로 한다.

제32도는 제29도의 화상 중, 「집」을 잘라내서 생성된 화상을 도시하고 있다. 소망한 영역을 잘라낸 후에는, 그 이외의 영역을 공백으로 하거나, 다른 영상에 잘라낸 영역을 붙일 수 있다.

이와 같이, 본 발명은 일종의 화상 인식ㆍ가공 기술도 부여한다. 종래, 화상 영역의 절취는 수작업 또는 색에 의한 클러스터링 등의 기법에 의해서 행해졌지만, 본 발명은 깊이 정보라고 하는 새로운 관점으로부터, 상당히 정밀도가 높은 영역 인식 기법을 제공한다.

이상이 실시예 5에 관한 2차원 표시 화면 생성 방법의 설명이다. 본 발명에 의하면, 정확한 깊이 정보의 도출과 그 이용에 의해서 새로운 화상 처리 기술이 개시된다. 일련의 처리는 예컨대 소프트웨어적으로 모두 자동화할 수 있기 때문에, 본 발명의 용도는 광범위하다.

실시예 6.

실시예 6에서는 실시예 5의 실시에 최적한 장치를 설명한다. 본 실시예의 장치는 실시예 2의 장치와 거의 같다. 상이점은 최종적으로 출력되는 화상이 왼쪽 눈용, 오른쪽 눈용의 2계통이 아니고, 단순히 1계통인 점에 있다. 이 구성상의 차이에 관련있는 동작상의 차이만을 설명한다.

카메라에 의해서 촬영된 영상 등이 영상 입력 회로(20)으로부터 입력되고, 프레임 메모리(24)에 격납된다. 프레임 메모리(24)로부터 판독된 복수의 영상 프레임에 대해, 대응점 검출 회로(26), 움직임 검출 회로(30)에 의해서 피사체의 깊이 정보가 획득된다.

이어서 화상 생성 회로(32)가 이 깊이 정보에 따라서, 시점 변경 영상 등의 화상을 생성한다. 이때, 지시 입력부(34)로부터의 입력에 의해 실시예 5에서 설명한 시점 변경, 확대ㆍ축소, 절취를 행한다.

실시예 7.

다안 영상을 입력하는 경우의 2차원 표시 화상 생성 방법을 설명한다.

실시예 7의 실시예 5의 상이점은 실시예 3과 실시예 1의 상이점과 전부 동일하다. 실시예 7의 경우 일반적으로 상당히 높은 정밀도로 깊이 정보를 구할 수 있고, 최종 화상인 시점 변경 등의 정밀도도 높아진다.

실시예 8.

실시예 8에서도 실시예 1 등과 마찬가지로, 깊이 정보와 2차원 화상 정보를 기초로, 적절한 입체 화상을 표시하는 방법을 설명한다. 실시예 8과 실시예 1의 상위점은 본 실시예에 있어서, 표시 장치에 고유의 조건을 가미하여 입체 표시를 행하는 점이다.

전술한 특공소 55-36240호 공보에 도시한 바와 같이, 깊이 정보가 공급되면, 2차원 화상에서 다안 화상 표시를 행할 수 있다. 즉, 송신측은 텔레비젼 화상 신호(2차원 화상 신호)에 깊이 정보를 부가하여 보낸다. 송신측에서는 수신된 화상 신호를 먼저 2개로 분배하여, 한쪽 화상의 각 부위를 깊이 정보에 따라서 변위시키고, 좌우 눈 각각을 위한 화상을 생성한다. 이것을 다안 화상 표시 장치도 표시함으로써 스테레오 스코프 화상을 실현할 수 있다.

그러나 이 때, 시차의 성질을 고려할 필요가 있다. 즉, 전술한 바와 같이 「시차」는 시선 벡터의 각도차에 기초한 것이며, 시차를 발생시키기 위하여 화상의 화소를 옮겼을 때, 만일 같은 화소수만큼 옮겨도 다안 화상 표시 장치의 사이즈가 다르다면 시차는 변하게 된다. 또한, 이 장치의 사이즈가 같다고 하여도, 표시 장소와 관찰자의 거리에 따라서 시차는 변화한다 따라서, 최적의 입체감을 나타내기 위해서는 상기 변위의 양을 다안 화상 표시 장치의 고유의 조건에 기초하여 설정해야만 한다.

본 실시예에서는 깊이 정보에 부가하여, 다안 화상 표시 장치 고유의 보정값을 도입한다. 제33도는 본 실시예에 있어서 입체 표시를 행하는 입체 화상 표시 장치의 구성도이다. 이 장치에서 2차원 화상과 깊이 정보는 입력 단자(100)에 공급된다. 깊이 정보 추출 회로(102)는 입력된 신호로부터 깊이 정보를 기지의 방법으로 추출한다.

한편, 2차원 화상은 2개로 분배된다. 한쪽은 버퍼 메모리(104)에 입력되고, 다른 쪽은 오른쪽은 화상용 변위 회로(106)에 입력된다. 버퍼 메모리(104)는 변위 회로(106)에 의한 처리 지연을 흡수하도록 작용한다. 왼쪽 눈용 표시 패널(108)은 버퍼 메모리(104)로부터 출력된 화상을 표시하고, 오른쪽 눈용 패널(110)은 변위 회로(106)에 의해 변위가 공급된 화상을 표시한다.

이 장치의 특징은 변위 회로(106)에서 깊이 정보뿐만 아니라, 미리 ROM(112)에 저장된 장치 고유의 파라메터도 참조하여 변위량을 결정하는 점이다. ROM(112)는 장치에 적절한 보정값을 기억하여 두며, 이 보정값을 이하의 일반 원칙에 따른다.

(1) 표시 패널의 화면 사이즈와 관련하여 이 사이즈가 작을수록 커진다.

(2) 장치의 통상 사용시에 있어서의 표시 패널로부터 관찰자의 머리의 거리와 관련하여, 이 거리가 가까울수록 작아진다.

보정값은 이들 규칙을 기준으로 미리 정해져 있고, 변위 회로(106)은 깊이 정보로 표시되는 깊이(depth)가 작을수록 또는 상기 보정값이 클수록 변위량을 증가시킨다. 이 결과, 표시 장치 고유의 조건을 가미하여 최적의 입체 표시를 실현할 수 있다.

또, 본 실시예에 대해서는 이하의 기술적 배리에이션을 고려할 수 있다.

1. 제33도에 도시한 바와 같이 변위량을 매뉴얼로 변경하기 위한 볼륨(114)을 설치해도 좋다. 볼륨(114)에 의해 보조적인 조정, 관찰자의 기호에 맞춰서 조정이 가능해진다.

2. 입체 화상을 표시하기 위해 좌우 양쪽 눈 화상의 양쪽에 변위를 공급해도 좋다.

3. 전술한 닛케이 일렉트로닉스 No. 444에도 기재되어 있는 바와 같이 플프리히 효과(Pulfrich effect)를 이용하여 입체감을 내도 좋다.

4. ROM(112)에 미리 복수의 보정치를 기억하고, 이것을 사용 상황 등에 따라 전환하면서 사용해도 좋다.

5. 보정값을 화면 사이즈와 관련하여 변경되는 것과, 표시 위치와 관찰자의 거리와 관련하여 변경되는 것의 2계통으로 분리하여 기억하여도 좋다.

상기 설명에서는 깊이 정보의 값을 촬영 위치에서 피사체까지의 거리에 정확히 비례하는 값이다. 그러나, 깊이 정보를 촬영 위치에서 피사체까지의 거리를 간단히 표시하는 것으로도 좋다.

예를 들면, 매우 간단한 예로서, 깊이의 종류별로 대ㆍ중ㆍ소의 3가지로 한다. 「대」는 원거리를 나타내고, 이 부위에는 시차를 작성하지 않는다. 「중」은 중거리를 나타내고 이 부위에는 시차를 작성하기 위한 변위를 행한다. 「소」는 근거리를 나타내며, 이 부위에는 큰 시차를 작성하기 위한 큰 변위를 실시한다.

이와 같이, 깊이 정보를 간소화함으로써, 방송시의 전송 데이타량을 저감시킴과 동시에 다안 화상 표시 장치의 회로를 간소화할 수 있다.

제1도는 배경은 변하지 않고 피사체만이 좌에서 우로 이동하는 영상을 도시하는 도면.

제2도는 재생된 오른쪽 눈 화상과 왼쪽 눈 화상 사이에 일정한 시간차를 둔 모양을 도시하는 도면.

제3도는 제2도의 시간차의 결과, 시차가 생기는 모양을 도시하는 도면.

제4도는 실시예 1에 의해서 3차원 표시 화상을 생성하기 위한 주된 공정을 도시하는 도면.

제5도는 영상 프레임 간의 대응 관계를 검출하기 위한 흐름도.

제6도는 기준 프레임 t에 대표점을 설정하는 모양을 도시하는 도면.

제7도는 블록 정합(matching)의 모양을 도시하는 도면.

제8도는 임시 대응점 Pt'(i,j)마다 E값을 종방향으로 도시하는 모식도.

제9도는 S12단계의 결과 구해진 대응점과 대표점의 관계를 도시하는 도면.

제10도는 대응점의 상대 위치를 평가하는 원리를 설명하는 도면.

제11도는 제9도의 대응점 후보에 대해서 원래 스텝의 개선 처리를 행한 결과를 도시하는 도면.

제12도는 어떤 점 P의 화면상의 이동과 3차원 공간에서의 이동 대응을 도시하는 도면.

제13도는 카메라의 3차원 이동과 어떤 점 P의 화면상의 이동으로부터 점 P의 3차원 좌표를 유도하는 원리를 설명하는 도면.

제14도는 프레임 t에 있어서 각 대표점에 수치가 부여된 상태를 도시하는 도면.

제15도는 깊이 정보에 따라서 시차를 부여하는 모양을 도시하는 도면.

제16도는 프레임 t를 기준으로 하여 생성된 좌우 양 화상을 도시하는 도면.

제17도는 시차를 비선형 변환하는 모양을 도시하는 도면.

제18도는 실시예 1을 실시하기 위한 하드웨어 구성예를 도시하는 도면.

제19도는 프레임 t의 영상을 디스플레이 상에 표시한 중간조(中間調) 화상의 사진.

제20도는 프레임 t'의 영상을 디스플레이 상에 표시한 중간조 화상의 사진.

제21도는 프레임 t를 메쉬(mesh)상으로 분할하여 대표점을 둔 상태를 디스플레이 상에 표시한 중간조 화상의 사진.

제22도는 프레임 t'에서의 대응점의 초기 위치를 디스플레이 상에 표시한 중간조 화상의 사진.

제23도는 대응점 위치를 개선한 결과를 디스플레이 상에 표시한 중간조 화상의 사진.

제24도는 깊이 정보를 농담으로 디스플레이 상에 표시한 중간조 화상의 사진.

제25도는 깊이 정보에 따라서 생성된 왼쪽 화상을 디스플레이 상에 표시한 중간조 화상의 사진.

제26도는 깊이 정보에 따라서 생성된 오른쪽 화상을 디스플레이 상에 표시한 중간조 화상의 사진.

제27도는 실시예 3에 의해서 3차원 표시 화상을 생성하기 위한 주된 공정을 도시하는 도면.

제28도는 실시예 3에서 도입되는 특징점의 선정 기준을 도시하는 도면.

제29도는 원영상과 시점 변경 영상의 대응 관계를 도시하는 도면.

제30도는 원영상과 시점 변경 영상의 대응 관계를 도시하는 도면.

제31도는 화상의 일부를 확대하여 생성된 화상을 도시하는 도면.

제32도는 제29도의 화상 중 [집]을 잘라 내어 생성된 화상을 도시하는 도면.

제33도는 본 실시예에 있어서 입체 표시를 행하는 입체 화상 표시 장치의 구성도.

도면의 주요 부분에 대한 부호의 설명

20 : 영상 입력 회로

22 : 프레임 메모리 제어 회로

24 : 프레임 메모리

26 : 대응점 검출 회로

28 : 대응점 좌표 메모리

30 : 움직임 검출 회로

32 : 화상 생성 회로

34 : 지시 입력부

Claims

2차원 화상에 포함되는 프레임을 기초로 깊이 정보를 생성하는 방법에 있어서,

프레임 간의 움직임이 큰 두개의 프레임을 2차원 동화상으로부터 선택하는 단계;

상기 두개의 프레임에 기초하여 깊이 정보를 생성하되, 프레임 간의 움직임이 큰 두개의 프레임이 상기 2차원 동화상으로부터 선택될 수 없을 때, 깊이 정보의 생성을 중지하는 단계;

기준 프레임에 복수의 대표점을 설정하는 단계;

다른 프레임에서 상기 대표점에 각각 대응하는 복수의 대응점을 구하는 단계; 및

상기 대표점과 대응점의 위치 관계를 구하는 단계를 포함하며,

각각의 상기 대표점은 특징점과 비특징점으로 분류되고;

상기 기준 프레임과 상기 다른 프레임 사이에서 소정수 이상의 특징점의 움직임의 총합이 소정값을 초과하는 경우, 상기 기준 프레임과 상기 다른 프레임 간의 움직임이 크다고 판단하여, 상기 기준 프레임과 상기 다른 프레임이 선택되며;

기하학적인 특징이 있는 화상 영역에 위치한 제1 프레임내의 대표점에 대응하는 제2 프레임내의 대응점의 위치를 조정하는 단계를 더 포함하되, 상기 제2 프레임에 형성된 화상의 상기 기하학적인 특징이 유지되도록, 상기 대응점의 위치를조정하는 것을 특징으로 하는 깊이 정보 생성 방법.
제1항에 있어서, 상기 기하학적으로 특징이 있는 화상 영역은, 직선을 포함하는 영역인 것을 특징으로 하는 깊이 정보 생성 방법.
기준 프레임에 복수의 대표점을 설정하는 단계;

다른 프레임에서의 임의의 특정점을 포함하는 화상 영역과, 상기 기준 프레임의 대표점을 포함하는 근방의 화상 영역 간에 화상의 유사성을 평가하는 단계;

상기 특정점간의 상대 위치의 타당성을 평가하는 단계;

화상의 유사성 평가 및 상대 위치의 타당성 평가에 따라서 상기 특정점으로써 상기 대표점의 대응점을 결정하는 단계;

일단 모든 대응점의 위치를 현재 위치로 고정한 후, 한 개의 대응점만을 이동시키면서 갱신된 대응점 위치를 탐색하고, 상기 갱신된 대응점 위치에 대한 화상의 유사성 및 상대 위치의 타당성을 평가하는 단계;

상기 한 개의 대응점의 위치를 상기 갱신된 대응점의 위치로 변경하는 단계;

나머지 대응점들에 대해서 상기 탐색 및 위치의 변경을 반복하는 단계; 및

일련의 상기 단계들을 통해 구해진 대응점과 상기 대표점과의 위치 관계로부터 깊이 정보를 생성하는 단계를 포함하는 것을 특징으로 하는 깊이 정보 생성 방법.
제3항에 있어서, 모든 대응점에 대해서 상기 탐색 및 위치의 변경을 행한 후, 화상의 유사성 및 상대 위치의 타당성 평가의 통합된 평가 수치가 극값을 취하는 조건을 표현하는 오일러-라그랑즈 방정식을 풀이하는 단계를 더 포함하는 것을 특징으로 하는 깊이 정보 생성 방법.
2차원 화상의 깊이 정보를 생성하는 방법에 있어서,

2차원 화상내의 복수의 점에 대한 깊이값을 계산하는 단계;

계산된 깊이값중에 음(-)의 값이 있는지 평가하는 단계; 및

계산된 깊이값이 음인 음의 값을 갖는 점 각각에 대해 대체 깊이값을 계산하는 단계를 포함하고,

상기 대체 깊이값은 상기 음의 값을 갖는 점 근방에서 양(+)인 깊이값을 갖는 점의 깊이 정보를 이용하여 보간되는 것을 특징으로 하는 깊이 정보 생성 방법.
깊이 정보를 이용한 화상 처리 방법에 있어서,

상기 깊이 정보에 따라서 2차원 화상내의 복수의 화소에 대해 시차를 구하는 단계;

구해진 복수의 화소 각각에 대한 시차가 소정 범위내에 있도록 상기 시차를 각각 수정하되, 상기 깊이 정보와는 상이한 다른 정보를 고려하여 상기 시차를 수정하는 단계; 및

수정된 시차에 따라서 다안(스테레오) 화상을 생성하는 단계를 포함하고,

상기 다른 정보는, 관찰자 정보, 처리할 데이터량 정보, 표시 화면의 정면에 소정 거리 이상으로 화상이 형성되게 하는 정보중 하나를 포함하는 것을 특징으로 하는 깊이 정보를 이용한 화상 처리 방법.
제6항에 있어서, 상기 시차를 선형 압축함으로써, 수정된 시차가 상기 소정 범위내에 있게 하는 것을 특징으로 하는 깊이 정보를 이용한 화상 처리 방법.
제6항에 있어서, 상기 소정 범위 밖의 시차에 대해서는, 수정된 시차가 상기 소정 범위의 상한값 또는 하한값 중 가까운 쪽의 값을 갖도록 일률적으로 변환하는 것을 특징으로 하는 깊이 정보를 이용한 화상 처리 방법.
제6항에 있어서, 상기 시차는 비선형 변환되며, 변환 후의 값이 상기 소정 범위의 상한값 또는 하한값에 원활히 수속되고, 상기 소정 범위내에 있는 것을 특징으로 하는 깊이 정보를 이용한 화상 처리 방법.
깊이 정보를 이용한 화상 처리 방법에 있어서,

2차원 화상내의 화상 성분에 대한 깊이 정보에 따라서 초기 시차값을 구하는 단계;

다안 화상 표시 장치의 표시 조건 특성에 따라서 상기 초기 시차값으로부터 조정된 시차값으로 시차값을 조정하는 단계;

상기 조정된 시차값에 따라 2차원 화상에 시차를 부여하여, 다안 화상을 생성하는 단계; 및

상기 다안 화상을 상기 다안 화상 표시 장치에 표시하는 단계

를 포함하는 것을 특징으로 하는 깊이 정보를 이용한 화상 처리 방법.
제10항에 있어서, 상기 표시 조건은 상기 다안 화상 표시 수단의 표시 화면 사이즈와, 표시 화면으로부터 그 화면을 보는 사람까지의 상정 거리를 기초로 설정되고,

설정된 표시 조건에 기초하여 상기 2차원 화상에 대한 시차값을 조정하는 것을 특징으로 하는 깊이 정보를 이용한 화상 처리 방법.
2차원 화상에 대해서, 그 깊이 정보에 따라서 화상 처리를 행하는 방법에 있어서,

상기 2차원 화상을 대표하는 두 개의 상이한 프레임에서 대응점의 변위를 검출하는 단계;

화상에서 복수의 부분에 대한 프레임을 촬영하기 위한 카메라 위치와 상기 변위에 기초하여 깊이 정보를 설정하는 단계; 및

설정된 상기 깊이 정보에 따라 화상 처리를 행할 타켓 화상 부분을 선택하는 단계를 포함하고,

상기 화상 처리는, 제1 화상 영역의 사이즈 변경 처리이고,

상기 제1 화상 영역은 제1 깊이를 갖고, 제2 화상 영역은 상기 제1 깊이 보다 깊이가 큰 제2 깊이를 가지며, 상기 제1 화상 영역의 사이즈 변경 처리는, 상기 제2 화상 영역의 사이즈 변경 처리에서 상기 제2 화상 영역의 사이즈를 변경하는 정도보다 상대적으로 큰 정도로 상기 제1 화상 영역의 사이즈를 변경하는 것을 특징으로 하는 깊이 정보를 이용한 화상 처리 방법.
깊이 정보를 이용한 화상 처리 방법에 있어서,

2차원 화상의 모든 화상 부분에 대해 그 화상 부분에 대한 깊이 정보에 따라서 시차를 부여함으로써 다안 화상을 생성하고, 상기 다안 화상을 생성함으로써 평탄하지 않은 영상 프레임 윤곽을 발생하는 단계; 및

상기 평탄하지 않은 영상 프레임 윤곽을 보정하는 단계를 포함하고,

상기 평탄하지 않은 영상 프레임 윤곽을 보정하는 단계는

화상 형태의 변형된 부분을 식별하는 단계와,

상기 화상 형태의 변형된 부분과 관련된 2차원 화상의 부분으로 하나 이상의 화소의 데이터를 삽입하여, 상기 평탄하지 않은 영상 프레임 윤곽을 평활하게 하는 단계를 포함하는 것을 특징으로 하는 깊이 정보를 이용한 화상 처리 방법.