KR20070105994A - 깊이 인식 - Google Patents

Abstract

입력 이미지(102)에 기초하여 제 1 출력 이미지와 제 2 출력 이미지를 포함하는 멀티-뷰 이미지를 렌더링하는 방법이 개시된다. 상기 방법은: 불규칙하게 형성된 오브젝트들(106 내지 112)을 포함하는 변조 이미지(100)를 생성하는 단계; 상기 입력 이미지(102)의 일부의 픽셀값들을, 상기 변조 이미지(100)의 다른 픽셀값들에 기초하여 변조하는 단계로서, 중간 이미지(104)를 유발하는, 상기 변조 단계; 및 상기 디스패리티 데이터에 기초하여 상기 중간 이미지(104)를 휘게 함으로써 상기 멀티-뷰 이미지를 발생시키는 단계를 포함한다.

멀티-뷰 이미지, 중간 이미지, 디스패리티 데이터, 3-D 디스플레이 디바이스, 렌더링 유닛

Description

깊이 인식{Depth perception}

본 발명은 입력 이미지 및 디스패리티 데이터(disparity data)에 기초하여 멀티-뷰 이미지를 렌더링하는 방법에 관한 것이다.

본 발명은 또한 입력 이미지 및 디스패리티 데이터에 기초하여 멀티-뷰 이미지를 렌더링하는 렌더링 유닛에 관한 것이다.

본 발명은 또한 상기한 렌더링 유닛을 포함하는 이미지 처리 장치에 관한 것이다.

본 발명은 또한 컴퓨터 장치에 의해 로딩되는 컴퓨터 프로그램 제품으로서, 상기 컴퓨터 프로그램 제품은 입력 이미지 및 디스패리티 데이터에 기초하여 멀티-뷰 이미지를 렌더링하는 명령들을 포함하고, 상기 컴퓨터 장치는 처리 수단 및 메모리를 포함하는, 상기 컴퓨터 프로그램 제품에 관한 것이다.

디스플레이 디바이스들을 도입한 후에, 사실적인 3-D 디스플레이 디바이스를 오랫동안 꿈꾸어 왔다. 이러한 디스플레이 디바이스를 유발하게 되는 많은 원리들이 연구되었다. 어떤 원리들은 특정 볼륨에서 사실적인 3-D 오브젝트를 생성하려고 한다. 예를 들면, 2003년 SID'03의 회보, 1531 내지 1533에서 A. Sullivan에 의한 "Solid-state Multi-planar Volumetric Display"의 논문에 개시된 디스플레이 디바 이스에서, 가상 데이터는 고속 프로젝터에 의해 평면들의 어레이에서 변위된다. 각각의 평면은 스위칭 가능한 확산기이다. 평면들의 수가 충분히 높다면 인간의 뇌는 화상을 통합하고 사실적인 3-D 오브젝트를 관찰한다. 이 원리들은 관찰자가 어떤 범위 내의 오브젝트 주위를 보도록 한다. 이러한 디스플레이 디바이스에서, 모든 오브젝트들은 (반-)투명하다.

많은 다른 원리들은 양안 디스패리티만을 기초하여 3-D 디스플레이 디바이스를 생성하려고 한다. 이들 시스템들에서, 관찰자의 왼쪽 및 오른쪽 눈은 다른 이미지를 인식하고, 관찰자는 일관되게 3-D 이미지를 인식한다. 이들 개념들의 개요는 1993년 프린스톤 유니버시티 프레스, D.F.McAllister(Ed.)에 의해 "Stereo Computer Graphics and Other True 3-D Technologies" 책에서 찾을 수 있다. 첫 번째 원리는 예를 들면 CRT와 조합한 셔터 유리들을 사용한다. 홀수 프레임(odd frame)이 디스플레이되면 광은 왼쪽 눈에 차단되고, 짝수 프레임(even frame)이 디스플레이되면 광은 오른쪽 눈에 차단된다.

부가의 기구들의 필요없이 3-D를 보여주는 디스플레이 디바이스들은 소위 자동 스테레오스코픽 디스플레이 디바이스들이다.

제 1 유리 없는 디스플레이 디바이스는 관찰자의 왼쪽 및 오른쪽 눈을 향한 광의 콘들(cones)을 생성하기 위한 배리어를 포함한다. 콘들은 예를 들면 홀수 및 짝수 서브픽셀 컬럼들에 대응한다. 적당한 정보로 이들 컬럼들을 처리함으로써, 관찰자는 정확한 지점(spot)에 위치된 경우에 관찰자의 왼쪽 및 오른쪽 눈에서 상이한 이미지들을 얻고, 3-D 화상을 인식할 수 있다.

제 2 유리 없는 디스플레이 디바이스는 관찰자의 왼쪽 및 오른쪽 눈에 홀수 및 짝수 서브픽셀 컬럼들을 이미지화하기 위한 렌즈들의 어레이를 포함한다.

상술된 유리 없는 디스플레이 디바이스들의 단점은 관찰자가 고정된 위치에서 남아 있어야 한다는 점이다. 관찰자를 안내하기 위하여, 오른쪽 위치에 있는 관찰자에게 보여주기 위해 표시기들이 제안되었다. 예를 들면, 배리어 플레이트가 적색 및 녹색 led와 조합되는 미국 특허 US5986804호를 참조한다. 관찰자가 잘 위치된 경우에, 관찰자는 녹색광을 보고 그렇지 않으면 적색 광을 본다.

고정된 위치에 앉아 있는 관찰자를 돋보이게 하기 위하여, 멀티-뷰 자동 스테레오스코픽 디스플레이 디바이스들이 제안되었다. 예를 들면, 미국 특허들 US60064424호 및 US20000912를 참조한다. US60064424호 및 US20000912호에 개시된 디스플레이 디바이스들에서, 기울어진 렌즈(slanted lenticular)가 이용되고, 그에 의해 렌즈의 폭은 2개의 서브픽셀들보다 더 크다. 이러한 방식으로, 서로의 다음에 여러 이미지들이 있고, 관찰자는 왼쪽 및 오른쪽으로 이동하기 위한 약간의 자유를 가진다.

멀티-뷰 디스플레이 디바이스에 대한 3-D 효과를 발생시키기 위하여, 상이한 가상 뷰 지점들로부터의 이미지들이 렌더링되어야 한다. 이것은 존재할 깊이 정보 또는 3-D나 다중 입력 뷰들을 요구한다. 이러한 깊이 정보는 기록되거나, 멀티-뷰 카메라 시스템들로부터 발생되거나 또는 종래의 2-D 비디오 자료로부터 발생될 수 있다. 2-D 비디오로부터 깊이 정보를 발생시키기 위하여, 움직임, 초점 정보, 기하학 형상들 및 동적 폐쇄로부터의 구조와 같이, 여러 형태의 깊이 큐들(cues)이 적 용될 수 있다. 이것은, 밀집한 깊이 맵, 즉 픽셀마다의 깊이값을 발생하기 위한 것이다. 이 깊이 맵은 관찰자에게 깊이 효과를 제공하기 위하여 멀티-뷰 이미지를 렌더링하는데 실질적으로 사용된다. 1997년, 캘리포니아, 로스엔젤레스, IEEE 컴퓨터 소사이어티, IV권, ISBN 0-8186-7919-0, 2749쪽 내지 2752쪽, 음향, 음성 및 신호 처리에 대한 국제 회의 회보들에서 P.A. Redert, E. A. Hendriks, 및 J. Biemond에 의한 "Synthesis of multi viewpoint images at non-intermediate positions" 논문에서, 입력 이미지 및 깊이 맵에 기초하여 깊이 정보를 추출하고 멀티-맵 이미지를 렌더링하는 방법이 개시되어 있다. 멀티-뷰 이미지는 3-D 효과를 생성하기 위해 멀티-뷰 디스플레이 디바이스에 의해 디스플레이될 이미지들의 세트이다. 통상적으로, 세트들의 이미지들은 입력 이미지에 기초하여 생성된다. 이들 이미지들의 하나를 생성하는 것은 시프트의 각각의 양들만큼 입력 이미지의 픽셀들을 시프트함으로써 행해진다. 이들 시프트들의 양들은 소위 디스패리티들이다. 그래서, 통상적으로, 각각의 픽셀에 대해, 대응하는 디스패리티 값이 있고, 함께 디스패리티 맵을 형성한다. 디스패리티 값들 및 깊이값들은 통상적으로 역관계이다. 즉:

(1)

S는 디스패리티이고, C는 상수값이고 D는 깊이이다. 깊이 맵을 생성하는 것은 디스패리티 맵을 생성하는 것과 동일한 것으로 간주된다.

2-D 입력 이미지에서 균등한 영역들(homogeneous regions)에 대해, 즉, 실질 적으로 더 적은 텍스처의 영역들에 대해, 멀티-뷰 디스플레이 디바이스로부터 깊이가 얼마인지를 추론하는 것은 어렵거나 때때로 불가능하다. 보통, 이것은 스크린 레벨에 속하는 영역과 균등한 영역에 대응하는 오브젝트로서 인식될 것이다. 균등한 배경, 예를 들면 푸른 하늘이 있는 경우에, 멀티-뷰 디스플레이 디바이스의 인식된 깊이는 비교적 작다. 구름없는 하늘의 경우에, 하늘은 스크린 레벨에 있는 것으로 인식되고, 따라서, 정확한 깊이 효과를 위해, 스크린 뒤에 다른 오브젝트들을 넣는 것이 불가능하며, 이것은 깊이 효과를 상당히 감소시킨다.

본 발명의 목적은 증가된 깊이 효과를 유발하는 서두에 기술된 종류의 방법을 제공하는 것이다.

본 발명의 이러한 목적은:

- 불규칙하게 형성된 오브젝트들을 포함하는 변조 이미지를 생성하는 단계;

- 상기 입력 이미지의 일부의 픽셀값들을, 상기 변조 이미지의 다른 픽셀값들에 기초하여 변조하는 단계로서, 중간 이미지를 유발하는, 상기 변조 단계; 및

- 상기 디스패리티 데이터에 기초하여 상기 중간 이미지를 휘게 함(warping)으로써 상기 멀티-뷰 이미지를 발생시키는 단계를 포함하는 방법으로 달성된다.

관찰자에게 멀티-뷰 디스플레이 디바이스 상의 3-D 효과를 제공하는 것은 왼쪽 눈에 제 1 출력 이미지를 오른쪽 눈에 제 2 출력 이미지를 보여주는 것에 의존한다. 이들 출력 이미지들 사이의 차이들은 3-D 이미지로서 인간의 뇌에 의해 해석된다. 출력 이미지들은 서로에 대해 입력 이미지의 오브젝트들을 시프팅하여 구성된다. 시프트의 양은 오브젝트들의 깊이에 의해 결정된다. 뇌는 상이한 뷰들, 즉 출력 이미지들에서 오브젝트들 사이의 대응을 인식하고 차이들로부터 기하학을 추론한다. 오브젝트가 실질적으로 더 적은 텍스처이면, 그러한 대응은 눈에는 "추적(lock on)"하는 특징이 없기 때문에 이루기가 어렵다. 균등한 흑색 표면을 상상하라. 이것을 왼쪽 또는 오른쪽으로 시프팅하는 것은 이것을 변경하지 않는다. 그러므로, 이 표면이 상주하는 깊이에서의 시차에 기초하여 추론될 수 없다.

입력 이미지의 일부의 픽셀값들을 변조 이미지의 다른 픽셀값들에 기초하여 변조함으로써, 특징들이 도입된다. 불규칙하게 형성된 오브젝트들에 대응하는 이러한 특징들은 입력 이미지의 실질적으로 균등한 영역들에서 주로 가시 가능하다. 그 다음, 변조가 발생하기 전에 실질적으로 균등한 입력 이미지의 부분에 대응하는 영역들에서 서로 다르게 보이는 제 1 출력 이미지와 제 2 출력 이미지를 렌더링하는 것이 가능하다. 이제, 사용자가 제 1 및 제 2 출력 이미지에서의 각각의 도입된 불규칙하게 형성된 오브젝트들 사이의 대응을 이루는 것이 가능하다.

불규칙하게 형성된 오브젝트들의 크기는 디스패리티 데이터에 관련되는 것이 바람직하다. 예를 들면, 불규칙하게 형성된 오브젝트들의 평균 크기는 디스패리티 데이터의 평균값과 동일한 차수의 크기를 가진다. 디스패리티 데이터가 1 내지 15개의 픽셀들의 범위의 값들을 포함한다면, 그 크기들, 즉 불규칙하게 형성된 오브젝트들의 높이 및 폭이 실질적으로 동일한 범위에 있는 것이 유리하다. 불규칙하게 형성된 오브젝트들의 평균 직경은 1000*1000 픽셀들의 이미지들에 대해 대략 7 내지 8개의 픽셀들인 것이 바람직하다. 평균 직경은 2개의 에지들 사이의 평균 거리를 의미한다.

입력 이미지의 픽셀값들의 변조는 입력 이미지에 걸쳐 펼쳐진 픽셀들을 커버할 수 있다. 변조는 실질적으로 균등한 영역에 대응하는 입력 이미지의 부분을 커버하는 것이 바람직하다. 변조는 입력 이미지의 픽셀들의 제 1 부분의 휘도값들이 증가되는 동안 입력 이미지의 픽셀들의 제 2 부분의 휘도값들이 감소되는 것이 바람직하다. 예를 들면, 입력 이미지의 픽셀들의 제 1 부분은 불규칙적으로 형성된 오브젝트들을 표현하는 변조 이미지의 픽셀들의 세트에 대응하고, 입력 이미지의 픽셀들의 제 2 부분은 배경을 표현하는 변조 이미지의 픽셀들의 다른 세트에 대응한다. 평균 휘도값은 변조에 의해 영향을 받지 않는 것, 즉 입력 이미지의 평균 휘도값과 중간 이미지의 평균 휘도값이 실질적으로 서로 동일한 것이 바람직하다.

본 발명에 따른 방법의 실시예에서, 상기 변조 이미지를 생성하는 단계는:

- 잡음을 발생시킴으로써 제 1 이미지를 생성하는 단계;

- 상기 제 1 이미지를 저역 필터로 필터링하는 단계로서, 제 2 이미지를 유발하는, 상기 필터링 단계; 및

- 문턱값에 의해 상기 제 2 이미지의 픽셀들을 분류하는 단계로서, 상기 변조 이미지를 유발하는, 상기 분류 단계를 포함한다.

잡음을 발생하는 것은 랜덤 잡음 발생기에 의해 수행되는 것이 바람직하다. 저역 필터의 특성들은 적당한 치수들을 가진 불규칙하게 형성된 오브젝트들을 생성하기 위하여 디스패리티 데이터에 관련되는 것이 바람직하다. 분류하는 것은 연결된 픽셀들의 그룹들이 각각의 불규칙하게 형성된 오브젝트들에 속하는 것으로 라벨이 붙여지고, 연결된 픽셀들의 다른 그룹들이 배경으로 라벨이 붙여지게 한다.

본 발명에 따른 방법의 실시예에서, 픽셀값들을 변조하는 것은 디스패리티 데이터에 기초한다. 휘도값들의 증가 및 감소는 국부적 깊이값에 의존하고, 따라서, 픽셀에 대한 국부적 디스패리티 값에 의존하는 것이 바람직하다. 증가 및/또는 감소의 양은 관찰자로부터 멀리 떨어진 입력 이미지의 오브젝트들에 대해 더 높은 것이 바람직하다.

본 발명에 따른 방법의 실시예에서, 변조 이미지를 생성하는 것은 입력 이미지가 속하는 입력 이미지의 시퀀스에 기초하여 계산되는 움직임 벡터에 기초한다. 본 발명에 따른 방법이 입력 이미지의 시퀀스, 예를 들면 움직임을 표현하는 비디오 이미지들의 시퀀스에 적용된다고 가정한다. 예를 들면, 패닝 카메라(panning camera)에 대응한다. 입력 이미지들의 시퀀스의 입력 이미지들 각각이 동일한 변조 이미지에 의해 변조되고 멀티-뷰 디스플레이 디바이스 상에 디스플레이된다면, 그 결과는 출력 이미지들의 시퀀스가 더러운 윈도우를 통해 보는 것처럼 될 수 있다. 이를 방지하기 위하여, 입력 이미지들의 각각이 그 자신의 변조 이미지에 의해 변조되는 것이 바람직하다. 특정한 입력 이미지를 변조하는 변조 이미지는 이전의 입력 이미지, 즉 특정한 입력 이미지의 앞선 이미지에 대해 생성되는 다른 변조 이미지에 기초할 수 있다. 다른 변조 이미지는 어떤 방향으로 특정한 입력 이미지를 변조하기 위해 변조 이미지를 시프팅하는 것에 기초하고 장면에서 움직임에 관련되는 것이 바람직하다. 특정한 입력 이미지에 대응하는 움직임 벡터 필드의 모델링 또는 분석에 의해 계산되는 움직임 벡터는 다른 변조 이미지를 달성하기 위하여 특정한 입력 이미지를 변조하기 위해 변조 이미지를 시프팅하는 것에 적용되는 것이 바람직하다.

본 발명의 다른 목적은 증가된 깊이 효과를 유발하는 개시부에 기술된 종류의 렌더링 유닛을 제공하는 것이다.

본 발명의 목적은, 렌더링 유닛에 있어서:

- 불규칙하게 형성된 오브젝트들을 포함하는 변조 이미지를 생성하는 생성 수단;

- 상기 입력 이미지의 일부의 픽셀값들을, 상기 변조 이미지의 다른 픽셀값들에 기초하여 변조하는 변조 수단으로서, 중간 이미지를 유발하는, 상기 변조 수단; 및

- 상기 디스패리티 데이터에 기초하여 상기 중간 이미지를 휘게 함으로써 상기 멀티-뷰 이미지를 발생시키는 발생 수단을 포함하는, 렌더링 유닛을 달성하는 것이다.

본 발명의 다른 목적은, 증가된 깊이 효과를 유발하는 서두에 기술된 종류의 렌더링 유닛을 포함하는 이미지 처리 장치를 제공하는 것이다.

이러한 본 발명의 목적은, 이미지 처리 장치에 있어서:

- 입력 이미지에 대응하는 신호를 수신하는 수신 수단;

- 상술된 멀티-뷰 이미지를 렌더링하는 렌더링 유닛; 및

- 상기 멀티-뷰 이미지를 디스플레이하는 디스플레이 디바이스를 포함하는, 이미지 처리 장치를 제공하는 것이다.

본 발명의 다른 목적은, 증가된 깊이 효과를 유발하는 서두에 기술된 종류의 컴퓨터 프로그램 제품을 제공하는 것이다.

이러한 본 발명의 목적은, 컴퓨터 프로그램 제품으로서, 로딩된 후에,

- 불규칙하게 형성된 오브젝트들을 포함하는 변조 이미지를 생성하는 단계;

- 상기 입력 이미지의 일부의 픽셀값들을, 상기 변조 이미지의 다른 픽셀값들에 기초하여 변조하는 변조 단계로서, 중간 이미지를 유발하는, 상기 변조 단계; 및

- 상기 디스패리티 데이터에 기초하여 상기 중간 이미지를 휘게 함으로써 상기 멀티-뷰 이미지를 발생시키는 단계를 실행하는 능력을 상기 처리 수단에 제공하는, 컴퓨터 프로그램 제품을 달성하는 것이다.

렌더링 유닛들의 변경들 및 그 변형들은 기술되는 이미지 처리 장치, 방법 및 컴퓨터 프로그램 제품의 변경들 및 그 변형들에 대응할 수 있다.

본 발명에 따른 렌더링 유닛, 이미지 처리 장치 , 방법 및 컴퓨터 프로그램 제품의 이들 및 다른 양태들은 이후 기술되는 구현들에 대해, 그리고 실시예들 및 첨부 도면들을 참조하여 명백해질 것이다.

도 1은 본 발명에 따른 변조 이미지, 입력 이미지 및 중간 이미지를 도시하는 도면.

도 2는 본 발명에 따른 렌더링 유닛의 실시예를 개략적으로 도시하는 도면.

도 3은 본 발명에 따른 렌더링 유닛의 실시예를 포함하는 멀티-뷰 이미지 생 성 유닛을 개략적으로 도시하는 도면.

도 4는 변조 이미지 생성 디바이스의 실시예를 개략적으로 도시하는 도면.

도 5는 본 발명에 따른 이미지 처리 장치의 실시예를 개략적으로 도시하는 도면.

동일한 참조 번호들은 도면들을 통해 유사한 부분들을 표시하기 위해 사용된다.

도 1은 본 발명에 따른 변조 이미지(100), 입력 이미지(102) 및 중간 이미지(104)를 도시한다. 입력 이미지(102)는 비디오 시퀀스로부터의 이미지이다. 변조 이미지(100)는 입력 이미지(102)와 동일한 치수들을 가지는데, 즉 동일한 수의 픽셀들을 포함한다. 그 다음, 변조 이미지(100)에 의한 입력 이미지(102)의 변조는 간단하다. 입력 이미지(102)의 픽셀들의 각각에 대해, 각각의 휘도값의 증가 또는 감소의 양에 직접 관련되는 변조 이미지(100)에서 대응하는 픽셀이 있다. 따라서, 변조 이미지(100) 및 입력 이미지(102)는 서로 상이한 치수들을 가진다. 그 다음, 입력 이미지(102)의 변조는 변조 이미지(100)를 여러 번 적용하거나 변조 이미지(100)의 일부만을 적용함으로써 수행될 수 있다. 따라서 변조는 입력 이미지의 픽셀들의 일부에만 수행된다.

변조 이미지(100)는 배경을 함께 형성하는 연결된 픽셀들의 제 1 그룹(114)을 포함하며, 전경 오브젝트들(106 내지 112)을 형성하는 픽셀들의 제 2 그룹을 더 포함하는 것이 바람직하다. 이들 전경 오브젝트들은 불규칙하게 형성된 오브젝트들 이다. 이들 불규칙하게 형성된 오브젝트들(106 내지 112)은 얼룩처럼 보인다. 불규칙하게 형성된 오브젝트들(106 내지 112)의 형상과 입력 이미지(102)에서의 오브젝트들의 형상 사이의 상관은 없는 것이 바람직하다.

이들 불규칙하게 형성된 오브젝트들(106 내지 112)의 평균 크기는 디스패리티의 양 및 따라서 깊이에 관련된다. 상이한 불규칙하게 형성된 오브젝트들(106 내지 112)은 서로 상이한 치수들을 가질 수 있음을 유념한다. 또한, 입력 이미지(102)의 상이한 픽셀들에 대한 디스패리티의 양 및 따라서 중간 이미지(104)에 대한 디스패리티의 양은 통상적으로 편차를 보인다. 그러나, 불규칙하게 형성된 오브젝트들(106 내지 112)의 평균 크기 및 디스패리티의 평균 크기는 동일한 치수의 크기를 가지는 것이 바람직하다.

도 1은 본 발명에 따른 중간 이미지(104)를 도시한다. 불규칙하게 형성된 오브젝트들(102 내지 112)은 명백하게 보일 수 있다. 도시된 중간 이미지(104)는 과장된 변조의 영향을 도시하기 위한 예일 뿐임을 유념한다. 불규칙하게 형성된 오브젝트들은 덜 눈에 띄는 것이 바람직하다. 그것이 이 오브젝트들이 매우 현저해서는 안된다는 것을 의미한다. 통상적으로, 변조 이미지(100)에서의 개별 휘도값들의 수 및 범위는 입력 이미지(102)에서의 휘도값들의 수에 비해 상대적으로 작다. 입력 이미지(102)의 휘도값들의 범위가 256개의 상이한 값들을 포함한다고 가정한다. 그러면, 통상적으로 변조 이미지(100)의 휘도값들의 범위는 값들[-2, 2]을 포함한다. 예를 들면, 픽셀들의 제 1 그룹의 휘도값들, 즉 배경(114)은 -2 또는 -1로 모두 동일한 반면, 픽셀들의 제 2 그룹의 휘도값들, 즉 불규칙하게 형성된 오브젝트들(106 내지 112)은 +2 또는 +1로 모두 동일하다.

도 2는 본 발명에 따른 렌더링 유닛(200)의 실시예를 개략적으로 도시한다. 렌더링 유닛(200)은 입력 이미지(102)에 기초하여 제 1 출력 이미지 및 제 2 출력 이미지를 포함하는 멀티-뷰 이미지를 렌더링하도록 구성된다. 입력 이미지(102)는 이미지 입력 접속기(208)에서 제공된다. 제 1 출력 이미지 및 제 2 출력 이미지는 이미지 출력 접속기들(210, 212)에서 렌더링 유닛(200)에 의해 제공된다. 렌더링 유닛(200)은:

- 불규칙하게 형성된 오브젝트들(106 내지 112)을 포함하는 변조 이미지(100)를 생성하는 변조 이미지 생성 디바이스(206);

- 상기 입력 이미지(102)의 일부의 픽셀값들을, 상기 변조 이미지(100)의 다른 픽셀값들에 기초하여 변조하는 변조 디바이스(202)로서, 중간 이미지(104)를 유발하는, 상기 변조 디바이스(202); 및

- 상기 디스패리티 데이터에 기초하는 제 1 변환에 기초하여 중간 이미지를 휘게 함으로써 제 1 출력 이미지를 발생시키고, 상기 디스패리티 데이터에 기초하는 제 2 변환에 기초하여 중간 이미지를 휘게 함으로써 제 2 출력 이미지를 발생시키는 발생 디바이스(204)를 포함한다.

변조 이미지 생성 디바이스(206), 변조 디바이스(202) 및 발생 디바이스(204)는 하나의 처리기를 사용하여 구현될 수 있다. 일반적으로, 이들 기능들은 소프트웨어 프로그램 제품의 제어 하에 수행된다. 실행 동안, 일반적으로, 소프트웨어 프로그램 제품은 RAM 등의 메모리에 로딩되고 이로부터 실행된다. 프로그램은 ROM과 같은 배경 메모리, 하드 디스크, 또는 자기 및/또는 광 저장매체로부터 로딩될 수 있거나 인터넷과 같은 네트워크를 통해 로딩될 수 있다. 선택적으로, 주문형 반도체는 개시된 기능을 제공한다.

도 4와 관련하여, 변조 이미지 생성 디바이스(206)의 실시예가 기술된다.

변조 디바이스(202)는 [수학식 2]에 지정된 기능을 수행하도록 구성되는 것이 바람직하다.

(2)

여기서,

-

은 좌표(x,y)의 입력 이미지(102)의 픽셀의 휘도값이고;

-

은 중간 이미지(104)의 픽셀, 즉 좌표(x,y)의 변조 디바이스의 출력의 휘도값이고;

-

는 좌표(x,y)의 변조 이미지(100)의 픽셀의 휘도값이고;

- g(x,y)는 사용자에 의해 조정 가능한 것이 바람직한 이득 팩터이다. 이득 g(x,y)은 모든 픽셀들에 대해 동일할 수 있으나, 픽셀들 각각은 그 자신의 이득 팩터(gain factor)를 가지는 것이 바람직하다. 이득 g(x,y)의 실제 값은 이득 입력 접속기(214)에 의해 제공될 수 있다.

발생 디바이스(204)는 제 1 출력 이미지 및 제 2 출력 이미지를 렌더링하도록 구성된다. 렌더링은 예를 들면, 1997년, 캘리포니아, 로스엔젤레스, IEEE 컴퓨 터 소사이어티, IV권, ISBN 0-8186-7919-0, 2749쪽 내지 2752쪽, 음향, 음성 및 신호 처리에 대한 국제 회의 회보들에서 P.A. Redert, E. A. Hendriks, 및 J. Biemond에 의한 "Synthesis of multi viewpoint images at non-intermediate positions" 논문에 기술되어 있다. 대안적으로, 렌더링은 쇼트 노트 124, 2003년 그라나다, 유로그래픽스 회보들에서, R.P. Berretty 및 F. E. Ernst에 의한 "High-quality images from 2.5D video"에 기술되어 있다. 렌더링에 대해, 발생 디바이스(204)는 디스패리티 입력 접속기(216)에 의해 제공되는 디스패리티 또는 깊이 정보를 요구한다.

변조 이미지 생성 디바이스(206)는 다음의 2개의 광 입력 접속기들을 포함할 수 있다: 선명도 입력 접속기(220) 및 움직임 벡터 입력 접속기(218).

입력 이미지에서 불규칙하게 형성된 오브젝트들의 도입은 실질적으로 균등한 입력 이미지의 부분으로만 제한되는 것이 바람직하다. 이것은 국부적으로, 즉, 실질적으로 균등한 영역들에서 입력 이미지를 변조함으로써 달성될 수 있다. 대안적으로, 입력 이미지의 이미지 컨텐트에 관한 정보, 특히 균등한 영역들의 위치 및 존재(presence)는 변조 이미지 생성 디바이스(206)에 의해 고려된다. 그 정보는 외부의 선명도 계산 디바이스(302)에 의해 제공될 수 있거나, 또는 렌더링 유닛(200) 자체에 의해 계산될 수 있다. 두 경우들에 있어서, 선명도 정보는 이미지의 픽셀들에 대한 선명도 값들을 계산하는 것에 기초하여 결정된다. 그것은 변조 이미지가 부가되거나 변조 이미지가 조합되는 특정한 입력 이미지인 것이 바람직하다. 대안적으로, 선명도 정보는 특정한 입력 이미지가 속하는 이미지들의 시퀀스로부터 다 른 이미지의 픽셀들에 대한 선명도 값들을 계산하는 것에 기초하여 결정된다.

특정한 픽셀의 선명도 값은 특정한 픽셀의 휘도 및/또는 컬러값 및 특정한 픽셀의 이웃하는 픽셀의 휘도 및/또는 컬러값의 차를 계산하여 결정되는 것이 바람직하다. 이미지의 각각의 픽셀들의 선명도 값들을 계산함으로써 선명도 맵이 형성된다. 휘도 및/또는 컬러값들 사이의 상대적으로 높은 차는 상대적으로 높은 선명도 값을 의미한다. 후속적으로, 선명도 맵이 분석되고 선택적으로 적응된다. 이것은 상대적으로 낮은 선명도 값들을 가진 상대적으로 많은 픽셀들을 가진 제 1 영역이 결정되는 것과, 상대적으로 높은 선명도 값들을 가진 상대적으로 많은 픽셀들을 가진 제 2 영역이 결정되는 것을 의미한다. 제 1 영역은 균등한 영역이 되는 것으로 가정되고, 제 2 영역은 텍스처되거나 세부화된 영역이 되는 것으로 가정된다. 그 분류에 기초하여, 이득 팩터 g(x,y)의 값들이 결정되고, 변조 이미지(100)가 생성된다. 통상적으로, 이것은 제 1 영역에 대응하는 변조 이미지(100)의 휘도값들

이 변조 동안 입력 이미지(100)에 실질적인 영향을 미치지 않거나 갖지 않도록, 예를 들면,

= 0이고, 제 2 영역에 대응하는 변조 이미지(100)의 휘도값들

이 변조 동안 입력 이미지(100)에 영향을 미치지 않도록, 예를 들면,

= -2, -1, 1 또는 2인 것을 의미한다.

분류 정보를 포함하는 선명도 맵은 선명도 입력 접속기(220)에 의해 렌더링 유닛(200)에 제공된다.

후속 입력 이미지들에 대응하는 후속 변조 이미지들의 생성은 서로 완전히 독립적으로 수행될 수 있다. 대안적으로, 특정한 변조 이미지와 후속하는 변조 이미지의 생성 사이의 관련이 있다. 후속하는 변조 이미지들의 생성에 의해 후속하는 입력 이미지들 사이의 움직임을 고려하는 것이 유리하다. 그러나, 특정한 입력 이미지와 그 후속자 사이의 움직임을 분석함으로써, 시프트를 결정하는 것이 가능하다. 이 시프트는 다음의 변조 이미지를 달성하기 위하여 특정한 변조 이미지를 시프트하는데 적용하는 것이 바람직하다. 후속하는 입력 이미지들 사이의 움직임은 움직임 벡터 필드에 기초하여 움직임 모델을 만드는 것에 기초하는 것이 바람직하다. 이러한 움직임 벡터 필드는 움직임 추정기에 의해 결정된다. 움직임 추정기는 예를 들면, 1993년 10월, 비디오 기술용 회로들 및 시스템들에 관한 IEEE 회의 자료들 제3권 제5호 368 내지 379쪽의 G. de Haan에 의한 "True-Motion Estimation with 3-D Recursive Search Block Matching" 논문에 기술되어 있다.

움직임 정보는 움직임 벡터 입력 접속기(218)에 의해 렌더링 유닛(200)에 제공된다.

도 3은 본 발명에 따른 렌더링 유닛(200)의 실시예를 포함하는 멀티-뷰 이미지 발생 유닛(300)을 개략적으로 도시한다. 멀티-뷰 이미지 발생 유닛(300)은 비디오 이미지들의 시퀀스에 기초하여 멀티-뷰 이미지들의 시퀀스를 발생하도록 구성된다. 멀티-뷰 이미지 발생 유닛(300)은 각각 입력 접속기(308)에서 비디오 이미지들의 스트림이 제공되고 출력 접속기들(310, 312)에서 비디오 이미지들의 2개의 상관된 스트림들을 제공한다. 이들 비디오 이미지들의 2개의 상관된 스트림들은, 비디오 이미지들의 상관된 스트림들 중 제 1 스트림에 기초하여 제 1 일련의 뷰들을 시 각화하도록 구성되고 비디오 이미지들의 상관된 스트림들 중 제 2 스트림에 기초하여 제 2 일련의 뷰들을 시각화하도록 구성되는 멀티-뷰 디스플레이 디바이스에 제공된다. 사용자 즉, 관찰자가 왼쪽 눈에 의한 제 1 일련의 뷰들과 오른쪽 눈에 의한 제 2 일련의 뷰들을 관찰한다면, 사용자는 3-D 효과를 인식한다. 비디오 이미지들의 상관된 스트림들 중 제 1 스트림은 수신시 비디오 이미지들의 시퀀스에 대응하고, 비디오 이미지들의 상관된 스트림들 중 제 2 스트림은 수신시 비디오 이미지들의 시퀀스에 기초하여 본 발명의 방법에 따라 렌더링된다. 비디오 이미지들의 두 스트림들은 수신시 비디오 이미지들의 시퀀스에 기초하여 본 발명의 방법에 따라 렌더링되는 것이 바람직하다.

멀티-뷰 이미지 발생 유닛(300)은 또한,

- 입력 이미지의 영역들이 균등한지를 결정하기 위한 선명도 계산 디바이스(302)로서, 선명도 계산 디바이스(302)의 출력은 선명도 입력 접속기(220)에 의해 렌더링 유닛(200)에 제공되는, 상기 선명도 계산 디바이스(302);

- 후속하는 입력 이미지들 사이의 움직임을 추정하는 움직임 추정기(304)로서, 움직임 추정기(304)의 출력은 움직임 벡터 입력 접속기(218)에 의해 렌더링 유닛(200)에 제공되는, 상기 움직임 추정기(304); 및

- 입력 이미지들에서의 다양한 오브젝트들의 깊이 정보를 결정하는 깊이 생성 유닛(306)으로서, 깊이 정보에 기초하여, 디스패리티 맵들은 디스패리티 입력 접속기(206)에 의해 렌더링 유닛(300)에 제공되는지가 결정되는, 상기 깊이 생성 유닛(306)을 포함한다.

멀티-뷰 이미지 발생 유닛(300)이 비디오 이미지들을 처리하도록 설계되어 있더라도, 멀티-뷰 이미지 발생 유닛(300)의 대안적인 실시예들이 개별 이미지들 즉, 스틸 화상들에 기초하여 멀티-뷰 이미지를 발생하도록 구성됨을 유념한다.

기술된 멀티-뷰 이미지 발생 유닛(300)이 2개의 출력 접속기들(310, 312)을 가지더라도, 출력하는 대안적인 방법들이 가능함을 유념한다. 더욱이, 하나의 멀티-뷰 이미지를 형성하는 출력 이미지들의 수는 2의 수로 확실히 제한되지 않는다.

도 4는 본 발명에 따른 변조 이미지 생성 디바이스(206)의 실시예를 개략적으로 도시한다. 변조 이미지 생성 디바이스는:

- 제 1 이미지를 생성하는 랜덤 잡음 발생기(402);

- 제 1 이미지를 필터링하여 제 2 이미지를 유발하는 저역 필터(404)로서, 저역 필터의 특성들은 적절한 치수를 가진 불규칙하게 형성된 오브젝트들을 생성하기 위하여 디스패리티 데이터에 관련되는, 상기 저역 필터(404); 및

- 제 2 이미지의 픽셀들을 분류하기 위하여 미리 결정된 문턱값과 제 2 이미지의 픽셀값들을 비교하여 변조 이미지를 유발하는 비교 디바이스(406)를 포함한다. 분류는 연결된 픽셀들의 그룹들이 각각의 불규칙하게 형성된 오브젝트들에 속하는 것으로 라벨이 붙여지고, 연결된 픽셀들의 다른 그룹들이 배경으로 라벨이 붙여지게 한다.

도 5는 본 발명에 따른 이미지 처리 장치(500)의 실시예를 개략적으로 도시한다. 상기 장치는:

- 입력 이미지들을 표현하는 비디오 신호를 수신하기 위한 수신 유닛(502);

- 도 3과 관련하여 기술된 바와 같이, 수신된 입력 이미지들에 기초하여 멀티-뷰 이미지들을 발생시키기 위한 멀티-뷰 이미지 발생 유닛(300); 및

- 멀티-뷰 이미지 발생 유닛(300)에 의해 제공된 멀티-뷰 이미지들을 디스플레이하기 위한 멀티-뷰 디스플레이 디바이스(504)를 포함한다.

비디오 신호는 안테나 또는 케이블을 통해 수신된 브로드캐스트 신호가 될 수 있지만, VCR(비디오 카세트 레코더) 또는 디지털 다기능 디스크(DVD)와 같은 저장 디바이스로부터의 신호가 될 수도 있다. 신호는 입력 접속기(508)에서 제공된다. 이미지 처리 장치(500)는 예를 들면, TV가 될 수 있다. 대안적으로, 이미지 처리 장치(500)는 광 디스플레이 디바이스를 포함하는 것이 아니라, 디스플레이 디바이스(504)를 포함하는 장치에 출력 이미지들을 제공하는 것이다. 그 다음 이미지 처리 장치(500)는 예를 들면, 셋톱 박스, 위성 동조기, VCR 플레이어, DVD 플레이어 또는 레코더가 될 수 있다. 선택적으로, 이미지 처리 장치(500)는 하드-디스크와 같은 저장 수단, 또는 광 디스크들과 같은 제거 가능한 미디어 상에 저장하기 위한 수단을 포함한다. 이미지 처리 장치(500)는 필름-스튜디오 또는 브로드캐스터에 의해 적용되는 시스템이 될 수도 있다.

상술된 실시예들은 본 발명을 제한하기보다는 설명하기 위한 것임과, 당업자는 첨부된 청구범위들을 벗어나지 않고 대안적인 실시예들을 설계할 수 있다는 것을 유념한다. 청구항들에서, 임의의 참조 부호들은 괄호 안에 있는 임의의 참조부호들은 청구항들을 제한하는 것으로 구성되어서는 안 된다. 단어 '포함하는(comprising)' 등은 청구항에 나열된 요소들 또는 단계들의 존재를 배제하지 않 는다. 요소 앞의 단어 '하나(a 또는 an)'는 이러한 복수의 요소들의 존재를 배제하지 않는다. 본 발명은 여러 개의 개별 요소들을 포함하는 하드웨어와, 적당히 프로그래밍된 컴퓨터에 의해 구현될 수 있다. 여러 개의 수단을 열거하는 장치 청구항에서, 이들 여러 개의 수단은 하나 또는 동일 항목의 하드웨어에 의해 구현될 수 있다. 단어들 제 1, 제 2 및 제 3 등의 사용은 어떤 순서를 나타내지 않는다. 이들 단어들은 이름으로 해석되어야 한다.

Claims (10)

1. 입력 이미지(102) 및 디스패리티 데이터에 기초하여 멀티-뷰 이미지를 렌더링하는 방법에 있어서:

   불규칙하게 형성된 오브젝트들(106 내지 112)을 포함하는 변조 이미지(100)를 생성하는 단계;

   상기 입력 이미지(102)의 일부의 픽셀값들을, 상기 변조 이미지(100)의 다른 픽셀값들에 기초하여 변조하는 단계로서, 중간 이미지(104)를 유발하는, 상기 변조 단계; 및

   상기 디스패리티 데이터에 기초하여 상기 중간 이미지(104)를 휘게 함(warping)으로써 상기 멀티-뷰 이미지를 발생시키는 단계를 포함하는, 멀티-뷰 이미지 렌더링 방법.
2. 제 1 항에 있어서,

   상기 불규칙하게 형성된 오브젝트들(106 내지 112)의 크기는 상기 디스패리티 데이터에 관련되는, 멀티-뷰 이미지 렌더링 방법.
3. 제 2 항에 있어서,

   상기 불규칙하게 형성된 오브젝트들(106 내지 112)의 평균 크기는 상기 디스패리티 데이터의 평균값과 동일한 크기의 차수를 갖는, 멀티-뷰 이미지 렌더링 방 법.
4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,

   상기 입력 이미지(102)의 일부는 실질적으로 균등한 영역(homogeneous region)인, 멀티-뷰 이미지 렌더링 방법.
5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,

   상기 변조 이미지(100)를 생성하는 단계는:

   잡음을 발생시킴으로써 제 1 이미지를 생성하는 단계;

   상기 제 1 이미지를 저역 필터로 필터링하는 단계로서, 제 2 이미지를 유발하는, 상기 필터링 단계; 및

   문턱값에 의해 상기 제 2 이미지의 픽셀들을 분류하는 단계로서, 상기 변조 이미지(100)를 유발하는, 상기 분류 단계를 포함하는, 멀티-뷰 이미지 렌더링 방법.
6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,

   상기 픽셀값들을 변조하는 단계는 상기 디스패리티 데이터에 기초하는, 멀티-뷰 이미지 렌더링 방법.
7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,

   상기 변조 이미지(100)를 생성하는 단계는 움직임 벡터에 기초하고, 상기 움직임 벡터는 상기 입력 이미지(102)가 속하는 입력 이미지들의 시퀀스에 기초하여 계산되는, 멀티-뷰 이미지 렌더링 방법.
8. 입력 이미지(102) 및 디스패리티 데이터에 기초하여 멀티-뷰 이미지를 렌더링하는 렌더링 유닛(200)에 있어서:

   불규칙하게 형성된 오브젝트들(106 내지 112)을 포함하는 변조 이미지(100)를 생성하는 생성 수단(206);

   상기 입력 이미지(102)의 일부의 픽셀값들을, 상기 변조 이미지(100)의 다른 픽셀값들에 기초하여 변조하는 변조 수단(202)으로서, 중간 이미지(104)를 유발하는, 상기 변조 수단(202); 및

   상기 디스패리티 데이터에 기초하여 상기 중간 이미지(104)를 휘게 함으로써 상기 멀티-뷰 이미지를 발생시키는 발생 수단(204)을 포함하는, 멀티-뷰 이미지 렌더링 유닛(200).
9. 이미지 처리 장치(500)에 있어서:

   입력 이미지(100)에 대응하는 신호를 수신하는 수신 수단(502);

   제 8 항에 청구된 멀티-뷰 이미지를 렌더링하는 렌더링 유닛(200); 및

   상기 멀티-뷰 이미지를 디스플레이하는 디스플레이 디바이스(504)를 포함하는, 이미지 처리 장치(500).
10. 컴퓨터 장치에 의해 로딩될 컴퓨터 프로그램 제품으로서, 입력 이미지(102) 및 디스패리티 데이터에 기초하여 멀티-뷰 이미지를 렌더링하기 위한 명령들을 포함하고, 상기 컴퓨터 장치는 처리 수단 및 메모리를 포함하고, 상기 컴퓨터 프로그램 제품은 로딩된 후에:

    불규칙하게 형성된 오브젝트들(106 내지 112)을 포함하는 변조 이미지(100)를 생성하는 단계;

    상기 입력 이미지의 일부의 픽셀값들을, 상기 변조 이미지(100)의 다른 픽셀값들에 기초하여 변조하는 변조 단계로서, 중간 이미지(104)를 유발하는, 상기 변조 단계; 및

    상기 디스패리티 데이터에 기초하여 상기 중간 이미지(104)를 휘게 함으로써 상기 멀티-뷰 이미지를 발생시키는 단계를 실행하는 능력을 상기 처리 수단에 제공하는, 컴퓨터 프로그램 제품.

Images