KR20080077391A - 스테레오스코픽 화상 디스플레이 방법 및 장치, ２ｄ 화상데이터 입력으로부터 ３ｄ 화상 데이터를 생성하는 방법,그리고 ２ｄ 화상 데이터 입력으로부터 ３ｄ 화상 데이터를생성하는 장치 - Google Patents

Abstract

2D 화상 데이터는 3D 화상 데이터로 변환된다. 포커싱 특성들에 기초하여, 화상은 2개 이상의 영역들로 분리되고, 2개의 영역들을 분리하는 에지가 어느 영역에 속하는 지가 결정된다. 에지를 포함하는 영역이 인접 영역보다 관찰자에게 더 근접하다는 규칙에 따라 영역들의 깊이가 순서화되고, 영역들에 대해, 3D 깊이 정보는 영역들의 설정된 깊이 순서에 따라 지정된다. 바람직하게는, 영역들의 각각에 대해, 영역의 평균 혹은 미디안 포커싱 특성에 종속하여 깊이가 지정된다.

스테레오스코픽 화상 디스플레이, 포커스 특징들, 클러스터링, 깊이 순서화, 휘도 에지, 블러 반경, 카메라 캘리브레이션, 디스패러티, 휴리스틱, 깊이 맵

Description

스테레오스코픽 화상 디스플레이 방법 및 장치, ２Ｄ 화상 데이터 입력으로부터 ３Ｄ 화상 데이터를 생성하는 방법, 그리고 ２Ｄ 화상 데이터 입력으로부터 ３Ｄ 화상 데이터를 생성하는 장치{Stereoscopic image display method and apparatus, method for generating 3D image data from a 2D image data input and an apparatus for generating 3D image data from a 2D image data input}

본 발명은 스테레오스코픽 화상 디스플레이 방법과 관련되고, 2D 화상 데이터는 3D 화상 데이터로 변환되고, 포커스(focus) 정보는 2D 화상 데이터로부터 추출되어, 3D 화상 데이터를 생성하기 위해 사용된다.

본 발명은 또한 2D 화상 데이터의 입력 그리고 2D 화상 데이터 입력을 3D 화상 데이터로 변환하기 위한 변환기(converter)를 포함하는 스테레오스코픽 화상 디스플레이 디바이스에 관한 것이고, 상기 변환기는 2D 화상 데이터로부터 포커스 정보를 추출하기 위한 포커스 정보 추출기를 포함한다.

본 발명은 또한 화상 디스플레이 데이터 변환 방법에 관한 것이고, 2D 화상 데이터는 3D 화상 데이터로 변환되고, 포커스 정보는 2D 화상 데이터로부터 추출되어 3D 화상 데이터를 생성하기 위해 사용된다.

본 발명은 또한 3D 화상 신호에 관한 것이다.

본 발명은 또한 컴퓨터 배치에 의해 로딩되는 컴퓨터 프로그램 제품에 더 관 한 것이고, 2D 화상 데이터 입력을 기초로 3D 화상 데이터를 생성하기 위한 명령들을 포함하고, 컴퓨터 배치는 프로세싱 수단을 포함한다.

개시 문단에서 기재된 종류의 스테레오스코픽 화상 디스플레이 방법 및 디바이스는 EP 1 021 049에 개시된다. EP 1 021 049에서, 3D 비디오 화상은 2D 비디오 입력으로부터 생성된다. 알려진 디바이스 및 방법은, 2D 비디오 입력으로부터 추출되는 포커스 정보를 기초로 결정되는 전경/배경 구별 회로를 사용한다. 패럴랙스(parallax) 제어 신호는 에지 검출에 기초하여 출력되고, 선명한 에지들이 3D 화상의 전경에 위치된다.

알려진 방법 및 디바이스가 비교적 단순한 디바이스 및 방법을 제공하지만, 렌더링되는 3D 화상들이 종종 혼란된 화상들이 되고, 3D 효과와 같은 비전의 깊이를 구별하기 어려운 것이 발견되었다.

본 발명의 목적은 2D 화상 입력을 기초로 3D 화상 렌더링을 향상시키는 것이다.

이를 위해, 본 발명에 따른 방법은, 포커스 특징에 기초하여, 화상이 2개 이상의 영역들로 분리되고, 화상의 어느 영역에 2개의 영역들을 분리하는 에지가 속하는 지가 결정되고, 깊이 순서(depth order)는, 에지를 포함하는 영역이 인접 영역보다는 관찰자에 더 근접하게 있다는 규칙에 따라 영역들 사이에 설정되고, 이들 영역들에게 3D 깊이 정보가 영역들의 설정된 깊이 순서에 따라 지정된다.

EP 1 021 049의 종래 방법에서, 에지 검출이 또한 수행된다. 선명한 에지들 이 전경에 배치된다. 이 방식은, 그러나, 때때로, 실제에 전경에 있는 화상의 부분들에 배경 패럴랙스가 주어지고, 배경이 포커스되고 전경이 비포커스(out-of-focus)되는 경우 그 반대가 발생하므로, 혼란스러운 결과들을 제공한다. 이것은 혼란스러운 화상들을 제공하고, 패럴랙스 정보는 관찰자에게, 3D 화상의 특정 부분들이 전경에 있고 다른 부분들이 배경에 있다는 큐(cue)를 제공하지만, 화상의 실제 컨텐트는, 예를 들어, 패럴랙스 큐에 따른 전경이 실제 컨텐트에 따른 배경인 것과 같다는 완전 반대 큐를 관찰자에게 제공한다.

그 후, 3D 감각은 혼란스러워지고, 특히, 알려진 방법에 의해 주어진 깊이 큐가 보통 제한적이므로, 종종 유실된다. 인간 두뇌가 불완전한 깊이 큐로부터도 스테레오스코픽 감각을 재구성할 수 있슴이 가정된다. 종래 기술의 방법 및 디바이스의 깊이 큐들은, 그러나, 종종 서로 안 맞고, 예를 들어, 일부 장면들에서, 깊이 큐들이 정확하고, 그 후 갑작스러운 쉬프트(shift)가 있어서 깊이 큐들이 충돌하고, 전경 형상이 배경 나무 뒤에 숨을 수 있는 것과 같이, 장면마다 변화될 수도 있다. 그 때 깊이 감각은 유실되고, 깊이 큐들 간에 적어도 매우 성가신 충돌이 관찰자에 의해 인지된다.

본 발명에 따른 방법은 이 문제를 해결하거나 또는 적어도 감소시킨다. 화상은, 예를 들어, 블러(blur) 반경과 같은 포커스 정보에 기초하여 영역들에서 분리된다. 화상의 화소들 혹은 블럭들은 유사한 포커스 특성들을 갖는 다수의 영역들로 클러스터링된다. 예를 들어, 블럭 당 평균 블러와 같은 포커스 정보에 기초하여, 화상은 2개 이상의 영역들로 분리되고, 각각의 영역은 포커스 특성들을 평균화한다. 어느 영역으로 2개의 영역들을 분리하는 에지가 속하는 지가 결정된다. 이것은, 예를 들어, 검출된 에지의 선명도(블러)와 이 에지의 어느 한쪽과 경계를 갖는 영역들의 평균 블러를 비교하여 수행될 수 있다. 블러 에지는 높은 블러를 갖는 경계 영역에 속하고, 선명한 에지는 낮은 블러를 갖는 영역에 속한다. 깊이 순서화는 영역들에 대해 수행되고, 에지를 포함하는 영역이 인접 영역보다 더 관찰자에 근접하다는 규칙이 뒤따른다. 3D 정보는 깊이 순서화에 따라 영역들에 지정된다. 그러므로 화상의 다양한 영역들은 깊이 층들을 형성한다. 화상을 영역들로의 분리는 화소들 혹은 블럭들을 영역들로 클러스터링하여 수행된다. 이 클러스터링이 화소마다의 기반으로 수행될 수 있지만, 화상을 영역들로 분리 전에, 화소들의 블럭 당 포커싱 특성이 결정되고, 블럭들이 영역들로 클러스터링될 때, 더 견고한 결과들이 얻어짐이 발견되었다. 블럭들은, 보통 m x n, 여기서 n과 m은 통상 2, 4, 8, 혹은 16인 n x m 화소들을 갖는 화상의 작은 부분들이다.

공지된 방법과 비교하여 본 방법의 이점은, 예를 들어, 사람이 부분적으로 꽃 배치 뒤에 앉혀져 있는 화상에 대해 명료하다. 사람이 포커스되고, 꽃 배치는 그렇지 않다. 공지된 방법을 사용하면, 포커스되어 선명한 화상 에지들을 갖는 사람에 패럴랙스가 주어져, 전경 그리고 블러링된 에지를 갖는 꽃 배치를 나타내는 화상 부분에 배경에 대응하는 패럴랙스가 주어진 것처럼 보이도록 한다. 이것은, 사람이 부분적으로 꽃 배치 뒤에 있고 그 반대가 아니므로 실제 상황과 충돌한다. 공지된 방법 및 디바이스는 그러므로, 2개의 충돌하는, 사실상 비타협적인, 깊이 큐들로 관찰자와 대면한다. 사람을 꽃 배치 앞의 전경에 놓는 패럴랙스 깊이 큐는, 꽃 배치 뒤에 앉은 사람을 나타내는, 화상 정보 깊이 큐와 상충한다.

본 발명에 따른 방법은 상충하는 깊이 큐들을 제공하지 않는다. 본 화상은 영역들로 분리되어, 예를 들어, 사람을 포함하는 포커스 영역 그리고 꽃 배치를 포함하는 비포커스 영역과 같은, 적어도 2개의 영역들을 포함한다. 꽃 배치를 포함하는 영역들 그리고 사람을 포함하는 영역을 분리하는 에지들은 꽃 배치의 블러링된 에지들에 의해 형성된다. 그러므로, 꽃 배치를 포함하는 화상의 영역은, 2개의 영역들을 분리하는 에지를 포함하는 영역이 다른 영역보다 관찰자에 더 근접하다는 규칙에 따라 전경에 배치된다. 블러링된 에지들에 의해 경계가 되는 비포커스 배경 영역들은, 포커스된 배경 영역들 앞에 배치된다. 그러므로, 포커스된 사람 앞에 비포커스 전경 꽃 배치의 2개의 영역들이 존재하면, 정확한 패럴랙스가 이들 두 영역들 모두에 지정된다. 비포커스 전경 꽃 배치, 포커스된 사람, 및 비포커스 배경의 3개의 영역들이 존재하면, 정확한 3D 정보가 이들 3개의 영역들에 대해 제공된다. 본 발명에 따른 방법의 결과들이, 본 예에서, 깊이 순서화가 전경에 선명한 에지들을 배치하여 이루어짐을 나타내는, EP 0 121 049의 개시의 핵심에 반하는 결과들을 제공함이 강조된다.

바람직하게는, 3D 깊이 정보는 영역들의 포커싱 특성들에 종속하여 지정된다. 평균 포커싱 특성들은 영역들 간의 깊이 차이에 대한 단서(clue)를 제공한다. 이것은 3D 효과를 향상시키기 위해 사용될 수 있다.

바람직한 실시예들에서, 영역들의 수는 3 혹은 2이다. 화상의 화소들 혹은 블럭들을 2개 혹은 3개의 영역들로 클러스터링하는 것은 단지 제한된 계산 능력만을 요구하면서, 우수한 결과들을 제공함이 증명되었다. 대부분의 화상들은 포커스된 부분 그리고 비포커스 부분을 가지며, 비포커스 부분은 종종 전경이되고, 종종 배경이 되어서, 2개의 영역들이 종종 충분하도록 한다. 종종, 비포커스 부분은, 예를 들어, 전경 나무, 배경 숲, 그리고 중간 포커스된 영역과 같은 전경 및 배경 부분을 포함하고, 이 경우, 3개의 영역들이 보통 충분하다.

바람직한 일 실시예에서, 통계 분포는 화상의 화소들 혹은 블럭들의 포커싱 특징들로 만들어지고, 영역들의 수는 통계 분포에 종속하여 결정된다.

블러 반경과 같은 포커싱 특성들이 종종 제한된 수의 피크들(peaks) 주위에 클러스터링되고, 일부는 작은 블러 반경, 즉, 포커스된, 혹은 거의 포커스에 대응하고, 더 큰 블러 반경들의 다른 것들은, 화상의 비포커스 부분들에 대응함이 발견된다. 이들 통계 데이터의 사용은, 영역이 분리될 수 있는 영역들의 수의 신속한 결정을 허용한다.

본 발명에 따른 화상 디스플레이 디바이스는 본 발명에 따른 방법 단계들을 수행하는 수단을 포함하다.

본 발명은 본 발명에 따른 방법 단계들을 수행하는 수단을 포함하는 송신기에 구현된다.

본 발명의 이들 및 다른 목적들은 이하 설명되는 실시예들을 참조하여 명료해질 것이다.

도 1은 얇은 렌즈 모델을 나타낸다.

도 2a 내지 도 2c는 블러 반경을 결정하기 위한 가능한 방법을 나타낸다.

도 3은 블러 반경과 포커스 평면 사이의 관계를 나타낸다.

도 4는 블러 반경들의 통계 분포를 나타낸다.

도 5a 및 도 5b는 영역들을 결정하는 방법을 나타낸다.

도 6은 어느 영역들에 에지가 속하는 지를 결정하기 위한 방법을 나타낸다.

도 7은 본 발명에 따른 방법을 나타낸다.

도 8은 본 발명에 따른 디스플레이 디바이스를 나타낸다.

도 9는 본 발명에 따른 전송기(transmitter)를 나타낸다.

도면들은 치수대로 도시되지 않았다. 일반적으로, 동일한 컴포넌트들은 도면들에서 동일한 참조 부호들로 나타내진다.

볼록형 얇은 렌즈들과 같은, 단순한 광학 시스템에서, 렌즈들로부터 특정 거리에 있는 객체들은 화상 평면 상에 명료하게 나타내지고(객체들이 포커스에 있슴), 한편 다른 거리들에 있는 객체들은 포커스 평면으로부터의 이들의 거리에 비례하여 블러링되게 매핑된다(객체들이 비포커스됨). 포인트 소스에 대한 후자 경우는 도 1에 도시된다.

블러링은 얇은 렌즈 공식에 따른다:

는 렌즈의 포커스 길이(focal length)를 나타내고,

은 객체 거리이고,

는 화상 거리이다. 도 1의 기하학적 관계들 및 렌즈 공식으로부터, 거리

에 대한 공식이 유도될 수 있다:

여기서,

는, 포인트들이 포커스되는 거리를 나타낸다. 파라미터

는 화상 평면에서 렌즈까지의 거리이고, 파라미터

는 렌즈 시스템의 특성에 의해 결정되는 상수이다. 파라미터들

,

,

은, 카메라 캘리브레이션(calibration)으로부터 결정될 수 있는 카메라 파라미터들이다. 그러므로, 객체의 거리

를 추정하는 것은 카메라 파라미터들을 결정하는 것과 블러 반경

을 추정하는 것과 관련이 있다. 그러므로, 화상의 블러, 즉, 포커스 특성 그리고 거리 간의 관계가 있다.

2D-대-3D 변환에서, 디스패러티(disparity)(역 깊이(inverse depth))는, 예를 들어, 렌더링된 뷰들(views)에 대한 패럴랙스가 디스패러티에서 선형이므로, 깊이 자체보다는 더 상대적 양이다. 상기 수식을 사용하여, 포커스 및 비포커스 포 인트들 그리고 블러 반경

사이의 디스패러티 차이들 간의 관계를 발견하는 것이 가능하다.

환언하면, 포커스 평면으로의 디스패러티 차이는 블러 반경에 비례한다. 더욱이, 렌더링된 뷰들에 대한 디스패러티의 양이 보통 사용자의 선호도 및/또는 디스플레이의 가능성들을 수용하기 위해 변할 수 있으므로, 카메라-관련된 상수

의 정확한 결정은 불필요하고, 단지 필요한 것은 한 포커스 특징인 블러 반경의 결정이다. 다음 설명에서, 블러 반경은, 거리와 블러 반경 사이에 단순한 관계가 존재한다는 단순한 이유로 포커스 특성에 대해 취해진다. 그러나, 포커스 특성이 선호되는 블러 반경을 결정하지만, 블러 반경 및 거리 사이의 단순한 관계로 인해, 블러의 다른 방법들이 또한 본 발명의 개념 내에서 결정될 수도 있다.

도 2a 내지 도 2c는 개략적으로 블러 반경

를 결정하기 위한 가능한 방법을 나타낸다. 도 2a에서, 블러 반경

을 갖는 블러 에지가 개략적으로 도시된다. 수평축은 위치를 나타내고, 수직축은 휘도를 나타낸다. 도 2b에서, 너비

를 갖는 가우시안(Gaussian) 필터의 2차 미분인 필터링 함수가 도시된다. 도 2a 및 도 2b의 컨볼루션(convolution)은 2개의 피크들을 갖는 함수를 제공한다. 피크들 간의 거리

는 합리적으로 적절히 측정될 수 있고, 블러 반경

, 필터 너비

, 및 피크 거리

간의 관계는 다음 식과 같다:

이 예시적 알고리즘은 견고하고, 다양한 유형들의 컨텐트에 대해 얻어진 결과들은 우수하다. 각 화소에 대해 다양한 필터 너비들

을 취하면, 각 필터 너비에 대해, 블러 반경

에 대한 값이 발견된다. 화소 당

의 평균 혹은 미디안 값을 취하고 블럭에 대해 평균 혹은 미디안 값을 결정하고, 도 2c에서 부분적으로 더 높은 높이를 갖는 더 공고된 에지들이 견고한 결과들을 제공하기 위해 증명된 더 큰 가중치가 주어진다. 포커스와 비포커스 영역들 간의

에 대한 결정된 값들에서 합리적으로 우수한 구별이 발견된다.

와 블러 반경

간의 관계는 개략적으로 도 3에 도시되고, 수학식(4)에 의한다.

파라미터들

및

가 캘리브레이션으로부터 알려지면, 일단 블러 반경

이 알려지면, 포커스 평면으로의 절대 거리의 실제 추정이 이루어질 수 있다. 이것은, 블러링된 객체가 포커스 평면 앞에 혹은 뒤에 있는 지의 여부를 나타내지 않으므로, 상이한 포커스 거리들에 대한 또한 적어도 2개의 화상들이 블러 반경

으로부터 실제 깊이 추정을 위해 알려질 필요가 있다. 그러나, 이들 요구사항들은 보통, 예를 들어, 비디오와 같은 무작위로 외부에 주어진 화상 데이터에 대해 알려지거나 혹은 얻을 수 없다. 그럼에도, 화상의 비포커스 영역들과 포커스 영역들 간에 우수한 구별이 만들어질 수 있고, 더 많은 영역들이 존재하면, 다양한 영역들 간에 구별이 될 수 있다.

디스패러티 차이와 블러 반경 간의 공식이 디스패러티 차이의 절대값과 블러 반경 간의 관계를 제공하므로, 이 수학식은 2개의 분리된 해들을 갖는다. 블러 반경

의 동일한 값들이 더 근접하거나 더 먼 객체로부터 결과될 수 있으므로, 블러 반경

의 2개의 상이한 값들의 결정이 깊이 순서화를 가능하게 하지는 않는다. 도 4에서, 이것은 개략적으로 블러 반경

(

혹은

)에 대해 2개의 상이한 값들에 대해 도시된다. 윈칙적으로, 가능한 화상 평면들의 4개의 상이한 가능한 조합들이 존재한다.

도 4는 화상 내에 블럭들에 대해 블러 반경들의 통상적 분포를 나타내고, 수평축은 특정 블러 반경을 갖는 블럭들의 퍼센티지를 나타낸다. 명백히

및

의 값들로 피크들에 중심된 2개의 모드들은 화상의 포커스 및 비포커스 부분들에 대응하여 본 예에서 구분될 수 있다. 그러나, 그런 분포만으로 2개의 이유들로 정확한 깊이 순서화를 제공할 수 없다. 제 1 이유로서, 도 3과 관련되어 설명된 것처럼, 하나 이상의 해가 가능하므로, 도 3에서 피크들에 대응하는 화상 평면들의 실제 상대 위치에 대해 모호성이 존재한다. 제 2 이유로서,

의 분포에서 피크들이 매우 넓다. 이것은, 각 모드에서(즉, 비포커스 영역) 블러 반경의 차이(도 3에서 피크들의 분산)가 모드들 간의 블러 반경 차이들을 초과할 것이므로, 실제 블러 값들이 높은 수치적 불확실성을 가지며 깊이 순서화 정보를 유도하기 위해 부적절할 수 있슴을 나타낸다. 깊이 순서화에 대해 결정하기 위해 단지 블러 반경의 실제 수치적 값들을 사용하므로, 각 블럭의 깊이 순서화는 많은 양의 잡음을 도입한다.

그럼에도 불구하고, 신뢰성이 있는 깊이 순서화를 얻기 위해, 본 발명에 따 른 방법 및 디바이스는 2개의 단계들을 실행한다.

제 1 단계에서, 화상의 화소들 혹은 블럭들은 이들의 포커싱 특성에 기초하여 클러스터링되어, 화상 내에 영역들을 형성한다. 본 발명의 가장 넓은 범위 내에, 또한 화소들이 클러스터링될 수 있다. 그러나, 화소들에 대한

의 값들에서 분산은 블럭들에 대해 보다 더 크다. 포커싱 특성을 클러스터링하기 전에, 주어진 예들에서, 블러 반경

에 대한 평균 혹은 미디안 값이 블럭 기반으로 지정되고, 블럭들이

대한 블럭 값들의 기반으로 영역들로 클러스터링될 때, 더 견고한 결과들이 얻어진다. 각 영역에, 평균 혹은 미디엄 블러 반경이 지정된다. 클러스터링은 다양한 방식으로 수행될 수 있다.

항상 화상을 휴리스틱(heuristic) 초기 클러스터링으로부터 시작하여 2개 이상의 클러스터들로 분리하는 단순한 반복적 클러스터링 알고리즘이 사용될 수 있다. 하나, 둘, 혹은 그 이상의 클러스터들이 존재하는 지에 대한 결정은 클러스터들의 특성들의 유사성에 기초한다.

도 5a 및 도 5b는 그런 방법을 나타내고, 2개의 큰 영역들이 있고, 한 영역은 다소간에 중앙에서 포커스되고, 비포커스 영역에 의해 둘러싸였다는 것이 가정된다. 초기 클러스터링은, '배경' 클러스터 C₂의 좌, 우, 및 상단 경계(즉, 화상의 1/4)에 블럭들을 할당하고, '전경' 클러스터 C₁에 나머지 화소들을 할당하는 것으로 구성된다(도 5a 참조). 이 선택은 배경 모션 모델 추정에 대한 블럭들의 선택으로부터 발생한다. 휴리스틱에서, 관심의 객체(보통 전경)가 화상의 중심 어딘 가에 있고, 화상의 경계들이 관심의 객체를 포함하지 않음이 기대된다. 배경 모션 모델 추정에 대해, 중심의 관심의 객체가 전경임이 가정된다. 그러나, 클러스터링 단계에서 그런 가정을 하는 것이 불필요하다. 그러나, 대부분의 시간에, 중심 클러스터가 포커스됨이 관찰되었다.

초기 클러스터링은 다소 조악하고 휴리스틱에 기초하므로, 각 클러스터에 대해 블러 반경들의 초기 추정들을 얻기 위한 견고한 방법이 다음과 같다.

클러스터들 내에 일정하게 분포된 다수의 특징 포인트들(이 경우, 28)이 선택된다. 클러스터의 초기 블러 반경 값

및

각각은 모든 이들 특징 포인트들의 블러 반경들

의 미디안이다.

그 후, 반복적 과정이 이 클러스터를 세밀화하기 위해 수행된다.

단계 1: 블럭들을 재지정한다. 화상에 대해 스윕(sweep)이 만들어지고, 클러스터 경계 상의 각 블럭 B는, 그 자신의 평균 포커스 추정으로의 최소 편차를 갖는 클러스터로 지정된다.

단계 2:

및

에 대한 값들을 업데이트한다. 블럭들은 클러스터들 C₁ 및 C₂에 재지정되어, 새로운 평균 혹은 미디안 클러스터 블러 반경들

및

은 2개의(또는 그 이상이 존재하면 더 많은) 클러스터들의 각각에 대해 계산되도록 한다.

단계 3: 반복한다. 새로운 스윕이 민들어진다, 단계 1 참조.

이 프로세스는 몇 번(통상 4번)의 반복 후 수렴한다.

도 5b는 그런 반복의 결과를 나타낸다: 미디안 블러 반경

을 갖는 전경 영역 C₁ 그리고 미디안 블러 반경

을 갖는 배경 영역 C₂의 2개의 영역들이 형성된다.

통상, 이 방법은 비포커스 영역과 포커스 영역들의 2개의 영역들을 제공한다. 이들 영역들은 연결될 필요가 없다. 즉, 포커스 영역들은, 비포커스 영역과 같이, 2개의 분리된 서브 영역들을 포함할 수 있다. 통계가 3개 영역들의 증거, 즉,

분포에서 3개의 피크들을 나타낼 때, 3개의 영역들로 시작하는 것이 가능하다. 또한, 초기 클러스터링은

도식에서 피크들을 결정하여, 최상의 매칭

로 피크에 각 블럭을 단순히 지정하여 발견될 수 있다.

일단 화상이 영역들 C₁, C₂, C₃ 등으로 분리되면, 영역들의 각각에 영역 블러 반경

을 지정하는 것이 가능하다. 본 발명에 따른 방법 및 디바이스에서 다음 단계는, 영역들의 상호 위치, 즉, 어느 영역이 어느 영역 앞에 있는 지가 결정한다. 깊이 순서화에 대한 결정이 만들어져야 한다. 이를 위해, 에지가 가장 앞에 있는 객체에 속한다는 원칙을 사용한다. 도 6은, 이 원칙으로부터 어느 에지가 어느 영역들에 속하는 지를 구별하기 위한 방법을 개략적으로 나타낸다. 도 6은 수평축을 따라 x 혹은 y 좌표, 혹은 2개의 영역들 간의 천이에 수직인 좌표와 같은 위치 파라미터들을 나타낸다. 수직으로, 블러 반경이 도시된다. 도 6에, 블러 반경

에 대한 낮은 값을 갖는 포커스 영역과

에 대한 높은 값을 갖는 비포커스 영역 간의 천이가 개략적으로 도시된다. 너비 W는 개략적으로 에지의 블러를 나타낸다. 비 포커스 에지는 포커스 에지보다 더 큰 너비 W를 가질 것이다. 개략적으로, 이것은 작은 W를 가져서 선명한 천이를 갖는 도 6의 상단 부분에 도시되고, 하단 부분은 큰 너비 W와 그러므로 블러링된 천이를 나타낸다. 그러므로, 상단 부분에서, 영역들 C₁과 C₂를 구별하는 에지는 낮은 블러 반경

을 갖는 영역 C₁에 속한다. 그러므로, 영역 C₁은, C₁(F)로 도면에 표시되는 전경이다. 영역 C₂는 C₂(B)로 표시되는 배경이다. 하단 부분에서, 너비 W는 크다. 영역들 C₁ 및 C₂를 분리하는 에지는 높은 블러 반경

을 갖는 영역 C₂에 속한다. 그러므로, "블러링된" 영역 C₂는, C₂(F)에 의해 도 6에 표시된 전경이다. 영역 C₁은 C₁(B)에 의해 표시된 배경이다. 영역들 간의 천이 선들에 수직인 선들을 따라 다양한 측정 포인트들을 취하고, 평균을 취하거나, 또는 각 측정 포인트에 대해 에지가 속한 것 같은 영역을 결정하고 상이한 측정들 간에 보팅(voting)하여, 에지가 포커스 영역에 속하는 지가 쉽게 발견되고, 이 경우, 포커스 영역은 비포커스 영역의 앞에 놓이거나, 또는 에지가 포커스 영역에 속하면, 이 경우, 포커스 영역은 비포커스 영역의 앞에 놓인다. 환언하면, 너비 W는 단지 한 영역의

에 종속되고, 적어도 다른 영역의

에 거의 종속되지 않는다. 이 특성은 2개의 영역들을 분리하는 에지가 어느 영역들에 속하는 지를 결정하기 위해 사용될 수 있다.

이것은 에지가 어느 영역에 속하는 지를 설정하기 위한 방법의 일례이다.

상이한 한 방법은, 예를 들어, 화상을 분할하여, 즉, 영역들 간의 천이들 근 처의 화상의 휘도 혹은 칼라 에지들을 발견하여, 선행하는 클러스터링 단계에 이어 영역들 간의 에지들과 이들을 비교하는 것이다.

휘도 분할을 사용하여, 상이한 방법들은 어느 에지가 어느 영역들에 속하는 지를 발견하기 위해 사용될 수 있다. 한 가지 방법은 영역들 간의 천이 근처에 다양한 영역들에서 휘도 에지들의 배향을 살피는 것이다. 영역들 간의 천이에 대응하는 휘도 에지는 단지 전경 화상에 의해서만 결정되고, 전경 화상에 속하는 에지 혹은 에지들은 종종 천이를 따른다. 즉, 이들은 천이에 평행한다. 배경의 휘도 에지들은 천이에 관계를 갖지 않는 경향이 있다.

또 다른 방법은 다음과 같다: 화상은 상술된 것처럼 포커스에 기초하여 분할되고, 휘도 에지들은 영역들 간의 천이들 근처에서 발견된다. 2개의 상이한 방식들로 영역들 간의 에지를 결정하여, 휘도 분할하여 그리고 블러 반경에 기초하여 클러스터링하여, 에지가 어느 영역에 속하는 지를 설정할 수 있다. 이상적으로, 2개의 결정들은 완전히 일치할 것이지만, 이것은 그렇지 않다. 전체 에지 혹은 적어도 에지의 주 부분에 전경 객체에 속하는 에지의 블러 반경을 지정하므로, 블럭들의 클러스터링이 평균으로 휘도 에지를 약간 초과하기까지 에지가 속하는 영역을 확장하는 경향이 있슴이 발견되었다. 이것은 그러므로, 상기 클러스터에 속하는 에지를 포함하기 위해 클러스터링된 영역을 확장하는 클러스터링에서 작은 바이어스(bias)이다. 휘도 분할에서, 영역들 간의 천이가 이 영역들을 분리하는 에지의 중간에 도시되므로, 이 바이어스는 휘도에서 단지 차이들이 고려될 때 에지들의 결정에 대해 발생하지 않는다. 그러므로, 상술된 것처럼 블러 반경 결정에 기초하는 클러스터링 방법이 상기 영역에 속하는 에지를 영역으로 포함하기 위한 클러스터링된 전경 영역의 경계를 초과하여 확장하는 경향이 있으므로, 에지의 결정된 위치에서 작은 차이가 존재하고, 그런 초과 확장하는 경향은 단지 휘도 분할에 기반하여 결정되는 에지들에 대해 존재하지 않는다. 환언하면: 휘도 분할은 휘도 천이의 정확한 중간에 에지를 놓고, 클러스터링 분할은 전경 영역의 크기를 과대 추정한다. 이 효과는 또한 형태적 팽창이라고도 불리운다. 즉, 클러스터링은 조금 팽창하고, 전경 객체의 형태를 크기에서 증가시킨다. 클러스터링 방법의 이 바이어스는 전경 객체 에지들을 배경 클러스터로 도시한다. 이 보기에 부정적 효과는 휘도 분할에 의해 결정되는 에지와 블러 반경 분할에 의해 결정되는 동일한 에지를 비교하여 우수한 사용이 될 수 있다. 이것은 에지가 어느 영역에 속하는 지를 설정하는 것을 허용한다. 블러 반경 결정 혹은 더 구체적으로 포커스 특성들의 결정은 대안적 알고리즘들을 사용하여 수행될 수 있다. 클러스터링을 위한 대안적 알고리즘들이 또한 사용될 수 있다. 사용된 알고리즘들에 종속하여, 그렇게 결정된 전경 영역은 휘도 에지들에 의해 결정되는 에지에 대해 과도 확장 혹은 축소 확장될 것이다. 양쪽 경우들 모두에서, 휘도 분할에 의해 결정되는 영역들 그리고 포커스 특성들의 클러스터링에 의해 결정되는 영역들을 비교하여, 에지가 어느 영역에 속하는 지를 결정하는 것이 가능하다.

깊이 순서화는, 무슨 영역이 전경이고 무슨 영역이 배경인 지에 기초하여 단순히 수행될 수 있다. 즉, 패럴랙스에서 고정된 차이는 실제 값들

에 독립적으로, 전경과 배경 영역들, 혹은 최전방, 중간 범위 그리고 배경 영역들을 구별하기 위해 사용될 수 있다.

바람직하게는, 영역들에 대한 블러 반경 추정들은 깊이 혹은 역 깊이 값으로 변환된다. 깊이 순서화 및

값들이 주어질 때, 블러링된 객체들의 디스패러티는, 포커스 객체들, 즉, 최저

를 갖는 영역의 디스패러티와, 전경 및 배경 간의 블러 반경의 상수 시간 차이를 합한 것으로서 고려될 수 있다.

은

의 차이이고, K는 상수이고,

는 포커스 평면이다.

이 매우 작으면,

는 비포커스 평면의

과 같다. 최저 블러 값을 갖는 클러스터에 깊이

가 지정되고, 나머지 모든 클러스터들에는 최저 반경 값을 갖는 클러스터에 대해 이들의 깊이 순서화에 기초하는 깊이 값이 지정된다. 포커스 및 비포커스의 단지 2개의 클러스터들만을 갖는 경우, 전경이 포커스이면 K는 양수이고, 비포커스 영역이 전경이면 음수이다.

단일 화상 블러 반경 추정에 대해, 상수들

및 K는 복구될 수 없다, 이 때문에, 다양한 포커스 세팅들을 갖는 복수의 화상들이 필요할 것이다. 그러나, 렌더링에 대한 깊이 맵(depth map)만을 사용하면, 대부분의 시간에, 깊이 맵은 스크린 능력들 및 사용자의 선호도들에 매칭하기 위해 어쨌든 번역되어 스케일링된다. 자동 스테레오스코픽 디스플레이 디바이스에 대해, 예를 들어, 포커스 영역이 최대로 선명한 화상을 갖기 위해 스크린의 평면에 렌더링되는 방식으로

를 취할 것이다. 그 후, 비포커스 영역은, 깊이 순서화에 종속하여, 스크린의 뒤에 혹은 앞에 렌더링될 수 있다.

도 7은 본 발명에 따른 방법을 도시한다. 입력 2D 신호로부터, 화상 블럭들은 단계 2에서 형성되고, 블럭 포커스 특성들, 예를 들어, 블럭 블러 반경

은 단계 3에서 결정되고, 이들 블럭들은 단계 4에서 2개 이상의 클러스터들로 클러스터링된다. 단계 6에서, 에지 및 영역 간의 관계가 결정된다. 이것은 포커스 특성들로부터 직접적으로 수행될 수 있거나(도 6 참조), 평행하게, 화상은 휘도 분할될 수 있고, 휘도 분할에 의해 얻어진 화상 에지는(단계 5) 단계 6에서 클러스터링에 의해 결정된 에지와 비교되고, 이 결과들의 비교는 어느 에지가 어느 영역들에 속하는 지, 그러므로 어느 영역들이 어느 영역들의 앞에 위치되는 지, 즉, 영역들의 깊이 순서화(단계 7)의 결정으로 유도된다. 예제들에서, 블러 반경이 주어지고, 결과적 3D 출력 신호가 제공되는(단계 9), 바람직한 일 실시예에 따라 포커스 특성들로부터 깊이가 결정된다(단계 8).

도 8은 본 발명에 따른 화상 디바이스를 나타낸다. 화상 디바이스는 방법의 모든 단계들을 수행하기 위한 수단, 즉, 2D 입력 신호를 수신하기 위한 입력(1), 화상 블럭들을 형성하기 위한 형성기(2), 블럭 포커스 특성들을 계산하기 위한 컴퓨터(3), 포커스에 기초하는 화상 영역들을 클러스터링하기 위한 클러스터기(4), 화상 에지 검출기(5), 에지-영역 관계 결정기(6), 깊이 순서기(7), 그리고 깊이 정보 지정기(8)를 갖는다. 더욱이, 화상 디바이스는 3D 디스플레이 스크린(10)에 3D 신호를 출력하기 위한 출력(9)을 포함한다. 그런 디스플레이 디바이스는, 예를 들어, 자동 스테레오스코픽 디스플레이 디바이스일 수 있다.

도 9는 본 발명에 따른 전송기를 나타낸다. 도 8과의 차이점은, 디스플레이 스크린 그 자체가 디바이스의 통합 부분이 아니라는 점이다. 그런 전송기는, 2D 신호를 갖는, 예를 들어, DVD를 판독할 수 있고, 2D 신호를, 분리되어 팔릴 수 있는 3D 디스플레이 디바이스에서 사용하기 위한 3D 신호로 변환할 수 있다. 또한, 전송기는 2D 신호를 갖는 DVD로부터 3D 신호들을 갖는 DVD를 만드는 디바이스일 수도 있고, 그러므로 3D 신호들은 DVD 버너로 제공되거나, 또는 예를 들어 다른 위치로 보내질 수 있다. 영역들에서 화상의 분리 그리고 영역들의 깊이 순서 그리고, 바람직한 실시예들에서, 또한 다양한 영역들의 포커스 특성에 대한 정보를 포함하는 3D 화상 신호들은 또한 본 발명의 실시예들을 형성한다. 상기 정보는 신호의 헤더에 제공될 수 있고, 헤더는, 어느 블럭들이 영역들에 속하는 지, 혹은 영역들 간의 분리 선들, 영역들의 순서, 그리고 바람직하게는 또한, 영역 블러 반경들과 같은 영역들의 포커싱 특성들을 명시한다. 종래 방법들 및 디바이스들로 만들어진 3D 신호는 그런 정보를 포함하지 않는다. 본 발명에 따른 3D 신호는 예를 들어 다음과 같이 생성될 수 있다: 한 고객이 3D 디스플레이 디바이스를 가졌지만 보통 2D 디지털 카메라를 가졌다. 사용자는 2D 홈 비디오 혹은 디지털 화상을 인터넷 사이트로 전송한다. 원래 2D 신호는 3D 신호로 변환되고, 이것은 그의 3D 디스플레이 상에 비디오 혹은 화상을 디스플레이할 수 있는 사용자에게로 다시 전송된다.

요약하면, 본 발명은 다음과 같이 설명될 수 있다:

2D 화상 데이터는 3D 화상 데이터로 변환된다. 포커싱 특성들에 기초하여, 화상이 2개 이상의 영역들로 분리되고, 2개의 영역들을 분리하는 에지가 어느 영역 에 속하는 지가 결정된다. 영역들은, 에지를 포함하는 영역이 인접 영역보다 관찰자에 더 근접하다는 규칙에 따라 깊이가 순서화되고, 영역들에, 영역들의 설정된 깊이 순서에 따라 3D 깊이 정보가 지정된다. 바람직하게는, 영역들의 각각에 대해, 영역의 평균 혹은 미디안 포커싱 특성에 종속하여 깊이가 지정된다.

본 발명은 또한 본 발명에 따른 방법 및 디바이스에 대한 임의 컴퓨터 프로그램 제품에 구현된다. 컴퓨터 프로그램 제품은, 발명의 특성 기능들 중의 임의 기능을 실행하기 위해, 프로세서로 커맨드들을 전송하기 위해, 일련의 로딩 단계들(중간 언어 및 최종 프로세서 언어로의 번역과 같은, 중간 변환 단계들을 포함할 수 있슴) 후에, 프로세서 일반 혹은 특수 목적을 가능하게 하기 위한 명령들의 집합의 임의 물리적 실현임을 이해해야 한다. 더 구체적으로, 컴퓨터 프로그램 제품은, 예를 들어, 디스크 혹은 테이프와 같은 캐리어 상의 데이터, 메모리에 존재하는 데이터, 유무선 네트워크 접속을 통해 전달되는 데이터, 혹은 종이 상의 프로그램 코드로서 실현될 수 있다. 프로그램 코드와 따로, 프로그램에 대해 요구되는 특성 데이터가 또한 컴퓨터 프로그램 제품으로서 구현될 수 있다.

데이타 입력 및 출력 단계들과 같이, 방법의 작업에 대해 요구되는 일부 단계들은 컴퓨터 프로그램 제품에 기재되는 대신에 이미 프로세서의 기능에 존재할 수 있다.

상술된 실시예들이 본 발명을 제한하기보다는 설명하고, 당업자라면, 첨부된 청구범위를 벗어나지 않고 다수의 대안적 실시예들을 설계할 수 있슴을 주목해야 한다.

청구항들에서, 괄호안에 배치되는 임의 참조부호들은 청구항을 제한하는 것으로서 해석되어서는 안 될 것이다.

단어 "포함하는(comprising)"은 청구항에 리스트된 것들 이외의 다른 요소들 혹은 단계들의 존재를 배제하지는 않는다. 본 발명은 여러 구별되는 요소들을 포함하는 하드웨어에 의해, 그리고 적절히 프로그램된 컴퓨터에 의해 구현될 수 있다. 여러 수단들을 열거하는 디바이스 청구항에서, 이들 수단들 중의 여러 수단들은 하드웨어의 단일의 동일한 항목에 의해 구현될 수 있다. 본 발명은 상술된 것처럼 다양하고 상이한 바람직한 실시예들의 특징들의 임의 조합에 의해 구현될 수 있다. 더 구체적으로, 인코딩 방법 혹은 인코더와 관련되어 도시되거나 혹은 주장되는 임의 실시예가, 달리 지시되거나 불가능하지 않는 한, 디코딩 방법 혹은 디코더에 대한 대응하는 실시예를 가지며, 그런 디코딩 방법들 및 디코더는 본 명세서에 주장된 본 발명의 실시예들임이 전술되었다.

Claims (13)

1. 스테레오스코픽 화상 디스플레이 방법에 있어서, 2D 화상 데이터(1)는 3D 화상 데이터(9)로 변환되고, 포커스(focus) 정보(

   

   )는 상기 2D 화상 데이터로부터 추출되어 상기 3D 화상 데이터를 생성하기 위해 사용되고, 포커스 특성들(

   

   )에 기초하여, 상기 화상은 포커싱 특성(

   

   ,

   

   )을 갖는 2개 이상의 영역들(C₁, C₂)로 분리되고(4), 2개의 영역들을 분리하는 에지가 화상의 어느 영역에 속하는 지가 결정되고(6), 에지를 포함하는 영역이 인접 영역보다 관찰자에 근접하다는 규칙을 따르는 상기 영역들 사이에 깊이 순서가 설정되고(7), 상기 영역들에 대해, 상기 영역들의 설정된 깊이 순서에 따르는 3D 깊이 정보가 지정되는, 스테레오스코픽 화상 디스플레이 방법.
2. 제 1 항에 있어서, 상기 화상을 영역들로 분리하기 전에, 포커싱 특성은 블럭 기반으로 지정되고(3) 상기 블럭들은 영역들에 클러스터링되는(4), 스테레오스코픽 화상 디스플레이 방법.
3. 제 1 항에 있어서, 상기 3D 깊이 정보는 상기 영역들(C₁, C₂)의 상기 포커싱 특성들(

   

   ,

   

   )에 종속하여 지정되는(8), 스테레오스코픽 화상 디스플레이 방법.
4. 제 1 항에 있어서, 상기 화상은 2개의 영역들(C₁, C₂)로 분리되는, 스테레오스코픽 화상 디스플레이 방법.
5. 스테레오스코픽 화상 디스플레이 방법에 있어서, 상기 화상은 3개의 영역들(C₁, C₂, C₃)로 분리되는, 스테레오스코픽 화상 디스플레이 방법.
6. 스테레오스코픽 화상 디스플레이 디바이스에 있어서, 2D 화상 데이터에 대한 입력(1) 그리고 상기 입력 2D 화상 데이터를 3D 화상 데이터로 변환하기 위한 변환기를 포함하고, 상기 변환기는 상기 2D 화상 데이터로부터 포커스 정보를 추출하기 위한 포커스 정보 추출기(3)를 포함하고,

   상기 디바이스는, 포커스 특성들에 기초하여 상기 화상을 포커싱 특성을 갖는 2개 이상의 영역들로 클러스터링하기 위한 클러스터(4), 분리하는 영역들이 상기 화상의 어느 영역에 속하는 지를 결정하기 위한 결정기(6), 에지를 포함하는 영역이 인접한 영역보다 더 관찰자에 근접하다는 규칙을 따르는 상기 영역들의 깊이 순서화를 위한 깊이 순서기(7), 그리고 상기 화상을 디스플레이하기 위한 디스플레이(10)를 포함하고, 상기 영역들의 명백한 깊이는 상기 깊이 순서화에 따르고,

   제 6 항에 기재된 것처럼 스테레오스코픽 화상 디스플레이 디바이스는, 상기 화상을 영역들로 분리하기 전에, 블럭 기반으로 포커싱 특성을 계산하기 위한 계산기(3)를 포함하고, 상기 클러스터(4)는 상기 블럭들을 영역들로 클러스터링하기 위 해 배치되는, 스테레오스코픽 화상 디스플레이 디바이스.
7. 제 6 항에 있어서, 상기 디바이스는 영역 천이들 근처에 휘도 에지들을 검출하기 위한 검출기(5)를 포함하는, 스테레오스코픽 화상 디스플레이 디바이스.
8. 제 6 항에 있어서, 상기 디바이스는 상기 영역들의 포커싱 특성을 기반으로 깊이 정보를 영역들에 지정하기 위한 깊이 정보 지정기(8)를 포함하는, 스테레오스코픽 화상 디스플레이 디바이스.
9. 화상 디스플레이 데이터 변환 방법에 있어서, 2D 화상 데이터는 3D 화상 데이터로 변환되고, 포커스 정보는 상기 2D 화상 데이터로부터 추출되어 상기 3D 화상 데이터를 생성하기 위해 사용되고, 포커스 특성들(

   

   )에 기초하여, 상기 화상은 포커싱 특성(

   

   ,

   

   )을 갖는 2개 이상의 영역들(C₁, C₂)로 분리되고(4), 2개의 영역들을 분리하는 에지가 화상의 어느 영역에 속하는 지가 결정되고(9), 에지를 포함하는 영역이 인접 영역보다 관찰자에 근접하다는 규칙을 따라 상기 영역들 사이에 깊이 순서가 설정되고(7), 상기 영역들에 대해, 상기 영역들의 설정된 깊이 순서에 따르는 3D 깊이 정보가 지정되는, 화상 디스플레이 데이터 변환 방법.
10. 제 9 항에 있어서, 상기 3D 깊이 정보는 상기 영역들(C₁, C₂)의 상기 포커싱 특성들(

    

    ,

    

    )에 종속하여 지정되는(8), 화상 디스플레이 데이터 변환 방법.
11. 상기 화상을 2개 이상의 영역들로의 분리, 상기 영역들의 깊이 순서화, 및 상기 영역들의 각각에 대한 평균 포커스 특성에 대한 정보를 포함하는 3D 화상 신호.
12. 전송기(transmitter)에 있어서, 2D 화상 데이터에 대한 입력(1) 그리고 상기 입력 2D 화상 데이터를 3D 화상 데이터로 변환하기 위한 변환기를 포함하고, 상기 변환기는 상기 2D 화상 데이터로부터 포커스 정보를 추출하기 위한 포커스 정보 추출기(3)를 포함하고,

    상기 디바이스는, 포커스 특성들에 기반하여 상기 화상을 포커스 특성(

    

    ,

    

    )을 갖는 2개 이상의 영역들(C₁, C₂)로 클러스터링하기 위한 클러스터(4), 2개의 영역들을 분리하는 에지가 상기 화상의 어느 영역에 속하는 지를 결정하기 위한 결정기(6), 에지를 포함하는 영역이 인접한 영역보다 더 관찰자에 근접하다는 규칙을 따르는 상기 영역들의 깊이 순서를 위한 깊이 순서기(7), 그리고 3D 화상 신호를 출력하기 위한 출력(9)을 포함하고, 상기 영역들에, 3D 깊이 정보가 상기 영역들의 설정된 깊이 순서에 따라 지정되는, 전송기.
13. 컴퓨터 배치에 의해 로딩되는 컴퓨터 프로그램 제품에 있어서, 2D 화상 데이 터 입력에 기초하여 3D 화상 데이터를 생성하기 위한 명령들을 포함하고, 상기 컴퓨터 배치는 프로세싱 수단을 포함하고, 상기 명령들은 제 1 항 내지 제 5 항 혹은 제 10 항 내지 제 11 항 중 어느 한 항에 청구된 방법을 수행하기 위해 배치되는, 컴퓨터 프로그램 제품.

Images