KR20140030138A

KR20140030138A - 입체 화상 및 비디오를 생성하는 방법, 시스템, 장치 및 관련 프로세스 로직

Info

Publication number: KR20140030138A
Application number: KR1020137022408A
Authority: KR
Inventors: 도르 기봉
Original assignee: 익스트림 리얼리티 엘티디.
Priority date: 2011-01-23
Filing date: 2012-01-23
Publication date: 2014-03-11
Also published as: US20120176477A1; EP2628303A1; WO2012098534A1; US8928654B2; CA2806520C; CA2806520A1; JP2014504074A

Abstract

본 발명은 2D 화상 또는 비디오로부터 입체 3D 화상 및/또는 비디오를 생성하는 방법, 시스템, 장치 및 관련 프로세스 로직을 포함한다. 본 발명의 일부 실시예에 따르면, 제 1 2D 화상 및/또는 비디오로부터, 2D 보완 화상 및 또는 비디오를 외삽하고 렌더링하고, 상기 보완 화상 및/또는 비디오들은 제 1 화상 또는 비디오와, 또는 제 2 보완 화상 또는 비디오와 결합되면, 제 1 화상 또는 비디오에 포착된 장면의 입체 화상을 창출하는 입체 3D 생성 시스템이 제공될 수 있다. 즉, 시스템은 보완 화상 또는 화상들을 생성할 수 있고, 관찰자는 제 1 화상 또는 제 2 보완 화상(상기 제 1 보완 화상으로부터 타 방향으로 이동된)을 일 측 눈으로, 보완 화상은 타 측 눈으로 관찰하게 되고, 상기 화상에서 심도에 대한 착시가 일어난다.

Description

입체 화상 및 비디오를 생성하는 방법, 시스템, 장치 및 관련 프로세스 로직{methods, systems, devices, and associated processing logic for generating stereoscopic images and video}

우선권의 주장:

본 출원은 본 출원의 발명자에 의해 미국 특허청에 2007년 5월 1일 제출된, 미국 특허 출원 번호 11/572, 958 "화상 처리 기반의 3차원의 공간차원을 위한 시스템 및 방법"(이하, "'958 출원")에 대한 부분 계속 출원이며, 2005년 7월 31일 출원된 PCT/IL2005/00813으로부터 우선권의 이익을 주장하며 또한 차례로 2004년 7월 30일 출원된 60/592,136 출원으로부터 우선권의 이익을 주장하며, 상기 출원들의 내용은 참조로서 그 전체가 본 명세서에 통합되어 기술된다.

본 출원은, 2009년 6월 2일 본 출원의 발명자에 미국 특허청에 제출된 미국 특허 출원 번호 12/517,210 "인간 기계 인터페이스에 대한 장치 시스템 및 방법"(이하, "'210 출원") 에 대한 부분 계속 출원으로, 2007년 4월 15일 제출된 PCT/IL2007/000475 로부터 우선권의 이익을 주장하고, 각 내용들은 참조로 그 전체가 본 명세서에 통합되었다.

본 출원은 2011년 1월 23일, 본 출원 발명자에 의해 미국 특허청에 출원된 미국 가출원 61/435,311 "2D에서 3D로의 컨버전"에 대한 우선권의 이익을 주장하며, 본 명세서에 그 전체가 참조적으로 통합된다.

본 발명은 화상 처리에 관한 것으로, 보다 구체적으로, 입체적인 3차원 화상 및 비디오 생성을 위한 방법, 시스템, 장치 및 관련 프로세스 로직에 관한 것이다.

종래 3차원 입체 촬영은 일반적으로 평행한 광축을 구비하고 정렬된 렌즈간 거리가 고정된 트윈 카메라를 이용한다. 상기 트윈 카메라는 일반적으로 한 쌍의 화상을 생성하고, 입체적인 디스플레이(displaying)와 뷰잉(viewing)을 위해 사용되는 종래 기술들에 의해 표시될 수 있다. 상기 기술들은, 일반적으로, 우측 렌즈에 의해 촬영된 화상은 관찰자(viewer)의 우안에 제시되고 좌측 렌즈에 의해 촬영된 화상이 관찰자의 좌안에 제시되는 원리를 기반으로 한다.

예를 들어, 텍사스 인스트루먼트(Texas Instrument Incorporated)에 양도된 미국 특허 6,906,687 "3차원 디스플레이 응용을 위한 디지털 포매터(formatter)"는 우안 및 좌안 양쪽에 대한 디스플레이를 위해, 쿼드러플(quadruple) 메모리 버퍼를 사용하여 처리된 비디오 데이터를 저장하고 읽는 3D 프로젝션 디스플레이를 개시한다. 상기 포매터를 이용하여, 비디오 데이터는 초당 48 프레임의 속도로 처리되고 두배 속도로 독출되어(반복되어) 초당 96 프레임(120 프레임까지)의 플래시 속도를 제공하며, 이는 디스플레이 플리커(flicker) 임계치를 웃도는 값이다. 데이터는 이후 정확하게 이상인(out of phase) 우안 및 좌안 프레임으로 헤드셋이나 고글과 동기화되어 3D화상으로 인지되도록 생성된다.

입체 영화는 다양한 방법들을 통해 생성될 수 있다. 애너그리프(anaglyph) 방식이 1948년 이전에 종종 사용되었으나, 1950년대 3차원 씨네마토그래피 (cinema tography)의 초기 "황금기" 동안, 미국에서는 편광 시스템(polarization system)이 대부분의 장편 영화에 사용되었다. 21세기에, 비록 60년대와 70년대에, 편광 시스템을 구비하지 못한 극장용으로 일부 고전 영화들이 애너그리프로 전환되고, TV에서 3D로 방송되기도 했으나, 편광 3D 시스템은 지속되어 한 장(scene)을 지배하였다. 80년대 중반에는, 일부 영화들은 애너그래피 3D 방식으로 짧은 세그먼트로 제작되었다. 이하는 개발되어 특히 주목할만한 3D 영화 시스템들 중 일부에서 채택하는 기술적 세부사항들과 방법론들의 일부이다.

애너그리프

애너그리프 화상은 극장용 3D를 제공하는 가장 초기 방법이며, 가장 많이, 거의 대부분, 대중적으로 스테레오스코피(stereoscopy)와 관련되며, 만화책이나 3D 텔레비전 방송처럼 극장이 아닌 3D 미디어에서는 편광 시스템이 비실용적이기 때문이다. 애너그리프 화상은 생산과 전시가 용이하여 인기를 끌어왔다. 첫번째 애너그리프 영화는 1915년에 발명되었다. 비록 가장 초기의 극장용 영화는 애너그리프 시스템으로 제공되었으나, 50년대부터 80년대까지 대부분의 3D 영화는 원래 편광방식으로 소개되었다.

애너그리프에서, 2개의 화상은 적색 필터와 청색 필터인 2개의 필터를 통해 추가되는 광 설정에서 겹쳐진다. 감산되는 광 설정에서, 2개의 화상은 흰색 종이 위에서 동일한 보정 컬러로 인쇄된다. 각 눈에서 컬러 필터를 구비한 안경은 필터 컬러를 삭제하고 보정 컬러를 블랙으로 만들어 적절한 화상을 분리한다.

평행 시야(parallel sighting) 또는 양안시차 스테레오 그램(cross-eyed stereogram)이 보다 밝고 정확한 컬러 렌더링, 특히 적색 컴포넌트에서 정확한 컬러 렌더링을 제공하지만, 애너그리프 화상은, 최상의 컬러 애너그리프에서도 적색 컴포넌트가 소거되거나 채도가 감소되지만(포화도가 떨어지며, desaturated), 그러나 상기 방법들에 비해 보기가 쉽다. 일반적으로 애너크롬(Anachrome)으로 알려진 보정 기술은, 상기 기술과 관련하여 특허된 안경에서 약간 더 투명한 청색 필터를 사용한다. 프로세스는 전형적인 애너그리프 화상을 변경하여 시차를 줄이도록 한다.

애너그리프의 일반적인 적색 및 청색 필터 시스템에 대한 대안으로, 컬러코드 3-D 가 존재하며, 이는 NTSC 텔레비전 표준에 따라 애너그리프 화상을 제공하기 위해 발명된 특허받은 애너그리프 시스템으로, 적색 채널이 종종 훼손된다. 컬러코드는 스크린 상에서 황색 및 짙은 청색 보정 컬러를 사용하며, 안경 렌즈의 컬러는 호박색(amber)과 짙은 청색이다.

애너그리프 3D 시스템은 극장용 영화에 사용되는 초기의 시스템으로 전문화된 하드웨어를 크게 요구하지 않는다.

애너그리프는 또한 편광 시스템이 실용적이지 않은 인쇄 매체 및 3D TV 방송에 사용된다. 3D 편광 TV와 타 디스플레이들은 2008년도에 몇몇 제조업자에 의해 이용 가능해졌을 뿐이며, 이는 수신단에서 편광을 생성한다.

편광 시스템

비록 초기 아이맥스 영화들은 이클립스 시스템을 이용하여 제작되었고 60년대와 70년대 고전적인 3D 영화들은 종종 특별히 애너그리프로 전환되었으나, 1952년 브와나 데빌(BWANA DEVIL)에서 사용된 이래로, 편광 3D 시스템은 극장용 영화에서 표준이 되었다. 편광 시스템은 애너그리프 시스템보다 색 충실도(컬러 피델리티, color fidelity)가 우수했으며 고스팅(ghosting) 현상도 적었다.

입체적인 영화를 제공하기 위해서, 2개의 화상이 서로 다른 편광 필터를 통해 동일 스크린상에 겹쳐지게 투사된다. 관찰자는 마찬가지로 다르게 배향된(원편광에서 시계/반시계 방향, 또는 직선 편광에서 90도각으로, 일반적으로 45 도 및 135도)한 쌍의 편광 필터를 구비하는 저렴한 안경을 착용한다. 각 필터가 유사하게 편광된 빛만을 통과시키고 다르게 편광된 빛을 차단하면서, 각각의 눈은 다른 화상을 보게된다. 이것은 동일한 장면을 양안에 투사하여 3차원 효과를 산출하는데 사용되며, 약간 다른 원근으로 묘사된다. 헤드 트래킹(head trakcing) 기술은 포함되어 있지 않은 관계로, 전체 관중이 동시에 해당 입체 화상을 관람한다. 또한, 두가지 렌즈 모두 동일한 컬러를 구비하였으므로, 이전에는 2 개 컬러의 분리로 인해 효력이 없었던, 한쪽 눈을 더 많이 사용하는 약시의 관람객도 3D 효과를 볼 수 있다.

리얼디(RealD)의 경우, 극성을 초당 144번 스위치하는 회전 편광 액정 크리스탈 필터가 프로젝터 렌즈 앞에 위치한다. 좌안과 우안 화상이 교번적으로 표시되므로, 하나의 프로젝터만 필요하다. 소니(Sony)는, 회전 편광된 화상 둘 다를 동시에 보여주는 리얼디 XLS 라고 불리는 새로운 시스템을 이하와 같이 기술한다: 단일의`` 4k 프로젝터(4096*2160 해상도)가 2k(2048*858 해상도) 화상 둘 다를 서로의 상부에서 동시에 표시하며, 특별한 렌즈 장치가 화상을 편광시키고 투사한다.

톰슨 테크니컬러(Thomson Technicolor)는 35mm 초과/미만의 필름을 이용하는 3D에서 종래의 35mm 프로젝터가 투사에 적용될 수 있도록 분리 렌즈(split lens)를 사용하는 시스템을 산출했다. 상기 시스템은 스크린을 전환하는 비용 효율적인 방법으로, 전체적으로 디지털로 전환하기보다는, 렌즈와 금속(은) 스크린만을 필요로 하기 때문이다. 비금속 표면으로부터의 반사는 빛의 편광을 파괴하므로, 상기 시스템에는 금속 스크린이 필요하다.

에드윈 H.랜드가 최초로 영화에 적용한 이래, 편광 입체 영화는 약 1936년 이래로 존재해왔다. 1952년에서 1955년도의 소위 "3-D 영화 대열광"은 거의 전적으로 직선 편광 투사 및 안경을 이용하여 극장에서 제공되었다. 상기 기간 동안 제공된 전체 3D영화의 극소수만이 애너그리프 컬러필터 방법을 사용했다. 직선 편광은 마찬가지로 사용자(소비자, USER) 레벨의 입체 프로젝터에 사용되었다. 편광은 또한 80년대의 3D의 부활의 시대에도 사용되었다.

2000년대에, 컴퓨터 애니메이션, DVD 및 타 매체로부터의 경쟁, 디지털 프로젝션, 및 고도화된 IMAX 70mm 필름 프로젝터의 사용은 편광 3D 영화의 새로운 물결을 창조하는 기회를 맞이하게 되었다.

이클립스 방법

이클립스 방법에서, 역전된 눈 화상이 스크린에 투사될 때 셔터는 각 특정 눈으로부터 빛을 차단한다. 프로젝터는 좌측 및 우측 영상 사이에서 교번하며, 스크린 화상과 동기화되어 뷰어 또는 안경에서 셔터를 개폐한다. 상기 기술은 1922년에 잠깐동안 사용된 텔레뷰 시스템(Teleview system)의 근간이다.

이클립스 방법에 대한 변형은 LCD 셔터 안경에 사용된다. 안경은 액정 크리스탈을 함유하여, 교번적 프레임 시퀀싱 컨셉을 이용하여, 빛이 극장 영화, TV 또는 컴퓨터 스크린의 화상과 동기화 되어 통과하도록 한다. 상기 기술은 nVidia, XpanD 3D 및 초기 아이맥스 시스템에서 사용되는 방법들이다. 상기 방법의 단점은 관람자 각 개인에게, 무선 신호 또는 유선으로 디스플레이 시스템과 동기화되어야 하는 값비싼 전자 안경이 필요하다는 점이다. 셔터 안경은, 비록 가벼운 모델들은 일부 선글라스 또는 특등급의 편광 안경보다 무겁지 않지만, 대부분의 편광 안경보다 무겁다. 그러나, 상기 시스템은 투사되는 화상용으로 실버 스크린을 필요로 하지 않는다.

간섭 필터 기술

돌비 3D는 우안용으로 적색, 녹색, 청색의 특정 파장을 사용하고, 좌안용으로 다른 파장의 적색, 녹색, 청색을 사용한다. 특정 파장을 걸러내는 안경은 착용자가 3D 화상을 볼 수 있게 한다. 상기 기술은 극장에서 가장 일반적으로 사용되는 3D 디스플레이 시스템인 리얼 D와 같은 편광 시스템에서 필요한 값비싼 실버 스크린을 불필요하게 만들었다. 그러나, 상기 기술은 편광 시스템보다 더욱 고가의 안경을 필요로 한다. 본 기술은 스펙트럼 콤 필터링(spectral comb filtering) 또는 파장 멀티플렉스 시각화(wavelength multiplex visualization)으로도 알려져 있다.

최근 도입된 파나비젼 3D 시스템은 또한 상기 기술을 사용하며, 다만 더 광폭의 스펙트럼과 콤(COMB)에 대해 더 많은 이빨(TEETH)(파나비젼 시스템에서 각 눈 당 5개)을 구비한다. 파나비전은 또한 자신들의 안경이 돌비에서 사용되는 안경보다 제작 비용이 저렴하다고 주장한다.

풀프리히( Pulfrich )

풀프리히 현상은, 어두운 렌즈를 통해 바라보는 경우와 같이, 빛이 적을 때 인간의 눈이 좀 더 느리게 화상을 처리하는 현상에 근거한다.

X 포지션(position)에서 시작하여 오른쪽 Y 포지션으로 이동하는 카메라를 가정한다. 관찰자가 좌안에 걸친 어두운 렌즈로 상기 세그먼트를 바라본다면, 그 때 카메라가 Y 포지션에 있을 때 우안이 기록된 화상을 보는 경우, 좌안은 수 밀리세컨드 뒤처지게 되고 X에 기록된 화상을 여전히 바라보게 되며, 따라서 필연적 시차를 생성하여 우안 및 좌안 시각과 3D 지각이 발생하게 되며, 단일 카메라를 이동시켜 정지 영상들이 생성될 때와 거의 마찬가지이다. 상기 효과의 강도는 카메라가 객체에 대한 거리에 대해 얼마나 빨리 이동하느냐에 달여 있어, 속도가 빠를수록 큰 시차가 발생한다. 정지 카메라를 사용하고 지속적으로 다른 정지 객체를 회전시킴으로 해서 유사한 효과를 획득할 수 있다. 이동이 종료되면, 어두운 렌즈를 통해 관찰하는 눈(카메라 이동 방향에 의존하는 눈일 수도 있다)은 따라잡게 되고, 따라서 상기 현상은 사라질 것이다. 본 시스템의 장점은 안경을 착용하지 않고서도 완벽하게 정상의 일반적인 화면을 본다는 것이다.

당연히, 객체의 부수적인 움직임은 가성의 인공적 현상을 창출할 것이며, 부수적 효과는 장면에서 실제 심도(actual depth)와 관련되지 않은 인위적인 심도(artificial depth)로 보여질 것이다. 불행하게도, 풀프리히 현상을 적용하는 많은 경우에 있어서, 상기 효과가 상당히 유발되어 본 기술에 악영향을 주었다. 유일한 움직임이 카메라의 측위 이동일 때, 상기 효과는 여타의 입체 시각과 같이 현실적이며, 고도로 의도되지 않는 한 좀처럼 일어나지 않는 경우이다.

풀프리히 현상이 TV와 컴퓨터 게임에서 가끔 사용되지만, 극장용 영화에서는 가끔 사용된다 하더라도 아주 드물다.

스펙트럼 분리

크로마뎁스(ChromaDepth)는 홀로그래피 필름을 안경에 사용하여 분산 프리즘과 같은 효과를 창출한다. 이로 인해 더 붉은 객체가 더 가깝게, 더 푸른 객체는 더 원거리에 있는 것으로 인지된다.

렌티큘러 또는 배리어 스크린( Lenticular or Barrier Screen )

렌티큘러 프린팅 및 시차 배리어 기술은 동일 시트에 두 개(혹은 그이상)의 화상을 부과하고, 좁게, 스트라이프를 교번하며, 그리고 두 가지 화상 스트라이프 중 하나를 차단하거나(시차 배리어의 경우) 또는 화상 스트라이프를 구부리기 위해 동일하게 좁은 렌즈를 이용하여 전체 화상을 채우는 것처럼 보이게 하는(렌티큘러 프린트의 경우) 스크린을 이용하는 것을 포함한다. 입체 효과를 산출하기 위해, 사람들은 한쪽 눈이 두 가지 화상 중 하나를 보고 나머지 눈은 나머지 화상을 보도록 위치해야 한다. 상기 방법에서 입체 화상을 보는 안경이 필요하지는 않다.

두 가지 화상들은 모두 예각에서 빛을 반사하는 고이득의 골진 스크린에 투사된다. 입체 화상을 보기 위해, 관찰자는 매우 좁은 각도 내에 착석해야 하며 이는 스크린에 대해 거의 수직이며 관람자 규모를 제한한다. 렌티큘러는 1940년에서 1948년 러시아에서 수많은 극작용 단편 영화에 사용되었으며, 1954년에 극장용 장편 영화 크리스탈(Crystal), 머신 22-12(Machine 22-12) 및 얼음위의 연필(The Pencil on Ice)에 사용되었다.

비록 상기 극장용 영화에서의 사용이 보다 제한적이었음에도, 렌티큘러는 다양한 새로운 사항들에 대해 널리 사용되었으며 아마츄어 3D 사진기법에 사용되어왔다.

상기 모든 방법들은 공통된 흠결을 공유한다. 즉, 모두 입체 촬영 기법을 필요로 한다는 점이다. 이로 인해 원천적으로 특별한 장비로 촬영되거나 영화화된 화상들만이 3D로 관람될 수 있다. 따라서 종래(즉 단일 조리개) 촬영 장비를 이용하여 종래 화상/비디오로부터 입체적 화상/비디오를 창출하는 것이 바람직할 것이다.

본 발명은 2차원 화상 또는 비디오로부터 3차원 입체 화상 또는 비디오를 생성하기 위한 방법, 시스템, 장치 및 관련 프로세스 로직을 포함한다.

본 발명의 일부 실시예를 따르면, 제 1 2D 화상 및 또는 비디오로부터 2D 보완 화상 및 또는 비디오를 외삽하여 렌더링하는 입체 3D 생성 시스템이 제공되며, 보완 화상 및/또는 비디오는 제1 화상 또는 비디오 혹은 제 2 보완 화상 또는 비디오와 결합될 때, 제1 화상 또는 비디오에서 포착된 장면의 입체 화상을 창출한다. 입체 3D 생성 시스템은 보완 화상 또는 화상들을 생성할 수 있어 관찰자는 제1 화상 또는 제 2 보완 화상(제1 보완 화상으로부터 타 방향으로 이동된)을 일 측 눈으로, 보완 화상은 타 측 눈으로 관람하게 되어, 화상에서 심도에 대한 착시 또는 지각을 창출한다(즉, 입체적 3D 화상). 두 개의 보완 화상 프레임은 단일의 입체 프레임을 포함한다.

본 발명의 추가 실시예에 따르면, 입체 3D 생성 시스템은 제 1 2D 화상의 시리즈(비디오)로부터 2D 보완 화상 시리즈를 외삽하고 렌더링할 수 있다. 보완 화상 시리즈들은 제 1 화상 시리즈와 결합할 때, 제 1 화상 시리즈에서 포착된 장면의 입체 화상 시리즈를 창출한다. 3D 생성 시스템은 보완 화상 시리즈를 생성할 수 있고, 관찰자가 일 측 눈으로 제 1 화상 시리즈를 관람하고 타 측 눈으로 보완 화상 시리즈를 관람할 때, 화상 시리즈에서 심도에 대한 착시가 창출된다(즉, 입체시각의 3D 영화 및 비디오).

본 발명의 실시예에 따르면, 입체 화상을 생성하는 방법은 (1) 장면의 2D 화상을 나타내는 제 1 2D 화상 데이터 셋트를 수신하는 단계; (2)제 1 2D 화상 데이터 셋트 내에서 제 1 연식(non-rigid) 객체를 식별하는 단계; (3)3D 골격 모델을 제1 연식 객체와 상관시키는 단계(correlating); (4) 상관된 골격 모델에 최소한 부분적으로 근거하여 제 1 연식 객체에 대한 심도 데이터를 판정하는 단계; (5) 제 1 연식 객체에 대해 판정된 심도 데이터에 근거하여, 제 1 연식 객체의 장면 내에서 포지션 이동을 계산하고, 상기 이동은 장면의 각도와 제 2 관찰 눈의 위치에 대응하는 단계; (6) 제 2 눈 관찰 포지션 및 각도로부터 장면을 묘사하는 보완 2D 화상 데이터 셋트를 창출하고, 상기 창출은 계산된 이동에 따라 장면 내 제 1 연식 객체의 포지션 이동을 포함하는 단계; (7) 제 1 3D 골격 모델에 적어도 부분적으로 근거하여, 제 1 연식 객체의 외관을 변경하여, 제 2 화각으로부터 제 1 연식 객체의 외관을 나타내고 및/또는 강성 객체의 에지를 따라 하나 이상의 픽셀의 텍스처를 이웃하는 픽셀로 복사하여 제 2 화각에 대응하도록 제 1 화상 데이터 셋트내 강성 객체의 외관을 변경하는 단계를 포함한다.

추가 실시예에 따르면, 시스템은 제 1 2D 화상 셋트내 강성 객체를 식별하고 강성 객체와 제 1 연식 객체간의 공간 관계에 근거하여 강성 객체의 심도를 추산한다. 장면의 입체 시각 화상은 보완 2D 화상 데이터 셋트를 제 1 2D 화상 셋트와 결합하여 생성될 수 있다. 선택적으로, 제 1 화상 데이터 셋트는, 결합될 때(함께 제공될 때) 장면의 입체 화상을 형성하는 2 개의 개별 보완 화상 데이터 셋트를 생성하는데 사용될 수 있다. 제 1 보완 2D 화상 데이터 셋트 및 제 2 보완 2D 화상 셋트는 제 1 2D 화상 데이터 셋트에 대한 상기 언급된 방법을 이용하여 생성될 수 있다.

선택적으로, 시스템 및 방법은 비디오 시퀀스를 포함하는 화상 시리즈에 적용될 수 있다.

선택적으로, 상기 방법은 실시간으로 수행될 수 있다.

본 발명의 추가 실시예에 따르면, 입체 화상을 생성하는 시스템이 이하를 포함하도록 제공될 수 있다. (1) 장면의 2D 화상을 나타내는 제 1 2D 화상 데이터 셋트를 수신하는 수신 모듈; (2) 기능적으로 수신 모듈과 연관되어 제 1 2D 화상 데이터 셋트 내 제 1 연식 객체 식별을 위한 이산 객체 식별 모듈;(3) 식별 모듈과 기능적으로 관련되어 3D 골격 모델을 제 1 연식 객체와 상관시키는 참조 모델 상관기; (4) 상관된 골격 모델에 적어도 부분적으로 근거하여 제 1 연식 객체에 대한 심도 데이터를 판정하는 객체 심도 추산 모듈; (5) 제 1 연식 객체에 대해 판정된 심도 데이터에 근거하여, 장면 내에서, 제 1 연식 객체의 포지션 이동을 계산하는 수평 이동 계산기(상기 이동은 장면의 제 2 관찰 각도에 대응함); 및 (6) 제 1 3D 골격 모델에 적어도 부분적으로 근거하여, 제 1 연식 객체의 외관을 변경하여 제 2 화각으로부터 제 1 연식 객체의 외관을 나타내도록 하고 및/또는 강성 객체의 에지를 따라 하나 이상의 픽셀의 텍스처를 주변 픽셀로 복사함으로써 제 1 화상 데이터 셋트 내 강성 객체의 외관을 변경하여 제 2 화각에 대응하도록 하는 변경된 화각 생성기.

제 2 눈 관찰 포지션 및 각도로부터 장면을 묘사하는 보완 2D 화상 데이터 셋트 창출을 위해 렌더링 모듈이 제공될 수 있으며, 창출은, 계산된 이동에 따라, 장면 내에서 제 1 연식 객체의 포지션 이동을 포함한다.

본 발명의 추가 실시예에 따르면, 종래의 2D 화상 데이터 셋트로부터 입체 시각의 화상을 생성하는 방법이 제공될 수 있으며, 상기 방법은, (1) 2D 화상 데이터 셋트 내에서 하나 이상의 이산 객체를 식별하는 단계; (2) 적어도 하나의 식별된 객체에 대해, 식별된 객체에 대한 적어도 하나의 시각적 특징을 특징화하는 적어도 하나의 파라미터를 포함하는 참조 모델(2D 혹은 3D 모델) 선택하는 단계;(3) 화상 내 식별된 객체의 적어도 하나의 시각적 특징의 외관을 선택된 참조 모델에 비교함으로써, 2D 화상내 식별된 객체의 심도를 추산하는 단계; 및 (4) 추산된 심도에 근거하여, 생성되는 입체 화상의 각 보완 화상 프레임 쌍 내에서 식별된 객체의 인스턴스간 수평 이동을 계산하는 단계를 포함한다.

추가 실시예에 따르면, 참조 모델 선택은 2D 화상에 대한 메타 데이터 고려와 및/또는 기 수행된 참조 모델 선택에 대해 적어도 부분적으로 근거하여 제 2 식별 객체에 대한 참조 모델 선택을 포함할 수 있다.

추가 실시예에 따르면, 3D 모델은 모델의 엘리먼트간의 공간 제약을 포함하고 골격 모델일 수 있고, 심도 추산은 적어도 부분적으로 골격 모델 제약에 근거할 수 있다.

실시예에 따르면, 인체와 같은 연식 객체의 적어도 한 부분의, 절대적 및/또는 상대적인, 심도 정보 추산은 획득된 2D 화상 데이터 셋트 내에서 연식 인체의 연식 구조를 식별하는 구조 식별기를 이용하여 수행될 수 있다. 골격 모델 삽입 유닛은, 3D 골격 모델 엘리먼트들을 획득된 2D 화상 내 식별된 대응 구조와 연관시키도록 적용될 수 있고, 제약 조건으로 3D 골격 모델에 강제되어, 획득된 2D 화상 데이터 셋트에서 식별된 연식 인체구조들 간의 공간 관계와 골격 모델 엘리먼트간의 모델 정의 공간 제약이, 모델을 2D 화상 데이터 셋트에 피팅하고 연식체의 연식 구조 중 적어도 하나의 3D 좌표를 근사하는데 사용됨으로써, 2D 화상에서 인체의 적어도 하나의 구조에 대한 심도 정보를 근사하도록 적용될 수 있다.

2D 화상으로부터 인간 피험자의 심도 혹은 위치 데이터를 추정하는 것은 획득된 화상과 관련된 2D 화상 데이터 수신을 포함할 수 있고, 화상은 인간 피험자의 적어도 한 부분을 포착하고; 2D 데이터 내에서 인간 피험자의 해부학적 구조를 계산적으로 식별하고; 3D 골격 모델 엘리먼트를 2D 데이터 내에서 식별된 구조와 매칭하고, 골격 모델은 인체의 둘 이상의 해부학적 구조 사이에서 공간 관계 제약을 정의하고; 수신된 화상 데이터내 식별된 해부학적 구조의 위치에 대해 매칭된 골격 모델 엘리먼트의 2D 투사를 비교하는 것에 근거하여, 식별된 구조 중 적어도 하나의 포지션 정보를 외삽하고, 포지션 정보는 획득되는 화상이 포착될 때 구조의 물리적 위치와 관련된다.

본 발명의 주제는 명세서 결론 부분에 특별히 기술되고 명시적으로 주장된다. 본 발명은 그러나 대상, 특징 및 장점과 더불어 구성 및 작동 방법 둘 다에 있어서, 수반되는 도면와 함께 정독할 때 이하의 상세한 설명을 참고하여 가장 잘 이해될 것이다.
도 1은 본 발명의 일부 실시예에 따라, 2D 화상/비디오로부터 입체 화상/비디오를 생성하기 위한 예시적 프로세스의 플로우 차트이다.
도 2는 본 발명의 일부 실시예에 따라, 2D 화상/비디오로부터 입체 화상/비디오를 생성하기 위한 예시적 시스템에 대한 블록 다이어그램이다.
도 3a는 화상 및 보완 화상 사이에서 상이한 심도에서 객체의 수평 이동을 예시화하는 도면으로, 모두 본 발명의 일부 실시예에 따른다.
도 3b는 화상 및 보완 화상 사이에서 상이한 심도에서 객체의 수평 이동을 예시화하는 도면이며, 모두 본 발명의 일부 실시예에 따른다.
도 4a는 화상 및 보완 화상 사이에서 상이한 심도에서 객체의 수평 이동을 예시화하는 도면이며 객체가 시각의 중심에 위치할 때 이동의 효과를 보여주며, 모두 본 발명의 일부 실시예에 따른다.
도 4b는 화상 및 보완 화상 사이에서 상이한 심도의 객체의 수평 이동을 예시화하는 도면이며, 객체가 시각의 중심에 있을 때 이동의 효과를 개시하며, 모두 본 발명의 일부 실시예에 따른다.
도 5는 화상 및 보완 화상 사이에서 상이한 심도에 위치한 객체의 상이한 엘리먼트들의 수평 이동을 예시화하는 도면이며, 모두 본 발명의 일부 실시예에 따른다.
도 6은 화각의 예시적 변경에 대한 도면을 포함하며, 객체에 대한 화상 및 보완 화상에 대응하며, 모두 본 발명의 일부 실시예에 따른다.
도 7은 화각의 예시적 변경에 대한 도면을 포함하며, 객체에 대한 화상 및 보완 화상에 대응하며, 객체에 관련하여 이전에 저장된 3D 데이터의 이용을 보여주며, 모두 본 발명의 일부 실시예에 따른다.
도 8은 예시적 장면, 결과 화상 및 생성되는 보완 화상의 도면을 포함하며, 모두 본 발명의 일부 실시예에 따른다.
도 9a는 인간의 예시적인 2D 화상이며, 본 발명의 일부 실시예에 따른다.
도 9b는 인간에 대한 예시적 보완 화상에서 떨어져 있는. 인간에 대한 예시적 2D 화상이며, 모두 본 발명의 실시예에 따른다.
설명의 간결성과 명확성을 위해, 도면에 도시된 엘리먼트들은 필수적으로 크기 조정된 것은 아니라는 점을 알 수 있다. 예를 들어, 일부 엘리먼트들의 치수들은 명확성을 위해 타 엘리먼트들에 비해 상대적으로 확대될 수 있다. 또 적절하하다고 판단된 경우, 참조 번호들은 대응하거나 유사한 엘리먼트를 가리키기 위해 도면들 간에서 반복될 수 있다.
첨부되는 도면들은 단지 이하의 상세한 설명을 구체적으로 설명하기 위한 것으로, 따라서 본래 예시적인 것이며 본 발명의 모든 가능한 치환들을 포함하고 있지는 않다.

이하의 기재는 본 기술 분야의 당업자가 본 발명을 만들고 사용할 수 있도록 제공되며, 본 발명의 특별한 적용 및 그 요구 조건의 맥락에서 제공된다. 개시된 실시예에 대한 다양한 변경들이 당업자들에게 자명하며, 본 명세서에 정의된 일반적인 원리들은 본 발명의 영역을 벗어나지 않고서도 타 실시예 및 응용에 적용될 수 있다. 따라서, 본 발명은 개시된 실시예로 제한되지 않으며, 본 명세서에 기재된 원리 및 특징에 일치하는 가장 넓은 영역에 따를 것이다.

이하에 기재된 설명에서, 수많은 구체적 세부사항들이 본 발명에 대한 전반적인 이해를 위해 설명될 것이다. 그러나, 당업자들은 본 발명이 상기 구체적 세부사항 없이도 실행될 수 있음을 알 것이다. 다른 예에서, 알려진 방법, 절차, 컴포넌트 및 회로는 본 발명이 모호해 지지 않도록, 상세히 기술되지 않았다.

구체적으로 달리 기재되지 않는 한, 이하 논의되는 바와 같이, "프로세싱", "컴퓨팅", "계산", "판정" 등과 같은 용어를 활용하는 명세서의 전반적인 기재는, 모바일 폰 또는 임의의 모바일 장치를 포함하여, 컴퓨터 혹은 컴퓨터 시스템 또는 유사 전자 컴퓨팅 장치의 작용 및/또는 프로세스를 가리키며, 컴퓨팅 시스템의 레지스터 및/또는 메모리 내에서 물리적인(전자적인) 양으로 표현되는 데이터를 컴퓨팅 시스템의 메모리, 레지스터 또는 타 정보 스토리지, 전송 또는 디스플레이 장치 내에서 물리적인 양으로 유사하게 표현되는 타 데이터로 조작 및/또는 변환한다.

본 발명의 실시예는 본 명세서에 기재된 동작을 수행하는 장치를 포함할 수있다. 상기 장치는 특별히 기설정된 목적을 위해 구성될 수 있고, 또는 컴퓨터에 저장된 프로그램에 의해 선택적으로 활성화되거나 또는 변경되는 범용 컴퓨터 또는 전화기 또는 임의의 타 컴퓨팅 장치를 포함할 수 있다. 상기한 바와 같은 컴퓨터 프로그램은 컴퓨터 판독 가능 저장 매체에 저장될 수 있고, 마찬가지로 이에 제한되는 것은 아니며, 플로피 디스크를 포함한 임의 형태의 디스크, 광 디스크, CD-ROMS, 자기-광학 디스크, ROM(read-only memories), RAM(Random Access Memories), EPROMs(electrically programmable read-only memories), EEPROMSs(electrically erasable and programmable read only memories), 자기 혹은 광학 카드 또는 전자적 명령을 저장하기에 적합하고 컴퓨터 시스템 버스와 결합될 수 있는 임의 형태의 매체를 포함할 수 있다.

본 명세서에 기재된 프로세스와 디스플레이는 임의의 특정 컴퓨터 또는 타 장치에 내재적으로 관련된 것은 아니다. 다양하고 범용 시스템이 본 명세서의 가르침에 따라 프로그램과 함께 사용될 수 있으며, 또는 기설정된 방법을 수행하기 위해 더욱 전문화된 장치를 구성하는 것이 편리할 수 있다. 다양화된 본 시스템의 바람직한 구조는 이하 기재사항으로부터 명백할 것이다. 또한 본 발명의 실시예는 특정 프로그래밍 언어를 참조하여 기재되지 않는다. 다양한 프로그래밍 언어가 본 명세서에 기재된 바대로 본 발명이 제시하는 바를 구현하는데 사용될 수 있다.

오늘날 알려진 또는 장래 개발될 컴퓨터 네트워킹에 대한 임의의 토폴로지, 기술 및/또는 표준(예를 들어, 메쉬 네트워크, 인피니밴드(infiniband) 연결, RDMA 등)이 본 발명에 적용 가능하다.

본 발명은 2D 화상 또는 비디오로부터 입체 3D 화상 및/또는 비디오를 생성하기 위한 방법, 시스템, 장치 및 관련 프로세스 로직을 포함한다. 본 발명의 일부 실시예를 따르면, 제 1 2D 화상 및/또는 비디오로부터 2D 보완 화상 및 또는 비디오를 외삽하고 렌더링하는 입체 3D 생성 시스템이 제공되며, 보완 화상 및/또는 비디오는, 제 1 화상 또는 비디오, 혹은 제 2 보완 화상 또는 비디오와 결합하여, 제 1 화상 또는 비디오에서 포착된 장면의 입체 화상을 창출한다. 즉, 입체 3D 생성 시스템은 보완 화상 또는 화상들을 생성할 수 있어, 관찰자가 일 측 눈으로 제 1 화상 또는 제 2 보완 화상(제 1 보완 화상으로부터 반대 방향으로 이동된)을 바라보고, 타 측 눈으로 보완 화상을 바라볼 때, 화상에서 심도에 대한 착시가 발생한다(즉, 입체 3D 화상).

본 발명의 추가 실시예에 따르면, 입체 3D 생성 시스템은 제 1 2 D 화상 시리즈(비디오)로부터 2D 보완 화상 시리즈를 외삽하고 렌더링한다. 보완 화상 시리즈는 제 1 화상 시리즈와 결합되어 제 1 화상 시리즈에서 포착된 장면의 입체 화상 시리즈를 창출한다. 즉, 3D 생성 시스템은 보완 화상 시리즈를 생성하여, 관찰자가 일 측 눈으로 제 1 화상 시리즈를 바라보고 타 측 눈으로 보완 화상 시리즈를 바라볼때, 화상 시리즈에서 심도에 대한 착시가 창출된다(즉, 입체 3D 영화/비디오).

본 발명의 실시예에 따르면, 입체 3D 화상(도 1에 도시) 생성 프로세스는 이하의 단계들을 포함한다:

a. 입체 3D 화상으로 전환되는 제 1 2D 화상 데이터 셋트를 수신하는 단계;

b. 2D 화상 데이터 셋트 내 하나 이상의 이산 객체를 식별하는 단계;

c. 식별된 객체를 특징화하는 단계;

객체를 특징화하는 것은 다중 레이어 프로세스일 수 있고, 객체들은 우선 강성 혹은 연식 객체로 및/또는 정지/이동 객체, 인간/비인간 등으로 하위 특징화되고(sub-characterized) 다음 서브 그룹 내에서 식별된 객체의 시각적 특징에 근거하여 추가 특징화된다. 또, 일 객체에 대한 특징화는 동일 화상내의 타 객체에 대한 특징화에 의해 영향을 받거나 도움을 얻는다(예를 들어, 이미 특징화된 테이블 옆에서 보인다면 객체는 의자로 특징화되고 또는 인간의 몸통으로 특징화된 객체 위로 보이는 둥근 객체는 부분적으로 몸통 특징에 근거하여 머리로 특징화될 수 있으며, 또는 신호등이 특징화된 화상에서 보인다면 차로서 특징화 될 수 있다.). 추가 실시예에 따르면, 특징화는 관련 데이터베이스에 저장된 참조 모델에 추가적으로 근거할 수 있으며 또는 객체 파라미터/특징을 모델 파라미터에 상관시킴으로써 외부 소스에 의해 제공될 수 있다. 상기 프로세스는 '958 출원에서 상세히 논의되었다. 본 출원은 '958출원의 부분 계속 출원이며 '958 출원에 기재된 모든 관련 기술 사항들은 본 프로세스에 관련될 수 있고 이로써 본 명세서에 포함된다.

d. 특징화된 객체 및/또는 객체 엘리먼트들을 가능한 참조 모델들과 상관시키는 단계;

일부 실시예에 따르면, 참조 모델들은 2D 모델 또는 3D 모델일 수 있다('958 출원에 기재된 바와 같이, 비제한적으로 골격 모델을 포함). 추가 실시예에 따르면, 상기 목적을 위해 클라우드 기반 객체 인식이 구현될 수 있다(즉, 외부 데이터베이스 및 객체 인식과 모델링 리소스가 적절한 데이터 네트워크를 거쳐 접근될 수 있다).

e. 화상 데이터 셋트 내 식별된 객체의 물리적 특징에 기반하여, 상관되는 참조 모델을 화상 데이터 셋트내 식별되는 객체로 삽입하는 단계;

상기 프로세스는 상관되는 참조 모델들에 대한 왜곡, 변형 및 크기 조정을 포함한다. 상기 프로세스는 '958 출원에서 상세히 논의되었다. 본 출원은 '958 출원에 대한 부분 계속 출원이며 '958 출원에 기재된 모든 관련 기술 사항들은 본 프로세스에 관련될 수 있고, 필요한 변형을 포함하여, 이로써 본 명세서에 포함된다.

f. 제 1 화상을 포착한 촬영 장치에 대하여, 기설정된 관측 지점에 대하여, 및/또는 서로 관련하여 객체 엘리먼트 및 식별되는 객체에 대한 심도 정보를 외삽 및/또는 추산하는 단계;

교번적으로 및/또는 병렬적으로 제 1 화상을 포착한 촬상 장치로부터 화상 내 각 픽셀 및/또는 픽셀 일부의 거리가, 및/또는 서로에 대한 거리가 판정될 수 있다. 일부 실시예에 따라, 상기 프로세스는 참조 모델과 상관된 객체(모델화 객체)와 참조 모델에 상관되지 않은 객체(비모델화 객체)에 대해 개별적으로 수행될 수 있다;

i). 모델화 객체- 일부 실시예에 따라, 모델화 객체 및 객체 엘리먼트에 관련한 심도 정보는 모델화 객체의 알려진 파라미터와 화상 데이터 셋트에서 객체의 공간 특성들간의 관계에 근거하여 외삽될 수 있다(예를 들어, 모델화 객체가 '54 머스탱이라면, 촬상 장치 및 객체간의 거리는 '54 머스탱 타이어의 알려진 타이어 크기와 화상에서 머스탱 타이어 크기간의 비율에 근거하여 판정될 수 있다 - 자동차에서 대부분의 타이어 크기는 유사하므로, 덜 구체적인 경우에서 거리들은 유사하게 추산될 수 있고, 상기 추산들이 임의의 인식되는 차량에 대해 적절하다). 추가 실시예에 따르면, 심도 정보는 '958 출원에 상세히 기재된 바와 같이 연식 객체(즉, 인간)에 대해 외삽될 수 있다. 본 출원은 '958 출원에 대한 부분 계속 출원이며, '958 출원에 기재된 모든 관련 기술 사항들은 본 프로세스에 관련될 수 있고 이로써 본 명세서에 포함된다. 또한, 심도 정보는 심도 정보가 이미 판정된 타 객체와 객체 간의 공간 관계에 근거하여 객체에 대해 추산될 수 있다(즉, 인간이 화상 내 의자에 앉아 있는 경우, 의자에 관련한 심도 데이터는 앉아 있는 인간에 대한 심도 데이터와 유사할 수 있다). 추가 실시예에 따르면, 객체에 대한 심도 정보는 시리즈(즉, 비디오 시퀀스)의 이전 화상에서 동일 객체에 대한 심도 정보에 근거하여 판정될 수 있다. 또한, 객체에 대한 심도 정보는 화상 시리즈 전체를 통틀어 객체의 공간 위치에 근거하여 판정될 수 있다(예를 들어, 촬상 장치가 화상들간 알려진 거리로 이동된 것으로 판정된 경우 또는 화상 내 타 객체가 알려진 거리를 이동한 경우. 단순한 삼각 측량이 객체 심도 판정을 위해 사용될 수 있다). 상기 방법에 대한 임의의 조합이 이용될 수 있고 및/또는 상기 방법에 대한 반복적인 프로세스도 이용가능하다는 것을 알 수 있다. 일부 실시예를 따르면, 개별적인 심도 정보가, 화상에서 타 객체에 관련하여, 및/또는 동일 객체의 타 엘리먼트의 외관에 관련하여, 및/또는 화상 내 엘리먼트의 외관에 근거하여, 모델화 객체의 상이한 엘리먼트에 대해 외삽될 수 있다(예를 들어, 도 9a 및 9b에 도시된 바와 같이, 인간의 손은 몸통보다 촬상 장치에 더 가까운 것으로 판정되고, 일 측 테이블 다리는 타 측보다 더 가까운 것으로 판정되고, 큐브의 일 측은 타 측 보다 더 가까우며, 도 5 등에 도시된 바와 같다.).

ii). 비모델화 객체- 상기 언급된 방법에 더하여, 본 발명의 일부 실시예를 따라 비모델화 객체의 거리를 판정하는 것은 모델화 객체에 대한 비모델화 객체의 공간 관계에 근거하여 및/또는 모델화 객체의 포지션 및/또는 화상 시리즈 전체를 통틀어 포지션의 변화에 근거하여 상기 객체들의 거리를 추산하는 것을 포함할 수 있다(예를 들어, 카메라 위치 및/또는 포지션이 다중 화상 포착 과정에서 변한 경우, 정지한 객체의 심도에 대한 적절한 계산은 쉽게 수행될 수 있고, 유사하게 심도 정보를 이용할 수 있는 비정지 객체가 화상 시리즈 전체에 걸쳐 이동한 경우, 정지 객체 심도는 정지 객체 및 심도 정보를 이용할 수 있는 객체 간의 공간 관계에서의 변화에 근거하여 추산될 수 있다).

g. 등극선 기하 및 제 1 화상에서 픽셀/객체-엘리먼트/객체의 기설정된 관찰 지점/촬상 장치로부터 판정된 거리에 근거하여, 각 객체/객체-엘리먼트/픽셀에 대해 오른쪽 수평 이동을 계산하는 단계;

즉, 수평 이동은 각 객체/객체-엘리먼트/픽셀에 대해 계산될 수 있고, 상기 이동은 제 2 관찰 지점 획득을 위해 필요하며, 오리지널 화상이 우안에서 관찰되면, 좌안에서 관찰되는 시각에 대응한다. 즉, 화상을 포착할 때 촬상 장치가 우안의 포지션에서 좌안의 포지션으로 이동하는 경우, 객체의 수평 이동이 발생하며, 이는 화상 평면에서 가시적인 수평 이동에 대응한다(일 보완 화상이 창출되어 오리지널 화상과 결합되는 경우). 이는 기초 기하에 근거하여 명백하며, 상기 이동은 촬상 장치로부터 객체의 거리에 의존한다(객체가 멀리 떨어질수록 이동은 작고, 반대의 경우도 마찬가지이다). 또는 두 개 보완 화상이 결합되는 경우, 하나는 좌안용이고 또 다른 하나는 우안용이며, 상기 이동은 우선은 중앙에서 좌안쪽이며, 다음으로 중앙에서 우안쪽일 수 있다.

도 3a 및 3b는 상기 논의된 수평 이동을 도시한다. 상기 도면들은 좌안 및 우안의 시계에서 3가지 상이한 심도(A,B,C)에서 객체(100)에 대한 두가지 예를 도시한다. 3가지 경우는 관찰자 평면(101)으로부터 객체의 3가지 상이한 거리를 나타낸다. 두 가지 예시에서, 양 쪽 눈의 시계 내에서 객체 표현이 서로 가까울수록(즉, 각 눈에 제시되는 화상 사이에서 객체의 수평 이동이 작을 수록), 객체는 관찰자 평면(101)으로부터 더 멀어 보인다. 반대로, 양 쪽 눈의 시계 내에서 객체 표현이 서로 더 멀어질수록, 객체는 관찰자 평면(101)에 더 가까워보인다. 객체가 좌안 및 우안 양쪽의 시계에서 동일한 장소에 있다면, 객체는 무한히 떨어져 있는 것으로 보인다. 우안의 시계에서 객체가 좌측으로 더 멀리 제시되면, 좌안의 시계에서 객체의 표현에 대해, 사용자 평면은 더 가까워 보인다.

도 3a 및 도 3b로부터, 객체가 카메라로부터 멀어질수록, 시계에서 그 외관이 작아지고, 객체가 카메라에 근접할 수록, 시계에서 그 외관이 더 커진다는 것을 알 수 있다. 예를 들어, 도 3a에서, 위치A에서 객체(100)는, 위치 A보다 카메라에 더 가까운 위치 C에 있는 동일 객체보다 양안의 시계에서 더 작아보인다. 위치 A에서 객체의 화상은 좌안 및 우안의 시계의 중심 근처에 있어 객체는 더 멀어져 보인다. 위치 C 에서 객체는 좌안 시계의 우측 에지에 있고 우안 시계의 좌측 에지 근처에 있어 객체는 관찰자에 가까워 보인다.

도 4a 및 도 4b는 수평 이동이 촬상 장치 바로 앞에 위치한 객체에 대해 가지는 효과를 나타낸다(즉, 눈 사이 영역내에서). 상기 객체들은 도 4b에 도시된 바와 같이, 수평 이동이 적용된 결과로서 보완 화상에서 역순서(미러링, mirroring)로 보인다.

수평 이동 계산의 추가적인 예시는, 상이한 심도에 위치한 객체의 엘리먼트와 관련하여, 도 5에 도시되었다. 상기 예시에서, 카메라에 의해 포착되는 객체(120)가 존재하고, 2D 화상은 좌안에 표시된다. 객체(120)의 객체 엘리먼트 a,b,c,d,e,f는 식별되고 심도가 추산되어, 객체 엘리먼트 'c','d','e','f'는 카메라에 더 가까운 것으로 판정되고, 객체 엘리먼트 'a'와 'b'는 카메라로부터 더 멀리 있는 것으로 판정된다.

따라서, 객체 엘리먼트들의 각각에 대한 좌측 이동이 계산되며- 객체 엘리먼트 'a','b'에 대해 이동 2가 계산되며, 카메라로부터 멀리 떨어진 것이다(x=23에서 x=21로 이동은 객체 엘리먼트 'b'에 대해, 'x=11'에서 'x=9'로의 이동은 엘리먼트 'a'에 대한 것이다). 이동 4는 카메라에 가까운 'c','d','e','f' 객체 엘리먼트에 대해 계산된 것이다(객체 엘리먼트 'd'와 'f'는 x=26에서 x=22로 이동하였으며 객체 엘리먼트 'c','d'는 x=10에서 x=6으로 이동하였다). 상기 결과는 이동된 화상(121)이 우안에 표시되도록 한다.

h. 각 객체/객체- 엘리먼트에 적용될 수 있는 화각( angle of view , AOV ) 변경을 계산하는 단계;

상기 변경은 제 1 2D 화상내에서 객체/객체-엘리먼트의 포지션과 각 객체 및/또는 객체-엘리먼트의 판정된 거리에 근거한다. 상기 거리는: (1) 제 1 화상을 포착한 촬상 장치로부터 (2) 기설정된(가상의) 관찰 지점으로부터 및/또는 (3) 서로에 대한 거리이다. 즉, 화상을 포착할 때 촬상 장치가 우안의 포지션으로부터 좌안의 포지션으로 이동되는 경우(가상의 관찰 지점), 기설정된 관찰 지점으로부터 각 객체의 심도에 근거하여, 상기 객체가 관찰되는 각의 변경을 계산한다(일 보완 화상이 창출되어 오리지널 화상과 결합하는 경우), 또, 좌안용과 우안용인 두 개의 보완 화상이 결합된다면, 각 이동은, 하나는 중심에서 좌안까지이며, 두번째는 중심에서 우안까지이다. 명백하게, 기초 기하에 근거하여, 상기 변경은 촬상 장치로부터 객체의 거리에 의존하며(객체가 멀어질수록, 변경이 작아지고, 반대의 경우도 마찬가지이다), 프레임 내 포지션에 의존한다.

도 5 및 도 6은 예시적인, 객체의 변경된 AOV를 도시한다.

i.각 객체에 대해 변경된 AOV 를 생성하는 단계;

일부 실시예에 따르면, 3D 참조 모델에 상관된 모델화 객체에 대해, 각 객체/객체-엘리먼트의 매칭된 3D 모델과 기설정된 각으로부터(즉, 가상 시점으로부터) 상기 모델의 적절한 2D 투사에 근거하여(객체/객체 엘리먼트에 대한 시각) 변경된 AOV(가상 시점)가 생성될 수 있다. 상기 프로세스는 '958 출원에서 상세히 논의되었으며, 본 출원은 '958출원에 대한 부분 계속 출원이며, '958 출원의 명세서에 기재된 모든 관련 기술 사항들은 본 프로세스에 관련될 수 있으며 따라서 본 명세서에 포함된다. 본 발명의 일부 실시예에 따르면, 객체에 대한 3D 데이터는 다중의 시공간 프레임에서 다중각도로 포착되어 메모리에 저장된 객체로부터 구성될 수 있다.

3D 데이터는 다음, 제1 2D 화상에서 카메라로부터 감추어진 객체 엘리먼트를 보완하기 위해 사용되어 2D 보완 화상에서 드러나게 된다. 즉, 일 화상에서의 데이터는, 제 2 화상에서 관찰되지 않은 객체의 일 부분에 대해, 필요할 때 제 2 화상의 변경된 AOV를 구성하는데 사용될 수 있다.

도 6 내지 도 7은 예시적인 변경된 AOV와 본 발명의 일부 실시예에 근거한 생성을 도시한다. 도 6a는 다른 각도에서 포착되고 메모리에 저장된 큐빅 객체 모델을 도시한다.도 6b는 포착된 큐빅 객체를 도시한다. 상기 시스템은 포착된 화상을 좌안의 시계에 표시할 수 있다. 도 6c는 우안의 시계에 적합한 변경된 AOV를 도시한다.

도 7은 시스템 메모리에 저장된 객체 화상으로부터 2D 보완 화상을 생성하는 것을 예시적으로 도시한다.

도 7a는 메모리에 저장된 객체에 대한 3D 데이터 셋트의 예시를 도시한다. 객체의 3D데이터는, 객체 및/또는 카메라가 서로에 대해 이동할 때 다중 각도에서 상기 객체 화상을 포착하는 다중의 시공간 비디오 프레임에서, 시스템에 의해 수집된다. 도 7b는 카메라에 의해 촬영된 도 7a에 기술된 객체의 화상을 도시하고, 상기 화상은 좌안의 시계에 표시될 수 있다. 객체의 3D 데이터가 시스템 메모리에 저장되어 있으므로, 객체의 2D 화상은 임의의 주어진 화각(AOV)에서 렌더링될 수 있다. 도 7c는 도 7b의 화상에 대해 이동된 각도에서 도 7a 객체의 렌더링된 화상을 도시한다. 렌더링된 화상은 우안의 시계에 표시되고 객체의 입체 3D 화상을 창출한다.

추가 실시예에 따르면, 객체의 변경된 화각을 생성하는 것은, 객체의 상이한 화각의 착시를 창출하기 위해, 객체 에지의 픽셀/텍스처를 복사하거나 늘리는(STRETCHING) 것을 포함할 수 있고, 즉, 변경된 AOV에서 가시적인 객체의 부분들에 관한 데이터를 이용할 수 없을 때, 상기 데이터는 객체의 가장 근접한 가시적인 에지에서의 텍스처로 대체될 수 있다. 즉, 3D 데이터를 이용할 수 없는 객체에 대해, 변경된 AOV 형상에 대한 기초 기하 계산을 포함하는 변경된 AOV 추산에 근거하여, 변경된 AOV를 생성하는 것이 수행될 수 있고, 새롭게 나타난 부분(newly revealed portion)에 대한 텍스처는 보이는 부분(apparent portion)으로부터 복사된다.

j. 제 1 2D 화상에서 포착된 장면을 나타내는 보완 2D 화상 데이터를 생성하는 단계로서;

(1) 각 객체/객체-엘리먼트/픽셀은, 각 객체/객체-엘리먼트/픽셀에 대해 계산된 이동에 근거하여 제 1 2D 화상에서의 포지션으로부터 우측으로 이동되고, (2) 각 객체/객체 엘리먼트에 대해 생성된 변경된 시각이 제시된다.

도 8은 본 발명의 일부 실시예에 따라 보완 2D 화상을 생성하는 예를 도시한다. 도 8a는 다름 심도에 위치한 객체들(111, 112 및 113)을 포함하는 예시적 장면을 도시한다. 102 A,B,C는 장면에서 세가지 다른 화각을 나타내며, 102B는 화상이 원래 포착된 지점을 나타내고, 102A와 102C는 좌안 혹은 우안의 이동된 화각을 나타낸다(각각). 도 8b는 생성된 보완 화상을 도시하고, B는 원래 포착된 화상, A는 좌안용 보완 화상, C는 우안용 보완 화상이다. 보여지는 바와 같이, 객체들(111.112.113)의 외관은 그들의 상대적 심도에 근거하여 수평으로 이동되었으며 따라서, AOV가 변경되었다(이동 및 AOV 변경은 보여주기 위해 과장되었다).

k. 생성된 보완 2D 화상 데이터를 렌더링하는 단계; 및

l. 렌더링된 보완 2D 화상을 제 1 2D 화상 또는 제 2 보완 화상에 결합하여 제 1 2D 화상에서 포착된 장면의 입체 3D 화상을 창출하는 단계.

m. 렌더링된 입체 3D 화상을 저장하는 단계.

도 9a 및 9b는 본 발명의 일부 실시예에 따라 오리지널 2D 화상으로부터 3D 입체 화상을 생성하는 다른 예시를 도시한다. 상기 예에서(도 9a), 카메라를 향해 오른팔(105)를 늘리는 사람의 2D 화상이 있다. 상기 예에서, 화상에서 왼팔(106)의 길이는 사람의 신체 치수에 대해 해부학적으로 비례하여 왼팔은 신체의 나머지 부분과 대략적으로 동일한 평면에 있음을 나타내며, 카메라에 대해 동일 거리에 있다. 오른팔(105)의 화상은 왼팔(106)의 화상보다 짧고 오른팔이 카메라를 향하고 있음을 나타내며 또는 카메라로부터 멀리 후방으로 들어올려진 상태임을 나타낸다. 오른손의 손바닥과 손가락은, 그러나, 왼손의 손가락과 손바닥보다 크며, 사람의 신체 치수에 비해 불균형적으로 크며, 팔이 카메라를 향해 가리키고 있음을 나타낸다. 손바닥과 손가락의 상대적 크기와 팔의 길이는 카메라로부터 신체의 거리에 비교되는 오른쪽 손바닥의 상대적 거리를 나타낸다.

본 발명의 실시예에 따르면, 카메라로부터의 상대적 거리에 따라 신체의 다른 부위를 차등 이동시켜 제 2 화상이 외삽될 수 있다. 카메라에 더 가까운 신체 부위는 더 많이 이동되고 카메라로부터 더 떨어진 신체 부위는 더 적게 이동된다.

도 9b는 'a'로 표시된, 카메라에 의해 포착된 도 9a의 신체의 오리지널 화상에 대한 예시를 보여주고 생성된 보완 화상은 'b'로 표시된다. 도면으로부터 보여지는 바와 같이, 카메라로부터 대략적으로 같은 거리에 있는 모든 신체 부위들은 동일하게 좌측으로 이동되었다(더 작은 이동으로 표시되었다). 오른손(105)의 손바닥(107)은 신체 나머지 부위보다 좌측으로 더 이동되었다(더 큰 이동으로 표시되었다). 팔은 좌측으로 점진적으로 이동되었고, 어깨 근처에서 신체 나머지와 동일한 이동에서부터(더 작은 이동으로 표시), 손바닥 근처 왼쪽의 커다란 이동까지(더 큰 이동으로 표시), 이동되었다. 포착된 화상('a'가 부가된)은 좌안에 표시될 수 있고, 이동된 화상('b'가 부가된)은 우안에 표시되어 사람에 대한 3D 입체 시각을 창출한다.

본 발명의 추가 실시예에 따르면, 상기 프로세스는 화상 시리즈(예를 들어 비디오)에 대해 순차적으로 실행되어 3D 비디오/영화를 창출한다. 본 발명의 다른 추가 실시예에 따르면, 화상 시리즈에 대해 상기 프로세스를 실행하면, 축적된 데이터와 시리즈 내 주어진 화상에 대해 수행된 계산들이, 순차적 화상들에 대해 수행되는 프로세스에서 활용된다(예를 들어 일 화상으로부터 수집된 주어진 객체의 일부분에 대한 텍스쳐 데이터가 사용되어, 특정 부분이 시야에서 감추어진 제 2 화상에서 주어진 객체에 대한 변경된 화각을 창출하고, 일 화상으로부터의 심도 정보는 제 2 화상에 대해 사용된다 - 정지 객체가 분석되는 중 일 때 또는 궤도 및 속도가 추산될 때, 모두 '958 출원에 상세히 기재된 바와 같다).또한, 일부 계산들은 결합하여 화상 시리즈에 대해 수행될 수 있다(예를 들어 화상 시리즈 전부에 걸쳐 객체 이동은 화상에 대한 데이터를 확인하는데 사용될 수 있다).

현재 개시된 모든 논의들은, 관찰자의 좌안에 표시되는 시각을 획득하기 위해 수행되는, 객체, 객체-엘리먼트 및/또는 픽셀의 우측 이동에 대해 기술되었다. 우측 이동에 대한 논의는 편의적으로 명확한 본문 설명을 위해 임의적으로 선택된 것이며 선택적으로는 관찰자 우안에 표시되는 시각을 획득하기 위해서는 좌측 이동도 수행 가능함을 알 수 있다. 따라서 우측 이동에 대한 상기 논의 내에서 어떤 내용들은 또한 기재 사항에 대한 적절한 변경을 포함하여 좌측 이동을 참고하는 것으로 고려된다. 또한, 상기 개시 내용 전체를 통틀어, 입체 시각을 창출하기 위해, 오리지널 화상이 일 측 눈에 표시되는 동안 타 측 눈에 표시되기 위해 생성되는 보완 화상에 대해 설명된다. 두 개의 보완 화상들은, 오리지널 화상으로부터 반대 방향으로 이동되어(우측 및 좌측 눈 용으로 각각 하나씩), 입체 화상을 생성하는데 동일하게 사용될 수 있으며, 본 명세서에 기재된 모든 기술 사항들은 필수적인 변경을 포함하여 상기 선택사항을 포함하고 있음을 알 수 있다.

현재 모든 개시 내용들은 출원인의 미국 특허 출원 11/742,958, "3D 공간차원 기반 화상 처리용 시스템 및 방법" 에서 논의되었으며 따라서 그 전체가 본 명에서 현재 개시내용으로 포함되었다. 객체의 골격 3D 모델, 상기 모델들을 객체에 대한 상관시키고, 상기 모델을 객체에 매칭시키고, 상기 모델에 근거하여 수행되는 모든 계산들과 외삽들에 대한 금번 개시내에서의 논의들은 '958 출원에 가르침을 참조하는 것으로 이해되어야 한다.

본 발명의 일부 실시예에 따르면, 2D 화상 또는 비디오로부터 입체 3D 화상 및/또는 비디오를 생성하는 입체 3D 생성 시스템(도 2에 도시)은 이하의 구성 요소들과 기능적으로 관련되거나 포함할 수 있다:

a. '958 출원에 개시된 바와 같은 데이터의 3D 표현 장치

b. 수신된 화상 데이터를 저장하기 위한 스토리지 수단 및/또는 버퍼를 포함하여, 하나 이상의 및/또는 시리즈(series)의 2D 화상 데이터 셋트를 수신하기 위한 수신 모듈

c. (1)수신된 화상에서 나타나는 하나 이상의 객체에 대한 심도 정보 및/또는 (2) 수신된 화상에서 하나 이상의 객체에 대응하여, 관련 데이터베이스에 저장된 3D 모델에 대한 상관 또는 3D 모델을 수신하는 3D 표현 장치 인터페이스 모듈

d. 수신된 화상 내에서 이산 객체들(예를 들면 테이블) 및/또는 객체 엘리먼트(예를 들면 테이블 다리)를 식별하는 하나 이상의 이산 객체 식별 모듈

e. 상기 단락[0067]에서 단계 c에 기재된 프로세스를 수행하는 프로세스 로직을 포함하는 객체 특징화기.

객체 특징화기는 기능적으로 기능을 지원하는 외부 서비스와 통신하기 위해 분산 데이터 네트워크와 연관될 수 있다.

f. 상기 단락[0069]에서 상기 단계 d에서 기재된 바와 같이, 식별된 객체를 적절한 참조 모델과 상관시키는 프로세스 로직을 포함하는 참조 모델 상관기.

참조 모델 상관기는 기능적으로 상기 목적으로 선택되는 모델들을 저장하는 적절한 데이터 스토리지와 관련될 수 있고, 또한 기능 지원을 수행하는 외부 서비스와 통신하는 분산 데이터 네트워크와 연관될 수도 있으며(클라우드 기반 모델 상관) 및/또는 적절한 참조 모델을 찾아내어 상관시키도록 관련 데이터 네트워크를 검색하는 클라우드 기반 객체 인식 모듈과 연관될 수도 있다.

g. 참조 모델을 채택하여(변환, 번역 및 크기 조정을 포함) 수신된 화상 데이터 내에서 식별된 객체의 특정 외관을 매칭시키는 프로세스 로직을 포함하는 모델 삽입 유닛.

상기 컴포넌트는 '958출원에서 상세히 논의되었고(골격 삽입 유닛), 본 출원은 '958 출원의 부분 계속 출원이며, '958 출원에 기재된 모든 관련 기술 사항들은 필요한 변경을 포함하여 본 프로세스에 관련될 수 있으며 따라서 본 명세서에 포함된다.

h. 제 1 화상을 포착한 촬상 장치, 및/또는 서로에 대해, 및/또는 기설정된 관찰 지점으로부터 각 객체 및 객체 엘리먼트의 거리를 결정하는 프로세스 로직을 포함하는(단락 [0073] 단계 f에 기술된 바와 같이) 객체 심도 외삽 /추산 모듈.

교번적으로 및/또는 병렬적으로, 객체 심도 외삽/추산 모듈은 서로에 대해 및/또는 제 1 화상을 포착한 촬상 장치로부터 화상 내 각 픽셀들 또는 픽셀의 일부들의 거리를 외삽/추산하는 프로세스 로직을 포함할 수 있다. 추가 실시예에 따르면, 단락 [0075],[0076]의 단계 f.i) 및 f.ii)에 기재된 바와 같이 모델화 객체 및 비모델화 객체의 심도를 판정하는 별도의 프로세스 로직 또는 별도의 객체 심도 외삽/추산 모듈이 제공될 수 있다.

i.(1)화상에서 객체/객체-엘리먼트/픽셀에 대해 판정된 거리에 근거하여, 화상에서 각 객체/객체-엘리먼트/픽셀의 우측 이동을 계산하며, 좌안으부터 관찰되는 제 2 관찰 지점을 획득하기 위해, 상기 이동은 각 객체/객체-엘리먼트/픽셀에 적용될 수 있는, 프로세스 로직을 포함하는 수평 이동 계산기; (2) 화상내 객체/객체-엘리먼트의 포지션과, 화상을 포착한 촬상 장치로부터 및/또는 서로에 대하여 및/또는 기설정된 관찰 지점에 대해 각 객체 및 객체-엘리먼트의 판정된 거리에 근거하여, 화상에서 식별된 각 객체/객체-엘리먼트/에 적용될 수 있는 AOV 변경을 계산하는 AOV 변경 계산 유닛으로 구성되는 보완 화상 데이터 계산기(모두 단락[0084]의 단계 h에 기재됨)

j.객체/객체-엘리먼트의 변경된 시각을 생성하는 변경된 화각( AOV) 생성기.

변경된 뷰는 보완 화상 데이터 계산기에 의해 수행된 계산에 근거한다. 변경된 AOV 생성기는 (1) '958 출원에 기재된 바와 같이 객체의 3D 모델 및 상기 모델의 상이한 2D 투사에 근거하여 객체의 변경된 화각(AOV)을 생성하는 프로세스 로직을 포함한다. '958 출원은 본 출원의 부분 계속 출원이며 '958 출원에 기재된 모든 관련 기술 사항들은 본 컴포넌트와 관련될 수 있고 따라서 본 명세서에 포함되었다. 또 '958 출원 내의 연식 객체의 변경된 화각 생성 관련 기재는, 또한 3D 모델에 대해 상관된 임의 객체에 대한 본 출원에서의 기술 사항과 관련되어, 동일한 원리에 따라, 필요한 변경을 가하여, 상기 임의 객체의 변경된 화각이 생성될 수 있다. 또, 변경된 AOV 생성기는 (2) 객체에 있어서 상이한 화각의 착시를 창출하기 위해, 객체 에지의 픽셀/텍스처를 카피하거나 "스트레칭"하여, 필수 데이터를 포함하지 않은 모델에 상관된 객체 및/또는 비모델화 객체에 대해 변경된 화각을 생성하는 프로세스 로직을 포함한다(단락 [0087]의 단계 i에 기재된 바와 같다).

k. 주어진 2D 화상에서 포착된 장면을 나타내는, 보완 2D 화상 데이터 셋트를 생성하는 프로세스 로직을 포함하는 보완 화상 데이터 생성기.

(1) 각 객체/객체-엘리먼트/픽셀은, 보완 화상 데이터 계산기에 의해, 각 객체/객체-엘리먼트/픽셀에 대해 계산된 이동에 근거하여, 주어진 2D 화상에서의 포지션에서 우측으로 이동되고, (2) 각 객체/객체 엘리먼트의 변경된 시각이 제시되며, 상기 변경된 시각은 보완 화상 데이터 계산기의 계산에 따라 변경된 화각 생성기에 의해 생성된다.

i. 보완 화상 데이터 생성기에 의해 생성된 화상 데이터 셋트를 렌더링 하는 프로세스 로직을 포함하는 렌더링 모듈;

m. 렌더링된 보완 2D 화상을 보완 2D 화상이 창출된 2D 화상에 또는 제 2 보완 2D 화상에 결합시켜, 오리지널 2D 화상에서 포착된 장면의 입체 3D 화상을 창출하는 입체 화상 생성기; 및

n.디스플레이, 데이터 스토리지, 사용자 인터페이스, 컨트롤 및/또는 시스템 작동을 돕는 임의의 기타 보조 컴포넌트들과 같은 보조 모듈 및 하드웨어.

본 발명의 일부 실시예에 따르면, 객체 특징화 및/또는 이어지는 참조모델 상관은 이하를 포함할 수 있다.

컨텐트에 관해 추가 특징화 정보를 생성할 때(예를 들어 메타 데이터 또는 특징화 파라미터), 화상 컨텐트에 관련하여 알려진 특징화 정보(예를 들어 타이틀, 배우등과 같은 다양한 컨텐트 파라미터를 나타내는 메타데이터 태그), 및/또는 이전 특징화 정보를 고려하는 하나 이상의 매칭/식별/인식 알고리즘.

알려진 특징화 정보는 특징화되는 컨텐츠와 함께 수신될 수 있고, 컨텐트와 함께 수신된 특징화 데이터에 기반한 검색 용어를 사용하여 외부 데이터베이스로부터 검색될 수 있고, 또는 하나 이상의 알고리즘 중 하나에 의해 생성되거나 유도될 수 있다. 알려진 특징화 정보는 본 발명의 일부 실시예에 따라, 주어진 매칭/식별/인식 알고리즘을 조정하고, 가중치를 부여하고 및/또는 다르게는, 제한하는데 사용될 수 있다. 하나 이상의 알고리즘 중 하나에 의해 생성되는 특징화 정보는 검증(validated) 또는 불검증(unvalidated)과 같이 분류될 수 있다.

본 발명의 일부 실시예에 따르면, 불검증된 특징화 정보는 최초의 매칭/식별/인식 분석 반복순환 기간 동안 하나 이상의 알고리즘에 의해 생성될 수 있다. 최초 반복순환기간 동안의 분석은 컨텐트와 함께 수신된 특징화 정보 및/또는 외부 데이터베이스로부터 검색된 특징화 정보에 의해, 조정, 가중치 부여 및 다르게는, 제한될 수 있다. 본 발명의 추가 실시예에 따르면, 최초 반복순환때 제 1 시점에서 생성된 특징화 정보는 제 1 반복순환 이후 시점에서 하나 이상의 알고리즘을 조정, 가중치 부여 및/또는 다르게는 제한하는데 사용될 수 있다.

본 출원의 추가 실시예에 따르면, 하나 이상의 알고리즘의 일부 또는 전부가, 컨텐트에 대한 제 2 분석 반복순환을 수행하는데 사용될 수 있으며, 제 2 반복 순환 기간동안, 제 1 반복 순환 기간동안 생성된 불검증 특징화 정보가 유효화되거나 혹은 무효화될 수 있다. 제 2 반복 순환 동안, 컨텐트와 함께 수신되고, 외부 소스로부터 수신되며 및/또는 제 1 반복 순환 기간에 생성되는 특징화 정보의 일부 또는 전부가, 하나 이상의 알고리즘을 조정하고, 가중치를 부여하며 및/또는 다르게는 제한하는데 사용될 수 있다.

본 발명의 추가 실시예에 따르면, 하나 이상의 장면 혹은 하나 이상의 장면 세그먼트(예를 들어 동일 장면에 대해 복수개의 카메라 위치)를 포함하는 컨텐트가 분할되어, 장면/세그먼트간 경계가 정의되고 및/또는 다르게는 표시된다. 컨텐트 특징화에 대한 알고리즘 분석의 제 1 반복순환, 제 2 반복순환 또는 제 1 및 제 2 반복 순환 둘 다, 하나 이상의 알고리즘에 의해, 장면/세그먼트 분할을 수행하고, 및/또는 조정, 가중치 부여 및/또는 다르게는 분석 제약을 위한 장면/세그먼트 경계를 고려할 수 있다.

본 발명의 일부 실시예에 따라, 이하의 구성 요소가 제공될 수 있다.:(1) 특징화 되는 멀티미디어 컨텐트를 수신하는 컨텐트 수신 모듈; (2) 수신된 컨텐트 내에서 이미 존재하는, 컨텐트를 특징화하는 임의의 태그나 메타 데이터를 추출하는 메타데이터 추출 모듈(예를 들어, 컨텐트에서 영화나 TV 쇼의 제목, 배우 리스트, 음악의 제목, 등); (3) 수신된 컨텐트에 대한 추가적인 특징화 정보를 위해 하나 이상의 (외부) 데이터 리소스(예를 들어 구글(***), 플릭스터(flixter), 등)를 검색하는 외부 데이터 베이스 쿼리 모듈(예를 들어, 영화/쇼의 제목이 알려진 경우, 캐릭터 및 관련 배우의 리스트가 검색될 수 있다. 알려진 배우/캐릭터의 얼굴 화상과 성문(voiceprint)이 검색될 수 있다); (4) 하나 이상의 매칭/식별/인식 알고리즘을 동작시키는 프로세스 로직 엔진의 하나 이상의 클러스터(예를 들어 프로세서)로서, 상기 알고리즘은 (a)사운드 이동 추적(객체 포지션을 추산), (b)얼굴 인식(얼굴을 영화속 배우와 매칭 시도), (c)성문인식(즉, 이야기하는 화자인식), (d)객체 추적(이동, 포지션), (e)화법(speech) 인식(텍스트 변용에 대한 화법), (f)음향 효과 인식(폭발, 비행기, 헬리콥터 등 식별), (g)객체 인식(병, 캔, 자동차, 등), (h)동작 인식(캐릭터 이동, 객체 이동, 카메라 이동 등); 및 (5) 하나 이상의 알고리즘으로부터 특징화 데이터를 수신하여 하나 이상의 알고리즘으로 특징화 데이터를 제공하는 데이터 처리 모듈(예를 들어, 글로벌 데이터베이스로부터 수신되고 하나 이상의 알고리즘에 의해 생성된, 컨텐트와 함께 수신된 특징화 정보를 저장하는 테이블을 포함하는 데이터베이스를 구비한, 데이터베이스를 포함하는 데이터베이스 응용에 대한 인터페이스)

즉, 본 발명의 일부 실시예에 따르면, 객체의 특징화는 주어진 장면에 대한 컨텍스트(context) 데이터를 고려할 수 있다.

본 발명의 다른 실시예에 따라, 시스템 및 방법은 상기 컴포넌트들의 상이한 가능성 있는 조합을 포함할 수 있음은 명확하며, 따라서 상이한 조합 특징을 제공한다. 따라서 본 기술분야의 통상의 기술자들은, 시스템의 특정 컴포넌트에 의해 실행되는 것으로 기술된 일부 기능들이, 본 발명의 타 실시예의 시스템에서 상이한 컴포넌트에 의해 실행될 수 있음을 이해할 수 있다.

본 발명의 실시예에 대한 상세한 설명과 청구범위에서, 각각의 용어, "포함한다", "구비한다" , "가진다"와 그 형태는 상기 단어들이 관련된 열거 사항들로만 한정되는 것은 아니다.

본 발명에 있어서 오로지 예시적 실시예로서, 그리고 일부 변형예들이 본 명세서에 개시되고 기술되었다. 본 발명은 다양한 조합 및 여건에서 이용가능하며, 본 명세서에 표현된 바대로 발명의 요지 내에서 변화 또는 변경이 가능하다.

본 발명의 특정 특징들이 본 명세서에 도시되고 설명되었으나, 당업자들은 다양한 변경, 대용, 변화 및 등가물들이 발생할 수 있음을 이해한다. 따라서, 첨부되는 청구항들은 발명의 진의 내에서 모든 발생가능한 변경 및 변화를 포함하기 위한 의도임을 알 수 있다.

Claims

입체 화상 생성 방법으로서,
장면의 2D 화상을 나타내는 제 1 2D 화상 데이터 셋트를 수신하는 단계;
상기 제 1 2D 화상 데이터 셋트 내에서 제 1 연식 객체를 식별하는 단계;
3D 골격 모델을 상기 제 1 연식 객체와 상관시키는 단계;
상관된 3D 골격 모델에 적어도 부분적으로 근거하여 상기 제 1 연식 객체에 대한 심도 데이터를 판정하는 단계; 및
상기 제 1 연식 객체에 대해 판정된 심도 데이터에 근거하여, 상기 제 1 연식 객체의 장면 내 포지션의 이동을 계산하고, 상기 이동은 상기 장면의 제 2 화각에 대응하는 단계; 및
제 2 화각으로부터 장면을 묘사하는 보완 2D 화상 데이터 셋트를 생성하고, 상기 생성은, 계산된 이동에 따라, 상기 장면내 상기 제 1 연식 객체의 포지션 이동을 포함하는 단계를 포함하는 것을 특징으로 하는
입체 화상 생성 방법.
제 1 항에 있어서,
화상 시리즈에 대해 제 1 항을 따르는 방법의 단계들을 수행하는 단계를 더 포함하고, 화상 시리즈는 비디오 시퀀스를 포함하는 것을 특징으로 하는
입체 화상 생성 방법.
제 1 항에 있어서,
상기 보완 2D 화상 데이터 셋트와 상기 제 1 2D 화상 셋트를 결합하여, 상기 장면의 입체 화상을 창출하는 단계를 더 포함하는 것을 특징으로 하는
입체 화상 생성 방법.
제 1 항에 있어서,
제 1 항의 방법의 단계들에 따라, 상기 제 1 2D 화상 데이터 셋트로부터 생성되는 제 2 보완 2D 화상 셋트와 상기 보완 2D 화상 데이터 셋트를 결합하여, 상기 장면의 입체 화상을 생성하는 단계를 더 포함하는 것을 특징으로 하는
입체 화상 생성 방법.
제 1 항에 있어서,
제 1 3D 골격 모델에 적어도 부분적으로 근거하여, 상기 제 1 연식 객체의 외관을 변경하여, 제 2 화각으로부터의 상기 제 1 연식 객체의 외관을 나타내는 것을 특징으로 하는
입체 화상 생성 방법.
제 1 항에 있어서,
상기 제 1 2D 화상 셋트 내의 강성 객체를 식별하는 단계 및 상기 강성 객체와 상기 제 1 연식 객체간의 공간관계에 근거하여 상기 강성 객체의 심도를 추산하는 단계를 더 포함하는 것을 특징으로 하는
입체 화상 생성 방법.
제 1 항에 있어서,
강성 객체의 에지를 따라, 하나 이상의 픽셀의 텍스쳐를 주변 픽셀로 카피하여, 상기 제 1 화상 데이터 셋트 내의 강성 객체의 외관을 변경하여 제 2 화각에 대응하는 단계를 더 포함하는 것을 특징으로 하는
입체 화상 생성 방법.
제 1 항에 있어서,
상기 방법은, 실시간으로 수행되는 것을 특징으로 하는
입체 화상 생성 방법.
입체 화상 생성 시스템으로서,
장면의 2D 화상을 나타내는 제 1 2D 화상 데이터 셋트를 수신하는 수신 모듈;
상기 수신 모듈과 기능적으로 연관되어 상기 제 1 2D 화상 데이터 셋트 내의 제 1 연식 객체를 식별하는 이산 객체 식별 모듈;
상기 식별 모듈과 기능적으로 연관되어 3D 골격 모델과 상기 제 1 연식 객체를 상관시키는 참조 모델 상관기;
상관된 골격 모델에 적어도 부분적으로 근거하여 상기 제 1 연식 객체에 대한 심도 데이터를 판정하는 객체 심도 추산 모듈; 및
상기 제 1 연식 객체에 대해 판정된 심도 데이터에 근거하여, 상기 제 1 연식 객체의 상기 장면내 포지션 이동을 계산하고, 상기 이동은 상기 장면의 제 2 화각에 대응하는 수평 이동 계산기; 및
제 2 화각으로부터 장면을 묘사하는 보완 2D 화상 데이터 셋트를 생성하고, 상기 생성은 계산된 이동에 따라 상기 장면 내에서 상기 제 1 연식 객체의 포지션 이동을 포함하는 렌더링 모듈을 포함하는 것을 특징으로 하는
입체 화상 생성 시스템.
제 9 항에 있어서,
상기 제 1 3D 골격 모델에 적어도 부분적으로 근거해서 상기 제 1 연식 객체의 외관을 변경하여, 제 2 화각으로부터의 상기 제 1 연식 객체의 외관을 나타내는, 변경 화각 생성기를 더 포함하는 것을 특징으로 하는
입체 화상 생성 시스템.
제 9 항에 있어서,
강성 객체의 에지를 따라 하나 이상의 픽셀의 텍스쳐를 이웃 픽셀로 카피함으로써, 상기 제 1 화상 데이터 셋트 내에서 강성 객체의 외관을 변경하여 제 2 화각에 대응하는, 변경 화각 생성기를 더 포함하는 것을 특징으로 하는
입체 화상 생성 시스템.
2D 화상 데이터 셋트로부터 입체 화상을 생성하는 방법으로서,
2D 화상 데이터 셋트 내 하나 이상의 이산 객체를 식별하는 단계;
적어도 하나의 식별된 객체에 대해, 상기 식별된 객체의 적어도 하나의 가시적 특징을 특징화하는 적어도 하나의 파라미터를 포함하는 참조 모델을 선택하는 단계;
상기 화상내 상기 식별된 객체의 상기 적어도 하나의 가시적 특징의 외관을 상기 선택된 참조 모델의 파라미터에 비교하여, 상기 2D 화상 내 상기 식별된 객체의 심도를 추산하는 단계; 및
상기 추산된 심도에 근거하여, 생성되는 입체 화상 프레임의 보완 화상 프레임의 각 쌍 내 상기 식별된 객체의 인스턴스간 수평 이동을 계산하는 단계를 포함하는 것을 특징으로 하는
입체 화상을 생성하는 방법.
제 12 항에 있어서,
참조 모델을 선택하는 단계는, 상기 2D 화상에 대한 메타데이터 고려를 포함하는 것을 특징으로 하는
입체 화상을 생성하는 방법.
제 12 항에 있어서,
기실행된 상기 참조 모델 선택에 적어도 부분적으로 근거하여, 제 2 식별 객체에 대한 참조 모델을 선택하는 단계를 더 포함하는 것을 특징으로 하는
입체 화상을 생성하는 방법.
제 12 항에 있어서,
상기 참조 모델은 3차원(3D) 모델인 것을 특징으로 하는
입체 화상을 생성하는 방법.
제 15 항에 있어서,
상기 3D 모델은 상기 모델의 엘리먼트 간 공간 제약을 포함하는 골격 모델인 것을 특징으로 하는
입체 화상을 생성하는 방법.
제 16 항에 있어서,
상기 심도 추산은 적어도 부분적으로 상기 골격 모델 제한에 근거하는 것을 특징으로 하는
입체 화상을 생성하는 방법.
제 12 항에 있어서,
상기 참조 모델을 선택하는 단계는, 상기 2D 화상에 대한 컨텍스트(CONTEXT) 고려를 포함하는 것을 특징으로 하는
입체 화상을 생성하는 방법.