KR101245214B1 - 단안 카메라를 이용하여 3-차원 비디오를 생성하는 방법 및 시스템 - Google Patents
단안 카메라를 이용하여 3-차원 비디오를 생성하는 방법 및 시스템 Download PDFInfo
- Publication number
- KR101245214B1 KR101245214B1 KR1020110085808A KR20110085808A KR101245214B1 KR 101245214 B1 KR101245214 B1 KR 101245214B1 KR 1020110085808 A KR1020110085808 A KR 1020110085808A KR 20110085808 A KR20110085808 A KR 20110085808A KR 101245214 B1 KR101245214 B1 KR 101245214B1
- Authority
- KR
- South Korea
- Prior art keywords
- captured
- monocular camera
- depth information
- dimensional
- image data
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000003287 optical effect Effects 0.000 claims description 6
- 238000001429 visible spectrum Methods 0.000 claims description 6
- 238000002329 infrared spectrum Methods 0.000 claims description 5
- 238000009877 rendering Methods 0.000 claims description 4
- 230000003750 conditioning effect Effects 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Studio Devices (AREA)
Abstract
단안 카메라를 이용하여 3-차원 비디오를 생성하기 위한 방법 및 시스템의 양태들이 제공된다. 단안 카메라는 하나 이상의 이미지 센서들 및 하나 이상의 깊이 센서들을 포함할 수 있다. 2-차원 이미지 데이터는 상기 이미지 센서(들)를 통해 캡쳐될 수 있으며, 깊이 정보는 상기 깊이 센서(들)를 통해 캡쳐될 수 있다. 상기 깊이 센서는 상기 단안 카메라의 이미터에 의해 전송되는 적외선 파형들을 이용할 수 있다. 상기 단안 카메라는 상기 캡쳐된 2-차원 이미지 데이터로부터 3-차원 비디오 스트림을 생성하기 위해 상기 캡쳐된 깊이 정보를 이용하도록 작동될 수 있다. 상기 단안 카메라는 상기 캡쳐된 깊이 정보를 상기 캡쳐된 2-차원 이미지 데이터와 동기화시키도록 작동될 수 있다. 상기 단안 카메라는 상기 캡쳐된 2-차원 이미지 데이터로부터 2-차원 비디오 스트림을 생성하도록 작동될 수 있다. 상기 단안 카메라는 상기 2-차원 비디오 스트림 및/또는 상기 3-차원 비디오 스트림을 출력하도록 작동될 수 있다.
Description
우선권의 주장
본 특허 출원은 2011년 2월 3일에 출원된 미국 가출원 특허 출원 번호 제61/439,193 및 2010년 8월 27일에 출원된 미국 가출원 특허 출원 번호 제61/377,867을 참조하고, 우선권을 주장하며, 이익을 주장한다.
상기 언급된 출원은 여기에 의해 그 전체를 참조로서 여기에 포함된다.
참조에 의한 포함
이 특허 출원은 또한 다음을 참조한다.
2011년 2월 3일에 출원된 미국특허출원번호 제61/439,274;
2011년 3월 31일에 출원된 미국특허출원번호 ______(Attorney Docket No. 23462US03);
2011년 2월 3일에 출원된 미국특허출원번호 제61/439,283;
2011년 3월 31일에 출원된 미국특허출원번호 ______(Attorney Docket No. 23463US03);
2011년 2월 3일에 출원된 미국특허출원번호 제61/439,130;
2011년 3월 31일에 출원된 미국특허출원번호 ______(Attorney Docket No. 23464US03);
2011년 2월 3일에 출원된 미국특허출원번호 제61/439,290;
2011년 3월 31일에 출원된 미국특허출원번호 ______(Attorney Docket No. 23465US03);
2011년 2월 3일에 출원된 미국특허출원번호 제61/439,119;
2011년 3월 31일에 출원된 미국특허출원번호 ______(Attorney Docket No. 23466US03);
2011년 2월 3일에 출원된 미국특허출원번호 제61/439,297;
2011년 3월 31일에 출원된 미국특허출원번호 ______(Attorney Docket No. 23467US03);
2011년 2월 3일에 출원된 미국특허출원번호 제61/439,201;
2011년 2월 3일에 출원된 미국특허출원번호 제61/439,209;
2011년 2월 3일에 출원된 미국특허출원번호 제61/439,113;
2011년 3월 31일에 출원된 미국특허출원번호 ______(Attorney Docket No. 23472US03);
2011년 2월 3일에 출원된 미국특허출원번호 제61/439,103;
2011년 3월 31일에 출원된 미국특허출원번호 ______(Attorney Docket No. 23473US03);
2011년 2월 3일에 출원된 미국특허출원번호 제61/439,083;
2011년 3월 31일에 출원된 미국특허출원번호 ______(Attorney Docket No. 23474US03);
2011년 2월 3일에 출원된 미국특허출원번호 제61/439,301; 및
2011년 3월 31일에 출원된 미국특허출원번호 ______(Attorney Docket No. 23475US03).
위에 언급된 출원들 각각은 여기에 의해 그 전체를 참조로서 여기에 포함된다.
본 발명의 일부 실시예들은 비디오 프로세싱에 관한 것이다. 더욱 구체적으로, 본 발명의 일부 실시예들은 단안 카메라(monoscopic camera)를 이용하여 3-차원 비디오(three-dimensional video)를 생성하는 방법 및 시스템에 관한 것이다.
3-차원(3-D) 비디오를 지원하는 비디오 시스템들의 지원 및 요구가 최근 몇 년 동안 빠르게 증가해왔다. 문자 그대로 및 물리적으로 모두, 3-D 비디오는 집 및 극장들에서 비디오를 보기 위한 완전히 새로운 방법을 제공한다. 그러나, 3-D 비디오 시스템들은 아직 여러 면에서 초창기이며, 비용 및 성능 둘 다의 측면에서 개선의 여지가 많다.
상기 도면들의 참조로 본 출원의 나머지 부분에서 제시되는 바와 같이 본 발명의 일 측면들을 갖는 그러한 시스템들의 비교를 통해 전형적이고 전통적인 접근 방법들의 제한들 및 단점들이 당업자들에게 더 명백하게 될 것이다.
그러므로, 본 발명의 목적은 단안 카메라를 이용하여 3-차원 비디오를 생성하는 시스템 및/또는 방법을 제공하는 것이다.
시스템 및/또는 방법은 실질적으로 도면들 중 적어도 한 도면에 관련하여 이에 도시되고 및/또는 이에 관련하여 기술된, 청구항들에 더 완전하게 설명된 바와 같이, 단안 카메라를 이용하여 3-차원 비디오를 생성하도록 제공된다.
본 발명의 일 측면에 따라서, 방법은,
단안 카메라의 하나 이상의 이미지 센서들을 통해 2-차원 이미지 데이터를 캡쳐하는 단계;
상기 단안 카메라의 깊이 센서(depth sensor)를 통해 깊이 정보를 캡쳐하는 단계; 및
상기 캡쳐된 깊이 정보를 이용하여 상기 캡쳐된 2-차원 이미지 데이터로부터 3-차원 비디오 스트림(video stream)을 생성하는 단계를 포함한다.
바람직하게는, 상기 방법은 상기 캡쳐된 깊이 정보를 상기 캡쳐된 2-차원 이미지 데이터와 동기화시키는 단계를 더 포함한다.
바람직하게는, 상기 방법은 상기 2-차원 이미지 데이터의 해상도(resolution)를 매칭시키기 위해 상기 깊이 정보의 해상도를 스케일링하는 단계를 더 포함한다.
바람직하게는, 상기 방법은 상기 캡쳐된 2-차원 이미지 데이터의 프레임 레이트(frame rate)를 매칭시키기 위해 상기 캡쳐된 깊이 정보의 프레임 레이트를 조정하는 단계를 더 포함한다.
바람직하게는, 상기 캡쳐된 2-차원 이미지와 구분하여 상기 캡쳐된 깊이 정보를 메모리에 저장하는 단계를 더 포함한다.
바람직하게는, 상기 캡쳐된 2-차원 이미지 데이터는 밝기 정보 및 색상 정보 중 하나 또는 둘 다를 렌더링(rendering)하는 단계를 더 포함한다.
바람직하게는, 상기 방법은 상기 캡쳐된 2-차원 이미지 데이터로부터 2-차원 비디오 스트림을 렌더링하는 것을 더 포함한다.
바람직하게는, 상기 단안 카메라는 상기 2-차원 비디오 스트림 및 상기 3-차원 비디오 스트림 중 하나를 상기 단안 카메라의 디스플레이로 출력시키도록 설정 가능하다.
바람직하게는, 상기 2-차원 비디오 스트림 및 상기 3-차원 비디오 스트림 중 하나 또는 둘 다를 하나 이상의 인터페이스들을 통해 상기 단안 카메라에 연결된 하나 이상의 전자 장치들로 출력시키도록 설정 가능하다.
바람직하게는, 상기 깊이 센서는 상기 단안 카메라의 이미터(emitter)에 의해 전송되는 적외선 파형들(infrared waves)을 이용한다.
일 측면에 따라서, 시스템은,
단안 카메라에서의 사용을 위한 하나 이상의 회로들을 포함하며, 상기 하나 이상의 회로들은 하나 이상의 이미지 센서들 및 깊이 센서를 포함하고, 상기 하나 이상의 회로들은,
단안 카메라의 하나 이상의 이미지 센서들을 통해 2-차원 이미지 데이터를 캡쳐하고,
상기 단안 카메라의 깊이 센서를 통해 깊이 정보를 캡쳐하고,
상기 캡쳐된 깊이 정보를 이용하여 상기 캡쳐된 2-차원 이미지 데이터로부터 3-차원 비디오 스트림을 생성하도록 작동된다.
바람직하게는, 상기 하나 이상의 회로들은 상기 캡쳐된 깊이 정보를 상기 캡쳐된 2-차원 이미지 데이터와 동기화시키도록 작동된다.
바람직하게는, 상기 하나 이상의 회로들은 상기 2-차원 이미지 데이터의 해상도를 매칭시키기 위해 상기 깊이 정보의 해상도를 스케일링하도록 작동된다.
바람직하게는, 상기 하나 이상의 회로들은 상기 캡쳐된 2-차원 이미지 데이터의 프레임 레이트를 매칭시키기 위해 상기 캡쳐된 깊이 정보의 프레임 레이트를 조정하도록 작동된다.
바람직하게는, 상기 캡쳐된 2-차원 이미지와 구분하여 상기 캡쳐된 깊이 정보를 메모리에 저장하도록 작동된다.
바람직하게는, 상기 캡쳐된 2-차원 이미지 데이터는 밝기 정보 및 색상 정보 중 하나 또는 둘 다를 포함한다.
바람직하게는, 상기 하나 이상의 회로들은 상기 캡쳐된 2-차원 이미지 데이터로부터 2-차원 비디오 스트림을 렌더링하도록 작동된다.
바람직하게는, 상기 단안 카메라는 상기 2-차원 비디오 스트림 및 상기 3-차원 비디오 스트림 중 하나를 상기 단안 카메라의 디스플레이로 출력시키도록 설정 가능하다.
바람직하게는, 상기 2-차원 비디오 스트림 및 상기 3-차원 비디오 스트림 중 하나 또는 둘 다를 하나 이상의 인터페이스들을 통해 상기 단안 카메라에 연결된 하나 이상의 전자 장치들로 출력시키도록 설정 가능하다.
바람직하게는, 상기 깊이 센서는 상기 단안 카메라의 이미터에 의해 전송되는 적외선 파형들을 이용한다.
본 발명의 도시된 실시예의 상세들뿐만 아니라, 본 발명의 이러한 및 다른 장점들, 양태들 및 새로운 특징들은 다음 설명 및 도면들로부터 보다 완전히 이해되어질 것이다.
그러므로, 본 발명은 단안 카메라를 이용하여 3-차원 비디오를 생성할 수 있는 장점이 있다.
도 1은 전형적인 입체 카메라(stereoscopic camera)와 비교된, 본 발명의 양태들을 구현하는 예시적인 단안(monoscopic), 또는 단일-뷰(single-view) 카메라를 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른, 예시적인 단안 카메라를 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른, 3-D 이미지를 생성하기 위해 깊이 정보 및 2-D 이미지 정보의 예시적인 프로세싱을 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따른, 2-D 이미지 센서 및 깊이 센서를 이용하여 3-D 비디오를 생성해내기 위한 예시적인 단계들을 나타내는 흐름도이다.
도 2는 본 발명의 일 실시예에 따른, 예시적인 단안 카메라를 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른, 3-D 이미지를 생성하기 위해 깊이 정보 및 2-D 이미지 정보의 예시적인 프로세싱을 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따른, 2-D 이미지 센서 및 깊이 센서를 이용하여 3-D 비디오를 생성해내기 위한 예시적인 단계들을 나타내는 흐름도이다.
본 발명의 일부 실시예들은 단안 카메라를 이용하여 3-차원 비디오를 생성하기 위한 방법 및 시스템에서 찾아볼 수 있다. 본 발명의 다양한 실시예들에서, 단안 카메라는 하나 이상의 이미지 센서들 및 하나 이상의 깊이 센서들을 포함할 수 있다. 2-차원 이미지 데이터는 상기 이미지 센서(들)에 의해 캡쳐될 수 있으며, 깊이 정보는 상기 깊이 센서(들)에 의해 캡쳐될 수 있다. 상기 깊이 센서는 상기 단안 카메라의 이미터에 의해 전송되는 적외선 파형들을 이용할 수 있다. 상기 단안 카메라는 상기 캡쳐된 2-차원 이미지 데이터로부터 3-차원 비디오 스트림을 생성하기 위해 상기 캡쳐된 깊이 정보를 이용하도록 작동될 수 있다. 상기 단안 카메라는 상기 캡쳐된 깊이 정보를 상기 캡쳐된 2-차원 이미지 데이터와 동기화시키도록 작동될 수 있다. 상기 단안 카메라는 상기 2-차원 이미지 데이터의 해상도를 매칭시키기 위해 상기 깊이 정보의 해상도를 스케일링하도록 작동될 수 있으며, 및/또는 상기 캡쳐된 2-차원 이미지 데이터의 프레임 레이트를 매칭시키도록 상기 캡쳐된 깊이 정보의 프레임 레이트를 조정할 수 있다. 상기 단안 카메라는 메모리에서, 상기 캡쳐된 2-차원 이미지 데이터와 구분하여 상기 캡쳐된 깊이 정보를 저장하도록 작동될 수 있다. 이러한 방법으로, 상기 이미지 데이터 및 상기 깊이 데이터는 하나 이상의 비디오 스트림들을 렌더링하기 위해 분리하여 및/또는 조합하여 이용될 수 있다. 상기 캡쳐된 2-차원 이미지 데이터는 밝기 정보 및 색상 정보 중 하나 또는 둘 다를 포함할 수 있다. 상기 단안 카메라는 상기 캡쳐된 2-차원 이미지 데이터로부터 2-차원 비디오 스트림을 렌더링하도록 작동될 수 있다. 상기 단안 카메라는 상기 2-차원 비디오 스트림 및 상기 3-차원 비디오 스트림 중 하나 또는 둘 다를 상기 단안 카메라의 디스플레이로 및/또는 하나 이상의 인터페이스들을 통해 상기 단안 카메라에 연결된 하나 이상의 전자 장치들로 출력하도록 작동될 수 있다. 여기에서 이용되는 바와 같이 "3-D 이미지"는 입체 이미지(stereoscopic image)로 언급되며, "3-D 비디오"는 입체 비디오(stereoscopic video)로 언급된다.
도 1은 본 발명의 양태들을 구현하는 단안 카메라를 전형적인 입체 카메라와 비교하는 도면이다. 도 1을 참조하면, 상기 입체 카메라(100)는 두 개의 렌즈들(101a, 101b)을 포함할 수 있다. 상기 각 렌즈들(101a, 101b)은 다른 시각(viewpoint)으로부터의 이미지들을 캡쳐할 수 있으며, 상기 두 렌즈들(101a, 101b)을 통해 캡쳐된 이미지들은 3-D 이미지를 생성하기 위해 결합될 수 있다. 이러한 관점에서, 가시 스펙트럼(visible spectrum)에서의 전자기(electromagnetic; EM) 파형들은 상기 렌즈(101a)(및 관련된 옵틱스(optics))에 의해 하나 이상의 제1 센서들에 초점이 맞춰질 수 있으며, 상기 가시 스펙트럼에서의 EM 파형들은 상기 렌즈(101b)(및 관련된 옵틱스)에 의해 하나 이상의 제2 센서들에 초점이 맞춰질 수 있다.
상기 단안 카메라(102)는 상기 렌즈(101c)에 대응하는 단일 시각을 통해 이미지들을 캡쳐할 수 있다. 이러한 관점에서, 상기 가시 스펙트럼에서의 EM 파형들은 상기 렌즈(101c)에 의해 하나 이상의 이미지 센서들에 초점이 맞춰질 수 있다. 상기 이미지 센서(들)는 밝기 및/또는 색상 정보를 캡쳐할 수 있다. 상기 캡쳐된 밝기 및/또는 색상 정보는 YCrCb 색 공간(color space) 또는 RGB 색 공간과 같은 어떠한 적절한 색 공간으로 표현될 수 있다. 상기 단안 카메라(102)는 또한 상기 렌즈(101c)(및 관련된 옵틱스)를 통해 깊이 정보를 캡쳐할 수 있다. 예를 들면, 상기 단안 카메라(102)는 반사된 적외선 파형들에 기초하여 물체들까지의 거리를 결정하도록 작동되는 적외선 이미터, 적외선 센서, 및 관련된 회로를 포함할 수 있다. 상기 단안 카메라(102)의 추가적인 상세들은 이하에서 설명된다.
상기 단안 카메라는 프로세서(124), 메모리(126), 및 하나 이상의 센서들(128)을 포함할 수 있다. 상기 프로세서(124)는 상기 카메라의 다양한 구성요소들의 동작을 관리하고 다양한 계산 및 처리 태스크들(tasks)을 수행하도록 작동될 수 있는 적절한 로직(logic), 회로(circuitry), 인터페이스들(interfaces), 및/또는 코드(code)를 포함할 수 있다. 단일 프로세서(124)는 단지 예를 위해서 사용되었으며, 본 발명이 이에 한정되지는 않는다. 본 발명의 예시적인 실시예에서, 도 2에 도시된 상기 카메라(102)의 여러 부분들이 도 1에 도시된 상기 프로세서(124)에 대응될 수 있다. 상기 메모리(106)는 예를 들면, DRAM, SRAM, 플래시 메모리, 하드 드라이브 또는 다른 자기 저장 매체, 또는 어떠한 다른 적절한 메모리 장치들을 포함할 수 있다. 상기 센서들(128)은 하나 이상의 이미지 센서들, 하나 이상의 깊이 센서들, 및 하나 이상의 마이크로폰들을 포함할 수 있다. 예시적인 센서들은 도 2와 관련하여 아래에서 설명된다.
도 2는 본 발명의 실시예에 따라 예시적인 단안 카메라를 나타내는 도면이다. 도 2를 참조하면, 상기 카메라(102)는 프로세서(processor; 104), 메모리(memory; 106), 비디오 인코더/디코더(video encoder/decoder; 107), 깊이 센서(depth sensor; 108), 오디오 인코더/디코더(audio encoder/decoder; 109), 디지털 신호 처리기(digital signal processor; DSP)(110), 입력/출력 모듈(input/output module; 112), 하나 이상의 이미지 센서들(image sensors; 114), 옵틱스(optics; 116), 렌즈(lens; 118), 디지털 디스플레이(digital display; 120), 제어들(controls; 122), 및 광학 뷰파인더(optical viewfinder; 124)를 포함할 수 있다.
상기 프로세서(104)는 상기 카메라(102)의 여러 구성요소들의 동작을 조정하도록 작동될 수 있는 적절한 로직, 회로, 인터페이스들, 및/또는 코드를 포함할 수 있다. 상기 프로세서(104)는, 예를 들면, 상기 카메라(102)의 운영 시스템(operating system)을 실행하고 상기 카메라(102)의 구성요소들 간의 정보 및 신호들의 통신을 제어할 수 있다. 상기 프로세서(104)는 상기 메모리(106)에 저장된 지시들(instructions)을 실행할 수 있다.
상기 메모리(106)는, 예를 들면, DRAM, SRAM, 플래시 메모리, 하드 드라이브 또는 다른 자기 저장 매체, 또는 어떠한 다른 적절한 메모리 장치들을 포함할 수 있다. 예를 들면, SRAM은 상기 프로세서(104)에 의해 이용 및/또는 생성된 데이터를 저장하도록 이용될 수 있으며 하드 드라이브 및/또는 플래시 메모리는 기록된 이미지 데이터 및 깊이 데이터를 저장하도록 이용될 수 있다.
상기 비디오 인코더/디코더(107)는 예를 들면, 상기 디스플레이(120) 및/또는 상기 I/O 블록(114)을 통한 하나 이상의 외부 장치들로의 전송을 위한 적절한 데이터를 만들기 위해 캡쳐된 색상, 밝기 및/또는 깊이 데이터를 처리하도록 작동될 수 있는 적절한 로직, 회로, 인터페이스들, 및/또는 코드를 포함할 수 있다. 예를 들면, 상기 비디오 인코더/디코더(107)는 예컨대, 로우 RGB(raw RGB) 또는 YCrCb 픽셀 값들 및 MPEG 인코딩 간에 변환할 수 있다. 비록 분리된 블록(107)으로 도시되었으나, 상기 비디오 인코더/디코더(107)는 상기 DSP(110) 내에서 구현될 수 있다.
상기 깊이 센서(108)는 상기 적외선 스펙트럼에서 EM 파형들을 검출하고 반사된 적외선 파형들에 기초하여 물체들까지의 거리를 결정하도록 작동될 수 있는 적절한 로직, 회로, 인터페이스들, 및/또는 코드를 포함할 수 있다. 본 발명의 일 실시예에서, 거리는 상기 이미터(109)에 의해 전송되어 상기 센서(108)로 반사되어 되돌아오는 적외선 파형들의 전파 시간(time-of-flight)에 기초하여 결정될 수 있다. 본 발명의 일 실시예에서, 깊이는 캡쳐된 그리드(grid)의 왜곡(distortion)에 기초하여 결정될 수 있다.
상기 오디오 인코더/디코더(109)는 예를 들면, 상기 스피커(111) 및/또는 상기 I/O 블록(114)을 통한 하나 이상의 외부 장치들로의 전송을 위한 적절한 데이터를 만들기 위해 캡쳐된 색상, 밝기 및/또는 깊이 데이터를 처리하도록 작동될 수 있는 적절한 로직, 회로, 인터페이스들, 및/또는 코드를 포함할 수 있다. 예를 들면, 상기 비디오 인코더/디코더(107)는 예컨대, 로우 펄스 코드 변조된 오디오(raw pulse-code-modulated audio) 및 MP3 또는 AAC 인코딩 사이를 변환할 수 있다. 비록 분리된 블록(109)으로 도시되었으나, 상기 비디오 인코더/디코더(109)는 상기 DSP(110) 내에서 구현될 수 있다.
상기 디지털 신호 처리기(DSP)(110)는 캡쳐된 이미지 데이터, 캡쳐된 깊이 데이터, 및 캡쳐된 오디오 데이터의 복합적인 처리를 수행하도록 작동될 수 있는 적절한 로직, 회로, 인터페이스들, 및/또는 코드를 포함할 수 있다. 상기 DSP(110)는 예를 들면, 상기 데이터를 압축 및/또는 압축 해제하고, 상기 데이터를 인코딩 및/또는 디코딩하고, 및/또는 잡음을 제거하기 위해 상기 데이터를 필터링하고, 및/또는 그렇지 않으면 청취자 및/또는 시청자를 위해 감지된 오디오 및/또는 비디오 품질을 개선하도록 작동될 수 있다.
상기 입력/출력 모듈(112)은 상기 카메라(102)가 USB, PCI-X, IEEE 1394, HDMI, "DisplayPort", 및/또는 아날로그 오디오 및/또는 아날로그 비디오 표준들과 같은 하나 이상의 표준들에 따라서 다른 장치들과 연결되도록 할 수 있는 적절한 논리, 회로, 인터페이스들, 및/또는 코드를 포함할 수 있다. 예를 들면, 상기 I/O 모듈(112)은 상기 제어들(122)로부터 신호들을 전송 및 수신하고, 상기 디스플레이(120)로 비디오를 출력하고, 스피커(111)로 오디오를 출력하고, 상기 마이크로폰(113)으로부터의 오디오 입력을 처리하고, 카세트들, 플래시 카드들, 하드 디스크 드라이브들, 솔리드 스테이트 드라이브들(solid state drives), 또는 상기 카메라(102)에 부착되는 다른 외부 메모리로부터 읽고 그에 쓰며, 및/또는 IEEE 1394 또는 USB 포트와 같은 하나 이상의 포트들을 통해 오디오 및/또는 비디오를 출력시키도록 작동될 수 있다.
상기 마이크로폰(113)은 음파들(acoustic waves)을 전기 신호들로 변환시키도록 작동하는 변환기(transducer) 및 관련된 로직, 회로, 인터페이스들, 및/또는 코드를 포함할 수 있다. 상기 마이크로폰(113)은 캡쳐된 오디오 신호들을 증폭, 이퀄라이징, 및/또는 그렇지 않으면 프로세싱하도록 작동될 수 있다. 상기 마이크로폰(113)의 방향성은 전기적 및/또는 기계적으로 제어될 수 있다.
상기 이미지 센서(들)(114)는 각각 광학 신호들을 전기 신호들로 변환시키도록 작동될 수 있는 적절한 로직, 회로, 인터페이스들, 및/또는 코드를 포함할 수 있다. 각각의 이미지 센서(114)는, 예를 들면, 전하 결합 소자(charge coupled device; CCD) 이미지들 센서 또는 상보성 금속 산화막 반도체(complimentary metal oxide semiconductor; CMOS) 이미지 센서를 포함할 수 있다. 각각의 이미지 센서(114)는 2-D 밝기 및/또는 색상 정보를 캡쳐할 수 있다.
상기 옵틱스(116)는 상기 렌즈(101c)를 통해 수신된 EM 파형들을 조절(conditioning)하고 안내(directing)하기 위한 다양한 광학 장치들을 포함할 수 있다. 상기 옵틱스(116)는 상기 가시 스펙트럼에서의 EM 파형들을 상기 이미지 센서(114)로 안내하고 상기 적외선 스펙트럼에서의 EM 파형들을 상기 깊이 센서(108)로 안내할 수 있다. 상기 옵틱스(116)는, 예를 들면, 하나 이상의 렌즈들, 프리즘들, 색상 필터들, 및/또는 거울들을 포함할 수 있다.
상기 렌즈(118)는 가시 및 적외선 스펙트럼들에서 전자기 파형들을 수집하고 충분히 초점이 맞도록 작동될 수 있다.
상기 디지털 디스플레이(120)는 상기 카메라(102)를 통해 기록된 이미지들이 디스플레이될 수 있는 LCD, LED, OLED, 또는 다른 디지털 디스플레이 기술을 포함할 수 있다. 본 발명의 일 실시예에 따라, 상기 디지털 디스플레이(120)는 3-D 이미지들을 디스플레이하도록 작동될 수 있다.
상기 제어들(122)은 적절한 로직, 회로, 인터페이스들, 및/또는 코드를 포함할 수 있다. 상기 제어들(122)은 사용자가 상기 카메라(102)와 상호작용하는 것을 가능하게 한다. 예를 들면, 녹음(recording) 및 재생(playback)을 제어하기 위한 제어들. 본 발명의 일 실시예에서, 상기 제어들(122)은 상기 카메라(102)가 2-D 또는 3-D 모드들에서 비디오를 기록 및/또는 출력할지를 사용자가 선택하는 것을 가능하게 한다.
광학 뷰파인더(124)는 상기 렌즈(101c)가 "보는" 것, 즉 "프레임 내"에 있는 것을 사용자가 볼 수 있도록 한다.
동작으로서, 상기 깊이 센서(108)는 깊이 정보를 캡쳐하고, 상기 이미지 센서(들)(114)는 2-D 이미지 정보를 캡쳐할 수 있다. 마찬가지로, 보안 카메라(security camera)와 같은 상기 카메라(102)의 로어-엔드(lower-end) 애플리케이션에 대해, 상기 이미지 센서(들)(114)는 단지 흑백 3-D 비디오를 렌더링하기 위한 밝기 정보만을 캡쳐할 수 있다. 상기 깊이 정보는, 예를 들면, 2-D 이미지 정보와 관련된 정보의 메타데이터(metadata) 및/또는 추가적인 레이어(additional layer)로서 저장 및/또는 통신될 수 있다. 이러한 관점에서, 데이터 구조 내에 저장되는 상기 2-D 이미지 정보는 상기 저장된 2-D 이미지 정보와 관련된 깊이 데이터를 가리키는 하나 이상의 필드들 및/또는 지시들(indications)을 포함할 수 있으며, 상기 데이터 구조는 3-D 이미지를 렌더링하기 위해 이용될 수 있다. 마찬가지로, 패킷들로 통신되는 상기 2-D 이미지 정보가 상기 통신되는 2-D 이미지 정보와 관련된 깊이 데이터를 가리키는 하나 이상의 필드들 및/또는 지시들(indications)을 포함할 수 있으며, 상기 패킷들은 3-D 이미지를 렌더링하기 위해 이용될 수 있다. 그러므로, 2-D 비디오를 출력시키기 위해, 상기 카메라(101)는 메모리 밖으로 상기 2-D 이미지 정보를 독출(read)하고, 상기 디스플레이 및/또는 I/O 블록으로 2-D 비디오 스트림을 생성하도록 그것을 처리할 수 있다. 3-D 비디오를 출력시키기 위해, (1) 메모리로부터 상기 2-D 이미지 정보를 독출하고; (2) 상기 2-D 이미지 정보와 함께 메모리에 저장된 지시에 기초하여, 관련된 깊이 정보가 사용 가능한지를 결정하고; (3) 메모리로부터 상기 깊이 정보를 독출하고; 및 (4) 3-D 비디오 스트림을 생성하기 위해 상기 2-D 이미지 정보 및 깊이 정보를 처리할 수 있다.
상기 2-D 이미지 정보 및 깊이 정보의 처리는 상기 깊이 정보를 상기 2-D 이미지 정보에 동기화하는 것을 포함할 수 있다. 상기 2-D 이미지 정보 및 깊이 정보의 처리는 상기 2-D 이미지 정보 및 상기 관련된 깊이 정보 중 하나 또는 둘 다를 스케일링하거나 및/또는 보간(interpolating)하는 것을 포함할 수 있다. 예를 들면, 상기 깊이 센서(108)의 해상도가 상기 이미지 센서(114)의 해상도보다 더 낮을 수 있다. 따라서, 상기 카메라(102)는 2-D 이미지 정보의 각 픽셀 또는 픽셀들의 그룹을 위한 깊이 정보를 생성하기 위해 깊이 정보의 픽셀들 사이를 보간하도록 작동될 수 있다. 마찬가지로, 상기 깊이 센서(108)의 프레임 레이트가 상기 이미지 센서(114)의 프레임 레이트보다 낮을 수 있다. 따라서, 상기 카메라(102)는 2-D 이미지 정보의 각 프레임을 위한 깊이 정보의 프레임을 생성하기 위해 깊이 정보의 프레임들 사이를 보간하도록 작동될 수 있다.
도 3은 본 발명의 일 실시예에 따라, 3-D 이미지를 생성하기 위한 깊이 정보 및 2D 이미지 정보의 처리를 나타낸다. 도 3을 참조하면, 상기 깊이 센서(들)(108)에 의해 캡쳐된 깊이 정보의 프레임(130), 및 상기 이미지 센서들(114)에 의해 캡쳐된 2D 이미지 정보의 프레임(134)은 3-D 이미지의 프레임(136)을 생성하도록 처리될 수 있다. 점선에 의해 표시된 평면(132)은 상기 두 개의 차원 그림 시트들에서 깊이를 나타내기 위해 단지 예시의 목적들을 위한 것이다.
상기 프레임(130)에서 선 두께는 깊이(더 두꺼운 선들이 보는 사람에게 더 가깝다)를 나타내도록 사용된다. 그러므로, 상기 물체(138)는 상기 카메라(102)로부터 가장 멀고, 상기 물체(142)는 상기 카메라(102)에 가장 가깝고, 상기 물체(104)는 중간 거리에 있다. 본 발명의 다양한 실시예들에 따라, 깊이 정보는 보는 사람에게 디스플레이를 위한 그레이스케일(grayscale), 또는 의사-그레이스케일(pseudo-grayscale), 이미지에 매핑될 수 있다. 그러한 매핑은, 예를 들면, 상기 DSP(110)에서 수행될 수 있다.
상기 프레임(134)에서 상기 이미지는 전형적인 2D 이미지이다. 예를 들면, 상기 디스플레이(120) 또는 상기 I/O 모듈(112)을 통한 상기 카메라(102)에 연결된 장치상에서 상기 프레임(134)을 보는 사람은 자신과 상기 각 물체들(138, 140, 및 142) 사이를 동일한 거리로 인식한다. 즉, 상기 각 물체들(138, 140, 및 142)을 각각 상기 평면(132)상에 있는 것으로 보인다.
상기 프레임(136)에서의 이미지는 3-D 이미지이다. 상기 디스플레이(120) 또는 상기 I/O 모듈(112)을 통한 상기 카메라(102)에 연결된 장치상에서 상기 프레임(136)을 보는 사람은 상기 물체(138)를 자신으로부터 가장 멀리 있는 것으로, 상기 물체(142)를 자신에게 가장 가까이 있는 것으로, 상기 물체(140)를 중간 거리에 있는 것으로 인식한다. 이러한 관점에서, 상기 물체(138)는 상기 기준 평면(reference plane)의 뒤에 있는 것처럼 보이고, 상기 물체(140)는 상기 기준 평면에 있는 것처럼 보이고, 상기 물체(142)는 상기 기준 평면의 앞에 있는 것처럼 보인다.
도 4는 본 발명의 일 실시예에 따라, 2-D 이미지 센서 및 깊이 센서를 이용하여 3-D 비디오를 생성해내기 위한 예시적인 단계들을 나타내는 흐름도이다. 도 4를 참조하면, 상기 예시적인 단계들은 상기 카메라(102)가 전원이 켜질 수 있는 단계(150)로 시작한다. 단계(152)에서, 3-D 모드가 활성화될지를 결정한다. 그렇지 않으면, 그런 다음, 단계(154)에서, 상기 카메라(102)는 2-D 이미지들 및/또는 비디오들을 캡쳐할 수 있다.
단계(152)로 되돌아가서, 만약 3-D 모드가 활성화(예컨대, 사용자의 선택에 기초하여)되면, 다음으로 단계(156)에서, 상기 카메라(102)는 상기 센서(들)(114)를 통해 2-D 이미지 정보(밝기 정보 및/또는 색상 정보)를 캡쳐할 수 있으며 상기 센서(108)를 통해 깊이 정보를 캡쳐할 수 있다. 단계(158)에서, 상기 깊이 정보는 상기 대응하는 2-D 이미지 정보와 연관될 수 있다. 이러한 연관은, 예를 들면, 상기 2-D 이미지 정보와 상기 깊이 정보를 동기화하는 것과 상기 2-D 이미지 정보와 상기 깊이 정보를 메모리(106)에서 연관시키는 것을 포함할 수 있다.
단계(160)에서, 상기 캡쳐된 비디오의 재생이 요구될 수 있다. 단계(162)에서는 상기 카메라(102)가 2-D 비디오 재생 모드에 있는지 혹은 3-D 비디오 재생 모드에 있는 지가 결정될 수 있다. 2-D 재생 모드에 대해, 상기 예시적인 단계들은 단계(164)로 진행될 수 있다. 단계(164)에서, 상기 2-D 이미지 정보는 메모리(106)로부터 독출될 수 있다. 단계(166)에서, 상기 카메라(102)는 2-D 비디오 스트림을 생성하기 위해 상기 2-D 이미지 정보를 렌더링하거나 및/또는 그렇지 않으면 프로세싱할 수 있다. 단계(168)에서 상기 2-D 비디오 스트림은 상기 디스플레이(120) 및/또는 상기 I/O 블록(112)을 통한 외부 장치로 출력될 수 있다.
단계(162)로 되돌아가서, 2-D 재생 모드에 대해, 상기 예시적인 단계들은 단계(170)로 진행될 수 있다. 단계(170)에서, 상기 2-D 이미지 정보 및 상기 관련된 깊이 정보는 메모리(106)로부터 독출될 수 있다. 단계(172)에서, 상기 카메라(102)는 3-D 비디오 스트림을 생성하기 위해 상기 2-D 이미지 정보 및 깊이 정보를 렌더링하거나 및/또는 그렇지 않으면 프로세싱할 수 있다. 단계(174)에서 상기 3-D 비디오 스트림은 상기 디스플레이(120) 및/또는 상기 I/O 블록(112)을 통한 외부 장치로 출력될 수 있다.
단안 카메라를 이용하여 3-D 비디오를 생성하기 위한 방법 및 시스템의 다양한 양태들이 제공된다. 본 발명의 다양한 실시예들에서, 단안 카메라(102)는 하나 이상의 이미지 센서들(114) 및 하나 이상의 깊이 센서들(108)을 포함할 수 있다. 2-차원 이미지 데이터는 상기 이미지 센서(들)(114)를 통해 캡쳐될 수 있으며 깊이 정보는 상기 깊이 센서(들)(108)를 통해 캡쳐될 수 있다. 상기 깊이 센서(들)(108)는 상기 단안 카메라의 이미터(109)에 의해 전송되는 적외선 파형들을 이용할 수 있다. 상기 단안 카메라(102)는 상기 캡쳐된 2-차원 이미지 데이터로부터 3-차원 비디오 스트림을 생성하기 위해 상기 캡쳐된 깊이 정보를 이용하도록 작동될 수 있다. 상기 단안 카메라(102)는 상기 캡쳐된 깊이 정보를 상기 캡쳐된 2-차원 이미지 데이터와 동기화시키도록 작동될 수 있다. 상기 단안 카메라(102)는 상기 캡쳐된 2-차원 이미지 데이터의 해상도를 매칭시키기 위해 상기 깊이 정보의 해상도를 스케일링하도록 작동될 수 있다. 상기 단안 카메라(102)는 상기 캡쳐된 2-차원 이미지 데이터의 프레임 레이트를 매칭시키도록 상기 캡쳐된 깊이 정보의 프레임 레이트를 조정하도록 작동될 수 있다. 상기 단안 카메라(102)는 메모리(106)에서, 상기 캡쳐된 2-차원 비디오와 구분하여 상기 캡쳐된 깊이 정보를 저장하도록 작동될 수 있다. 이러한 방법으로, 상기 이미지 데이터 및 상기 깊이 데이터는 하나 이상의 비디오 스트림들을 렌더링하기 위해 분리하여 및/또는 조합하여 이용될 수 있다. 상기 캡쳐된 2-차원 이미지 데이터는 밝기 정보 및 색상 정보 중 하나 또는 둘 다를 포함할 수 있다. 상기 단안 카메라(102)는 상기 캡쳐된 2-차원 이미지 데이터로부터 2-차원 비디오 스트림을 렌더링하도록 작동될 수 있다. 상기 단안 카메라(102)는 상기 2-차원 비디오 스트림 및 상기 3-차원 비디오 스트림 중 하나 또는 둘 다를 상기 단안 카메라(102)의 디스플레이(120)로 및/또는 상기 I/O 블록(112)의 하나 이상의 인터페이스들을 통해 상기 단안 카메라(102)에 연결된 하나 이상의 전자 장치들로 출력하도록 구성될 수 있다.
본 발명의 다른 실시예들은 기계 및/또는 컴퓨터에 의해 실행될 수 있는 적어도 하나의 코드 섹션을 구비하여, 단안 카메라를 이용하여 3-차원 영상을 생성하기 위해 여기에 기술된 상기 단계들을 상기 기계 및/또는 컴퓨터가 수행하도록 하는 기계 코드 및/또는 컴퓨터 프로그램을 거기에 저장한, 비-일시적 컴퓨터 판독가능 매체 및/또는 저장매체, 및/또는 비-일시적 기계 판독가능 매체 및/또는 저장 매체를 제공할 수 있다.
따라서, 본 발명은 하드웨어, 소프트웨어 또는 하드웨어 및 소프트웨어의 조합으로 실현될 수 있다. 본 발명은 적어도 한 컴퓨터 시스템에서 중앙집중 형태로 또는 몇 개의 상호연결된 컴퓨터 시스템들에 걸쳐 서로 다른 요소들이 분산되어 있는 분산 형태로 실현될 수 있다. 임의의 종류의 컴퓨터 시스템 또는 여기에 기술된 방법들을 수행하기 위해 적용된 다른 장치가 맞춰진다. 하드웨어 및 소프트웨어의 전형적 조합은 로딩되어 실행될 때 여기에 기술된 방법들을 수행하도록 상기 컴퓨터 시스템을 제어하는 컴퓨터 프로그램을 가진 범용 컴퓨터 시스템일 수 있다.
또한, 본 발명은 여기 기술된 방법들을 구현할 수 있도록 하는 모든 특징들을 포함하고 컴퓨터 시스템에 로딩되었을 때 이들 방법들을 수행할 수 있는 컴퓨터 프로그램 제품에 내장될 수 있다. 본 맥락에서 컴퓨터 프로그램은 정보 처리 능력이 있는 시스템이 직접 또는 a) 다른 언어, 코드 또는 표기로 변환, b) 다른 자료 형태로 재생 중 하나 혹은 둘 다를 행한 후에 특정 기능을 수행하도록 하는 한 세트의 지시들의 임의의 언어, 코드 또는 표기로 된 임의의 표현을 의미한다.
본 발명이 일부 실시예들에 관련하여 기술되었으나, 본 발명의 범위를 벗어나지 않고 다양한 변경들이 행해질 수 있고 등가물들이 대치될 수 있음을 당업자에 의해 이해될 것이다. 추가로, 본 발명의 범위를 벗어나지 않고 본 발명의 교시된 바들에 대해 특정 상황 또는 자료에 적합하도록 많은 수정들이 행해질 수 있다. 그러므로, 본 발명은 개시된 특정 실시예로 제한되지 않으며, 오히려 본 발명은 상기 첨부된 청구항들의 범위 내에 속하는 모든 실시예들을 포함할 것이다.
Claims (15)
- 하나의 렌즈를 구비하고, 상기 렌즈에 대응하는 단일 시각을 통해 이미지를 캡쳐하는 단안 카메라(monoscopic camera)의 상기 렌즈를 통해 입력된 이미지로부터 하나 이상의 이미지 센서들을 통해 2-차원 이미지 데이터를 캡쳐하는 단계;
상기 단안 카메라의 동일한 상기 렌즈를 통해 수신된 파형으로부터 깊이 센서(depth sensor)를 통해 깊이 정보를 캡쳐하는 단계;
상기 캡쳐된 깊이 정보를 상기 캡쳐된 2-차원 이미지 데이터와 동기화시키고, 상기 캡쳐된 2-차원 이미지와 구분하여 메모리에 저장하는 단계; 및
상기 캡쳐된 깊이 정보 및 상기 캡쳐된 깊이 정보와 동기화된 상기 캡쳐된 2-차원 이미지 데이터로부터 3-차원 비디오 스트림(video stream)을 생성하는 단계를 포함하는, 단안 카메라를 이용하여 3-차원 비디오를 생성하는 방법. - 청구항 1에 있어서, 상기 캡쳐된 깊이 정보는 캡쳐된 그리드(grid)의 왜곡(distortion)에 기초하여 결정되는, 단안 카메라를 이용하여 3-차원 비디오를 생성하는 방법.
- 청구항 1에 있어서, 상기 2-차원 이미지 데이터의 해상도를 매칭시키기 위해 상기 깊이 정보의 해상도를 스케일링하는 단계를 포함하는, 단안 카메라를 이용하여 3-차원 비디오를 생성하는 방법.
- 청구항 1에 있어서, 상기 캡쳐된 2-차원 이미지 데이터의 프레임 레이트를 매칭시키기 위해 상기 캡쳐된 깊이 정보의 프레임 레이트를 조정하는 단계를 포함하는, 단안 카메라를 이용하여 3-차원 비디오를 생성하는 방법.
- 청구항 1에 있어서, 상기 단안 카메라는 옵틱스를 포함하고,
상기 옵틱스는 상기 하나의 렌즈를 통해 수신된 전자기(EM) 파형들을 조절(conditioning)하고 안내(directing)하기 위한 광학 장치들을 포함하며,
상기 하나의 렌즈를 통해 수신된 가시 스펙트럼에서의 EM 파형들을 상기 이미지 센서로 안내함과 동시에, 동일한 상기 하나의 렌즈를 통해 수신된 적외선 스펙트럼에서의 EM 파형들을 상기 깊이 센서로 안내하는, 단안 카메라를 이용하여 3-차원 비디오를 생성하는 방법. - 청구항 1에 있어서, 상기 캡쳐된 2-차원 이미지 데이터는 밝기 정보 및 색상 정보 중 하나 또는 둘 다를 포함하는, 단안 카메라를 이용하여 3-차원 비디오를 생성하는 방법.
- 청구항 1에 있어서, 상기 캡쳐된 2-차원 이미지 데이터로부터 2-차원 비디오 스트림을 렌더링(rendering)하는 단계를 포함하는, 단안 카메라를 이용하여 3-차원 비디오를 생성하는 방법.
- 청구항 7에 있어서, 상기 단안 카메라는 상기 2-차원 비디오 스트림 및 상기 3-차원 비디오 스트림 중 하나를 상기 단안 카메라의 디스플레이로 출력시키도록 설정 가능한, 단안 카메라를 이용하여 3-차원 비디오를 생성하는 방법.
- 청구항 7에 있어서, 상기 단안 카메라는 상기 2-차원 비디오 스트림 및 상기 3-차원 비디오 스트림 중 하나 또는 둘 다를 하나 이상의 인터페이스들을 통해 상기 단안 카메라에 연결된 하나 이상의 전자 장치들로 출력시키도록 설정 가능한, 단안 카메라를 이용하여 3-차원 비디오를 생성하는 방법.
- 청구항 1에 있어서, 상기 깊이 센서는 상기 단안 카메라의 이미터(emitter)에 의해 전송되는 적외선 파형들을 이용하는, 단안 카메라를 이용하여 3-차원 비디오를 생성하는 방법.
- 하나의 렌즈를 구비하고, 상기 렌즈에 대응하는 단일 시각을 통해 이미지를 캡쳐하는 단안 카메라에서의 사용을 위한 하나 이상의 회로들을 포함하며, 상기 하나 이상의 회로들은 하나 이상의 이미지 센서들 및 깊이 센서를 포함하고, 상기 하나 이상의 회로들은,
단안 카메라의 상기 렌즈를 통해 입력된 이미지로부터 하나 이상의 이미지 센서들을 통해 2-차원 이미지 데이터를 캡쳐하고,
상기 단안 카메라의 동일한 상기 렌즈를 통해 수신된 파형으로부터 깊이 센서(depth sensor)를 통해 깊이 정보를 캡쳐하고,
상기 캡쳐된 깊이 정보를 상기 캡쳐된 2-차원 이미지 데이터와 동기화시키고, 상기 캡쳐된 2-차원 이미지와 구분하여 메모리에 저장하고,
상기 캡쳐된 깊이 정보 및 상기 캡쳐된 깊이 정보와 동기화된 상기 캡쳐된 2-차원 이미지 데이터로부터 3-차원 비디오 스트림(video stream)을 생성하도록 작동되는, 단안 카메라를 이용하여 3-차원 비디오를 생성하는 시스템. - 청구항 11에 있어서, 상기 캡쳐된 깊이 정보는 캡쳐된 그리드(grid)의 왜곡(distortion)에 기초하여 결정되는, 단안 카메라를 이용하여 3-차원 비디오를 생성하는 시스템.
- 청구항 11에 있어서, 상기 하나 이상의 회로들은 상기 2-차원 이미지 데이터의 해상도를 매칭시키기 위해 상기 깊이 정보의 해상도를 스케일링하도록 작동되는, 단안 카메라를 이용하여 3-차원 비디오를 생성하는 시스템.
- 청구항 11에 있어서, 상기 하나 이상의 회로들은 상기 캡쳐된 2-차원 이미지 데이터의 프레임 레이트를 매칭시키기 위해 상기 캡쳐된 깊이 정보의 프레임 레이트를 조정하도록 작동되는, 단안 카메라를 이용하여 3-차원 비디오를 생성하는 시스템.
- 청구항 11에 있어서, 상기 단안 카메라는 옵틱스를 포함하고,
상기 옵틱스는 상기 하나의 렌즈를 통해 수신된 전자기(EM) 파형들을 조절(conditioning)하고 안내(directing)하기 위한 광학 장치들을 포함하며,
상기 하나의 렌즈를 통해 수신된 가시 스펙트럼에서의 EM 파형들을 상기 이미지 센서로 안내함과 동시에, 동일한 상기 하나의 렌즈를 통해 수신된 적외선 스펙트럼에서의 EM 파형들을 상기 깊이 센서로 안내하는, 단안 카메라를 이용하여 3-차원 비디오를 생성하는 시스템.
Applications Claiming Priority (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US37786710P | 2010-08-27 | 2010-08-27 | |
| US61/377,867 | 2010-08-27 | ||
| US201161439193P | 2011-02-03 | 2011-02-03 | |
| US61/439,193 | 2011-02-03 | ||
| US13/077,900 | 2011-03-31 | ||
| US13/077,900 US20120050480A1 (en) | 2010-08-27 | 2011-03-31 | Method and system for generating three-dimensional video utilizing a monoscopic camera |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20120020081A KR20120020081A (ko) | 2012-03-07 |
| KR101245214B1 true KR101245214B1 (ko) | 2013-03-19 |
Family
ID=44719043
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020110085808A KR101245214B1 (ko) | 2010-08-27 | 2011-08-26 | 단안 카메라를 이용하여 3-차원 비디오를 생성하는 방법 및 시스템 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20120050480A1 (ko) |
| EP (1) | EP2424256A2 (ko) |
| KR (1) | KR101245214B1 (ko) |
| CN (1) | CN102404585A (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11470298B2 (en) | 2019-11-11 | 2022-10-11 | Samsung Electronics Co., Ltd. | Method and apparatus with updating of algorithm for generating disparity image |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2719160A2 (en) * | 2011-06-06 | 2014-04-16 | 3Shape A/S | Dual-resolution 3d scanner |
| CN103220543B (zh) * | 2013-04-25 | 2015-03-04 | 同济大学 | 基于kinect的实时3d视频通信***及其实现方法 |
| CN104601977A (zh) * | 2013-10-31 | 2015-05-06 | 立普思股份有限公司 | 感测装置及其信号处理方法 |
| CN105336005B (zh) | 2014-06-27 | 2018-12-14 | 华为技术有限公司 | 一种获取目标物体体征数据的方法、装置及终端 |
| KR102251483B1 (ko) | 2014-10-23 | 2021-05-14 | 삼성전자주식회사 | 영상을 처리하는 전자 장치 및 방법 |
| US10636156B2 (en) * | 2016-09-12 | 2020-04-28 | Deepixel Inc. | Apparatus and method for analyzing three-dimensional information of image based on single camera and computer-readable medium storing program for analyzing three-dimensional information of image |
| GB201621879D0 (en) * | 2016-12-21 | 2017-02-01 | Branston Ltd | A crop monitoring system and method |
| US10796443B2 (en) * | 2018-10-17 | 2020-10-06 | Kneron, Inc. | Image depth decoder and computing device |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090091639A (ko) * | 2008-02-25 | 2009-08-28 | 삼성전자주식회사 | 3ｄ 영상 처리 방법 |
| KR20100000671A (ko) * | 2008-06-25 | 2010-01-06 | 삼성전자주식회사 | 영상 처리 방법 |
| KR20100090401A (ko) * | 2009-02-06 | 2010-08-16 | 광주과학기술원 | 증강 현실 환경에서의 공간 상호 작용 방법 및 시스템 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3957620B2 (ja) * | 2001-11-27 | 2007-08-15 | 三星電子株式会社 | 深さイメージ基盤３次元客体を表現するための装置及び方法 |
| US20070201859A1 (en) * | 2006-02-24 | 2007-08-30 | Logitech Europe S.A. | Method and system for use of 3D sensors in an image capture device |
| KR20090055803A (ko) * | 2007-11-29 | 2009-06-03 | 광주과학기술원 | 다시점 깊이맵 생성 방법 및 장치, 다시점 영상에서의변이값 생성 방법 |
| CN101459857B (zh) * | 2007-12-10 | 2012-09-05 | 华为终端有限公司 | 通信终端 |
| US8665258B2 (en) * | 2008-09-16 | 2014-03-04 | Adobe Systems Incorporated | Generating a depth map based on a single image |
| KR101310377B1 (ko) * | 2008-10-17 | 2013-09-23 | 엘지디스플레이 주식회사 | 영상표시장치 |
| CN101771830B (zh) * | 2008-12-30 | 2012-09-19 | 华为终端有限公司 | 立体全景视频流生成方法、设备及视频会议方法和设备 |
| US20110122224A1 (en) * | 2009-11-20 | 2011-05-26 | Wang-He Lou | Adaptive compression of background image (acbi) based on segmentation of three dimentional objects |
-
2011
- 2011-03-31 US US13/077,900 patent/US20120050480A1/en not_active Abandoned
- 2011-08-19 EP EP11006827A patent/EP2424256A2/en not_active Withdrawn
- 2011-08-26 KR KR1020110085808A patent/KR101245214B1/ko not_active IP Right Cessation
- 2011-08-29 CN CN201110250382XA patent/CN102404585A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090091639A (ko) * | 2008-02-25 | 2009-08-28 | 삼성전자주식회사 | 3ｄ 영상 처리 방법 |
| KR20100000671A (ko) * | 2008-06-25 | 2010-01-06 | 삼성전자주식회사 | 영상 처리 방법 |
| KR20100090401A (ko) * | 2009-02-06 | 2010-08-16 | 광주과학기술원 | 증강 현실 환경에서의 공간 상호 작용 방법 및 시스템 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11470298B2 (en) | 2019-11-11 | 2022-10-11 | Samsung Electronics Co., Ltd. | Method and apparatus with updating of algorithm for generating disparity image |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20120020081A (ko) | 2012-03-07 |
| CN102404585A (zh) | 2012-04-04 |
| EP2424256A2 (en) | 2012-02-29 |
| US20120050480A1 (en) | 2012-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101245214B1 (ko) | 단안 카메라를 이용하여 3-차원 비디오를 생성하는 방법 및 시스템 | |
| US9013552B2 (en) | Method and system for utilizing image sensor pipeline (ISP) for scaling 3D images based on Z-depth information | |
| US9071831B2 (en) | Method and system for noise cancellation and audio enhancement based on captured depth information | |
| US20120050478A1 (en) | Method and System for Utilizing Multiple 3D Source Views for Generating 3D Image | |
| US8994792B2 (en) | Method and system for creating a 3D video from a monoscopic 2D video and corresponding depth information | |
| US8810565B2 (en) | Method and system for utilizing depth information as an enhancement layer | |
| JP5299214B2 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
| US8553105B2 (en) | Audiovisual data recording device and method | |
| US20120050491A1 (en) | Method and system for adjusting audio based on captured depth information | |
| US20120050494A1 (en) | Method and system for creating a view-angle dependent 2d and/or 3d image/video utilizing a monoscopic video camera array | |
| JP5874192B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| CN101959042A (zh) | 移动图像记录方法和装置、移动图像编码方法和移动图像编码器 | |
| US20230328432A1 (en) | Method and apparatus for dynamic reduction of camera body acoustic shadowing in wind noise processing | |
| US20120050495A1 (en) | Method and system for multi-view 3d video rendering | |
| US20120050477A1 (en) | Method and System for Utilizing Depth Information for Providing Security Monitoring | |
| TWI524730B (zh) | 處理視頻之方法及其系統 | |
| JP2012080294A (ja) | 電子機器、映像処理方法、及びプログラム | |
| TWI526044B (zh) | 處理信號之方法及其系統 | |
| TW201225638A (en) | Method and system for generating three-dimensional video utilizing a monoscopic camera | |
| KR101419419B1 (ko) | 모노스코픽 2ｄ 비디오 및 대응하는 깊이 정보로부터 3ｄ 비디오를 생성하기 위한 방법 및 시스템 | |
| EP2485493A2 (en) | Method and system for error protection of 3D video | |
| KR101303719B1 (ko) | 깊이 정보를 강화 계층으로 이용하기 위한 방법 및 시스템 | |
| EP2541945A2 (en) | Method and system for utilizing an image sensor pipeline (ISP) for 3D imaging processing utilizing Z-depth information | |
| WO2013001839A1 (ja) | 撮像装置 | |
| JP2012191608A (ja) | 立体撮像装置および立体撮像方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| LAPS | Lapse due to unpaid annual fee |