KR20150096529A

KR20150096529A - 피드백 기반 3차원 비디오를 위한 제로 디스패리티 평면

Info

Publication number: KR20150096529A
Application number: KR1020157021035A
Authority: KR
Inventors: 닝 비; 쉬에루이 장; 잉용 치; 치엔충 창
Original assignee: 퀄컴 인코포레이티드
Priority date: 2010-12-01
Filing date: 2011-11-30
Publication date: 2015-08-24
Also published as: WO2012075203A1; EP2647208A1; JP2014508430A; KR20130117827A; CN103270759A; US9049423B2; CN103270759B; US20120140038A1

Abstract

본 개시의 기술들은, 비디오 전화술 (VT) 및 인간 기계 인터페이스 (HMI) 애플리케이션에 사용될 수도 있는 것과 같은 3차원 이미지들의 피드백 기반 입체 디스플레이에 관한 것이다. 일 예에 따르면, 입체적으로 캡쳐된 이미지들의 관심 영역 (ROI) 은 여기에 기재된 캡쳐된 이미지들의 적어도 하나의 픽셀에 대한 디스패리티를 결정하는 것에 기초하여 자동적으로 결정될 수도 있다. 다른 예에 따르면, 입체적으로 캡쳐된 이미지들의 3D 표현의 표시를 위한 제로 디스패리티 평면 (ZDP) 이 식별된 ROI에 기초하여 결정될 수도 있다. 이 예에 따르면, 상기 ROI는 자동적으로 식별되거나, 또는 상기 ROI를 식별하는 사용자 입력의 수신에 기초하여 식별될 수도 있다.

Description

피드백 기반 3차원 비디오를 위한 제로 디스패리티 평면 {ZERO DISPARITY PLANE FOR FEEDBACK-BASED THREE-DIMENSIONAL VIDEO}

본 개시는 일반적으로 비디오의 피드백 기반 디스플레이에 관한 것이다. 더 상세하게는, 본 개시는 비디오폰 통화 (VT) 및/또는 인간 기계 인터페이스 (HMI) 애플리케이션들과 같은 피드백 기반 비디오 애플리케이션들을 위한 3차원 (3D) 비디오의 표시를 위한 기법들을 설명한다.

사용자의 이미지가 실시간으로 디스플레이되는, 비디오의 피드백 기반 디스플레이는 최근에 인기가 증가했다. 예를 들면, 피드백 기반 비디오는 비디오폰 통화 (VT) 애플리케이션에 사용될 수도 있다. 비디오폰 통화 (VT) 는 사용자들이 캡쳐된 양방향 비디오를 연관된 오디오와 함께 또는 연관된 오디오 없이 이용하여 통신하는 시스템을 지칭한다. 제 1 위치에서 캡쳐된 제 1 사용자의 비디오 및/또는 오디오는 실시간으로 또는 실시간에 가깝게 제 2 위치에 있는 제 2 사용자에게 송신될 수도 있고 그 역 또한 마찬가지이다. 2차원 (2D) 비디오폰 통화 시스템의 일 예는 Apple Inc®에 의한 Iphone4® 상에서 이용가능한 Facetime® 비디오폰 통화 애플리케이션이다. 2D VT 시스템들의 다른 예들은 Google Inc.에 의해 제공되는 Google Chat 웹 애플리케이션 (web application) 및 Apple Inc® 에 의해 제공되는 iChat 통신 인터페이스에 의해 제공되는 것과 같은 비디오 쳇 피쳐 (chat feature) 들을 포함한다. 많은 다른 비디오폰 통화 애플리케이션들이 또한 존재한다.

피드백 기반 비디오는 또한, 인간 기계 인터페이스 (HMI) 애플리케이션들에 사용될 수도 있다. HMI 애플리케이션은 인간 사용자가 컴퓨터 또는 다른 머신과 인터페이스하는 메카니즘을 제공할 수도 있다. HMI의 예들은, 키보드, 마우스, 음성 커맨드 또는 터치 스크린 인터페이스를 포함할 수도 있다. 최근에, 머신이 사용자로부터 피드백을 수신하기 위하여 몇몇 형태의 모션 검출을 이용하는 HMI가 개발되었다. 모션 기반 HMI의 비제한적인 예들은 다양한 센서들, 예를 들면, 하나 이상의 가속도계, 자이로스코프, 광 센서, 또는 사용자 모션을 검출하도록 구성된 다른 타입의 센서들을 채용한다. 모션 기반 HMI의 하나의 예는 Nintendo® Wii® 게이밍 콘솔에 의해 채용된다. 다른 비제한적 예는 Xbox® 게이밍 콘솔을 위한 Microsoft의 Kinect® 인터페이스이고, 이는 디바이스 입력을 위해 사용자 움직임을 검출하기 위하여 사용자의 사진 이미지들의 캡쳐에 의존한다. 몇몇 예들에서, HMI 시스템은 검출된 사용자 입력 (예를 들면, 검출된 사용자 모션) 의 사용자로의 피드백을 제공할 수도 있다. 예를 들면, 사용자의 하나 이상의 이미지들이 캡쳐될 수도 있고 사용자에게 디스플레이를 통해서 표시될 수도 있다. 이들 예들에 따르면, 움직임들이 검출됨에 따라 사용자는 자신의 움직임들을 볼 수도 있다. 예를 들면, 사용자는, 이미지 피드백을 통해, 디스플레이를 통해 표시되는 가상 오브젝트 (virtual object) 들을 조작하는 자신을 볼 수도 있다. 가상 오브젝트들의 사용자 조작은 머신 입력을 제공할 수도 있다.

(예를 들면, 영화, 텔레비젼 쇼 등을 위한) 3차원 (3D) 비디오 이미지들이 최근에 인기를 얻게 되었다. 예를 들면, 사용자들로 하여금 집에서 3D 비디오를 볼 수 있게 하는 기술들 (예를 들면, 텔레비젼, 3D 안경, 블루레이 플레이어, 게이밍 시스템, 컴퓨팅 디바이스들) 이 최근에 개발되었다. 비디오의 피드백 기반 디스플레이를 위한, 예를 들면, 비디오폰 통화 및/또는 인간 기계 인터페이스 메카니즘들을 위한 3D 비디오를 제공하는 것이 바람직할 수도 있다.

몇몇 기술들에 따라, 사용자에 의한 3D로서 지각되는 이미지들 또는 비디오를 제공하기 위하여, 약간 상이한 관점 (perspective) 들로부터 캡쳐된 것으로 보이는 이미지들이 사용자의 상이한 눈에 제공될 수도 있다. 사용자의 상이한 눈에 제공되는 상이한 관점들은 디스플레이된 이미지들에서 깊이의 지각을 형성할 수도 있다. 상이한 이미지들은 각각의 눈을 위한 하나 이상의 이미지들을 필터링하는 특수 안경을 통해 사용자의 각각의 눈에 표시될 수도 있다. 몇몇 예들에서, 3D 이미지 디스플레이를 제공하기 위하여, 이미지들은 입체적으로, 예를 들면, 상이한 관점들로부터 같은 이미지를 캡쳐하는 2개 이상의 카메라들에 의해 캡쳐될 수도 있다.

요약

일반적으로, 본 개시는, 예를 들면, 비디오폰 통화 (VT) 및 인간 기계 인터페이스 (HMI) 애플리케이션들을 위한, 피드백 기반 3차원 비디오를 제공하기 위한 기술들을 설명한다. 본 개시의 일 양태에 따르면, 이미지 픽셀들의 디스패리티에 기초하여 피드백 기반 비디오의 표시를 위한 관심 영역 (ROI) 을 식별하는 기술들이 설명된다. 디스패리티 (Disparity) 는 3D 비디오 표시의 상이한 뷰들 사이의 픽셀 위치의 차이로서 설명될 수도 있다. ROI는, 켭쳐된 비디오의 디스플레이가 겨냥될 수도 있는 (예를 들면, 초점이 맞추어질 수도 있는) 캡쳐된 비디오의 구역 또는 오브젝트일 수도 있다. 예를 들면, ROI는 캡쳐된 비디오의 대상자의 얼굴 및/또는 몸일 수도 있다. ROI는 캡쳐된 비디오의 대상자가 가지고 있는 오브젝트와 같은 오브젝트를 포함할 수도 있다. 본 개시의 기법들에 따르면, ROI는, 캡쳐된 비디오 이미지들로부터 결정될 수도 있는, 픽셀 디스패리티에 기초하여 식별될 수도 있다. 예를 들면, 캡쳐된 비디오 내의 가장 가까운 오브젝트가 결정된 이미지 디스패리티에 기초하여 식별될 수도 있다.

다른 예에서, 본 개시는 피드백 기반 3D 이미지들의 디스패리티를 위한 기법들을 기술한다. 예를 들면, 하나 이상의 이미지 오브젝트들이 디스패리티가 거의 또는 전혀 없는 것으로 보이는, 제로 디스패리티 평면 (ZDP), 또는 디스플레이된 3D 이미지의 평면은, 캡쳐된 이미지들의 식별된 ROI에 기초하여 결정될 수도 있다. 이들 기법들은, 디스플레이된 3D 이미지들의 ZDP의 자동적인 (예를 들면, 사용자 개입 없는) 조정을 제공할 수도 있다.

예를 들면, 입체 이미지 데이터를 프로세싱하는 방법이 여기에 설명된다. 그 방법은 적어도 2개의 입체적으로 캡쳐된 이미지들을 획득하는 단계를 포함한다. 그 방법은 또한, 캡쳐된 적어도 2개의 이미지들의 관심 영역 (ROI) 을 식별하는 단계를 포함한다. 그 방법은 또한, 적어도 2개의 캡쳐된 이미지들의 식별된 관심 영역 (ROI) 에 기초하여 적어도 2개의 캡쳐된 이미지들의 3차원 (3D) 표시를 위한 제로 디스패리티 평면 (ZDP) 을 결정하는 단계를 포함한다.

다른 예에 따르면, 입체 이미지 데이터를 프로세싱하기 위한 장치가 여기에 설명된다. 그 장치는 하나 이상의 프로세서들을 포함한다. 하나 이상의 프로세서들은, 적어도 2개의 이미지들을 입체적으로 캡쳐하기 위해 적어도 하나의 이미지 캡쳐 디바이스를 제어하도록 구성된 이미지 캡쳐 모듈을 포함한다. 그 하나 이상의 프로세서들은 또한, 적어도 2개의 캡쳐된 이미지들의 ROI를 식별하도록 구성된 관심 영역 (ROI) 식별 모듈을 포함한다. 하나 이상의 프로세서들은 또한, 식별된 ROI에 기초하여 캡쳐된 적어도 2개의 이미지들의 3차원 디스플레이를 위한 제로 디스패리티 평면 (ZDP) 을 결정하도록 구성된 ZDP 결정 모듈을 포함한다.

다른 예에 따르면, 명령들을 포함하는 컴퓨터 판독가능 저장 매체가 여기에서 설명된다. 그 명령들은 하나 이상의 프로세서들로 하여금 적어도 2개의 입체적으로 캡쳐된 이미지들을 수신하도록 한다. 그 명령들은 또한, 하나 이상의 프로세서들로 하여금 캡쳐된 적어도 2개의 이미지들의 관심 영역 (ROI) 을 식별하도록 한다. 그 명령들은 또한, 하나 이상의 프로세서들로 하여금 적어도 2개의 캡쳐된 이미지들의 식별된 관심 영역 (ROI) 에 기초하여 적어도 2개의 캡쳐된 이미지들의 3차원 (3D) 표시를 위한 제로 디스패리티 평면 (ZDP) 을 결정하도록 한다.

다른 예에 따르면, 입체 이미지 데이터를 프로세싱하기 위한 디바이스가 여기에서 설명된다. 그 디바이스는 적어도 2개의 입체적으로 캡쳐된 이미지들을 수신하기 위한 수단을 포함한다. 그 디바이스는 또한, 캡쳐된 적어도 2개의 이미지들의 관심 영역 (ROI) 을 식별하기 위한 수단을 포함한다. 그 디바이스는 또한, 적어도 2개의 캡쳐된 이미지들의 식별된 관심 영역 (ROI) 에 기초하여 적어도 2개의 캡쳐된 이미지들의 3차원 (3D) 표시를 위한 제로 디스패리티 평면 (ZDP) 을 결정하기 위한 수단을 포함한다. 그 디바이스는 또한, 결정된 ZDP로 3D 표시를 디스플레이하기 위한 수단을 포함한다.

본 개시의 하나 이상의 예들의 상세는 첨부 도면 및 아래의 설명에 제시되어 있다. 본 발명의 다른 특징, 목적 및 이점들은 상세한 설명 및 도면, 그리고 특허청구범위로부터 분명해질 것이다.

도 1a는 본 개시의 기술들에 부합하는 3차원 이미지들을 프로세싱 및/또는 디스플레이하도록 구성될 수도 있는 VT 디바이스들의 일 예를 예시하는 블록도이다.
도 1b는 본 개시의 기술들에 부합하는 3차원 이미지들을 프로세싱 및/또는 디스플레이하도록 구성될 수도 있는 인간 기계 인터페이스 (HMI) 디바이스의 일 예를 예시하는 블록도이다.
도 2는 본 개시의 기술들에 부합하는 VT 또는 HMI 디바이스의 이미지 프로세싱 모듈의 일 예를 예시하는 블록도이다.
도 3은 본 개시의 기술들에 부합하는 장면의 입체 이미지 캡쳐의 일 예를 예시하는 개념도이다.
도 4는 본 개시의 기술들에 부합하는 입체적으로 캡쳐된 우측 및 좌측 이미지들에서 각각의 픽셀 위치들을 예시하는 개념도이다.
도 5는 본 개시의 기술들에 부합하는 캡쳐된 이미지들에서 관심 영역 (ROI) 을 식별하는 방법의 일 예를 예시하는 플로우 차트이다.
도 6은 본 개시의 기술들에 부합하는 캡쳐된 이미지들의 식별된 ROI에 기초하여 3D 표시를 위한 제로 디스패리티 평면 (ZDP) 을 결정하는 방법의 일 예를 예시하는 플로우 차트이다.
도 7은 본 개시의 기술들에 부합하는 ROI 의 픽셀들의 통상의 디스패리티를 결정하기 위해 생성될 수도 있는 히스토그램의 일 예를 예시하는 개념도이다.
도 8 - 도 10은 본 개시의 기술들에 부합하는 캡쳐된 이미지들의 ROI에 기초하여 결정된 ZDP를 이용한 3차원 표시의 디스플레이를 예시하는 개념도이다.
도 11은 본 개시의 기술들에 부합하는 3차원 피드백 기반 이미지들을 디스플레이하기 위한 방법의 일 예를 예시하는 플로우 차트이다.
도 12는 본 개시의 기술들에 부합하는 3차원 피드백 기반 이미지들을 디스플레이하기 위한 방법의 일 예를 예시하는 플로우 차트이다.
도 13은 본 개시의 기술들에 부합하는 3차원 표시를 생성하기 위하여 캡쳐된 이미지들을 프로세싱하는 일 예를 예시하는 개념도이다.

본 개시는 비디오의 3차원 (3D) 디스플레이를 위한 기술들에 관한 것이다. 이들 기법들은 3D 비디오폰 통화 통신 및/또는 3D 인간 기계 인터페이스 (HMI) 를 제공하는데 유용할 수도 있다. 일 예에 따르면, 이들 기술들은, 복수의 캡쳐된 뷰들 사이의 디스패리티에 기초하여 캡쳐된 비디오 표시의 관심 영역 (ROI) 의 식별을 제공한다. 다른 예에 따르면, 캡쳐된 3D 비디오는 결정된 ROI에 기초하여 제로 디스패리티 평면 (ZDP) 으로 표시될 수도 있다, 예를 들면, ROI의 오브젝트들은 디스패리티가 거의 또는 전혀 없게 표시될 수도 있다.

도 1a는 본 개시의 기술들에 부합하는 비디오폰 통화 (VT) 디바이스들 (101A, 101B) 을 포함하는 VT 시스템의 일 예를 예시하는 블록도이다. VT 디바이스들 (101A, 101B) 은 각각, 비디오를 캡쳐하거나 및/또는 비디오 이미지들을 사용자에게 디스플레이하도록 구성된 디바이스를 포함할 수도 있다. VT 디바이스들 (101A, 101B) 로서 사용될 수도 있는 디바이스들의 비제한적 예들은, 퍼스널 컴퓨터, 랩톱 컴퓨터, 넷북, 태블릿 컴퓨터, 스마트폰, 비디오 카메라 및 게이밍 콘솔을 포함한다. 비디오를 캡쳐 및/또는 비디오 이미지를 디스플레이하도록 구성된 임의의 다른 디바이스 또는 독립 디바이스들의 조합이 제 1 또는 제 2 VT 디바이스들 (101A, 101B) 로서 사용될 수도 있다. 또한, 2개 이상의 디바이스들이 제 1 또는 제 2 VT 디바이스들 (101A, 101B) 의 하나를 포함하도록 통신적으로 커플링될 수도 있다. 예를 들면, 전술된 디바이스들 중 하나 이상 (예를 들면, 퍼스널 컴퓨터) 은, VT 디바이스들 (101A, 101B) 의 단 하나를 포함하는 다른 디바이스 (예를 들면, 웹캠으로 보통 지칭되는 컴퓨터 카메라) 에 유선 (예를 들면, USB (universal serial bus), FireWire) 또는 무선 (예를 들면, Wi-Fi, 블루투스, 셀룰러 네트워크) 를 통해 커플링될 수도 있다.

디바이스들 (101A 및 101B) 은 각각의 제 1 및 제 2 사용자들로 하여금 다른 이와 캡쳐된 이미지들 (예를 들면, 비디오) 를 통해 통신하는 것을 허용하도록 구성될 수도 있다. 예를 들면, 제 1 VT 디바이스 (101A) 는 제 1 사용자의 하나 이상의 이미지들을 캡쳐할 수도 있고 그 캡쳐된 이미지들을 디바이스 (101B) 에 통신할 수도 있다. 디바이스 (101B) 는 수신되는 캡쳐된 이미지들을 제 2 사용자에게 표시할 수도 있다. 마찬가지로, 디바이스 (101B) 는 제 2 사용자의 이미지들을 캡쳐하고, 그 캡쳐된 이미지들을 제 1 디바이스 (101A) 에 통신하여 제 1 사용자에게 디스플레이할 수도 있다.

몇몇 경우들에서, 하나 이상의 VT 디바이스들 (101A, 101B) 은 이미지들을 입체적으로 캡쳐할 수도 있다. 예를 들면, 도 1에 도시된 바처럼, 디바이스들 (101A 및 101B) 의 각각은, 각각의 제 1 및 제 2 이미지 캡쳐 엘리먼트들 (112A, 112B, 및 114A, 114B) 을 포함할 수도 있다. 제 1 이미지 캡쳐 엘리먼트들 (112A, 112B) 은 장면 (scene) 의 각각의 우측 이미지들을 캡쳐하도록 구성될 수도 있다. 제 2 이미지 캡쳐 엘리먼트들 (114A, 114B) 은 장면의 각각의 좌측 이미지들을 캡쳐하도록 구성될 수도 있다. 제 1 및 제 2 이미지 캡쳐 엘리먼트들은 장면의 각각의 우측 및 좌측 이미지들을 캡쳐하도록 구성 및 배열된 하나 이상의 카메라들을 포함할 수도 있다.

또한 도 1a에 도시된 바처럼, VT 디바이스들 (101A, 101B) 은 각각 하나 이상의 프로세서들 (102A, 102B) 을 포함한다. 프로세서들 (102A, 102B) 은 본 개시의 기법들에 부합하게 각각의 VT 디바이스들 (101A, 101B) 을 동작하게 하기 위하여 하나 이상의 신호들을 프로세싱하도록 구성된 VT 디바이스들 (101A, 101B) 의 임의의 컴퓨팅 컴포넌트를 포함할 수도 있다. 몇몇 예들에 따르면, 프로세서들 (102A, 102B) 은, 실행될 때, 본 개시의 기술들에 부합되게 동작하도록 구성된 특정 컴퓨팅 디바이스로서 프로세서들 (102A, 102B) 을 구성하는, 명령들 (예를 들면, 컴퓨터 판독가능 매체에 저장된 명령들) 을 실행하도록 구성될 수도 있다. 또한 또는 대신에, 프로세서들 (102A, 102B) 은 본 개시의 기술들에 부합하게 VT 디바이스들 (101A, 101B) 을 동작하게 하기 위하여 전기, 광학, 자기 및/또는 다른 신호들을 프로세싱하도록 구성된 특정 하드웨어 컴포넌트들을 포함할 수도 있다.

다양한 예들에서, 프로세서들 (102A, 102B) 은 하나 이상의 중앙 처리 장치 (CPU), 디지털 신호 프로세서 (DSP), 주문형 반도체 (ASIC), 필드 프로그램 가능 게이트 어레이 (FPGA), 또는 다른 회로들의 임의의 조합을 포함할 수도 있다. 몇몇 경우들에서, 프로세서들 (102A 및 102B) 은 여기에 기재된 기술들과 부합하게 하나 이상의 VT 디바이스들 (101A, 101B) 을 동작하게 하는 명령들을 실행하도록 구성될 수도 있다. 그러한 경우들에서, 그 명령들은 VT 디바이스들 (101A, 101B) 의 하나 이상의 컴퓨터 판독가능 매체 (미도시) 에 저장될 수도 있다. 예를 들면, 그 명령들은 디바이스의 저장 엘리먼트 (미도시) 에 저장될 수도 있고, 이는 RAM (random access memory) 컴포넌트, 하드 디스크 메모리 컴포넌트, 및/또는 VT 디바이스들 (101A, 101B) 의 플래시 또는 다른 고체 상태 메모리 컴포넌트의 하나 이상을 포함할 수도 있다.

도 1a의 예에서, VT 디바이스들 (101A, 101B) 의 다양한 모듈들 (110A, 110B, 120A, 120B, 및 132A, 132B) 은 단일 각각의 프로세서 (102A, 102B) 로 구현되는 것으로 도시되어 있다. 하지만, 다른 예들에서, 도 1a의 이들 모듈들의 하나 이상은 하나보다 많은 이산 하드웨어 컴포넌트 (예를 들면, CPU, DSP, ASIC, FPGA, 마이크로프로세서, 특정 하드웨어 컴포넌트 (specific hardware component), 또는 신호들을 프로세싱할 수 있는 유사한 컴포넌트의 하나 이상의 조합) 로 구현될 수도 있다.

또한 도 1a에 도시된 바처럼, 각각의 제 1 및 제 2 VT 디바이스들 (101A, 101B) 은 각각 이미지 캡쳐 모듈들 (110A, 110B) 을 포함한다. 이미지 캡쳐 모듈들 (110A, 110B) 은 이미지들을 캡쳐하기 위하여 각각의 제 1 및 제 2 카메라 엘리먼트들 (112A, 112B, 114A, 및 114B) 을 제어하도록 구성될 수도 있다. 예를 들면, 이미지 캡쳐 모듈들 (110A, 110B) 은, 카메라 엘리먼트들 (112A, 112B, 114A, 114B) 이 비디오 이미지들을 캡쳐하도록 동작될 때 제어하거나 및/또는 카메라 엘리먼트들 (112A, 112B, 114A, 114B) 을 초점 맞추거나 또는 캡쳐된 이미지들 내의 오브젝트들에 대하여 카메라 엘리먼트들 (112A, 112B, 114A, 114B) 을 다르게 제어하도록 구성될 수도 있다. 몇몇 예들에서, 제 1 및 제 2 카메라 엘리먼트들 (112A, 112B, 114A, 114B) 은, 제 1 및 제 2 카메라 엘리먼트들 (112A, 112B, 114A, 114B) 의 하나 이상이 비디오의 캡쳐를 위해 겨누어지는 것을 허용하는 하나 이상의 기계적 액츄에이터를 포함할 수도 있다. 이들 예들에 따르면, 이미지 캡쳐 모듈들 (110A, 110B) 은 카메라 엘리먼트들 (112A, 112B, 114A, 114B) 을 겨누도록 하나 이상의 기계적 액츄에이터를 제어할 수도 있다.

또한 도 1a에 도시된 바처럼, 제 1 및 제 2 VT 디바이스들 (101A, 101B) 은 또한, 디스플레이 모듈들 (132A, 132B) 을 포함할 수도 있다. 각각의 디스플레이 모듈들 (132A, 132B) 은 각각, 이미지들의 표시를 위한 하나 이상의 디스플레이들 (미도시) 을 제어하도록 구성될 수도 있다. 예를 들면, 제 1 VT 디바이스 (101A) 의 디스플레이 모듈 (132A) 은 (예를 들면, 통신 모듈들 (130A, 130B) 을 통해) 제 2 VT 디바이스 (101B) 로부터 수신된 이미지들을 표시하기 위하여 하나 이상의 디스플레이들을 제어하도록 구성될 수도 있다.

각각의 디스플레이 모듈들 (132A, 132B) 은, 하나 이상의 입체 디스플레이들, 예를 들면, 사용자가 디스플레이된 이미지들을 3차원적으로 지각하도록 각각의 우측 및 좌측 이미지들을 동시에 표시하도록 구성된 하나 이상의 디스플레이들을 제어하도록 구성될 수도 있다. 예를 들면, 디스플레이 모듈들 (132A, 132B) 은, 각각의 우측 및 좌측 이미지들이 뷰어의 우측 및 좌측 눈들에 의해 보여지게 하기 위해 뷰어가 착용할 수도 있는 특수 안경과 함께 하나 이상의 디스플레이들을 제어하도록 구성될 수도 있다. 예를 들면, 특수 안경들은, 편광, 파장, 주파수 또는 다른 필터링과 같은 차이를 통해서 각각의 우측 및 좌측 이미지들을 표시할 수도 있다. 몇몇 예들에서, 디스플레이 모듈들 (132A, 132B) 은 특수 안경과 동기화된 하나 이상의 디스플레이들을 제어하도록 구성될 수도 있다. 예를 들면, 특수 안경들은 각각의 우측 및 좌측 이미지들을 표시하는 디스플레이와 동기하여 명 상태와 암 상태 사이에서 천이하기 위한 셔터로서 작용할 수도 있다. 이 예에 따르면, 특수 안경들 및 디스플레이는, 인간의 눈에 의해 검출가능한 것보다 더 빠른 주파수로 표시 우측 및 좌측 이미지들 사이에서 천이하여, 그 천이들이 뷰어에 실질적으로 의식가능하지 않도록 할 수도 있다. 다른 예들에 따르면, 디스플레이 모듈들 (132A, 132B) 은 대신에 특수 안경을 필요로 하지 않는 디스플레이 (예를 들면, 자동 입체 디스플레이) 를 제어하도록 구성될 수도 있다. 전술된 입체 예 및 자동 입체 예 양쪽 모두에 따르면, 3차원 비디오 표시의 각각의 우측 및 좌측 이미지들 (뷰들) 사이의 차이는, 하나 이상의 디스플레이된 이미지들이 깊이를 갖는 것으로 지각되게, 예를 들면, 이미지의 몇몇 오브젝트들이 디스플레이 표면의 앞 또는 뒤에 있는 것으로 보이게 할 수도 있다.

또한 도 1a에 도시된 바처럼, 제 1 및 제 2 VT 디바이스들 (101A, 101B) 은 또한 각각, 이미지 프로세싱 모듈 (120A, 120B) 을 포함할 수도 있다. 일반적으로 말해서, 이미지 프로세싱 모듈들 (120A, 120B) 은 (예를 들면, 이미지 캡쳐 모듈들 (110A, 110B) 로부터) 캡쳐된 이미지들의 하나 이상의 표현들을 수신하고, 그 하나 이상의 표현들을 디스플레이, 저장 및/또는 통신을 위해 프로세싱할 수도 있다. 일 예에 따르면, 이미지 프로세싱 모듈들 (120A, 120B) 은 입체 디스플레이에 적합한 표시를 생성하기 위하여 캡쳐된 이미지들의 하나 이상의 표현들을 프로세싱할 수도 있다. 예를 들면, 이미지 프로세싱 모듈들 (120A, 120B) 은, 뷰어에게 이미지들이 실질적으로 3차원으로 보이게 하기 위하여 함께 디스플레이될 수도 있는 각각의 우측 및 좌측 뷰들을 생성하도록 하나 이상의 표현들을 프로세싱할 수도 있다. 몇몇 경우들에서, 이미지 프로세싱 모듈들 (120A, 120B) 은 디스플레이 모듈 (132A, 132B) 로 하나 이상의 프로세싱된 이미지 표현들을 통신하도록 구성될 수도 있다. 디스플레이 모듈 (132A, 132B) 은, 이미지들의 표현을 위한 입체 디스플레이 (도 1에 미도시) 를 제어하도록 구성될 수도 있다.

일 예에서, 각각의 이미지 프로세싱 모듈 (120A, 120B) 각각은 그 각각의 이미지 프로세싱 모듈 (120A, 120B) 을 포함하는 동일한 VT 디바이스 (101A, 101B) 의 하나 이상의 이미지 캡쳐 모듈들 (110A, 110B) 로부터 수신되는 캡쳐된 이미지들의 하나 이상의 표현들을 프로세싱할 수도 있다. 예를 들면, 이미지 프로세싱 모듈들 (120A) 은 이미지 캡쳐 모듈 (110A) 로부터 캡쳐된 이미지들의 하나 이상의 표현들을 수신하고, 그 하나 이상의 표현들을 프로세싱하고, 그 프로세싱된 하나 이상의 표현들을 제 2 VT 디바이스 (101B) 로 제 1 VT 디바이스 (101A) 의 통신 모듈 (130A) 을 통해 통신할 수도 있다. 제 2 VT 디바이스 (101B) 는 통신 모듈 (130B) 을 통해 하나 이상의 표현들을 수신하고, 그 프로세싱된 하나 이상의 표현들을 사용하여 비디오 이미지들을 (예를 들면, 디스플레이 모듈 (132B)) 을 통해 디스플레이할 수도 있다.

다른 예에 따르면, 캡쳐된 이미지들의 하나 이상의 프로세싱되지 않은 표현들이 제 2 VT 디바이스 (101B) 에 통신 모듈 (130A) 을 통해 통신될 수도 있다. 이 예에 따르면, 제 2 VT 디바이스 (101B) 의 이미지 프로세싱 모듈들 (120B) 은 수신된 하나 이상의 표현들을 프로세싱하고, 그 프로세싱된 하나 이상의 표현들을, 제 2 VT 디바이스 (101B) 에 커플링된 디스플레이를 통해 표시하기 위해 디스플레이 모듈 (132B) 로 통신할 수도 있다. 또 다른 예에서, 캡쳐된 이미지들은, 복합적으로 제 1 및 제 2 VT 디바이스들 (101A, 101B) 의 각각의 이미지 프로세싱 모듈들 (120A, 120B) 에 의해 프로세싱될 수도 있다.

전술된 다양한 예들에 따르면, 캡쳐된 이미지들의 하나 이상의 프로세싱되거나 또는 프로세싱되지 않은 표현들이, 통신 채널 (106) 을 통해 각각의 통신 모듈들 (130A, 130B) 을 사용하여 제 1 및 제 2 VT 디바이스들 사이에서 통신될 수도 있다. 각각의 통신 모듈들 (130A, 130B) 은, 임의의 알려진 형태의 통신을 통해, 캡쳐된 이미지들의 표현들과 같은, 캡쳐된 이미지들에 관한 정보를 통신하도록 구성될 수도 있다. 통신 모듈들 (130A, 130B) 에 의해 사용될 수도 있는 통신 기법들의 비제한적 예들은, 유선 통신 (예를 들면, 전기, 광학 또는 다른 것이든지, 임의의 물리적 통신 라인) 및 무선 통신 (예를 들면, Wi-Fi®, 셀룰러 네트워크, Bluetooth®) 를 포함한다. 몇몇 경우들에서, 통신 모듈들 (130A, 130B) 은 인터넷 또는 다른 사설, 공중 또는 글로벌 네트워크를 이용하여 통신될 수도 있다. 일반적으로, 임의의 다른 형태의 전자 통신이, 통신 모듈들 (130A, 130B) 간의 통신을 허용하기 위해 사용될 수 있다. 몇몇 예들에서, 하나 이상의 프로세싱되거나 또는 프로세싱되지 않은 표현들은 전체적으로 VT 디바이스들 (101A, 101B) 사이에서 통신될 수도 있다. 다른 예들에서, 하나 이상의 프로세싱되거나 또는 프로세싱되지 않은 표현들이, 이를테면 HTTP (hypertext transfer protocol) 스트리밍 프로토콜과 같은 스트리밍 프로토콜에 따라 VT 디바이스들 (101A, 101B) 사이에서 통신될 수도 있다.

도 1b는 본 개시의 기술들에 부합하는 인간 기계 인터페이스 (HMI) 디바이스 (101C) 의 일 예를 예시하는 블록도이다. HMI 디바이스 (101C) 는, 비디오를 캡쳐하거나 및/또는 비디오 이미지들을 사용자에게 디스플레이하도록 구성된 임의의 디바이스를 포함할 수도 있다. HMI 디바이스 (101C) 로서 사용될 수도 있는 디바이스들의 비제한적 예들은, 퍼스널 컴퓨터, 랩톱 컴퓨터, 넷북, 태블릿 컴퓨터, 스마트폰, 게이밍 콘솔, 또는 폭넓게 다양한 디바이스들 또는 컴퓨터들의 제어를 위한 제어 시스템을 포함할 수도 있다. 폭넓게 다양한 디바이스들 또는 독립 디바이스들의 조합은 비디오를 캡쳐하거나 및/또는 비디오 이미지를 디스플레이하도록 구성될 수 있고, 따라서, HMI 디바이스 (101C) 로서 사용될 수도 있다.

HMI 디바이스 (101C) 는 HMI 디바이스 (101C) 를 제어하기 위하여 피드백 기반 비디오를 사용자에게 제공하도록 구성될 수도 있다. 예를 들면, HMI 디바이스 (101C) 는 HMI 디바이스 (101C) 의 사용자의 이미지들을 캡쳐할 수도 있다. HMI 디바이스 (101C) 는, 하나 이상의 다른 이미지들 (예를 들면, 가상 오브젝트들) 과 함께, 사용자에게 사용자의 캡쳐된 이미지들을 표시할 수도 있다. 사용자는 하나 이상의 다른 이미지들을 조작하는 자신을 볼 수도 있다. 하나 이상의 이미지들의 조작은 사용자가 HMI 디바이스 (101C) 를 제어하는 것을 허용하게 할 수도 있다.

몇몇 예들에서, HMI 디바이스 (101C) 는 비디오 이미지들을 입체적으로 캡쳐하도록 구성될 수도 있다. 예를 들면, 도 2에 도시된 바처럼, HMI 디바이스 (101) 는, 각각의 제 1 및 제 2 이미지 캡쳐 엘리먼트들 (112C, 114C) 을 포함한다. 제 1 이미지 캡쳐 엘리먼트 (112C) 는 대상자 (예를 들면, 사용자) 의 하나 이상의 우측 이미지들을 캡쳐하도록 구성될 수도 있다. 제 2 이미지 캡쳐 엘리먼트 (114C) 는 대상자의 하나 이상의 좌측 이미지들을 캡쳐하도록 구성될 수도 있다.

도 1b에 도시된 바처럼, HMI 디바이스 (101C) 는 하나 이상의 프로세서들 (102C) 을 포함한다. 프로세서 (102C) 는 본 개시의 기술들에 부합하게 각각의 HMI 디바이스 (101C) 를 동작하게 하도록 구성된 명령들을 실행하도록 구성된 HMI 디바이스 (101C) 의 임의의 컴퓨팅 컴포넌트를 포함할 수도 있다. 프로세서 (102C) 에 의해 실행되면, 그 명령들은, 본 개시의 기술에 부합되게 동작하도록 구성된 특정 컴퓨팅 디바이스로서 그 프로세서 (102C) 를 구성할 수도 있다.

또한 도 1b에 도시된 바처럼, HMI 디바이스 (101C) 는 하나 이상의 프로세서들 (102C) 을 포함한다. 프로세서 (102C) 는 본 개시의 기술들에 부합하게 HMI 디바이스 (101C) 를 동작하게 하기 위하여 하나 이상의 신호들을 프로세싱하도록 구성된 HMI 디바이스 (101C) 의 임의의 컴퓨팅 컴포넌트를 포함할 수도 있다. 몇몇 예들에 따르면, 프로세서 (102C) 는, 실행될 때, 본 개시의 기술들에 부합되게 동작하도록 구성된 특정 컴퓨팅 디바이스로서 프로세서 (102C) 를 구성하는, 명령들 (예를 들면, 컴퓨터 판독가능 매체에 저장된 명령들) 을 실행하도록 구성될 수도 있다. 또한 또는 대신에, 프로세서 (102C) 는 본 개시의 기술들에 부합하게 HMI 디바이스 (101C) 를 동작하게 하기 위하여 전기, 광학, 자기 및/또는 다른 신호들을 프로세싱하도록 구성된 특정 하드웨어 컴포넌트들을 포함할 수도 있다.

다양한 예들에서, 프로세서 (102C) 는 하나 이상의 중앙 처리 장치 (CPU), 디지털 신호 프로세서 (DSP), 주문형 반도체 (ASIC), 필드 프로그램 가능 게이트 어레이 (FPGA), 또는 다른 회로들의 임의의 조합을 포함할 수도 있다. 몇몇 경우들에서, 프로세서 (102C) 는 여기에 기재된 기술들과 부합하게 HMI 디바이스 (101C) 를 동작하게 하는 명령들을 실행하도록 구성될 수도 있다. 그러한 경우들에서, 그 명령들은 HMI 디바이스 (101C) 의 하나 이상의 컴퓨터 판독가능 매체 (미도시) 에 저장될 수도 있다. 예를 들면, 그 명령들은 디바이스의 저장 엘리먼트 (미도시) 에 저장될 수도 있고, 이는 HMI 디바이스 (101C) 의 RAM (random access memory) 컴포넌트, 하드 디스크 메모리 컴포넌트, 및/또는 플래시 또는 다른 고체 상태 메모리 컴포넌트의 하나 이상을 포함할 수도 있다.

도 1b의 예에서, HMI 디바이스 (101C) 의 다양한 모듈들 (110C, 120C, 및 132C) 은 단일 프로세서 (102C) 를 통하여 구현되는 것으로 도시되어 있다. 하지만, 다른 예들에서, 도 1c의 이들 모듈들의 하나 이상은 하나보다 많은 이산 하드웨어 컴포넌트 (예를 들면, CPU, DSP, ASIC, FPGA, 마이크로프로세서, 특정 하드웨어 컴포넌트 (specific hardware component), 또는 신호들을 프로세싱할 수 있는 유사한 컴포넌트의 하나 이상의 조합) 로 구현될 수도 있다.

도 1b에 도시된 바처럼, HMI 디바이스 (101C) 는 이미지 캡쳐 모듈 (110C) 을 포함한다. 이미지 캡쳐 모듈 (101C) 은 이미지들을 캡쳐하기 위하여 각각의 제 1 및 제 2 카메라 엘리먼트들 (112C, 114C) 을 제어하도록 구성될 수도 있다. 예를 들면, 이미지 캡쳐 모듈 (101C) 은, 제 1 및 제 2 카메라 엘리먼트들 (112C, 114C) 이 비디오 이미지들을 캡쳐하도록 동작될 때 및/또는 이미지 캡쳐의 초점을 제어하도록 구성될 수도 있다. 몇몇 예들에서, 제 1 및 제 2 카메라 엘리먼트들 (112C, 114C) 은, 제 1 및 제 2 카메라 엘리먼트들 (112C, 114C) 이 비디오의 캡쳐를 위해 겨누어지는 것을 허용하는 하나 이상의 기계적 액츄에이터를 포함할 수도 있다. 이들 예들에 따르면, 이미지 캡쳐 모듈들 (110C) 은 제 1 및 제 2 카메라 엘리먼트들 (112C, 114C) 을 겨누도록 하나 이상의 기계적 액츄에이터를 제어할 수도 있다.

HMI 디바이스 (101C) 는 또한, 이미지 캡쳐 엘리먼트들 (112C, 114C) 에 의해 캡쳐된 하나 이상의 이미지들을 프로세싱하도록 구성될 수도 있다. 또한 도 2의 예에 도시된 바처럼, HMI 디바이스 (101C) 는 이미지 프로세싱 모듈 (120C) 을 포함한다. 일반적으로 말해서, 이미지 프로세싱 모듈 (120C) 은 (예를 들면, 이미지 캡쳐 엘리먼트들 (112C, 114C) 로부터) 캡쳐된 비디오 이미지들의 하나 이상의 표현들을 수신하고, 그 하나 이상의 표현들을 디스플레이를 위해 프로세싱할 수도 있다. 예를 들면, 이미지 프로세싱 모듈 (120C) 은 다른 이미지들과 함께 디스플레이를 위해 하나 이상의 캡쳐된 이미지들을 프로세싱할 수도 있다. 또한 또는 대신에, 이미지 프로세싱 모듈 (120C) 은 입체 디스플레이를 위해 하나 이상의 표현들을 프로세싱할 수도 있다. 예를 들면, 이미지 프로세싱 모듈들 (120C) 은, 뷰어에게 실질적으로 3차원으로 보이는 비디오 표시의 디스플레이를 야기하도록 함께 디스플레이될 수도 있는 각각의 우측 및 좌측 뷰들을 생성하도록 구성될 수도 있다.

이미지 프로세싱 모듈 (120C) 은 디스플레이 모듈 (132C) 로 캡쳐된 비디오 이미지들의 하나 이상의 프로세싱된 표현들을 통신할 수도 있다. 디스플레이 모듈 (132C) 은, 캡쳐된 비디오 이미지들의 수신된 프로세싱된 표현에 기초하여 하나 이상의 이미지들을 디스플레이하기 위하여 하나 이상의 디스플레이들 (예를 들면, 도 1b에 도시되지 않은, 입체 디스플레이) 를 제어할 수도 있다. 몇몇 예들에서, HMI 디바이스 (101C) 는, 이미지 캡쳐 엘리먼트들 (112C, 114C) 에 의해 캡쳐된 이미지들이 실시간으로 또는 실시간에 가깝게 디스플레이 모듈 (132C) 에 의해 프로세싱 및/또는 디스플레이되도록 동작할 수도 있다.

디스플레이 모듈 (132C) 은, 이미지들의 표시를 위한 하나 이상의 디스플레이들 (예를 들면, 도 2에 도시되지 않은 입체 디스플레이) 를 제어하도록 구성될 수도 있다. 예를 들면, 디스플레이 모듈 (132C) 은 이미지 프로세싱 모듈 (120C) 로부터 수신된 이미지들을 표시하기 위해 하나 이상의 디스플레이들을 제어하도록 구성될 수도 있다. 예를 들면, 디스플레이 모듈 (132C) 은, 각각의 우측 및 좌측 이미지들이 뷰어의 우측 및 좌측 눈들에 의해 보여지게 하기 위해 뷰어가 착용할 수도 있는 특수 안경과 함께 사용될 수도 있다. 예를 들면, 특수 안경들은, 편광, 파장, 주파수 또는 다른 필터링과 같은 차이를 통해서 각각의 우측 및 좌측 이미지들을 표시할 수도 있다. 몇몇 예들에서, 디스플레이 모듈 (132C) 은 특수 안경과 동기화된 하나 이상의 디스플레이들을 제어하도록 구성될 수도 있다. 예를 들면, 특수 안경들은 각각의 우측 및 좌측 이미지들을 표시하는 디스플레이와 동기하여 명 상태와 암 상태 사이에서 천이하기 위한 셔터로서 작용할 수도 있다. 이 예에 따르면, 특수 안경들 및 디스플레이는, 인간의 눈에 의해 검출가능한 것보다 더 빠른 주파수로 표시 우측 및 좌측 이미지들 사이에서 천이하여, 그 천이들이 뷰어에 실질적으로 의식가능하지 않도록 할 수도 있다. 다른 예에 따르면, 디스플레이 모듈 (132C) 은 대신에 특수 안경을 필요로 하지 않는 디스플레이 (예를 들면, 자동 입체 디스플레이) 를 제어하도록 구성될 수도 있다. 전술된 입체 및 자동 입체 예들 양자 모두에 따르면, 3차원 비디오 표시의 각각의 우측 및 좌측 이미지들 (뷰들) 사이의 차이는, 하나 이상의 디스플레이된 이미지들이 깊이를 갖는 것으로 지각되게, 예를 들면, 이미지의 몇몇 오브젝트들이 디스플레이 표면의 앞 또는 뒤에 있는 것으로 보이게 할 수도 있다.

도 1a 및 도 1b는 VT 디바이스들 (101A, 101B) 및 HMI 디바이스 (101C) (이하, 디바이스들 (101) 로 총칭) 를 도시하고, 이들은 각각 공통적으로 엘리먼트들을 공유할 수도 있다. 예를 들면, 디바이스들 (101) 각각은 제 1 및 제 2 이미지 캡쳐 디바이스들 (112A-112C 및 114A-114C) (이하, 각각 이미지 캡쳐 디바이스들 (112, 114) 로 총칭), 이미지 캡쳐 모듈 (110A-110C) (이하, 이미지 캡쳐 모듈 (110) 로 총칭), 이미지 프로세싱 모듈 (120A-120C) (이하, 이미지 프로세싱 모듈 (120) 로 총칭), 및 디스플레이 제어 모듈 (132A-132C) (이하, 디스플레이 제어 모듈 (132) 로 총칭) 을 포함한다.

오직 예시를 위하여, 캡쳐된 이미지들의 3D 디스플레이를 위해 약간 다른 관점의 이미지들을 입체적으로 캡쳐하도록 구성된 제 1 이미지 캡쳐 엘리먼트 (112) 및 제 2 이미지 캡쳐 엘리먼트 (114) 를 포함하는 디바이스들 (101) 이 도시되어 있다. 도시되지 않은 다른 예들에 따르면, 디바이스들 (101) 중 어느 것이 대신에 또는 추가적으로, 3D 표시를 위해 이미지들을 입체적으로 캡쳐하도록 구성된 다른 구성의 이미지 캡쳐 엘리먼트들을 포함할 수도 있다. 예를 들면, 다중 뷰 이미지 캡쳐 기술이 사용될 수도 있고, 여기에서 디바이스들 (101) 은 장면의 상이한 관점의 이미지들을 캡쳐하도록 구성된 복수의 (예를 들면, 2개 보다 많은) 카메라 엘리먼트들을 포함한다. 다른 예에서, 디바이스들 (101) 은 단일 렌즈를 사용하여 이미지의 다중 뷰들을 캡쳐하도록 구성된 플래놉틱 카메라 (plenoptic camera) 를 사용할 수도 있다.

도 2는 이미지 프로세싱 모듈 (220) 의 일 예를 예시하는 블록도이다. 전술된 바처럼, 이미지 프로세싱 모듈 (220) 은 디스플레이를 위해 하나 이상의 이미지들을 프로세싱하도록 구성된, 하드웨어, 소프트웨어 또는 하드웨어 또는 소프트웨어의 임의의 조합을 통해 구현되는 컴포넌트일 수도 있다. 예를 들면, 이미지 프로세싱 모듈 (220) 은 3차원 디스플레이를 위한 이미지들을 프로세싱하도록 일반적으로 구성될 수도 있다.

도 2에 도시된 바처럼, 이미지 프로세싱 모듈 (220) 은 디스패리티 모듈 (222) 을 포함한다. 디스패리티 모듈 (222) 은 적어도 2개의 캡쳐된 이미지들 사이의 하나 이상의 픽셀들의 디스패리티를 결정하기 위하여, 적어도 2개의 캡쳐된 이미지들의 하나 이상의 픽셀들을 프로세싱하도록 구성될 수도 있다. 도 2에 도시된 바처럼, 이미지 프로세싱 모듈 (220) 은 ROI 식별 모듈 (224) 을 더 포함한다. 몇몇 예들에서, ROI 식별 모듈 (224) 은 원하는 ROI를 나타내는 사용자 입력을 수신하는 것에 의해 캡쳐된 이미지에서 ROI를 식별할 수도 있다. 예를 들면, 하나 이상의 VT 또는 HMI 디바이스들 (101) 은 원하는 ROI를 나타내는 사용자 입력을 수신하도록 구성될 수도 있다. ROI 식별 모듈 (224) 은 대신에, 캡쳐된 이미지들의 ROI를 자동적으로 결정하기 위하여 다른 기술들을 사용할 수도 있다. 예를 들면, ROI 식별 모듈 (224) 은, 캡쳐된 이미지들의 ROI를 자동적으로 결정하기 위하여 하나 이상의 컴퓨터 비젼 알고리즘 또는 다른 기술들을 사용할 수도 있다. 사용될 수도 있는 알고리즘 및/또는 기술들의 비제한적 예들은, 모션 추정 (이미지 픽셀/오브젝트들의 상대적인 움직임), 광학 흐름 (optical flow) (예를 들면, 표시의 관찰자와 표시의 오브젝트들 사이의 상대적인 모션에 의해 야기되는 시각 평면에서의 오브젝트 브라이트니스 패턴 (brightness pattern) 의 겉보기 모션 (apparent motion) 의 표현), 및/또는 블러리니스 (blurriness) (예를 들면, 더 적은 블러리니스는 이미지 오브젝트가 관찰자에게 더 가깝다는 것을 나타내는, 이미지 오브젝트들의 상대적인 블러리니스), (예를 들면, Haar 웨이블릿을 이용하는) 안면 인식 기술들, (예를 들면, 알려진 텍스쳐로 오브젝트를 식별하기 위하여 SIFT (scale invariant feature transform) 알고리즘 또는 다른 기술들을 이용하는) 오브젝트 인식, (이미지 오브젝트들을 식별하기 위하여 픽셀 컬러를 이용하는) 컬러 히스토그램, 또는 캡쳐된 이미지들의 ROI를 자동적으로 결정하기 위한 임의의 다른 기법을 포함한다.

또한, 도 2에 도시된 바처럼, 이미지 프로세싱 모듈 (220) 은 ZDP 결정 모듈 (226) 을 더 포함한다. ZDP 결정 모듈 (226) 은, 캡쳐된 이미지들의 ROI의 표시를, ROI 식별 모듈 (224) 로부터 수신하도록 구성될 수도 있다. ZDP 결정 모듈 (226) 은, 식별된 ROI에 기초하여, 3D 이미지들의 디스플레이를 위한 제로 디스패리티 평면 (ZDP) 을 결정할 수도 있다. ZDP는, 이미지 오브젝트들이, 예를 들면, 디스플레이 표면 (890) 에 또는 그 근처에서 있는 것으로 실질적으로 보이는, 이미지 오브젝트들이 뷰어에게 실질적으로 2차원 (2D) 로 보이는 디스플레이된 3D 이미지의 평면으로 설명될 수도 있다. ZDP의 오브젝트들은, 이미지의 각각의 우측과 좌측 뷰들 사이에, 차이가 거의 또는 전혀 없을 (예를 들면, 디스패리티가 거의 또는 전혀 없을) 수도 있다. 3D 이미지는 또한, ZDP가 아닌 다른 이미지 오브젝트들, 예를 들면, 각각의 우측 및 좌측 이미지들 사이의 차이 (디스패리티) 에 기인하여 디스플레이 표면 앞 또는 뒤에 보이는 이미지들을 포함할 수도 있다. 몇몇 예들에서, 이미지 픽셀들의 디스패리티는 양의 (ZDP의 앞) 또는 음의 (ZDP 의 뒤) 값에 의해 표현될 수도 있다. 3D 이미지를 볼 때, 오브젝트들은 3D 이미지의 ZDP으로부터 나오게 또는 뒤쪽으로 확장되는 것으로 보일 수도 있다. ZDP 결정 모듈 (226) 는 캡쳐된 이미지들을, 그것들이 식별된 ROI에서 또는 근처에서 ZDP로 디스플레이될 수 있도록 프로세싱할 수도 있다. 예로서, ZDP 결정 모듈 (226) 은, ROI의 하나 이상의 오브젝트들이 3D 이미지들을 표시하는 디스플레이의 표면에서 또는 근처에서 보이게 디스플레이되도록 캡쳐된 이미지들을 정렬 (예를 들면, 상대 위치 시프트), 크롭 및/또는 다르게 프로세싱하기 위하여 캡쳐된 이미지들을 프로세싱할 수도 있다. 정렬, 시프트 및/또는 다르게 프로세싱되고 나면, 식별된 ROI 내의 이미지 픽셀들의 디스패리티 값은 제로 (zero) 에 가깝거나 또는 실질적으로 제로와 같을 수도 있다.

몇몇 예들에 따르면, 도 2에 도시된 바처럼, ZDP 결정 모듈은 디스패리티 모듈 (222) 로부터 픽셀 디스패리티의 하나 이상의 지시 (indication) 들을 수신할 수도 있다. 예를 들면, ZDP 결정 모듈은, 캡쳐된 이미지들의 ROI의 픽셀들에 대한 픽셀 디스패리티의 하나 이상의 지시들을 수신할 수도 있다. 하나 이상의 지시들에 기초하여, ZDP 결정 모듈 (226) 은 캡쳐된 이미지들을 프로세싱 (예를 들면, 정렬, 크롭 또는 다르게 프로세싱) 하여, ROI의 픽셀들의 통상의 디스패리티를 (예를 들면, 디스패리티 모듈 (222) 을 통해) 결정하는 것에 기초하여, 식별된 ROI에서 또는 근처에서 ZDP로 디스플레이되게 할 수도 있다 (예를 들면, ROI의 픽셀들 및/또는 오브젝트들이 디스패리티가 거의 또는 전혀 없게 디스플레이되게 할 수도 있다). 일 예에 따르면, ZDP 결정 모듈 (226) 은, ROI의 픽셀들의 상대적인 디스패리티를 표시하는 히스토그램을 생성하는 것과, 최대 수의 픽셀들을 갖는 히스토그램의 빈 (bin) 을 선택하는 것에 의해, ROI의 통상의 디스패리티를 결정할 수도 있다. 따라서, ZDP 결정 모듈은, 캡쳐된 이미지들을, 그것들이 통상의 디스패리티의 깊이에서 또는 근처에서 ZDP로 디스플레이될 수 있도록 프로세싱할 수도 있다.

도 3은 이미지들의 입체 (예를 들면, 2개 이상의 카메라들을 통한) 캡쳐의 일 예를 예시하는 개념도이다. 도 3에 도시된 바처럼, 이미지 캡쳐 엘리먼트들 (312, 314) 은 오브젝트들 (342, 344, 및 346) 의 각각의 제 1 및 제 2 이미지들을 캡쳐하도록 구성될 수도 있다. 도 3에 도시된 예에 따르면, 제 2 이미지 캡쳐 엘리먼트 (314) 는 (예를 들면, 오브젝트들 (342, 344, 346) 을 포함하는) 같은 장면의 이미지들을, 그러나 제 1 이미지 캡쳐 엘리먼트 (312) 와는 약간 상이한 관점으로부터 캡쳐할 수도 있다. 몇몇 예들에서, 각각의 제 1 및 제 2 이미지 캡쳐 엘리먼트들 (312) 은 장면의 각각의 우측 및 좌측 뷰들을 캡쳐하도록 구성될 수도 있다. 캡쳐된 우측 및 좌측 이미지들은 3D 비디오 표시로서 사용자에게 함께 프로세싱 및 디스플레이될 수도 있다.

도 3의 예에서, 오브젝트 (342) 는 이미지 픽셀 (352) 을 포함한다. 마찬가지로, 오브젝트 (346) 는 이미지 픽셀 (354) 을 포함한다. 이미지 픽셀들 (352, 354) 은 오브젝트들 (342 및 346) 의 특정 포인트들을, 각각, 제 1 및 제 2 카메라 엘리먼트들 (312, 314) 에 의해 캡쳐된 이미지들에서 표현할 수도 있다. 제 1 및 제 2 이미지 캡쳐 엘리먼트들 (312, 314) 간의 상이한 관점에 기인하여, 이미지 픽셀 (352, 354) 은 각각의 이미지 캡쳐 엘리먼트 (312, 314) 에 의해 캡쳐된 이미지들에서 상이한 위치들에서 보일 수도 있다. 각각의 캡쳐된 이미지들 (예를 들면, 각각의 우측 및 좌측 이미지들) 사이의 픽셀 위치에서의 그러한 차이는, 그 픽셀에 대한 디스패리티로서 설명될 수도 있다. 디스패리티는 픽셀들의 수로서 나타내어질 수도 있다. 예를 들면, 디스패리티는 적어도 2개의 캡쳐된 이미지들에서 같은 픽셀의 각각의 위치들 사이의 픽셀들의 수 및/또는 픽셀들의 부분 (fraction) 으로서 표현될 수도 있다. 몇몇 예들에서, 디스패리티는 양의 또는 음의 디스패리티일 수도 있다. 예를 들면, 픽셀에 대한 양의 디스패리티는, 픽셀이 기준 평면 (예를 들면, 캡쳐된 이미지들의 ZDP) 의 앞에 보이는 오브젝트라는 것을 나타낼 수도 있다. 이 예에 따르면, 픽셀에 대한 음의 디스패리티는, 픽셀이 기준 평면 (예를 들면, 캡쳐된 이미지들의 ZDP) 의 뒤에 보인다는 것을 나타낼 수도 있다.

본 개시의 일 양태에 따르면, 캡쳐된 이미지들 사이의 이미지 픽셀들의 결정된 디스패리티는 캡쳐된 이미지들의 관심 영역을 결정하기 위하여 사용될 수도 있다. 본 개시의 다른 양태에 따르면, 캡쳐된 이미지들 사이의 이미지 픽셀들의 결정된 디스패리티는, (예를 들면, 입체 디스플레이를 통해) 캡쳐된 이미지들의 디스플레이를 위하여 ZDP 를 결정하기 위하여 사용될 수도 있다.

도 4는 캡쳐된 좌측 이미지 (462) 와 캡쳐된 우측 이미지 (464) 사이의 디스패리티의 일 예를 예시하는 개념도이다. 각각의 캡쳐된 우측 및 좌측 이미지들 (462, 464) 은, 입체 카메라, 예를 들면, 도 3에 예시된 바처럼, 제 1 및 제 2 카메라 엘리먼트들 (312, 314) 을 포함하는 카메라에 의해 캡쳐될 수도 있다.

도 4에 도시된 바처럼, 캡쳐된 좌측 이미지 (462) 는 캡쳐된 좌측 이미지 (462) 에서 제 1 및 제 2 픽셀들을 위한 각각의 위치들 (452A, 454A) 의 지시를 포함한다. 유사하게는, 캡쳐된 우측 이미지 (462) 는 캡쳐된 우측 이미지 (464) 에서 각각의 위치들 (452C 및 454C) 의 지시를 포함한다. 예시를 위하여, 캡쳐된 우측 이미지 (464) 는, 캡쳐된 좌측 이미지 (462) 의 위치들 (452A 및 454A) 에 대응하는 각각의 위치들 (452B, 454B) 의 지시를 포함한다. 다양한 픽셀 위치들 (452A, 452B, 및 452C) 는 도 3에 예시된 오브젝트 (342) 의 픽셀 (352) 에 대응할 수도 있다. 마찬가지로, 다양한 픽셀 위치들 (454A, 454B, 및 454C) 는 도 3에 예시된 오브젝트 (346) 의 픽셀 (354) 에 대응할 수도 있다.

도 4의 예에 도시된 바처럼, 캡쳐된 이미지들에서 (예를 들면, 오브젝트의) 특정 포인트를 표현하는 픽셀은, 각각의 이미지 캡쳐 엘리먼트 (예를 들면, 도 3에서 이미지 캡쳐 엘리먼트들 (312, 314)) 의 상이한 포지셔닝에 기인하여, 캡쳐 우측 이미지 (464) 와는, 켭쳐된 좌측 이미지 (462) 에서 상이한 위치를 가질 수도 있다. 캡쳐된 우측 이미지 (464) 의 밑에 도시된 바처럼, 이미지 픽셀 (352) 은 캡쳐된 좌측 이미지 (462) 에서 제 1 위치 (452B) 에 있을 수도 있는 한편, 이미지 픽셀 (352) 은 캡쳐된 우측 이미지 (464) 에서 제 2 위치 (452C) 에 있을 수도 있다. 이들 위치들 사이의 차이는 각각의 우측 및 좌측 캡쳐된 이미지들 (462, 464) 사이의 픽셀 (352) 의 디스패리티로 고려될 수도 있다. 마찬가지로, 캡쳐된 우측 이미지 (464) 의 위에 도시된 바처럼, 이미지 픽셀 (354) 은 캡쳐된 좌측 이미지 (462) 에서 제 1 위치 (454B) 에 있을 수도 있는 한편, 이미지 픽셀 (354) 은 캡쳐된 우측 이미지 (464) 에서 제 2 위치 (454C) 에 있을 수도 있다. 이들 위치들 사이의 차이는 각각의 우측 및 좌측 캡쳐된 이미지들 (462, 464) 사이의 픽셀 (354) 의 디스패리티로 고려될 수도 있다. 또한, 도 4에 도시된 바처럼, 하나의 픽셀의 디스패리티는 캡쳐된 이미지들 사이에서 다른 픽셀의 디스패리티보다 더 크거나 또는 더 적을 수도 있다. 예를 들면, 도 4에 도시된 바처럼, 픽셀 (452) 에 대한 디스패리티 (예를 들면, 픽셀 위치들 (452B 및 452C) 간의 차이) 는 픽셀 (454) 에 대한 디스패리티 (예를 들면, 픽셀 위치들 (454B 및 454C) 간의 차이) 보다 더 크다.

본 개시의 기술들에 따르면, 이미지 프로세싱 모듈 (120) (예를 들면, 디스패리티 모듈 (222)) 은 캡쳐된 이미지들의 하나 이상의 픽셀들에 대한 디스패리티를 결정할 수도 있다. 본 개시의 일 양태에 따르면, 이미지 프로세싱 모듈 (120) (예를 들면, ROI 식별 모듈 (224)) 은 캡쳐된 이미지들의 관심 영역 (ROI) 을 식별하기 위해 결정된 디스패리티를 사용할 수도 있다. ROI는 캡쳐된 비디오에서 관심 오브젝트 또는 오브젝트들을 포함하는 캡쳐된 이미지들의 영역일 수도 있다. ROI는 대상자의 얼굴 또는 몸을 포함할 수도 있다. 다른 예에서, ROI는 오브젝트, 화이트보드, 대상자의 손, 또는 임의의 다른 오브젝트를 포함할 수도 있다. 몇몇 예들에서, 이미지 프로세싱 모듈 (120) 은 캡쳐된 이미지들의 하나 이상의 관찰자들 (예를 들면, 이미지 캡쳐 디바이스 (312, 314)) 에 가장 가까운 캡쳐된 이미지들의 하나 이상의 오브젝트들로서 ROI를 식별할 수도 있다.

본 개시의 기술들에 부합되는 몇몇 예들에 따르면, 이미지 프로세싱 모듈 (120) 은, 관찰자로부터 이미지 픽셀 (예를 들면, 캡쳐된 이미지들의 오브젝트 또는 대상자의 포인트) 가 얼마나 가까운지 또는 얼마나 멀리 떨어져 있는지를 결정하기 위하여 픽셀 디스패리티를 사용할 수도 있다. 예를 들면, 관찰자에 더 가까운 오브젝트의 픽셀들은 관찰자로부터 더 멀리 떨어진 오브젝트의 픽셀들보다 더 큰 디스패리티를 가질 수도 있다. 예를 들면, 도 3에 예시된 예에 따르면, 오브젝트 (342) 의 픽셀 (352) 은 관찰자에 더 가까운 반면, 오브젝트 (344) 의 픽셀 (354) 은 관찰자로부터 더 멀리 떨어져 있다. 도 4의 예에 따르면, 도 4에 도시된 바처럼, 이미지 프로세싱 모듈 (120) 은, (도 4에 도시된 바처럼 좌측 이미지 픽셀 위치 (454B) 와 우측 이미지 픽셀 위치 (454C)) 사이의) 이미지 픽셀 (354) 보다 캡쳐된 우측 및 좌측 이미지들 (462 및 464) 사이의 (도 4에 도시된 바처럼 좌측 이미지 픽셀 위치 (452B) 와 우측 이미지 픽셀 위치 (452C) 사이의) 더 큰 디스패리티를 갖는다고 결정할 수도 있다. 따라서, 이미지 프로세싱 모듈 (120) 은 이미지 픽셀 (352, 354) 에 대해 결정된 디스패리티에 기초하여, 이미지 오브젝트 (342) 를 ROI로서 식별할 수도 있다.

이미지 프로세싱 모듈 (120) 은 식별된 ROI를 사용하여, 일 예로서, 캡쳐된 이미지들의 하나 또는 특정 오브젝트들 상의 이미지 캡쳐에 초점을 맞출 수도 있다. 이미지 프로세싱 모듈 (120) 은 또한 또는 대신에, 캡쳐된 이미지들을 디스플레이하기 위해 식별된 ROI를 사용할 수도 있다. 예를 들면, 이미지 프로세싱 모듈 (120) 은, ROI가 디스플레이된 비디오에서 두드러지도록 (예를 들면, 확대, 조명, 밝은 색으로 또는 다른 효과들로 디스플레이되도록) 또는 ROI의 오브젝트들 상에 초점을 갖게 캡쳐된 이미지들을 프로세싱할 수도 있다. 이미지 프로세싱 모듈 (120) 은 또한 (또는 대신에), 본 개시의 기술들에 부합되게 캡쳐된 이미지들의 디스플레이를 위해 ZDP를 결정하는데 식별된 ROI를 사용할 수도 있다.

또한, 몇몇 예들에서, 캡쳐된 이미지들의 식별된 ROI는 이미지들이 캡쳐되고 있는 동안에 변경될 수도 있다. 일 예에 따르면, 이미지 프로세싱 모듈 (120) 은, 대상자의 얼굴을 이미지의 ROI로서 식별하기 위하여 이미지 픽셀들의 디스패리티를 이용할 수도 있는데, 왜냐하면 이미지들을 캡쳐한 하나 이상의 이미지 캡쳐 엘리먼트들 (예를 들면, 관찰자) 에 대상자의 얼굴이 가장 가깝기 때문이다. 다음으로, 대상자는 오브젝트, 이를테면 관찰자 앞으로 오브젝트 (예를 들면, 사진) 를 내밀 수도 있다. 이미지 프로세싱 모듈 (120) 은, 이제 그 오브젝트가 캡쳐된 이미지들의 관찰자에 가장 가깝다는 것을, 예를 들면, 이미지 픽셀들의 디스패리티에 기초하여, 자동적으로 결정할 수도 있다. 따라서, 픽셀 디스패리티에 기초하여, 이미지 프로세싱 모듈 (120) 은 캡쳐된 이미지들의 새로운 ROI 로서 내밀어진 오브젝트를 식별할 수도 있다. 여기에서 설명된 바처럼 이미지 프로세싱 모듈 (120) 은 또한 또는 대신에, 다른 기술들에 기초하여 ROI의 변화를 자동적으로 결정하도록 구성될 수도 있다. 예를 들면, ROI 식별 모듈 (224) 은, 캡쳐된 이미지들의 ROI를 자동적으로 결정하기 위하여 하나 이상의 컴퓨터 비젼 알고리즘 또는 다른 기술들을 사용할 수도 있다. 사용될 수도 있는 알고리즘 및/또는 기술들의 비제한적 예들은, 모션 추정 (이미지 픽셀/오브젝트들의 상대적인 움직임), 광학 흐름 (예를 들면, 표시의 관찰자와 표시의 오브젝트들 사이의 상대적인 모션에 의해 야기되는 시각 평면에서의 오브젝트 브라이트니스 패턴 (brightness pattern) 의 겉보기 모션 (apparent motion) 의 표현), 및/또는 블러리니스 (blurriness) (예를 들면, 더 적은 블러리니스는 이미지 오브젝트가 관찰자에게 더 가깝다는 것을 나타내는, 이미지 오브젝트들의 상대적인 블러리니스), (예를 들면, Haar 웨이블릿을 이용하는) 안면 인식 기술들, (예를 들면, 알려진 텍스쳐로 오브젝트를 식별하기 위하여 SIFT (scale invariant feature transform) 알고리즘 또는 다른 기술들을 이용하는) 오브젝트 인식, (이미지 오브젝트들을 식별하기 위하여 픽셀 컬러를 이용하는) 컬러 히스토그램, 또는 캡쳐된 이미지들의 ROI를 자동적으로 결정하기 위한 임의의 다른 기술을 포함한다. 다른 예들에 따르면, ROI 식별 모듈 (224) 은 ROI의 변화를 나타내는 사용자 입력의 수신에 기초하여 캡쳐된 이미지들의 ROI의 변화를 식별할 수도 있다.

도 5는 장면의 하나 이상의 캡쳐된 이미지들을 위한 관심 영역을 결정하는 방법의 일 예를 예시하는 플로우 차트이다. 도 5의 예에 따르면, 이미지 캡쳐 모듈 (110) 은, 장면 (502) 의 제 1 및 제 2 이미지들을 캡쳐하기 위하여 적어도 2개의 이미지 캡쳐 엘리먼트들 (예를 들면, 이미지 캡쳐 엘리먼트들 (112, 114)) 을 제어할 수도 있다. 장면의 캡쳐된 제 1 및 제 2 이미지들은 적어도 하나의 이미지 픽셀을 포함할 수도 있다. 적어도 하나의 이미지 픽셀은 캡쳐된 장면에서 한 포인트를 표현할 수도 있다. 또한 도 5에 도시된 바처럼, 이미지 프로세싱 모듈 (120) (예를 들면, 디스패리티 모듈 (222)) 은 제 1 및 제 2 이미지들 (504) 의 적어도 하나의 픽셀에 대한 디스패리티를 결정할 수도 있다. 이미지 프로세싱 모듈 (120) 은 제 1 및 제 2 이미지들 사이의 적어도 하나의 픽셀의 각각의 위치들 간의 차이를 결정하는 것에 의해 디스패리티를 결정할 수도 있다. 이미지 프로세싱 모듈 (120) (예를 들면, ROI 식별 모듈 (224)) 은 또한, 적어도 하나의 픽셀 (506) 에 대한 결정된 디스패리티에 기초하여 캡쳐된 이미지들의 관심 영역을 식별할 수도 있다.

일 예에 따르면, 이미지 프로세싱 모듈 (120) 은 제 1 및 제 2 캡쳐된 이미지들의 복수의 픽셀들에 대한 디스패리티를 결정할 수도 있다. 복수의 픽셀들은 제 1 및 제 2 캡쳐된 이미지들의 모든 픽셀들을 포함하거나 또는 대신에 제 1 및 제 2 이미지들의 픽셀들의 서브세트를 포함할 수도 있다. 예를 들면, 이미지 프로세싱 모듈 (120) 은 장면의 오브젝트들의 픽셀들을 식별하고, 식별된 픽셀들에 대해 디스패리티를 결정할 수도 있다. 이미지 프로세싱 모듈 (120) 은 이미지들의 프로세싱을 위한 에지 검출 기술들에 기초하여 장면의 오브젝트들의 픽셀들을 결정할 수도 있다.

일 예에 따르면, 이미지 프로세싱 모듈 (120) 은, 가장 큰 양의 디스패리티, 또는 캡쳐된 이미지들의 적어도 2개의 뷰들 사이의 가장 큰 변위 (displacement) 를 갖는 캡쳐된 이미지들의 픽셀들을 결정하는 것에 기초하여 ROI를 식별할 수도 있다. 이미지 프로세싱 모듈 (120) 은, 어떤 픽셀들이 가장 큰 디스패리티를 갖는지에 기초하여, 그 캡쳐된 이미지들의 관찰자에 가장 가까운 캡쳐된 이미지들의 하나 이상의 오브젝트들을 식별할 수도 있다. 따라서, 이미지 프로세싱 모듈 (120) 은, 캡쳐된 이미지들의 관찰자에게 가장 가까운 하나 이상의 오브젝트들을 캡쳐된 이미지들의 ROI로서 식별할 수도 있다.

본 개시의 일 양태에 따르면, 도 5에 대해 전술된 바처럼, 이미지 프로세싱 모듈 (120) 은 입체적으로 캡쳐된 이미지들의 ROI를 식별하기 위해 이미지 픽셀들의 디스패리티를 사용할 수도 있다. 아래에서 더 설명되는 바처럼 본 개시의 다른 양태에 따르면, 이미지 프로세싱 모듈 (120) 은 도 5의 예에 따라 식별된 ROI 또는 다른 기술들에 따라 식별된 ROI에 기초하여 하나 이상의 캡쳐된 이미지들의 디스플레이를 위한 제로 디스패리티 평면을 결정할 수도 있다.

도 6은 피드백 기반 이미지들 (예를 들면, 비디오 이미지들) 의 입체 디스플레이를 위한 제로 디스패리티 평면을 식별하는 방법의 일 예를 예시하는 플로우 차트이다. 도 6에 도시된 바처럼, 이미지 프로세싱 모듈 (120) (예를 들면, ROI 식별 모듈 (224)) 은 적어도 2개의 캡쳐된 제 1 및 제 2 이미지들 (예를 들면, 입체적으로 캡쳐된 이미지들) 에 대한 ROI를 식별할 수도 있다 (601). 이미지 프로세싱 모듈 (120) 은 ROI를 자동적으로 식별할 수도 있다. 예를 들면, 이미지 프로세싱 모듈 (120) 은, 도 5에 대해 전술된 바처럼 캡쳐된 이미지들의 적어도 하나의 픽셀에 대해 결정된 디스패리티에 기초하여 ROI를 식별할 수도 있다.

다른 예들에 따르면, 이미지 프로세싱 모듈 (120) 은 ROI를 자동적으로 식별하기 위한 다른 기술들에 기초하여 ROI를 자동적으로 식별할 수도 있다. 예를 들면, 이미지 프로세싱 모듈 (120) 은, 캡쳐된 이미지들의 관찰자에 가장 가까운 오브젝트의 식별에 의존하는 다른 기술들을 이용할 수도 있다. 예를 들면, 이미지 프로세싱 모듈 (120) 은, 여기에 설명된 바처럼 캡쳐된 이미지들의 ROI를 자동적으로 결정하기 위하여 하나 이상의 컴퓨터 비젼 알고리즘 또는 다른 기술들을 사용할 수도 있다.

다른 예들에 따르면, 이미지 프로세싱 모듈 (120) 은 원하는 ROI를 나타내는 사용자 입력을 수신하는 것에 기초하여 식별된 ROI에 기초하여 입체 디스플레이를 위해 ZDP를 결정할 수도 있다. 예를 들면, VT 또는 HMI 디바이스 (101) 는, 원하는 ROI의 마우스, 키보드, 터치 스크린, 또는 음성 프롬프트 선택을 통해서와 같이, 사용자로부터 원하는 ROI의 지시를 수신하도록 구성될 수도 있다. 디바이스 (101) 가 터치 감지 디스플레이를 포함하는 하나의 그러한 예에 따르면, 사용자는 오브젝트를 원하는 ROI로서 식별하기 위하여 오브젝트 (예를 들면, 대상자의 얼굴, 또는 디스플레이된 이미지들의 다른 오브젝트) 에서 또는 근처에서 터치 감지 디스플레이를 상호작용 (예를 들면, 터치) 하는 것에 의해 원하는 ROI를 입력할 수도 있다.

또한 도 6에 도시된 바처럼, 이미지 프로세싱 모듈 (120) 은 또한, 단계 (601) 에서 식별된 ROI의 적어도 하나의 픽셀에 대한 디스패리티를 (예를 들면, 디스패리티 모듈 (222) 을 통해서) 결정할 수도 있다 (602). 일 예에서, 이미지 프로세싱 모듈 (120) 은 식별된 ROI의 모든 픽셀들에 대해 디스패리티를 결정할 수도 있다. 다른 예들에서, 이미지 프로세싱 모듈 (120) 은 식별된 ROI의 픽셀들의 서브세트에 대해 디스패리티를 결정할 수도 있다. 예를 들면, 이미지 프로세싱 모듈 (120) 은 ROI의 적어도 하나의 오브젝트를 식별하고, 대응하여, 식별된 적어도 하나의 오브젝트의 이미지 픽셀들의 디스패리티를 결정할 수도 있다.

또한 도 6에 도시된 바처럼, 이미지 프로세싱 모듈 (120) 은 또한 ROI의 통상의 디스패리티를 결정할 수도 있다 (603). 하나의 그러한 예에 따르면, 이미지 프로세싱 모듈 (120) 은 단계 (602) 에서 디스패리티가 결정된 그러한 픽셀들 (예를 들면, ROI의 모든 픽셀들 또는 서브세트의 픽셀들) 에 대해 결정된 디스패리티를 평균화하는 것에 의해 통상의 디스패리티를 결정할 수도 있다. 다른 예에 따르면, 이미지 프로세싱 모듈 (120) 은 도 7에 대하여 후술되는 다양한 디스패리티 범위에 대응하는 다수의 빈들을 포함하는 히스토그램에 ROI의 픽셀들을 할당하는 것에 의해 ROI에 대한 통상의 디스패리티를 결정할 수도 있다. 이들 예에 따르면, 이미지 프로세싱 모듈 (120) 은 ROI의 통상의 디스패리티로서 최대 수의 픽셀들이 할당된 빈의 디스패리티 범위를 식별할 수도 있다.

또한 도 6에 도시된 바처럼, 이미지 프로세싱 모듈 (120) 은 ROI의 식별된 통상의 디스패리티에 기초하여 ZDP를 갖는 입체 비디오 표시를 생성하기 위하여 동작할 수도 있다 (604). 전술된 바처럼, 입체 디스플레이를 통해 제공된 각각의 우측 및 좌측 이미지들 사이의 차이는, 하나 이상의 디스플레이된 이미지들이 깊이를 갖는 것으로 지각되게, 예를 들면, 이미지의 몇몇 오브젝트들이 디스플레이의 디스플레이 표면의 앞 또는 뒤에 있는 것으로 보이게 할 수도 있다. 몇몇 예들에서, 이미지 프로세싱 모듈 (120) (및/또는 디스플레이 제어 모듈 (132)) 은, 식별된 ROI의 하나 이상의 픽셀들 및/또는 이미지 오브젝트로 하여금 디스패리티가 거의 또는 전혀 없게 디스플레이되게 (예를 들면, 입체 디스플레이의 표면에서 또는 근처에서 보이게) 하는 한편, 하나 이상의 다른 픽셀들 및/또는 이미지 오브젝트로 하여금 디스플레이의 표면 앞에 또는 뒤에 보이게 하기 위하여 입체 비디오 표시의 각각의 제 1 및 제 2 (예를 들면, 우측 및 좌측) 뷰들을 정렬, 크롭 및/또는 다르게 프로세싱하는 것에 의해 식별된 통상의 디스패리티에 기초하여 ZDP를 갖는 입체 비디오 표시를 생성할 수도 있다. 하나 이상의 입체 뷰들을 정렬하기 위한 기술들은 도 13에 대하여 더 상세히 후술된다.

도 7은 단계 (603) 에서 도 6에 대해 전술된 바처럼 ROI의 통상의 디스패리티를 결정하기 위하여 이미지 프로세싱 모듈 (120) 에 의해 생성될 수도 있는 히스토그램의 일 예를 예시하는 개념도이다. 또한 도 7의 예에 도시된 바처럼, 이미지 프로세싱 모듈 (120) (예를 들면, 디스패리티 모듈 (222)) 은 ROI의 픽셀들에 대한 디스패리티를 결정하고, 복수의 빈들 (7A-7J) 중 하나에 ROI의 각 픽셀을 할당할 수도 있다. 10개의 빈들이 도 7의 예에 도시되어 있지만, 임의의 수의 빈들이 상이한 예들에서 사용될 수 있다. 도 7의 히스토그램의 X-축 상에 도시된 바처럼, 빈들 (7A-7J) 은 각각, ROI의 픽셀들에 대한 디스패리티의 상이한 범위를 표현할 수도 있다. 단지 예시를 위하여, 디스패리티가, 1이 디스패리티의 최소량이고, 100이 디스패리티의 최대량인 1-100 의 스케일에 기초하여 결정되면, 빈 (7A) 은 1-10의 디스패리티 범위를 표현할 수도 있고, 빈 (7B) 는 11-20의 디스패리티 범위를 표현할 수도 있고, 빈 (7C) 는 21-30의 디스패리티 범위를 표현할 수도 있고, 기타 등등이며... 빈 (7J) 는 91-100의 디스패리티 범위를 표현할 수도 있다.

도 7의 히스토그램의 Y-축 상에 도시된 바처럼, 하나 이상의 픽셀들에는 빈들 (7A-7J) 의 하나 이상이 할당될 수도 있다. 도 7의 예에 도시된 바처럼, 빈 (7J) 에는 최소 수의 픽셀들이 할당된 한편, 빈 (7E) 에는 최대 수의 픽셀들이 할당되었다. 일 예에 따르면, 이미지 프로세싱 모듈 (120) 은, 복수의 빈 (7A-7J) 들 중 최대 수의 픽셀들이 할당된 하나의 선택에 기초하여 ROI의 통상의 디스패리티를 결정할 수도 있다. 도 7의 예에 따르면, 빈 (7E) 에는 빈들 (7A-7D 및 7F-7J) 에 비해 최대 수의 픽셀들이 할당되었다. 따라서, 빈 (7E) 의 디스패리티 범위 또는 빈 (7E) 의 범위의 디스패리티가, 도 6에 대해 전술된 바처럼, 입체 이미지들의 디스플레이를 위해 ZDP를 결정하기 위하여 통상의 디스패리티로서 사용될 수도 있다.

다른 예에 따르면, 도 7에 도시된 바처럼 히스토그램이 가우스 분포 (Gaussian distribution) 에 유사하게 고려될 수도 있다. 이 예에 따르면, 이미지 프로세싱 모듈 (120) 은, 도 6에 대해 전술된 바처럼 입체 이미지들의 디스플레이를 위해 ZDP를 결정하기 위하여 통상의 디스패리티로서 가우스 분포의 평균 (mean) (예를 들면, 산술평균 (average)) 을 사용할 수도 있다.

도 8 - 도 10은 도 6에 대해 전술된 바처럼 식별된 ROI에 기초하여 결정된 ZDP로 뷰어 (870) 에 대한 입체 비디오 표시의 디스플레이의 다양한 예들을 예시하는 개념도들이다. 도 8 - 도 10에 도시된 바처럼, 뷰어 (870) (예를 들면, 인간 뷰어) 는 좌측 눈 (872) 및 우측 눈 (874) 을 가진다. 도 8 - 도 10 의 예들에서, 뷰어 (870) 는 입체 디스플레이 (800) 를 보고 있다. 입체 디스플레이 (800) 는 좌측 눈 (872) 에 의해 지각될 제 1 이미지 및 우측 눈 (874) 에 의해 지각될 제 2 이미지를 뷰어 (870) 에게 표시하도록 디스플레이 제어 모듈 (132) 에 의해 제어될 수도 있다. 몇몇 예들에서, 도 8 - 도 10에도 도시된 바처럼, 뷰어 (870) 는 제 1 이미지가 뷰어의 좌측 눈 (872) 에 의해 지각되게 하고 제 2 이미지가 뷰어의 우측 눈 (874) 에 의해 지각되게 하도록 구성된, 입체 안경 (876) 또는 다른 디바이스를 착용할 수도 있다. 예를 들면, 입체 안경들 (876) 은 액정 셔텨 안경 (LC 셔터 안경) 또는 액티브 셔터 안경일 수도 있다. 이들 예들에 따르면, 입체 안경 (876) 은, 각각의 우측 및 좌측 렌즈들을 포함할 수도 있고, 이들 각각은, 전압이 액정 층에 인가될 때 암 상태가 될 수도 있는 액정 층을 포함하고, 그렇지 않으면 렌즈는 투명한 상태이다. 입체 안경 (876) 의 각각의 우측 및 좌측 렌즈들은, (예를 들면, Bluetooth®, 적외선, Wi-fi®, 또는 다른 형태의 무선 통신과 같은 무선 통신을 통하여 동기화된) 디스플레이 (900) 가 각각의 우측 및 좌측 이미지들의 표시 사이에 천이하는 레이트와 부합하게 암 상태와 투명 상태 사이에서 천이하도록 구성될 수도 있다. 따라서, 각각의 우측 및 좌측 이미지들은 사용자로 하여금 3차원적으로 디스플레이된 이미지들을 지각하게 하도록 뷰어의 좌측 눈 (872) 및 우측 눈 (874) 에 단독으로 디스플레이될 수도 있다.

입체 안경 (876) 은 대신에 애너글리프 (anaglyph) 안경, 크로마뎁스 (ChromaDepth) 안경, 또는 편광 3D 안경, 또는 상이한 뷰들이 뷰어의 좌측 눈 (872) 과 우측 눈 (874) 에 의해 지각되는 것을 허용하는 임의의 다른 디바이스 또는 구조를 포함할 수도 있다. 입체 안경 (876) 은, 임의의 타입의 필터링, 예를 들면, 광학 파장, 편광 또는 다른 기술들을 통해 상이한 뷰들이 지각되게 하도록 구성될 수도 있다. 다른 예로서, 입체 안경 (876) 대신에, 특수 콘택트 렌즈 또는 다른 광학 구조들이 뷰어의 좌측 눈 (872) 과 우측 눈 (874) 에 의해 지각되게 하기 위하여 사용될 수도 있다.

도 8 - 도 10 에 도시된 입체 안경 (876) 은 단지 예시를 위해 제공되었고, 비제한적인 것으로 의도되었다. 다른 예들에서, 디스플레이 (800) 는, 입체 안경 (876) 의 사용 없이, 각각의 우측 및 좌측 이미지들을 뷰어의 우측 및 좌측 눈들에 표시하도록 구성된 자동 입체 디스플레이일 수도 있다. 예를 들면, 디스플레이 (800) 는 패럴랙스 (parallax) 배리어 (각 눈이 상이한 세트의 픽셀들을 보게 하는, 일련의 정밀 슬릿들을 가진 재료의 층), 렌티큘러 (약간 다른 각도에서 볼 때, 상이한 이미지들이 확대되도록 설계된 확대 렌즈들의 어레이), 볼류메트릭 (예를 들면, 전기 홀로그래픽 및 광계를 포함하여, (x,y,z) 공간에서 잘 정의된 영역들로부터 조명의 방출, 산란 또는 릴레잉 (relaying) 을 통하여 3-D 이미저리 (imagery) 를 생성), 및/또는 이들 기술들의 임의의 조합을 채용하여 본 개시의 기술들에 부합하게 식별된 ROI에 기초하여 결정된 ZDP로 사용자에게 이미지들을 자동 입체적으로 표시할 수도 있다.

도 8 - 도 10에 예시된 예들은, 이미지 오브젝트들 (842, 844, 및 846) 이 디스플레이 (800) 의 디스플레이 표면 (890) 에 상대적으로 뷰어에 의해 지각되는 바처럼, 이미지 오브젝트들 (842, 844, 및 846) 의 입체 디스플레이를 나타낸다. 도 8 -도 10 에 도시된 이미지 오브젝트들은 일반적으로, 도 3에 도시되고 전술된 제 1 및 제 2 이미지 캡쳐 엘리먼트들 (312, 314) 에 의해 캡쳐된 장면의 오브젝트들 (342, 344, 및 346) 에 대응한다.

도 8은 본 개시의 기술들에 부합하는 캡쳐된 비디오의 ROI에 기초하여 결정된 ZDP로 표시된 3D 이미지의 입체 디스플레이의 일 예를 예시하는 개념도이다. 도 8에 도시된 바처럼, 이미지 프로세싱 모듈 (120) (예를 들면, ROI 식별 모듈 (224)) 은 캡쳐된 이미지들의 ROI (880) 로서 식별된 오브젝트 (844) 를 식별했다. 이미지 프로세싱 모듈 (120) 은 오브젝트 (844) 를 ROI (880) 로서 자동적으로 또는 수동적으로 식별할 수도 있다. 예를 들면, 전술된 바처럼, 이미지 프로세싱 모듈 (120) 은 여기에 기재된 다양한 기술들에 따라 오브젝트 (844) 를 ROI 로서 자동적으로 식별할 수도 있다. 다른 예들에 따르면, 이미지 프로세싱 모듈 (120) 은 ROI (880) 로서 오브젝트 (844) 의 선택을 나타내는 사용자 입력의 수신에 기초하여 오브젝트 (844) 를 ROI (880) 로서 식별할 수도 있다.

또한 도 8에 도시된 바처럼, 이미지 프로세싱 모듈 (120) 은, 오브젝트 (844) 의 ROI (880) 으로서의 식별에 기초하여, 식별된 ROI (880) 에 기초해 결정된 ZDP로 입체적으로 디스플레이되도록 캡쳐된 이미지들을 프로세싱 (예를 들면, 정렬, 크롭, 및/또는 다르게는 프로세싱) 할 수도 있다. ZDP는, 이미지 오브젝트들이, 예를 들면, 디스플레이 표면 (890) 에 또는 그 근처에서 있는 것으로 실질적으로 보이는, 이미지 오브젝트들이 뷰어에게 실질적으로 2차원 (2D) 으로 보이는 디스플레이된 3D 이미지의 평면으로 설명될 수도 있다. ZDP의 오브젝트들은, 이미지의 각각의 우측과 좌측 뷰들 사이에, 차이가 거의 또는 전혀 없을 (예를 들면, 디스패리티가 거의 또는 전혀 없을) 수도 있다. 3D 이미지는 또한, ZDP가 아닌 다른 이미지 오브젝트들, 예를 들면, 각각의 우측 및 좌측 이미지들 사이의 차이 (디스패리티) 에 기인하여 디스플레이 표면 앞 또는 뒤에 나타나는 이미지들을 포함할 수도 있다. 3D 이미지를 볼 때, 오브젝트들은 3D 이미지의 ZDP로부터 나오게 또는 뒤쪽으로 확장되는 것으로 보일 수도 있다. 디스플레이 표면 (890) 은 LCD 또는 플라즈마 디스플레이와 같은 디스플레이 디바이스의 표면일 수도 있다. 디스플레이 표면 (890) 은 대신에, 프로젝터 디바이스가 이미지들을 프로젝팅하는 벽 또는 다른 표면과 같은, 이미지들이 프로젝팅되는 표면일 수도 있다.

전술된 바처럼, 디스플레이된 이미지가 사용자에게 3차원으로서 지각되게 하기 위하여, 이미지 프로세싱 모듈 (120) 은, 약간 상이한 이미지들 (뷰들) 이 뷰어의 좌측 및 우측 눈들 (872, 874) 에 보내지도록 디스플레이하기 위하여 이미지들을 프로세싱할 수도 있다. 각각의 우측 및 좌측 이미지들 사이의 차이는, 디스플레이된 이미지들의 하나 이상의 오브젝트들이 디스플레이 (800) 의 표면의 앞 또는 뒤에 보이게 할 수도 있다. 본 개시의 기술들에 부합하게, 이미지 프로세싱 모듈 (120) 은, 각각의 좌측 뷰 (872) 와 우측 뷰 (874) 사이의 차이 (디스패리티) 가 거의 또는 전혀 없게 ROI (880) 의 오브젝트들 (예를 들면, 도 8에 있는 오브젝트 (844)) 이 표시되고, 그에 의해 디스플레이 표면 (890) 에서 또는 근처에서 보일 수 있도록 디스플레이된 입체 이미지의 ZDP (892) 를 결정할 수도 있다. 다른 한편, 도 8에도 도시된 바처럼, 오브젝트 (842) 는 실질적으로 디스플레이 표면 (890) 의 앞에 있는 것처럼 뷰어 (870) 에 의해 지각되도록 디스플레이되고, 오브젝트 (846) 는 실질적으로 디스플레이 (800) 뒤에 있는 것처럼 뷰어 (870) 에 의해 지각되도록 디스플레이된다. 오브젝트들 (842 및 846) 은 디스플레이된 우측과 좌측 이미지들 사이의 각각의 차이에 기인하여 디스플레이 표면 앞에 또는 뒤에 보일 수도 있다.

도 9 및 도 10은 본 개시의 기술들에 부합하는 캡쳐된 비디오의 ROI (990) 에 기초하여 선택된 ZDP (982) 로 표시된 3D 이미지의 입체 디스플레이의 다른 예들을 예시하는 개념도들이다. 도 9에 도시된 바처럼, 이미지 프로세싱 모듈 (120) 은, ROI (980) 의 식별에 기초하여, 오브젝트 (842) 가 디스플레이 표면 (890) 에 또는 근처에, 예를 들면, 도 8에 도시된 바처럼의 오브젝트 (844) 대신에 ZDP (992) 에 또는 근처에 보이도록 디스플레이되게 한다. 또한 도 9에 도시된 바처럼, 이미지 프로세싱 모듈 (120) 은 오브젝트 (844) 가 ZDP (992) 뒤에 보이게 그리고 오브젝트 (846) 가 ZDP (992) 의 더 뒤에 보이게 한다. 도 10의 예에 따르면, 이미지 프로세싱 모듈 (120) 은 오브젝트 (846) 를 캡쳐된 이미지들의 ROI (1080) 로서 식별한다. 따라서, 이미지 프로세싱 모듈은 캡쳐된 이미지들을, 오브젝트 (846) 가 ZDP (1082) 에서 또는 근처에서 보이도록 프로세싱한다.

몇몇 예들에 따르면, 도 1에 도시된 바처럼 VT 디바이스 (101A, 101B) 또는 도 2에 도시된 HMI 디바이스 (201) 는, 캡쳐된 이미지들의, 식별된 ROI (880) 의 변화에 기초하여 디스플레이된 이미지들의 ZDP를 자동적으로 천이하도록 구성될 수도 있다. 예를 들면, 이미지 프로세싱 모듈 (120) 은, 캡쳐된 이미지들의 제 1 ROI (예를 들면, 오브젝트 (844) 를 포함하는, 도 8에 있는 ROI (890)) 를 (예를 들면, 자동적으로 또는 사용자 입력의 수신에 기초하여) 식별할 수도 있다. 이미지 프로세싱 모듈 (120) 은 또한, 제 2 ROI (예를 들면, 오브젝트 (842) 를 포함하는, 도 9에 있는 ROI (990)) 를 식별할 수도 있다. 따라서, 이미지 프로세싱 모듈 (120) 은, 제 2 ROI (예를 들면, ROI (990)) 의 하나 이상의 오브젝트들이 디스플레이된 이미지들의 제 2 ZDP에 또는 근처에 보이도록 (예를 들면, 디스플레이 표면 (890) 에 또는 근처에 보이도록) 3D 이미지들의 디스플레이를 자동적으로 수정할 수도 있다.

예를 들면, 도 1에 예시된 바처럼 제 1 VT 디바이스 (101A) 를 통하여, 제 1 사용자는, 제 2 VT 디바이스 (101B) 를 통하여 캡쳐된 제 2 사용자의 이미지들을 볼 수도 있다. 오브젝트 (844) 가 제 2 사용자라고 가정하면, 제 1 또는 제 2 VT 디바이스들 (101A, 101B) 의 하나의 이미지 프로세싱 모듈 (120) 은, (예를 들면, 자동적으로 또는 사용자 입력의 수신에 의하여) 오브젝트 (844) 를 ROI (890) 로서 식별할 수도 있다. 따라서, 제 1 VT 디바이스 (101A) 는, 도 8의 예에 도시된 바처럼, 오브젝트 (844) (예를 들면, 제 2 사용자의 얼굴) 이 ZDP (882) 에서 또는 근처에서 보이도록 제 1 사용자에 디스플레이되게 이미지들을 표시할 수도 있다.

제 2 사용자는 자신의 앞에 사진 또는 다른 오브젝트를 들고 있을 수도 있다. 이미지 프로세싱 모듈 (120) 은 내밀어진 사진 (예를 들면, 오브젝트 (842)) 을 제 2 ROI (990) 로서 식별할 수도 있다. 이미지 프로세싱 모듈 (120) 은 사진을 자동으로, 예를 들면, 오브젝트 (842) 가 이미지 캡쳐 엘리먼트들 (112, 114) 에 더 가까워졌다는 것을 자동적으로 결정하는 것에 의해, 식별할 수도 있거나, 또는 제 2 VT 디바이스 (101B) 는, 제 2 사용자가 사진을 ROI 로서 식별하기를 원한다는 입력을 제 2 사용자로부터 수신할 수도 있다. 따라서, 이미지 프로세싱 모듈 (120) (및/또는 디스플레이 모듈 (132)) 은, 도 9에 디스플레이된 바처럼, 사진이 디스패리티가 거의 또는 전혀 없게 (예를 들면, ZDP (982) 에 또는 근처에) 보이도록 이미지들이 사용자에게 디스플레이되게 할 수도 있다.

도 11은 캡쳐된 이미지들의 식별된 ROI의 변화에 기초하여 캡쳐된 이미지들의 입체 표시를 자동적으로 수정하는 방법의 일 예를 예시하는 플로우 차트이다. 도 11에 도시된 바처럼, 이미지 캡쳐 모듈은, 예를 들면, 적어도 2개의 입체 카메라들 (112, 114) 을 사용하여, 제 1 및 제 2 이미지들을 캡쳐할 수도 있다 (1102). 이미지 프로세싱 모듈 (120) 은 또한, 캡쳐된 이미지들의 제 1 ROI를 식별할 수도 있다 (1104). 이미지 프로세싱 모듈 (120) 은 제 1 ROI를 자동적으로 또는 사용자 입력의 수신을 통하여 식별할 수도 있다. 이미지 프로세싱 모듈 (120) 은 또한, 식별된 제 1 ROI에 기초하여 선택된 제로 디스패리티 평면 (ZDP) 으로 디스플레이하기 위해 제 1 및 제 2 이미지들을 프로세싱 (예를 들면, 정렬, 크롭 또는 다르게는 프로세싱) 할 수도 있다 (1106). 예를 들면, 이미지 프로세싱 모듈 (120) 은, 제 1 ROI의 하나 이상의 오브젝트들이 디스플레이 표면 (890) 에서 또는 근처에서 보이도록 제 1 및 제 2 이미지들을 프로세싱할 수도 있다.

이미지 프로세싱 모듈 (120) 은 또한, 제 1 및 제 2 캡쳐된 이미지들에 대한 제 2 ROI를 식별할 수도 있다 (1108). 이미지 프로세싱 모듈 (120) 은 또한, 제 2 ROI를 자동적으로 식별할 수도 있거나 또는 제 2 ROI를 식별하는 사용자 입력을 수신할 수도 있다. 이미지 프로세싱 모듈 (120) 은 또한, 제 2 식별된 ROI에 기초하여 제 2 ZDP로 디스플레이하기 위해 캡쳐된 제 1 및 제 2 이미지들을 수정할 수도 있다 (1110). 예를 들면, 이미지 프로세싱 모듈 (120) 은, 제 2 ROI의 하나 이상의 오브젝트들이 디스플레이 표면 (890) 에서 또는 근처에서 보이도록 제 1 및 제 2 캡쳐된 이미지들을 프로세싱할 수도 있다. 이미지 프로세싱 모듈 (120) 은 또한, 제 1 식별된 ROI의 하나 이상의 오브젝트들이 디스플레이 표면 (890) 에서 또는 근처에서 더 이상 보이지 않도록 제 1 및 제 2 캡쳐된 이미지들을 프로세싱할 수도 있다.

도 12는 본 개시에 부합하는 캡쳐된 이미지들의 ROI에 기초하여 하나 이상의 캡쳐된 이미지들의 디스플레이를 위한 ZDP를 결정하는 방법의 일 예를 예시하는 플로우 도이다. 예시를 위해, 도 12는 본 개시의 기술에 부합하는 도 1a 및 도 1b에 예시된 바처럼 하나 이상의 VT 디바이스들 (101A, 102B), 및/또는 하나 이상의 HMI 디바이스들 (101C) 의 각각의 컴포넌트들에 의해 수행되는 다양한 동작들을 도시한다. 도 12의 예는 단지 예시를 위해 제공되었고, 비제한적인 것으로 의도되었다. VT 또는 HMI 디바이스들 (101) 의 임의의 컴포넌트는 도 12에 도시된 동작들을 수행할 수도 있다.

도 12에 도시된 바처럼, VT 또는 HMI 디바이스 (101) 의 이미지 캡쳐 모듈 (110) 은 장면의 각각의 제 1 및 제 2 이미지들을 캡쳐하도록 구성될 수도 있다 (1202). 예를 들면, 이미지 캡쳐 모듈 (110) 은, 각각의 제 1 및 제 2 이미지들을 캡쳐하기 위하여 하나 이상의 이미지 캡쳐 엘리먼트들 (112, 114) 을 제어하도록 구성될 수도 있다. 다른 예들에 따르면, 이미지 캡쳐 모듈 (110) 은, 장면의 다수의 뷰들을 캡쳐하도록 구성된 단일 이미지 캡쳐 엘리먼트, 예를 들면, 플래놉틱 카메라를 제어할 수도 있다.

이미지 캡쳐 모듈 (110) 은 또한, 캡쳐된 제 1 및 제 2 이미지들의 표현을 통신할 수도 있다 (1204). 예를 들면, 이미지 캡쳐 모듈 (110) 은, 하나 이상의 프로세서들, DSP 또는 다른 컴퓨팅 컴포넌트에 의해 판독가능할 수도 있는 전자 표현을 통신할 수도 있다. 도 12의 예에 따르면, 이미지 캡쳐 모듈 (110) 은, 프로세싱을 위해 이미지 프로세싱 모듈 (120) 에 캡쳐된 제 1 및 제 2 이미지들의 표현을 통신할 수도 있다. 예를 들면, 디바이스 (101) 가 VT 디바이스 (101A) 인 경우, 이미지 캡쳐 모듈 (110A) 은, 프로세싱을 위해 제 2 VT 디바이스 (101B) 의 이미지 프로세싱 모듈 (120B) 에 캡쳐된 제 1 및 제 2 이미지들의 표현을 통신할 수도 있다. 다른 예들에 따르면, 이미지 캡쳐 모듈 (110A) 은, 제 1 VT 디바이스 (101A) 의 이미지 프로세싱 모듈 (120A) 에 캡쳐된 제 1 및 제 2 이미지들의 표현을 통신할 수도 있다. 이미지 프로세싱 모듈 (120A) 이 캡쳐된 제 1 및 제 2 이미지들을 프로세싱하고 나면, 이미지 프로세싱 모듈 (120A) 은, 추가 프로세싱, 디스플레이, 및/또는 저장을 위해, 프로세싱된 제 1 및 제 2 이미지들의 표현을 제 2 VT 디바이스 (101B) 로 통신할 수도 있다. 다른 예에 따르면, 디바이스 (101) 가 HMI 디바이스 (101C) 인 경우에, 이미지 캡쳐 모듈 (110C) 은, 프로세싱, 저장 및/또는 디스플레이를 위해서, HMI 디바이스 (101C) 에 로컬인 이미지 프로세싱 모듈 (120C) 로 캡쳐된 이미지들을 통신할 수도 있다.

이미지 프로세싱 모듈 (120) 은, 하나 이상의 캡쳐된 제 1 및 제 2 이미지들의 표현을, 이미지 캡쳐 모듈 (110) 로부터, 수신할 수도 있다 (1206). 이미지 프로세싱 모듈 (120) 은, 저장, 통신 및/또는 디스플레이를 위해 수신된 이미지들을 프로세싱하도록 구성될 수도 있다. 예를 들면, 이미지 프로세싱 모듈들 (120) 은, 뷰어에게 실질적으로 3차원으로 보이도록 입체적으로 디스플레이될 수도 있는 멀티 뷰 표현을 생성하기 위하여 제 1 및 제 2 캡쳐된 이미지들의 표현을 수신하도록 구성될 수도 있다.

입체 이미지를 디스플레이 하기 위하여, 이미지의 제로 디스플레이 평면 (ZDP) 을 정의하는 것이 바람직할 수도 있다. ZDP는, 이미지 오브젝트들이, 예를 들면, 디스플레이 표면 (890) 에 또는 그 근처에서 실질적으로 보이는, 이미지 오브젝트들이 뷰어에게 실질적으로 2차원 (2D) 로 보이는 디스플레이된 3D 이미지의 평면으로 설명될 수도 있다. ZDP의 오브젝트들은, 이미지의 각각의 우측과 좌측 뷰들 사이에, 차이가 거의 또는 전혀 없을 (예를 들면, 디스패리티가 거의 또는 전혀 없을) 수도 있다. 3D 이미지는 또한, ZDP가 아닌 다른 이미지 오브젝트들, 예를 들면, 각각의 우측 및 좌측 이미지들 사이의 차이 (디스패리티) 에 기인하여 디스플레이 표면 앞 또는 뒤에 보이는 이미지들을 포함할 수도 있다. 3D 이미지를 볼 때, 오브젝트들은 3D 이미지의 ZDP으로부터 나오게 또는 뒤쪽으로 확장되는 것으로 보일 수도 있다.

이미지 프로세싱 모듈 (120) 은, 캡쳐된 이미지들의 식별된 ROI에 기초하여 3D 이미지들의 표시를 위해 ZDP를 결정하도록 구성될 수도 있다. 예를 들면, 도 12에 도시된 바처럼, 이미지 프로세싱 모듈 (120) (예를 들면, ROI 식별 모듈 (224)) 은 단계 (1206) 에서 이미지 캡쳐 모듈로부터 수신된 제 1 및 제 2 이미지들에 대해 ROI를 식별할 수도 있다 (1208). 이미지 프로세싱 모듈 (120) 은 ROI를 자동적으로 (예를 들면, 도 5에 대해 전술된 바처럼 디스패리티 모듈 (222) 에 의해 결정되는 이미지 픽셀 디스패리티, 또는 여기에 기재된 다른 기술들에 기초하여) 또는 ROI를 식별하는 사용자 입력의 수신에 기초하여, 식별할 수도 있다.

이미지 프로세싱 모듈 (120) 은 또한, ROI의 하나 이상의 픽셀들에 대해 통상의 디스패리티를 결정할 수도 있다 (1210). 예를 들면, 이미지 프로세싱 모듈 (120) 은, 도 2에 예시된 디스패리티 모듈 (222) 로부터 수신된 픽셀 디스패리티의 하나 이상의 지시들에 기초하여 통상의 디스패리티를 결정할 수도 있다.

이미지 프로세싱 모듈 (120) 은 또한, 3D 디스플레이에 적합한 캡쳐된 이미지들의 하나 이상의 표현들을 생성하기 위하여 (단계 (120) 에서 수신된) 캡쳐된 이미지들의 수신된 표현들을 프로세싱할 수도 있다 (1212). 예를 들면, 이미지 프로세싱 모듈들 (120) 은, 디스플레이된 이미지들이 뷰어에게 실질적으로 3차원으로 보이게 하도록 구성된 각각의 우측 또는 좌측 뷰들을 생성할 수도 있다. 하나의 그러한 예에 따르면, 이미지 프로세싱 모듈 (120) 은, 단계 (1210) 에서 결정된 통상의 디스패리티에 기초한 깊이로 디스플레이된 이미지들의 ZDP 가 배열되도록 캡쳐된 이미지들의 하나 이상의 다른 표현들을 생성할 수도 있다. 하나 이상의 3D 표현들을 생성하는 것은, 디스플레이된 이미지들의 ZDP가 단계 (1210) 에서 결정된 통상의 디스패리티에 기초한 깊이로 배열되도록, 각각의 우측 및 좌측 뷰들 (예를 들면, 캡쳐된 이미지들) 을 크롭, 정렬 및/또는 다르게는 프로세싱하는 것을 포함할 수도 있다.

또한 도 12에 도시된 바처럼, 이미지 프로세싱 모듈 (120) 은, 사용자에게 디스플레이하기 위해 하나 이상의 디스플레이 모듈들 (132) 에 3D 표시의 생성된 표현을 통신할 수도 있다. 예를 들면, 디바이스 (101) 가 VT 디바이스 (101A) 인 예에서, 이미지 프로세싱 모듈은, 디스플레이를 위해 다른 VT 디바이스 (101B) 로 3D 표시를 통신할 수도 있다. 예를 들면, 이미지 프로세싱 모듈 (120) 은 3D 표시의 전체 표현을 통신할 수도 있다. 다른 예에 따르면, 이미지 프로세싱 모듈 (120) 은 스트리밍 기술, 예를 들면, HTTP 스트리밍을 통하여 표현을 통신할 수도 있다. 디바이스 (101) 가 HMI 디바이스 (101C) 인 예에서, 이미지 프로세싱 모듈은, HMI 디바이스 (101C) 에 로컬인 디스플레이 제어 모듈 (132C) 로 3D 표시를 통신할 수도 있다. 예를 들면, 이미지 프로세싱 모듈 (120C) 은 HMI 디바이스 (101C)의 저장 컴포넌트 (예를 들면, 랜덤 액세스 메모리, 하드 드라이브, 플래시 메모리) 에 3D 표현을 저장할 수도 있다. 다음으로, 디스플레이 제어 모듈 (132C) 은, 저장된 3D 표현에 액세스하고, 뷰어에게 3D 표현을 표시하기 위하여 하나 이상의 디스플레이들을 제어할 수도 있다. 다른 예에 따르면, 이미지 프로세싱 모듈 (120C) 은, 예를 들면, 시스템 버스 또는 다른 디바이스간 통신 메카니즘들을 통해, 디스플레이 제어 모듈 (132C) 로 직접 3D 표현을 통신할 수도 있다.

또한 도 12에 도시된 바처럼, 디스플레이 모듈 (132) 은 식별된 통상의 디스패리티에서 또는 근처에서 ZDP로 디스플레이하기 위하여 제 1 및 제 2 이미지의 프로세싱된 3D 표현을 수신할 수도 있다 (1214). 디스플레이 모듈 (132) 은 단계 (1210) 에서 이미지 프로세싱 모듈 (120) 에 의해 결정된 ROI의 통상의 디스패리티에 기초하여 ZDP를 갖는 3차원 이미지를 표시하기 위하여 하나 이상의 입체 디스플레이들을 제어할 수도 있다 (1216).

하나의 예에 따르면, 도 12에서 점선으로 나타낸 바처럼, VT 및/또는 HMI 디바이스 (101) 는 각각의 제 1 및 제 2 이미지들을 연속적으로 캡쳐하고, 캡쳐된 이미지들의 ROI를 식별하고, 그리고 식별된 ROI에 기초하여 ZDP로 디스플레이하기 위하여 캡쳐된 이미지들의 3D 표시들을 생성하도록 구성될 수도 있다. 따라서, 본 개시의 기술들은, 대상자의 이미지들이 연속적으로 캡쳐되고 사용자에게 실시간으로 또는 실시간에 가깝게, 본 개시의 기술들에 부합되는 하나 이상의 식별된 ROI에 기초한 ZDP로, 디스플레이되는, VT 또는 HMI과 같은 피드백 기반 비디오 애플리케이션들에 사용될 수도 있다.

도 13은 본 개시의 기술들에 부합하는 3D 이미지의 표시를 위한 제 1 및 제 2 캡쳐된 이미지들을 프로세싱하는 기술의 일 예를 예시하는 개념도이다. 도 13에 도시된 바처럼, 이미지 프로세싱 모듈 (120) 은, (제 1 및 제 2 캡쳐된 이미지들 (각각, 캡쳐된 좌측 이미지 (1301), 캡쳐된 우측 이미지 (1302)) 의 표현을 수신할 수도 있다. 여기에 기재된 바처럼, 이미지 프로세싱 모듈 (120) 은 3차원 표시를 위한 좌측 및 우측 캡쳐된 이미지들의 표현을 프로세싱할 수도 있다. 예를 들면, 이미지 프로세싱 모듈 (120) 은, 좌측 및 우측 이미지들 (1301, 1302) 이 캡쳐된 이미지들에서 식별된 ROI에 따라 결정된 ZDP로 표시될 수 있도록, 캡쳐된 좌측 및 우측 이미지들 (1301, 1302) 의 표현을 프로세싱할 수도 있다. 예를 들면, 이미지 프로세싱 모듈 (120) 은, 식별된 ROI의 하나 이상의 오브젝트들이 디스플레이될 때 디스패리티가 거의 또는 전혀 없게 보이도록, 캡쳐된 좌측 및 우측 이미지들 (1301, 1302) 의 표현을 서로에 대해 정렬, 크롭 또는 다르게 프로세싱할 수도 있다.

예를 들면, 도 13의 예에 도시된 바처럼, 이미지 프로세싱 모듈 (120) 은, (예를 들면, 오브젝트 (1324) 를 포함하는) ROI (1380) 가 디스플레이 표면 (1390) 에서 또는 근처에서 보이도록 각각의 좌측 이미지 (1301) 및 우측 이미지 (1302) 를 배열, 정렬, 또는 다르게 포지셔닝할 수도 있다. 예를 들면, 오브젝트 (1324) 가 디스플레이 표면 (1390) 에서 또는 근처에서 보이게 하기 위하여, 각각의 제 1 및 제 2 이미지들은, 뷰어가 볼 때, 오브젝트 (1324) 에 대한 제 1 및 제 2 이미지들 사이에 차이가 거의 또는 전혀 없도록, 서로에 대해 정렬될 수도 있다. 따라서, 오브젝트 (1324) 는 디스플레이 표면 (1390) 에서 또는 근처에서 보일 수도 있다. 동시에, 오브젝트들 (1322) 은 디스플레이 표면 (1390) 앞에 보일 수도 있고, 오브젝트 (1326) 는 디스플레이 표면 (1390) 뒤에 보일 수도 있다.

또한 도 13에 도시된 바처럼, 이미지 프로세싱 모듈 (120) 은 우측 및 좌측 이미지들 (1301, 1302) 의 각각을 크롭할 수도 있다. 예를 들면, 도 13에 도시된 바처럼, 각각의 우측 및 좌측 이미지들 (1301, 1302) 이 전술된 바처럼 정렬될 때, 우측 및 좌측 이미지들의 부분들이 디스플레이의 디스플레이 영역 또는 이미지들이 표시되는 다른 표면 (1390) 을 지나 확장될 수도 있다. 따라서, 이미지 프로세싱 모듈 (120) 은, 디스플레이 영역 내의 그러한 부분들만이 표시되도록, 제 1 및 제 2 이미지들 (1301, 1302) 의 각각의 부분들을 제거 (크롭) 하도록 동작될 수도 있다. 도 13에 도시된 바처럼, 좌측 및 우측 이미지들의 각각의 부분이 크롭되어, 크롭된 우측 이미지 및 크롭된 좌측 이미지를 생성했다.

도 13에 도시된 개념적인 예는, 캡쳐된 이미지들의 ROI에 기초하여 결정된 ZDP로 캡쳐된 이미지들의 3D 표시를 생성하기 위하여 이미지 프로세싱 모듈 (120) 에 의해 수행될 수도 있는 크롭 및 정렬의 일 예일 뿐이다. 도 13의 예는, 3D 표시를 준비하기 위하여 수행될 수도 있는 프로세싱의 일 예일 뿐이다. 본 개시의 기술들에 부합하는 3D 표시를 준비하기 위하여 이미지 프로세싱 모듈 (120) 에 의해 다른 프로세싱 단계들이 또한 수행될 수도 있다.

다수의 예들이 설명되었다. 이들 예들 중 하나 이상에서, 여기에 설명된 기능들은, 적어도 부분적으로 하드웨어, 이를테면 특정 하드웨어 컴포넌트들 또는 프로세서로 구현될 수도 있다. 더 일반적으로는, 그 기술들은 하드웨어, 프로세서, 소프트웨어, 펌웨어 또는 이들의 임의의 조합으로 구현될 수도 있다. 소프트웨어로 구현되면, 그 기능들은 컴퓨터 판독가능 매체 상의 하나 이상의 명령 또는 코드로서 저장되거나 송신될 수도 있고 하드웨어 기반 프로세싱 유닛에 의해 실행될 수도 있다. 컴퓨터 판독가능 매체는, 예를 들면, 통신 프로토콜에 따라, 일 장소로부터 다른 장소로의 컴퓨터 프로그램의 전송을 용이하게 하는 임의의 매체를 포함하는 통신 매체 또는 데이터 저장 매체와 같은 유형의 매체에 대응하는 컴퓨터 판독가능 저장 매체를 포함할 수도 있다. 이런 방식으로, 컴퓨터 판독가능 매체는 일반적으로, (1) 비일시적인 유형의 컴퓨터 판독가능 저장 매체 또는 (2) 신호 또는 캐리어 파와 같은 통신 매체에 대응할 수도 있다. 데이터 저장 매체는, 본 개시에서 설명된 기술들의 구현을 위해 명령들, 코드 및/또는 데이터 구조들을 취출하기 위하여 하나 이상의 컴퓨터들 또는 하나 이상의 프로세서들에 의해 액세스될 수 있는 임의의 이용가능한 매체일 수도 있다. 컴퓨터 프로그램 제품은 컴퓨터 판독가능 매체를 포함할 수 있다.

비한정적 예로서, 이러한 컴퓨터 판독가능 저장 매체는 RAM, ROM, EEPROM, CD-ROM 또는 다른 광학 디스크 저장, 자성 디스크 저장 또는 다른 자성 저장 디바이스들, 플래시 메모리, 또는 명령 또는 데이터 구조의 형태로 원하는 프로그램 코드를 저장하는데 사용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다. 또한, 임의의 접속이 컴퓨터 판독가능 매체, 즉 컴퓨터 판독가능 송신 매체로 적절히 칭해된다. 예를 들어, 명령들이 동축 케이블, 광섬유 케이블, 연선 (twisted pair), 디지털 가입자 라인 (DSL), 또는 적외선, 라디오, 및 마이크로파와 같은 무선 기술을 사용하여 웹사이트, 서버, 또는 다른 원격 소스로부터 송신되면, 그 동축 케이블, 광섬유 케이블, 연선, DSL, 또는 적외선, 라디오, 및 마이크로파와 같은 무선 기술은 매체의 정의 내에 포함된다. 하지만, 컴퓨터 판독가능 저장 매체 및 데이터 저장 매체는 접속, 캐리어 파, 신호 또는 다른 일시적 매체를 포함하는 것이 아니라, 대신에 비일시적, 유형의 저장 매체를 포함한다는 것이 이해되야 한다. 여기에 설명된 바와 같이, 디스크 (disk) 및 디스크 (disc) 는 콤팩트 디스크 (CD), 레이저 디스크, 광 디스크, DVD (digital versatile disc), 플로피 디스크 및 블루-레이 디스크를 포함하며, 여기서, 디스크 (disk) 는 보통 데이터를 자기적으로 재생하지만, 디스크 (disc) 는 레이저를 이용하여 광학적으로 데이터를 재생한다. 또한, 전술한 것의 조합은 컴퓨터 판독가능 매체의 범위 내에 포함되어야 한다.

명령들은 하나 이상의 프로세서, 이를테면 하나 이상의 CPU (central processing unit), DSP (digital signal processor), 범용 마이크로프로세서, ASIC (application specific integrated circuit), FPGA (field programmable logic array), 또는 다른 등가 집적 또는 이산 로직 회로에 의해 실행될 수도 있다. 따라서, 본원에 사용된 용어 "프로세서" 는 이전 구조 중 임의의 것 또는 본원에 설명된 기술들의 구현에 적합한 임의의 다른 구조를 지칭할 수도 있다. 추가로, 몇몇 양태들에서, 여기서 설명된 기능은 인코딩 및 디코딩을 위해 구성된 전용 하드웨어 모듈 및/또는 소프트웨어 모듈 내에 제공되거나 또는 결합된 코덱에 포함될 수도 있다. 또한, 그 기법들은 하나 이상의 회로 또는 로직 엘리먼트들에서 완전히 구현될 수 있다.

본 개시의 기법들은 무선 핸드셋, 집적 회로 (IC) 또는 IC 들의 세트 (예를 들면, 칩셋) 를 포함하여, 폭넓게 다양한 디바이스들 또는 장치들에서 구현될 수도 있다. 다양한 컴포넌트들, 모듈들 또는 유닛들이, 개시된 기술들을 수행하기 위하여 구셩된 디바이스들의 기능적인 양태들을 강조하기 위하여 본 개시에 설명되었지만, 다른 하드웨어 유닛들에 의한 실현을 반드시 필요로 하는 것은 아니다. 오히려, 전술된 바처럼, 다양한 유닛들이 코덱 하드웨어 유닛으로 결합되거나 또는 적합한 소프트웨어 및/또는 펌웨어와 함께, 전술된 하나 이상의 프로세서들을 포함하는 연동적인 (interoperative) 하드웨어 유닛들의 집합에 의해 제공될 수도 있다.

다양한 예들이 설명되었다. 이들 및 다른 예들은 다음의 청구항들의 범위 내에 있다.

Claims

입체 이미지 데이터를 프로세싱하는 방법으로서,
적어도 2개의 입체적으로 캡쳐된 이미지들을 획득하는 단계;
획득된 적어도 2개의 상기 이미지들의 관심 영역 (ROI) 을 식별하는 단계로서, 상기 ROI 는 상기 획득된 적어도 2개의 이미지들 중 어느 하나의 전체를 나타내지 않고 상기 획득된 적어도 2개의 이미지들 각각의 부분을 나타내는, 상기 식별하는 단계;
상기 획득된 적어도 2개의 이미지들 사이의 픽셀 디스패리티를 결정하는 단계로서, 상기 픽셀 디스패리티는 상기 획득된 적어도 2개의 이미지들의 각 획득된 이미지 내의 상기 ROI의 표현들과 연관되고, 상기 픽셀 디스패리티는 대응하는 픽셀들 간의 컬러 전환에 적어도 부분적으로 기초하며, 상기 픽셀 디스패리티를 결정하는 단계는 상기 획득된 적어도 2개의 이미지들의 각 획득된 이미지 내의 상기 ROI의 표현들 간의 ROI 픽셀 디스패리티를 표현하기 위한 히스토그램을 생성하는 단계를 포함하고, 상기 히스토그램은 평균 픽셀 디스패리티 값 또는 근처에 집중된 개별적인 픽셀 디스패리티 값들을 포함하는, 상기 픽셀 디스패리티를 결정하는 단계;
상기 획득된 적어도 2개의 이미지들의 3차원 (3D) 표시를 위한 제로 디스패리티 평면 (ZDP) 을 식별하는 단계; 및
상기 ROI의 적어도 일부가 상기 ZDP 또는 근처에서 디스플레이되도록 상기 히스토그램에 포함된 상기 평균 픽셀 디스패리티 값에 일치하도록 상기 ZDP를 조정하는 단계를 포함하는, 입체 이미지 데이터를 프로세싱하는 방법.
제 1 항에 있어서,
상기 획득된 적어도 2개의 이미지들의 ROI를 식별하는 단계는,
상기 ROI를 식별하는 사용자 입력을 수신하는 단계를 포함하는, 입체 이미지 데이터를 프로세싱하는 방법.
제 1 항에 있어서,
상기 획득된 적어도 2개의 이미지들의 ROI를 식별하는 단계는,
상기 ROI를 자동적으로 식별하는 단계를 포함하는, 입체 이미지 데이터를 프로세싱하는 방법.
제 3 항에 있어서,
상기 ROI를 자동적으로 식별하는 단계는,
상기 히스토그램에 포함된 상기 개별적인 픽셀 디스패리티 값들 중 적어도 하나의 개별적인 픽셀 디스패리티 값에 기초하여 상기 ROI를 자동적으로 식별하는 단계를 포함하는, 입체 이미지 데이터를 프로세싱하는 방법.
제 3 항에 있어서,
상기 ROI를 자동적으로 식별하는 단계는,
모션 검출;
광학 흐름;
안면 인식;
오브젝트 인식;
컬러 히스토그램; 및
블러리니스로 이루어지는 군으로부터 선택된 하나 이상의 기술들에 기초하여 자동적으로 식별하는 단계를 포함하는, 입체 이미지 데이터를 프로세싱하는 방법.
제 1 항에 있어서,
상기 픽셀 디스패리티를 결정하는 단계는 상기 식별된 ROI의 통상의 디스패리티를 결정하는 단계를 포함하는, 입체 이미지 데이터를 프로세싱하는 방법.
제 1 항에 있어서,
상기 식별된 ROI의 적어도 하나의 오브젝트가 디스플레이 표면 또는 근처에서 보이도록, 3D 표시를 디스플레이하는 단계를 더 포함하는, 입체 이미지 데이터를 프로세싱하는 방법.
제 1 항에 있어서,
상기 ROI는 제 1 ROI이고,
상기 평균 픽셀 디스패리티 값은 상기 제 1 ROI와 연관된 평균 디스패리티 값이고,
상기 ZDP는 제 1 ZDP이고,
상기 입체 이미지 데이터를 프로세싱하는 방법은,
상기 획득된 적어도 2개의 이미지들의 제 2 ROI 를 식별하는 단계; 및
상기 제 2 ROI의 적어도 일부가 상기 제 2 ZDP 또는 근처에서 디스플레이되도록, 상기 제 2 ROI와 연관된 제 2 평균 픽셀 디스패리티와 일치하도록 상기 획득된 적어도 2개의 이미지들의 3D 표시를 위한 제 2 ZDP를 형성하기 위해 상기 제 1 ZDP를 조정하는 단계를 더 포함하는, 입체 이미지 데이터를 프로세싱하는 방법.
제 1 항에 있어서,
상기 획득된 적어도 2개의 이미지들의 3D 표시를 위한 상기 ZDP 를 식별하는 단계는,
상기 획득된 적어도 2개의 이미지들의 하나 이상을 정렬 및/또는 크롭하는 단계를 포함하는, 입체 이미지 데이터를 프로세싱하는 방법.
입체 이미지 데이터를 프로세싱하기 위한 장치로서,
하나 이상의 프로세서들;
적어도 하나의 이미지 캡쳐 디바이스로 하여금 적어도 2개의 이미지들을 입체적으로 캡쳐하도록 하는 것에 의해 적어도 부분적으로, 상기 적어도 2개의 이미지들을 획득하도록 구성된 이미지 캡쳐 모듈;
상기 획득된 적어도 2개의 이미지들의 관심 영역 (ROI) 을 식별하도록 구성된 ROI 식별 모듈로서, 상기 ROI 는 상기 획득된 적어도 2개의 이미지들 중 어느 하나의 전체를 나타내지 않고 상기 획득된 적어도 2개의 이미지들 각각의 부분을 나타내는, 상기 ROI 식별 모듈;
상기 획득된 적어도 2개의 이미지들 사이의 픽셀 디스패리티를 결정하도록 구성된 디스패리티 모듈로서, 상기 픽셀 디스패리티는 상기 획득된 적어도 2개의 이미지들의 각 획득된 이미지 내의 상기 ROI의 표현들과 연관되고, 상기 픽셀 디스패리티는 대응하는 픽셀들 간의 컬러 전환에 적어도 부분적으로 기초하며, 상기 디스패리티 모듈은 상기 획득된 적어도 2개의 이미지들의 각 획득된 이미지 내의 상기 ROI의 표현들 간의 ROI 픽셀 디스패리티를 표현하기 위한 히스토그램을 생성하는 것에 의해 적어도 부분적으로, 상기 픽셀 디스패리티를 결정하고, 상기 히스토그램은 평균 픽셀 디스패리티 값 또는 근처에 집중된 개별적인 픽셀 디스패리티 값들을 포함하는, 상기 디스패리티 모듈;
상기 획득된 적어도 2개의 이미지들의 3차원 (3D) 디스플레이를 위한 제로 디스패리티 평면 (ZDP) 을 식별하도록 구성된 ZDP 식별 모듈; 및
상기 ROI의 적어도 일부가 상기 ZDP 또는 근처에서 디스플레이되도록, 상기 히스토그램에 포함된 상기 평균 픽셀 디스패리티 값에 일치하도록 상기 ZDP를 조정하도록 구성된 ZDP 조정 모듈을 포함하는, 입체 이미지 데이터를 프로세싱하기 위한 장치.
제 10 항에 있어서,
상기 ROI 식별 모듈은 상기 ROI를 식별하는 사용자 입력의 수신에 기초하여 상기 ROI를 식별하도록 구성되는, 입체 이미지 데이터를 프로세싱하기 위한 장치.
제 10 항에 있어서,
상기 획득된 적어도 2개의 이미지들의 ROI를 식별하기 위해, 상기 ROI 식별 모듈은 상기 ROI를 자동적으로 식별하도록 구성되는, 입체 이미지 데이터를 프로세싱하기 위한 장치.
제 12 항에 있어서,
상기 ROI를 자동적으로 식별하기 위해, 상기 ROI 식별 모듈은 상기 히스토그램에 포함된 상기 개별적인 픽셀 디스패리티 값들 중 적어도 하나의 개별적인 픽셀 디스패리티 값에 기초하여 상기 획득된 적어도 2개의 이미지들의 ROI를 자동적으로 식별하도록 구성되는, 입체 이미지 데이터를 프로세싱하기 위한 장치.
제 12 항에 있어서,
상기 ROI 식별 모듈은,
모션 검출;
광학 흐름;
안면 인식;
오브젝트 인식;
컬러 히스토그램; 및
블러리니스로 이루어지는 군으로부터 선택된 하나 이상의 기술들에 기초하여 상기 획득된 적어도 2개의 이미지들의 ROI를 식별하도록 구성되는, 입체 이미지 데이터를 프로세싱하기 위한 장치.
제 10 항에 있어서,
상기 픽셀 디스패리티를 결정하기 위해, 상기 픽셀 디스패리티 모듈은 상기 식별된 ROI 의 통상의 디스패리티를 결정하도록 구성되고,
상기 ZDP 를 식별하기 위해, 상기 ZDP 식별 모듈은 상기 결정된 통상의 디스패리티에 적어도 부분적으로 기초하여 상기 ZDP 를 식별하도록 구성되는, 입체 이미지 데이터를 프로세싱하기 위한 장치.
제 10 항에 있어서,
상기 ZDP 결정 모듈은 상기 식별된 ROI의 적어도 하나의 오브젝트가 디스플레이 표면 또는 근처에서 보이도록 상기 획득된 적어도 2개의 상기 이미지들의 3D 표시를 위한 상기 ZDP를 결정하도록 구성되는, 입체 이미지 데이터를 프로세싱하기 위한 장치.
제 10 항에 있어서,
상기 ROI는 제 1 ROI이고,
상기 평균 픽셀 디스패리티 값은 상기 제 1 ROI와 연관된 제 1 평균 픽셀 디스패리티 값이고,
상기 ZDP는 제 1 ZDP이고,
상기 ROI 결정 모듈은 상기 획득된 적어도 2개의 이미지들의 제 2 ROI를 식별하도록 더 구성되고,
상기 ZDP 조정 모듈은, 상기 제 2 ROI의 적어도 일부가 상기 제 2 ZDP 또는 근처에서 디스플레이되도록, 상기 제 2 ROI와 연관된 제 2 평균 픽셀 디스패리티와 일치하도록 상기 획득된 적어도 2개의 이미지들의 3D 표시를 위한 제 2 ZDP를 형성하기 위해 상기 제 1 ZDP를 조정하도록 구성되는, 입체 이미지 데이터를 프로세싱하기 위한 장치.
제 10 항에 있어서,
상기 ZDP 식별 모듈은, 상기 획득된 적어도 2개의 이미지들을 정렬 및/또는 크롭하는 것에 의해, 상기 획득된 적어도 2개의 이미지들의 3D 표시를 위한 상기 ZDP를 결정하도록 구성되는, 입체 이미지 데이터를 프로세싱하기 위한 장치.
제 10 항에 있어서,
상기 장치는 무선 디바이스인, 입체 이미지 데이터를 프로세싱하기 위한 장치.
제 10 항에 있어서,
상기 장치는 비디오폰 통화 디바이스 또는 인간 기계 인터페이스 디바이스인, 입체 이미지 데이터를 프로세싱하기 위한 장치.
명령들을 포함하는 비-일시적 컴퓨터 판독가능 저장 매체로서,
상기 명령들은 실행시 하나 이상의 프로세서들로 하여금,
적어도 2개의 입체적으로 캡쳐된 이미지들을 수신하고;
상기 수신된 적어도 2개의 이미지들의 관심 영역 (ROI) 을 식별하되, 상기 ROI 는 상기 수신된 적어도 2개의 이미지들 중 어느 하나의 전체를 나타내지 않고 상기 수신된 적어도 2개의 이미지들 각각의 부분을 나타내고;
상기 수신된 적어도 2개의 이미지들 사이의 픽셀 디스패리티를 결정하고, 상기 픽셀 디스패리티는 상기 수신된 적어도 2개의 이미지들의 각 수신된 이미지 내의 상기 ROI의 표현들과 연관되고, 상기 픽셀 디스패리티는 대응하는 픽셀들 간의 컬러 전환에 적어도 부분적으로 기초하고, 상기 픽셀 디스패리티를 결정하는 것은 상기 수신된 적어도 2개의 이미지들의 각 수신된 이미지 내의 상기 ROI의 표현들 간의 ROI 픽셀 디스패리티를 표현하기 위한 히스토그램을 생성하는 것을 포함하고, 상기 히스토그램은 평균 픽셀 디스패리티 값 또는 근처에 집중된 개별적인 픽셀 디스패리티 값들을 포함하며;
상기 수신된 적어도 2개의 이미지들의 3차원 (3D) 표시를 위한 제로 디스패리티 평면 (ZDP) 을 식별하고; 그리고
상기 ROI의 적어도 일부가 상기 ZDP 또는 근처에서 디스플레이되도록, 상기 히스토그램에 포함된 상기 평균 픽셀 디스패리티 값에 일치하도록 상기 ZDP를 조정하도록 하는, 비-일시적 컴퓨터 판독가능 저장 매체.
제 21 항에 있어서,
상기 하나 이상의 프로세서들로 하여금, 상기 수신된 적어도 2개의 이미지들의 ROI를 식별하도록 하는 명령들은,
실행되어, 상기 하나 이상의 프로세서들로 하여금, 상기 ROI를 식별하는, 수신된 사용자 입력에 기초하여 상기 수신된 적어도 2개의 이미지들의 상기 ROI를 식별하도록 하는 명령들을 포함하는, 비-일시적 컴퓨터 판독가능 저장 매체.
제 21 항에 있어서,
상기 하나 이상의 프로세서들로 하여금, 상기 수신된 적어도 2개의 이미지들의 ROI를 식별하도록 하는 명령들은,
실행되어, 상기 하나 이상의 프로세서들로 하여금, 상기 수신된 적어도 2개의 이미지들의 상기 ROI를 자동적으로 식별하도록 하는 명령들을 포함하는, 비-일시적 컴퓨터 판독가능 저장 매체.
제 23 항에 있어서,
상기 하나 이상의 프로세서들로 하여금, 상기 수신된 적어도 2개의 이미지들의 ROI를 자동적으로 식별하도록 하는 명령들은,
실행되어, 상기 하나 이상의 프로세서들로 하여금, 적어도 하나의 픽셀의 결정된 디스패리티에 기초하여 상기 ROI를 자동적으로 식별하도록 하는 명령들을 포함하는, 비-일시적 컴퓨터 판독가능 저장 매체.
제 23 항에 있어서,
상기 하나 이상의 프로세서들로 하여금, 상기 수신된 적어도 2개의 이미지들의 ROI를 자동적으로 식별하도록 하는 명령들은,
모션 검출;
광학 흐름;
안면 인식;
오브젝트 인식;
컬러 히스토그램; 및
블러리니스로 이루어지는 군으로부터 선택된 하나 이상의 기술들에 기초하는 기술들을 포함하는, 비-일시적 컴퓨터 판독가능 저장 매체.
제 21 항에 있어서,
실행되어, 상기 하나 이상의 프로세서들로 하여금, 상기 식별된 ROI의 통상의 디스패리티를 결정하도록 하는 명령들과 함께 더 인코딩되는, 비-일시적 컴퓨터 판독가능 저장 매체.
제 26 항에 있어서,
상기 명령들은 컴퓨팅 디바이스로 하여금,
상기 식별된 ROI의 적어도 하나의 오브젝트가 디스플레이 표면 또는 근처에서 보이도록, 상기 ZDP를 결정하도록 하는, 비-일시적 컴퓨터 판독가능 저장 매체.
제 21 항에 있어서,
상기 ROI는 제 1 ROI이고, 상기 ZDP는 제 1 ZDP이고,
상기 명령들은 또한 컴퓨팅 디바이스로 하여금,
상기 수신된 적어도 2개의 이미지들의 제 2 ROI 를 식별하고;
상기 제 2 ROI의 적어도 일부가 상기 제 2 ZDP 또는 근처에서 디스플레이되도록, 식별된 상기 제 2 ROI 에 기초하여 상기 수신된 적어도 2개의 이미지들의 3D 표시를 위한 제 2 ZDP를 형성하기 위하여 상기 제 1 ZDP를 조정하도록 하는, 비-일시적 컴퓨터 판독가능 저장 매체.
제 21 항에 있어서,
상기 명령들은 또한 컴퓨팅 디바이스로 하여금,
상기 수신된 적어도 2개의 이미지들을 정렬 및/또는 크롭하도록 하는, 비-일시적 컴퓨터 판독가능 저장 매체.
입체 이미지 데이터를 프로세싱하기 위한 디바이스로서,
적어도 2개의 입체적으로 캡쳐된 이미지들을 수신하기 위한 수단;
상기 수신된 적어도 2개의 상기 이미지들의 관심 영역 (ROI) 을 식별하기 위한 수단으로서, 상기 ROI 는 상기 수신된 적어도 2개의 이미지들 중 어느 하나의 전체를 나타내지 않고 상기 수신된 적어도 2개의 이미지들 각각의 부분을 나타내는, 상기 식별하기 위한 수단;
상기 수신된 적어도 2개의 이미지들 사이의 픽셀 디스패리티를 결정하기 위한 수단으로서, 상기 픽셀 디스패리티는 상기 수신된 적어도 2개의 이미지들의 각 수신된 이미지 내의 상기 ROI의 표현들과 연관되고, 상기 픽셀 디스패리티는 대응하는 픽셀들 간의 컬러 전환에 적어도 부분적으로 기초하고, 상기 수신된 적어도 2개의 이미지들의 각 수신된 이미지 내의 상기 ROI의 표현들 간의 ROI 픽셀 디스패리티를 표현하기 위한 히스토그램을 생성하기 위한 수단을 포함하고, 상기 히스토그램은 평균 픽셀 디스패리티 값 또는 근처에 집중된 개별적인 픽셀 디스패리티 값들을 포함하는, 상기 픽셀 디스패리티를 결정하기 위한 수단;
상기 수신된 적어도 2개의 이미지들의 3차원 (3D) 표시를 위한 제로 디스패리티 평면 (ZDP) 을 식별하기 위한 수단; 및
상기 ROI의 적어도 일부가 상기 ZDP 또는 근처에서 디스플레이되도록, 상기 히스토그램에 포함된 상기 평균 픽셀 디스패리티 값에 일치하도록 상기 ZDP를 조정하기 위한 수단을 포함하는, 입체 이미지 데이터를 프로세싱하기 위한 디바이스.
제 30 항에 있어서,
상기 수신된 적어도 2개의 이미지들의 ROI를 식별하기 위한 수단은 상기 ROI를 식별하는 사용자 입력의 수신에 기초하여 상기 ROI 를 식별하는, 입체 이미지 데이터를 프로세싱하기 위한 디바이스.
제 30 항에 있어서,
상기 ROI를 식별하기 위한 수단은 상기 수신된 적어도 2개의 이미지들의 상기 ROI 를 자동적으로 식별하는, 입체 이미지 데이터를 프로세싱하기 위한 디바이스.
제 30 항에 있어서,
적어도 2개의 상기 이미지들의 적어도 하나의 픽셀의 디스패리티를 결정하기 위한 수단을 더 포함하고,
상기 수신된 적어도 2개의 이미지들의 상기 ROI를 식별하기 위한 수단은 상기 적어도 하나의 픽셀의 결정된 상기 디스패리티에 기초하여 상기 ROI 를 자동적으로 식별하는, 입체 이미지 데이터를 프로세싱하기 위한 디바이스.
제 30 항에 있어서,
상기 수신된 적어도 2개의 이미지들의 상기 ROI를 식별하기 위한 수단은,
모션 검출;
광학 흐름;
안면 인식;
오브젝트 인식;
컬러 히스토그램; 및
블러리니스로 이루어지는 군으로부터 선택된 하나 이상의 기술들에 기초하여 상기 ROI 를 자동적으로 식별하는, 입체 이미지 데이터를 프로세싱하기 위한 디바이스.
제 30 항에 있어서,
상기 식별된 ROI의 적어도 하나의 픽셀의 디스패리티를 결정하기 위한 수단; 및
상기 식별된 ROI의 적어도 하나의 픽셀의 결정된 디스패리티에 기초하여 상기 식별된 ROI의 통상의 디스패리티를 결정하기 위한 수단을 더 포함하는, 입체 이미지 데이터를 프로세싱하기 위한 디바이스.
제 30 항에 있어서,
상기 ZDP를 결정하기 위한 수단은, 상기 식별된 ROI의 적어도 하나의 오브젝트가 디스플레이 표면 또는 근처에서 보이도록, 상기 ZDP를 결정하는 수단을 포함하는, 입체 이미지 데이터를 프로세싱하기 위한 디바이스.
제 30 항에 있어서,
상기 ROI는 제 1 ROI이고, 상기 ZDP는 제 1 ZDP이고, 상기 ROI를 식별하기 위한 수단은 또한, 상기 수신된 적어도 2개의 상기 이미지들의 제 2 ROI 를 식별하고,
상기 ZDP를 결정하기 위한 수단은, 식별된 상기 제 2 ROI 에 기초하여 상기 수신된 적어도 2개의 상기 이미지들의 3D 표시를 위한 제 2 ZDP를 형성하기 위하여 상기 제 1 ZDP를 조정하기 위한 수단을 포함하는, 입체 이미지 데이터를 프로세싱하기 위한 디바이스.
제 30 항에 있어서,
상기 수신된 적어도 2개의 상기 이미지들을 정렬 및/또는 크롭하기 위한 수단을 더 포함하는, 입체 이미지 데이터를 프로세싱하기 위한 디바이스.
제 1 항에 있어서,
상기 히스토그램은 상기 개별적인 픽셀 디스패리티 값들의 가우스 분포 (Gaussian distribution) 를 나타내는, 입체 이미지 데이터를 프로세싱하는 방법.
제 6 항에 있어서,
상기 식별된 ROI의 통상의 디스패리티를 결정하는 단계는, 상기 히스토그램의 상기 평균 픽셀 디스패리티 값과 일치하는 상기 통상의 디스패리티를 결정하는 단계를 포함하는, 입체 이미지 데이터를 프로세싱하는 방법.