KR101903619B1

KR101903619B1 - 구조화된 스테레오

Info

Publication number: KR101903619B1
Application number: KR1020167026152A
Authority: KR
Inventors: 지브 아비브; 데이비드 스탠힐; 디로르 레이프; 로이 지스; 제프리 다노위츠; 이후드 페르트조브
Original assignee: 인텔 코포레이션
Priority date: 2014-04-24
Filing date: 2015-03-18
Publication date: 2018-11-22
Also published as: CN106256124B; US9589359B2; CN106256124A; EP3135033A1; WO2015163995A1; US20150310620A1; EP3135033B1; JP6450982B2; KR20160127057A; JP2017511468A; EP3135033A4

Abstract

장치, 시스템 및 방법이 본 명세서 내에 기술된다. 장치는 방사기와 복수의 센서들을 포함한다. 방사기 및 센서들은 방사기에 대해서 시스템 내에 비대칭적으로 배치된다. 방사기 및 센서들로부터의 데이터는 고정밀 깊이 맵 및 조밀 깊이 맵을 생성하는 데에 사용된다. 고정밀 깊이 맵 및 조밀 깊이 맵을 사용하여 고해상도 및 조밀 깊이 맵이 계산된다.

Description

구조화된 스테레오{STRUCTURED STEREO}

본 발명은 일반적으로 깊이 맵(depth map)에 관한 것이다. 더욱 구체적으로, 본 발명은 비대칭적으로 배치된(asymmetrically placed) 컴포넌트를 사용하여 깊이 맵을 생성하는 것에 관한 것이다.

컴퓨팅 시스템(computing system), 태블릿(tablet), 랩톱(laptop), 모바일 전화(mobile phone) 등과 같은 컴퓨팅 플랫폼은 이미지를 포착하는(capture) 데에 사용되는 다양한 촬상(imaging) 하드웨어 및 소프트웨어 모듈을 포함한다. (스테레오) 촬상에서, 두 개의 이미지 센서가 존재한다. 그 두 센서는, 예컨대, 깊이 센서인, 가시(visible) 적녹청(Red Green Blue: RGB) 스펙트럼 센서 또는 적외선(InfraRed: IR) 스펙트럼 센서일 수 있는데, 이는 가시 조명(visible illumination) 또는 IR 조명을 또한 포함할 수 있다.

도 1은 구조화된 스테레오(structured stereo)를 포함할 수 있는 컴퓨팅 디바이스의 블록도이고,
도 2는 방사기(emitter) 및 센서(sensor) 배열의 예이며,
도 3은 방사기 및 센서 배열의 다른 예이고,
도 4는 구조화된 스테레오를 위한 방법의 프로세스 흐름도이며,
도 5는 구조화된 스테레오를 위한 코드를 저장하는 유형적인(tangible) 비일시적(non-transitory) 컴퓨터 판독가능(computer-readable) 매체를 도시하는 블록도이다.
비슷한 컴포넌트 및 특징을 언급하기 위해 개시 및 도면 도처에서 동일한 숫자가 사용된다. 100 계열의 숫자는 본래 도 1에서 발견되는 특징을 나타내고, 200 계열의 숫자는 본래 도 2에서 발견되는 특징을 나타내며, 기타 등등이다.

센서의 쌍(pair)을 사용한 수동적 스테레오 촬상(passive stereo imaging)에서의 깊이 추출(depth extraction)은 시차(disparity)로 알려진, 두 카메라 모두에 의해 관측된 객체 패치(object patch)의 상대적 오프셋(relative offset)의 계산을 수반한다. 본 발명은 센서를 사용하여 기술되나, 임의의 이미지 포착 메커니즘이 사용될 수 있는데, 예를 들어 카메라, 이미지 센서, 또는 이들의 임의의 조합이다. 상대적 오프셋은 흔히 픽셀 좌표 내에서 계산된다. 이들 시차를 계산하기 위하여, 제1 센서로부터의 이미지 내의 픽셀은 제2 센서로부터의 다른 이미지 내의 대응하는 픽셀에 매칭된다(matched). 균일 영역(uniform region) 내에서는, 거의 불가능한 것은 아니더라도, 두 이미지 간에 픽셀을 매칭시키는 것은 힘들다. 본 명세서 내에서 사용되는 바와 같이, 균일 영역은 복수의 이미지 중 실질적으로 유사한 부분이며, 그에 따라 그 영역 내에서 회신된 깊이 맵은 여하튼 발견될 수 있더라도 열악한 품질을 갖는다. 따라서, 균일 영역은 스테레오 카메라 시스템에 의해 획득되는 깊이 맵의 품질을 상당히 저하시킨다.

대안적으로, 능동적 스테레오(active stereo)는 센서에 의해 관측된 객체 상에 비균일 텍스처(non-uniform texture)를 투영함(projecting)으로써 깊이 맵을 개선하는 방법인데, 이는 균일 영역을 비균일 텍스처로 채운다. 비균일 텍스처는 사용자가 센서에 의해 관측되는 객체 상에 투영된 패턴을 시각화할(visualize) 수 없도록 비균일 텍스처를 투영하는데 적외선 방사기를 사용함으로써 균일 영역을 매칭시키는 것을 상당히 더 쉽게 만든다. 따라서, 능동적 스테레오에서 사용되는 센서는 적외선 컷 센서(infrared cut sensor)이다. 능동적 스테레오에 의해 획득되는 깊이 맵의 품질이 수동적 스트레오에서보다 훨씬 더 낫지만, 시차와, 따라서 깊이 (Z) 정밀도는, 특히 방사기-센서 구성으로부터 1미터 넘게 떨어진 거리에 있는 객체에 대해, 거리에 따라 감소한다. 시차 및 Z 정밀도가 감소하는 거리는 시스템 특성에 달려 있다.

본 명세서 내에 기술된 실시예는, 방사기 및 센서를 포함하는 시스템 컴포넌트들의 비대칭적 배치를 사용하는 구조화된 스테레오를 가능하게 한다. 컴포넌트들 간의 광학 거리(optical distance)로부터의 깊이 맵에 대한 상충되는 효과가 제거될 수 있다. 실시예에서, 정밀 및 조밀 깊이 맵(accurate and dense depth map)을 획득하기 위해 능동적 스테레오 기법 및 구조화된 광 기법이 조합될 수 있다. 능동적 스테레오 기법은 환경적 조건에 더욱 강인하고(robust) 다른 기법과 비교할 때 더 높은 출력 해상도(resolution)를 갖는 깊이 맵을 제공한다. 구조화된 광(Structured Light: SL) 기법은 정밀한 것으로 여겨지며, 따라서 결과적인 깊이 맵에서의 정밀도를 보증한다.

이하의 설명 및 청구항에서, 용어 "커플링됨"(coupled) 및 "연결됨"(connected), 더불어 그 파생물이, 사용될 수 있다. 이 용어들은 서로에 대한 동의어로서 의도되지 않음이 이해되어야 한다. 오히려, 특정한 실시예에서, "연결됨"은 둘 이상의 구성요소가 서로 직접적인 물리적 또는 전기적 접촉이 됨을 나타내는 데에 사용될 수 있다. "커플링됨"은 둘 이상의 구성요소가 직접적인 물리적 또는 전기적 접촉이 됨을 의미할 수 있다. 그러나, "커플링됨"은 둘 이상의 구성요소가 서로 직접적인 접촉이 되지 않지만, 그래도 여전히 서로 협동하거나 상호작용함을 또한 의미할 수 있다.

몇몇 실시예는 하드웨어, 펌웨어 및 소프트웨어 중 하나 또는 이들의 조합으로 구현될 수 있다. 몇몇 실시예는 본 명세서 내에 기술된 동작을 수행하도록 컴퓨팅 플랫폼에 의해 판독되고 실행될 수 있는, 머신 판독가능 매체(machine-readable medium) 상에 저장된 명령어로서 또한 구성될 수 있다. 머신 판독가능 매체는 머신(machine), 가령 컴퓨터에 의해 판독가능한 형태로 정보를 저장하거나 송신하기 위한 임의의 메커니즘을 포함할 수 있다. 예컨대, 머신 판독가능 매체는, 무엇보다도, 판독 전용 메모리(Read Only Memory: ROM); 랜덤 액세스 메모리(Random Access Memory: RAM); 자기 디스크 저장 매체; 광학 저장 매체; 플래시 메모리 디바이스; 또는 전기적, 광학적, 청각적 또는 다른 형태의 전파 신호(propagated signal), 가령 반송파, 적외선 신호, 디지털 신호, 또는 신호를 송신하고/하거나 수신하는 인터페이스를 포함할 수 있다.

일 실시예는 한 구현 또는 예이다. "일 실시예", "하나의 실시예", "몇몇 실시예", "다양한 실시예" 또는 "다른 실시예"에 대한 명세서 내의 언급은 실시예와 관련하여 기술된 특정한 특징, 구조 또는 특성이 본 발명의 반드시 모든 실시예는 아니지만 적어도 몇몇 실시예 내에 포함됨을 의미한다. "일 실시예", "하나의 실시예" 또는 "몇몇 실시예"의 여러 출현은 반드시 모두 동일한 실시예를 나타내고 있는 것은 아니다. 일 실시예로부터의 구성요소 또는 양상은 다른 실시예의 구성요소 또는 양상과 조합될 수 있다.

본 명세서 내에 기술되고 예시된 모든 컴포넌트, 특징, 구조, 특성 등등이 특정한 실시예 또는 실시예들 내에 포함될 필요가 있는 것은 아니다. 만약 예컨대 컴포넌트, 특징, 구조 또는 특성이 포함"될 수 있다"거나 포함"되는 수가 있다"거나 포함"될 수가 있다"거나 포함"될 수도 있다"고 명세서가 진술하는 경우, 그 특정한 컴포넌트, 특징, 구조 또는 특성이 포함되도록 요구되는 것은 아니다. 만약 명세서 또는 청구항이 "한" 또는 "일" 구성요소를 언급하는 경우, 그것은 그 구성요소가 단 하나 있음을 의미하지 않는다. 만약 명세서 또는 청구항이 "추가적인" 구성요소를 언급하는 경우, 그것은 그 추가적인 구성요소가 하나보다 많이 있는 것을 배제하지 않는다.

특정한 구현을 참조하여 몇몇 실시예가 기술되었으나, 몇몇 실시예에 따라 다른 구현이 가능함에 유의하여야 한다. 추가적으로, 도면 내에 예시되고/되거나 본 명세서 내에 기술된 회로 요소 또는 다른 특징의 배열 및/또는 순서는 예시되고 기술된 특정한 방식으로 배열될 필요는 없다. 몇몇 실시예에 따라 많은 다른 배열이 가능하다.

도면에 도시된 각각의 시스템에서, 몇몇 경우의 구성요소들은 표현된 구성요소들이 상이하고/하거나 유사할 수 있음을 시사하기 위해 각각 동일한 참조 번호 또는 상이한 참조 번호를 가질 수 있다. 그러나, 구성요소는, 상이한 구현을 가지고 본 명세서 내에 도시되거나 기술된 시스템 중 일부 또는 전부와 함께 작동하도록 충분히 융통성이 있을 수 있다. 도면 내에 도시된 다양한 구성요소는 동일하거나 상이할 수 있다. 어느 것이 제1 구성요소로 지칭되고 어느 것이 제2 구성요소로 칭해지는지는 임의적이다.

도 1은 구조화된 스테레오를 포함할 수 있는 컴퓨팅 디바이스(100)의 블록도이다. 컴퓨팅 디바이스(100)는, 무엇보다도, 예컨대, 랩톱 컴퓨터, 데스크톱 컴퓨터, 태블릿 컴퓨터, 모바일 디바이스, 또는 서버일 수 있다. 컴퓨팅 디바이스(100)는 또한 게이밍 디바이스(gaming device)이거나 게이밍 시스템(gaming system)의 일부일 수 있다. 컴퓨팅 디바이스(100)는 저장된 명령어를 실행하도록 구성된 중앙 처리 유닛(Central Processing Unit: CPU)(102)은 물론, CPU(102)에 의해 실행가능한 명령어를 저장하는 메모리 디바이스(104)를 포함할 수 있다. CPU는 버스(bus)(106)에 의해 메모리 디바이스(104)에 커플링될 수 있다. 추가적으로, CPU(102)는 단일 코어 프로세서(single core processor), 다중 코어 프로세서(multi-core processor), 컴퓨팅 클러스터(computing cluster), 또는 임의의 개수의 다른 구성일 수 있다. 나아가, 컴퓨팅 디바이스(100)는 하나보다 많은 CPU(102)를 포함할 수 있다. CPU(102)에 의해 실행되는 명령어는 구조화된 스테레오를 구현하는 데에 사용될 수 있다. 메모리 디바이스(104)는 랜덤 액세스 메모리(Random Access Memory: RAM), 판독 전용 메모리(Read Only Memory: ROM), 플래시 메모리, 또는 임의의 다른 적합한 메모리 시스템을 포함할 수 있다. 예컨대, 메모리 디바이스(104)는 동적 랜덤 액세스 메모리(Dynamic Random Access Memory: DRAM)를 포함할 수 있다.

컴퓨팅 디바이스(100)는 그래픽 처리 유닛(Graphics Processing Unit: GPU)(108)을 또한 포함할 수 있다. 도시된 바와 같이, CPU(102)는 버스(106)를 통해 GPU(108)에 커플링될 수 있다. GPU(108)는 컴퓨팅 디바이스(100) 내에서 임의의 개수의 그래픽 동작을 수행하도록 구성될 수 있다. 예컨대, GPU(108)는 컴퓨팅 디바이스(100)의 사용자에게 디스플레이될 그래픽 이미지(graphics image), 그래픽 프레임(graphics frame), 비디오(video), 또는 유사한 것을 렌더링하거나(render) 조작하도록(manipulate) 구성될 수 있다. 몇몇 실시예에서, GPU(108)는 다수의 실행 유닛(110)을 포함하는데, 여기서 각각의 실행 유닛(110)은 특정 그래픽 작업을 수행하도록, 또는 특정 유형의 작업부하를 실행하도록 구성된다. 예컨대, GPU(108)는 비대칭적으로 배치된 센서에 기반하여 깊이 맵을 산출하는 실행 유닛을 포함할 수 있다.

컴퓨팅 디바이스(100)는 이미지 포착 디바이스(112)를 포함한다. 실시예에서, 이미지 포착 디바이스(112)는 카메라, 입체 카메라(stereoscopic camera), 적외선 센서, 또는 유사한 것이다. 이미지 포착 디바이스(112)는 이미지 정보를 포착하는 데에 사용된다. 컴퓨팅 디바이스(100)는 센서 허브(sensor hub)(114)를 또한 포함할 수 있다. 센서 허브(114)는 다양한 센서, 예를 들어 깊이 센서(depth sensor), 이미지 센서(image sensor), 적외선 센서(infrared sensor), X 레이 광자 집계 센서(X-Ray photon counting sensor) 또는 이들의 임의의 조합을 포함할 수 있다. 센서 허브(114)의 깊이 센서는 센서 허브(114)의 이미지 센서에 의해 포착된 이미지 정보와 연관된 깊이 정보를 포착하는 데에 사용될 수 있다. 몇몇 실시예에서, 센서 허브(114)는 이미지 포착 메커니즘(110)의 컴포넌트이다. 추가적으로, 실시예에서, 센서 허브(114)는 이미지 포착 메커니즘에 센서 데이터를 제공한다. 센서 허브(114)의 센서는 전하 결합 디바이스(Charge-Coupled Device: CCD) 이미지 센서, 상보형 금속-산화물-반도체(Complementary Metal-Oxide-Semiconductor: CMOS) 이미지 센서, 시스템 온 칩(System On Chip: SOC) 이미지 센서, 감광성 박막 트랜지스터를 구비한 이미지 센서, 또는 이들의 임의의 조합과 같은 이미지 센서를 포함할 수 있다. 몇몇 실시예에서, 센서 허브(114)는 임베딩된 서비스 허브(Embedded Services Hub)일 수 있거나 임베딩된 서비스 허브 내에 구현될 수 있다.

이미지 포착 메커니즘은 방사기(emitter)(116)를 또한 포함할 수 있다. 방사기는 객체(object) 상으로 비균일 텍스처를 투영하는 데에 사용될 수 있는 것인데 그것은 깊이 맵을 생성하기 위해 비대칭적으로 배치된 센서들과 함께 사용될 수 있다. 실시예에서, 깊이 맵은 픽셀들 간의 변이(variation)를 분석하는 것과 비대칭적으로 배치된 센서들로부터 원하는 해상도에 따라 픽셀들을 포착하는 것에 의해 생성된다.

CPU(102)는 컴퓨팅 디바이스(100)를 하나 이상의 입력/출력(Input/Output: I/O) 디바이스(120)에 연결하도록 구성된 I/O 디바이스 인터페이스(118)에 버스(106)를 통해 연결될 수 있다. I/O 디바이스(120)는, 예컨대, 키보드 및 포인팅 디바이스(pointing device)를 포함할 수 있는데, 포인팅 디바이스는 무엇보다도, 터치패드(touchpad) 또는 터치스크린(touchscreen)을 포함할 수 있다. I/O 디바이스(120)는 컴퓨팅 디바이스(100)의 내장형(built-in) 컴포넌트일 수 있거나, 컴퓨팅 디바이스(100)에 외부적으로 연결된 디바이스일 수 있다.

CPU(102)는 또한 컴퓨팅 디바이스(100)를 디스플레이 디바이스(124)에 연결하도록 구성된 디스플레이 인터페이스(122)에 버스(106)를 통해 링크될(linked) 수 있다. 디스플레이 디바이스(124)는 컴퓨팅 디바이스(100)의 내장형 컴포넌트인 디스플레이 스크린을 포함할 수 있다. 디스플레이 디바이스(124)는, 무엇보다도, 컴퓨터 모니터, 텔레비전 또는 프로젝터(projector)를 또한 포함할 수 있는데, 그것은 컴퓨팅 디바이스(100)에 외부적으로 연결된 것이다.

컴퓨팅 디바이스는 저장 디바이스(126)를 또한 포함한다. 저장 디바이스(126)는 하드 드라이브(hard drive), 광학 드라이브(optical drive), 썸드라이브(thumbdrive), 드라이브들의 어레이(array), 또는 이들의 임의의 조합과 같은 물리적 메모리이다. 저장 디바이스(126)는 원격 저장 드라이브를 또한 포함할 수 있다. 저장 디바이스(126)는 애플리케이션(128)을 또한 포함할 수 있다. 애플리케이션(128)은 제스처 인식(gesture recognition)과 같은 인간 컴퓨터 상호작용 애플리케이션일 수 있다. 전통적인 RGB 이미지는 충분히 이미지를 분석하고 제스처, 신체 자세(body pose) 또는 얼굴 표정(facial expression)을 인식하기에 충분한 데이터를 제공하지 않는바, 인간 컴퓨터 상호작용 애플리케이션은 객체의 깊이 이미지로부터 이득을 본다. 컴퓨팅 디바이스(100)는 센서 허브 엔진(sensor hub engine)(130)을 또한 포함할 수 있다. 몇몇 경우에, 센서 허브 엔진은 컴퓨팅 디바이스(100) 내의 센서 허브(114)의 센서의 기능을 가능하게 하는 소프트웨어를 포함한다. 센서 허브 엔진(130)은 센서 허브(114)와 유사한 센서를 또한 포함할 수 있다.

컴퓨팅 디바이스(100)는 컴퓨팅 디바이스(100)를 버스(106)를 통해 네트워크(134)에 연결하도록 구성될 수 있는 네트워크 인터페이스 제어기(Network Interface Controller: NIC)(132)를 또한 포함할 수 있다. 네트워크(134)는, 무엇보다도, 광역 네트워크(Wide Area Network: WAN), 로컬 영역 네트워크(Local Area Network: LAN), 또는 인터넷일 수 있다.

도 1의 블록도는 컴퓨팅 디바이스(100)가 도 1에 도시된 컴포넌트 전부를 포함할 것임을 나타내도록 의도되지 않는다. 또한, 특정 구현의 세부사항에 따라, 컴퓨팅 디바이스(100)는 도 1에 도시되지 않은 임의의 개수의 추가적인 컴포넌트를 포함할 수 있다.

위에서 지적된 바와 같이, 입체적 촬상(stereoscopic imaging)에서 사용되는 컴포넌트들은 비대칭적으로 배치된다. 그 컴포넌트들은 복수의 센서들과 복수의 방사기들을 포함할 수 있다. 그러한 배치를 통해, 수동적 및 능동적 스테레오 깊이 카메라 시스템 양자 모두에서의 광학 거리의 어떤 상충되는 효과도 극복될 수 있다.

광학 거리는 또한 기선 거리(baseline distance)로 알려질 수 있다. 몇몇 경우에, 광학 거리는 두 개의 센서 간의 거리이다. 광학 거리는 또한 센서와 방사기 간의 거리일 수 있다. 광학 거리는 능동적 스트레오 시스템 및 수동적 스테레오 시스템 양자 모두인 스테레오 시스템의 성능에 대한 다양한 상충되는 효과를 갖는다. 우선, 광학 거리가 증가함에 따라, 두 개의 센서로부터의 이미지들 간에 매칭을 하는 것은 폐색(occlusion) 때문에 더 어렵게 된다. 가변적인 깊이를 갖는 객체는 어떤 매칭 영역이 있더라도 거의 남기지 않으면서 그 센서들 양자에 의해 상이하게 보일 것이기 때문에 매칭은 또한 더 어려워진다. 매칭은 또한 스테레오 대응(stereo correspondence)으로 알려질 수 있고, 상이한 관점(point of view)으로부터 취해진, 동일한 장면(scene)의 둘 이상의 이미지를 사용하여 수행될 수 있다. 다른 이미지 내에서 또한 발견되거나 식별되는 지점들의 세트가 하나의 이미지 내에서 발견된다. 몇몇 경우에, 매칭은 각각의 이미지 내의 특징을 사용하여 행해진다. 따라서, 매칭 또는 스테레오 대응에서, 하나의 이미지 내에서 발견된 특징은 또한 다른 이미지 내에서 발견되거나 식별된다. 몇몇 경우에, 복수의 이미지는 상이한 포지션(position)들에서 단일 센서를 사용하여 획득된다. 복수의 이미지는 상이한 시점(point in time)들에서 단일 센서를 사용하여 획득될 수 있다. 또, 매칭을 위한 이미지들을 획득하는 데에 여러 센서가 사용될 수 있다. 장면 내의 객체는 또한 하나 이상의 센서에 대해 일반적인 움직임을 하고 있을 수 있다.

두 번째 상충되는 효과는, 정확한 픽셀 해상도 시차(pixel resolution disparity)가 주어진다면 깊이 측정은 더 정밀하다는 것이다. 각각의 센서로부터 이미지들이 샘플링되므로(sampled), 시차는 픽셀 정밀도(pixel accuracy)까지만 측정될 수 있다. 그러므로, 시차 측정에서 절반의 픽셀 오차라는 가정이 있다. 시차가 깊이로 변환되는 경우, 이 오차는 광학 거리가 증가함에 따라 감소된다.

예컨대, 한 쌍의 핀홀(pinhole) 및 완전히 정렬된(fully aligned) 이미지 센서들을 고려하자. 각각의 센서의 초점 길이(focal length)는 1 픽셀이고, 두 센서 모두의 픽셀 크기는 1 픽셀이라고 가정하자. 또한, 좌측 센서의 광학 중심(optical center)은 세계 좌표계(world coordinate system)의 원점에 있다:

우측 카메라의 광학 중심은:

지점

를 고려하자. 좌측 센서에 의해 관측됨에 따라, 그 지점은 다음과 같이 맵핑된다(mapped):

우측 센서에 의해 관측됨에 따라, 그 지점은 다음과 같이 맵핑된다:

좌측 및 우측 센서에서의 양 지점 모두의 X 좌표가 주어지면, 깊이 값 (Z)가 추출될 수 있다. 특히, 깊이는:

관측된 샘플링된 픽셀 값들은

과

이고, 정밀한 깊이 값이 아님에 유의하시오. 양 픽셀 및

과

포지션에서의 조합된 오차

는 계산된 값 내에서, 오차 E를 유발할 것이다.

에 대한

의 의존성(dependence)을 계산하기 위하여 그 차이를 취한다:

따라서, Z의 정밀도는 광학 거리에 따라 역선형으로(inverse-linearly) 증가한다. 그러나, 광학 거리를 증가시키는 것은 매칭 프로세스를 악화시키며(degrade) 따라서 오차의 가능성(likelihood)을 증가시킨다.

객체가 기울어진 평면(tilted plane)이라고 가정하자.

에 대한 객체 좌표와, 크기가 K 곱하기 K(K by K)인 윈도우(window)가 매칭을 위해 사용된다. 매칭이 성공적이기 위해서, 좌측 및 우측 카메라 내의 두 윈도우 모두 흡사하게 나타나야 한다. 그것들은 서브픽셀(sub-pixel) 샘플링 및 잡음으로 인해 결코 틀림없이 흡사하지는 않을 것이다. 이것은

가 증가함에 따라(여기서

는 객체의 깊이 경사(depth slope)임), 좌측 및 우측 윈도우 간의 비유사성(dissimilarity)이 증가하고 매칭 프로세스를 악화시킬 것이기 때문이다.

가 윈도우의 좌측 경계,

이고,

가 우측 경계,

라고 하자.

좌측(l) 및 우측(r) 카메라 양자 모두에서의 이 지점들의 좌표들은 다음과 같다:

두 지점,

와

간의 시차는 다음과 같다:

가 1(45도로 기울어진 평면)

가 5(작은 윈도우)라고 가정하자. 픽셀 크기는 0.0001cm로서, 1m에서 픽셀 스케일은 1mm로 되고, d는 1cm이며 우리는 1 미터 거리에서 우측 윈도우가 좌측 윈도우에 비해 (d*(0.5/10000))/0.0001 0.5 픽셀만큼 왜곡됨(distorted)을 본다. 광학 거리를 증가시키는 것은 이 왜곡을 증가시킬 것이고 매칭 정밀도를 악화시킬 것이다. 이것은 기울어진 객체의 상대적 변형(relative deformation)을 초래하며 광학 중심이 증가함에 따라 증가된다. 그러나, 입체적 촬상에서 사용되는 컴포넌트들을 비대칭적으로 배치함으로써, 광학 중심이 증가함에 따라 기울어진 객체의 재형성(reformation) 없이 정밀한 깊이가 획득된다.

도 2는 방사기 및 센서 배열(200)의 일례이다. 배열(200)에서, 방사기(200)는 방사기(202) 및 우측 센서(206) 간의 거리와 비교할 때 좌측 센서(204)에 더 가까이 배치된다. 도 2에서, 방사기(202), 좌측 센서(204) 및 우측 센서(206)는 다양한 객체 및 특징을 포함할 수 있는 영역(208)으로부터 정보를 포착하는 데에 사용된다. 좌측 센서(204) 및 방사기(202)는 희소(sparse)이고 낮은 정밀도(low accuracy)의 것일 수 있는 깊이 맵을 생성하는 데에 사용될 수 있다. 보통, 깊이 맵은 특정한 시각(viewpoint)으로부터 이미지 내의 객체의 표면의 거리를 전달하기 위한 정보를 포함하는 이미지이다. 그러나, 이미지 내의 각각의 지점에 대한 단일 데이터 값을 단일 센서가 제공한다. 단일 데이터 값은 완전한 깊이 맵을 도출하는 데에 충분한 정보를 제공하지 않을 수 있다. 방사기(202) 및 좌측 센서에 의해 제공되는 깊이 맵은 이미지의 특정한 특징, 예를 들어 이미지의 에지(edge) 또는 이미지 내의 돌출 객체(protruding object)에서 정밀하다는 점에서 희소인 것으로 간주된다. 몇몇 경우에, 희소 깊이 맵(sparse depth map)은 두 센서 간의 스테레오 대응을 행함으로써 발견된다.

좌측 센서(204) 및 방사기(202)에 의해 제공되는 깊이 맵이 희소 깊이 맵이므로, 그것은 깊이 정보를 사용하는 애플리케이션에 필요한 정밀도를 제공하지 않는다. 따라서, 희소 깊이 맵은 최종 깊이 맵(final depth map)의 초기 근사(initial approximation)로서 사용된다. 좌측 센서(204)를 방사기(202)에 가깝게 배치함으로써, 좌측 센서(204)는 고정밀 매칭(high accuracy matching)을 가능하게 하도록 방사기로의 짧은 광학 거리를 갖는다. 방사기(202) 및 센서 쌍은 좌측 센서에 의해 포착된 이미지를 주어진 거리에서 방사기에 의해 투영된 알려진 패턴으로 매칭시키는 데에 사용될 수 있다. 이 기법은 위에서 기술된 바와 같은 구조화된 광 접근법과 유사하게, 희소 깊이 맵을 포착하는 데에 사용된다.

우측 센서는 이미지를 획득하는 데에 또한 사용된다. 우측 센서로부터의 이미지는 좌측 센서(204) 및 방사기(202)로부터 획득된 희소 깊이 맵을 정제하는(refine) 데에 사용된다. 몇몇 경우에, 깊이 맵을 정제하기 위해 우측 및 좌측 센서 데이터 간의 매칭이 수행된다. 추가적으로, 몇몇 경우에, 깊이 맵을 정제하기 위해 알려진 패턴과 우측 센서 간의 구조화된 광이 사용된다. 정제 후에 획득된 깊이 맵은 큰 광학 거리(large optical distance)로 인해 더 높은 정밀도의 것이며 큰 광학 거리에서의 매칭 프로세스는 그 매칭이 제1 단계에서 발견된 시차에 가까운 픽셀에 대해 수행되도록 정제일 뿐이다.

도 3은 방사기 및 센서 배열(300)의 일례이다. 좌측 센서(302)는 우측 센서(304)에 가깝다. 방사기(306)는 좌측 센서(302) 및 우측 센서(304) 양자 모두의 우측 멀리에 있다. 도 3에서, 방사기(306), 좌측 센서(302) 및 우측 센서(304)는 다양한 객체 및 특징을 포함할 수 있는 영역(308)으로부터 정보를 포착하는 데에 사용된다. 좌측 센서(302) 및 우측 센서(304)를 서로 가깝게 함으로써, 저정밀이나 조밀한 깊이 맵이 제공된다. 구조화된 광을 통한 우측 센서(304) 및 먼 방사기(306) 간의 매칭은 픽셀들 중 몇몇을 위해 깊이 맵의 정제를 제공한다. 몇몇 경우에, 방사기에 의해 투영된 이미지의 해상도가 센서의 해상도보다 작기 때문에, 픽셀들 전부에 대해 측정이 정제되지는 않는다. 실시예에서, 깊이 맵을 발견하기 위해 센서들과 방사기 간의 코딩된 구조화된 광 대응(coded structured light correspondence)이 사용될 수 있다.

"고해상도 및 조밀" 깊이 맵을 제공하기 위해 "저해상도 - 고정밀" 깊이 맵 및 "저정밀 조밀" 초기 맵의 보간(interpolation)이 적용될 수 있다. 몇몇 경우에, 보간은 스마트 보간(smart interpolation)으로 간주될 수 있다. 실시예에서, 저해상도 고정밀 깊이 맵은 도 2에 기술된 바와 같이 획득될 수 있다. 실시예에서, "저정밀 조밀" 깊이 맵은 도 3에 기술된 바와 같이 획득될 수 있다. 또한, 실시예에서, 두 개의 상이한 패턴이 방사기에 의해 방사되었다. 제1 패턴은 능동적 스테레오 사용에 적합한 낮은 듀티 사이클(duty cycle)을 가질 수 있다. 제2 패턴은 구조화된 광 또는 코딩된 광 기법으로써 서브픽셀 정제(sub-pixel refinement)를 위해 사용되는 고주파수 패턴일 수 있다. 제2 패턴이 능동적 스테레오로부터의 초기 결과 주위의 정제를 위해서만 사용되므로, 어떤 다중 패턴 또는 움직임 문제도 없다. 몇몇 경우에, 그 패턴들을 방사하는 데에 두 개의 방사기가 사용된다. 제1 방사기는 객체가 상대적으로 근거리 범위(short range)에 있을 때 구조화된 광 기법을 위해 사용될 수 있고, 제2 방사기는 객체가 상대적으로 장거리 범위(long range)에 있을 때 구조화된 광 기법을 위해 사용될 수 있다.

도 4는 구조화된 스테레오를 위한 방법(400)의 프로세스 흐름도이다. 블록(402)에서, 낮은 정밀도의 희소 깊이 맵이 획득된다. 몇몇 경우에, 희소 깊이 맵은 두 개의 센서와 함께 방사기를 사용하여 생성될 수 있는데, 방사기는 광학 거리를 변화시키기 위해서 제1 센서에 더 가깝게 위치된다. 이 방식으로, 광학 거리의 상충되는 효과가 결과적인 깊이 맵에 영향을 미치지 않을 것이다. 몇몇 경우에, 고정밀 깊이 맵은 도 2에 기술된 바와 같은 희소 깊이 맵이다. 블록(404)에서, 낮은 정밀도의 희소 깊이 맵을 초기 근사로서 사용하여 고정밀 깊이 맵이 생성된다. 몇몇 경우에, 고정밀 깊이 맵은 센서와 방사기 간의 구조화된 광 기법을 사용하여 낮은 정밀도의 희소 깊이 맵을 정제함으로써 생성된다. 추가적으로, 고정밀 깊이 맵은 적어도 두 개의 센서들 간의 매칭 기법 및 센서와 방사기 간의 구조화된 광 기법을 사용하여 생성될 수 있는데, 방사기는 낮은 듀티 사이클을 갖는 제1 패턴을 투영하고, 방사기는 조밀 저정밀 깊이 맵의 서브픽셀 정제를 위한 제2 패턴을 투영한다.

블록(406)에서, 조밀 저정밀 깊이 맵이 획득된다. 실시예에서, 서로에 근접이 되어 두어진 두 개의 센서가 조밀 깊이 맵을 생성하는 데에 사용될 수 있다. 몇몇 경우에, 조밀 깊이 맵은 도 3에 기술된 바와 같이 생성된다. 두 개의 센서로부터의 깊이 맵은 구조화된 광 기법을 사용하여 정제될 수 있다. 블록(408)에서, 조밀 고해상도 깊이 맵은 고정밀 깊이 맵 및 조밀 저정밀 깊이 맵을 사용하여 계산된다. 몇몇 경우에, 고정밀 깊이 맵 및 조밀 깊이 맵은 고해상도 및 조밀 깊이 맵을 계산하기 위해 보간된다. 추가적으로, 조밀 고해상도 깊이 맵은 능동적 스테레오 기법을 사용하여 고정밀 깊이 맵을 획득하고 구조화된 광 기법을 사용하여 조밀 저정밀 깊이 맵을 획득함으로써 계산될 수 있다. 결과적으로, 본 기법은 혼성 능동적 스테레오 및 구조화된 광 해법(hybrid active stereo and structured light solution)으로 간주될 수 있다.

도 5는 구조화된 스테레오를 위한 코드를 저장하는 유형적인 비일시적 컴퓨터 판독가능 매체(500)를 도시하는 블록도이다. 유형적인 비일시적 컴퓨터 판독가능 매체(500)는 컴퓨터 버스(504) 상에서 프로세서(502)에 의해 액세스될 수 있다. 나아가, 유형적인 비일시적 컴퓨터 판독가능 매체(500)는 본 명세서에 기술된 방법을 수행하도록 프로세서(502)에 지시하도록 구성된 코드를 포함할 수 있다.

본 명세서 내에 논의된 다양한 소프트웨어 컴포넌트는 도 5에 나타내어진 바와 같이, 하나 이상의 유형적인 비일시적 컴퓨터 판독가능 매체(500) 상에 저장될 수 있다. 예컨대, 희소 맵핑 모듈(sparse mapping module)(506)은 비대칭적으로 배치된 센서들로써 희소 깊이 맵을 생성하도록 구성될 수 있다. 희소 맵핑 모듈(506)에 의해 생성된 깊이 맵은 또한 고정밀 깊이 맵일 수 있다. 블록(508)에서, 조밀 맵핑 모듈(dense mapping module)은 비대칭적으로 배치된 센서들로써 조밀 깊이 맵을 생성하도록 구성될 수 있다. 그러한 시나리오에서, 도 3에 예시된 바와 같이, 방사기가 두 개의 센서로부터 멀리 배치될 수 있다. 조밀 맵핑 모듈(508)에 의해 생성된 깊이 맵은 또한 저해상도 깊이 맵일 수 있다. 블록(510)에서, 보간 모듈(interpolation module)은 매우 정밀하고도 조밀하기도 한 깊이 맵을 획득하기 위해 희소 맵핑 모듈(506) 및 조밀 맵핑 모듈(508)로부터의 깊이 맵들을 보간할 수 있다.

도 5의 블록도는 유형적인 비일시적 컴퓨터 판독가능 매체(500)가 도 5에 도시된 컴포넌트들 전부를 포함할 것임을 나타내도록 의도되지 않는다. 또한, 특정 구현의 세부사항에 따라, 유형적인 비일시적 컴퓨터 판독가능 매체(500)는 도 5에 도시되지 않은 임의의 개수의 추가적인 컴포넌트를 포함할 수 있다.

실시예에서, 본 발명은 두 개의 깊이 추정 기법을 조합한다. 능동적 스테레오 기법을 사용함으로써, 깊이 맵은 환경적 조건에 더 강인하고 더 높은 출력 해상도를 갖는다. 또한 구조화된 광 기법을 사용함으로써, 정밀한 것으로 여겨지는 깊이 맵이 획득된다. 능동적 스테레오는 방사기 및 복수의 이미지 포착 메커니즘, 예를 들어 카메라 또는 센서를 사용할 수 있다. 제1 서브시스템은 적어도 방사기 및 이미지 포착 메커니즘을 포함하고, 고정밀 매칭을 가능하게 하기 위해 컴포넌트들 간에 짧은 광학 거리(short optical distance)가 있도록 배치된 컴포넌트들을 갖는다. 제2 서브시스템은 적어도 방사기 및 이미지 포착 메커니즘을 포함하고, 고정밀 깊이 (Z) 계산을 가능하게 하기 위해 긴 광학 거리(long optical distance)가 있도록 배치된 컴포넌트들을 갖는다. 몇몇 경우에, 방사기 주위의 이미지 포착 메커니즘의 비대칭적 배치는 광학 거리에서의 변이를 초래한다. 더욱이, 현재의 포착된 이미지를 주어진 거리에서 투영된 알려진 패턴으로 매칭시키기 위해 방사기-이미지 포착 메커니즘 쌍이 사용될 수 있다.

예 1

구조화된 스테레오(structured stereo)를 위한 장치가 본 명세서 내에 기술된다. 위 장치는 방사기(emitter)와, 복수의 센서들을 포함한다. 위 센서들은 위 방사기에 대해서 비대칭적으로 배치된다(asymmetrically placed).

위 방사기 및 위 복수의 센서들은 희소 깊이 맵(sparse depth map)을 생성하는 데에 사용되는 데이터를 획득할 수 있고, 위 희소 깊이 맵은 정밀 깊이 맵(accurate depth map)을 획득하기 위해 추가로 정제될(refined) 수 있다. 위 방사기 및 위 복수의 센서들은 희소 깊이 맵을 생성하는 데에 사용될 수 있는 데이터를 또한 획득할 수 있는데, 위 희소 깊이 맵은 위 방사기 및 위 복수의 센서들 중의 센서 간의 작은 광학 거리(small optical distance)의 결과일 수 있다. 또한, 위 방사기 및 위 복수의 센서들은 정밀 깊이 맵을 획득하기 위해 추가로 정제될 수 있는 희소 깊이 맵을 생성하는 데에 사용될 수 있는 데이터를 획득할 수 있되, 위 정제는 위 방사기 및 위 복수의 센서들 중의 센서 간의 큰 광학 거리(large optical distance)의 결과로서 획득될 수 있다. 또한, 위 방사기 및 위 복수의 센서들은 낮은 정밀도를 갖는 조밀 깊이 맵(dense depth map)을 생성하는 데에 사용될 수 있는 데이터를 획득할 수 있다. 위 방사기 및 위 복수의 센서들은 낮은 정밀도를 갖는 조밀 깊이 맵을 생성하는 데에 사용될 수 있는 데이터를 획득할 수 있되, 위 조밀 깊이 맵은 위 방사기 및 위 복수의 센서들 중의 센서 간의 큰 광학 거리의 결과일 수 있다. 위 방사기 및 위 복수의 센서들은 낮은 정밀도를 갖는 조밀 깊이 맵을 생성하는 데에 사용될 수 있는 데이터를 획득할 수 있되, 위 조밀 깊이 맵은 위 방사기 및 위 복수의 센서들 중의 센서 간의 작은 광학 거리의 결과로부터의 데이터를 사용하여 정제될 수 있다. 또한, 위 방사기 및 위 복수의 센서들은 높은 해상도를 갖는 조밀 깊이 맵을 획득하기 위해 구조화된 광 기법(structured light technique)과 조합된 능동적 스테레오 기법(active stereo technique)에서 사용될 수 있다. 위 방사기 및 위 복수의 센서들 간의 광학 거리는 생성될 깊이 맵의 유형에 응답하여 조절될 수 있다. 위 장치는 제2 방사기를 포함할 수 있다.

예 2

구조화된 스테레오를 위한 시스템이 본 명세서 내에 기술된다. 위 시스템은 방사기와, 복수의 센서들과, 메모리와, 프로세서를 포함한다. 위 방사기 및 위 센서들은 위 방사기에 대해서 위 시스템 내에 비대칭적으로 배치된다. 위 메모리는 명령어를 저장하고 위 방사기 및 복수의 센서들에 통신가능하게 커플링된다(communicatively coupled). 위 프로세서는 위 메모리에 통신가능하게 커플링된다. 위 프로세서가 상기 명령어를 실행할 경우, 위 프로세서는 고정밀 깊이 맵(high accuracy depth map)을 생성하고 조밀 깊이 맵을 생성한다. 위 프로세서는 또한 위 고정밀 깊이 맵 및 위 조밀 깊이 맵을 사용하여 고해상도 및 조밀 깊이 맵(high resolution and dense depth map)을 계산한다.

위 방사기는 위 복수의 센서들 중의 적어도 두 개의 센서 사이에 있을 수 있고, 위 방사기와 제1 센서 간의 거리는 위 방사기와 제2 센서 간의 거리보다 더 짧을 수 있다. 위 복수의 센서들 중의 제1 센서와 제2 센서 간의 거리는, 위 제1 센서 및 위 제2 센서가 서로 가까이 있고 위 제1 센서 및 위 제2 센서가 위 방사기로부터 멀리 있도록, 위 제1 센서와 위 방사기 및 위 제2 센서와 위 방사기 간의 거리보다 더 짧을 수 있다. 또한, 위 프로세서는 낮은 정밀도의 희소 깊이 맵을 획득하는 것과 위 고정밀 깊이 맵을 획득하기 위해 위 복수의 센서들 간을 매칭시킴으로써 낮은 정밀도의 위 희소 깊이 맵을 정제하는 것에 의해 위 고정밀 깊이 맵을 생성할 수 있다. 추가적으로, 위 프로세서는 낮은 정밀도의 희소 깊이 맵을 획득하는 것과, 위 복수의 센서들 간을 매칭시킴으로써 낮은 정밀도의 위 희소 깊이 맵을 정제하는 것에 의해 위 고정밀 깊이 맵을 생성할 수 있되, 매칭될 센서로부터의 이미지는 위 방사기로부터의 패턴 및 위 센서 간의 구조화된 광(structured light)을 사용하여 획득될 수 있다. 위 매칭은 낮은 정밀도의 위 희소 깊이 맵을 획득하는 경우 발견되는 시차(disparity)에 가까운 픽셀에 대해 수행될 수 있다. 또한, 위 프로세서는 위 복수의 센서들 중의 제1 센서 및 제2 센서로부터의 데이터로써 위 조밀 깊이 맵을 생성할 수 있되, 위 제1 센서와 위 제2 센서 간의 거리는, 위 제1 센서 및 위 제2 센서가 서로 가까이 있고 위 제1 센서 및 위 제2 센서가 위 방사기로부터 멀리 있도록, 위 제1 센서와 위 방사기 및 위 제2 센서와 위 방사기 간의 거리보다 더 짧을 수 있다. 또, 위 프로세서는 위 복수의 센서들 중의 제1 센서 및 제2 센서로부터의 데이터로써 위 조밀 깊이 맵을 생성하고, 위 제1 센서 또는 위 제2 센서 및 위 방사기 간을 매칭시킴으로써 위 조밀 깊이 맵을 정제할 수 있되, 위 제1 센서와 위 제2 센서 간의 거리는, 위 제1 센서 및 위 제2 센서가 서로 가까이 있고 위 제1 센서 및 위 제2 센서가 위 방사기로부터 멀리 있도록, 위 제1 센서와 위 방사기 및 위 제2 센서와 위 방사기 간의 거리보다 더 짧을 수 있다. 위 방사기는 능동적 스테레오를 위해 낮은 듀티 사이클(low duty cycle)을 갖는 제1 패턴을, 그리고 구조화된 광으로써 정제를 위해 고주파수(high frequency)를 갖는 제2 패턴을 투영할 수 있다. 제2 방사기에 있어서, 위 방사기는 능동적 스테레오를 위해 낮은 듀티 사이클을 갖는 제1 패턴을 투영할 수 있고 위 제2 방사기는 구조화된 광으로써 정제를 위해 고주파수를 갖는 제2 패턴을 투영할 수 있다. 위 복수의 센서들은 이미지 센서들일 수 있다. 또한, 위 시스템은 카메라의 컴포넌트일 수 있다.

예 3

혼성 능동적 스테레오 및 구조화된 광(hybrid active stereo and structured light)을 위한 방법이 본 명세서 내에 기술된다. 위 방법은 낮은 정밀도의 희소 깊이 맵을 획득하는 단계와, 초기 근사(initial approximation)로서 낮은 정밀도의 위 희소 깊이 맵을 사용하여 고정밀 깊이 맵을 생성하는 단계를 포함한다. 위 방법은 조밀 저정밀 깊이 맵(dense low accuracy depth map)을 획득하는 단계와, 위 고정밀 깊이 맵 및 위 조밀 저정밀 깊이 맵을 사용하여 조밀 고해상도 깊이 맵(dense high resolution depth map)을 계산하는 단계를 또한 포함한다.

낮은 정밀도의 위 희소 깊이 맵은 센서 및 방사기로부터의 데이터를 사용하여 획득될 수 있다. 위 고정밀 깊이 맵은 센서와 방사기 간의 구조화된 광 기법을 사용하여 낮은 정밀도의 위 희소 깊이 맵을 정제하는 것에 의해 생성될 수 있다. 추가적으로, 위 고정밀 깊이 맵은 적어도 두 개의 센서 간의 매칭 기법 및 센서와 방사기 간의 구조화된 광 기법을 사용하여 생성될 수 있다. 위 조밀 저정밀 깊이 맵은 적어도 두 개의 센서를 사용하여 획득될 수 있다. 또한, 위 조밀 저정밀 깊이 맵은 적어도 두 개의 센서를 사용하여, 그리고 위 적어도 두 개의 센서로부터의 데이터를 방사기를 사용하여 정제하여 획득될 수 있다. 또, 위 고정밀 깊이 맵은 적어도 두 개의 센서 간의 매칭 기법 및 센서와 방사기 간의 구조화된 광 기법을 사용하여 생성될 수 있되, 위 방사기는 낮은 듀티 사이클을 갖는 제1 패턴을 투영하고, 위 방사기는 위 조밀 저정밀 깊이 맵의 서브픽셀 정제(sub-pixel refinement)를 위한 제2 패턴을 투영한다. 위 방법은 낮은 정밀도의 위 희소 깊이 맵 및 조밀 저정밀 깊이 맵을 획득하는 데에 사용되는 방사기 및 센서의 비대칭적 배치(asymmetric placement)를 또한 포함할 수 있다. 위 조밀 고해상도 깊이 맵은 능동적 스테레오 기법을 사용하여 위 고정밀 깊이 맵을 그리고 구조화된 광 기법을 사용하여 위 조밀 저정밀 깊이 맵을 획득함으로써 계산될 수 있다. 추가적으로, 인간 컴퓨터 상호작용 애플리케이션(human computer interaction application)을 위해 조밀 고해상도 깊이 맵이 계산될 수 있다.

예 4

코드(code)를 포함하는 유형적인 비일시적 컴퓨터 판독가능 매체(tangible, non-transitory, computer-readable medium)가 본 명세서 내에 기술된다. 위 코드는, 고정밀 깊이 맵을 생성하고 조밀 깊이 맵을 생성하도록 프로세서에 지시한다(direct). 위 코드는 위 고정밀 깊이 맵 및 위 조밀 깊이 맵을 사용하여 고해상도 및 조밀 깊이 맵을 계산하도록 프로세서에 또한 지시한다.

위 고정밀 깊이 맵은 센서 및 방사기로부터의 데이터를 사용하여 낮은 정밀도의 희소 깊이 맵을 획득하고 위 희소 깊이 맵을 정제함으로써 생성될 수 있다. 또한, 위 고정밀 깊이 맵은 센서와 방사기 간의 구조화된 광 기법을 사용하여 희소 깊이 맵을 정제함으로써 생성될 수 있다. 위 고정밀 깊이 맵은 적어도 두 개의 센서 간의 매칭 기법 및 센서와 방사기 간의 구조화된 광 기법을 사용하여 또한 생성될 수 있다. 위 조밀 깊이 맵은 적어도 두 개의 센서를 사용하여 생성될 수 있다. 또한, 위 조밀 깊이 맵은 적어도 두 개의 센서를 사용하여, 그리고 위 적어도 두 개의 센서로부터의 데이터를 방사기를 사용하여 정제하여 생성될 수 있다. 또한, 위 고정밀 깊이 맵은 적어도 두 개의 센서 간의 매칭 기법 및 센서와 방사기 간의 구조화된 광 기법을 사용하여 생성될 수 있되, 위 방사기는 낮은 듀티 사이클을 갖는 제1 패턴을 투영하고, 위 방사기는 위 조밀 깊이 맵의 서브픽셀 정제를 위한 제2 패턴을 투영한다. 위 고정밀 깊이 맵 및 위 조밀 깊이 맵을 생성하기 위해 데이터를 획득하는 데에 방사기 및 센서의 비대칭적 배치가 사용될 수 있다. 위 고해상도 및 조밀 깊이 맵은 능동적 스테레오 기법을 사용하여 위 고정밀 깊이 맵을 그리고 구조화된 광 기법을 사용하여 위 조밀 깊이 맵을 획득함으로써 계산될 수 있다. 또한, 위 고해상도 및 조밀 깊이 맵은 인간 컴퓨터 상호작용 애플리케이션을 위해 계산될 수 있다.

예 5

구조화된 스테레오를 위한 장치는 방사기와, 깊이 데이터(depth data)를 획득하는 수단을 포함한다. 깊이 데이터를 획득하는 위 수단은 위 방사기에 대해서 비대칭적으로 배치된다.

위 방사기와, 깊이 데이터를 획득하는 위 수단은 희소 깊이 맵을 생성하는 데에 사용될 수 있는 데이터를 획득할 수 있고, 위 희소 깊이 맵은 정밀 깊이 맵을 획득하기 위해 추가로 정제될 수 있다. 위 방사기와, 깊이 데이터를 획득하는 위 수단은 희소 깊이 맵을 생성하는 데에 사용될 수 있는 데이터를 획득할 수 있되, 위 희소 깊이 맵은 위 방사기 및 깊이 데이터를 획득하는 위 수단 간의 작은 광학 거리의 결과이다. 위 방사기와, 깊이 데이터를 획득하는 위 수단은 정밀 깊이 맵을 획득하기 위해 추가로 정제될 수 있는 희소 깊이 맵을 생성하는 데에 사용되는 데이터를 획득할 수 있되, 위 정제는 위 방사기 및 깊이 데이터를 획득하는 위 수단 간의 큰 광학 거리의 결과로서 획득될 수 있다. 또한 위 방사기와, 깊이 데이터를 획득하는 위 수단은 낮은 정밀도를 갖는 조밀 깊이 맵을 생성하는 데에 사용되는 데이터를 획득할 수 있다. 위 방사기와, 깊이 데이터를 획득하는 위 수단은 낮은 정밀도를 갖는 조밀 깊이 맵을 생성하는 데에 사용되는 데이터를 획득할 수 있되, 위 조밀 깊이 맵은 위 방사기 및 깊이 데이터를 획득하는 위 수단 간의 큰 광학 거리의 결과이다. 추가적으로, 위 방사기와, 깊이 데이터를 획득하는 위 수단은 낮은 정밀도를 갖는 조밀 깊이 맵을 생성하는 데에 사용되는 데이터를 획득할 수 있되, 위 조밀 깊이 맵은 위 방사기 및 깊이 데이터를 획득하는 위 수단 간의 더 작은 광학 거리의 결과로부터의 데이터를 사용하여 정제될 수 있다. 위 방사기와, 깊이 데이터를 획득하는 위 수단은 고해상도를 갖는 조밀 깊이 맵을 획득하기 위해 구조화된 광 기법과 조합된 능동적 스테레오 기법에서 사용될 수 있다. 위 방사기 및 깊이 데이터를 획득하는 위 수단 간의 광학 거리는 생성될 깊이 맵의 유형에 응답하여 조절될 수 있다. 위 장치는 제2 방사기를 또한 포함할 수 있다.

앞서 언급된 예들 내의 상세사항은 하나 이상의 실시예에서 어디서나 사용될 수 있음이 이해되어야 한다. 예를 들면, 위에서 기술된 컴퓨팅 디바이스의 모든 선택적인 특징은 본 명세서 내에 기술된 방법에 대해서든 또는 컴퓨터 판독가능 매체에 대해서든 또한 구현될 수 있다. 나아가, 실시예를 기술하기 위해 본 명세서 내에서 흐름도 및/또는 상태도가 사용되었을 수 있지만, 본 발명은 그 도해들에 또는 본 명세서 내의 대응하는 설명에 한정되지 않는다. 예컨대, 흐름은 각각의 예시된 박스(box) 또는 상태(state)를 거치거나 본 명세서 내에 예시되고 기술된 바와 정확히 동일한 순서로 나아갈 필요가 없다.

본 발명은 본 명세서 내에 나열된 특정한 세부사항에 제한되지 않는다. 시사실, 이 개시의 이득을 보는 당업자는 전술한 설명 및 도면으로부터의 많은 다른 변이가 본 발명의 범주 내에서 행해질 수 있음을 인식할 것이다. 따라서, 본 발명의 범주를 정의하는 것은 이하의 청구항(이에 대한 임의의 보정을 포함함)이다.

Claims

구조화된 스테레오(structured stereo)를 위한 장치로서,
방사기(emitter)와,
복수의 센서들을 포함하되, 상기 센서들은 상기 방사기에 대해서 비대칭적으로 배치되고,
상기 방사기 및 상기 복수의 센서들은, 구조화된 광 기법(structured light technique)과 조합된 능동적 스테레오 기법(active stereo technique)에서, 높은 해상도를 갖는 조밀 깊이 맵을 획득하는데 사용되며,
상기 방사기는 능동적 스테레오에 대해 낮은 듀티 사이클을 갖는 제1 패턴을 투영하고 구조화된 광을 갖는 정제(refinement)에 대해 고주파수를 갖는 제2 패턴을 투영하는
장치.
제1항에 있어서,
상기 방사기 및 상기 복수의 센서들은 희소 깊이 맵(sparse depth map)을 생성하는 데에 사용되는 데이터를 획득하고, 상기 희소 깊이 맵은 정밀 깊이 맵(accurate depth map)을 획득하기 위해 추가로 정제되는(refined)
장치.
제1항에 있어서,
상기 방사기 및 상기 복수의 센서들은 희소 깊이 맵을 생성하는 데에 사용되는 데이터를 획득하되, 상기 희소 깊이 맵은 상기 방사기와 상기 복수의 센서들 중의 센서 간의 작은 광학 거리의 결과인
장치.
제1항에 있어서,
상기 방사기 및 상기 복수의 센서들은 정밀 깊이 맵을 획득하기 위해 추가로 정제되는 희소 깊이 맵을 생성하는 데에 사용되는 데이터를 획득하되, 상기 정제는 상기 방사기와 상기 복수의 센서들 중의 센서 간의 큰 광학 거리의 결과로서 획득되는
장치.
제1항에 있어서,
상기 방사기 및 상기 복수의 센서들은 낮은 정밀도를 갖는 조밀 깊이 맵(dense depth map)을 생성하는 데에 사용되는 데이터를 획득하는
장치.
제1항에 있어서,
상기 방사기 및 상기 복수의 센서들은 낮은 정밀도를 갖는 조밀 깊이 맵을 생성하는 데에 사용되는 데이터를 획득하고, 상기 조밀 깊이 맵은 상기 방사기와 상기 복수의 센서들 중의 센서 간의 큰 광학 거리의 결과인
장치.
제1항에 있어서,
상기 방사기 및 상기 복수의 센서들은 낮은 정밀도를 갖는 조밀 깊이 맵을 생성하는 데에 사용되는 데이터를 획득하고, 상기 조밀 깊이 맵은 상기 방사기와 상기 복수의 센서들 중의 센서 간의 작은 광학 거리의 결과로부터의 데이터를 이용하여 정제되는
장치.
삭제
제1항에 있어서,
상기 방사기와 상기 복수의 센서들 간의 광학 거리는 생성되는 깊이 맵의 유형에 응답하여 조정되는
장치.
구조화된 스테레오를 위한 시스템으로서,
방사기와,
복수의 센서들 - 상기 방사기 및 상기 센서들은 상기 방사기에 대해서 상기 시스템 내에 비대칭적으로 배치됨 - 과,
명령어를 저장하고 상기 방사기 및 복수의 센서들에 통신가능하게 커플링된 메모리와,
상기 메모리에 통신가능하게 커플링된 프로세서를 포함하되, 상기 프로세서가 상기 명령어를 실행할 경우, 상기 프로세서는,
고정밀 깊이 맵을 생성하고,
조밀 깊이 맵을 생성하며,
상기 고정밀 깊이 맵 및 상기 조밀 깊이 맵을 사용하여 고해상도 및 조밀 깊이 맵을 계산하고,
상기 방사기는 능동적 스테레오에 대해 낮은 듀티 사이클을 갖는 제1 패턴을 투영하고 구조화된 광을 갖는 정제(refinement)에 대해 고주파수를 갖는 제2 패턴을 투영하는
시스템.
제10항에 있어서,
상기 방사기는 상기 복수의 센서들 중의 적어도 두 개의 센서 사이에 있고, 상기 방사기와 제1 센서 간의 거리는 상기 방사기와 제2 센서 간의 거리보다 더 짧은
시스템.
제10항에 있어서,
상기 복수의 센서들 중의 제1 센서와 제2 센서 간의 거리는, 상기 제1 센서 및 상기 제2 센서가 서로 가까이 있고 상기 제1 센서 및 상기 제2 센서가 상기 방사기로부터 멀리 있도록, 상기 제1 센서와 상기 방사기 및 상기 제2 센서와 상기 방사기 간의 거리보다 더 짧은
시스템.
제10항에 있어서,
상기 프로세서는 낮은 정밀도의 희소 깊이 맵을 획득하는 것과 상기 고정밀 깊이 맵을 획득하기 위해 상기 복수의 센서들 간을 매칭시킴으로써 낮은 정밀도의 상기 희소 깊이 맵을 정제하는 것에 의해 상기 고정밀 깊이 맵을 생성하는
시스템.
제10항에 있어서,
상기 프로세서는 낮은 정밀도의 희소 깊이 맵을 획득하는 것과, 상기 복수의 센서들 간을 매칭시킴으로써 낮은 정밀도의 상기 희소 깊이 맵을 정제하는 것에 의해 상기 고정밀 깊이 맵을 생성하되, 매칭될 센서로부터의 이미지는 상기 방사기로부터의 패턴과 상기 센서 간의 구조화된 광(structured light)을 사용하여 획득되는
시스템.
제10항에 있어서,
상기 프로세서는 상기 복수의 센서들 중의 제1 센서와 제2 센서로부터의 데이터를 이용하여 상기 조밀 깊이 맵을 생성하고, 상기 제1 센서와 상기 제2 센서 간의 거리는, 상기 제1 센서 및 상기 제2 센서가 서로 가까이 있고 상기 제1 센서 및 상기 제2 센서가 상기 방사기로부터 멀리 있도록, 상기 제1 센서와 상기 방사기 및 상기 제2 센서와 상기 방사기 간의 거리보다 더 짧은
시스템.
제10항에 있어서,
상기 프로세서는 상기 복수의 센서들 중의 제1 센서와 제2 센서로부터의 데이터를 이용하여 상기 조밀 깊이 맵을 생성하고, 상기 제1 센서 또는 상기 제2 센서와 상기 방사기 간을 매칭시킴으로써 상기 조밀 깊이 맵을 정제하고,
상기 제1 센서와 상기 제2 센서 간의 거리는, 상기 제1 센서 및 상기 제2 센서가 서로 가까이 있고 상기 제1 센서 및 상기 제2 센서가 상기 방사기로부터 멀리 있도록, 상기 제1 센서와 상기 방사기 및 상기 제2 센서와 상기 방사기 간의 거리보다 더 짧은
시스템.
삭제
제10항에 있어서,
상기 복수의 센서는 이미지 센서인
시스템.
제10항에 있어서,
상기 시스템은 카메라의 컴포넌트인
시스템.
혼성 능동적 스테레오 및 구조화된 광을 위한 방법으로서,
낮은 정밀도의 희소 깊이 맵을 획득하는 단계와,
초기 근사(initial approximation)로서 낮은 정밀도의 상기 희소 깊이 맵을 사용하여 고정밀 깊이 맵을 생성하는 단계와,
조밀 저정밀 깊이 맵(dense low accuracy depth map)을 획득하는 단계와,
상기 고정밀 깊이 맵 및 상기 조밀 저정밀 깊이 맵을 사용하여 조밀 고해상도 깊이 맵을 계산하는 단계를 포함하며,
상기 고정밀 깊이 맵을 생성하는 단계는 방사기를 사용한 적어도 두 개의 센서로부터의 데이터를 정제하는 단계를 포함하고, 상기 방사기는 능동적 스테레오에 대해 낮은 듀티 사이클을 갖는 제1 패턴을 투영하고 구조화된 광을 갖는 정제(refinement)에 대해 고주파수를 갖는 제2 패턴을 투영하는
방법.
제20항에 있어서,
센서 및 방사기로부터의 데이터를 사용하여 낮은 정밀도의 상기 희소 깊이 맵을 획득하는 단계를 포함하는
방법.
제20항에 있어서,
센서와 방사기 간의 구조화된 광 기법을 사용하여 낮은 정밀도의 상기 희소 깊이 맵을 정제하는 것에 의해 상기 고정밀 깊이 맵을 생성하는 단계를 포함하는
방법.
제20항에 있어서,
적어도 두 개의 센서 간의 매칭 기법 및 센서와 방사기 간의 구조화된 광 기법을 사용하여 상기 고정밀 깊이 맵을 생성하는 단계를 포함하는
방법.
제20항에 있어서,
적어도 두 개의 센서를 사용하여 상기 조밀 저정밀 깊이 맵을 획득하는 단계를 포함하는
방법.
삭제