KR20170027788A - 구조광 이미징 시스템 및 방법 - Google Patents

구조광 이미징 시스템 및 방법 Download PDF

Info

Publication number
KR20170027788A
KR20170027788A KR1020177002144A KR20177002144A KR20170027788A KR 20170027788 A KR20170027788 A KR 20170027788A KR 1020177002144 A KR1020177002144 A KR 1020177002144A KR 20177002144 A KR20177002144 A KR 20177002144A KR 20170027788 A KR20170027788 A KR 20170027788A
Authority
KR
South Korea
Prior art keywords
light
groups
structured
projector
scene
Prior art date
Application number
KR1020177002144A
Other languages
English (en)
Other versions
KR102425033B1 (ko
Inventor
티어리 오기어
Original Assignee
헵타곤 마이크로 옵틱스 피티이. 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 헵타곤 마이크로 옵틱스 피티이. 리미티드 filed Critical 헵타곤 마이크로 옵틱스 피티이. 리미티드
Publication of KR20170027788A publication Critical patent/KR20170027788A/ko
Application granted granted Critical
Publication of KR102425033B1 publication Critical patent/KR102425033B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01S—DEVICES USING THE PROCESS OF LIGHT AMPLIFICATION BY STIMULATED EMISSION OF RADIATION [LASER] TO AMPLIFY OR GENERATE LIGHT; DEVICES USING STIMULATED EMISSION OF ELECTROMAGNETIC RADIATION IN WAVE RANGES OTHER THAN OPTICAL
    • H01S5/00—Semiconductor lasers
    • H01S5/40—Arrangement of two or more semiconductor lasers, not provided for in groups H01S5/02 - H01S5/30
    • H01S5/42—Arrays of surface emitting lasers
    • H01S5/423—Arrays of surface emitting lasers having a vertical cavity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Wire Bonding (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Cameras In General (AREA)

Abstract

본 발명은 구조광 이미징 시스템과 방법에 관한 것이다. 상기 구조광 이미징 시스템 및 방법은 적어도 2개의 발광기 군을 구비한 프로젝터와 픽셀 어레이를 구비한 이미지 센서를 포함하도록 구성되어 있고 각각의 군이 개별적으로 작동되게 할 수 있도록 제어기가 배치구성되어 있다. 일 변형예에 있어서, 상기 이미지 센서의 각각의 픽셀은 적어도 2개의 발광기 군 각각에 대해 하나의 저장 노드를 할당한다.

Description

구조광 이미징 시스템 및 방법{STRUCTURED LIGHT IMAGING SYSTEM AND METHOD}
본 발명은 이미징 시스템 및 방법에 관한 것으로, 보다 특별하게는 구조광 이미징 시스템 및 방법에 관한 것이다. 본 발명은 또한 장면(scene)의 심도 맵(depth map)을 측정하기 위한 방법 및 장치에 관한 것이다.
다수의 심도 감지 측정 시스템(3D 이미징 시스템 또는 3D 카메라라고도 알려짐)은 삼각측량 원리에 의존한다. 능동형 삼각측량 시스템에서 가장 보편적인 방법 중 하나는 물리적으로 서로 분리되어 삼각측량 시스템의 베이스 길이를 이루는 발광기(또는 프로젝터)와 수광기를 사용하는 것이다. 상기 프로젝터는 구조 조명(structured illumination)을 제공할 수 있다. 이와 관련하여, 상기 구조 조명은 공간 코딩 또는 변조 조명으로서 이해된다. 상기 수광기는 픽셀의 어레이를 구비한 이미지 센서를 포함한다. 제어기는 전형적으로 수광기가 획득한 미가공 이미지(raw image)를 처리하고 획득한 객체, 장면 또는 사람의 3차원 심도 맵을 이끌어낸다. 이러한 시스템은 일반적으로 구조광 이미징 시스템으로서 알려져 있다. 구조 조명은 어떠한 규칙적인 형상, 예를 들어 선 또는 원 형상을 가질 수 있거나 의사 랜덤(pseudo-random dot) 점무늬 패턴과 같은 의사 랜덤 패턴을 가질 수 있거나 의사 랜덤 형상 또는 형상 크기를 가질 수도 있다. 구조광 이미징 시스템의 프로젝터에서 이러한 의사 랜덤하지만 규칙적인 패턴의 구현과 사용은 PCT 공보 WO2007/105205A2에 공개되었고 게임 산업에 맞춰 광범위하게 구성되어 왔다. US2013/0038881A1과 WO2013127974A1에는 동일한 다이 위 다수의 발광 레이저 다이오드와 3D 공간에 투사하는 것을 기반으로 구조광 이미징에서 사용하기 위한 새로운 유형의 프로젝터가 제시되어 있다. 발광 고상 소자에 미리 투사 패턴을 형성하면 에너지 효율이 높아지는 장점이 있다. 예를 들어 랜덤 점무늬 패턴의 경우에 모든 발생광은 본질적으로 점들로 다발화된다. 상기 점들 사이에서는 손실이 없다. 한편 임프린트된 슬라이드(transparency), 마스크 또는 디지털 광 프로세서(DLP)와 같은 마이크로미러 어레이를 기반으로 프로젝터를 구축하면 점들 사이의 광이 차단 또는 편차가 생긴다. 따라서 다량의 발생 광출력이 손실된다. 그 외 다른 프로젝터들은 단일 시준 레이저 다이오드와 하나 또는 여러 개의 회절 광학 부재를 기반으로 하고 있다. 이들 유형의 프로젝터는 양호한 효율을 보이지만 구조광 이미징을 기반으로 넓은 온도 범위에 걸쳐 심도를 적절히 측정할 만큼 패턴을 충분히 안정하게 유지해야 할 긴급한 과제가 있다. 이러한 열적 결점에 대처하기 위해서 예를 들면 펠티에 소자(Peltier element)를 사용하거나 가열 저항기를 사용함으로써 패턴 프로젝터의 일부를 온도 제어할 수 있는데 이는 전체 에너지 효율을 감소시킨다.
시간 코딩한 구조광원과 이미지 센서를 기반으로 하는 또 다른 개량 구조광 이미징 시스템이 유럽공보 EP2519001A2에 제안되어 있다. 구조광 이미징 시스템에 시간 코딩을 적용하면 이미지의 후처리로서 이미지 센서 위 픽셀이 차분 이미징(differential imaging)을 수행할 수 있는 경우에는 온-픽셀(on-pixel)로 또는 오프-픽셀(off-pixel)로 배경광을 차감하게 할 수 있다. 또한 시간 코딩 또는 변조는 다중-카메라(multi-camera) 작업을 가능하게 한다. 이는 서로 다른 구조광 이미징 시스템이 시간 코딩을 적용할 수 있음으로써 서로 간섭하지 않고 동일 환경 내에서 작동할 수 있다는 것을 의미한다. 간섭이 제한된 상태에서 작동할 수 있는 특정 시간 코딩 기법들은 예를 들면 코드 분할 다중 접속, 주파수 분할 다중 접속이나 주파수 또는 위상 호핑(hopping)과 같은 그외 다중 접속을 기반으로 하고 있다.
본 발명의 목적은 심도와 측방향 분해능이 향상된 고효율 구조광 이미징 시스템뿐 아니라 이에 따른 방법 및 장면의 심도 맵 제작을 위한 장치 및 방법을 제공하는 것이다. 구조광 이미징 시스템은 구조광 이미징 장치로서도 이해될 수 있다.
상기 목적은 특히 독립 청구항의 특징부를 통해 달성된다. 또한 종속 청구항과 상세한 설명에는 다른 유리한 구현예들이 나타나 있다.
제1 관점에 있어서, 구조광 이미징 장치는 구조광을 방출하기 위한 적어도 2개의 발광기 군을 포함하는 프로젝터, 상기 프로젝터로부터 나오는 광을 감지하기 위한 이미지 센서 및 제어부를 포함한다. 상기 적어도 2개 발광기 군의 각각의 군을 개별적으로 작동시키기 위해 제어기가 구조화 및 배치구성되어 있다.
또 다른 관점에 있어서, 구조광 이미징 시스템은 이미지 센서와 프로젝터를 포함하고 상기 프로젝터는 적어도 2개의 발광기 군을 포함하며 각각의 군이 개별적으로 작동되게 할 수 있도록 제어기가 배치구성되어 있다.
상기 2개의 관점들은 융합 및 호환될 수 있다.
본 발명의 몇몇 구현예에 있어서, 상기 프로젝터 내에는 단일 광 투사기가 적어도 2개의 발광기 군에 의해 방출되는 구조광을 장면에 투사하도록 배치구성되어 있다. 상기 발광기 군의 패턴이 동일한 단일 광 투사기에 의해 투사되는 경우에는 처리와 보정 복잡성이 감소하여 유리하다. 그 결과, 장면 내 객체의 거리와 무관하게 다른 발광기 군의 일정한 조합 패턴이 나타난다. 예를 들면 상기 발광기 군의 전방에 물리적으로 분리된 2개의 광 투사기를 가짐으로써 전체 거리에 걸쳐 서로 다른 방출 패턴이 서로 교차한다. 따라서 단일 거리에서 단일 보정 획득은 삼각측량을 기반으로 차이를 추정하고 거리를 측정하기에 충분하지 않을 것이다.
본 발명의 몇몇 구현예에 있어서, 상기 적어도 2개의 발광기 군은 수직 공진 표면 발광 레이저(vertical cavity surface emitting lasers, VCSEL)를 포함한다. 몇몇 예에서 VCSEL은 소형 소자 안에 통합시킬 수 있기 때문에 또한 저비용과 고용량 제조 가능성으로 인해 발광기의 적절한 선택일 수 있다.
본 발명의 몇몇 구현예에 있어서, 상기 적어도 2개의 발광기 군은 단일 다이 위에 배치된다. 상기 적어도 2개의 발광기 군이 동일 다이 위에 있는 경우에는 광 투사기의 구성이 단순화된다.
본 발명의 몇몇 구현예에 있어서, 상기 적어도 2개의 발광기 군은 물리적으로 교차(interlaced) 배치되어 있다. 상기 적어도 2개의 발광기 군의 물리적 교차와 이들의 투사는 방출 구조광에 더욱 밀집한 구조를 갖게 하므로 구조광 이미지로부터 유도되는 공간 정보는 더욱 높은 측방향 및 심도 분해능을 가능하게 한다.
본 발명의 몇몇 구현예에 있어서, 상기 적어도 2개의 발광기 군은 동일하지만 변위된 구조광 패턴을 방출하도록 배치된다. 상기 적어도 2개의 발광기 군에 의해 동일하지만 변위된 구조광 패턴을 방출함으로써 얻어지는 결과는 상기 적어도 2개의 발광기 군에 의해 완전히 서로 다른 패턴을 방출함으로써 얻어지는 결과보다 더 예측 가능하게 된다.
본 발명의 몇몇 구현예에 있어서, 상기 적어도 2개의 발광기 군은 서로 다른 구조광 패턴을 방출하도록 배치된다. 서로 다른 구조광 패턴의 방출, 예를 들면 랜덤 점무늬 패턴과 줄무늬 패턴의 방출은 심도 분해능을 증가시킬 수 있다. 또한 서로 다른 랜덤 점무늬 패턴의 조합을 생각할 수 있다.
본 발명의 몇몇 구현예에 있어서, 상기 제어기는 적어도 2개의 발광기 군이 교호(interleaved) 모드로 작동되게 할 수 있도록 배치구성된다. 상기 제어기는 각각의 군이 개별적으로 작동되게 할 수 있도록 배치구성될 수 있기 때문에 서로 다른 발광기 군이 교호적으로 작동되도록 하는 것이 유리할 수 있다. 실제 적용에 따라 의사 노이즈 작동, 주파수 호핑 작동 등과 같이 서로 다른 방식의 교호적 작동을 생각할 수 있다. 본 발명에서 교호적 작동은 구조광 이미징 시스템 간 간섭을 줄이는데 도움을 줄 수 있고 빠르게 움직이는 객체의 문제점을 줄일 수 있다.
본 발명의 몇몇 구현예에 있어서, 상기 이미지 센서는 픽셀의 어레이를 포함하고 각각의 픽셀은 발광기 군 당 별개의 저장 노드를 갖고 있다.
본 발명의 몇몇 구현예에 있어서, 상기 제어기는 이미지 센서의 픽셀 각각에 대해 발광기 군 당 하나의 저장 노드가 할당되게 할 수 있도록 배치구성되어 있다. 상기 이미지 센서의 각각의 픽셀 위에는 발광기 군 당 별개의 저장 노드를 갖는 것이 유리할 수 있다. 이는 별개의 저장 노드에 발광기 군 각각의 이미지가 저장되게 할 수 있다.
본 발명의 몇몇 구현예에 있어서, 상기 이미지 센서의 픽셀은 이미지 센서 위 픽셀의 저장 노드의 공통 모드 신호를 제거하도록 배치구성되어 있는 공통 신호 제거 회로를 포함한다. 픽셀 레벨에서 공통 모드 신호 제거는 동적 범위를 증가시키고 배경광이 억제되게 할 수 있다.
본 발명의 몇몇 구현예에 있어서, 상기 제어기는 적어도 2개의 발광기 군이 노출 중에 교대로 그리고 반복적으로 작동되게 할 수 있도록 배치구성되고 이에 따라 신호가 픽셀의 할당된 저장 노드 위에서 통합된다. 상기 발광기 군의 교대 및 반복 작동과 이에 따른 노출 중 픽셀 안에 할당된 저장 노드 내 신호 통합은 동일 환경에서 다른 구조광 이미징 시스템과의 간섭을 줄이는데 도움을 줄 수 있고 노출 중 변화하는 장면으로 인한 효과를 더욱 줄인다.
본 발명의 몇몇 구현예에 있어서, 상기 이미지 센서의 픽셀은 비행시간형(time-of-flight) 픽셀이다. 대부분의 종래 비행시간형 픽셀 안에는 이미 2개의 저장 노드와 픽셀내(in-pixel) 공통 모드 제거 회로까지도 포함되어 있다. 따라서 새로운 픽셀을 설계하는 대신에 이러한 비행시간형 픽셀 아키텍처를 기반으로 하여 본 발명에 따른 구조광 시스템을 구축할 수 있다.
제1 관점에 있어서, 구조광 이미징 방법은 적어도 2개의 발광기 군을 포함하는 프로젝터를 제공하고, 상기 적어도 2개의 발광기 군으로부터 구조광을 방출하되 발광기 군 각각을 개별적으로 작동하게 하고, 상기 프로젝터로부터 나오는 광을 이미지 센서에 의해 감지하는 것을 포함한다.
또 다른 관점에서, 구조광 이미징 방법은 이미지 센서 및 각각 개별적으로 작동하는 적어도 2개의 발광기 군을 포함하는 프로젝터를 사용하는 것을 포함한다.
상기 2개의 관점들은 융합 및 호환될 수 있다.
일 변형예에 있어서, 상기 적어도 2개의 발광기 군에 의해 방출되는 구조광을 단일 광 투사기를 통해 장면에 투사한다. 일 변형예에 있어서, 상기 적어도 2개의 발광기 군은 교호 모드로 작동시킨다. 일 변형예에 있어서, 상기 이미지 센서의 각각의 픽셀은 적어도 2개의 발광기 군 당 하나의 저장 노드를 할당한다. 일 변형예에 있어서, 상기 이미지 센서의 저장 모드의 공통 모드 신호를 제거한다. 일 변형예에 있어서, 상기 이미지 센서의 적어도 2개의 발광기 군을 노출 중에 교대로 그리고 반복적으로 작동시키고 이에 따라 신호를 픽셀의 할당 저장 노드 안에서 통합시킨다.
장면의 심도 맵을 제작하기 위한 방법은
- 적어도 제1 및 제2 발광기 군을 포함하는 프로젝터의 구조광으로 장면을 조명하고;
- 상기 조명이 발광기 군 각각을 개별적으로 작동시키는 것을 포함하고;
- 상기 장면으로부터 반사되는 구조광의 일부 광들을 검출하고;
- 상기 검출된 일부 광들로부터 장면의 심도 맵을 측정하는 것을 포함한다.
또 다른 관점에 있어서, 장면의 심도 맵을 제작하기 위한 방법은
- 본 명세서에 기재된 종류의 구조광 이미징 장치(또는 시스템)에 의해 장면을 조명하고;
- 상기 구조광 이미징 장치(또는 시스템)에 의해 장면으로부터 반사되는 구조광의 일부 광들을 검출하고;
- 상기 검출된 일부 광들로부터 장면의 심도 맵을 측정하는 것을 포함한다.
상기 장면의 심도 맵을 측정하기 위한 장치는 구조광으로 장면을 조명하고 장면으로부터 반사되는 구조광의 일부 광들을 검출하기 위한 본 명세서에 기재된 종류의 구조광 이미징 장치(또는 시스템)를 포함한다. 그리고 상기 장치는 검출된 일부 광들로부터 장면의 심도 맵을 측정하기 위한 처리부를 포함한다. 상기 처리부는 구조광 이미징 장치의 제어기 내 포함될 수 있다.
본 명세서에 기재된 발명은 본 명세서에 제공되어 있는 상세한 설명과 첨부도면으로부터 더욱 완전하게 이해될 것이지만 후술하는 청구범위에 기재되어 있는 발명에 한정되는 것으로 간주되어서는 안 된다.
도면에서
도 1은 구조광 이미징 장치와 방법의 구성요소를 도시하고 있는 도면이고;
도 2는 본 발명의 일 구현예에서 적용될 수 있는 픽셀의 구성요소를 도시하고 있는 도면이고;
도 3은 본 발명의 일 구현예에서 적용될 수 있는 2개의 발광기 군을 구비한 발광 부품의 상면도이고;
도 4는 2개의 발광기 군이 동시에 모두 작동하는 경우(도 4a)와 각각의 발광기 군이 별개로 제어될 수 있는 경우에(도 4b) 도 3에 도시되어 있는 발광 부품으로부터 얻어지는 랜덤 점무늬 패턴 이미지이고;
도 5는 종래기술의 구조광 이미징 시스템의 2개의 점으로 감소한 이미지로서(도 5a 내지 c), 삽입 이미지는 세부 확대도이고(위: 래스터 흑백, 아래: 그레이스케일) 도 5d 내지 f는 도 5a 내지 c에서 점의 중심을 통과하는 신호의 수평 단면을 그래프로 나타낸 것이고;
도 6은 구조광 이미징 시스템의 2개의 점으로 감소한 이미지로서(도 6a 내지 c), 삽입 이미지는 세부 확대도이고(위: 래스터 흑백, 아래: 그레이스케일) 도 6d 내지 f는 도 6a 내지 c에서 점의 중심을 통과하는 신호의 수평 단면을 그래프로 나타낸 것이다.
종래 구조광 이미징 시스템에서 프로젝터는 항상 동일한 패턴을 방출하는 것을 의미하는 고정형이거나 프로젝터 내 마이크로미러(예를 들면 MEMS 기반의 디지털 광 프로세서)와 같은 몇몇 이동 부분을 포함하거나 액정소자와 같이 국소 투명도 변환 소자를 포함하고 있다. 후자의 2개는 패턴을 거의 마음대로 변화시킬 수 있지만, 접근방식의 차광 속성으로 인해 방출광의 대부분이 버려지고 있다. 본 발명은 적어도 경우에 따라서 어떠한 이동 부분도 없고 더 좋은 분해능과 온도 안정성이 증가된 고효율 구조광 이미징 시스템을 달성할 수 있다.
도 1은 구조광 이미징 장치와 방법의 일 구현예를 블록도로 도시하고 있다. 구조광 이미징 시스템(10)은 장면에서 객체(50)의 이미지를 획득하기 위해서 광 프로젝터(110), 이미지 센서(120), 광학 시스템(130)과 제어기(150)를 포함하고 있다. 광학 시스템(130)은 전형적으로 이미징 광학계와 원치 않는 광을 차단하는 광학 대역통과 여파기를 포함하고 있다. 이미지 센서(120)는 픽셀의 어레이(121)를 포함하고 있다. 프로젝터(110)는 제1 발광기 군(111a)과 제2 발광기 군(111b)을 가진 발광 부품(111), 예를 들면 수직 공진 표면 발광 레이저(VCSEL: Vertical Cavity Surface Emitting Lasers) 어레이를 포함하고 있다. 상기 발광기의 모든 광은 장면을 향해 광 투사기(112)에 의해 투사된다. 광 투사기(112)는 렌즈, 마스크 및/또는 회절 광학 부재를 포함할 수 있다.
2개의 발광기 군(111a, 111b)은 제어기(150)에 의해 제어된다. 또한 제어기(150)는 2개의 발광기 군(111a, 111b)을 이미지 센서(120)와 픽셀(121)과 동기화시킨다.
상기 발광기는 예를 들면 VCSEL 어레이 위의 수직 공진 표면 발광 레이저이다. VCSEL 어레이를 기반으로 하지만 본 특허출원에서 제안하고 있는 바와 같이 개별 작동될 수 있는 서로 다른 군으로 발광기를 분리하지 않은 발광 부품(110)을 구비한 구조광 이미징 시스템(10)이 US2013/0038881 A1과 WO2013127974A1에 공개되었다.
도 1에 따르면, 구조광 이미징 시스템(10)의 광출력은 제1 발광기 군(111a)으로부터 광이 출력될 때 프로젝터(110)로부터 방출되는 제1 구조광(20a)에 해당한다. 방출 구조광은 제1 발광기 군(20a)이 객체(50)에 도달시 객체(50)에 의해 반사되고 제1 반사광(30a)의 일부는 구조광 이미징 시스템(10)의 광학 시스템(130)에 도달한다. 광학 시스템(130)은 이미지 센서(120)의 픽셀(121) 상에 제1 반사광(30a)을 이미지화한다. 구조광 이미징 시스템(10)의 광출력은 제2 발광기 군(111b)으로부터 광이 출력될 때 프로젝터(110)로부터 방출되는 제2 구조광 발광(20b)에 해당한다. 방출 구조광은 제2 발광기 군(20b)이 객체(50)에 도달시 객체(50)에 의해 반사되고 제2 반사광(30b)의 일부는 구조광 이미징 시스템(10)의 광학 시스템(130)에 도달한다. 광학 시스템(130)은 이미지 센서(120)의 픽셀(121) 상에 제2 반사광(30b)을 이미지화한다. 방출광의 파장은 예를 들면 800 nm 내지 1000 mm이지만 가시광선, 적외선 또는 UV 범위에 있을 수도 있다.
도 2에는 이미지 센서(120)의 픽셀(121)의 일 구현예가 제시되어 있다. 픽셀(121)는 감광 영역(122)을 포함하고 있다. 상기 감광 영역 하부에서 광발생된 전하는 제1 스위치(123a)를 통해 제1 저장 노드(124a)로 또는 제2 스위치(123b)를 통해 제2 저장 노드(124b)로 이동될 수 있다.
몇몇 픽셀 실시예는 예를 들면 독출 또는 유휴 시간 중에 원치 않는 전하를 배출하는 제3 스위치를 포함한다. 도시되어 있는 구현예에서 픽셀(121)은 신호의 차감을 수행하는, 보다 구체적으로 제1 저장 노드(124a)에 저장되어 있는 전하와 제2 저장 노드(124b)에 저장되어 있는 전하 간 차이를 측정하는 신호 처리 회로(125)를 포함하고 있다.
상기 차감 또는 공통 모드 전하 제거(공통 모드 신호 제거)는 노출 중에 연속해서, 노출 중에 여러 번 또는 신호 독출 전에 노출 종료 시점에 이루어질 수 있다. 유사한 픽셀 아키텍처를 이용하는 구조광 이미징 시스템으로서 구조광의 방출 중 모든 광이 이미지 센서(120) 위의 픽셀(121)의 제1 저장 노드(124a)로 이동되고 같은 지속시간 중에 구조광의 방출이 정지되어 배경광 신호만이 이미지 센서(120) 위의 픽셀(121)의 제2 저장 노드(124b)로 이동되는 것이 EP2519001 A2에 제시되었다. 상기 작동/정지 사이클은 여러 번 반복될 수 있고 신호는 각각 픽셀의 제1 및 제2 저장 노드 안에서 통합된다.
픽셀 각각의 2개의 저장 노드에서 차감 또는 공통 신호 제거(공통 모드 신호 제거)를 행함으로써 신호 처리 경로에서 배경 신호를 조기에 삭제할 수 있다. 이러한 픽셀 아키텍처를 포함한, 즉 제1 스위치에 의해 제1 저장 노드에 또한 제2 스위치에 의해 제2 저장 노드에 연결되어 있는 단일 감광 영역을 가진 픽셀들을 구비한 다른 픽셀 아키텍처들이 비행시간형 심도 이미징과 형광 수명 현미경 기술에서 사용되는 픽셀에 잘 알려져 있다. 이러한 픽셀 아키텍처는 예를 들면 특허 US5'856'667, EP1009984B1, EP1513202B1과 US7'884'310B2에 공개되었다.
본 발명의 일 구현예는 제어기(150)에 의해 2개의 발광기 군(111a, 111b)과 2개의 스위치(123a, 123b)를 동기화하는 것을 제시한다. 제1 위상에서는 제1 발광기 군(111a)이 작동되고 제2 발광기 군(111b)은 정지된다. 이 시간 중에 이미지 센서(120) 위 픽셀(121)의 감광 영역(122)으로부터 광발생된 모든 전하는 스위치(123a)에 의해 제1 저장 노드(124a)로 이동된다. 제2 위상에서는 제2 발광기 군(111b)이 작동되고 제1 발광기 군(111a)은 정지된다. 이때에는 이미지 센서(120) 위 픽셀(121)의 감광 영역(122)으로부터 광발생된 모든 전하는 스위치(123b)에 의해 제2 저장 노드(124b)로 이동된다.
제1 및 제2 위상의 사이클은 여러 번 반복될 수 있다. 특히 제1 위상의 지속시간은 동일 사이클에서 제2 위상의 지속시간과 동일할 수 있다. 일반적으로 위상 지속시간은 사이클마다 변할 수 있다. 이렇게 함으로써 사이클의 시간 코딩이 가능하고 예를 들면 직교 변조 방식을 서로 다른 구조광 이미징 시스템(10) 간 간섭을 피하기 위해 적용할 수 있다. 더 빠른 사이클링은 더 짧은 위상 지속시간을 의미하는 것으로 일반적으로 장면에서 빠르게 움직이는 객체인 경우에 향상된 성능을 보인다. 위상 지속시간은 전형적으로 수백 나노초 내지 수백 마이크로초 정도이다. 용도에 따라 백만까지의 많은 사이클이 1회 노출 동안 반복될 수 있고 이들의 신호는 2개의 저장 노드 안에서 통합될 수 있다.
픽셀(121) 내 신호 처리 회로(125)는 약간의 공통 광 신호 제거능(공통 모드 신호 제거능)을 포함할 수 있다. 픽셀(121) 내 이러한 공통 신호 제거 특징은 구조광 이미징 시스템(10)의 동적 범위를 놀랄 만큼 증가시킬 수 있고 배경광에 대한 안정성(robustness)을 증가시킨다.
모든 사이클과 함께 노출 후에는 이미지 센서(120)의 픽셀(121)로부터 제어기(150)까지 데이터를 독출하고 이때 상기 데이터로부터 환경 내 이미지화한 객체(50)의 심도 맵을 이끌어낼 수 있다.
도 3에는 발광 부품(111)의 예시적인 실시예가 개략적으로 제시되어 있다. 발광 부품(111)은 제1 발광기 군(111a)과 제2 발광기 군(111b)을 포함하고 있다. 2개의 발광기 군(111a, 111b)은 서로 다르게 제어될 수 있다. 상기 서로 다른 2개 군의 이와 같이 서로 다른 제어를 갖게 되면 노출 중에 각각의 발광기 군을 교대로 제어, 특히 작동하게 하고 상기 발광기 군을 픽셀(121)에 서로 다른 저장 노드(124a, 124b)를 할당하는 것과 동기화시킨다. 제1 발광기 군(111a)과 제2 발광기 군(111b)으로부터 방출된 랜덤 점무늬 패턴은 제1 발광기 군(111a)으로부터 나오는 어떠한 방출 점무늬가 제2 발광기 군(111b)으로부터 나오는 어떠한 점무늬와도 간섭하지 않고 장면의 객체(50)에 투사될 수 있다. 이는 상기 2개의 발광기 군의 광이 동일한 광 투사기(112)에 의해 공간으로 투사시 이루어질 수 있다. 광 투사기(112)는 전형적으로 하나 또는 여러 개의 렌즈 부재, 마스크 및/또는 회절 광학 부재를 포함한다.
일 구현예에 있어서, 발광 부품(111)은 동일 발광 다이 위 제1 수직 공진 표면 발광 레이저 군(VCSEL)과 제2 VCSEL 군 위에 생성된다. 상기 제1 및 제2 발광기 군은 물리적으로 교차될 수 있다. 또한 제1 및 제2 발광기 군(111a, 111b)은 동일한 구조광 패턴, 예를 들면 동일한 랜덤 점무늬 패턴을 방출하도록 배치될 수 있지만 상기 제1 방출 구조광은 제2 방출 구조광 패턴에 대해 측방향으로 변위된다. 다른 상황에서, 2개의 발광기 군(111a, 111b)이 랜덤 점무늬 패턴과 줄무늬 형상의 패턴과 같은 서로 다른 구조광 패턴 또는 서로 다른 2개의 랜덤 점무늬 패턴을 방출하게 배치되도록 제공될 수 있다.
도 4a와 도 4b의 도면은 도 3에 도시되어 있는 발광 부품에 해당한다. 도 4a는 모든 발광기가 작동되고 동일하게 제어될 때 방출되는 구조광을 도시하고 있다. 상기 서로 다른 2개의 발광기 군(111a, 111b)에 의해 방출되는 점들은 구별할 수 없다. 그 결과 얻어진 방출광 패턴은 도 4a에 도시되어 있고 구조광 이미징에서 종래기술이면서 예를 들면 PCT 공보 WO2007/105205A2에 공개된 랜덤 점무늬 패턴에 해당한다. 그러나 도 4b는 일 구현예에 따른 가능한 방출 패턴을 도시하고 있다. 제1 발광기 군(20a)이 작동될 때 방출 광은 빈 원으로 표시되어 있고 제2 발광기 군(20b)이 작동될 때 방출 광은 검은 점들로 표시되어 있다.
상기 예는 예시 목적으로 발광기 군 중 각각에 대해 랜덤 점무늬 패턴으로 한정되는 것은 아니다. 그러나 다수의 서로 다른 구조광 패턴과 이들의 조합은 본 발명의 가능한 실시예이다. 랜덤 점무늬 패턴의 경우에 제2 발광기 군(111b)은 제1 발광기 군(111a)에 대해 측방향으로 변위되어 있고 개별적으로 작동될 수 있는 것을 제외하고는 제1 발광기 군과 동일한 패턴을 가질 수 있다.
일례로서, 제1 위상 중에 제1 발광기 군(111a)은 작동되고(빈 원) 이미지 센서(120)에 의해 획득되는 광전하는 픽셀(121) 위 제1 스위치(123a)에 의해 제1 저장 노드(124a)로 이동되는바, 이에 대해 도 2를 참조할 것. 제2 위상에서는 제2 발광기 군(111b)이 작동되고 이미지 센서(120)에 의해 획득되는 전하는 픽셀(121) 위 제2 스위치(123b)에 의해 제2 저장 노드(124b)로 이동된다. 이들 2개의 위상은 단일 노출 중에 다시 여러 번 반복될 수 있고 이때 경우에 따라서는 위상 지속시간이 변하여 다른 구조광 이미징 시스템(10)과의 간섭을 줄이고 장면 내 빠르게 움직이는 객체(50)의 획득에 대해 허상(artefact)을 줄인다. 픽셀(121)은 픽셀 내 공통 신호 제거 회로를 더 가져 구조광 이미징 시스템(10)을 배경 억제 측면에서 더욱 안정시킬 수 있다.
도 5와 도 6의 일련의 이미지들은 종래기술의 구조광 이미징 시스템에 비해 본 발명의 가능한 장점을 도시하고 있다. 2개의 이웃한 점들의 이미지를 참조하여 상기 장점을 설명하기로 한다. 도 5a-c와 6a-c에는 더 잘 명료하게 하기 위해 해당 이미지의 세부 확대도를 보여주는 삽입 이미지가 제공되어 있다(위: 래스터 흑백, 아래: 그레이스케일).
도 5의 일련의 이미지에는 종래기술의 구조광 이미징 시스템의 결과가 개략적으로 제시되어 있다. 이 일련의 이미지에서, 이미지 내 2개의 점은 동일한 프로젝터와 동일한 발광 부품으로부터 비롯된 것이다. 2개의 점이 프로젝터에 의해 동시에 방출되고; 2개 점의 신호는 이미지 센서의 픽셀 위에서 동시에 통합된다. 도 5a는 이미지 센서에 의해 획득된 2개의 점을 보여주고 있는데, 이들의 무게중심은 4개의 픽셀 거리로 떨어져 있다. 도 5d는 도 5a의 점의 중심을 통과하는 신호의 수평 단면을 그래프로 나타낸 것이다. 도 5b는 2개의 점의 중심 간 거리가 3개의 픽셀에 불과한 것을 제외하고는 도 5a에서와 같은 이미지를 보여주고 있다. 도 5e는 도 5b의 점을 통과하는 신호의 수평 단면을 그래프로 나타낸 것이다. 도 5c는 점들이 단 2개의 픽셀만큼 떨어져 있는 것을 제외하고는 도 5a와 도 5b에서와 같은 이미지를 보여주고 있다. 도 5c의 수평 단면을 도 5f에 그래프로 나타내었다.
점들 간 거리가 4개의 픽셀인 경우에는(도 5a와 도 5d) 이미지에서 점들을 명확하게 구별 및 확인할 수 있다. 그러나 점들이 서로 더 가까워지면 구별하기가 더욱 어렵게 되고(도 5b와 도 5e) 점들이 불과 2개의 픽셀만큼 떨어져 있을 때에는 전혀 구별할 수 없다(도 5c와 도 5f). 이는 종래기술의 구조광 이미징 시스템에 의해 주어지는 구조광에 의한 정보의 밀도가 제한적임을 의미한다.
도 6은 특정 구현예를 토대로 한 일련의 결과를 보여주고 있다. 제1 노출 위상에서는 제1 발광기 군(111a)이 작동되고 모든 광전하들이 제1 스위치(123a)에 의해 이미지 센서(120) 위 픽셀(121) 위의 제1 저장 노드(124a)로 이동된다(도 2도 참조할 것). 제2 위상에서는 제2 발광기 군(111b)이 작동되고 모든 광전하들이 제2 스위치(123b)에 의해 이미지 센서(120) 위 픽셀(121) 위의 제2 저장 노드(124b)로 이동된다. 상기 2개의 위상의 사이클은 노출 중에 여러 번 반복될 수 있다. 예시 목적으로 상기 이미지 내 점들의 수는 단 2개로 적어진다. 첫 번째 점은 노출 중 모든 사이클의 제1 위상 중에 통합된 신호이고 두 번째 점은 노출 중 모든 사이클의 제2 위상 중에 통합된 신호이다.
도시된 경우에서 픽셀(121)은 신호 처리 회로(125) 안에 제1 및 제2 저장 노드(124a, 124b)로부터 신호의 공통 레벨을 차감하는 공통 신호 제거 회로를 포함하고 있다(도 2 참조). 따라서 얻어진 이미지는 픽셀(121)의 제1 저장 노드(124a)와 픽셀(121)의 제2 저장 노드(124b)의 차분 이미지이다.
얻어진 차분 이미지는 배경광 만이 존재하는 경우에는 약 0의 값을 갖고(공통 신호 제거 후 노이즈 만이 남음) 제1 발광기 군(111a)으로부터 나오는 점에 대해서는 양의 신호를 갖고 제2 발광기 군(111b)으로부터 나오는 점에 대해서는 음의 신호를 갖는다. 도 6a 내지 c의 이미지는 각각 본 구현예에 따라 얻은 차분 이미징의 2개의 점들을 보여주고 있다. 도 6a는 제1 발광기 군(111a)의 발광기로부터 나오는 점과 제2 발광기 군(111b)의 발광기로부터 나오는 점의 이미지를 보여주고 있다. 상기 2개 점의 무게중심은 4개의 픽셀만큼 떨어져 있다. 도 6d는 상기 점들의 중심을 통과하는 수평 단면도를 그래프로 나타내고 있다. 도 6b는 2개의 점이 3개의 픽셀만큼 떨어져 있는 것을 제외하고는 도 6a에서와 같은 동일한 점들을 보여주고 있다. 도 6e는 상기 점의 중심과 함께 신호의 수평 단면을 그래프로 나타내고 있다. 도 6c는 중심의 거리가 2개의 픽셀로 줄어든 것을 제외하고는 도 6a와 도 6b에서와 같은 동일한 점들을 보여주고 있다. 도 6f는 상기 점의 중심을 통과하는 신호의 수평 단면도를 그래프로 나타내고 있다. 상기 2개의 점은 점들 간 거리가 2개의 픽셀로 짧은 거리임에도 쉽게 구별이 가능하다.
도 6과 도 5의 일련의 이미지들은 도 5에 해당하는 종래기술의 구조광 이미징 시스템의 경우보다 도 6에 해당하는 구조광 이미징 시스템(10)의 경우에 점들을 훨씬 더 잘 구별할 수 있음을 보여주고 있다. 이 예는 본 명세서에 개시되어 있는 바와 같이 구조광에 담겨질 수 있는 정보의 밀도가 종래기술의 구조광 이미징 시스템에 담겨질 수 있는 정보의 밀도보다 더 높을 수 있음을 보여주는 것이다. 이는 심도와 측방향 분해능에 있어 이득으로 나타나거나 픽셀 수가 더 적은 이미지 센서를 사용하게 되어 시스템 복잡성, 화상 처리 자원과 비용을 줄이게 된다.
다음과 같은 구현예들이 또한 개시되어 있다:
구조광 이미징 시스템 구현예들(구조광 이미징 장치 구현예들):
E1. 이미지 센서(120)와 프로젝터(110)를 포함하는 구조광 이미징 시스템(10)으로서, 프로젝터(110)가 적어도 2개의 발광기 군(111a, 111b)을 포함하고 각각의 군이 개별적으로 작동 가능하도록 제어기(150)가 배치구성되어 있는 구조광 이미징 시스템(10).
E2. 프로젝터(110)의 단일 광 투사기(112)가 적어도 2개의 발광기 군(111a, 111b)에 의해 방출되는 구조광을 장면에 투사하도록 배치구성되어 있는 구현예(E1)에 따른 구조광 이미징 시스템(10).
E3. 적어도 2개의 발광기 군(111a, 111b)이 수직 공진 표면 발광 레이저(VCSEL)를 포함하는 구현예(E1) 또는 (E2)에 따른 구조광 이미징 시스템(10).
E4. 적어도 2개의 발광기 군(111a, 111b)이 단일 다이 위에 배치되어 있는 구현예(E1) 내지 (E3) 중 어느 하나에 따른 구조광 이미징 시스템(10).
E5. 적어도 2개의 발광기 군(111a, 111b)이 물리적으로 교차 배치되어 있는 구현예(E1) 내지 (E4) 중 어느 하나에 따른 구조광 이미징 시스템(10).
E6. 적어도 2개의 발광기 군(111a, 111b)이 동일하지만 변위된 구조광 패턴을 방출하도록 배치되어 있는 구현예(E1) 내지 (E5) 중 어느 하나에 따른 구조광 이미징 시스템(10).
E7. 적어도 2개의 발광기 군(111a, 111b)이 서로 다른 구조광 패턴을 방출하도록 배치되어 있는 구현예(E1) 내지 (E6) 중 어느 하나에 따른 구조광 이미징 시스템(10).
E8. 적어도 2개의 발광기 군(111a, 111b)이 교호 모드로 작동되게 할 수 있도록 제어기(150)가 배치구성되어 있는 구현예(E1) 내지 (E7) 중 어느 하나에 따른 구조광 이미징 시스템(10).
E9. 이미지 센서(120)가 픽셀의 어레이(121)를 포함하고 각각의 픽셀(121)이 발광기 군(111a, 111b) 당 별개의 저장 노드(124a, 124b)를 갖는 구현예(E1) 내지 (E8) 중 어느 하나에 따른 구조광 이미징 시스템(10).
E10. 이미지 센서(120)의 픽셀(121) 각각에 대해 발광기 군(111a, 111b) 당 하나의 저장 노드(124a, 124b)가 할당되게 할 수 있도록 제어기(150)가 배치구성되어 있는 구현예(E1) 내지 (E9) 중 어느 하나에 따른 구조광 이미징 시스템(10).
E11. 이미지 센서(120)의 픽셀(121)이 이미지 센서(120) 위 픽셀(121)의 저장 노드(124a, 124b)의 공통 모드 신호를 제거하도록 배치구성되어 있는 공통 신호 제거 회로를 포함하는 구현예(E1) 내지 (E10) 중 어느 하나에 따른 구조광 이미징 시스템(10).
E12. 적어도 2개의 발광기 군(111a, 111b)이 노출 중에 교대로 그리고 반복적으로 작동되게 할 수 있도록 제어기(150)가 배치구성되어 있고 이에 따라 신호가 픽셀(121)의 할당된 저장 노드(124a, 124b) 위에서 통합되는 구현예(E1) 내지 (E11) 중 어느 하나에 따른 구조광 이미징 시스템(10).
E13. 이미지 센서(120)의 픽셀(121)이 비행시간형 픽셀인 구현예(E1) 내지 (E12) 중 어느 하나에 따른 구조광 이미징 시스템(10).
구조광 이미징 방법 구현예들:
E14. 이미지 센서(120)와 프로젝터(110)를 이용하는 구조광 이미징 방법으로서, 프로젝터(110)가 적어도 2개의 발광기 군(111a, 111b)을 포함하고 상기 발광기 군이 각각 개별적으로 작동되는 구조광 이미징 방법.
E15. 적어도 2개의 발광기 군(111a, 111b)에 의해 방출되는 구조광을 단일 광 투사기(112)를 통해 장면에 투사하는 구현예(E14)에 따른 구조광 이미징 방법.
E16. 적어도 2개의 발광기 군(111a, 111b)을 교호 모드로 작동시키는 구현예(E14) 또는 (E15)에 따른 구조광 이미징 방법.
E17. 이미지 센서(120)의 픽셀(121) 각각에 대해 발광기 군(111a, 111b) 당 하나의 저장 노드(124a, 124b)를 할당하는 구현예(E14) 내지 (E16) 중 어느 하나에 따른 구조광 이미징 방법.
E18. 상기 이미지 센서의 저장 노드의 공통 모드 신호를 제거하는 구현예(E14) 내지 (E17) 중 어느 하나에 따른 구조광 이미징 방법.
E19. 적어도 2개의 발광기 군(111a, 111b)을 노출 중에 교대로 그리고 반복적으로 작동시키고 이에 따라 신호를 픽셀(121)의 할당 저장 노드(124a, 124b) 안에서 통합하는 구현예(E14) 내지 (E18) 중 어느 하나에 따른 구조광 이미징 방법.
10 구조광 이미징 시스템
110 프로젝터
111 발광 부품
111a/b 제1/제2 발광기 군
112 광 투사기
130 광학 시스템
120 이미지 센서
121 픽셀
122 감광 영역
123a/b 제1/제2 스위치
124a/b 제1/제2 저장 노드
125 신호 처리 회로
150 제어기
50 객체
20a 제1 발광기 군의 작동시 발광 구조광
20b 제2 발광기 군의 작동시 발광 구조광
30a 제1 발광기 군의 작동시 반사광
30b 제2 발광기 군의 작동시 반사광
도면 번역
도 4a 및 도 5에서
Prior Art: 종래기술

Claims (24)

  1. 구조광을 방출하기 위한 적어도 2개의 발광기 군을 포함하는 프로젝터, 상기 프로젝터로부터 나오는 광을 감지하기 위한 이미지 센서 및 제어부를 포함하는 구조광 이미징 장치로서, 적어도 2개의 발광기 군의 각각의 군을 개별적으로 작동시키기 위해 제어기가 구조화 및 배치구성되어 있는 구조광 이미징 장치.
  2. 제1항에 있어서, 상기 프로젝터가 단 하나의 광 투사기를 포함하고 상기 광 투사기가 적어도 2개의 발광기 군에 의해 방출되는 구조광을 장면에 투사하기 위해 구조화 및 배치되어 있는 구조광 이미징 장치.
  3. 제1항 또는 제2항에 있어서, 상기 적어도 2개의 발광기 군이 수직 공진 표면 발광 레이저를 포함하고, 특히 상기 적어도 2개의 발광기 군 각각이 적어도 하나의 수직 공진 표면 발광 레이저, 더욱 특별하게는 각각 복수 개의 수직 공진 표면 발광 레이저를 포함하는 구조광 이미징 장치.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 적어도 2개의 발광기 군이 단일 다이 위에 배치되어 있는 구조광 이미징 장치.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 적어도 2개의 발광기 군이 물리적으로 교차 배치되어 있는 구조광 이미징 장치.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서, 상기 적어도 2개의 발광기 군이 동일하지만 변위된 구조광 패턴을 방출하도록 구조화 및 배치되어 있는 구조광 이미징 장치.
  7. 제1항 내지 제5항 중 어느 한 항에 있어서, 상기 적어도 2개의 발광기 군이 서로 다른 구조광 패턴을 방출하도록 구조화 및 배치되어 있는 구조광 이미징 장치.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서, 상기 2개의 발광기 군을 교호 모드, 특히 상기 발광기 군 중 단 1개의 군을 한 번에 작동시키는 모드로 작동시키기 위해 제어기가 구조화 및 배치구성되어 있는 구조광 이미징 장치.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서, 상기 이미지 센서가 픽셀의 어레이를 포함하고, 각각의 픽셀(121)이 발광기 군 당 별개의 저장 노드를 가진 구조광 이미징 장치.
  10. 제1항 내지 제9항 중 어느 한 항에 있어서, 상기 이미지 센서가 적어도 2개의 저장 노드를 각각 포함하는 픽셀의 어레이를 포함하고 상기 픽셀 각각에 대해 발광기 군의 각각에 각각의 저장 노드 중 다른 하나를 할당하기 위해 제어기가 구조화 및 배치구성되어 있는 구조광 이미징 장치.
  11. 제1항 내지 제10항 중 어느 한 항에 있어서, 상기 이미지 센서가 픽셀의 어레이를 포함하고, 상기 픽셀 각각이 적어도 2개의 저장 노드와 공통 신호 제거 회로를 포함하고, 특히 상기 공통 신호 제거 회로 각각이 각각의 저장 노드로부터 공통 모드 신호를 제거하기 위해 배치구성되어 있는 구조광 이미징 장치.
  12. 제1항 내지 제11항 중 어느 한 항에 있어서, 상기 이미지 센서가 픽셀의 어레이를 포함하고, 상기 픽셀 각각이 적어도 2개의 저장 노드를 포함하고, 노출 중에 발광기 군 중 다른 군들을 반복적으로 교대 작동시키고 이들과 각각의 픽셀 내 저장 노드 중 서로 다른 저장 노드들을 할당하는 것과 동기화시키기 위해, 특히 각각의 픽셀 내 각각의 저장 노드 중 서로 다른 저장 노드들에 발광기 군 중 다른 군들의 구조광으로부터 나오는 전하를 포집하기 위해 제어기가 배치구성되어 있는 구조광 이미징 장치.
  13. 적어도 2개의 발광기 군을 포함하는 프로젝터를 제공하고, 상기 적어도 2개의 발광기 군으로부터 구조광을 방출하되 발광기 군 각각을 개별적으로 작동하게 하고, 상기 프로젝터로부터 나오는 광을 이미지 센서에 의해 감지하는 것을 포함하는 구조광 이미징 방법.
  14. 제13항에 있어서, 상기 적어도 2개의 발광기 군으로부터 구조광을 단 하나의 광 투사기를 통해 장면에 방출하고, 특히 상기 단일 광 투사기가 프로젝터의 광 투사기인 방법.
  15. 제13항 또는 제14항에 있어서, 상기 적어도 2개의 발광기 군을 교호 모드, 특히 상기 발광기 군 중 단 1개의 군을 한 번에 작동시키는 모드로 작동시키는 것을 포함하는 방법.
  16. 제13항 내지 제15항 중 어느 한 항에 있어서, 상기 이미지 센서가 적어도 2개의 저장 노드를 각각 포함하는 픽셀의 어레이를 포함하고 상기 방법이 픽셀 각각에 대해 발광기 군의 각각에 각각의 저장 노드 중 다른 하나를 할당하는 것을 포함하는 방법.
  17. 제13항 내지 제16항 중 어느 한 항에 있어서, 상기 이미지 센서가 적어도 2개의 저장 노드를 각각 포함하는 픽셀의 어레이를 포함하고 상기 방법이 픽셀 각각에서 각각의 픽셀의 각각의 저장 노드로부터 공통 모드 신호를 제거하는 것을 포함하고, 특히 상기 픽셀 각각이 공통 모드 신호 제거를 위한 공통 신호 제거 회로를 포함하는 방법.
  18. 제13항 내지 제17항 중 어느 한 항에 있어서, 노출 중에 상기 발광기 군 중 서로 다른 군을 반복적으로 교대로 작동시키는 것을 포함하는 방법.
  19. 제18항에 있어서, 상기 이미지 센서가 각각 적어도 2개의 저장 노드를 포함하는 픽셀의 어레이를 포함하고 상기 방법이 노출 중에 발광기 군 중 서로 다른 군을 반복적으로 교대로 작동시키는 것을 각각의 픽셀 각각에 저장 노드 중 서로 다른 저장 노드를 할당하는 것과 동기화시키는 것을 포함하는 방법.
  20. 제19항에 있어서, 상기 발광기 군 중 서로 다른 군들의 구조광으로부터 나오는 전하를 각각의 픽셀 내 각각의 저장 노드 중 서로 다른 저장 노드에 포집하는 것을 포함하는 방법.
  21. 장면의 심도 맵을 제작하기 위한 방법으로서,
    - 적어도 제1 및 제2 발광기 군을 포함하는 프로젝터의 구조광으로 장면을 조명하고;
    - 상기 조명이 발광기 군 각각을 개별적으로 작동시키는 것을 포함하고;
    - 상기 장면으로부터 반사되는 구조광의 일부 광들을 검출하고;
    - 상기 검출된 일부 광들로부터 장면의 심도 맵을 측정하는 것을 포함하는 방법.
  22. 제21항에 있어서, 상기 제1 발광기 군으로부터 나오는 검출된 일부 광들과 상기 제2 발광기 군으로부터 나오는 검출된 일부 광들 사이의 차이를 측정하는 것을 포함하는 방법.
  23. 장면의 심도 맵을 제작하기 위한 방법으로서,
    - 제1항 내지 제12항 중 어느 한 항에 따른 구조광 이미징 장치에 의해 구조광으로 장면을 조명하고;
    - 상기 구조광 이미징 장치에 의해 장면으로부터 반사된 구조광의 일부 광들을 검출하고;
    - 상기 검출된 일부 광들로부터 장면의 심도 맵을 측정하는 것을 포함하는 방법.
  24. 장면의 심도 맵을 측정하기 위한 심도 맵 제작 장치로서, 구조광으로 장면을 조명하고 상기 장면으로부터 반사되는 구조광의 일부 광들을 검출하기 위한 제1항 내지 제12항 중 어느 한 항에 따른 구조광 이미징 장치 및 상기 검출된 일부 광들로부터 장면의 심도 맵을 측정하기 위한 처리부, 특히 구조광 이미징 장치의 제어기에 포함되는 처리부를 포함하는 장치.
KR1020177002144A 2014-06-27 2015-06-23 구조광 이미징 시스템 및 방법 KR102425033B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CH9762014 2014-06-27
CH00976/14 2014-06-27
PCT/SG2015/050177 WO2015199615A1 (en) 2014-06-27 2015-06-23 Structured light imaging system and method

Publications (2)

Publication Number Publication Date
KR20170027788A true KR20170027788A (ko) 2017-03-10
KR102425033B1 KR102425033B1 (ko) 2022-07-25

Family

ID=54938550

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177002144A KR102425033B1 (ko) 2014-06-27 2015-06-23 구조광 이미징 시스템 및 방법

Country Status (5)

Country Link
US (1) US20170142393A1 (ko)
KR (1) KR102425033B1 (ko)
CN (1) CN106662433B (ko)
TW (1) TWI669482B (ko)
WO (1) WO2015199615A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210027763A (ko) * 2019-09-03 2021-03-11 한국과학기술원 스트라이프 패턴을 가지는 가변 구조광 생성 장치 및 방법

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110187878A1 (en) 2010-02-02 2011-08-04 Primesense Ltd. Synchronization of projected illumination with rolling shutter of image sensor
US10368056B2 (en) 2015-06-19 2019-07-30 Shanghai Percipio Technology Limited Depth data detection and monitoring apparatus
CN105554470B (zh) * 2016-01-16 2018-12-25 上海图漾信息科技有限公司 深度数据监控***
US10620300B2 (en) 2015-08-20 2020-04-14 Apple Inc. SPAD array with gated histogram construction
KR20170105701A (ko) * 2016-03-09 2017-09-20 한국전자통신연구원 스캐닝 장치 및 이의 동작 방법
US10241244B2 (en) 2016-07-29 2019-03-26 Lumentum Operations Llc Thin film total internal reflection diffraction grating for single polarization or dual polarization
CN106767707B (zh) * 2016-12-16 2019-06-04 中南大学 一种基于结构光的储物状态检测方法及***
CN106802138B (zh) 2017-02-24 2019-09-24 先临三维科技股份有限公司 一种三维扫描***及其扫描方法
US10445893B2 (en) 2017-03-10 2019-10-15 Microsoft Technology Licensing, Llc Dot-based time of flight
US10955552B2 (en) 2017-09-27 2021-03-23 Apple Inc. Waveform design for a LiDAR system with closely-spaced pulses
US10731976B2 (en) 2017-10-02 2020-08-04 Liqxtal Technology Inc. Optical sensing device and structured light projector
US10458783B2 (en) 2017-10-13 2019-10-29 Faro Technologies, Inc. Three-dimensional scanner having pixel memory
WO2019125349A1 (en) 2017-12-18 2019-06-27 Montrose Laboratories Llc Time-of-flight sensing using an addressable array of emitters
US10447424B2 (en) 2018-01-18 2019-10-15 Apple Inc. Spatial multiplexing scheme
DE102018105219A1 (de) 2018-03-07 2019-09-12 Ifm Electronic Gmbh Optisches Messsystem zur tiefensensitiven Messung und dessen Verwendung
US10877285B2 (en) 2018-03-28 2020-12-29 Apple Inc. Wavelength-based spatial multiplexing scheme
DE102018004078A1 (de) * 2018-05-22 2019-11-28 Friedrich-Schiller-Universität Jena Verfahren zur strukturierten Beleuchtung
CN108845332B (zh) * 2018-07-04 2020-11-20 歌尔光学科技有限公司 基于tof模组的深度信息测量方法及装置
US11054546B2 (en) 2018-07-16 2021-07-06 Faro Technologies, Inc. Laser scanner with enhanced dymanic range imaging
JP2020020681A (ja) * 2018-08-01 2020-02-06 ソニーセミコンダクタソリューションズ株式会社 光源装置、イメージセンサ、センシングモジュール
JP2020020680A (ja) * 2018-08-01 2020-02-06 ソニーセミコンダクタソリューションズ株式会社 光源装置、撮像装置、センシングモジュール
JP2020021842A (ja) * 2018-08-01 2020-02-06 ソニーセミコンダクタソリューションズ株式会社 光源装置、駆動方法、センシングモジュール
CN109299677A (zh) * 2018-09-07 2019-02-01 西安知微传感技术有限公司 一种人脸识别活体判断方法及***
US11493606B1 (en) 2018-09-12 2022-11-08 Apple Inc. Multi-beam scanning system
KR102604902B1 (ko) 2019-02-11 2023-11-21 애플 인크. 펄스형 빔들의 희소 어레이를 사용하는 깊이 감지
CN113490880A (zh) * 2019-03-01 2021-10-08 瑞识科技（深圳）有限公司 基于垂直腔面发射激光器(vcsel)阵列的图案投影仪
US11500094B2 (en) 2019-06-10 2022-11-15 Apple Inc. Selection of pulse repetition intervals for sensing time of flight
US11555900B1 (en) 2019-07-17 2023-01-17 Apple Inc. LiDAR system with enhanced area coverage
EP3798679B1 (en) * 2019-09-30 2023-06-21 STMicroelectronics (Research & Development) Limited Laser safety verification
US11733359B2 (en) 2019-12-03 2023-08-22 Apple Inc. Configurable array of single-photon detectors
US11297289B2 (en) * 2019-12-26 2022-04-05 Himax Technologies Limited Structured light projector
KR20210115715A (ko) * 2020-03-16 2021-09-27 에스케이하이닉스 주식회사 이미지 센싱 장치 및 그의 동작 방법
CN111526303B (zh) * 2020-04-30 2022-05-24 长春长光辰芯光电技术有限公司 结构光成像中去除背景光的方法
US11681028B2 (en) 2021-07-18 2023-06-20 Apple Inc. Close-range measurement of time of flight using parallax shift

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080285056A1 (en) * 2007-05-17 2008-11-20 Ilya Blayvas Compact 3D scanner with fixed pattern projector and dual band image sensor
KR20120105408A (ko) * 2009-06-25 2012-09-25 오스람 옵토 세미컨덕터스 게엠베하 두 개의 광원을 구비하는 광학 투사 장치
US20120274744A1 (en) * 2011-04-26 2012-11-01 Aptina Imaging Corporation Structured light imaging system
US20130038881A1 (en) * 2011-08-09 2013-02-14 Primesense Ltd. Projectors of Structured Light

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040222987A1 (en) * 2003-05-08 2004-11-11 Chang Nelson Liang An Multiframe image processing
MX2009010393A (es) * 2007-03-28 2009-11-23 Interdigital Tech Corp Metodo y aparato para indicar un flujo de bloque temporal al cual se direcciona un campo de acuse de recibo/no acuse de recibo transportado.
DE202010018585U1 (de) * 2009-05-27 2017-11-28 Koh Young Technology Inc. Vorrichtung zur Messung einer dreidimensionalen Form
US8570530B2 (en) * 2009-06-03 2013-10-29 Carestream Health, Inc. Apparatus for dental surface shape and shade imaging
US8165351B2 (en) * 2010-07-19 2012-04-24 General Electric Company Method of structured light-based measurement
CN102760234B (zh) * 2011-04-14 2014-08-20 财团法人工业技术研究院 深度图像采集装置、***及其方法
US9599805B2 (en) * 2011-10-19 2017-03-21 National Synchrotron Radiation Research Center Optical imaging system using structured illumination
US9020006B2 (en) * 2012-01-18 2015-04-28 Hewlett-Packard Development Company, L.P. High density laser optics
CN203385981U (zh) * 2012-03-15 2014-01-08 普莱姆森斯有限公司 结构光的投影机
US20150260509A1 (en) * 2014-03-11 2015-09-17 Jonathan Kofman Three dimensional (3d) imaging by a mobile communication device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080285056A1 (en) * 2007-05-17 2008-11-20 Ilya Blayvas Compact 3D scanner with fixed pattern projector and dual band image sensor
KR20120105408A (ko) * 2009-06-25 2012-09-25 오스람 옵토 세미컨덕터스 게엠베하 두 개의 광원을 구비하는 광학 투사 장치
US20120274744A1 (en) * 2011-04-26 2012-11-01 Aptina Imaging Corporation Structured light imaging system
US20130038881A1 (en) * 2011-08-09 2013-02-14 Primesense Ltd. Projectors of Structured Light

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210027763A (ko) * 2019-09-03 2021-03-11 한국과학기술원 스트라이프 패턴을 가지는 가변 구조광 생성 장치 및 방법

Also Published As

Publication number Publication date
WO2015199615A1 (en) 2015-12-30
TW201614189A (en) 2016-04-16
TWI669482B (zh) 2019-08-21
CN106662433B (zh) 2019-09-06
KR102425033B1 (ko) 2022-07-25
CN106662433A (zh) 2017-05-10
US20170142393A1 (en) 2017-05-18

Similar Documents

Publication Publication Date Title
KR102425033B1 (ko) 구조광 이미징 시스템 및 방법
CN108139483B (zh) 用于确定到对象的距离的***和方法
JP6977045B2 (ja) 物体までの距離を決定するためのシステム及び方法
JP7253556B2 (ja) 物体までの距離を測定するためのシステムおよび方法
JP7028878B2 (ja) 物体までの距離を測定するためのシステム
EP3652562B1 (en) Active illumination 3d zonal imaging system
US10401498B2 (en) Sensor system with active illumination
EP3519855B1 (en) System for determining a distance to an object
CN105554470B (zh) 深度数据监控***
KR20180122322A (ko) 3차원 바디를 생산하기 위한 방법
JP3482990B2 (ja) ３次元画像撮影装置
US20210109196A1 (en) Method for controlling sensor elements of a lidar measuring system
US20230019896A1 (en) Illumination device for a distance measurement camera system, a corresponding illumination method and a tof camera system
CN109991581B (zh) 飞行时间获取方法和飞行时间相机
CN113238248A (zh) 一种结构光与tof技术融合的3d成像装置
CN112241012A (zh) 测距传感器
US20200292306A1 (en) 3d camera system with rolling-shutter image sensor
JP3384329B2 (ja) ３次元画像撮影装置
CN110545390B (zh) 飞行时间传感器及方法
US20200184662A1 (en) Structured light projector
WO2021106303A1 (ja) レーザレーダ
JP5924765B2 (ja) 距離測定装置及び距離測定方法
KR102677519B1 (ko) 물체까지의 거리를 결정하기 위한 시스템 및 방법
WO2023195911A1 (en) Calibration of depth map generating system
WO2021144340A1 (en) Apparatus and method for detecting two photon absorption

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant