KR102368105B1 - 거리 정보 추출 장치 및 광학 기기 - Google Patents

거리 정보 추출 장치 및 광학 기기 Download PDF

Info

Publication number
KR102368105B1
KR102368105B1 KR1020170030262A KR20170030262A KR102368105B1 KR 102368105 B1 KR102368105 B1 KR 102368105B1 KR 1020170030262 A KR1020170030262 A KR 1020170030262A KR 20170030262 A KR20170030262 A KR 20170030262A KR 102368105 B1 KR102368105 B1 KR 102368105B1
Authority
KR
South Korea
Prior art keywords
information
phase
period
mirror
pattern
Prior art date
Application number
KR1020170030262A
Other languages
English (en)
Other versions
KR20180103393A (ko
Inventor
이재훈
박강열
Original Assignee
엘지이노텍 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지이노텍 주식회사 filed Critical 엘지이노텍 주식회사
Priority to KR1020170030262A priority Critical patent/KR102368105B1/ko
Publication of KR20180103393A publication Critical patent/KR20180103393A/ko
Priority to KR1020220022671A priority patent/KR102500863B1/ko
Application granted granted Critical
Publication of KR102368105B1 publication Critical patent/KR102368105B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/06—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the phase of light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N5/335—

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 실시예는, 광을 출력하는 광원; 상기 광원으로부터 출력된 광을 투과시켜 선형 패턴을 출력하는 렌즈; 상기 렌즈를 투과한 광을 반사시키고 제1 축을 기준으로 회전하는 미러; 상기 미러를 통해 출력된 광을 이용한 피사체의 정보를 획득하는 이미지 센서; 상기 광원과 미러를 제어하는 제어회로를 포함하고, 상기 제어회로는 상기 광원의 출력 세기가 제1 주기를 갖도록 상기 광원을 제어하고, 상기 미러의 구동이 제2 주기를 갖도록 상기 미러를 제어하고, 상기 제1 주기의 위상(phase)과 상기 제2 주기의 위상(Phase)이 제1 위상차를 가질 때의 이미지 센서의 제1 정보와 상기 제1 주기의 위상(phase)과 상기 제2 주기의 위상(Phase)이 제2 위상차를 가질 때의 이미지 센서의 제2 정보를 이용하여 거리 정보를 추출하는 거리 정보 추출 장치와 이를 포함하는 광학 기기에 관한 것이다.

Description

거리 정보 추출 장치 및 광학 기기{APPARATUS FOR EXTRACTING DEPTH INFORMATION AND OPTICAL APPARATUS}
본 실시예는 거리 정보 추출 장치 및 광학 기기에 관한 것이다.
이하에서 기술되는 내용은 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 기재한 것은 아니다.
거리 정보 추출 장치는, 피사체에 대한 2차원 정보에 깊이 정보를 추가하여 추출하는 장치이다. 거리 정보 추출 장치는, 이러한 특성 때문에 "3차원 스캐너(three-dementional scanner)"로 불리기도 한다.
거리 정보를 추출하는 방식에는 여러 종류가 있다. 일 예로, 위상 이동 스트라이프(PSS, Phase Shift Stripe) 패턴을 가지는 구조광을 위상 이동시켜 연속적으로 출사하여, 피사체에 투영된 패턴의 이동량(일그러짐)을 산출한 후, 광 삼각법(optical triangulation method)에 의해 거리 정보를 추출할 수 있다.
일반적으로 위상 이동 스트라이프 패턴을 가지는 구조광을 생성하기 위해서는 MEMS(micro-electro-mechanical systems) Ribbon을 이용한다. 그러나 MEMS Ribbon을 이용하는 경우, Ribbon을 투과하는 과정에서 광 손실이 높아 광 효율이 떨어지고, 변조 과정에서 항상 광원의 출력 세기를 피크(Peak)로 유지해야 되고, 변조광의 주파수를 높이기 위해서는 Ribbon 수를 증가시켜야 하는 문제점이 있다.
본 실시예는 광 효율이 높고, 보다 정밀한 거리 정보를 추출할 수 있는 거리 정보 추출 장치 및 이를 포함하는 광학 기기를 제공하고자 한다.
본 실시예의 거리 정보 추출 장치는, 광을 출력하는 광원; 상기 광원으로부터 출력된 광을 투과시켜 선형 패턴을 출력하는 렌즈; 상기 렌즈를 투과한 광을 반사시키고 제1 축을 기준으로 회전하는 미러; 상기 미러를 통해 출력된 광을 이용한 피사체의 정보를 획득하는 이미지 센서; 상기 광원과 미러를 제어하는 제어회로를 포함하고, 상기 제어회로는 상기 광원의 출력 세기가 제1 주기를 갖도록 상기 광원을 제어하고, 상기 미러의 구동이 제2 주기를 갖도록 상기 미러를 제어하고, 상기 제1 주기의 위상(phase)과 상기 제2 주기의 위상(Phase)이 제1 위상차를 가질 때의 이미지 센서의 제1 정보와 상기 제1 주기의 위상(phase)과 상기 제2 주기의 위상(Phase)이 제2 위상차를 가질 때의 이미지 센서의 제2 정보를 이용하여 거리 정보를 추출할 수 있다.
상기 이미지 센서가 획득하는 정보는 스트라이프 패턴 정보를 포함할 수 있다.
상기 이미지 센서가 획득하는 정보는 상기 이미지 센서로부터 출력되는 프레임을 구성하는 각 픽셀의 밝기 정보일 수 있다.
상기 광원의 출력 세기와 상기 미러의 회전은 동기화되어, 복수 개의 선형 패턴이 배열된 제1 스트라이프 패턴이 피사체에 조사될 수 있다.
상기 제1 위상차와 상기 제2 위상차의 차이에 의해, 상기 제1 정보 상의 제1 스트라이프 패턴과 상기 제2 정보 상의 제2 스트라이프 패턴은 위상차를 가질 수 있다.
상기 제1 위상차와 상기 제2 위상차의 차이는 상기 광원의 출력과 상기 미러의 회전 중 적어도 하나가 지연되어 발생할 수 있다.
상기 이미지 센서는 상기 제1 주기의 위상(phase)과 상기 제2 주기의 위상(Phase)이 제3 위상차를 가질 때, 제3 정보를 출력하고, 상기 제1 정보, 상기 제2 정보 및 상기 제3 정보를 이용하여 거리 정보를 추출할 수 있다.
상기 이미지 센서는 상기 제1 주기의 위상(phase)과 상기 제2 주기의 위상(Phase)이 제4 위상차를 가질 때의 제4 정보를 출력하고, 상기 제1 정보, 상기 제2 정보, 상기 제3 정보 및 상기 제4 정보를 이용하여 거리 정보를 추출할 수 있다.
광을 출력하는 광원; 상기 광원으로부터 출력된 광을 투과시켜 선형 패턴을 출력하는 렌즈; 상기 렌즈를 투과한 광을 반사시키고 제1 축을 기준으로 회전하는 미러; 상기 미러를 통해 출력된 광을 이용한 피사체의 정보를 획득하는 이미지 센서; 상기 광원과 미러를 제어하는 제어회로를 포함하고, 상기 이미지 센서는 스트라이프 패턴의 간격이 동일한 적어도 3개의 프레임을 추출하고, 상기 적어도 3개의 프레임 상호간에는 스트라이프 패턴의 간격이 동일하며 위상(phase)차이가 있고, 상기 적어도 3개의 프레임의 이미지 정보를 이용하여 거리정보를 추출할 수 있다.
상기 이미지 센서는 스트라이프 패턴의 간격이 동일한 4개의 프레임을 추출하고, 상기 4개의 프레임 각각의 스트라이프 패턴은 π/4씩 위상차이가 날 수 있다.
본 실시예에서는 광원의 출력 세기가 특정 주기를 가지도록 제어되는 광원과 회전 구동하여 광원에서 출사된 광을 반사시키는 미러에 의해, 위상 이동 스트라이트 패턴을 가지는 구조광을 생성할 수 있다. 그 결과, 광 효율이 높고, 출력광의 주기나 미러의 회전 구동 주기를 조절하여 모듈 사이즈의 증가 없이 구조광의 주파수를 조절할 수 있다.
도 1은 본 실시예의 거리 정보 추출 장치를 나타낸 개념도이다.
도 2는 본 실시예의 광 출사 모듈을 나타낸 개념도이다.
도 3은 정전류 아날로그 제어와 PWM(Pulse Width Modulation) 제어의 차이를 나타낸 개념도이다.
도 4는 본 실시예의 광 출사 모듈이 위상 이동된 복수 개의 프레임을 생성하는 것을 나타낸 개념도이다.
도 5는 본 실시예의 렌즈를 나타낸 사시도이다.
도 6은 본 실시예의 렌즈를 나타낸 단면도이다.
이하, 본 발명의 일부 실시 예들을 예시적인 도면을 통해 설명한다. 각 도면의 구성요소들에 참조부호를 기재함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호로 표시한다. 또한, 본 발명의 실시 예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결, 결합 또는 접속될 수 있지만, 그 구성 요소와 그 다른 구성요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
이하에서는, 본 실시예에 따른 광학기기를 설명한다.
광학기기는, 핸드폰, 휴대폰, 스마트폰(smart phone), 휴대용 스마트 기기, 디지털 카메라, 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션 등일 수 있다. 다만, 이에 제한되는 것은 아니며 거리 정보를 추출하기 위한 어떠한 장치도 가능하다.
광학기기는 본체(미도시), 디스플레이부(미도시), 깊이 정보 추출 장치(1000)를 포함할 수 있다.
본체는 광학기기의 외관을 형성할 수 있다. 본체는 일례로서 직육면체 형상을 포함할 수 있다. 다만, 이에 제한되는 것은 아니다. 변형예로서 본체의 적어도 일부는 라운드지게 형성될 수 있다. 본체는 깊이 정보 추출 장치(1000)를 수용할 수 있다. 본체의 일면에는 디스플레이부가 배치될 수 있다.
거리 정보 추출 장치(1000)는 본체에 배치될 수 있다. 거리 정보 추출 장치(l000)는 본체의 일면에 배치될 수 있다. 거리 정보 추출 장치(1000)는 적어도 일부가 본체 내부에 수용될 수 있다. 거리 정보 추출 장치(1000)는 피사체의 거리 정보를 추출할 수 있다. 거리 정보 추출 장치(1000)는 디스플레이부와 전기적으로 연결되어 피사체의 깊이 정보를 디스플레이할 수 있다.
디스플레이부는 본체에 배치될 수 있다. 디스플레이부는 본체의 일면에 배치될 수 있다. 즉, 디스플레이부는 거리 정보 추출 장치(1000)와 동일한 면에 배치될 수 있다. 또는, 디스플레이부는 본체의 일면과 다른 면에 배치될 수 있다. 디스플레이부는 거리 정보 추출 장치(1000)가 배치된 면의 맞은편에 위치하는 면에 배치될 수 있다. 디스플레이부는 거리 정보 추출 장치(1000)의 피사체 및 피사체의 깊이 정보를 디스플레이할 수 있다.
이하에서는, 도면을 참조하여 실시예의 거리 정보 추출 장치(1000)를 설명한다. 도 1은 본 실시예의 거리 정보 추출 장치를 나타낸 개념도이고, 도 2는 본 실시예의 광 출사 모듈을 나타낸 개념도이고, 도 3은 정전류 아날로그 제어와 PWM(Pulse Width Modulation) 제어의 차이를 나타낸 개념도이고, 도 4는 본 실시예의 광 출사 모듈이 위상 이동된 복수 개의 프레임을 생성하는 것을 나타낸 개념도이고, 도 5는 본 실시예의 렌즈를 나타낸 사시도이고, 도 6은 본 실시예의 렌즈를 나타낸 단면도이다.
본 실시예의 거리 정보 추출 장치(1000)는, 광 출력 모듈(100), 이미지 센서(200) 및 제어회로(300)를 포함할 수 있다.
광 출력 모듈(100)은 피사체(50)에 의해 반사되어 이미지 센서(200)에서 획득되는 프레임(frame)이 스트라이프 패턴을 포함 하도록 광을 제어하여 출력할 수 있다. 광 출력 모듈(100)은 피사체(50)에 스트라이프 패턴(Stripe pattern, 51)을 갖는 구조광을 조사하기 위해 선형(line shape)의 광을 순차적으로 조사할 수 있다. 광 출력 모듈(100)은 피사체(50)에 위상 이동 스트라이프 패턴(PSS, Phase Shift Stripe)이 형성된 구조광을 순차적으로 조사할 수 있다. 순차적으로 조사된 구조광의 위상은 차이를 가질 수 있다. 일 예로, 순차적으로 조사된 구조광의 위상은 π/2의 차이를 가질 수 있다. 이미지 센서(200)는 광 출력 모듈(100)에서 출력된 광을 이용하여 피사체(50)의 정보를 획득할 수 있다. 이미지 센서(200)는 광 출력 모듈(100)에서 출력되고 피사체(50)에 의해 반사된 광을 수신할 수 있다.
이미지 센서(200)는 하나의 이미지 프레임(frame)을 획득하기 위한 노출시간(exposure time)을 가질 수 있다. 따라서 광 출력 모듈(100)에서 하나의 선형의 광이 출력되더라도 선형의 광의 밝기 및/또는 선형의 광의 출력방향을 조절하여 복수의 선형 패턴을 갖는 스트라이프 패턴(51)을 하나의 이미지 프레임에서 획득할 수 있다. 하나의 이미지 프레임에서 획득된 스트라이프 패턴(51)에 포함되는 각각의 라인간의 간격은 일정할 수 있다. 즉, 스트라이프 패턴(51)을 구성하는 라인의 주기 또는 주파수는 일정할 수 있다. 이미지 센서(200)에서 획득하는 이미지 프레임은 복수개 일 수 있다. 이미지 센서(200)에서 획득하는 이미지 프레임은 3개 이상일 수 있다. 이미지 센서(200)에서 획득되는 복수의 프레임은 제1 프레임 및 제2 프레임을 포함할 수 있으며, 제1 프레임과 제2 프레임의 스트라이프 패턴의 위상은 서로 다를 수 있다. 예를 들어, 제1 프레임과 제2 프레임의 위상차는 π/2일 수 있다. 예를 들어, 4개의 프레임을 획득하는 경우 제1 프레임의 패턴을 기준으로 제2 프레임의 패턴은 π/2의 위상차를 갖고, 제3 프레임은 제2 프레임을 기준으로 π/2의 위상차를 갖고, 제4 프레임은 제3 프레임을 기준으로 π/2의 위상차를 가질 수 있다. π/2의 위상차가 나는 이미지를 이용하는 경우 구조광을 이용하여 거리 정보를 획득하기 위한 연산이 임의의 위상차를 갖는 이미지를 이용하는 것보다 간단해 질 수 있다.
제어회로(300)는 다양한 기능을 수행할 수 있다. 이를 위해, 제어 회로(300)는 복수 개의 제어부(control section)로 구성될 수 있다. 제1 제어부는 광 출력 모듈(100)을 제어하여 위상 이동 스트라이프 패턴(PSS, Phase Shift Stripe)을 생성하도록 할 수 있다. 제2 제어부는 이미지 센서(200)가 획득한 정보를 분석하고, 연산하여 피사체(50)의 거리 정보를 추출할 수 있다. 예를 들어, 삼각법(triangulation method)에 의해 피사체(50)의 거리 정보를 추출할 수 있다.
광 출력 모듈(100)은 광원(10), 렌즈(20), 미러(30) 및 포토다이오드(40)를 포함할 수 있다.
광원(10)은 광을 출력할 수 있다. 광원(10)에서 출력된 광은 렌즈(20)를 투과하여 미러(30)에 입사할 수 있다. 광원(10)은 일 예로, 레이저 다이오드(laser diode)일 수 있다. 광원(10)은 제어회로(300)와 전기적으로 연결될 수 있다. 광원(10)의 출력 세기는 제어회로(300)에 의해 제어될 수 있다.
광원(10)의 출력 세기는 시간에 따라 변화할 수 있다. 광원(10)의 출력 세기는 제1 주기 또는 제1 주파수를 가지도록 변화할 수 있다. 광원(10)의 출력 세기는 파형 또는 펄스 형태로 변화할 수 있다. 이 경우, 광원(10)의 출력 세기는 sin 파형 또는 cos 파형으로 변화할 수 있다.
광원(10)의 출력 세기는 정전류 아날로그 방식으로 제어될 수 있고, PWM(pulse width modulation) 방식으로 제어될 수 있다. 즉, 광원(10)의 출력 세기는 시간에 따라 광원(10)을 on/off하는 횟수(깜빡임 횟수)를 변경하여 제어될 수 있다.(도 3의 왼쪽 참조) 또, 광원(10)의 출력 세기는 시간에 따라 광원(10)에 인가되는 전압의 폭을 조절하는, PWM(pulse width modulation) 디지털 방식으로 제어될 수 있다.(도 3의 오른쪽 참조)
렌즈(20)는 광원(10)과 미러(30) 사이에 배치될 수 있다. 광원(10)에서 출력된 광은 렌즈(20)를 투과하여 미러(30)에 입사할 수 있다. 렌즈(20)는 광원(10)에서 출력된 광을 투과시켜 선형(line shape) 패턴을 출력시킬 수 있다. 즉, 광원(10)에서 출력된 작은 점 형태의 포인트 광이 렌즈(10)를 통과하면서 광의 진행방향에 수직한 제1 방향으로 길게 연장된 선형으로 출력될 수 있다. 즉, 렌즈(20)는 광원(10)에서 출력된 광을 스트라이프 패턴을 구성하기 위한 선형(line shape)특성을 갖는 광으로 변환할 수 있다.
렌즈(20)는 도 5에서 나타내는 바와 같이 입사면(21)과 투과면(22)을 포함할 수 있다. 입사면(21)은 볼록한 형태로, 광원(10)에서 출력된 광을 집광하는 기능을 수행할 수 있다. 투과면(22)은 애너모틱(anamorphic)한 형태를 가질 수 있다. 투과면(22)의 일측 단면에는 곡률이 형성되어 있지 않을 수 있다. 즉, 투과면(22)의 일측 단면은 선형일 수 있다. 또, 투과면(22)의 타측 단면에는 볼록한 곡률이 형성될 수 있다. 그 결과, 투과면(22)을 투과하는 광은 일축으로는 평행화되고, 타축으로만 집광되어 선형 패턴 광으로 변환될 수 있다. 여기서 "선형 패턴 광"은 단일 띠 형태의 광일 수 있다.
미러(30)는 렌즈(20)를 투과한 선형 패턴 광을 반사시킬 수 있다. 미러(30)는 제1 축을 기준으로 회전할 수 있다. 미러(30)는 제1 축을 기준으로 정회전과 역회전을 반복할 수 있다. 미러(30)는 전자기력에 의해 구동되는 멤스 미러일 수 있다.
미러(30)는 제어회로(300)와 전기적으로 연결될 수 있다. 미러(30)의 회전 구동은 제어회로(300)에 의해 제어될 수 있다. 미러(30)의 회전 구동은 제2 주기 또는 제2 주파수를 가지도록 제어될 수 있다.
미러(30)에 반사된 선형 패턴 광은 패턴 광을 구성하는 단일 띠 간의 거리가 일정 간격씩 이격되어 순차적으로 배열될 수 있다. 즉, 광원(10)의 출력 세기는 제1 주기 또는 제1 주파수를 가지도록 제어되고, 미러(30)의 회전 구동은 제2 주기를 또는 제2 주파수를 가지도록 제어되어 제1 스트라이프 패턴(51-1)이 생성될 수 있다. 제어회로(300)는, 피사체에 반사되어 이미지 센서(200)로 입사되는 광이 형성하는 제1 프레임과 제2 프레임의 제1 스트라이프 패턴(51-1)과 제2 스트라이프 패턴(51-2)이 서로 위상차를 가지도록, 광원(10) 출력 세기의 제1 주기와 미러(30) 회전 구동의 제2 주기가 위상차를 가지도록 제어할 수 있다.
광원(10)의 출력 세기의 제1 주기와 미러(30)의 회전 구동의 제2 주기는 순차적으로 제1 위상차, 제2 위상차 및 제3 위상차를 갖도록 구동될 수 있다. 제1 위상차, 제2 위상차 및 제3 위상차는 상호 간에 π/2의 차이를 가질 수 있다. 즉, 제1 위상차와 제2 위상차의 차이와 제2 위상차와 제3 위상차의 차이는 π/2일 수 있다. 다만, 제1 위상차, 제2 위상차 및 제3 위상차 상호 간의 차이가 이에 한정되는 것은 아니다. 일 예로, 제1 위상차, 제2 위상차 및 제3 위상차는 상호 간에 π/4의 차이를 가질 수 있다.
제1 위상차, 제2 위상차 및 제3 위상차의 차이는 다양한 제어방식에 의해 발생할 수 있다. 일 예로, 광원(10)의 출력과 미러(30)의 회전 중 적어도 하나가 지연(time delay)되어 발생할 수 있다.
광 출력 모듈(100)은 제1 위상차, 제2 위상차 및 제3 위상차의 차이에 의해 도 4에서 나타내는 바와 같이, 위상이 순차적으로 π/2만큼 이동된 위상 이동 스트라이프 패턴 광을 피사체(50)에 투영할 수 있다. 제1 스트라이프 패턴(51-1). 제2 스트라이프 패턴(51-2) 및 제3 스트라이프 패턴(51-3)은 상호 간에 π/2만큼의 위상 차이를 가질 수 있다. 이 경우, 제1 스트라이프 패턴(51-1)의 선형 패턴의 간격은 서로 동일하고, 제2 스트라이프 패턴(51-2)의 선형 패턴의 간격은 서로 동일하고, 제 3 스트라이프 패턴(51-3)의 선형 패턴의 간격은 서로 동일할 수 있다. 또, 제1 스트라이프 패턴(51-1)의 선형 패턴 간격, 제2 스트라이프 패턴(51-2)의 선형 패턴 간격 및 제3 스트라이프 패턴(51-3)의 선형 패턴 간격은 모두 동일할 수 있다.
즉, 두 번째로 조사된 제2 스트라이프 패턴(51-2)은 첫 번째로 조사된 제1 스트라이프 패턴(51-1)에서 π/2만큼 위상 이동하여 피사체(50)에 투영될 수 있다. 또, 세 번째로 조사된 제3 스트라이프 패턴(51-3)은 두 번째로 조사된 제2 스트라이프 패턴(51-2)에서 π/2만큼 위상 이동하여 피사체(50)에 투영될 수 있다.
다만, 순차적으로 조사되는 스트라이프 패턴(51)의 위상 차이가 π/2에 한정되는 것은 아니다. 일 예로, 순차적으로 조사되는 스트라이프 패턴(51)은 π/4의 위상 차이를 가질 수 있다.
포토다이오드(40)는 미러(30)와 피사체(50) 사이에 배치될 수 있다. 포토다이오드(40)는 미러(30)로부터 반사된 광 신호를 입력받아 광 강도에 따른 다양한 전기 신호를 발생시킬 수 있다. 포토다이오드(40)는 제어회로(300)와 전기적으로 연결될 수 있다. 포토다이오드(40)는 스트라이프 패턴(51)의 주파수를 감지하여 제어회로(300)로 전달할 수 있다. 제어회로(300)는 미러의 스캔 속도 또는 스캔 주파수를 감지하고, 미러 또는 광원의 출력을 보정 할 수 있다.
이하, 이미지 센서(200)에 대해서 설명한다. 이미지 센서(200)에는 광 출력 모듈(100)로부터 출력되어 피사체(50)에 반사된 광이 조사될 수 있다. 이미지 센서(200)는 광 출력 모듈(100)로부터 출력된 광을 이용하여 위상 이동 스트라이프 패턴이 투영된 피사체(50)의 정보를 획득하고, 프레임을 출력할 수 있다. 이미지 센서(200)가 출력하는 프레임은 이미지 정보를 포함할 수 있다.
이미지 센서(200)가 획득한 정보는 스트라이프 패턴(51) 정보를 포함할 수 있다. 또, 이미지 센서(200)가 획득한 정보는 이미지 센서(200)로부터 출력된 프레임을 구성하는 각 픽셀의 밝기 정보일 수 있다.
이미지 센서(200)는 광원(10)의 출력 세기의 제1 주기와 미러(30)의 회전 구동의 제2 주기가 제1 위상차를 가질 때, 제1 정보를 획득할 수 있다. 이미지 센서(200)는 광원(10)의 출력 세기의 제1 주기와 미러(30)의 회전 구동의 제2 주기가 제2 위상차를 가질 때, 제2 정보를 획득할 수 있다. 이미지 센서(200)는 광원(10)의 출력 세기의 제1 주기와 미러(30)의 회전 구동의 제2 주기가 제3 위상차를 가질 때, 제3 정보를 획득할 수 있다.
제1 정보는, 제1 스트라이프 패턴(51-1)이 투영된 피사체(50)에 대한 정보일 수 있다. 제2 정보는, 제2 스트라이프 패턴(51-2)이 투영된 피사체(50)에 대한 정보일 수 있다. 제3 정보는, 제3 스트라이프 패턴(51-3)이 투영된 피사체(50)에 대한 정보일 수 있다.
이미지 센서(200)는 광원(10)의 출력 세기의 제1 주기와 미러(30)의 회전 구동의 제2 주기가 제1 위상차를 가질 때, 제1 프레임을 출력할 수 있다. 이미지 센서(200)는 광원(10)의 출력 세기의 제1 주기와 미러(30)의 회전 구동의 제2 주기가 제2 위상차를 가질 때, 제2 프레임을 출력할 수 있다. 이미지 센서(200)는 광원(10)의 출력 세기의 제1 주기와 미러(30)의 회전 구동의 제2 주기가 제3 위상차를 가질 때, 제3 프레임을 출력할 수 있다.
제1 프레임은 제1 스트라이프 패턴(51-1)이 투영된 피사체(50)에 대한 제1 정보를 가질 수 있다. 제2 프레임은 제2 스트라이프 패턴(51-2)이 투영된 피사체(50)에 대한 제2 정보를 가질 수 있다. 제3 프레임은 제3 스트라이프 패턴(51-3)이 투영된 피사체(50)에 대한 제3 정보를 가질 수 있다.
이미지 센서(200)는 제어회로(300)와 전기적으로 연결되어, 제1 정보, 제2 정보 및 제3 정보를 제어회로(300)에 전달할 수 있다. 또, 이미지 센서(200)는 제어회로(300)와 전기적으로 연결되어, 제1 프레임, 제2 프레임 및 제3 프레임의 이미지 정보를 제어회로(300)에 전달할 수 있다.
제어회로(300)는 광원(10), 미러(30), 포토다이오드(40) 및 이미지 센서(200)와 전기적으로 연결될 수 있다. 제어회로(300)는 복수 개의 제어부(control section)로 구성되어 다양한 기능을 수행할 수 있다. 제어회로(300)는 광원(10)의 출력 세기를 제어할 수 있다. 제어회로(300)는 광원(10)의 출력 세기가 제1 주기를 가지도록 제어할 수 있다. 제어회로(300)는 광원(10)의 출력 세기가 제1 주파수를 가지도록 제어할 수 있다. 제어회로(300)는 미러(30)의 회전 구동을 제어할 수 있다. 제어회로(300)는 미러(30)의 회전 구동이 제1 주기를 가지도록 제어할 수 있다. 제어회로(300)는 미러(30)의 회전 구동이 제1 주파수를 가지도록 제어할 수 있다. 제어회로(300)는 광원(10)의 출력 세기와 미러(30)의 회전 구동이 동기화되도록 제어할 수 있다. 그 결과, 광원에서 순차적으로 출력된 단일의 선형 패턴은 배열되어 스트라이프 패턴(51)으로 변조될 수 있다. 스트라이프 패턴(51)은 구조광일 수 있다. 구조광은 피사체(50)에 투영되고, 피사체(50)의 거리 정보에 의해, 이동(shift)될 수 있다. 제어회로(300)는 피사체(50)에 투영된 구조광의 이동량을 산출할 수 있다. 제어회로(300)는 피사체(50)에 투영된 구조광의 이동량으로부터, 삼각법에 의해 피사체(50)의 거리 정보를 추출할 수 있다.
이하, 광원(10)의 출력 세기가 COS 파형에 따라 변화하는 경우의 거리 정보 추출에 대해서 설명한다. 이미지 센서로부터 획득된 제1 프레임의 제1 정보로부터 아래의 (1) 방정식의 I1 값이 측정되고, 제2 프레임의 제2 정보로부터 아래의 I2 값이 측정되고, 제3 프레임의 제3 정보로부터 아래의 I3 값이 측정될 수 있다. 미지수는 I0, Im , φ이고, I1, I2, I3는 상술한 바와 같이, 이미지 센서(200)로부터 측정될 수 있다. 이 경우, θ는 피사체(50)에 순차적으로 조사되는 스트라이프 패턴의 위상 차이만큼 증가할 수 있다. 즉, 피사체(50)에 순차적으로 조사되는 스트라이프 패턴의 위상 차이가 π/2인 경우, θ1은 π/2이고, θ2는 π일 수 있다.
(1) I0 + ImCOS(φ) = I1
(2) I0 + ImCOS(φ+θ1) = I2
(3) I0 + ImCOS(φ+θ2) = I3
미지수와 방정식의 개 수가 같으므로, 방정식의 해를 도출하여 위상값 φ(측정 위상값)를 결정할 수 있다. 피사체의 거리에 따른 기준 위상값과 측정 위상값을 비교하여 피사체 상의 상대적인 깊이 정보를 추출할 수 있다.
상술한 거리 정보 추출 방식은 일 예일 뿐, 본 실시예의 권리 범위가 이에 한정되는 것은 아니다. 본 실시예의 이미지 센서(200)는 제1 주기의 위상과 제2 주기의 위상이 제4 위상차를 가질 때, 제4 정보를 출력할 수 있고, 제1 정보, 제2 정보, 제3 정보 및 제4 정보를 이용하여 거리 정보를 추출할 수 있다. 이 경우, φ 값의 계산이 간편하며, 측정값의 정확성을 담보할 수 있다.
미지수는 I0, Im, φ이고, I1, I2, I3, I4는 상술한 바와 같이, 이미지 센서(200)로부터 측정될 수 있다. 따라서 아래의 4개의 방정식의 해를 구하여 φ을 도출할 수 있다.
(1) I0 + ImCOS(φ) = I1
(2) I0 + ImCOS(φ+θ1) = I2
(3) I0 + ImCOS(φ+θ2) = I3
(4) I0 + ImCOS(φ+θ2) = I4
또, 이보다 더 간편하게 아래의 수식을 통하여 φ(측정 위상값)를 직접 산출할 수 있다.
φ = tan-1(I4- I2/ I1- I3)
따라서 피사체의 거리에 따른 기준 위상값과 측정 위상값을 비교하여 피사체 상의 상대적인 깊이 정보를 추출할 수 있다.
이상에서, 본 발명의 실시 예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재할 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 광 출력 모듈 200: 이미지 센서
300: 제어회로
1000: 깊이 정보 추출 장치

Claims (10)

  1. 광을 출력하는 광원;
    상기 광원으로부터 출력된 광을 투과시켜 선형 패턴을 출력하는 렌즈;
    상기 렌즈를 투과한 광을 반사시키고 제1축을 기준으로 회전하는 미러;
    상기 미러를 통해 출력된 광을 이용한 피사체의 정보를 획득하는 이미지 센서; 및
    상기 광원과 미러를 제어하는 제어회로를 포함하고,
    상기 제어회로는 상기 광원의 출력 세기가 제1주기를 갖도록 상기 광원을 제어하고, 상기 미러의 구동이 제2주기를 갖도록 상기 미러를 제어하고, 상기 제1주기의 위상과 상기 제2주기의 위상의 차이로 인한 제1패턴과, 제2패턴이 형성되도록 제어하고,
    상기 제1패턴이 상기 피사체에 반사되어 상기 이미지 센서에 입력되는 제1정보와 상기 제2패턴이 상기 피사체에 반사되어 상기 이미지 센서에 입력되는 제2정보를 이용하여 상기 피사체에 대한 거리 정보를 추출하는 거리 정보 추출 장치.
  2. 제1항에 있어서,
    상기 제1패턴은 상기 제1주기의 위상과 상기 제2주기의 위상이 제1위상차를 갖는 패턴이고,
    상기 제2패턴은 상기 제1주기의 위상과 상기 제2주기의 위상이 제2위상차를 갖는 패턴이고,
    상기 렌즈는 입사면이 볼록하고, 투과면이 애너모픽(anamorphic) 형상을 갖는 거리 정보 추출 장치.
  3. 제1항에 있어서,
    상기 이미지 센서가 획득하는 정보는 상기 이미지 센서로부터 출력되는 프레임을 구성하는 각 픽셀의 밝기 정보인 거리 정보 추출 장치.
  4. 제1항에 있어서,
    상기 광원의 출력 세기와 상기 미러의 회전은 동기화되어, 복수 개의 선형 패턴이 배열된 제1스트라이프 패턴이 피사체에 조사되는 거리 정보 추출 장치.
  5. 제1항에 있어서,
    상기 미러와 상기 피사체 사이에 배치되고 상기 제1 및 제2패턴의 주파수를 감지하여 상기 제어회로로 전달하는 포토다이오드를 포함하는 거리 정보 추출 장치.
  6. 제2항에 있어서,
    상기 제1위상차와 상기 제2위상차의 차이는 상기 광원의 출력과 상기 미러의 회전 중 적어도 하나가 지연되어 발생하는 거리 정보 추출 장치.
  7. 제1항에 있어서,
    상기 이미지 센서는 상기 제1주기의 위상(phase)과 상기 제2주기의 위상(Phase)이 제3위상차를 가질 때, 제3정보를 출력하고, 상기 제1정보, 상기 제2정보 및 상기 제3정보를 이용하여 거리 정보를 추출하는 거리 정보 추출 장치.
  8. 제7항에 있어서,
    상기 이미지 센서는 상기 제1주기의 위상(phase)과 상기 제2주기의 위상(Phase)이 제4위상차를 가질 때의 제4정보를 출력하고, 상기 제1정보, 상기 제2정보, 상기 제3정보 및 상기 제4정보를 이용하여 거리 정보를 추출하는 거리 정보 추출 장치.
  9. 제1항에 있어서,
    상기 이미지 센서는 패턴의 간격이 동일한 적어도 3개의 프레임을 추출하고,
    상기 적어도 3개의 프레임 상호간에는 패턴의 간격이 동일하며 위상(phase)차이가 있고,
    상기 적어도 3개의 프레임의 이미지 정보를 이용하여 거리정보를 추출하는 거리 정보 추출 장치.
  10. 제9항에 있어서,
    상기 이미지 센서는 패턴의 간격이 동일한 4개의 프레임을 추출하고, 상기 4개의 프레임 각각의 패턴은 π/4씩 위상차이가 나는 거리 정보 추출 장치.

KR1020170030262A 2017-03-09 2017-03-09 거리 정보 추출 장치 및 광학 기기 KR102368105B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170030262A KR102368105B1 (ko) 2017-03-09 2017-03-09 거리 정보 추출 장치 및 광학 기기
KR1020220022671A KR102500863B1 (ko) 2017-03-09 2022-02-22 거리 정보 추출 장치 및 광학 기기

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170030262A KR102368105B1 (ko) 2017-03-09 2017-03-09 거리 정보 추출 장치 및 광학 기기

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020220022671A Division KR102500863B1 (ko) 2017-03-09 2022-02-22 거리 정보 추출 장치 및 광학 기기

Publications (2)

Publication Number Publication Date
KR20180103393A KR20180103393A (ko) 2018-09-19
KR102368105B1 true KR102368105B1 (ko) 2022-02-28

Family

ID=63718820

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020170030262A KR102368105B1 (ko) 2017-03-09 2017-03-09 거리 정보 추출 장치 및 광학 기기
KR1020220022671A KR102500863B1 (ko) 2017-03-09 2022-02-22 거리 정보 추출 장치 및 광학 기기

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020220022671A KR102500863B1 (ko) 2017-03-09 2022-02-22 거리 정보 추출 장치 및 광학 기기

Country Status (1)

Country Link
KR (2) KR102368105B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110943778B (zh) 2018-09-25 2021-12-07 北京外号信息技术有限公司 光通信装置以及用于传输和接收信息的方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015513825A (ja) * 2012-02-15 2015-05-14 メサ・イメージング・アー・ゲーＭｅｓａ Ｉｍａｇｉｎｇ Ａｇ ストライプ照明の飛行時間型カメラ
US20160330418A1 (en) 2014-01-07 2016-11-10 Mitsubishi Electric Corporation Image projection device and adjustment method

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101020999B1 (ko) * 2009-01-05 2011-03-09 엘지이노텍 주식회사 촬영 장치 및 이의 영상 제어방법
KR102099935B1 (ko) * 2014-01-29 2020-05-15 엘지이노텍 주식회사 Ｔｏｆ 카메라 장치
KR102117561B1 (ko) * 2014-01-29 2020-06-01 엘지이노텍 주식회사 센서 모듈 및 이를 포함하는 3차원 영상

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015513825A (ja) * 2012-02-15 2015-05-14 メサ・イメージング・アー・ゲーＭｅｓａ Ｉｍａｇｉｎｇ Ａｇ ストライプ照明の飛行時間型カメラ
US20160330418A1 (en) 2014-01-07 2016-11-10 Mitsubishi Electric Corporation Image projection device and adjustment method

Also Published As

Publication number Publication date
KR20220029608A (ko) 2022-03-08
KR102500863B1 (ko) 2023-02-16
KR20180103393A (ko) 2018-09-19

Similar Documents

Publication Publication Date Title
CN109798838B (zh) 一种基于激光散斑投射的ToF深度传感器及其测距方法
CN103748479B (zh) 用于提供距离信息的飞行时间摄像机及方法
EP2894492B1 (en) A method for driving a time-of-flight system
US11378690B2 (en) Time of flight sensor, a three-dimensional imaging device using the same, and a method for driving the three-dimensional imaging device
KR102486385B1 (ko) 깊이 정보 획득 장치 및 방법
US10091492B2 (en) Imaging apparatuses and a time of flight imaging method
US9894347B2 (en) 3D image acquisition apparatus and method of driving the same
JP6805504B2 (ja) 距離測定装置、移動体装置及び距離測定方法
CN107018295B (zh) 用于产生深度图像的方法和装置
EP3767335A1 (en) Distance measurement method and apparatus, and distance measurement sensor and distance measurement sensing array
US11393115B2 (en) Filtering continuous-wave time-of-flight measurements, based on coded modulation images
US11681025B2 (en) Simultaneous data transmission and depth image recording with time-of-flight cameras
CN111025315A (zh) 一种深度测量***及方法
CN111448474A (zh) 全波形多脉冲光学测距仪仪器
KR102500863B1 (ko) 거리 정보 추출 장치 및 광학 기기
JP6318663B2 (ja) レーザレーダ装置
TW202127635A (zh) 飛行時間感測系統及其中使用的圖像感測器
KR102101865B1 (ko) 카메라 장치
JP6042674B2 (ja) 三次元情報取得機能付き画像投影装置
CN117280681A (zh) 相机装置
JP2018036144A (ja) 距離計測システム、および距離計測方法
CN112946602A (zh) 多路径误差补偿的方法和多路径误差补偿的间接飞行时间距离计算装置
US20210356568A1 (en) Proximity detection system
KR102162019B1 (ko) 3 차원 이미지 생성 방법 및 장치
WO2021189633A1 (zh) 基于飞行时间的测距方法和相关测距***

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant