KR20230003089A - 안개 검출 및 적응형 응답 기능이 있는 라이다 시스템 - Google Patents

안개 검출 및 적응형 응답 기능이 있는 라이다 시스템 Download PDF

Info

Publication number
KR20230003089A
KR20230003089A KR1020227041479A KR20227041479A KR20230003089A KR 20230003089 A KR20230003089 A KR 20230003089A KR 1020227041479 A KR1020227041479 A KR 1020227041479A KR 20227041479 A KR20227041479 A KR 20227041479A KR 20230003089 A KR20230003089 A KR 20230003089A
Authority
KR
South Korea
Prior art keywords
lidar system
fog
operating
sensor
shots
Prior art date
Application number
KR1020227041479A
Other languages
English (en)
Inventor
안구스 파칼라
Original Assignee
아우스터, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아우스터, 인크. filed Critical 아우스터, 인크.
Publication of KR20230003089A publication Critical patent/KR20230003089A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815—Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/484—Transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/487—Extracting wanted echo signals, e.g. pulse detection
    • G01S7/4876—Extracting wanted echo signals, e.g. pulse detection by removing unwanted signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

LIDAR 시스템은 동작 중 센서 채널로부터 수집된 데이터의 분석에 기반하여 안개가 존재하는지 여부를 자동으로 결정할 수 있다. 안개가 존재하는 경우 LIDAR 시스템은 안개 모드로 동작할 수 있고, 안개가 존재하지 않는 경우 LIDAR 시스템은 "청정" 모드로 동작할 수 있다. 두 모드는 방출기 신호 및/또는 센서 데이터에 적용되는 신호 처리와 관련하여 서로 다를 수 있다.

Description

안개 검출 및 적응형 응답 기능이 있는 라이다 시스템
관련 출원의 교차 참조
본 출원은 2020년 4월 28일에 출원된 미국 임시 출원 번호 제63/016,916호와 2021년 4월 13일에 출원된 미국 출원 번호 제17/229,691호에 대한 우선권을 주장한다. 이들 두 출원의 개시내용은 본원에 참고로 포함된다.
본 출원은 또한, 2018년 3월 1일에 미국 특허 출원 번호 제15/909,628호로서 출원되고 2018년 9월 13일 미국 특허 출원 공개 번호 제2018/0259645호로서 공개된 것과도 관련된다.
본 개시내용은 일반적으로 라이다(LIDAR) 시스템에 관한 것으로, 특히 안개를 자동으로 검출하고, 안개를 검출하는 것에 응답하여 동작을 조정할 수 있는 LIDAR 시스템에 관한 것이다.
광 이미징, 검출 및 거리 측정(LIDAR: light imaging, detection and ranging) 시스템은 펄스형 레이저 광으로 타겟을 조명하고 센서를 이용하여 반사된 펄스를 측정함으로써 타겟까지의 거리를 측정한다. 그 다음 타겟의 디지털 3D 표현을 만들기 위해 전파 시간 측정치들이 사용될 수 있다. LIDAR 시스템은 특히 고고학, 지리학, 지질학, 임업, 지도 제작, 건설, 의료 영상, 군사적 애플리케이션 등을 포함하여 3D 깊이 영상이 유용한, 다양한 애플리케이션에 사용될 수 있다. 일부 애플리케이션에서, 예를 들어, 자율주행 차량은 차량 내비게이션 뿐만 아니라 장애물 검출 및 회피를 위해 LIDAR를 사용할 수 있다.
LIDAR 시스템은 일반적으로 적외선 파장을 사용하여 동작한다. 공기 중의 물방울은 방출된 광을 산란시키거나 반사할 수 있으며, 이는 센서 데이터로부터 전파 시간 정보를 추출하는 작업을 복잡하게 만들 수 있다. 특히, 대기 안개는 LIDAR 측정의 정확도를 손상시킬 수 있다.
본 발명의 특정 실시예는 안개가 존재하는 상태에서 개선된 성능을 제공하는 LIDAR 시스템 및 LIDAR 시스템의 동작 방법에 관한 것이다. 예를 들어, 본원에 설명된 일부 LIDAR 시스템은 동작 중 센서 채널로부터 수집된 데이터의 분석에 기반하여 안개가 존재하는지 여부를 자동으로 결정할 수 있다. 안개가 존재하는 경우, LIDAR 시스템은 안개 모드로 동작할 수 있고, 안개가 존재하지 않는 경우, LIDAR 시스템은 "청정" 모드로 동작할 수 있다. 두 모드는 방출기 신호 및/또는 센서 데이터에 적용되는 신호 처리와 관련하여 서로 다를 수 있다. 예를 들어, 바커 코딩(Barker coding)은 안개 모드에서는 사용될 수 있지만 청정 모드에서는 사용될 수 없다.
이하의 상세한 설명은 청구된 발명의 특성 및 이점에 대한 보다 나은 이해를 제공할 것이다.
도 1a 및 도 1b는 일부 실시예에 따른, 본원에서 또한 LIDAR 시스템으로도 지칭되는, 광 거리 측정 장치를 위한 자동차 애플리케이션을 도시한 것이다.
도 2는 일부 실시예에 따른 회전식 LIDAR 시스템의 보다 상세한 블록 다이어그램을 도시한 것이다.
도 3은 일부 실시예에서 사용될 수 있는 LIDAR 장치의 일 예를 도시한 것이다.
도 4는 청정 조건에서 LIDAR 채널의 동작을 예시한 것이다.
도 5a 내지 도 5c는 일부 실시예에 따른 LIDAR 시스템을 위한 바커 코딩의 일 예를 도시한 것이다.
도 6은 안개가 존재하는 상태에서 기존 LIDAR 채널의 동작의 일 예를 도시한 것이다.
도 7은 일부 실시예에 따른 바커 코딩을 사용한 안개 보상의 일 예를 도시한 것이다.
도 8은 일부 실시예에 따른 LIDAR 시스템을 동작시키기 위한 프로세스의 흐름도이다.
용어
용어 "거리 측정"은, 특히 주변의 환경을 측정하거나 차량 동작을 보조하기 위한 방법 및 디바이스의 맥락에서 사용될 때, 한 장소 또는 위치로부터 다른 장소 또는 위치까지의 거리 또는 거리 벡터를 결정하는 것을 지칭할 수 있다. "광 거리 측정"은 거리 측정 방법 또는 기능을 수행하기 위해 전자기파를 이용하는 한 유형의 거리 측정 방법을 지칭할 수 있다. 따라서, "광 거리 측정 장치"는 광 거리 측정 방법 또는 기능을 수행하기 위한 장치를 지칭할 수 있다. "라이다(Lidar)" 또는 "라이다(LIDAR)"는 펄스 레이저 광으로 타겟을 조사한 후 센서를 이용하여 반사 펄스를 측정함으로써 타겟까지의 거리를 측정하는 한 유형의 광 거리 측정 방법을 지칭할 수 있다. 따라서, "라이다 장치" 또는 "라이다 시스템"은 라이다 방법 또는 기능을 수행하기 위한 한 유형의 광 거리 측정 장치를 지칭할 수 있다. "광 거리 측정 시스템"은 적어도 하나의 광 거리 측정 장치, 예를 들어, 라이다 장치를 포함하는 시스템을 지칭할 수 있다. 시스템은 다양한 배열의 하나 이상의 다른 장치 또는 컴포넌트를 더 포함할 수 있다.
"펄스 트레인(pulse train)"은 함께 전송되는 하나 이상의 펄스를 지칭할 수 있다. 펄스 트레인의 방출 및 검출은 "샷(shot)"으로 지칭될 수 있다. 하나의 샷은 "하나의 검출 시간 간격"(또는 "검출 간격")에 걸쳐 발생할 수 있다.
"측정"은, 각각이 하나의 검출 시간 간격 동안 지속되는 N개의 샷에 걸쳐 방출되고 검출되는 N개의 다중 펄스 트레인을 포함할 수 있다. 전체 측정은 측정 시간 간격(또는 단순히 "측정 간격")에 걸쳐 수행될 수 있으며, 이 측정 시간 간격은 하나의 측정에 대한 N개의 검출 간격과 같을 수 있거나, 또는 예를 들어, 검출 간격들 사이에 일시 중지가 발생하는 경우에, 더 길 수 있다.
"광센서(photosensor)"는 광을 전기 신호로 변환할 수 있다. 광센서는 복수의 "광검출기", 예를 들어, 단일 광자 애벌란치 다이오드(SPAD: single-photon avalanche diode)를 포함할 수 있다. 광센서는 거리 측정의 측정 시의 특정 해상도 픽셀에 해당할 수 있다.
"히스토그램"은 시간 빈(time bin)에 걸쳐 이산화된 시간의 경과에 따른 일련의 값을 나타내는 임의의 데이터 구조를 지칭할 수 있다. 히스토그램은 각 시간 빈에 할당된 값을 가질 수 있다. 아래 예에서, 값은 시간 빈에 해당하는 특정 시간의 광 강도를 나타낼 수 있다. 예를 들어, 히스토그램은 하나 이상의 검출 간격 각각에서 특정 시간 빈 동안 발사한(fired) 광검출기의 수의 카운트를 저장할 수 있다. 다른 예로서, 히스토그램은 서로 다른 시간에서의 광 강도를 나타내는 아날로그 센서 신호의 디지털화에 해당할 수 있다. 따라서, 히스토그램은 광자 시계열 또는 광자 플럭스로 간주될 수 있다. 광검출기가 신호를 생성하고 그 신호가 히스토그램을 생성하는 데 사용될 때, 해당 광검출기는 "활성 동작(active operation)" 상태에 있을 수 있다. 히스토그램은 신호(예컨대, 방출기 펄스에서 발생하는 광) 및 노이즈로부터의 기여물을 포함할 수 있다. 원시 히스토그램(또는 누적 광자 시계열)은 필터링 또는 다른 동작 없이 메모리에 디지털화된 신호 및 노이즈를 포함할 수 있다. "필터링된 히스토그램"은 원시 히스토그램이 필터를 통과한 후의 출력을 지칭할 수 있다. 히스토그램은 단일 샷에 대해 생성되거나 다수의 샷에 대해 누적될 수 있다.
방출된 신호/펄스는 왜곡되지 않은, "공칭(nominal)", "이상적인(ideal)", 또는 "템플릿(template)" 펄스 또는 펄스 트레인을 지칭할 수 있다. 반사된 신호/펄스는 물체로부터 반사된 레이저 펄스를 지칭할 수 있고, 왜곡될 수 있다. 디지털화된 신호/펄스(또는 원시 신호)는 메모리에 저장된 바와 같은 검출 간격(또는 샷)의 하나 이상의 펄스 트레인의 검출로부터 디지털화된 결과를 지칭할 수 있고, 따라서 히스토그램의 일부와 동등할 수 있다. 검출된 신호/펄스는 신호가 검출된 메모리 내의 장소를 지칭할 수 있다. 검출된 펄스 트레인은 매칭된 필터에 의해 발견된 실제 펄스 트레인을 지칭할 수 있다. 예상된 신호 프로파일은 반사된 신호에서 특정 왜곡을 갖는 특정 방출 신호로부터 발생하는 디지털화된 신호의 형상을 지칭할 수 있다.
상세한 설명
1. LIDAR 시스템 개요
1.1. 예시적인 애플리케이션
도 1a 및 도 1b는 일부 실시예에 따른, 본원에서 또한 LIDAR 시스템으로도 지칭되는, 광 거리 측정 장치를 위한 자동차 애플리케이션을 도시한 것이다. LIDAR 시스템을 위한 자동차 애플리케이션은 본원에서 단지 설명만을 위해 선택되었으며, 본원에 설명된 센서는 다른 유형의 차량에서, 예를 들어, 보트, 항공기, 기차 등등에서 뿐만 아니라, 3D 깊이 영상이 유용한 다양한 다른 애플리케이션에서, 예를 들어, 의료 영상, 모바일폰, 증강 현실, 측지학, 지형학, 고고학, 지리학, 지질학, 지형학, 지진학, 임업, 대기 물리학, 레이저 유도, 항공 레이저 스와스 매핑(ALSM: airborne laser swath mapping), 및 레이저 고도 측정에서 이용될 수 있다. 일부 실시예에 따르면, LIDAR 시스템, 예를 들어, 회전식 스캐닝 LIDAR 시스템(101) 및/또는 정적 LIDAR 시스템(103)은 도 1a 및 도 1b에 도시된 바와 같이 차량(105)의 지붕에 탑재될 수 있다.
도 1a에 도시된 회전식(또는 스캐닝) LIDAR 시스템(101)은 LIDAR 광원(107) 및/또는 검출기 회로부(109)의 방향이 차량(105) 외부에 있는 외부 필드 또는 장면 내의 하나 이상의 시야(110) 주위로 스캐닝될 수 있는 스캐닝 아키텍처를 이용할 수 있다. 스캐닝 아키텍처의 경우, 방출된 광(111)은 도시된 바와 같은 주변 환경에 대해 스캐닝될 수 있다. 예를 들어, LIDAR 시스템(101) 내에 위치된 하나 이상의 광원(예컨대, 적외선 또는 근적외선 펄스 IR 레이저, 도시되지 않음)의 출력 빔(들)은 차량 주위의 장면을 조사하기 위해 스캐닝, 예를 들어, 회전될 수 있다. 일부 실시예에서, 회전 화살표(115)로 표현되는 스캐닝은 기계적 수단에 의해, 예를 들어, 광 방출기를 및/또는 센서를 회전식 기둥 또는 플랫폼에 탑재함으로써 구현될 수 있다. 일부 실시예에서, 스캐닝은 다른 기계적 수단을 통해, 예컨대, 검류계(galvanometer)의 사용을 통해 구현될 수 있다. 칩 기반 조향 기술은 또한, 예를 들어, 디지털 마이크로미러(DMD: digital micromirror) 장치, 디지털 광 처리(DLP: digital light processing) 장치 등과 같은 하나 이상의 MEMS 기반 반사기를 이용하는 마이크로칩을 사용함으로써 이용될 수 있다. 일부 실시예에서, 스캐닝은 비기계적 수단을 통해, 예를 들어, 전자 신호를 사용하여 하나 이상의 광학 위상 어레이를 조향함으로써, 실시될 수 있다.
도 1b에 도시된 정적 LIDAR 시스템(103)과 같은 고정식 아키텍처의 경우, 하나 이상의 솔리드 스테이트 LIDAR 서브시스템(예를 들어, 103a 및 103b)이 차량(105)에 탑재될 수 있다. 각각의 솔리드 스테이트 LIDAR 서브시스템은, 각각의 유닛이 자체적으로 캡처할 수 있는 것보다 더 큰 복합 시야를 캡처하기 위해 (가능하게는 유닛들 간에 부분적으로 중첩하는 및/또는 비중첩하는 시야로) 서로 다른 방향으로 지향할 수 있다.
스캐닝 또는 고정식 아키텍처에서, 장면 내의 물체는 LIDAR 광원에서 방출되는 광 펄스의 일부를 반사할 수 있다. 그 다음, 하나 이상의 반사된 부분은 다시 LIDAR 시스템으로 이동하고, 검출기 회로부에 의해 검출될 수 있다. 예를 들어, 반사된 부분(117)은 검출기 회로부(109)에 의해 검출될 수 있다. 검출기 회로부는 방출기와 동일한 하우징 내에 배치될 수 있다. 스캐닝 시스템 및 고정식 시스템의 양태는 상호 배타적이지 않으므로, 조합적으로 사용될 수 있다. 예를 들어, 도 1b의 개별 LIDAR 서브시스템(103a 및 103b)이 광학 위상 어레이와 같은 조향가능한 방출기를 이용하거나 또는 복합 유닛이 기계적 수단을 통해 회전하여, LIDAR 시스템 전방의 전체 장면을, 예를 들어, 시야(119)에서 시야(121)까지의 전체 장면을 스캐닝할 수 있다.
1.2. 예시적인 LIDAR 시스템
도 2는 일부 실시예에 따른 LIDAR 시스템(200)의 보다 상세한 블록 다이어그램을 도시한 것이다. LIDAR 시스템(200)은 광 거리 측정 장치(210)를 포함한다. 광 거리 측정 장치(210)는 거리 측정 시스템 컨트롤러(250), 광 전송(Tx) 모듈(240), 및 광 감지(Rx) 모듈(230)을 포함한다. 광 거리 측정 장치(210)는 광 전송 모듈(240)로부터의 하나 이상의 광 펄스(249)를 광 거리 측정 장치(210) 주변의 시야 내의 물체에 전송함으로써 거리 측정 데이터를 생성할 수 있다. 그 후, 전송된 광의 반사된 부분(239)은 약간의 지연 시간 후에 광 감지 모듈(230)에 의해 검출된다. 지연 시간에 기반하여, 반사 표면까지의 거리를 결정할 수 있다. 예를 들어, 연속파, 도플러 등과 같은 다른 거리 측정 방법을 또한 이용할 수 있다.
Tx 모듈(240)은 방출기들의 1차원 또는 2차원 어레이일 수 있는 방출기 어레이(242), 및 함께 합쳐질 때 마이크로 광학 방출기 채널 어레이를 형성할 수 있는 Tx 광학 시스템(244)을 포함할 수 있다. 방출기 어레이(242) 또는 개별 방출기는 레이저 소스의 예이다. Tx 모듈(240)은 또한 프로세서(245) 및 메모리(246)를 포함할 수 있다. 일부 실시예에서, 펄스 코딩 기법, 예를 들어, 바커 코드(Barker code) 등을 사용할 수 있다. 그러한 경우에, 메모리(246)는 광이 언제 전송되어야 하는지를 나타내는 펄스 코드를 저장할 수 있다. 예를 들어, 펄스 코드는 메모리(246)에 저장된 정수 시퀀스로서 저장될 수 있다.
Rx 모듈(230)은, 예를 들어, 광센서들의 1차원 또는 2차원 어레이일 수 있는, 센서 어레이(236)를 포함할 수 있다. 각각의 광센서(단지 센서라고도 지칭됨)는 광검출기, 예를 들어, SPAD 등의 집합을 포함할 수 있거나, 센서는 단일 광자 검출기(예를 들어, APD)일 수 있다. Tx 모듈(240)과 유사하게, Rx 모듈(230)은 Rx 광학 시스템(237)을 포함한다. Rx 광학 시스템(237)과 센서 어레이(236)는 함께 구성되어 마이크로 광학 수신기 채널 어레이를 형성할 수 있다. 각각의 마이크로 광학 수신기 채널은 주변 공간(volume)의 개별 시야 내의 이미지 픽셀에 해당하는 광을 측정한다. 센서 어레이(236)의 각 센서는, 예를 들어, 광 감지 모듈(230) 및 광 전송 모듈(240)의 기하학적 구성의 결과로서, 방출기 어레이(242)의 특정 방출기에 해당할 수 있다.
일부 실시예에서, Rx 모듈(230)의 센서 어레이(236)는 (예를 들어, CMOS 기술을 사용하여) 단일 기판 상의 모놀리식 장치의 일부로서 제조되며, 이러한 모놀리식 장치는 센서 어레이(236)의 개별 센서로부터의 원시 히스토그램의 저장 및 신호 처리를 위한 메모리(234)(예를 들어, SRAM) 및 프로세서(238)를 구현하는 광자 검출기 어레이 및 ASIC(231) 모두를 포함한다. 신호 처리의 예로서, 각각의 광자 검출기 또는 광자 검출기 그룹에 대해, ASIC(231)의 메모리(234)는 연속적인 시간 빈에 걸쳐 검출된 광자들의 카운트를 누적할 수 있고, 함께 합쳐진 이들 시간 빈은 반사된 광 펄스의 히스토그램 또는 시계열(즉, 광자들의 카운트 대 시간)을 재생성하는 데 사용될 수 있다. ASIC(231)은 매칭된 필터 및 피크 검출 처리를 구현하여, 반환 신호에 대응하는 시간 빈을 식별할 수 있다. 추가적으로, ASIC(231)의 프로세서(238)는 멀티-프로파일 매칭된 필터링과 같은 다양한 신호 처리 기법을 구현하여, 광검출기 포화, 소광, 또는 다른 효과로 인해 발생할 수 있는 펄스 형상 왜곡에 덜 민감한 광자 시계열을 복구하는 데 도움을 줄 수 있다. 일부 실시예에서, 이러한 신호 처리의 전부 또는 일부는 FPGA로서 구현될 수 있는 프로세서(258)에 의해 수행될 수 있다.
일부 실시예에서, Rx 광학 시스템(237)은 또한 ASIC(231)과 동일한 모놀리식 구조물의 일부일 수 있으며, 각 수신기 채널 층마다 별도의 기판 층을 가질 수 있다. 예를 들어, 개구 층, 시준 렌즈 층, 광학 필터 층, 및 광검출기 층은 다이싱 전에 웨이퍼 레벨에서 적층 및 본딩될 수 있다. 개구 층은 투명 기판의 상단에 불투명 기판을 배치하거나 투명 기판을 불투명 막으로 코팅함으로써 형성될 수 있다. 다른 실시예에서, Rx 모듈(230)의 하나 이상의 컴포넌트는 모놀리식 구조물의 외부에 있을 수 있다. 예를 들어, 개구 층은 핀-홀(pin-hole)을 갖는 별도의 금속 시트로서 구현될 수 있다.
일부 실시예에서, ASIC(231)으로부터 출력되는 광자 시계열(또는 히스토그램)은 추가 처리를 위해 거리 측정 시스템 컨트롤러(250)로 전송된다. 예를 들어, 데이터는 거리 측정 시스템 컨트롤러(250)의 하나 이상의 인코더에 의해 인코딩된 다음 데이터 패킷으로서 사용자 인터페이스(215) 및/또는 차량 제어 유닛(217)으로 전송될 수 있다. 거리 측정 시스템 컨트롤러(250)는, 예를 들어, FPGA와 같은 프로그래머블 로직 장치를 사용하여, ASIC으로서 또는 ASIC의 일부로서 구성될 수 있거나, 또는 메모리(254)를 갖는 프로세서(258)를 사용하여 구현될 수 있거나, 또는 상기한 것 또는 다른 처리 하드웨어의 임의의 조합을 사용하여 구현될 수 있다. 거리 측정 시스템 컨트롤러(250)는 광 검출 시작 커맨드 및 광 검출 중지 커맨드와 광검출기 파라미터 조정 커맨드를 포함하는 커맨드를 전송(또는 중계)함으로써 광 감지 모듈(230)을 제어할 수 있다. 유사하게, 거리 측정 시스템 컨트롤러(250)는 또한 광 방출 시작 커맨드 및 광 방출 중지 커맨드와 광 방출기 파라미터(예를 들어, 펄스 코드, 강도 등) 조정 커맨드를 포함하는 커맨드를 전송(또는 중계)함으로써 광 전송 모듈(240)을 제어할 수 있다. 일부 실시예에서, 거리 측정 시스템 컨트롤러(250)는 광 감지 모듈(230) 및 광 전송 모듈(240)과 데이터를 교환하기 위한 하나 이상의 유선 인터페이스 또는 커넥터를 갖는다. 다른 실시예에서, 거리 측정 시스템 컨트롤러(250)는 광학 통신 링크와 같은 무선 인터커넥트를 통해 광 감지 모듈(230) 및 광 전송 모듈(240)과 통신한다.
전기 모터(260)는, 광 거리 측정 장치(210)의 컴포넌트, 예를 들어, Tx 모듈(240) 및 Rx 모듈(230)이 회전가능한 경우에, 제공될 수 있다. 시스템 컨트롤러(250)는 전기 모터(260)를 제어할 수 있고, 예를 들어, 회전을 시작하고, 회전을 중지하고, 그리고 회전 속도를 가변시킬 수 있다.
일부 실시예에서, LIDAR 시스템(200)은 사용자 인터페이스(215)의 하나 이상의 인스턴스와 상호작용할 수 있다. 사용자 인터페이스(215)의 상이한 인스턴스는 다양할 수 있으며, 예를 들어, 모니터, 키보드, 마우스, CPU 및 메모리를 갖는 컴퓨터 시스템; 자동차 내의 터치 스크린; 터치 스크린을 갖는 핸드헬드 장치; 또는 임의의 다른 적합한 사용자 인터페이스를 포함할 수 있다. 사용자 인터페이스(215)는 광 거리 측정 장치(210)가 탑재되는 물체에 대해 로컬일 수 있지만, 또한 원격으로 동작되는 시스템일 수도 있다. 예를 들어, 광 거리 측정 장치(210)로/로부터의 커맨드 및 데이터는 셀룰러 네트워크(LTE 등), 개인 영역 네트워크(블루투스, 지그비 등), 근거리 네트워크(Wi-Fi, IR 등), 또는 인터넷과 같은 광역 네트워크를 통해 라우팅될 수 있다.
사용자 인터페이스(215)는, 광 거리 측정 장치(210)로부터의 LIDAR 데이터(예를 들어, 원시 히스토그램 데이터, 필터링된 히스토그램 데이터, 및/또는 전파 시간 또는 거리 측정의 측정치를 포함함)를 사용자에게 제공할 수 있고, 또한 사용자로 하여금 하나 이상의 커맨드를 이용하여 LIDAR 시스템(200)을 제어할 수 있게 하는 하드웨어 컴포넌트와 소프트웨어 컴포넌트의 조합을 포함할 수 있다. 예시적인 커맨드는, LIDAR 시스템을 활성화 또는 비활성화하고; 광검출기 노출 레벨, 바이어스, 샘플링 지속 기간 및 다른 동작 파라미터(예를 들어, 방출된 펄스 패턴 및 신호 처리)를 지정하고; 밝기와 같은 광 방출기 파라미터를 지정하는 커맨드를 포함할 수 있다. 추가적으로, 커맨드는 사용자로 하여금 결과를 디스플레이하기 위한 방법을 선택하게 할 수 있다. 사용자 인터페이스는 LIDAR 시스템 결과를 디스플레이할 수 있고, 이러한 결과는, 예를 들어, 단일 프레임 스냅샷 영상, 지속적으로 업데이트되는 비디오 영상, 및/또는 일부 또는 모든 픽셀에 대한 다른 광 측정의 표시를 포함할 수 있다. 일부 실시예에서, 사용자 인터페이스(215)는 광 거리 측정 장치(210)로부터 물체의 거리(근접도)를 추적하고, 잠재적으로 사용자에게 경고를 제공하거나 다른 목적을 위해 이러한 추적 정보를 제공할 수 있다. 예를 들어, 자동차 운전자 지원 애플리케이션에서, 사용자 인터페이스(215)는 운전자에게 근접도 경고를 제공하고, 운전자 주행 분석을 위해 추적 정보를 제공하는 등의 작업을 수행할 수 있다.
일부 실시예에서, 광 거리 측정 장치(210)는 차량 제어 유닛(217)(또는 다른 장비 제어 유닛)과 통신할 수 있고, (또는 다른 장비)의 제어와 연관된 하나 이상의 파라미터는 수신된 LIDAR 데이터에 기반하여 수정될 수 있다. 예를 들어, 완전 자율 주행 차량에서, LIDAR 시스템은 차를 둘러싼 환경의 실시간 3D 영상을 제공하여 내비게이션을 지원할 수 있다. 다른 경우에, LIDAR 시스템은, 예를 들어, 임의의 개수의 상이한 시스템에, 예를 들어, 적응형 크루즈 컨트롤, 자동 주차, 운전자 졸림 모니터링, 블라인드 스팟 모니터링, 충돌 방지 시스템 등에 3D 영상 데이터를 제공할 수 있는 안전 시스템의 일부로서 또는 고급 운전자 보조 시스템(ADAS: advanced driver-assistance system)의 일부로서 이용될 수 있다. 그러나, 광 거리 측정 장치(210)는 자동차 애플리케이션으로 제한되지는 않는다는 것을 이해해야 한다.
1.3. 예시적인 LIDAR 어레이
일부 실시예에서, 방출기 어레이(242)와 센서 어레이(236)는 단일 ASIC으로 구성되거나 매칭된 ASIC의 쌍으로 구현될 수 있다. 도 3은 일부 실시예에서 사용될 수 있는 LIDAR 장치(300)의 단순화된 측단면도를 도시한 것이다. LIDAR 장치(300)는 광 전송(Tx) 모듈(310) 및 광 감지(Rx) 모듈(340)을 포함하며, 이들은 도 2의 광 전송 모듈(240) 및 광 감지 모듈(230)에 대응할 수 있다. 광 전송 모듈(310) 및 광 감지 모듈(340)에 대한 추가적인 구성의 예는 2019년 3월 5일에 허여된 미국 특허 번호 제10,222,475호(발명의 명칭: "Optical Imaging Transmitter with Brightness Enhancement" 및 2018년 11월 15일 공개된 미국 특허 출원 공개 번호 제2018/0329061호(발명의 명칭: "Spinning LIDAR Unit with Micro-optics Aligned behind Stationary Window")에 기재되어 있다.
도 3에 도시된 바와 같이, Tx 모듈(310)은 Tx측 마이크로 광학 패키지(320) 및 벌크 광학 요소(330)를 포함할 수 있다. Tx측 마이크로 광학 패키지(320)(이는 도 2의 방출기 어레이(224) 및 Tx 광학 시스템(244)을 구현할 수 있음)는 발광기(322)의 어레이를 포함하고, 선택적으로 마이크로 광학 렌즈 층(324) 및 개구 층(326)을 포함한다. 방출기(322)는 1차원 또는 2차원 어레이의 전송기 채널, 예를 들어, 박스형 영역에 도시된 채널(325)로 배열될 수 있다. 전송기 채널(325) 각각은 협대역 광을 방출할 수 있는 하나 이상의 광 방출기(322), 예를 들어, 근적외선(NIR) 수직 공동 반도체 레이저(VCSEL: vertical cavity semiconductor laser) 등을 갖고, 선택적으로 렌즈 층(324)으로부터의 마이크로 렌즈 및 개구 층(326)으로부터의 개구를 갖는다.
동작 시에, Tx 모듈(310)은, 예를 들어, 협대역 광의 펄스, 예를 들어, 10 nm, 2 nm, 1 nm, 0.5 nm, 0.25 nm 이하의 스펙트럼 폭을 갖는 NIR 광의 펄스를 하나 이상의 시야 내로 전송함으로써, LIDAR 시스템 주위의 구역 내의 물체에 대한 활성 조명을 제공한다. 방출기(322) 각각으로부터 방출된 광은 Tx측 마이크로 광학 렌즈 층(324)의 마이크로 광학계 중 하나에 접근함에 따라 발산한다. 마이크로 광학 렌즈 층(324)으로부터의 마이크로 렌즈는 발산하는 광을 캡처하고, 이를 개구 층(326)의 개구와 일치하는 초점 평면에 다시 포커싱하며, 개구 층(326)은 마이크로 광학계 어레이 및 방출기 어레이의 위치에 대응하는 개구 어레이를 포함한다. 개구 어레이(326)는 시스템 내의 누화를 감소시킬 수 있다. 마이크로 광학 렌즈 층(324)의 마이크로 렌즈를 빠져 나온 후, 포커싱된 광은 Tx측 벌크 이미징 광학 모듈(330)과 만나는 원뿔 형태로 다시 발산한다. 일부 실시예에서, 마이크로 광학 렌즈 층(324)과 Tx 측 벌크 이미징 광학 모듈(330) 사이의 이격은 그들의 초점 거리의 합과 동일하며, 그에 따라 개구 층(326)에 포커싱된 광은 Tx측 벌크 이미징 광학 모듈(330)의 출력에서 시준된 광으로 나타나고, 각각의 시준된 번들의 광선은 서로 다른 주 광선 각도로 Tx측 벌크 이미징 광학 모듈(330)을 빠져나가게 된다. 따라서, 각각의 방출기로부터의 광은 장치의 전방에서 서로 다른 시야로 지향된다. 일부 실시예에서, Tx측 벌크 이미징 광학계(330)는 렌즈의 영상측(이는 방출기측임) 상의 텔레센트릭(telecentric)이고, 즉, 벌크 이미징 광학계(330)의 영상측 상의 주 광선들은 서로 실질적으로 평행하고, 영상 평면 상의 모든 위치에 대해 영상 평면(이는 방출기 평면임)에 수직이다. 이러한 구성에서, 방출기 어레이는 텔레센트릭 소스로서 동작할 수 있고, 즉, 광학계는 방출기 어레이에 의해 생성된 실질적으로 모든 광을 캡처할 수 있으며, 심지어는 어레이의 외측 엣지 상의 방출기로부터 방출된 광도 캡처할 수 있다.
Rx 모듈(340)은 Rx측 마이크로 광학 패키지(350) 및 벌크 광학 요소(360)를 포함할 수 있다. Rx측 마이크로 광학 패키지(350)(이는 도 2의 센서 어레이(236) 및 Rx 광학 시스템(237)을 구현할 수 있음)는 광검출기(356)의 어레이를 포함하고, 선택적으로 개구 어레이(352) 및 마이크로 광학 렌즈 층(354)을 포함한다. 광센서(356)는, 활성 구역에 입사하는 광자를 검출하고, 입사 광자에 응답하여 전기 신호(예를 들어, 전류)를 생성하는 전자 장치를 포함할 수 있다. 광센서(356)는, 예를 들어, 하나 이상의 표준 광다이오드, 애벌란치 광다이오드(APD: avalanche photodiode), 단일 광자 애벌란치 다이오드(SPAD: single-photon avalanche diode), 공진 공동 광다이오드(RCP: resonant cavity photodiode), 광학 나노안테나, 마이크로볼로미터, 또는 다른 적합한 광검출기를 포함할 수 있다. 일부 실시예에서, 광센서(356)는 하나의 큰 광자 검출 구역과 비교하여 종종 더 높은 다이내믹 레인지, 더 빠른 응답 시간, 또는 다른 유익한 특성을 갖는 단일 센서로서 작용하도록 함께 협력하는, 여러 개의 광자 검출기 구역(예를 들어, 각각 서로 다른 SPAD)로 구성될 수 있다.
광센서(356)는 1차원 또는 2차원 어레이의 센서 채널, 예를 들어, 박스형 영역에 도시된 채널(302)로 배열될 수 있다. 각각의 센서 채널(302)은, 필터(예를 들어, 주변 광을 걸러내기 위해 방출기(322)의 방출 파장에 매칭되는 협대역 필터), 및/또는 검출 효율을 개선하고 이웃하는 센서 채널(예를 들어, 확산기, 수렴 렌즈, 개구, 광학적으로 불투명한 튜브 스페이서 구조물, 광학적으로 불투명한 원추형 스페이서 구조물 등)과의 누화를 줄이기 위한 구조적 요소와 같은, 하나 이상의 광센서(356) 및 다른 컴포넌트를 포함할 수 있다. 각각의 센서 채널(302)은 또한 마이크로 광학 렌즈 층(356)으로부터의 마이크로 렌즈 및 개구 층(352)으로부터의 개구를 가질 수 있다. Rx측 마이크로 광학 패키지(350)의 센서 채널(302)은 각각의 전송기 채널(325)에 대응하는 센서 채널(302)과 함께, Tx측 마이크로 광학 패키지(320)와 매칭하도록 배열될 수 있다. 일부 실시예에서, 각각의 개별 센서 채널(302)의 시야는 해당 전송기 채널(325)의 시야와 매칭된다.
Rx 모듈(340)은 또한 Rx측 벌크 이미징 광학 모듈(360)을 포함할 수 있다. 동작 시, 광선(305)으로서 도시된, 시야 내의 물체에서 반사되는 방출된 광의 부분은 여러 방향에서 Rx측 벌크 이미징 광학 모듈(360)에 진입한다. Rx측 벌크 이미징 광학 모듈(360)은, Rx측 개구 층(352)과 일치하는 평면에 광선(305)을 포커싱하여 광이 센서 채널(302)에 진입할 수 있게 하는 단일 렌즈 또는 멀티 렌즈 그룹을 포함할 수 있다. Rx측 벌크 이미징 광학 모듈(360)은 또한 주변 광을 수집할 수 있다. 본원에 사용되는 바와 같이, "주변(ambient)" 광은, 환경에서 전파될 수 있고 Tx 모듈(310)로부터 발생되지 않은 임의의 광선을 지칭한다. 주변 광은 환경(예를 들어, 태양, 인공 조명 기구, 교통 신호 등)에 존재하는 임의의 광원으로부터의 직접 광 뿐만 아니라 환경 내의 물체에 의해 반사되거나 산란된 광(예를 들어, 도로 표지판, 차량, 도로 표면, 나무 등으로부터 반사된 광)을 포함할 수 있다. 주변 광은 임의의 방향으로 전파될 수 있고, 광선(305)과 유사한 방향으로 전파되는 주변 광은 Rx측 벌크 이미징 광학 모듈(360)에 진입하고 이를 통과할 수 있다.
1.4. 예시적인 동작
동작 시, LIDAR 시스템(예컨대, 위에서 설명된 임의의 예시적인 시스템)은 거리 측정 동작을 수행할 수 있다. 단일 채널에 대한 거리 측정 동작의 일 예가 설명될 것이다. LIDAR 어레이에서, 서로 다른 채널이 유사한 방식으로 동작하여 시야 내의 서로 다른 픽셀 구역에 대한 거리 측정 동작을 수행할 수 있음을 이해해야 한다. 누화가 우려되지 않는 범위 내에서, 서로 다른 채널이 동시에 동작할 수 있다.
도 4는 청정 조건에서의 LIDAR 채널의 동작을 예시한 것이다. 제1 플롯(400)은 시간(수평 축)의 함수로서 전송기(Tx) 채널(예를 들어, 도 3의 방출기 채널(325))에 인가된 전력을 도시한 것이다. 제2 플롯(405)는 시간의 함수로서 수신기(Rx) 채널(예를 들어, 도 3의 센서 채널(302))에서의 신호 강도(수신된 광의 측정치)를 도시한 것이다. 일부 실시예에서, Rx 신호 강도는 히스토그램, 예를 들어 히스토그램(450)으로 표현될 수 있다. 예를 들어, 수신기 채널에 광자를 카운팅하는 광센서(예컨대, SPAD 어레이)가 포함된 경우, 각 시간 간격(또는 시간 빈)에서 카운팅된 광자의 수는 신호 강도의 측정치로서 역할을 할 수 있다. 다른 예로서, 수신기 채널이 주어진 시간에 광 강도를 나타내는 아날로그 전기 신호를 생성하는 광센서를 포함하는 경우, 신호 레벨을 디지털화하고, 이를 사용하여 히스토그램(450)을 생성할 수 있다. 히스토그램(450)은 임의의 수의 시간 빈을 포함할 수 있다는 것을 이해해야 한다. 도면에는 약 20개의 시간 빈이 도시되지만, 실제로는 시간 빈의 수는 훨씬 더 클 수 있으며(예를 들어, 약 1,000개의 시간 빈), 특정 구현예의 의도된 범위와 해상도에 따라 시간 빈의 수를 선택할 수 있다.
방출기 채널(325)에서, 광원(예를 들어, 도 3에 도시된 VCSEL 또는 다른 방출기(322))은 짧은 지속 기간의 광 펄스(410)를 생성한다. 반치전폭(FWHM: full-width half maximum)을 특징으로 하는 예시적인 레이저 펄스 지속 기간은 수 나노초이며, 단일 방출기의 피크 전력은 대략 수 와트이다. 측면 방출기 레이저 또는 광섬유 레이저를 사용하는 실시예는 훨씬 더 높은 피크 전력을 가질 수 있는 반면, 작은 직경의 VCSEL을 갖는 실시예는 수십 밀리와트 내지 수백 밀리와트의 피크 전력을 가질 수 있다.
펄스의 전송을 위한 Tx 시작 시간(415)은 펄스의 선행 에지와 일치할 필요가 없다. 도시된 바와 같이, 광 펄스(410)의 선행 에지는 시작 시간(415) 이후일 수 있다. 선행 에지를 시작 시간과 다르게 허용하면, 이는, 위에 언급된 미국 특허 출원 공개 번호 제2018/0259645호에 기재된 코딩된 펄스를 위해, 펄스의 서로 다른 패턴이 서로 다른 시간에 전송되는 상황에서 유용할 수 있다.
제2 플롯(405) 및 히스토그램(450)에 도시된 바와 같이, 광 수신기 채널(예를 들어, 도 3의 채널(302))은 Rx 시작 시간(425)에서 수신된 광의 검출을 시작할 수 있다. 일부 실시예에서, Rx 시작 시간(425)은 Tx 시작 시간(415)과 동일할 수 있다. 다른 실시예에서, 수신기 채널은 Rx 시작 시간(425)이 Tx 시작 시간(415)보다 늦은 지연 모드에서 동작될 수 있다. Tx 시작 시간(415)과 Rx 시작 시간(425) 사이의 지연을 알고 있는 한, 전파 시간 결정이 행해질 수 있다. 광학 수신기 시스템은 처음에 배경 광 430을 검출하고, 얼마 후 레이저 펄스 반사 420을 검출한다. 일부 구현예에서, 광학 수신기 시스템은 검출된 광 강도를 임계치와 비교하여 레이저 펄스 반사(420)를 식별할 수 있다. 임계치는 레이저 펄스 반사(420)에 해당하는 광과 배경 광을 구별할 수 있다. 플롯(435)은, 예를 들어, Rx 채널의 광센서(들)에서 파일업(pileup), 비효율, 또는 대기 간섭이 없는 이상적인 경우에, 수신 신호에 임계치를 적용한 영향을 도시한 것이다.
전파 시간(440)은 전송되는 펄스와 수신되는 펄스 간의 시간 차이이다. 시간 차이는 레이저 펄스 반사(420)의 수신 시간(예를 들어, Tx 시작 시간(415)에 대해 측정됨)으로부터 펄스의 전송 시간(예를 들어, 또한 Tx 시작 시간(415)에 대해 측정됨)을 감산함으로써 측정될 수 있다. 타겟까지의 거리는 전파 시간과 광의 속도의 곱의 절반으로 결정될 수 있다.
일부 실시예에서, LIDAR 시스템은 다수의 "샷"이 수행되는 누적 모드에서 동작할 수 있으며, 여기서 각 샷은 펄스 트레인(하나 이상의 광 펄스)을 생성하는 방출기 채널과 각 펄스 트레인이 생성된 후 일정 시간 동안 히스토그램 데이터를 수집하는 수신기 채널을 포함한다. 수신기 채널은 단일 히스토그램의 다수의 샷에 걸쳐 센서 데이터를 누적할 수 있다. 전파 시간의 결정은 일정 개수(N)의 샷에 해당하는 측정 간격의 종료 시에 누적된 히스토그램을 기반으로 할 수 있다. 일부 실시예에서, 누적 모드에서 동작하면 노이즈에 대한 감도를 감소시키거나 다른 이점을 가질 수 있다.
1.5. 바커 코딩
실제 애플리케이션에서, 광센서는 파일업, 노이즈 및 다양한 비효율의 영향을 받을 수 있으며, 이는 전파 시간(및 그에 따른 거리) 결정에 영향을 미칠 수 있다. 예를 들어, SPAD는 광자 검출 후 복구 시간을 갖는 것으로 알려져 있으며, 그 광자 검출 동안 SPAD는 추가로 들어오는 광자에는 응답하지 않는다. 각 LIDAR 채널이 다수의 SPAD를 포함하는 경우, 이 복구 시간은 반사 펄스(420)의 선행 에지에서 발생하는 파일업을 초래할 수 있다. 따라서, 일부 LIDAR 시스템은 다양한 코딩 및 필터링 기법(예를 들어, 펄스 트레인 및 매칭된 필터)을 사용하여, 파일업으로 인해 발생할 수 있는 타이밍 오류를 수정하거나 노이즈의 영향을 줄일 수 있다. 적합한 필터링 기법의 예는 위에서 언급한 미국 특허 출원 공개 번호 제2018/0259645호에 기재되어 있다. 그러한 하나의 기술은 "바커 코딩(Barker coding)"이라고 지칭된다. (효과는 레이더 시스템에 사용되는 바커 코딩과는 유사하지만, 과정은 다르다.) LIDAR 시스템에서, 바커 코딩은 두 개 이상의 펄스 트레인 유형을 정의함으로써 구현될 수 있다. 각 펄스 트레인 유형은 동일한 펄스 지속 기간과 펄스 간격(트레인이 다수의 펄스를 갖는 경우)을 가질 수 있지만, 샷의 시작 시간과는 상이한 시작 시간을 가질 수 있다. 각각의 펄스 트레인 유형에는 가중치가 할당될 수 있다. 예를 들어, 두 개의 펄스 트레인 유형이 있는 경우, 한 유형은 포지티브 가중치(예를 들어, +1)를 갖지만 다른 유형은 네거티브 가중치(예를 들어, -1)를 가질 수 있다. 누적된 히스토그램은, 주어진 샷의 각 시간 빈에 해당 샷 동안 펄스 트레인에 할당된 가중치를 곱하고, 결과들을 가산함으로써 계산될 수 있다. 일부 가중치는 네거티브이므로, 누적된 히스토그램의 일부 또는 모든 빈은 네거티브 값을 가질 수 있다. 측정 간격(각 유형의 펄스 트레인을 사용하는 동일한 수의 샷을 포함함)의 종료 시, 매칭된 필터를 누적된 히스토그램에 적용하여 전파 시간 결정에 사용될 수 있는 필터링된 히스토그램을 생성할 수 있다.
일 예로서, 도 5a 내지 도 5c는 일부 실시예에 따른 LIDAR 시스템을 위한 바커 코딩의 단순화된 예를 도시한 것이다. 먼저 도 5a를 참조하면, 곡선(500a)은 도 4와 유사하게, 시간의 함수로서 제1 (포지티브 가중화된) 샷에 대한 방출기 전력을 도시한 것이다. 이 예에서, 제1 샷은 지속 기간(δ)을 갖는 하나의 펄스로 구성된 방출기 펄스 트레인을 포함하지만, 원하는 경우 샷당 하나 초과의 펄스를 사용할 수 있다. 제1 샷의 경우, 펄스(505a)의 시작 시간은 Tx 시작 시간(515a) 및 Rx 시작 시간(525a)에 대해 오프셋(τa)만큼 지연되며, 오프셋(τa)는 0 또는 수 나노초(예를 들어, 4, 8, 12 또는 16 ns 등)일 수 있다. 곡선(500b)은 시간의 함수로서 제2 (네거티브 가중화된) 샷에 대한 방출기 전력을 도시한 것이다. 제2 샷의 경우, 펄스(505b)의 시작 시간은 Tx 시작 시간(515b)(및 Rx 시작 시간(525b))에 대해 제1 샷에 사용된 오프셋(τa)과는 다른 오프셋(τb)만큼 지연된다. 도시된 예에서, τa 및 τb는 τb = τa + 2δ가 되도록 선택되지만 다른 선택도 행해질 수 있다. 예를 들어, τb - τa는 4 ns, 8 ns, 16 ns 등이 될 수 있다.
히스토그램(510a)은 연속적인 시간 빈의 세트에서 제1 샷에 대한 수신기 신호 강도를 도시한 것이다. (다른 예와 마찬가지로, 히스토그램은 도면에 도시된 수보다 훨씬 더 많은 수의 빈을 포함할 수 있음을 이해해야 한다.) 이 예에서, 히스토그램(510a)에서 피크(530a)가 관찰된다. 유사하게, 히스토그램(510b)은 연속적인 시간 빈의 세트에서 제2 샷에 대한 수신기 신호 강도를 도시한 것이다. 피크(530b)가 보인다. 피크(530a 및 530b)는 환경 내의 물체로부터의 반사로 인한 것이고 물체는 두 샷 사이에서 위치를 크게 변경하지 않는다고 가정하면, 피크(530a)는 피크(530b)와 동일한 전파 시간을 나타낸다.
도 5b는 바커 코딩을 사용하여 히스토그램(510a 및 510b)를 누적하는 일 예를 도시한 것이다. 히스토그램(510a)에는 +1 가중치가 할당되고, 히스토그램(510b)에는 -1 가중치가 할당된다(히스토그램(510b)의 "0" 라인 아래로 연장된 막대로 도시됨). 히스토그램(510a 및 510b)는 Rx 시작 시간(525a 및 525b)이 일치하도록 정렬되며, 그에 따라 해당 빈은 Rx 시작 시간에 대해 동일한 시간을 나타낸다. 주목해야 하는 것은 히스토그램(510a)의 피크 강도 빈(530a)은 2개의 샷에 대한 펄스(505a 및 505b)의 서로 다른 타이밍으로 인해 히스토그램(510b)의 피크 강도 빈(530b)으로부터 오프셋되어 있다는 것이다. 누적된 히스토그램(550)은 히스토그램(510b)의 각 빈을 히스토그램(510a)의 해당 빈에 가산함으로써 획득된다. 두 개의 샷에 대한 누적이 도시되지만, 임의의 수(짝수)의 샷을 누적할 수 있으며, 샷의 절반은 제1 펄스 패턴을 사용하고 포지티브 가중치를 가지며, 샷의 나머지 절반은 제2 펄스 패턴(제1 펄스 패턴으로부터 일시적으로 오프셋됨)을 사용하고 네거티브 가중치를 가지고 있다는 것을 이해해야 한다.
도 5b에 도시된 바와 같이, 누적된 히스토그램(550)은 포지티브 피크(555a) 및 네거티브 피크(555b)를 갖는다. 전파 시간 정보를 추출하기 위해, 도 5c에 도시된 바와 같이, 누적된 히스토그램(550)에 매칭된 필터가 적용될 수 있다. 위에서 언급한 미국 특허 출원 공개 번호 제2018/0259645호에서, 매칭된 필터는 다수의 탭을 가질 수 있고, 각 탭은 펄스 패턴에 기반하여 할당된 필터 가중치를 갖는다. 누적된 히스토그램(550)의 경우, 관련 펄스 패턴은 +1 가중치를 갖는 펄스(505a) 및 -1 가중치를 갖는 펄스(505b)의 조합이다. 따라서, 이 예에서, 매칭된 필터(560)은 탭 {+1, +1, 0, 0, -1, -1}을 갖는다. 매칭된 필터(560)은 슬라이딩 윈도우 기법을 사용하여 누적된 히스토그램(550)에 적용되어, 필터링된 히스토그램(570)을 생성할 수 있다. 필터링된 히스토그램(570)은 중앙 피크(572)(전파 시간을 결정하기 위한 토대가 될 수 있음) 및 네거티브 사이드 로브(574, 576)(바커 코딩의 특징임)를 갖는다.
도 5a 내지 도 5c는 바커 코딩의 동작 원리의 단순화된 예시를 제공하고 변형이 가능하다는 것을 이해해야 한다. 임의의 수의 샷이 누적될 수 있고, 일부 샷은 포지티브 누적 가중치를 가지지만 다른 샷은 네거티브 누적 가중치를 가질 수 있다. 예를 들어, 수신기 시작 시간에 대해 서로 다른 양만큼 펄스 트레인의 상승 시간을 지연시키거나 전송기 시작 시간에 대해 서로 다른 양만큼 수신기 시작 시간을 지연시킴으로써, 서로 다른 가중치가 할당된 펄스 트레인 사이의 시간 오프셋을 도입할 수 있다. 시간 오프셋은 피크 방출기 강도가 서로 다르게 가중화된 샷 사이에서 적어도 하나의 시간 빈만큼 오프셋되도록 선택될 수 있다. 바커 코딩은 또한 원하는 대로 다른 신호 처리 기법과 조합될 수도 있다.
2. 안개 보상
본원에 사용된 "안개"는 일반적으로 공기 중에 매달려 있는 수증기 액적(또는 다른 유사한 액적)을 지칭한다. 안개를 구성하는 물방울은 LIDAR에 일반적으로 사용되는 파장(예를 들어, NIR 파장)에서 광을 산란시킬 수 있는 것으로 알려져 있다. 이러한 산란으로 인해, LIDAR 방출기 펄스로부터의 광자가 시간 범위에 걸쳐 도달하여, 전파 시간(또는 거리 측정) 측정치가 부정확해질 수 있다.
2.1. 안개의 영향
도 6은 안개가 존재하는 상태에서 기존 LIDAR 채널의 동작의 일 예를 도시한 것이다. 도 6은 안개의 영향을 제외하고는 도 4와 유사하다. 상부 플롯(600)은 시간의 함수로서 전송기(Tx) 채널(예를 들어, 도 3의 방출기 채널(325))에 인가된 전력을 도시한 것이다. 하부 플롯(605)은 시간의 함수로서 수신기(Rx) 채널(예를 들어, 도 3의 센서 채널(302))에서의 신호 강도(수신된 광의 측정치)를 도시한 것이다. 플롯(600)에 도시된 바와 같이, 방출기 채널(325)에서, 광원(예를 들어, 도 3에 도시된 VCSEL 또는 다른 방출기(322))은 Tx 시작 시간(615) 후, 도 4의 광 펄스(410)와 유사하게 짧은 지속 기간의 광 펄스(610)를 생성한다. 플롯(605)에 도시된 바와 같이, 광 수신기 채널(예를 들어, 센서 채널(302))은 Rx 시작 시간(625)에서 수신된 광 검출을 시작할 수 있으며, 이 Rx 시작 시간(625)은 Tx 시작 시간(615)과 동일하거나 원하는 대로 다른 시작 시간일 수 있다. 방출된 광자 중 일부는 안개에서 산란되고 다양한 시간에 하나 이상의 센서 채널(302)을 향해 반사되거나 산란될 수 있는 반면, 다른 광자는 시야의 고체 표면에 도달하고 그 표면에서 반사된다. 결과적으로, Rx 신호(620)는 방출기 펄스(610)의 반사로 인한 기여물(625) 및 안개에 의한 산란으로 인한 기여물(630)을 포함하는 것으로 이해될 수 있다. 이 예에서, 방출기 펄스의 대부분의 광자는 안개에 의해 산란된다. 따라서, 도시된 바와 같이, 안개로 인해 LIDAR 시스템은 전파 시간을 정확하게 결정하기 어려울 수 있다.
2.2. 안개 보상
다양한 실시예에 따르면, LIDAR 시스템은 동작을 수정하여 안개의 존재를 보상할 수 있다. 일부 실시예에서, 바커 코딩은 안개의 존재를 보상하는 데 사용될 수 있다. 안개가 존재하는 상태에서의 수신기 응답(예를 들어, 도 6의 Rx 신호(620))은 시야에서 안개로 유도된 산란으로 인한 저주파 신호 성분(630)과 반사 (고체) 표면으로 인한 고주파 신호 성분(625)의 중첩으로 이해될 수 있다. 바커 코딩은 고주파수 성분이 상대적으로 강해지도록 저주파 성분을 제거하거나 감소시키는 고역 통과 필터로서 역할을 할 수 있다.
따라서, 일부 실시예는 바커 코딩을 이용하여, 안개가 존재하는 상태에서 히스토그램 데이터로부터 보다 신뢰할 수 있는 신호가 추출될 수 있도록 한다. 동일한 수의 포지티브 가중화된 샷 및 네거티브 가중화된 샷을 이용하는 임의의 바커 코딩 방식을 사용할 수 있다.
도 7은 일부 실시예에 따른 바커 코딩을 사용한 안개 보상의 일 예를 도시한 것이다. 이 예에서 펄스 트레인은 도 5a를 참조하여 위에서 설명된 펄스 트레인(500a 및 500b)과 동일하다. 히스토그램(710a)은 안개가 존재하는 상태에서 포지티브 가중화된 샷에 대해 수신기 채널로부터 획득될 수 있는 원시 히스토그램의 일부를 도시한 것이다. (다른 예와 마찬가지로, 도시된 빈의 수는 설명을 위해 작으며, 히스토그램은 훨씬 더 많은 수의 빈을 가질 수 있음을 이해해야 한다.) 히스토그램(710a)은 안개로 유도된 산란에 해당하는 저주파 성분(곡선(712)으로 표시됨)과 고체 물체로부터 반사된 광에 해당하는 고주파 성분(곡선(714)으로 표시됨)을 포함한다. 히스토그램(710b)은 네거티브 가중화된 샷에 대해 동일한 수신기 채널로부터 획득될 수 있는 원시 히스토그램의 해당 부분을 도시한 것이다. 히스토그램(710a)과 마찬가지로, 안개로 유도된 산란 및 고체 물체로부터의 반사는 모두 수신기 신호에 기여하고 있다. 누적된 히스토그램(720)은 도 6b의 누적된 히스토그램(650)과 유사하게 히스토그램(710a 및 710b)을 가산함으로써 획득될 수 있다. 매칭된 필터(730)(이 예에서는 도 5c의 매칭된 필터(560)와 동일함)를 누적된 히스토그램(720)에 적용하여, 전파 시간 데이터를 추출할 수 있는 필터링된 히스토그램(740)을 생성할 수 있다.
도 7에 도시된 바커 코딩의 효과는 예시적임을 이해해야 한다. 누적된 히스토그램은 임의의 수의 샷을 포함하는 측정 간격에 걸쳐 생성될 수 있다. 일부 실시예에서, 두 개의 펄스 트레인 유형이 사용되며, 측정 간격 내의 샷의 절반은 제1 유형(포지티브 가중화됨)이고, 나머지 절반은 제2 유형(네거티브 가중화됨)이다. 상이한 샷이 수행되는 특정 순서는 중요하지 않다. 추가적으로, 펄스 트레인은 다양할 수 있으며, 펄스 트레인당 단일 펄스로 제한되지는 않는다. 바커 코딩은 또한 원하는 대로 다른 신호 처리 기법과 조합될 수도 있다.
3. 안개 검출 및 적응형 응답
일부 실시예에서, 안개가 존재하는 상태에서 LIDAR 신호를 강화하기 위한 바커 코딩 또는 다른 기법은 안개가 존재할 때는 선택적으로 적용될 수 있고, 안개가 존재하지 않을 때는 적용되지 않을 수 있다. 예를 들어, 위에 설명된 임의의 시스템과 같은 LIDAR 시스템은 원시 히스토그램 데이터를 분석하여 대기 안개의 존재를 검출할 수 있으며, 안개가 검출되는 경우 "안개 모드" 동작으로 전환하거나 또는 안개가 검출되지 않는 경우 "청정 모드"(또는 "비안개 모드") 동작으로 전환할 수 있다. 안개 모드는 위에서 설명한 바와 같은 바커 코딩 및/또는 다른 동작을 포함할 수 있다.
3.1. 안개 검출
일부 실시예에서, 안개의 존재는 하나 이상의 센서 채널로부터의 원시 히스토그램 데이터를 분석함으로써 검출될 수 있다. 위에서 설명된 바와 같이, 원시 히스토그램 데이터는 (예를 들어, 도 7의 원시 히스토그램(710)에 도시된 바와 같이) 안개로 유도된 산란으로 인해 흐려질 수 있다. 원시 히스토그램이 안개를 나타내는지 여부를 결정하기 위해 다양한 분석 기법을 사용할 수 있다.
원시 히스토그램이 안개를 나타내는지 여부를 결정하기 위한 한가지 접근법은 신호 형상 분석에 기반할 수 있다. 예를 들어, 도 6에 도시된 바와 같이, 안개는 광의 산란으로 인해 저주파 성분(630)을 도입한다. 성분(630)의 특정 형상은, 예를 들어, 안개의 밀도에 따라 달라질 수 있다. 일부 실시예에서, 신호 형상 분류기는 원시(및 가중화되지 않은) 히스토그램 데이터에서 성분(630)의 존재를 인식하도록 학습될 수 있다. 신호 형상 분류기의 일 예는 원시 히스토그램 데이터를 파라미터화된 형태로 정의될 수 있는 안개의 곡선 특징에 맞추려는 곡선 피팅 알고리즘(curve-fitting algorithm)이다. 표준 통계 기법을 사용하여 적합도 파라미터(goodness-of-fit parameter)를 계산할 수 있으며, 적합도 파라미터를 기반으로 안개의 유무를 결정할 수 있다. 또 다른 예로서, 예를 들어, 머신 러닝 기법을 사용하여 곡선 형상 분류기를 학습시켜 안개의 유무를 구별할 수 있으며, 학습된 분류기를 원시 히스토그램 데이터에 적용하여 안개가 존재하는지 여부를 결정할 수 있다. 원시 히스토그램 데이터는 단일 샷 데이터일 수 있거나 또는 (각 샷에 동일한 가중치를 적용하여) 다수의 샷에 걸쳐 누적된 데이터일 수 있다.
또 다른 접근법은 수신기 채널에 의해 수신된 총 배경 플럭스를 기반으로 할 수 있다. 안개는 수신기 채널에 의해 검출되는 총 광량을 증가시킬 수 있는데, 그 이유는 부분적으로 주변 광이 또한 안개에 의해 산란되어 입사 광의 총량을 증가시키기 때문이다. 따라서, 총 배경 플럭스를 결정하고(예를 들어, 신호 식별을 위한 임계치 미만인 모든 히스토그램 빈을 합산하고) 최소값과 비교하는 것을 사용하여 안개를 표시할 수 있다.
주목할 것은 수증기 농도가 높은 국지적인 구역은 일반적으로 안개가 자욱한 대기 조건 이외의 다른 이유로 인해 발생할 수 있다는 것이다. 예를 들어, 차량 배기관, 환기 시스템(예를 들어, 지하 유틸리티 라인 또는 지하철 시스템용) 등에 의해 국지적 증기 구름이 생성될 수 있다. 일부 실시예에서, 국지적 수증기는 단일 수신기 채널로부터의 시야보다는 더 넓은 시야에 걸친 센서 데이터를 고려함으로써 대기 안개(즉, 일반적으로 안개가 자욱한 대기 조건)와는 구별될 수 있다. 예를 들어, 채널당 평균 배경 플럭스를 모든 센서 채널에 걸쳐 계산하고, 이를 사용하여 대기 안개가 존재하는지 여부를 평가할 수 있다. 또 다른 예로서, 신호 형상 분석이 개별 센서 채널에 적용되는 경우, 대기 안개의 존재 여부에 대한 최종 결정은 전체 결과를 기반으로 할 수 있으며, 예를 들어, 적어도 최소 수 또는 비율의 센서 채널에 안개를 나타내는 신호 형상이 존재한다면, 대기 안개가 존재하는 것으로 결정된다. 최소 비율은, 예를 들어, 모든 채널, 채널의 75%, 채널의 50%, 또는 어떤 다른 비율일 수 있다.
본원에 설명된 안개 검출 기법은 예시적인 것이며, 다른 기법이 사용될 수 있다.
3.2. 적응형 안개 응답
일부 실시예에 따르면, LIDAR 시스템은 안개를 자동으로 검출하고, 그에 따라 자신의 동작을 조정할 수 있다. 도 8은 일부 실시예에 따른 LIDAR 시스템을 동작시키기 위한 프로세스(800)의 흐름도이다. 프로세스(800)는 LIDAR 시스템(200) 또는 본원에 설명된 임의의 다른 LIDAR 시스템에서, 또는 유사한 원리로 동작하는 다른 LIDAR 시스템에서 구현될 수 있다.
프로세스(800)는 안개가 존재하는지 여부를 결정함으로써 시작할 수 있다. 예를 들어, 블록 802에서, 프로세스(800)는 LIDAR 센서 채널에 걸쳐 원시 히스토그램 데이터를 분석하여 안개의 존재 또는 부재를 결정할 수 있다. 위의 섹션 3.1에 설명된 임의의 분석 기법이 적용될 수 있으며, 다른 기법이 또한 대체될 수도 있다.
블록 804에서, 프로세스(800)는 블록 802에서의 분석에 기반하여 안개가 존재하는지 여부를 결정한다. 안개가 존재하는지 여부를 결정하기 위한 기준은 블록 802에서 수행되는 분석 유형에 따라 달라진다. 예시는 위의 섹션 3.1에 설명되어 있다. 일부 실시예에서, 안개는 대부분의 또는 모든 LIDAR 센서 채널에 영향을 미치는 대기 안개로 정의될 수 있다.
안개가 존재한다면, 블록 806에서, 프로세스(800)는 LIDAR 시스템을 안개 모드로 동작시킬 수 있고; 안개가 존재하지 않으면, 블록 808에서, 프로세스(800)는 LIDAR 시스템을 청정(또는 비안개) 모드로 동작시킬 수 있다. 안개 모드와 청정 모드는 다양한 측면에서 서로 다를 수 있다.
예를 들어, 위에서 설명한 바와 같이, 바커 코딩은 안개가 존재하는 상태에서 고체 물체로부터 반환 신호를 추출하는 데 도움이 될 수 있다. 그러나, 모든 상황에서 바커 코딩을 적용하는 것은 바람직하지 않을 수 있다. 따라서, 일부 실시예에서, 바커 코딩은 안개 모드에서는 활성화되고 청정 모드에서는 비활성화될 수 있으며; 따라서 모드는 바커 코딩의 사용 여부에 따라 다를 수 있다. 또 다른 예로서, 최적의 바커 코딩 파라미터는 청정과 안개 사이에서 다를 수 있다. 예를 들어, 펄스 트레인 유형의 수, 펄스 트레인 유형별 펄스 패턴 등이 다를 수 있다. 따라서, 일부 실시예에서, LIDAR 시스템을 안개 모드로 동작시키는 것은 제1 바커 코딩 파라미터 세트를 적용하는 것을 포함할 수 있는 반면, LIDAR 시스템을 청정 모드로 동작하는 것은 제1 바커 코딩 파라미터 세트와는 상이한 제2 바커 코딩 파라미터 세트를 적용하는 것을 포함한다.
안개 모드와 청정 모드 간에 구현될 수 있는 차이점의 다른 예로는 방출기 강도, 펄스 지속 기간, 펄스 패턴, 서로 다른 샷에 대한 누적 가중치, 센서 이득 파라미터 등이 포함된다.
4. 추가 실시예
본 발명은 특정 실시예를 참조하여 설명되었지만, 본 개시내용에 접근하는 통상의 기술자는 다양한 변형 및 변경이 가능하다는 것을 이해할 것이다. 본원에 설명된 종류의 LIDAR 어레이는 임의의 수의 방출기 및 센서 채널을 포함하도록 제조될 수 있다. 일부 실시예에서, 채널은 열 방향을 가로지르는 행 방향으로 시야를 스캔할 수 있는 하나 이상의 열로 배열될 수 있다. (용어 "행" 및 "열"은 센서 어레이의 두 차원을, 특히 스캔 모드에서 사용되는 어레이의 맥락에서 구별하기 위해 사용되며, 어레이의 임의의 특정 공간적 배향을 암시하는 것으로 의도되지는 않는다.) 센서 채널의 특정 구성. LIDAR 센서 채널은 근적외선, 단파장 적외선(예를 들어, 1600 nm), 중파장 적외선, 및/또는 장파장 적외선(예를 들어, 최대 15 μm)을 포함하여, 다양한 파장에서 동작할 수 있다. 일부 실시예에서, 센서 어레이는 또한 LIDAR 센서 채널 외에도 하나 이상의 주변 광 센서 채널(즉, 전파 시간 또는 다른 거리 측정 데이터와는 대조적으로 광 강도를 측정하는 센서 채널)을 통합할 수 있으며, 하나 이상의 주변 광 센서 채널은 하나 이상의 LIDAR 센서 채널과 함께, LIDAR 센서 채널 사이에서, 또는 원하는 대로 다른 곳에서 일렬로 배열될 수 있다. LIDAR 시스템은 위에서 설명된 바와 같이 회전식 및/또는 정적 플랫폼을 사용하여 구현될 수 있고, 거리 측정 데이터를 수집하는 것이 바람직한 임의의 애플리케이션에 사용될 수 있다.
본원에 설명된 시스템은 시야(일부 실시예에서는 최대 360도까지 원하는 만큼 넓을 수 있음)에 걸쳐 깊이(또는 거리 측정) 정보를 생성할 수 있다. 일부 실시예에서, 깊이 정보를 사용하여 사용자에게 디스플레이하기 위한 영상을 생성하며, 이러한 영상 생성은 영상 데이터를 직접 렌더링하는 것 및/또는 데이터로부터의 알고리즘 추론에 기반하여 장면(또는 그 일부)의 영상을 렌더링하는 것을 포함할 수 있다. 깊이 정보는 근접도 모니터링 및 경고, 3D 매핑(예를 들어, 지형 매핑) 등과 같은 다양한 애플리케이션에서 사용될 수 있다. 위에서 설명된 일부 예는 차량 내비게이션 및/또는 운전자 보조에 관한 것이지만, 본 발명은 임의의 특정 데이터 분석 또는 거리 측정 데이터에 대한 임의의 특정 애플리케이션으로 제한되지는 않는다.
전술한 설명은 예시적인 것이며, 제한적인 것은 아니다. 설명된 실시예는 본 발명의 다양한 원리 및 그 실제 적용을 예시하기 위해 선택되었으며, 본 발명의 많은 변형 및 수정은 본 개시내용을 검토하면 당업자에게는 명백해질 것이다. 따라서, 특허 보호 범위는 위의 설명을 참조하지 않고 결정되어야 하지만, 대신 청구범위 전체의 영역 또는 등가물과 함께 다음 청구범위를 참조하여 결정되어야 한다.

Claims (20)

  1. LIDAR 시스템을 동작시키는 방법으로서,
    상기 LIDAR 시스템의 복수의 센서 채널로부터의 광센서 데이터에 기반하여, 상기 LIDAR 시스템의 시야 내에 대기 안개가 존재하는지 여부를 결정하는 단계;
    대기 안개가 존재한다는 결정에 응답하여, 상기 LIDAR 시스템을 안개 모드로 동작시키는 단계; 및
    대기 안개가 존재하지 않는다는 결정에 응답하여, 상기 LIDAR 시스템을 청정 모드로 동작시키는 단계를 포함하고,
    상기 안개 모드 및 상기 청정 모드는 적어도 하나의 동작 파라미터와 관련하여 서로 상이한, LIDAR 시스템을 동작시키는 방법.
  2. 제1항에 있어서, 상기 LIDAR 시스템을 안개 모드로 동작시키는 단계는 바커 코딩 절차를 적용하는 단계를 포함하고, 상기 LIDAR 시스템을 청정 모드로 동작시키는 단계는 상기 바커 코딩 절차를 적용하지 않는 단계를 포함하는, LIDAR 시스템을 동작시키는 방법.
  3. 제2항에 있어서, 상기 바커 코딩 절차를 적용하는 단계는:
    복수의 샷 각각에 대한 펄스 트레인을 생성하도록 상기 LIDAR 시스템의 방출기 채널을 동작시키는 단계 - 상기 복수의 샷 내의 서로 다른 샷에 대한 펄스 트레인은 적어도 2개의 서로 다른 펄스 트레인 유형에 대한 것임 -; 및
    상기 복수의 샷에 걸쳐 검출된 광 강도의 누적된 히스토그램을 생성하는 단계 - 상기 펄스 트레인 유형 중 제1 유형을 갖는 샷은 포지티브 가중치로 누적되고, 상기 펄스 트레인 유형 중 제2 유형을 갖는 샷은 네거티브 가중치로 누적됨 -를 포함하는, LIDAR 시스템을 동작시키는 방법.
  4. 제3항에 있어서, 상기 바커 코딩 절차를 적용하는 단계는:
    상기 누적된 히스토그램에 매칭된 필터를 적용하는 단계 - 상기 매칭된 필터는 상기 펄스 트레인 유형을 조합하는 것에 기반하여 정의됨 -를 더 포함하는, LIDAR 시스템을 동작시키는 방법.
  5. 제3항에 있어서, 상기 복수의 샷 내의 샷의 개수는 2인, LIDAR 시스템을 동작시키는 방법.
  6. 제1항에 있어서,
    상기 LIDAR 시스템을 안개 모드로 동작시키는 단계는 단일 펄스를 갖는 펄스 트레인을 생성하도록 상기 LIDAR 시스템의 방출기를 동작시키는 단계를 포함하고; 그리고
    상기 LIDAR 시스템을 청정 모드로 동작시키는 단계는 복수의 펄스를 갖는 펄스 트레인을 생성하도록 상기 방출기를 동작시키는 단계를 포함하는, LIDAR 시스템을 동작시키는 방법.
  7. 제1항에 있어서, 대기 안개가 존재하는지 여부를 결정하는 단계는:
    상기 LIDAR 시스템의 복수의 센서 채널로부터의 원시 히스토그램 데이터를 분석하는 단계; 및
    적어도 최소 개수의 센서 채널 각각으로부터의 원시 히스토그램 데이터가 안개의 신호 형상 특징을 갖는지 여부를 결정하는 단계를 포함하는, LIDAR 시스템을 동작시키는 방법.
  8. 제7항에 있어서, 센서 채널의 최소 개수는 상기 LIDAR 시스템 내의 센서 채널의 총 개수와 동일한, LIDAR 시스템을 동작시키는 방법.
  9. 제7항에 있어서, 센서 채널의 최소 개수는 상기 LIDAR 시스템 내의 센서 채널의 총 개수의 절반을 초과한 것이고, 그리고 상기 LIDAR 시스템 내의 센서 채널의 총 개수보다 작은 것인, LIDAR 시스템을 동작시키는 방법.
  10. 제1항에 있어서, 대기 안개가 존재하는지 여부를 결정하는 단계는:
    복수의 센서 채널에 걸쳐 총 배경 플럭스를 결정하는 단계;
    상기 총 배경 플럭스가 임계치를 초과하는 경우 대기 안개가 존재한다고 결정하는 단계; 및
    상기 총 배경 플럭스가 상기 임계치를 초과하지 않는 경우 대기 안개가 존재하지 않는다고 결정하는 단계를 포함하는, LIDAR 시스템을 동작시키는 방법.
  11. LIDAR 시스템으로서,
    방출기 채널 어레이;
    센서 채널 어레이;
    상기 센서 채널 어레이에 연결되고, 상기 센서 채널 어레이로부터의 광센서 데이터에 기반하여 시야 내에 대기 안개가 존재하는지 여부를 결정하도록 구성된 신호 처리 회로; 및
    상기 신호 처리 회로, 상기 방출기 채널 어레이, 및 상기 센서 채널 어레이에 연결된 제어 회로를 포함하고, 상기 제어 회로는:
    대기 안개가 존재한다는 결정에 응답하여, 상기 방출기 채널 어레이 및 상기 센서 채널 어레이를 안개 모드로 동작시키고; 그리고
    대기 안개가 존재하지 않는다는 결정에 응답하여, 상기 방출기 채널 어레이 및 상기 센서 채널 어레이를 청정 모드로 동작시키도록 구성되고,
    상기 안개 모드 및 상기 청정 모드는 적어도 하나의 동작 파라미터와 관련하여 서로 상이한, LIDAR 시스템.
  12. 제11항에 있어서, 상기 제어 회로는, 상기 방출기 채널 어레이 및 상기 센서 채널 어레이를 안개 모드로 동작시키는 것이 바커 코딩 절차를 적용하는 것을 포함하고, 상기 방출기 채널 어레이 및 상기 센서 채널 어레이를 청정 모드로 동작시키는 것이 바커 코딩 절차를 적용하지 않는 것을 포함하도록, 추가로 구성되는, LIDAR 시스템.
  13. 제12항에 있어서, 상기 제어 회로는, 상기 바커 코딩 절차를 적용하는 것이:
    복수의 샷 각각에 대한 펄스 트레인을 생성하도록 상기 방출기 채널 어레이의 방출기 채널을 동작시키는 것 - 상기 복수의 샷 내의 서로 다른 샷에 대한 펄스 트레인은 적어도 2개의 서로 다른 펄스 트레인 유형에 대한 것임 -; 및
    상기 복수의 샷에 걸쳐 검출된 광 강도의 누적된 히스토그램을 생성하는 것 - 상기 펄스 트레인 유형 중 제1 유형을 갖는 샷은 포지티브 가중치로 누적되고, 상기 펄스 트레인 유형 중 제2 유형을 갖는 샷은 네거티브 가중치로 누적됨 -을 포함하도록, 추가로 구성되는, LIDAR 시스템.
  14. 제13항에 있어서, 상기 제어 회로는, 상기 바커 코딩 절차를 적용하는 것이:
    상기 누적된 히스토그램에 매칭된 필터를 적용하는 것 - 상기 매칭된 필터는 상기 펄스 트레인 유형을 조합하는 것에 기반하여 정의됨 -을 더 포함하도록, 추가로 구성되는, LIDAR 시스템.
  15. 제13항에 있어서, 상기 복수의 샷 내의 샷의 개수는 2인, LIDAR 시스템.
  16. 제11항에 있어서, 상기 제어 회로는:
    상기 방출기 채널 어레이 및 상기 센서 채널 어레이를 안개 모드로 동작시키는 것이 단일 펄스를 갖는 펄스 트레인을 생성하도록 상기 LIDAR 시스템의 방출기를 동작시키는 것을 포함하고; 그리고
    상기 방출기 채널 어레이 및 상기 센서 채널 어레이를 청정 모드로 동작시키는 것이 복수의 펄스를 갖는 펄스 트레인을 생성하도록 상기 방출기를 동작시키는 것을 포함하도록, 추가로 구성되는, LIDAR 시스템.
  17. 제11항에 있어서, 상기 제어 회로는, 대기 안개가 존재하는지 여부를 결정하는 것이:
    상기 센서 채널 어레이로부터의 원시 히스토그램 데이터를 분석하는 것; 및
    적어도 최소 개수의 센서 채널 각각으로부터의 원시 히스토그램 데이터가 안개의 신호 형상 특징을 갖는지 여부를 결정하는 것을 포함하도록, 추가로 구성되는, LIDAR 시스템.
  18. 제17항에 있어서, 센서 채널의 최소 개수는 상기 LIDAR 시스템 내의 센서 채널의 총 개수와 동일한, LIDAR 시스템.
  19. 제17항에 있어서, 센서 채널의 최소 개수는 상기 LIDAR 시스템 내의 센서 채널의 총 개수의 절반을 초과한 것이고, 그리고 상기 LIDAR 시스템 내의 센서 채널의 총 개수보다 작은 것인, LIDAR 시스템.
  20. 제11항에 있어서, 상기 제어 회로는, 대기 안개가 존재하는지 여부를 결정하는 것이:
    상기 센서 채널 어레이 내의 복수의 센서 채널에 걸쳐 총 배경 플럭스를 결정하는 것;
    상기 총 배경 플럭스가 임계치를 초과하는 경우 대기 안개가 존재한다고 결정하는 것; 및
    상기 총 배경 플럭스가 상기 임계치를 초과하지 않는 경우 대기 안개가 존재하지 않는다고 결정하는 것을 포함하도록, 추가로 구성되는, LIDAR 시스템.
KR1020227041479A 2020-04-28 2021-04-19 안개 검출 및 적응형 응답 기능이 있는 라이다 시스템 KR20230003089A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202063016916P 2020-04-28 2020-04-28
US63/016,916 2020-04-28
US17/229,691 US20210333371A1 (en) 2020-04-28 2021-04-13 Lidar system with fog detection and adaptive response
US17/229,691 2021-04-13
PCT/US2021/027974 WO2021221942A1 (en) 2020-04-28 2021-04-19 Lidar system with fog detection and adaptive response

Publications (1)

Publication Number Publication Date
KR20230003089A true KR20230003089A (ko) 2023-01-05

Family

ID=78222097

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227041479A KR20230003089A (ko) 2020-04-28 2021-04-19 안개 검출 및 적응형 응답 기능이 있는 라이다 시스템

Country Status (5)

Country Link
US (1) US20210333371A1 (ko)
EP (1) EP4143607A1 (ko)
KR (1) KR20230003089A (ko)
CN (1) CN115720634A (ko)
WO (1) WO2021221942A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10816666B2 (en) 2017-11-21 2020-10-27 Magna Electronics Inc. Vehicle sensing system with calibration/fusion of point cloud partitions
TWI788786B (zh) * 2021-02-20 2023-01-01 大象科技股份有限公司 光學檢測裝置及其檢測方法
WO2023147143A1 (en) * 2022-01-30 2023-08-03 Ouster, Inc. Overlapping sub-ranges with power stepping

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018196001A1 (en) * 2017-04-28 2018-11-01 SZ DJI Technology Co., Ltd. Sensing assembly for autonomous driving
CA3068943A1 (en) * 2017-07-05 2019-01-10 Ouster, Inc. Light ranging device with electronically scanned emitter array and synchronized sensor array
WO2020018600A1 (en) * 2018-07-17 2020-01-23 Shimon Maimon Multi-wavelength lidar and thermal imager
WO2020025984A1 (en) * 2018-08-01 2020-02-06 Pantazis Alexandros Method of use of a lidar device and operatively associated lidar data processing unit for providing real-time monitoring of meteorological parameters
US10739189B2 (en) * 2018-08-09 2020-08-11 Ouster, Inc. Multispectral ranging/imaging sensor arrays and systems

Also Published As

Publication number Publication date
WO2021221942A1 (en) 2021-11-04
EP4143607A1 (en) 2023-03-08
CN115720634A (zh) 2023-02-28
US20210333371A1 (en) 2021-10-28

Similar Documents

Publication Publication Date Title
US20220043118A1 (en) Processing time-series measurements for lidar accuracy
US20240045038A1 (en) Noise Adaptive Solid-State LIDAR System
KR102506579B1 (ko) 잡음 적응형 솔리드-스테이트 lidar 시스템
JP7086001B2 (ja) 適応性のある光レイダー受信機
US11703567B2 (en) Measuring device having scanning functionality and settable receiving ranges of the receiver
US10823825B2 (en) System and method for wide-area surveillance
KR20230003089A (ko) 안개 검출 및 적응형 응답 기능이 있는 라이다 시스템
CN109557522A (zh) 多射束激光扫描仪
CN111344647A (zh) 具有低延时运动规划更新的智能激光雷达***
JP2022531578A (ja) Ｌｉｄａｒシステムにおける時間的ジッタ
US20210349192A1 (en) Hybrid detectors for various detection range in lidar
CN114222930A (zh) 用于基于光电二极管的检测的***和方法
JP2020020612A (ja) 測距装置、測距方法、プログラム、移動体
CN115702363A (zh) 立体图像捕获***
US20230007979A1 (en) Lidar with photon-resolving detector
Bhuiyan LiDAR Sensor for Autonomous Vehicle
US20230047931A1 (en) Coaxial lidar system using a diffractive waveguide
US20230228851A1 (en) Efficient laser illumination for scanned lidar

Legal Events

Date Code Title Description
A201 Request for examination