KR20240005752A - 픽셀 맵핑 솔리드-스테이트 lidar 송신기 시스템 및 방법 - Google Patents
픽셀 맵핑 솔리드-스테이트 lidar 송신기 시스템 및 방법 Download PDFInfo
- Publication number
- KR20240005752A KR20240005752A KR1020237038937A KR20237038937A KR20240005752A KR 20240005752 A KR20240005752 A KR 20240005752A KR 1020237038937 A KR1020237038937 A KR 1020237038937A KR 20237038937 A KR20237038937 A KR 20237038937A KR 20240005752 A KR20240005752 A KR 20240005752A
- Authority
- KR
- South Korea
- Prior art keywords
- array
- pixels
- light
- lidar system
- laser
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 36
- 238000013507 mapping Methods 0.000 title claims description 16
- 238000005259 measurement Methods 0.000 claims abstract description 37
- 230000003287 optical effect Effects 0.000 claims abstract description 34
- 238000012545 processing Methods 0.000 claims description 20
- 238000003384 imaging method Methods 0.000 claims description 13
- 238000010304 firing Methods 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 10
- 238000010191 image analysis Methods 0.000 claims description 2
- 238000005286 illumination Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000003491 array Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000005096 rolling process Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 229910052710 silicon Inorganic materials 0.000 description 2
- 239000010703 silicon Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009532 heart rate measurement Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
- G01S7/4815—Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/4861—Circuits for detection, sampling, integration or read-out
- G01S7/4863—Detector arrays, e.g. charge-transfer gates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
LiDAR 시스템은, 제1 및 제2 광 빔을 생성하는 제1 및 제2 레이저 방출기를 갖고 송신기 광 축을 따라 광 빔들을 투사하는 송신기를 포함한다. 수신기는 수신기 광 축에 대하여 위치하는 픽셀들의 어레이를 포함하고, 이때 대상으로부터 반사된 제1 광 빔으로부터의 광은 제1 화상 영역을 형성하고, 대상에 의해 반사된 제2 광 빔으로부터의 광은 픽셀들의 어레이 상에 제2 화상 영역을 형성하여, 제1 화상 영역과 제2 화상 영역 사이의 중첩 영역은 측정 범위에 기초하여 또한 송신기 광 축과 수신기 광 축의 상대 위치에 기초하여 형성된다. 프로세서는, 중첩 영역의 적어도 하나의 픽셀에 의해 생성된 전기 신호로부터 중첩 영역에 어떠한 픽셀들이 있는지를 결정하고, 반환 펄스를 응답으로 생성한다.
Description
본 명세서에 사용되는 섹션 제목은 단지 구성의 목적을 위한 것이며, 어떤 방식으로든 본원에 설명된 주제를 제한하는 것으로 해석되어서는 안 된다.
관련 출원에 대한 상호 참조
본원은, "Pixel Mapping Solid-State LIDAR Transmitter System and Method"라는 명칭으로 2021년 5월 11일에 출원된 미국 가특허출원번호 제63/187,375호의 정규 출원이다. 미국 가특허출원번호 제63/187,375의 전체 내용 본원에 참고로 원용된다.
자율 주행 차량, 무인 주행 차량, 반자율 주행 차량은 주변 대상을 검출하고 위치를 찾기 위해 레이더, 화상 인식 카메라, 소나 등의 다양한 센서와 기술을 조합하여 사용한다. 이러한 센서들을 사용하면 충돌 경고, 자동 긴급 제동, 차선 이탈 경고, 차선 유지 지원, 적응형 크루즈 제어, 파일럿 주행을 포함하는 운전자 안전이 크게 개선된다. 이러한 센서 기술들 중에서, 광 검출 및 거리 측정(light detection and ranging; LIDAR) 시스템은 주변 환경의 실시간 고해상도 3D 맵핑을 가능하게 하는 중요한 역할을 한다.
오늘날 자율 주행 차량에 사용되는 대부분의 상용 LIDAR 시스템은 환경을 기계적으로 스캐닝하는 몇 가지 방법과 결합된 소수의 레이저를 활용한다. 미래의 자율 주행 차량은 높은 신뢰성과 넓은 환경 동작 범위를 갖춘 솔리드-스테이트 반도체 기반 LIDAR 시스템을 활용하는 것이 매우 바람직하다.
바람직하고 예시적인 실시예들에 따른 본 발명은, 이의 추가 장점과 함께, 첨부 도면을 참조하여 다음의 상세한 설명에서 더욱 구체적으로 설명된다. 통상의 기술자는 아래 설명된 도면이 단지 예시 목적임을 이해할 것이다. 도면이 반드시 축척대로 될 필요는 없으며, 대신 일반적으로 교시의 원리를 설명하는 데 중점을 두고 있다. 도면은 어떤 방식으로든 출원인의 교시 범위를 제한하려는 의도가 없다.
도 1은 공지된 촬상 수신기 시스템을 예시한다.
도 2a는 본 교시의 개별 송신기 및 수신기를 사용하는 픽셀 맵핑 광 검출 및 거리 특정(LiDAR) 시스템의 실시예를 예시한다.
도 2b는 본 교시의 호스트 프로세서에 연결된 별도의 송신기 및 수신기 시스템을 포함하는 픽셀 맵핑 LiDAR 시스템의 실시예의 블록도를 예시한다.
도 3은 본 발명의 픽셀 맵핑 LiDAR 시스템에 사용되는 1차원 검출기 어레이의 실시예를 예시한다.
도 4는 본 발명의 픽셀 맵핑 LiDAR 시스템에 사용되는 2차원 검출기 어레이의 실시예를 예시한다.
도 5는 공지된 LiDAR 시스템에 사용되는 공지된 2차원 검출기 어레이를 예시한다.
도 6은 본 발명의 픽셀 맵핑 LiDAR 시스템에 사용되는 2차원 검출기 어레이의 실시예에서 단일 레이저의 시차의 영향을 예시한다.
도 7은 도 6의 2차원 검출기 어레이의 실시예에서 두 개의 인접한 레이저에 대한 시차의 영향을 도시한다.
도 8은 본 발명의 LiDAR에 대한 픽셀 맵핑 방법의 실시예의 단계들의 흐름도를 예시한다.
도 1은 공지된 촬상 수신기 시스템을 예시한다.
도 2a는 본 교시의 개별 송신기 및 수신기를 사용하는 픽셀 맵핑 광 검출 및 거리 특정(LiDAR) 시스템의 실시예를 예시한다.
도 2b는 본 교시의 호스트 프로세서에 연결된 별도의 송신기 및 수신기 시스템을 포함하는 픽셀 맵핑 LiDAR 시스템의 실시예의 블록도를 예시한다.
도 3은 본 발명의 픽셀 맵핑 LiDAR 시스템에 사용되는 1차원 검출기 어레이의 실시예를 예시한다.
도 4는 본 발명의 픽셀 맵핑 LiDAR 시스템에 사용되는 2차원 검출기 어레이의 실시예를 예시한다.
도 5는 공지된 LiDAR 시스템에 사용되는 공지된 2차원 검출기 어레이를 예시한다.
도 6은 본 발명의 픽셀 맵핑 LiDAR 시스템에 사용되는 2차원 검출기 어레이의 실시예에서 단일 레이저의 시차의 영향을 예시한다.
도 7은 도 6의 2차원 검출기 어레이의 실시예에서 두 개의 인접한 레이저에 대한 시차의 영향을 도시한다.
도 8은 본 발명의 LiDAR에 대한 픽셀 맵핑 방법의 실시예의 단계들의 흐름도를 예시한다.
이제, 본 교시는 첨부 도면에 도시된 바와 같은 예시적인 실시예를 참조하여 더욱 상세하게 설명될 것이다. 본 교시가 다양한 실시예 및 예시와 관련하여 설명되지만, 본 교시는 이러한 실시예로 제한되도록 의도된 것이 아니다. 반대로, 본 교시는 통상의 기술자가 이해할 수 있는 바와 같이 다양한 대안, 수정 및 등가물을 포함한다. 본 명세서의 교시에 접근하는 통상의 기술자는, 본 명세서에 설명된 본 개시내용의 범위 내에 있는 추가 구현, 수정 및 실시예뿐만 아니라 다른 사용 분야도 인식할 것이다.
명세서에서 "일 실시예" 또는 "실시예"에 대한 언급은, 해당 실시예와 관련하여 설명된 구체적인 특징, 구조, 또는 특성이 교시의 적어도 하나의 실시예에 포함된다는 것을 의미한다. 본 명세서의 여러 위치에 나타나는 "일 실시예에서"라는 문구의 출현이 모두 동일한 실시예를 지칭하는 것은 아니다.
본 교시의 방법의 개별 단계들이, 교시가 사용될 수 있게 유지되는 한 임의의 순서로 및/또는 동시에 수행될 수 있다는 점을 이해해야 한다. 또한, 본 교시의 장치 및 방법이 교시가 사용될 수 있게 유지되는 한 설명된 실시예들 중 임의의 수 또는 전부를 포함할 수 있다는 것을 이해해야 한다.
본 교시는, 일반적으로 레이저 광을 사용하여 대상까지의 거리(범위)를 측정하는 원격 감지 방법인 광 검출 및 거리 측정(Light Detection and Ranging; LIDAR)에 관한 것이다. LIDAR 시스템은 일반적으로 광을 반사 및/또는 산란시키는 다양한 대상이나 타겟까지의 거리를 측정한다. 자율 주행 차량은 LIDAR 시스템을 사용하여 주변 환경의 매우 정확한 3D 지도를 고 해상도로 생성한다. 여기에 설명된 시스템 및 방법은, 긴 측정 범위와 저렴한 비용을 또한 유지하면서 높은 수준의 신뢰성을 갖춘 솔리드-스테이트 펄스형 비행시간(time-of-flight; TOF) LIDAR 시스템을 제공하는 것에 관한 것이다.
특히, 본 교시는, 단시간 지속 레이저 펄스를 전송하고 수신된 반환 신호 트레이스의 형태인 반환 펄스의 직접 검출을 사용하여 대상까지의 TOF를 측정하는 LIDAR 시스템에 관한 것이다. 또한, 본 교시는 어떤 방식으로든 물리적으로 서로 분리되어 있는 송신기 및 수신기 광학 장치들을 갖는 시스템에 관한 것이다.
도 1은 공지된 촬상 수신기 시스템(100)을 예시한다. 시스템(100)은 렌즈 시스템(108)의 초점면(106)에 위치하는 검출기 어레이(104)를 포함하는 수신기(102)를 포함한다. 검출기 어레이(104)는 2차원 어레이일 수 있다. 검출기 어레이(104)는 화상 센서라고 지칭될 수 있다. 렌즈 시스템(108)은 하나 이상의 렌즈 및/또는 다른 광학 요소를 포함할 수 있다. 렌즈 시스템(108)과 어레이(104)는 하우징(110)에 고정되어 있다. 수신기(102)는 시야(field-of-view; 112)를 갖고, 해당 시야(112)에서 타겟(116)의 실제 화상(114)을 생성한다. 실제 화상(114)은 렌즈 시스템(108)에 의해 초점면(106)에서 생성된다. 어레이(104)에 의해 생성된 실제 화상(114)은, 근축 광선 투영으로 초점면(106) 상에 투영된 것으로 나타나며 실제 타겟에 비해 반전된다.
도 2a는 본 교시의 개별 송신기 및 수신기를 사용하는 픽셀-맵핑 광 검출 및 거리 측정(LiDAR) 시스템(200)의 실시예를 예시한다. 별도의 송신기(202) 및 수신기(204)가 사용된다. 송신기(202)와 수신기(204)는 서로 거리(206; P)를 두고 중심에 위치한다. 송신기(202)는 송신기(202)로부터의 광을 투영하는 광학 렌즈 시스템(208)을 갖는다. 수신기(204)는 광을 수집하는 광학 렌즈 시스템(210)을 갖는다. 송신기는 광 축(212)을 갖고, 수신기(204)는 광 축(214)을 갖는다. 별도의 송신기 광 축(212)과 수신기 광 축(214)은 동축이 아니고 대신 방사상으로 오프셋되어 있다. 송신기 및 수신기 렌즈 시스템(208, 210)의 광 축들(212, 214) 사이의 방사상 오프셋은 여기서 시차라고 지칭된다.
송신기(202)는 도면에서 광선 A(216)와 광선 C(218) 사이의 각도에 대응하는 시야(FOV) 내에서 광을 투영한다. 송신기는 측정을 위해 레이저 어레이의 서브세트가 활성화될 수 있는 레이저 어레이를 포함한다. 송신기는 단일 측정 중에 전체 FOV에 걸쳐 균일하게 광을 방출하지 않고 대신 시야의 일부 내에서만 광을 방출한다. 보다 구체적으로, 광선 A(216), B(220) 및 C(218)는 중심 축 주위에 약간의 발산 또는 원뿔 각도를 갖는 개별 레이저 빔에 대한 중심 축을 형성한다. 즉, 광선 B(220)는 송신기(202)의 광 축(212)과 동일하다. 일부 실시예에서, 각 광선(216, 218, 220)은 명목상 송신기(202)의 레이저 어레이(도시되지 않음)의 단일 레이저 방출기로부터의 광과 연관될 수 있다. 레이저 방출기가 단일 물리적 방출 애퍼처 또는 그룹으로서 동작되는 다중 물리적 방출 애퍼처를 갖는 레이저 소스를 지칭할 수 있음을 이해해야 한다. 일부 실시예에서, 각 광선(216, 218, 220)은 명목상 송신기(202)의 레이저 어레이(도시하지 않음)에 있는 인접한 개별 레이저 방출기 요소들의 그룹으로부터의 광과 연관될 수 있다. 유사한 광선 분석에서, 수신기는 도면에서 광선 1(222)과 광선 5(224) 사이의 각도에 해당하는 FOV 내에서 광을 수신한다. 광은 광선 2(226), 광선 3(228) 및 광선 4(230)를 따르는 광을 (예시 목적으로) 포함하는 FOV에 걸친 분포로 수집된다. 보다 구체적으로, 광선 3(228)은 중심 축 주위로 약간의 발산 또는 원뿔 각도를 갖는 수집된 광의 중심 축(214)을 형성한다. 일부 실시예에서, 각 광선(226, 228, 230)은 수신기(204)의 검출기 어레이(도시하지 않음)의 단일 검출기 요소로부터 수신된 광과 명목상 연관될 수 있다. 일부 실시예에서, 각 광선(226, 228, 230)은 송신기(202)의 검출기 어레이(도시되지 않음)에 있는 인접한 개별 검출기 요소들의 그룹으로부터 수신된 광과 명목상 연관될 수 있다. 단일 검출기 요소 또는 검출기 요소들의 연속적인 그룹들을 픽셀이라 지칭할 수 있다.
레이저 소스(도시하지 않음) 및 렌즈 시스템(208)을 포함하는 송신기(202)의 설계는 중심 축(212)을 갖는 FOV를 갖는 조명을 생성하도록 구성된다. 검출기 어레이(도시하지 않음) 및 렌즈 시스템(208) 위치를 포함하는 수신기(204)의 설계는 중심 축(214)을 갖는 FOV를 갖는 조명을 수집하도록 구성된다. 송신기(202)의 FOV의 중심 축(212)은 SMATCH로 표시된 표면(232)에서 수신기(204)의 FOV의 중심 축(214)과 교차하도록 조정된다. 이 표면(232)은 매끄럽다. 일부 실시예에서, 표면은 명목상 구형이다. 다른 실시예에서, 표면은, 송신기와 수신기의 상대적인 왜곡을 포함하여 송신기(202) 및 수신기(204)의 광학 시스템의 설계에 따라 달라지므로 구형이 아니다. 송신기(202)로부터의 조명과 수신기(204)로부터 수집된 광 사이의 표면(232)을 따른 여러 개의 교차 지점(234, 236, 238)이 표시되어 있다. 제1 문자는 송신기(202) 광선에 해당하고, 제2 문자는 수신기(204) 어레이에 해당한다. 즉, 지점(234, C1)은 송신기(202) 광선 C(218)와 수신기(204) 광선 1(222)의 교차점이다. 지점(236, B3)은 송신기(202) 광선 B(220)와 수신기(204) 광선 3(228)의 교차점이다. 지점(238, A5)은 송신기(202) 광선 A(216)와 수신기(204) 광선 5(224)의 교차점이다. 표면(232)을 따른 지점(234, 236, 238)과 동일한 명명 규칙을 갖는 다른 교차 지점(240, 242, 244, 246, 248, 250)도 표시되어 있다. 통상의 기술자에게 명백한 바와 같이, 이러한 교차 지점들의 완전한 3차원 세트는, 송신기와 수신기의 상대 중심 위치(206), 광학 축(212, 214) 방향, 및 FOV에 기초하여 송신기(202)와 수신기(204)의 임의의 특정 쌍에 적용될 수 있다.
도 2b는 본 교시의 호스트 프로세서(274)에 연결된 송신기 및 수신기 시스템(261)을 포함하는 픽셀-맵핑 LiDAR 시스템(260)의 실시예의 블록도를 예시한다. LiDAR 시스템(261)은, 6개의 주요 구성요소인, (1) 제어기 및 인터페이스 전자 장치(262); (2) 레이저 드라이버를 포함하는 송신 전자 장치(264); (3) 레이저 어레이(266); (4) 수신 및 비행시간 및 강도 연산 전자 장치(268); (5) 검출기 어레이(270); 및 (6) 일부 실시예에서의 광학 모니터(272)를 갖는다. LiDAR 시스템 제어기 및 인터페이스 전자 장치(262)는 LiDAR 시스템(261)의 전체 기능을 제어하고 호스트 시스템 프로세서(274)에 디지털 통신을 제공한다. 송신 전자 장치(264)는, 레이저 어레이(266)의 동작을 제어하고, 일부 실시예에서는, 어레이(266)의 개별 요소들의 레이저 발사의 패턴 및/또는 전력을 설정한다.
수신 및 비행시간 연산 전자 장치(268)는, 검출기 어레이(270)로부터 전기적 검출 신호를 수신한 다음 이러한 전기적 검출 신호를 처리하여 비행시간 계산을 통해 범위 거리를 연산한다. 수신 및 비행시간 연산 전자 장치(268)는, 또한, 특정 측정에 사용되는 픽셀들의 서브세트들을 선택하기 위해 검출기 어레이(270)의 픽셀들을 제어할 수 있다. 반환 신호의 강도도 전자 장치(268)에서 연산된다. 일부 실시예에서, 수신 및 비행시간 연산 전자 장치(268)는, 레이저 어레이(206)의 두 개의 상이한 방출기로부터의 반환 신호가 단일 픽셀(또는 측정에 연관된 픽셀들의 그룹)로부터의 신호에 존재하는지를 결정한다. 일부 실시예에서, 송신 제어기(264)는 펄스 진폭, 펄스 폭, 및/또는 펄스 지연과 같은 펄스 파라미터들을 제어한다.
도 2b의 LiDAR 시스템(260)의 블록도는 구성요소들 간의 연결을 예시하며, 어떠한 방식으로든 물리적 구조를 제한하려는 의도가 아니다. 시스템(260)의 다양한 요소는 실시예에 따라 다양한 위치에 물리적으로 위치할 수 있다. 또한, 요소들은 실시예에 따라 다양한 물리적 구성으로 분포될 수 있다. 도 2a와 도 2b를 모두 참조하면, 일부 실시예에서, 송신기(202)용 모듈은 레이저 어레이(266) 구성요소, 송신 전자 장치, 및 레이저 드라이버(264) 처리 요소 모두를 수용할 수 있다. 일부 실시예에서, 수신기(204)용 모듈은 검출기 어레이(270) 구성요소, 수신 전자 장치, 및 TOF 계산(268) 처리 요소를 모두 수용할 수 있다.
도 3은 본 교시의 픽셀-맵핑 LiDAR 시스템에 사용되는 1차원 검출기 어레이(300)의 실시예를 예시한다. 본 도면은 단순화를 위해 간단한 1D 검출기 어레이(300)를 나타내지만, 본 교시는 이에 제한되지 않는다. 검출기 어레이(300)는 1차원에서 32개의 픽셀(302)을 갖는다. 도 3의 예시에 있는 어레이(300)는 예시적인 목적을 위해 단순화되었다. 본 교시의 범위 내에는 1차원 검출기 어레이(300)의 많은 구성이 있다. 일부 구성에서, 픽셀(302)은, 예를 들어, 도 2a에 도시된 시스템(200)의 수신기(204)에 있는 화상 센서의 한 요소를 나타낸다. 일부 구성에서, 검출기 어레이(300)는 2차원이다. 일부 구성에서, 검출기 어레이(300)는 32개보다 많은 픽셀(302)을 포함한다. 일부 구성에서, 픽셀(302)은 검출기들의 어레이(예를 들어 단일 광자 어밸런치 검출기(SPAD), 실리콘 광전자 증배관(SiPM))의 단일 요소이다. 일부 구성에서, 픽셀(302)은 개별 검출기들(예를 들어 SPAD, SiPM)의 연속 그룹이다.
도 2a와 도 3을 함께 참조해 보면, 각 교차 지점(234, 236, 238, 240, 242, 244, 246, 248, 250)의 위치는, 각 교차 지점(234, 236, 238, 240, 242, 244, 246, 248, 250)에 위치하는 타겟에 대응하는 반사된 펄스가 수신되는 화상 평면의 위치(304, 306, 308, 310, 312)와 관련하여 표시된다. A1(240), B1(248), 및 C1(234)이 모두 동일한 픽셀(314)에 화상화되는 것을 알 수 있다. 또한, A 광선(216)은 타겟 거리와 수신기 FOV 내의 위치에 따라 어레이의 모든 픽셀에서 반사된 신호가 수신되게 한다는 것을 알 수 있다. 예를 들어, 지점(A2; 242)), 픽셀(316), 지점(A3; 244), 픽셀(318), 지점(A4; 246), 픽셀(310), 및 지점(A5; 234), 픽셀(322)은 모두 어레이(300)에 속한다. 반면, C 광선(218)에 대해 마킹된 교차 지점들 중 하나만이 어레이(300), 즉, 지점(CL 234), 픽셀(314)에 해당한다. B 광선(220)에 대해 마킹된 교차 지점들 중 몇 개는 어레이(300)에 속하며, 예를 들어, 지점(B1; 248), 픽셀(314), 지점(B2; 248), 픽셀(316), 및 지점(B3; 250), 픽셀(318)이 속한다.
이와 같이, 송신기와 수신기 사이의 시차는, 반사된 펄스를 수신하는 특정 픽셀이 발사되는 레이저의 위치(즉, 레이저 광선)와 FOV 내의 위치(즉, 수신기 광선) 모두의 함수인 기하학적 구조를 생성한다. 따라서, 레이저 광선과 수신기 광선(즉, 레이저 요소와 수신기 요소) 사이에는 일대일 대응이 없다. 오히려, 대응은 반사 타겟의 거리에 따라 달라진다.
도 4는 본 교시의 픽셀-맵핑 LiDAR 시스템에 사용되는 2차원 검출기 어레이(400)의 실시예를 예시한다. 일부 실시예에서, 검출기 어레이(400)는 공지된 다양한 2차원 촬상 픽셀 어레이들 중 임의의 것이다. 어레이(400)는 행(406)과 열(408)로 배열된 픽셀들(402)을 포함한다. 예를 들어, 많은 카메라는 롤링 셔터를 사용하는 공지된 2D 감지기 어레이를 사용한다. 롤링 셔터에서는, 데이터가 한 라인씩 수집된다.
도 4는 강조되는 단일 열(408) 또는 단일 행(410)에 의해 이 동작을 예시한다. 롤링 셔터를 이용하는 주된 이유는 데이터가 판독될 수 있는 속도의 제한 때문이다. 또한, 임의의 한 번에 판독될 수 있는 데이터의 양에도 제한이 있을 수 있다. 일부 카메라는 글로벌 셔터를 사용한다. 글로벌 셔터에서는, 전체 검출기 어레이에 대한 데이터가 동시에 캡처된다. 글로벌 셔터의 단점은, 프레임 속도를 제한할 수 있는 센서로부터 모두 동시에 들어오는 대량의 데이터이다. 즉, 글로벌 셔터를 사용하여 처리될 프레임당 데이터의 양이 많기 때문에 프레임들 간에 시간이 더 걸린다. 따라서, 롤링 셔터 동작은 데이터 프레임을 행 단위 또는 열 단위로 수집한다. 전체 어레이(400)로부터 데이터를 캡처하기 위해 각각 16개의 픽셀을 갖는 24개의 열 프레임이 있을 수 있다. 대안으로, 전체 어레이(400)로부터 데이터를 캡처하기 위해 각각 24개의 픽셀을 갖는 16개의 행 프레임이 있을 수 있다. 글로벌 셔터 동작은 2차원 어레이의 모든 픽셀로부터 데이터 프레임을 수집한다. 전체 어레이(400)를 판독하기 위해 384개의 픽셀로부터의 데이터의 한 프레임이 있을 수 있다.
도 5는 공지된 LiDAR 시스템에서 사용되는 공지된 2차원 검출기 어레이(500)를 예시한다. 2D 검출기 픽셀 어레이(500)는 24개의 송신기 방출기 FOV(504)(검은 외곽선의 사각형)와 중첩되는 384개의 픽셀(502)(작은 회색 사각형)을 포함한다. 시차가 있는 시스템에서, 도시된 바와 같이, 임의의 특정 송신기(504)와 16개의 수신기 픽셀(502)의 정확한 중첩은 하나의 특정 거리에서만 발생한다. 즉, FOV(504)는 하나의 측정 거리에 대해서만 이러한 형태를 갖는다. 도 5에 도시된 구성은 전체 시스템 FOV를 동시에 조명하는 공지된 플래시 송신기를 사용하지 않는다. 대신, 송신기는 각각 송신기 방출기 FOV(504)를 생성하는 복수의 24개의 레이저 방사기를 포함하며, 여기서 각각의 개별 레이저는 독립적으로 발사될 수 있다. 각 레이저 방출기에 의해 방출되는 광 빔은 전체 시스템 FOV의 일부에만 해당하는 3D 투영 각도에 해당한다. 즉, 방출기 FOV는 단 하나의 정사각형에 해당하는 반면, 송신기 FOV는 24개의 정사각형으로 구성된 전체 세트이다. 이러한 송신기의 일례는 본 양수인에게 양도된 미국 특허공개번호 2017/0307736 A1에 자세히 설명되어 있다. 미국 특허공개번호 2017/0307736 A1의 전체 내용은 본원에 참고로 원용된다.
도시된 바와 같이 다중 레이저 방출기를 사용하는 LIDAR 시스템은 눈 안전 한계를 유지하면서 더 높은 광 출력 밀도를 포함하는 많은 이점을 갖는다. 가장 빠른 데이터 획득 속도(및 프레임 속도)를 갖기 위해, 단일 레이저에 대응하는 픽셀(502)(즉, 특정 방출기 FOV(504)의 16개 픽셀(502))만이 특정 측정 순서 동안 이용되는 것이 바람직하다. 개별 레이저 방출기는 특정 범위의 특정 영역에만 반사되며, 특정 방출기에 해당하는 그러한 픽셀만을 활성화하도록 검출기 영역을 적절하게 선택하면 전체 시스템 속도가 최적화될 수 있다.
공지된 LiDAR 시스템의 문제점은, 검출기 어레이 수집 영역(FOV)에 대한 송신기 방출기 조명(FOV)의 투영이 전술한 바와 같이 하나의 측정 거리에서만 엄격하게 유지된다는 것이다. 측정 거리가 상이하면, 타겟으로부터 검출기 어레이 상으로 반사되는 송신기 조명 영역의 형상이 다르다. 한 거리에서 유지되는 FOV 투영과 다른 거리에서 유지되는 보다 일반적인 중첩 조건 간의 차이를 명확하게 하기 위해, 화상 영역을 참조한다. 여기에 사용되는 바와 같은 화상 영역은 측정 거리의 범위에서 검출기에 떨어지는 조명의 형상이다. 특정 시스템에 대한 화상 영역의 크기와 형상은, 시스템 측정 범위(시스템이 측정을 수행하는 거리 범위),송신기와 수신기의 광 축들의 상대 위치와 각도, 송신기의 방출기와 수신기의 검출기의 크기, 형상, 위치, 및 기타 시스템 설계 파라미터에 기초하여 결정될 수 있다.
본 교시의 한 가지 특징은, 본 교시에 따른 방법 및 시스템이 송신기와 수신기의 상대 위치와 광 축들 사이의 공지된 관계를 이용하고 송신기의 각 방출기에 대한 화상 영역을 미리 결정한다는 점이다. 이어서, 이 정보를 사용하여 두 개의 상이한 방출기의 화상 영역들 사이의 중첩 영역들에서 수집된 데이터를 포함하여 수집된 측정 데이터를 처리할 수 있다. 예를 들어, 처리는, 중복된 데이터 지점을 제거할 수 있고, 중첩 영역에서 최상의 데이터 지점(들)을 선택하여 잡음과 주변 광의 영향을 줄일 수 있고/있거나 특정 방향을 따라 상이한 거리로부터의 다중 반환들을 생성할 수 있다. 이 처리는 블루밍 감소를 포함하여 화질을 개선하는 데에도 사용될 수 있다.
도 6은 본 교시의 픽셀-맵핑 LiDAR 시스템에 사용되는 2차원 검출기 어레이(600)의 실시예에서 단일 레이저의 시차의 영향을 예시한다. 어레이(600)는 384개의 픽셀(602)을 포함한다. 본 교시의 검출기 어레이를 사용하는 LiDAR 시스템의 일부 실시예는 다중 방출기를 갖는 송신기에 의해 조명되며, 각각의 방출기는 일반적으로 소수의 수신기 어레이의 전체 필드를 조명하지 않는다. 이처럼, 시스템(500)에 도시되고 도 5와 관련하여 설명된 바와 같이, 수신기 어레이 FOV에 투영될 때 (전체 송신기 FOV를 생성하기 위해 결합되는) 다수의 송신기 방출기 FOV가 존재한다. FOV 투영은 송신기 광 축과 수신기 광 축의 상대 위치에 적어도 부분적으로 기초한다. 시차는, 단일 타겟 또는 다수의 타겟이 일부 유한 범위에 걸쳐 확장된다는 가정 하에 단일 레이저 방출기에 의해 형성된 화상에 영향을 미친다. 이 화상에는, 수직 방향과 수평 방향 모두에 있어서 시차 성분이 있다. 이처럼, 도 5를 또한 참조할 때, 레이저 방출기 번호 9에 대한 단일 타겟 거리에 해당하는 직사각형 FOV(506)는 9로 표시된 다각형 화상 영역(604)으로 대각선으로 퍼진다. 이 화상 영역(604)은 타겟 거리 범위에 걸쳐 발생하는 반사를 포함한다. 레이저 화상, 화상 영역(604)을 완전히 둘러싸는 픽셀들(602)의 세트의 윤곽을 그리는 직사각형을 형성하는 점선(606)은, 일부 타겟으로부터 반사가 있는 타겟 거리의 범위에 걸쳐 데이터 손실이 없음을 보장하기 위해 이러한 특정 레이저 방출기에 대해 선택되어야 하는 수신기 픽셀 영역을 나타낸다.
도 7은 도 6의 2차원 검출기 어레이(600)의 실시예에서 두 개의 인접한 레이저에 대한 시차의 영향을 예시한다. 도 5를 또한 참조해 보면, 타겟 거리의 범위에 대응하는 방출기(9) 직사각형 FOV(506) 및 방출기(10) FOV(508)는, 모두 방출기(9)에 대한 다각형 화상 영역(702) 및 방출기(10)에 대한 다각형 화상 영역(704)으로 대각선으로 퍼진다. 시차는, 단일 타겟이 송신기로부터 일정 범위의 거리에 걸쳐 확장되거나 다수의 타겟이 일부 유한 범위에 걸쳐 확장된다고 가정할 때, 두 개의 인접한 레이저(이 예에서는 방출기(9)와 방출기(10))에 의해 형성된 화상에 영향을 미친다. 두 개의 레이저 방출기(9 및 10)의 화상 영역들(702, 704)이 이제 부분적으로 중첩되는 것을 알 수 있다. 단일 측정 거리에 해당하는 도 5에서, 투영된 레이저 화상인 FOV(506, 508) 사이에는 중첩이 없다.
도 7에서, 두 개의 레이저 방출기(9 및 10)에 대응하는 픽셀들을 둘러싸는 두 개의 픽셀 세트에 대한 영역들(706, 708)도 부분적으로 중첩된다. 이러한 경우, 두 개(또는 이상)의 레이저로부터 발생하는 조명 측정값에 해당하는 중첩 영역에 해당하는 픽셀들(710)의 세트가 있을 것이다. 일부 실시예에서 중첩 영역은 어레이(600)의 픽셀들의 전체 행이나 전체 열이 아니다. 시차 효과는 개별 방출기 또는 방출기 그룹의 FOV가 작은 LiDAR 시스템에서 특히 극적이다. 예를 들어, 시차 효과는, 개별 픽셀들의 행 및/또는 열의 서브세트만이 에너지가 공급된 방출기, 또는 단일 측정을 나타내는 동시에 에너지가 공급된 방출기들의 그룹에 의해 조명되는 시스템에서 특히 강력하다. 일부 실시예에서, 단일 측정은 에너지가 공급된 방출기 또는 방출기들의 그룹으로부터의 레이저 광의 단일 펄스에 연관된다.
일부 실시예에서, 하나의 레이저 방출기와 함께 사용되는 픽셀(들)의 적어도 하나의 서브세트는 다른 레이저 방출기와 함께 사용되는 픽셀(들)의 적어도 하나의 서브세트와 중첩된다. 시스템은, 이 중첩 영역으로부터 얻은 데이터를 분석 및 결합하고 이렇게 처리된 데이터에 기초하여 결합된 단일 포인트 클라우드를 생성함으로써 중첩 영역의 픽셀들로부터 얻은 데이터를 처리하는 프로세서(도시하지 않음)를 포함한다. 일부 실시예에서, 프로세서는, 조명된 픽셀들에 의해 생성된 데이터에 포함된 반환 펄스에 기초하여 특정 레이저 방출기에 연관된 조명된 픽셀들(즉, 두 개 이상의 에너지가 공급된 레이저 방출기의 화상 영역의 픽셀들)을 동적으로 선택한다. 예를 들어, 반환 펄스 강도, 잡음 수준, 펄스 폭, 및/또는 기타 속성을 포함하여 다양한 반환 펄스 속성을 사용하여, 특정 레이저를 동적으로 선택할 수 있다. 도 2b를 예로서 참조하면, 일부 실시예에서, 어레이(210)의 픽셀들로부터 얻은 데이터를 처리하는 프로세서는, 호스트 시스템 프로세서(274), 제어기 및 인터페이스 전자 장치(262), 수신 및 비행시간 및 강도 연산 전자 장치(268)의 일부, 및/또는 이들 처리 요소(274, 262, 268) 중 임의의 것 또는 전부의 조합일 수 있다.
본 교시의 일부 실시예에서, (예를 들어, 전체 행 및/또는 전체 열이 아니라) 특정 측정을 위해 픽셀들의 어레이의 일부만이 활성화된다. 이러한 실시예에서, 2차원 매트릭스 어드레싱가능 검출기 어레이가 사용될 수 있다. 일부 실시예에서, 2차원 매트릭스 어드레싱가능 검출기 어레이는 SPAD 어레이이다. 본 교시의 일부 실시예에서, 레이저 방출기 어레이의 일부에만 특정 측정을 위해 에너지가 공급된다. 예를 들어, 전체 행 및/또는 전체 열 미만에 에너지가 공급될 수 있다. 이러한 실시예에서는, 2차원 매트릭스 어드레싱가능 레이저 어레이가 사용될 수 있다. 일부 실시예에서, 2차원 매트릭스 어드레싱가능 레이저 어레이는 VCSEL 어레이이다. 일부 실시예에서, 송신기 구성요소들은 모두 움직이는 부품이 없는 솔리드-스테이트이다.
도 8은 본 교시의 LiDAR에 대한 픽셀 맵핑 방법의 실시예의 단계들의 흐름도(800)를 예시한다. 이 방법은 본 교시의 LIDAR 시스템에 통합된 4차원(4D) 포인트 클라우드를 제공한다. 4D란 3개의 공간 차원에 강도를 더한 것을 의미한다. 제1 단계(802)에서는, 측정이 개시된다. 제2 단계(804)에서는, 선택된 레이저 방출기가 발사된다. 즉, 개별 레이저는 광 펄스를 생성함으로써 단일 측정을 시작하도록 제어된다. 본 교시에 따른 다양한 방법에서, 선택된 개별 레이저 및/또는 레이저들의 그룹이 발사되어 단일 광 펄스를 생성하여, 레이저 FOV의 원하는 패턴이 주어진 단일 발사 측정 사이클에서 조명된다는 것을 이해해야 한다. 일부 실시예에서, 송신기 레이저 전력은 타겟까지의 범위의 함수로서 가변된다. 일부 실시예에서, 송신기 펄스 길이는 타겟까지의 범위의 함수로서 가변된다.
제3 단계(806)에서는, 반사된 반환 신호가 LIDAR 시스템에 의해 수신된다. 제4 단계(808)에서는, 수신된 반사된 반환 신호가 처리된다. 일부 방법에서는, 반환 신호 처리가 반환 피크의 수를 결정한다. 일부 방법에서, 처리는 비행시간(TOF)에 기초하여 대상까지의 거리를 계산한다. 일부 방법에서, 처리는 반환 피크의 강도 또는 의사 강도를 결정한다. 이러한 처리 결과의 다양한 조합이 제공될 수 있다. 강도는 PIN(p-type-intrinsic-n-type-structure detector) 또는 APD(Avalanche PhotoDetector)를 사용하여 직접 검출될 수 있다. 또한, 또는 대안적으로, 강도는, 동시에 트리거되는 픽셀들의 수에 기초하여 의사 강도를 제공하는 SiPM(Silicon Photo-Multiplier) 또는 SPAD(Single Photon Avalanche Diode Detector) 어레이를 사용하여 검출될 수 있다. 방법의 일부 실시예는 반환 신호 트레이스의 잡음 수준을 추가로 결정한다. 방법의 다양한 실시예에서는, 예를 들어, 주변 광 수준 및 다양한 환경 조건 및/또는 인자와 같은 추가 정보도 고려된다.
제5 단계(810)에서는, 레이저로부터 또 다른 광 펄스를 생성하기 위해 레이저를 발사하는 것에 대한 판정이 내려진다. 판정이 '예'인 경우, 방법은 제2 단계(804)로 다시 진행된다. 방법의 다양한 실시예에서, 판정은, 예를 들어, 판정 매트릭스, LIDAR 제어기에 프로그래밍된 알고리즘, 또는 룩업 테이블에 기초할 수 있다. 이어서, 원하는 수의 레이저 펄스가 생성되고 판정 단계(810)에서 정지가 반환되어 제6 단계(812)로 진행될 때까지 제2 단계(804), 제3 단계(806) 및 제4 단계(808)를 포함하는 루프를 순환함으로써 특정 수의 레이저 펄스가 생성된다.
시스템은 제6 단계(812)에서 다중 측정 신호 처리 단계를 수행한다. 방법(800)의 다양한 실시예에서, 다중 측정 신호 처리 단계는, 예를 들어, 필터링, 평균화, 및/또는 히스토그램화를 포함할 수 있다. 다중 측정 신호 처리를 통해 다중 펄스 측정의 처리된 데이터로부터 최종 결과 측정이 생성된다. 이러한 결과 측정은 원시 신호 추적 정보와 처리된 정보를 모두 포함할 수 있다. 원시 신호 정보는 제6 단계의 처리에 관련된 메타데이터뿐만 아니라 데이터의 확률이나 신뢰 수준을 나타내는 플래그나 태그로 보강될 수 있다.
제7 단계(814)에서, 시스템은, 일부 발사 순서에서 다음 레이저를 제어하는 판정 루프로 이동하고, 모든 레이저에 대한 하나의 완전한 측정 세트가 얻어질 때까지 발사 순서에서 레이저의 전체 목록을 통해 루프를 계속 순환한다. 방법이 제7 단계(814)에서 제2 단계(804)로 진행하게 되면, 새롭게 다른 레이저가 발사된다. 발사 순서는 특정 루프에서 발사되는 특정 레이저를 결정한다. 예를 들어, 이 순서는 전체 프레임 또는 부분 프레임에 해당할 수 있다.
다른 가능한 실시예에서, 루프들(810 및 814)은, 레이저들의 서브그룹이 형성되도록 결합되며, 여기서 레이저의 발사는 인터리빙되어, 해당 단일 레이저를 백투백(back-toback) 펄스로 발사하는 것에 비해 임의의 개별 레이저에 대한 듀티 사이클을 감소시키지만, 특정 레이저에 대한 펄스들 사이의 상대적으로 짧은 시간을 여전히 유지한다. 이러한 대체 실시예에서, 시스템은 전체 또는 부분 프레임을 완료하기 위해 다수의 하위 그룹을 거쳐 단계적으로 진행된다.
제8 단계(816)에서, 시스템은 발사 순서로부터 전체 데이터 세트를 분석하고 임의의 중첩 픽셀 영역의 데이터에 대해 다양한 액션을 취한다. 이는, 예를 들어, 도 7과 관련하여 설명된 중첩 영역(710)일 수 있다. 이 액션은, 두 개의 개별 TOF 거리를 두고 중첩되는 픽셀 영역의 데이터를 결합하여 특정 각도 방향으로 다수의 반환을 생성하는 것을 포함할 수 있다. 일부 실시예에서, 중첩 픽셀로부터의 측정 데이터의 결합은 특정 각도 방향에 대한 다수의 반환을 초래한다. 이들 실시예에서, 중첩하는 픽셀들로부터의 측정 데이터의 결합은 TOF 반환 중 적어도 일부의 폐기를 초래하여, 결합된 측정 데이터는 하나의 반환만을 남긴다. 일부 실시예에서, 시스템은, 예를 들어, 거리가 대체로 동일하고 일부 기준에 기초하여 하나의 측정이 선호되는 경우 TOF 데이터의 한 세트를 폐기하도록 선택할 수 있다. 예를 들어, 기준은 잡음 수준, 반환 강도 수준, 또는 기타 측정 항목일 수 있다. 일부 실시예에서, 시스템은 화상 분석을 수행하여 블루밍과 같은 화상 결함을 정정하기 위해 중첩 데이터를 사용할 수 있다.
이어서, 제9 단계(818)에서는 다중-측정 반환 신호 처리의 분석에 의해 결정된 결합된 4D 정보가 보고된다. 보고된 데이터는, 예를 들어, 3D 측정 지점 데이터(즉, 3개의 공간 차원) 및/또는 반환 피크 수, 비행시간, 반환 펄스(들) 진폭(들),오류, 및/또는 다양한 교정 결과를 포함한 다양한 기타 측정항목을 포함할 수 있다. 제10 단계(820)에서는, 방법이 종료된다.
개별 및/또는 레이저들 및/또는 검출기들의 그룹을 선택하는 방법에는 여러 가지가 있다. 예를 들어, "Solid-State LIDAR Transmitter with Laser Control"이라는 제목의 미국 가특허출원번호 62/831,668을 참조한다. 또한, "Eye-Safe Long-Range Solid-State LIDAR System"이라는 제목의 미국 가특허출원번호 62/859,349 및 "Noise Adaptive Solid-State LIDAR System"이라는 제목의 미국 특허출원번호 16/366,729를 참조한다. 이러한 특허 출원들은 모두 현재 양수인에게 양도되었으며 모두 참조로 본원에 원용된다.
본 교시의 일부 양태의 중요한 특징은, 단일 타겟 범위에 제공된 FOV에 비해 타겟이 LiDAR로부터 일정 범위의 거리에 걸쳐 확장되면 시차가 특정 레이저 방출기(또는 방출기들의 그룹)의 화상 영역을 왜곡하게 한다는 인식이다. 이러한 왜곡으로 인해 타겟 거리의 범위에서 측정할 때 인접한 방출기들의 FOV들 간에 일부 중첩이 발생한다. 예를 들어, 이 시차는, 방출기의 위치, 송신기로부터의 조명 광 축의 각도, 및/또는 픽셀 위치 및 픽셀에 의해 수집된 조명 광 죽의 각도에 기초하여 특성화될 수 있다. 송신기의 광 축은 수신기의 광 축과 일치하지 않는다. 수신된 데이터의 분석 및 처리를 수행하고 이러한 알려진 시차를 사용함으로써, 중첩 영역을 분석하고 데이터를 처리하여 이들 영역에 포함된 정보를 설명하고 이점을 얻을 수 있다. 그 결과, LiDAR에 의해 탐지되는 3차원 공간에서 대상을 식별하는 데 도움이 되는 단일의 유익한 결합 데이터 세트가 있다.
등가물
출원인의 교시는 다양한 실시예와 관련하여 설명되지만, 이는 출원인의 교시가 이러한 실시예로 제한되도록 의도한 것이 아니다. 반대로, 출원인의 교시는 통상의 기술자가 인식할 수 있는 것처럼 다양한 대안, 수정 및 등가물을 포함하며, 이는 교시의 사상과 범위를 벗어나지 않고 이루어질 수 있다.
Claims (30)
- 광 검출 및 범위 측정(Light Detection and Ranging; LiDAR) 시스템으로서,
a) 에너지가 공급될 때 제1 시야(Field-of-View; FOV)를 포함하는 제1 광 빔을 생성하는 제1 레이저 방출기 및 에너지가 공급될 때 제2 FOV를 포함하는 제2 광 빔을 생성하는 제2 레이저 방출기를 포함하는 송신기로서, 상기 송신기는 에너지가 공급될 때 송신기 광 축을 따라 상기 제1 및 제2 광 빔을 투사하는, 송신기; 및
b) 수신기 광 축을 따라 대상으로부터 반사되는 광을 수집하도록 구성된 수신기를 포함하고,
상기 수신기는,
i) 상기 수신기 광 축에 대하여 위치하는 픽셀들의 어레이로서, 대상으로부터 반사되는 상기 제1 광 빔으로부터의 광이 상기 픽셀들의 어레이 상에 제1 화상 영역을 형성하고, 상기 대상에 의해 반사되는 상기 제2 광 빔으로부터의 광이 상기 픽셀들의 어레이 상에 제2 화상 영역을 형성하여, 상기 제1 화상 영역과 상기 제2 화상 영역 간의 중첩 영역이 측정 범위에 기초하고 또한 상기 송신기 광 축과 상기 수신기 광 축의 상대 위치에 기초하여 형성되는, 픽셀들의 어레이; 및
ii) 상기 중첩 영역의 적어도 하나의 픽셀에 의해 생성된 전기 신호로부터 어떤 픽셀들이 상기 중첩 영역에 있는지를 결정하고, 상기 결정에 응답하여 반환 펄스를 생성하는 프로세서를 포함하는, LiDAR 시스템. - 제1항에 있어서, 상기 중첩 영역은 해당 영역의 크기를 특징으로 하는, LiDAR 시스템.
- 제1항에 있어서, 상기 중첩 영역은 해당 영역의 형상을 특징으로 하는, LiDAR 시스템.
- 제1항에 있어서, 상기 중첩 영역은 상기 픽셀들의 어레이의 위치를 특징으로 하는, LiDAR 시스템.
- 제1항에 있어서, 상기 제1 레이저 방출기와 상기 제2 레이저 방출기 중 적어도 하나는 VCSEL 방출기를 포함하는, LiDAR 시스템.
- 제1항에 있어서, 상기 제1 레이저 방출기와 상기 제2 레이저 방출기는 어레이로 형성되는, LiDAR 시스템.
- 제6항에 있어서, 상기 어레이는 VCSEL 어레이를 포함하는, LiDAR 시스템.
- 제1항에 있어서, 상기 레이저 어레이는 2차원 어레이를 포함하는, LiDAR 시스템.
- 제8항에 있어서, 상기 VCSEL 어레이는, 상기 송신기가 폭과 높이에 있어서 각각 전체 행(full row) 또는 전체 열(full column)이 아닌 FOV를 조명할 수 있도록 2D 매트릭스-어드레싱가능 어레이인, LiDAR 시스템.
- 제1항에 있어서, 상기 송신기는 제3 레이저 방출기를 더 포함하는, LiDAR 시스템.
- 제1항에 있어서, 상기 송신기는 송신 광학 장치를 더 포함하는, LiDAR 시스템.
- 제1항에 있어서, 상기 송신기는, 상기 제1 레이저 방출기가 펄스형 광 빔을 포함하는 상기 제1 광 빔을 생성하도록 구성된, LiDAR 시스템.
- 제12항에 있어서, 레이저 펄스들 중 적어도 하나의 강도는 상기 대상에 대한 범위에 기초하여 가변되는, LiDAR 시스템.
- 제12항에 있어서, 상기 레이저 펄스들 중 적어도 하나의 펄스 폭은 상기 대상에 대한 범위에 기초하여 가변되는, LiDAR 시스템.
- 제1항에 있어서, 상기 수신기는 수신 광학 장치를 더 포함하는, LiDAR 시스템.
- 제1항에 있어서, 상기 픽셀들의 어레이는 2차원 어레이를 포함하는, LiDAR 시스템.
- 제1항에 있어서, 상기 픽셀들의 어레이는 검출기 어레이를 포함하는, LiDAR 시스템.
- 제1항에 있어서, 상기 픽셀들의 어레이는 SPAD 어레이를 포함하는, LiDAR 시스템.
- 제1항에 있어서, 상기 픽셀들의 어레이는, 픽셀들의 서브세트만이 특정 측정을 위해 활성화되도록 구성된, LiDAR 시스템.
- 제1항에 있어서, 상기 중첩 영역의 적어도 하나의 픽셀은 특정 각도 방향으로부터 다수의 반환들을 수신하도록 구성된, LiDAR 시스템.
- 제1항에 있어서, 상기 프로세서는 상기 중첩 영역의 적어도 하나의 픽셀로부터 적어도 하나의 비행시간 반환을 폐기하도록 구성된, LiDAR 시스템.
- 제1항에 있어서, 상기 프로세서는 상기 중첩 영역에 대한 화상 분석을 수행하도록 구성된, LiDAR 시스템.
- 광 검출 및 범위 측정(Light Detection and Ranging; LiDAR) 방법으로서,
a) 제1 시야(FOV)를 포함하는 제1 광 빔을 생성하는 단계;
b) 제2 FOV를 포함하는 제2 광 빔을 생성하는 단계;
c) 송신기 광 축을 따라 상기 제1 및 제2 광 빔을 투사하는 단계;
d) 픽셀들의 어레이가 수신 광 축에 대하여 위치하는 상태에서 상기 수신 광 축을 따라 대상으로부터 반사되는 광을 수집하는 단계로서, 대상으로부터 반사되는 상기 제1 광 빔으로부터의 광은 상기 픽셀들의 어레이 상에 제1 화상 영역을 형성하고, 상기 대상에 의해 반사되는 상기 제2 광 빔으로부터의 광은 상기 픽셀들의 어레이 상에 제2 화상 영역을 형성하여, 상기 제1 화상 영역과 상기 제2 화상 영역 사이의 중첩 영역이 측정 범위에 기초하여 또한 상기 송신기 광 축과 상기 수신기 광 축의 상대 위치에 기초하여 형성되는, 단계;
e) 상기 중첩 영역의 적어도 하나의 픽셀에 의해 생성되는 전기 신호로부터 상기 중첩 영역에 어떠한 픽셀들이 있는지를 결정하는 단계; 및
f) 상기 결정에 응답하여 반환 펄스를 생성하는 단계를 포함하는, LiDAR 방법. - 통합된 4차원(4D) 포인트 클라우드를 제공하는 광 검출 및 거리 측정(Light Detection and Ranging; LiDAR)을 위한 픽셀 맵핑 방법으로서,
a) 레이저(들)를 선택하여 광의 단일 펄스를 생성하여, 레이저 FOV들의 원하는 패턴이 조명되게 하는 단계;
b) 타겟으로부터 반사된 반환 신호를 수신하는 단계;
c) 상기 반사된 반환 신호를 처리하는 단계;
d) 선택 레이저(들)를 발사하여 광의 다른 단일 펄스를 생성하여, 상기 처리 및 미리 결정된 판정 기준에 기초하여 레이저 FOV들의 원하는 패턴이 조명되게 하는 단계; 및
e) 상기 선택된 레이저들의 발사로부터의 데이터를 분석하여 4차원(4D) 포인트 클라우드 정보를 결정하는 단계를 포함하는, 방법. - 제24항에 있어서, 상기 반사된 반환 신호를 처리하는 단계는 반환 피크들의 수를 결정하는 단계를 포함하는, 방법.
- 제24항에 있어서, 상기 반사된 반환 신호를 처리하는 단계는 비행시간에 기초하여 상기 대상까지의 거리를 계산하는 단계를 포함하는, 방법.
- 제24항에 있어서, 상기 반사된 반환 신호를 처리하는 단계는 반환 신호 트레이스의 잡음 수준을 결정하는 단계를 포함하는, 방법.
- 제24항에 있어서, 상기 반사된 반환 신호를 처리하는 단계는 반환 피크들의 강도 또는 의사 강도를 결정하는 단계를 포함하는, 방법.
- 제24항에 있어서, 상기 광의 단일 펄스를 생성하는 선택된 레이저(들)의 전력을 상기 타겟의 범위의 함수로서 가변하는 단계를 더 포함하는, 방법.
- 제24항에 있어서, 상기 광의 단일 펄스를 생성하는 선택된 레이저(들)의 펄스 폭을 상기 타겟의 범위의 함수로서 가변하는 단계를 더 포함하는, 방법.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202163187375P | 2021-05-11 | 2021-05-11 | |
US63/187,375 | 2021-05-11 | ||
PCT/US2022/028297 WO2023282970A2 (en) | 2021-05-11 | 2022-05-09 | Pixel mapping solid-state lidar transmitter system and method |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20240005752A true KR20240005752A (ko) | 2024-01-12 |
Family
ID=83998690
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020237038937A KR20240005752A (ko) | 2021-05-11 | 2022-05-09 | 픽셀 맵핑 솔리드-스테이트 lidar 송신기 시스템 및 방법 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20220365219A1 (ko) |
EP (1) | EP4337989A2 (ko) |
JP (1) | JP2024518461A (ko) |
KR (1) | KR20240005752A (ko) |
CN (1) | CN117337404A (ko) |
WO (1) | WO2023282970A2 (ko) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10761195B2 (en) | 2016-04-22 | 2020-09-01 | OPSYS Tech Ltd. | Multi-wavelength LIDAR system |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7202776B2 (en) * | 1997-10-22 | 2007-04-10 | Intelligent Technologies International, Inc. | Method and system for detecting objects external to a vehicle |
US9014903B1 (en) * | 2012-05-22 | 2015-04-21 | Google Inc. | Determination of object heading based on point cloud |
KR102038533B1 (ko) * | 2012-06-14 | 2019-10-31 | 한국전자통신연구원 | 레이저 레이더 시스템 및 목표물 영상 획득 방법 |
US9234618B1 (en) * | 2012-09-27 | 2016-01-12 | Google Inc. | Characterizing optically reflective features via hyper-spectral sensor |
EP3019824B1 (en) * | 2013-07-09 | 2018-01-10 | Xenomatix NV | Surround sensing system |
US9266148B2 (en) * | 2014-06-27 | 2016-02-23 | Key Technology, Inc. | Method and apparatus for sorting |
EP3045936A1 (en) * | 2015-01-13 | 2016-07-20 | XenomatiX BVBA | Surround sensing system with telecentric optics |
US10539661B2 (en) * | 2015-11-25 | 2020-01-21 | Velodyne Lidar, Inc. | Three dimensional LIDAR system with targeted field of view |
US10627490B2 (en) * | 2016-01-31 | 2020-04-21 | Velodyne Lidar, Inc. | Multiple pulse, LIDAR based 3-D imaging |
CA3017819C (en) * | 2016-03-21 | 2023-03-14 | Velodyne Lidar, Inc. | Lidar based 3-d imaging with varying illumination intensity |
CA3024510C (en) * | 2016-06-01 | 2022-10-04 | Velodyne Lidar, Inc. | Multiple pixel scanning lidar |
AU2018297291B2 (en) * | 2017-07-05 | 2024-03-07 | Ouster, Inc. | Light ranging device with electronically scanned emitter array and synchronized sensor array |
DE102017223102A1 (de) * | 2017-12-18 | 2019-06-19 | Robert Bosch Gmbh | Multipuls-Lidarsystem zur mehrdimensionalen Erfassung von Objekten |
EP3785043B1 (en) * | 2018-04-23 | 2023-08-16 | Blackmore Sensors & Analytics, LLC | Method and system for controlling autonomous vehicle using coherent range doppler optical sensors |
KR20210152499A (ko) * | 2019-04-17 | 2021-12-15 | 더 리젠츠 오브 더 유니버시티 오브 미시건 | 다차원 물질 감지 시스템 및 방법 |
EP3969938A4 (en) * | 2019-05-13 | 2023-05-17 | Ouster, Inc. | SYNCHRONIZED IMAGE CAPTURE FOR ELECTRONIC SCANNING LIDAR SYSTEMS |
DE102019209112A1 (de) * | 2019-06-24 | 2020-12-24 | Infineon Technologies Ag | Ein LIDAR-System, das eine Größe des Sichtfelds selektiv verändert |
WO2021021872A1 (en) * | 2019-07-31 | 2021-02-04 | OPSYS Tech Ltd. | High-resolution solid-state lidar transmitter |
KR20190117418A (ko) * | 2019-09-27 | 2019-10-16 | 엘지전자 주식회사 | 라이다 시스템과 그 제어 방법 및 라이다 시스템을 포함한 자율 주행 시스템 |
US11892572B1 (en) * | 2020-12-30 | 2024-02-06 | Waymo Llc | Spatial light modulator retroreflector mitigation |
-
2022
- 2022-05-09 KR KR1020237038937A patent/KR20240005752A/ko unknown
- 2022-05-09 JP JP2023568683A patent/JP2024518461A/ja active Pending
- 2022-05-09 CN CN202280034260.3A patent/CN117337404A/zh active Pending
- 2022-05-09 WO PCT/US2022/028297 patent/WO2023282970A2/en active Application Filing
- 2022-05-09 EP EP22838193.5A patent/EP4337989A2/en active Pending
- 2022-05-09 US US17/739,859 patent/US20220365219A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
EP4337989A2 (en) | 2024-03-20 |
CN117337404A (zh) | 2024-01-02 |
WO2023282970A3 (en) | 2023-04-13 |
JP2024518461A (ja) | 2024-05-01 |
WO2023282970A8 (en) | 2023-02-09 |
WO2023282970A2 (en) | 2023-01-12 |
US20220365219A1 (en) | 2022-11-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20240045038A1 (en) | Noise Adaptive Solid-State LIDAR System | |
US11723762B2 (en) | LIDAR based 3-D imaging with far-field illumination overlap | |
US20210278540A1 (en) | Noise Filtering System and Method for Solid-State LiDAR | |
KR102506579B1 (ko) | 잡음 적응형 솔리드-스테이트 lidar 시스템 | |
JP2023072033A (ja) | アクチュエータを使用する眼に安全な長距離lidarシステム | |
JP2022539706A (ja) | 適応型多重パルスlidarシステム | |
KR20220038691A (ko) | 고-해상도 솔리드-상태 lidar 송신기 | |
US20220035011A1 (en) | Temporal jitter in a lidar system | |
US20210311193A1 (en) | Lidar sensor for optically detecting a field of vision, working device or vehicle including a lidar sensor, and method for optically detecting a field of vision | |
US8547531B2 (en) | Imaging device | |
US20220365219A1 (en) | Pixel Mapping Solid-State LIDAR Transmitter System and Method | |
US11619725B1 (en) | Method and device for the recognition of blooming in a lidar measurement | |
CN217879628U (zh) | 一种发射器、固态激光雷达及探测*** | |
US11536838B2 (en) | Detection device for a motor vehicle, driver assistance system, motor vehicle, and method | |
US20210165078A1 (en) | Distance-measuring unit | |
US20230266450A1 (en) | System and Method for Solid-State LiDAR with Adaptive Blooming Correction | |
US11543493B2 (en) | Distance measuring unit | |
CN110869801A (zh) | 用于激光雷达***的激光扫描仪和用于运行激光扫描仪的方法 |