KR20200138817A - 추가 차량의 결정된 요 파라미터(들)에 근거한 자율주행 차량 제어 - Google Patents
추가 차량의 결정된 요 파라미터(들)에 근거한 자율주행 차량 제어 Download PDFInfo
- Publication number
- KR20200138817A KR20200138817A KR1020207031853A KR20207031853A KR20200138817A KR 20200138817 A KR20200138817 A KR 20200138817A KR 1020207031853 A KR1020207031853 A KR 1020207031853A KR 20207031853 A KR20207031853 A KR 20207031853A KR 20200138817 A KR20200138817 A KR 20200138817A
- Authority
- KR
- South Korea
- Prior art keywords
- vehicle
- yaw
- additional vehicle
- additional
- lidar
- Prior art date
Links
- 230000001427 coherent effect Effects 0.000 claims abstract description 168
- 238000000034 method Methods 0.000 claims description 129
- 238000010801 machine learning Methods 0.000 claims description 76
- 238000012545 processing Methods 0.000 claims description 51
- 238000001514 detection method Methods 0.000 claims description 46
- 230000002829 reductive effect Effects 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 4
- 230000001133 acceleration Effects 0.000 abstract description 15
- 230000018199 S phase Effects 0.000 abstract description 4
- 238000012549 training Methods 0.000 description 54
- 230000003287 optical effect Effects 0.000 description 23
- 230000033001 locomotion Effects 0.000 description 20
- 230000015654 memory Effects 0.000 description 15
- 230000008569 process Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 238000001228 spectrum Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000013145 classification model Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000003111 delayed effect Effects 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 239000000446 fuel Substances 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 239000007789 gas Substances 0.000 description 1
- 239000001257 hydrogen Substances 0.000 description 1
- 229910052739 hydrogen Inorganic materials 0.000 description 1
- 125000004435 hydrogen atom Chemical class [H]* 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
- 235000013618 yogurt Nutrition 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/04—Traffic conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
- B60W40/114—Yaw movement
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/095—Predicting travel path or likelihood of collision
- B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
- G01S17/34—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/42—Simultaneous measurement of distance and other co-ordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/50—Systems of measurement based on relative movement of target
- G01S17/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4808—Evaluating distance, position or velocity data
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
- G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/20—Control system inputs
- G05D1/24—Arrangements for determining position or orientation
- G05D1/247—Arrangements for determining position or orientation using signals provided by artificial sources external to the vehicle, e.g. navigation beacons
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/80—Arrangements for reacting to or preventing system or operator failure
- G05D1/81—Handing over between on-board automatic and on-board manual control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
- G06F18/2178—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/408—Radar; Laser, e.g. lidar
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2520/00—Input parameters relating to overall vehicle dynamics
- B60W2520/14—Yaw
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
- B60W2554/404—Characteristics
- B60W2554/4041—Position
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/80—Spatial relation or speed relative to objects
- B60W2554/803—Relative lateral speed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2754/00—Output or target parameters relating to objects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Aviation & Aerospace Engineering (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Business, Economics & Management (AREA)
- Game Theory and Decision Science (AREA)
- Optics & Photonics (AREA)
- Human Computer Interaction (AREA)
- Traffic Control Systems (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- User Interface Of Digital Computer (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Abstract
자율적으로 제어되는 차량에 추가된 추가 차량의 요 파라미터(들)(예를 들어, 적어도 하나의 요 레이트)를 결정하고, 추가 차량의 결정된 요 파라미터(들)에 기반하여 차량의 자율주행 제어가 조정된다. 예를 들어, 차량의 자율주행 조향, 가속 및/또는 감속은 추가 차량의 결정된 요 레이트에 기반하여 조정될 수 있다. 많은 구현에서, 차량의 위상 코히어런트 LIDAR 모노펄스 콤포넌트 및/또는 주파수 변조 연속파 (FMCW) LIDAR 콤포넌트와 같은 차량의 위상 코히어런트 LIDAR 콤포넌트로부터의 데이터에 기반하여 추가 차량의 요 파라미터(들)이 결정된다.
Description
컴퓨팅 및 차량 기술이 계속 진화하면서, 자율성 관련 특징들은 더욱 강력하고 광범위하게 사용될 수 있게 되었고, 보다 다양한 환경에서 차량을 제어할 수 있게 되었다. 자동차의 경우, 예를 들어, 미국 자동차 공학회(SAE)는 "비자동화"부터 "완전 자동화"까지 운전 자동화를 6개 레벨로 식별한 표준(J3016)을 수립했다. SAE 표준은 레벨 0를, 경고 또는 개입(intervention) 시스템들에 의한 향상에도 불구하고, 동적 운전 태스크의 모든 면에서 인간 운전자에 의한 풀타임 수행이 필요한 "비자동화"로 정의한다. 레벨 1은 "운전자 보조" 로 정의되고, 차량은 적어도 일부의 운전 모드에서 조향(steering) 또는 가속/감속(둘 다는 아님)을 제어하고 운전자는 동적 운전 작업의 나머지 모두를 수행한다. 레벨 2는 "부분 자동화"로 정의되고, 차량은 최소한 약간의 운전 모드에서 조향 및 가속/감속을 제어하고 운전자는 동적 운전 작업의 모든 나머지를 수행한다. 레벨 3은 "조건부 자동화"로 정의되고, 적어도 일부의 운전 모드에서 자동화된 운전 시스템은 동적 운전 작업의 모든 면을 수행하며, 인간 운전자가 개입 요구에 대해 적절하게 응답할 것을 기대한다. 레벨 4는 "높은 자동화"로 정의되고, 특정한 조건에서만, 자동화된 운전 시스템은 인간 운전자가 개입요구에 대해 적절하게 응답하지 않더라도 동적 운전 작업의 모든 면을 수행한다. 레벨 4의 특정 조건은, 예를 들어, 특정 도로 타입(예를 들어, 고속도로) 및/또는 특정 지리적 영역 (예를 들어, 적절한 지도가 구비되고 경계가 명확한(geofenced) 대도시 지역)일 수 있다. 마지막으로, 레벨 5는 "완전 자동화"로 정의되고, 여기서 차량은 모든 조건하에서 운전자의 입력이 없어도 동작할 수 있다.
자율성 관련 기술에 대한 기본적인 도전은, 차량의 주위 환경에 대한 정보를 수집 및 해석하는 것과 함께, 차량 움직임을 적절하게 제어하는 명령을 계획 및 실행하여 현재 환경에서 차량을 안전하게 조정하는 것과 관련된다. 따라서, 이러한 측면들 각각을 개선하는 노력이 계속되고 있으며, 그렇게 함으로써 자율주행 차량들은 보다 복잡한 상황을 신뢰성있게 처리할 수 있고, 어떤 환경 내에서 예상하거나 예상하지못한 조건들을 수용할 수 있다.
일부 구현에서, 추가 차량의 결정된 요 파라미터(yaw parameter)에 기반하여 자율주행 차량의 자율주행 제어를 조정하는 방법이 제공된다. 상기 방법은 차량의 위상 코히어런트(phase coherent) LIDAR (Light Detection and Ranging) 콤포넌트의 센싱 사이클의 위상 코히어런트 LIDAR 데이터 포인트 그룹을 위상 코히어런트 LIDAR 콤포넌트로부터 수신한다. 상기 그룹의 LIDAR 데이터 포인트들 각각은 환경 내 대응 포인트에 대한 대응 거리 및 대응 속도를 나타내고, 상기 그룹의 위상 코히어런트 LIDAR 데이터 포인트들 각각은 센싱 사이클 동안 위상 코히어런트 LIDAR 콤포넌트의 대응 센싱 이벤트에 기반하여 생성된다. 상기 방법은 상기 그룹의 상기 위상 코히어런트 LIDAR 데이터 포인트들 중 일 서브 그룹이 상기 차량에 추가된 추가 차량에 대응한다고 판단하는 단계를 더 포함한다. 상기 방법은 상기 서브그룹이 상기 추가 차량에 대응한다고 판단하는 단계에 기반하여, 상기 서브그룹의 복수의 상기 위상 코히어런트 LIDAR 데이터 포인트들에 기반하여 상기 추가 차량의 요 파라미터를 판단하는 단계를 더 포함한다. 상기 방법은 또한 상기 추가 차량의 상기 결정된 요 파라미터에 기반하여 상기 차량의 자율주행 제어를 조정하는 단계를 더 포함한다.
여기에서 설명된 기술의 이들 및 다른 구현들은 하나 이상의 다음의 특징들을 포함할 수 있다.
일부 구현에서, 상기 그룹의 상기 위상 코히어런트 LIDAR 데이터 포인트들 중 상기 서브그룹이 상기 추가 차량에 대응한다고 판단하는 단계는: 학습된 기계학습 모델을 사용하여 상기 그룹의 상기 위상 코히어런트 LIDAR 데이터 포인트들을 프로세싱하는 단계; 상기 학습된 기계학습 모델을 사용하여 상기 그룹의 상기 위상 코히어런트 LIDAR 데이터 포인트들을 프로세싱한 것에 기반하여 상기 서브그룹이 차량 분류(vehicle classification)를 갖는 것을 나타내는 출력을 생성하는 단계; 및 상기 서브그룹이 상기 차량 분류를 갖는 것을 나타내는 상기 출력에 기반하여 상기 서브그룹이 상기 추가 차량에 대응한다고 판단하는 단계를 포함한다.
일부 구현에서, 상기 서브그룹의 상기 복수의 상기 위상 코히어런트 LIDAR 데이터 포인트들에 기반하여 상기 추가 차량의 상기 요 파라미터를 결정하는 단계는: 상기 서브그룹의 상기 복수의 위상 코히어런트 LIDAR 데이터 포인트들 중 하나 이상의 제1 세트를 결정하는 단계; 상기 제1 세트로부터 공간적으로 오프셋된(spatially offset) 제2 세트에 기반하여 상기 서브그룹의 상기 복수의 위상 코히어런트 LIDAR 데이터 포인트들 중 하나 이상의 제2 세트를 결정하는 단계; 및 상기 제1 세트 및 상기 제2 세트의 비교에 기반하여 상기 요 파라미터를 결정하는 단계를 포함한다. 그 구현의 일부 버전들에서, 상기 제1 세트 및 상기 제2 세트가 상대적으로 서로 공간적으로 오프셋되어 있다고 판단하는 것은 적어도 부분적으로 상기 제1 세트 및 제2 세트로 나타낸 대응 거리들에 기반한다. 그 구현의 일부 추가 또는 대안적인 버전들에서, 상기 제1 세트 및 상기 제2 세트의 비교에 기반하여 상기 추가 차량의 상기 요 파라미터를 결정하는 단계는: 상기 제1 세트의 제1 세트 속도 크기(velocity magnitude) 및 상기 제2 세트의 제2 세트 속도 크기의 비교에 기반하여 상기 요 파라미터를 결정하는 단계를 포함한다. 상기 제1 세트 속도 크기는 상기 제1 세트에 대한 대응 속도들에 기반하고, 상기 제2 세트 속도 크기는 상기 제2 세트에 대한 대응 속도들에 기반한다. 다양한 구현에서, 추가 차량의 요 파라미터는 추가 차량의 요 레이트(yaw rate)를 포함할 수 있고, 제1 세트 및 제2 세트의 비교에 기반하여 추가 차량의 요 파라미터를 결정하는 단계는: 제1 세트 및 제2 세트 사이의 공간 오프셋에 기반하여 거리를 결정하는 단계; 및 제1 세트 속도 크기 및 제2 세트 속도 크기의 비교, 및 거리에 기반하여 요 레이트를 결정하는 단계를 더 포함한다. 제1 세트 속도 크기 및 제2 세트 속도 크기의 비교, 및 거리에 기반하여 상기 요 레이트를 결정하는 단계는: 제1 세트 속도 크기 및 제2 세트 속도 크기의 비교에 기반하여 제1 세트 속도 크기 및 제2 세트 속도 크기 사이의 속도 차(velocity differential)를 결정하는 단계; 및 상기 거리에 기반하여 상기 속도 차를 상기 요 레이트로 변환하는 단계를 포함할 수 있다. 다양한 구현에서, 상기 추가 차량의 상기 요 파라미터는 상기 추가 차량의 하계(lower bound) 요 레이트를 포함할 수 있고, 상기 방법은 상계(upper bound) 요 레이트에 해당하며 상기 제1 세트 및 상기 제2 세트의 비교에 기반하여 결정되는, 상기 추가 차량의 추가 요 파라미터를 결정하는 단계를 포함할 수 있다. 예를 들어, 상기 방법은 상기 제1 세트 속도 크기 및 상기 제2 세트 속도 크기 사이의 비교에 기반하여 상기 제1 세트 속도 크기 및 상기 제2 세트 속도 크기 사이의 속도 차를 결정하는 단계를 더 포함하고, 상기 하계 요 레이트를 결정하는 단계는 상기 속도 차를 상기 거리로 나누는 단계를 포함하고, 상기 상계 요 레이트를 결정하는 단계는 상기 거리에 기반하지만 상기 거리에 비해 크기가 감소한 값으로 상기 속도 차를 나누는 단계를 포함할 수 있다. 상기 위상 코히어런트 LIDAR 데이터 포인트들의 제1 세트 및 제2 세트를 결정하는 다양한 구현에서, 상기 제1 세트는 상기 복수의 위상 코히어런트 LIDAR 데이터 포인트들 중 다수를 포함하고, 상기 제1 세트 속도 크기는 상기 복수의 위상 코히어런트 LIDAR 데이터 포인트들 중 상기 다수에 대한 상기 대응 속도들에 기반하여 결정된다. 예를 들어, 상기 제1 세트 속도 크기는 상기 복수의 위상 코히어런트 LIDAR 데이터 포인트들 중 상기 다수에 대한 상기 대응 속도들의 평균에 기반할 수 있다. 상기 요 파라미터가 요 레이트를 포함하고, 상기 제1 세트 및 상기 제2 세트의 비교에 기반하여 상기 추가 차량의 상기 요 파라미터를 결정하는 다양한 구현에서, 상기 요 파라미터를 결정하는 단계는: 제1 세트 속도 크기 및 제2 세트 속도 크기의 비교에 기반하여 속도 차를 결정하는 단계; 상기 추가 차량에 대한 저장된 모델을 식별하는 단계; 및 상기 추가 차량에 대한 상기 저장된 모델에 기반하여 상기 속도 차를 상기 요 레이트로 변환하는 단계를 포함한다. 상기 제1 세트 속도 크기는 상기 제1 세트에 대한 대응 속도들에 기반할 수 있고, 상기 제2 세트 속도 크기는 상기 제2 세트에 대한 대응 속도들에 기반할 수 있다. 그러한 다양한 구현의 일부에서, 상기 추가 차량에 대한 상기 저장된 모델을 식별하는 단계는 상기 저장된 모델을 복수의 저장된 후보 모델들 중에서 상기 서브그룹의 상기 위상 코히어런트 LIDAR 데이터 포인트들에 기반하여 선택하는 단계를 포함한다.
일부 구현에서, 상기 요 파라미터는 요 레이트 및 요 방향을 포함한다. 그러한 일부 구현에서, 상기 서브그룹의 상기 복수의 위상 코히어런트 LIDAR 데이터 포인트들에 기반하여 상기 추가 차량의 상기 요 파라미터를 결정하는 단계는: 학습된 기계학습 모델을 사용하여 상기 서브그룹의 상기 복수의 위상 코히어런트 LIDAR 데이터 포인트들을 프로세싱하는 단계; 상기 학습된 기계학습 모델을 사용하여 상기 서브그룹의 상기 위상 코히어런트 LIDAR 데이터 포인트들을 프로세싱하는 것에 기반하여, 상기 요 레이트를 나타내는 출력을 생성하는 단계; 및 상기 출력에 기반하여 상기 요 레이트 및 상기 요 방향을 결정하는 단계를 포함한다. 그러한 구현들의 일부 버전에서, 상기 학습된 기계 학습 모델을 사용하여 상기 서브그룹의 상기 복수의 위상 코히어런트 LIDAR 데이터 포인트들을 프로세싱하는 단계는, 상기 학습된 기계학습 모델을 사용하여 상기 서브그룹의 상기 복수의 위상 코히어런트 LIDAR 데이터 포인트들 모두를 프로세싱하는 단계를 포함한다.
일부 구현에서, 상기 추가 차량의 상기 요 파라미터는 요 레이트를 나타내는 속도 차에 해당한다. 그러한 일부 구현에서, 상기 추가 차량의 상기 결정된 요 파라미터에 기반하여 상기 차량의 자율주행 제어를 조정하는 단계는 임계치를 초과하는 상기 속도 차에 기반하여 상기 자율주행 제어를 조정하는 단계를 포함한다.
일부 구현에서, 상기 추가 차량의 상기 결정된 요 파라미터에 기반하여 상기 차량의 자율주행 제어를 조정하는 단계는 상기 차량의 속도 및/또는 방향을 변경하는 단계를 포함한다. 일부 구현에서, 상기 요 파라미터는 요 레이트이고, 상기 추가 차량의 상기 결정된 요 레이트에 기반하여 상기 차량의 자율주행 제어를 조정하는 단계는 상기 결정된 요 레이트가 임계치를 만족한다는 판단에 응답하여 수행된다.
일부 구현에서, 상기 추가 차량의 상기 결정된 요 파라미터에 기반하여 상기 차량의 자율주행 제어를 조정하는 단계는: 상기 결정된 요 파라미터에 기반하여 상기 추가 차량의 적어도 하나의 후보 궤적을 결정하는 단계; 및 적어도 하나의 후보 궤적에 기반하여 상기 차량의 자율주행 제어를 조정하는 단계를 포함한다.
일부 구현에서 상기 위상 코히어런트 LIDAR 데이터 포인트들의 그룹은 3차원 포인트 클라우드를 포함한다.
일부 구현에서, 상기 위상 코히어런트 LIDAR 콤포넌트는 위상 코히어런트 LIDAR 모노펄스(monopulse) 콤포넌트이다. 그 구현의 일부에서, 상기 위상 코히어런트 LIDAR 콤포넌트의 상기 대응 센싱 이벤트들 각각은 상기 위상 코히어런트 LIDAR 모노펄스 콤포넌트의 제1 수신기에서의 제1 수신기 센싱 이벤트 및 상기 위상 코히어런트 LIDAR 모노펄스 콤포넌트의 제2 수신기에서의 제2 수신기 센싱 이벤트를 포함한다. 그 구현의 일부 버전에서, 상기 위상 코히어런트 LIDAR 콤포넌트의 대응 센싱 이벤트들은 상기 위상 코히어런트 LIDAR 모노펄스 콤포넌트의 제3 수신기에서의 제3 수신기 센싱 이벤트를 더 포함한다.
일부 구현에서, 상기 위상 코히어런트 LIDAR 콤포넌트는 주파수 변조 연속파(frequency-modulated continuous wave; FMCW) LIDAR 콤포넌트이다.
일부 구현에서, 추가 차량의 결정된 요 레이트에 기반하여 자율주행 차량의 자율주행 제어를 조정하는 방법이 제공되고, 상기 방법은 차량의 위상 코히어런트 LIDAR 콤포넌트로부터 상기 차량의 환경을 캡쳐한 위상 코히어런트 LIDAR 데이터를 수신하는 단계를 포함한다. 상기 위상 코히어런트 LIDAR 데이터는, 상기 차량의 상기 환경 내 복수의 포인트들 각각에 대하여, 상기 위상 코히어런트 LIDAR 콤포넌트의 대응되는 센싱 이벤트에 기반한 적어도 하나의 대응 거리 및 적어도 하나의 대응 속도를 나타낸다. 상기 방법은 또한 상기 위상 코히어런트 LIDAR 데이터의 서브 그룹이, 상기 환경 내에 존재하고 상기 차량에 추가된 추가 차량에 대응한다고 판단하는 단계를 더 포함한다. 상기 방법은 상기 추가 차량의 요 레이트를 결정하는 단계; 및 상기 추가 차량의 상기 결정된 요 파라미터에 기반하여 상기 차량의 자율주행 제어를 조정하는 단계를 더 포함한다. 상기 추가 차량의 상기 요 레이트를 결정하는 단계는 상기 서브그룹의 상기 위상 코히어런트 LIDAR 데이터로 나타낸 다수의 대응 속도들에 기반한다.
여기에서 설명된 기술의 이들 및 다른 구현들은 하나 이상의 다음의 특징들을 포함할 수 있다.
일부 구현에서, 상기 위상 코히어런트 LIDAR 데이터의 서브 그룹이 상기 추가 차량에 대응한다고 판단하는 단계는: 학습된 기계학습 모델을 사용하여 상기 위상 코히어런트 LIDAR 데이터를 프로세싱하는 단계; 상기 학습된 기계학습 모델을 사용한 상기 위상 코히어런트 LIDAR 데이터 포인트들의 프로세싱에 기반하여, 상기 서브그룹이 차량 분류를 갖는 것을 나타내는 출력을 생성하는 단계; 및 상기 서브그룹이 상기 차량 분류를 갖는 것을 나타내는 출력에 기반하여 상기 서브그룹을 선택하는 단계를 포함한다.
일부 구현에서, 상기 추가 차량의 상기 요 레이트를 결정하는 단계는 상기 서브그룹의 상기 위상 코히어런트 LIDAR 데이터로 나타낸 상기 다수의 대응 속도들에 기반하여 속도 경사도(velocity gradient)를 결정하는 단계, 및 상기 속도 경사도에 기반하여 상기 요 레이트를 결정하는 단계를 포함한다.
일부 구현에서, 상기 추가 차량의 상기 결정된 요 레이트에 기반하여 상기 차량의 자율주행 제어를 조정하는 단계는 상기 차량의 속도 및 방향 중 하나 또는 모두를 변경하는 단계를 포함한다.
일부 구현에서, 상기 위상 코히어런트 LIDAR 데이터는: 거리-도플러(range-Doppler) 영상, 3차원 포인트 클라우드 및/또는 중간 주파수 파형(intermediate frequency waveform)을 포함한다. 상기 중간 주파수 파형은 해당 센싱 이벤트들 동안 시간 지연된 반사들과 국부 광 발진기의 혼합(mixing)에 기반하여 생성될 수 있다.
일부 구현에서, 위상 코히어런트 LIDAR 콤포넌트는 적어도 제1 코히어런트 광 수신기 및 제2 코히어런트 광 수신기를 포함하는 위상 코히어런트 LIDAR 모노펄스 콤포넌트이다. 그 구현의 일부에서, 상기 위상 코히어런트 LIDAR 콤포넌트의 상기 대응 센싱 이벤트들 각각은 상기 위상 코히어런트 LIDAR 모노펄스 콤포넌트의 제1 수신기에서의 제1 수신기 센싱 이벤트 및 상기 위상 코히어런트 LIDAR 모노펄스 콤포넌트의 제2 수신기에서의 제2 수신기 센싱 이벤트를 (그리고 선택적으로 추가 수신기(들)에서의 추가 수신기 센싱 이벤트(들)을 더) 포함한다.
일부 구현에서, 상기 위상 코히어런트 LIDAR 콤포넌트는 FMCW LIDAR 콤포넌트이다.
일부 구현에서, 추가 차량의 결정된 요 레이트에 기반하여 자율주행 차량의 자율주행 제어를 조정하는 방법이 제공되고, 상기 방법은 차량의 위상 코히어런트 모노펄스 LIDAR 콤포넌트로부터 상기 차량의 환경을 캡쳐한 위상 코히어런트 LIDAR 모노펄스 데이터를 수신하는 단계를 포함한다. 상기 위상 코히어런트 LIDAR 모노펄스 콤포넌트는 레이저 소스 및 적어도 제1 간섭 수신기 및 제2 간섭 수신기를 포함한다. 상기 위상 코히어런트 LIDAR 모노펄스 데이터는, 상기 차량 환경 내 복수의 포인트들 각각에 대하여, 적어도 하나의 대응 거리 및 적어도 하나의 대응 속도를 상기 위상 코히어런트 LIDAR 모노펄스 콤포넌트의 해당 센싱 이벤트에 기반하여 나타낸다. 상기 위상 코히어런트 LIDAR 콤포넌트의 상기 대응 센싱 이벤트들은 각각 상기 제1 수신기에 의한 제1 수신기 센싱 이벤트 및 상기 제2 수신기에 의한 제2 수신기 센싱 이벤트를 포함한다. 상기 방법은 상기 위상 코히어런트 LIDAR 모노펄스 데이터로 나타낸 상기 대응 속도들의 다수에 기반하여 상기 차량의 상기 환경 내 추가 차량의 요 파라미터를 결정하는 단계를 더 포함한다. 상기 방법은 상기 추가 차량의 상기 결정된 요 파라미터에 기반하여 상기 차량의 자율주행 제어를 조정하는 단계를 더 포함한다.
여기에서 설명된 기술의 이들 및 다른 구현들은 하나 이상의 다음의 특징들을 포함할 수 있다.
일부 구현에서, 상기 위상 코히어런트 LIDAR 모노펄스 데이터에 기반하여 상기 추가 차량의 상기 요 파라미터를 결정하는 단계는: 상기 위상 코히어런트 LIDAR 모노펄스 데이터의 제1 세트를 결정하는 단계; 상기 제1 세트로부터 공간적으로 오프셋된 제2 세트에 기반하여 상기 위상 코히어런트 LIDAR 모노펄스 데이터의 제2 세트를 결정하는 단계; 및 제1 세트 속도 및 제2 세트 속도에 기반하여 상기 요 파라미터를 결정하는 단계를 포함한다. 상기 제1 세트 속도는 상기 제1 세트의 대응 속도들 중 적어도 하나에 기반하고 상기 제2 세트 속도 크기는 상기 제2 세트의 대응 속도들 중 적어도 하나에 기반한다. 일부 구현에서, 상기 추가 차량의 상기 요 파라미터는 상기 추가 차량의 요 레이트를 포함한다. 그 구현의 일부 버전들에서, 상기 제1 세트 속도 및 상기 제2 세트 속도의 비교에 기반하여 상기 추가 차량의 상기 요 파라미터를 결정하는 단계는: 상기 제1 세트 및 상기 제2 세트 사이의 상기 공간 오프셋에 기반하여 거리를 결정하는 단계; 및 상기 요 레이트를 상기 제1 세트 속도, 상기 제2 세트 속도, 및 상기 거리의 함수로 결정하는 단계를 더 포함한다. 그 버전들 일부에서, 상기 요 레이트를 상기 제1 세트 속도, 제2 세트 속도 및 상기 거리의 함수로 결정하는 단계는: 상기 제1 세트 속도 및 상기 제2 세트 속도 사이의 속도 차를 결정하는 단계; 및 상기 거리에 기반하여 상기 속도 차를 상기 요 레이트로 변환하는 단계를 포함한다.
일부 구현에서, 상기 요 파라미터는 요 레이트를 포함하고, 상기 위상 코히어런트 LIDAR 모노펄스 데이터로 나타낸 상기 대응 속도들의 다수에 기반하여 상기 요 파라미터를 결정하는 단계는: 상기 추가 차량에 대한 저장된 모델을 식별하는 단계; 및 상기 대응 속도들의 다수 및 상기 추가 차량에 대한 상기 저장된 모델에 기반하여 상기 요 레이트를 결정하는 단계를 포함한다. 일부 구현에서, 상기 대응 속도들의 다수 및 상기 추가 차량에 대한 상기 저장된 모델에 기반하여 상기 요 레이트를 결정하는 단계는: 상기 대응 속도들의 다수에 기반하여 속도 차를 결정하는 단계; 및 상기 추가 차량에 대한 상기 저장된 모델에 기반하여 상기 속도 차를 상기 요 레이트로 변환하는 단계를 포함한다.
일부 구현에서, 상기 요 파라미터는 요 레이트를 포함하고, 상기 위상 코히어런트 LIDAR 모노펄스 데이터에 기반하여 상기 추가 차량의 상기 요 파라미터를 결정하는 단계는: 학습된 기계학습 모델을 사용하여 상기 위상 코히어런트 LIDAR 모노펄스 데이터의 적어도 일부를 프로세싱하는 단계; 상기 학습된 기계학습 모델을 사용한 상기 위상 코히어런트 LIDAR 모노펄스 데이터의 상기 적어도 일부의 프로세싱에 기반하여, 상기 요 레이트를 나타내는 출력을 생성하는 단계; 및 상기 출력에 기반하여 상기 요 레이트를 결정하는 단계를 포함한다.
일부 구현에서, 상기 위상 코히어런트 LIDAR 콤포넌트는 FMCW LIDAR 콤포넌트이다.
일부 구현에서, 차량의 위상 코히어런트 LIDAR 콤포넌트로부터 상기 차량의 환경을 캡쳐한 위상 코히어런트 LIDAR 데이터를 수신하는 단계를 포함하는 방법이 제공된다. 상기 위상 코히어런트 LIDAR 데이터는, 상기 차량 환경 내 복수의 포인트들 각각에 대하여, 상기 위상 코히어런트 LIDAR 콤포넌트의 해당 센싱 이벤트에 기반한 적어도 하나의 대응 거리 및 적어도 하나의 대응 속도를 나타낸다. 상기 방법은 상기 위상 코히어런트 LIDAR 데이터의 서브 그룹이 상기 환경 내에 있고 상기 차량에 추가된 추가 차량에 대응한다고 판단하는 단계를 더 포함한다. 상기 방법은, 상기 서브그룹의 상기 위상 코히어런트 LIDAR 데이터로 나타낸 다수의 대응 속도들에 기반하여, 상기 추가 차량의 요 파라미터를 결정하는 단계를 더 포함한다. 상기 방법은 또한 차량의 계획 서브시스템 및/또는 제어 서브시스템과 같은, 차량의 적어도 하나의 서브시스템에 상기 결정된 요 파라미터를 제공하는 단계를 더 포함한다.
일부 구현에서, 차량의 위상 코히어런트 콤포넌트로부터, 상기 차량의 환경을 캡쳐한 것이며, 상기 차량 환경 내 복수의 포인트들 각각에 대하여, 상기 위상 코히어런트 LIDAR 콤포넌트의 대응 센싱 이벤트에 기반한 적어도 하나의 대응 거리 및 적어도 하나의 대응 속도를 나타내는 위상 코히어런트 LIDAR 데이터를 수신하는 단계를 포함하는 방법이 제공된다. 상기 방법은 상기 위상 코히어런트 LIDAR 데이터로 나타낸 상기 대응 속도들의 다수에 기반하여 상기 차량의 환경 내에 있는 추가 차량의 요 파라미터를 결정하는 단계를 더 포함한다. 상기 방법은 차량의 계획 서브시스템 및/또는 제어 서브시스템과 같은, 차량의 적어도 하나의 서브시스템에 상기 결정된 요 파라미터를 제공하는 단계를 더 포함한다.
선행한 두 구현들 및 여기에서 설명된 기술의 다른 구현들 하나 이상의 다음의 특징들을 포함할 수 있다.
일부 구현에서, 상기 요 파라미터는 요 레이트(yaw rate)를 포함하고, 상기 위상 코히어런트 LIDAR 데이터에 기반하여 상기 추가 차량의 요 파라미터를 결정하는 단계는 학습된 기계학습 모델을 사용하여 상기 위상 코히어런트 LIDAR 데이터의 적어도 일부를 프로세싱하는 단계; 상기 학습된 기계학습 모델을 사용한 상기 위상 코히어런트 LIDAR 데이터의 상기 적어도 일부의 프로세싱에 기반하여, 상기 요 레이트를 나타내는 출력을 생성하는 단계; 및 상기 출력에 기반하여 상기 요 레이트를 결정하는 단계를 포함한다.
일부 구현에서, 상기 위상 코히어런트 LIDAR 콤포넌트는 위상 코히어런트 모노펄스 콤포넌트이고, 상기 위상 코히어런트 LIDAR 데이터는 위상 코히어런트 LIDAR 모노펄스 데이터이다. 일부 추가 또는 대안적인 구현에서, 상기 위상 코히어런트 LIDAR 콤포넌트는 FMCW LIDAR 콤포넌트이다.
일부 구현에서, 기계학습 모델을 훈련하는 방법이 제공된다. 상기 기계학습 모델은 적어도 하나의 자율주행 차량의 자율주행 제어에 사용되고, 상기 방법은 복수의 학습 인스턴스들을 생성하는 단계를 포함한다. 상기 학습 인스턴스들 각각을 생성하는 단계는: 대응되는 자율주행 차량의 비전(vision) 콤포넌트로부터의 비전 데이터의 대응 인스턴스에 기반하여 상기 학습 인스턴스의 학습 인스턴스 입력을 생성하는 단계; 및 비전 데이터의 해당 인스턴스에 의해 캡쳐되고, 대응 추가 차량의 하나 이상의 센서들에 기반한, 추가 차량 데이터의 대응 인스턴스에 기반하여 학습 인스턴스의 지도 학습 인스턴스 출력(supervised training instance output)을 생성하는 단계를 포함한다. 상기 추가 차량 데이터의 대응 인스턴스는 상기 대응 추가 차량의 적어도 하나의 동적 특성(property)에 대응하는 현재 상태를 나타낸다. 추가 차량 데이터의 상기 대응 인스턴스는 추가 차량 데이터의 상기 대응 인스턴스가 일시적으로 상기 해당 비전 데이터 인스턴스에 대응한다는 판단에 기반하여 상기 지도 학습 인스턴스 출력을 생성하는데 사용된다. 상기 방법은 복수의 학습 인스턴스들에 기반하여 상기 기계학습 모델을 훈련하는 단계, 및 상기 적어도 하나의 자율주행 차량의 제어에 사용하도록 상기 학습된 기계학습 모델을 제공하는 단계를 더 포함한다.
여기에서 설명된 기술의 이들 및 다른 구현들은 선택적으로 하나 이상의 다음의 특징들을 포함할 수 있다.
일부 구현에서, 비전 데이터의 해당 인스턴스는 LIDAR (Light Detection and Ranging) 데이터이고, 비전 콤포넌트는 LIDAR 콤포넌트이다. 일부 구현에서, LIDAR 콤포넌트는 위상 코히어런트 LIDAR 콤포넌트이고, LIDAR 데이터는 위상 코히어런트 LIDAR 콤포넌트의 센싱 사이클의 LIDAR 데이터 포인트 그룹을 포함한다. 상기 그룹의 LIDAR 데이터 포인트들 각각은 상기 환경 내 대응 포인트에 대한 대응 거리 및 대응 속도를 나타내고, 각각은 상기 센싱 사이클의 대응 센싱 이벤트에 기반하여 생성된다.
일부 구현에서, 상기 학습 인스턴스의 상기 지도 학습 인스턴스 출력은 상기 대응 추가 차량의 캡쳐한 상기 비전 데이터의 일부를 경계짓는 경계 영역의 표시(indication)를 더 포함한다.
일부 구현에서, 기계학습 모델을 훈련하는 단계는: 상기 기계학습 모델을 사용하여, 상기 학습 인스턴스들의 상기 학습 인스턴스 입력들을 프로세싱하여 예측된 출력들을 생성하는 단계; 상기 예측된 출력들 및 상기 학습 인스턴스들의 상기 지도 학습 인스턴스 출력들에 기반하여 손실들을 생성하는 단계; 및 상기 생성된 손실들에 기반하여 상기 기계학습 모델을 갱신하는 단계를 포함한다.
일부 구현에서, 상기 추가 차량 데이터의 인스턴스는 하나 이상의 요 파라미터들을 포함하고, 상기 대응 추가 차량의 하나 이상의 센서들은 적어도 요 레이트 센서를 포함한다. 그러한 일부 구현에서, 상기 추가 차량 데이터는 상기 대응 추가 차량의 제어기 영역 네트워크(controller area network)에 대한 모니터링에 기반하여 결정된다.
일부 구현에서, 상기 추가 차량 데이터 인스턴스는 상기 대응 추가 차량의 속도 및 가속도 중 하나 또는 둘 다를 포함한다.
일부 구현에서, 상기 추가 차량 데이터 인스턴스는 요 파라미터들, 및 속도와 가속도 중 하나 또는 둘 다를 포함한다.
일부 구현에서, 상기 방법은: 상기 적어도 하나의 자율주행 차량중 주어진 자율주행 차량의 적어도 하나의 프로세서에 의해 상기 학습된 기계학습 모델을 사용하여 (주어진 자율주행 차량의 주어진 비전 콤포넌트에 의해 캡쳐된) 주어진 비전 데이터를 처리하는 단계; 상기 처리에 기반하여 상기 주어진 비전 데이터에 의해 캡처된 주어진 추가 차량의 예측된 상태를 생성하는 단계; 및 상기 예측된 상태에 기반하여 상기 주어진 자율주행 차량을 제어하는 단계를 포함한다. 일부 구현에서, 상기 주어진 비전 데이터는 상기 비전 콤포넌트의 센싱 사이클 동안 캡처된 비전 데이터의 서브그룹이고, 상기 방법은 상기 서브그룹이 상기 주어진 추가 차량에 대응한다는 판단에 기반하여 비전 데이터의 서브그룹을 생성하는 단계를 더 포함한다. 그러한 구현 중 일부 버전에서, 상기 서브그룹이 상기 주어진 추가 차량에 대응한다고 판단하는 단계는: 추가 객체 검출 및 분류 모델을 사용하여 상기 비전 데이터를 프로세싱하는 단계; 및 상기 추가 객체 검출 및 분류 모델을 사용하여 상기 비전 데이터를 프로세싱하는 단계에 기반하여 생성된 출력에 기반하여 상기 서브그룹이 상기 주어진 추가 차량에 대응한다고 판단하는 단계를 포함한다.
일부 구현에서, 학습된 기계학습 모델을 사용하여 자율주행 차량을 제어하는 방법이 제공된다. 상기 방법은 자율주행 차량의 하나 이상의 프로세서들에 의해 구현되고, 상기 방법은 상기 학습된 기계학습 모델을 사용하여 주어진 비전 데이터를 처리하는 단계를 포함하며, 상기 주어진 비전 데이터는 자율주행 차량의 비전 콤포넌트에 의해 캡쳐된다. 상기 방법은, 상기 처리에 기반하여, 상기 주어진 비전 데이터에 의해 캡쳐된 주어진 추가 차량의 적어도 하나 이상의 동적 특성의 예측된 상태를 생성하는 단계를 포함한다. 상기 방법은 상기 예측된 상태에 기반하여 상기 자율주행 차량을 제어하는 단계를 더 포함한다. 학습된 기계 학습 모델은 복수의 학습 인스턴스들에 기반하여 훈련되고, 학습 인스턴스들 각각은: 해당 자율주행 차량의 비전 콤포넌트로부터의 비전 데이터의 대응 인스턴스에 기반한 학습 인스턴스 입력; 및 비전 데이터의 해당 인스턴스에 의해 캡쳐된 대응 추가 차량의 하나 이상의 센서들에 기반한 추가 차량 데이터의 대응 인스턴스에 기반한 지도 학습 인스턴스 출력을 포함한다.
여기에서 설명된 기술의 이들 및 다른 구현들은 선택적으로 하나 이상의 다음의 특징들을 포함할 수 있다.
일부 구현에서, 상기 주어진 비전 데이터는 상기 비전 콤포넌트의 센싱 사이클 동안 캡처된 비전 데이터의 서브그룹이고, 상기 방법은 상기 서브그룹이 상기 주어진 추가 차량에 대응한다는 판단에 기반하여 비전 데이터의 서브그룹을 생성하는 단계를 더 포함한다. 일부 구현에서, 상기 서브그룹이 상기 주어진 추가 차량에 해당한다고 판단하는 단계는: 추가 객체 검출 및 분류 모델을 사용하여 상기 비전 데이터를 처리하는 단계; 및 상기 추가 객체 검출 및 분류 모델을 사용하여 상기 비전 데이터를 프로세싱하는 단계에 기반하여 생성된 출력에 기반하여 상기 서브그룹이 상기 주어진 추가 차량에 대응한다고 판단하는 단계를 포함한다.
일부 구현에서, 상기 자율주행 차량을 제어하는 단계는 상기 자율주행 차량의 속도 및/또는 방향을 제어하는 단계를 포함한다.
일부 구현에서, 적어도 하나의 특성은 상기 추가 차량의 요 레이트 및/또는 요 방향을 포함한다.
일부 구현에서, 적어도 하나의 특성은 추가 차량의 속도 및/또는 가속도를 포함한다.
일부 구현에서, 적어도 하나의 특성은 추가 차량의 요 파라미터, 속도 및/또는 가속도를 포함한다.
또한, 일부 구현은 연관 메모리에 저장된 명령들을 실행하도록 동작가능한 하나 이상의 프로세서들을 갖는 자율주행 차량을 포함하고, 상기 명령들은 여기에 기술된 방법들 중 어느 것을 수행하도록 구성된다. 일부 구현은 추가적으로 또는 대안적으로 하나 이상의 프로세서들에 의해 실행가능한 컴퓨터 명령어들을 저장하는 하나 이상의 비일시적인 컴퓨터로 독출가능한 저장 매체를 포함한다.
상술한 개념과 더 자세히 후술되는 추가 개념의 모든 조합이 본 명세서에 개시되는 구성 요소의 일부로 고려된다. 예를 들어, 본 명세서의 끝에 나타나는 청구되는 구성 요소의 모든 조합이 본 명세서에 개시되는 구성 요소의 일부로 고려된다.
도 1은 여기에서 개시된 구현들이 실시될 수 있는 예시적인 환경을 도시한 것이다.
도 2a는 도 1의 FMCW LIDAR 콤포넌트의 구현을 개략적으로 도시한 것이다.
도 2b는 도 1의 FMCW LIDAR 콤포넌트의 다른 구현을 개략적으로 도시한 것이다.
도 3은 추가 차량의 요 축, 피치 축 및 롤 축과 함께 예시적인 추가 차량을 도시한 것이다.
도 4는 추가 차량의 결정된 요 파라미터에 기반하여 차량의 자율주행 제어를 조정하는 구현들을 도시한 블록도이다.
도 5, 도 6, 도 7 및 도 8은 각각 차량의 예시적인 환경을 도시하고, 그 환경은 추가 차량을 포함하며, 각각은 또한 환경 내 추가 차량에 대응할 수 있는 일부 FMCW LIDAR 데이터 포인트들의 예들을 도시한 것이다.
도 9는 어떻게 추가 차량의 후보 궤적이 결정된 요 파라미터에 기반하여 결정될 수 있는지, 및 어떻게 차량의 자율주행 제어가 추가 차량의 후보 궤적에 기반하여 조정될 수 있는지를 도시한 것이다.
도 10은 요 파라미터를 결정하고, 결정된 요 파라미터에 기반하여 자율주행 차량을 제어하는 예시적인 방법을 도시한 흐름도이다.
도 11은 요 파라미터를 결정하고, 결정된 요 파라미터에 기반하여 자율주행 차량을 제어하는 다른 예시적인 방법을 도시한 흐름도이다.
도 12는 FMCW LIDAR 데이터에 기반하여 요 레이트 결정에 사용될 수 있는 기계학습 모델을 학습하는 예시적인 방법을 도시한 흐름도이다.
도 2a는 도 1의 FMCW LIDAR 콤포넌트의 구현을 개략적으로 도시한 것이다.
도 2b는 도 1의 FMCW LIDAR 콤포넌트의 다른 구현을 개략적으로 도시한 것이다.
도 3은 추가 차량의 요 축, 피치 축 및 롤 축과 함께 예시적인 추가 차량을 도시한 것이다.
도 4는 추가 차량의 결정된 요 파라미터에 기반하여 차량의 자율주행 제어를 조정하는 구현들을 도시한 블록도이다.
도 5, 도 6, 도 7 및 도 8은 각각 차량의 예시적인 환경을 도시하고, 그 환경은 추가 차량을 포함하며, 각각은 또한 환경 내 추가 차량에 대응할 수 있는 일부 FMCW LIDAR 데이터 포인트들의 예들을 도시한 것이다.
도 9는 어떻게 추가 차량의 후보 궤적이 결정된 요 파라미터에 기반하여 결정될 수 있는지, 및 어떻게 차량의 자율주행 제어가 추가 차량의 후보 궤적에 기반하여 조정될 수 있는지를 도시한 것이다.
도 10은 요 파라미터를 결정하고, 결정된 요 파라미터에 기반하여 자율주행 차량을 제어하는 예시적인 방법을 도시한 흐름도이다.
도 11은 요 파라미터를 결정하고, 결정된 요 파라미터에 기반하여 자율주행 차량을 제어하는 다른 예시적인 방법을 도시한 흐름도이다.
도 12는 FMCW LIDAR 데이터에 기반하여 요 레이트 결정에 사용될 수 있는 기계학습 모델을 학습하는 예시적인 방법을 도시한 흐름도이다.
차량의 자율제어의 여러 레벨에서 (예를 들어, 상술한 SAE 레벨 1 내지 5중 어느 것), 소위 자차량(ego vehicle, 즉, 자율적으로 제어되는 차량)의 다양한 파라미터들이 결정되고, 자차량 자체의 다양하게 결정된 파라미터들에 기반한 자차량의 자율주행 제어를 조정할 필요가 있다. 그러한 파라미터가 자차량의 요 레이트(yaw rate)이다. 차량의 요 레이트는 요 축에 대한 회전 각속도이고, 보통 초당 라디안 또는 초당 각도로 측정된다. 자차량의 요 레이트는, 예를 들어, 자차량의 코리올리 힘(Coriolis force)을 측정하는 압전(piezoelectric) 또는 마이크로 기계식(micromechanical) 센서(들)과 같은, 자차량의 요 레이트 센서로부터의 출력에 기반하여 결정된다. 자차량의 요 레이트는 자차량의 전자식 주행안정 장치(Electronic stability control, ESC)와 같은 다양한 차량 제어 기법들에 사용되어 왔다. ESC에서 요 레이트 센서 및 다른 센서(들)로부터의 출력은, 예를 들어, 잠김 방지 브레이크(Anti-Lock Braking System, ABS)의 제어 조정에 사용되어 자차량의 추적/스키드(skid) 손실을 완화할 수 있다.
자차량(이후 간략하게 "차량"으로도 언급)의 다양한 레벨의 자율 제어에서, 자차량에 추가되고 자차량의 환경 내에 존재하는 추가 차량(들)의 다양한 파라미터들을 결정하는 것이 바람직 및/또는 필요하다. 예를 들어, 차량에 대한 추가 차량의 포즈(위치 및 선택적으로 방향)를 결정하고, 추가 차량이 차량에 대해 어떻게 이동하는지를 판단할 필요가 있을 수 있다. 예를 들어, 차량이 계속해서 현재 의도된 궤적으로 진행한다면 추가 차량의 포즈 및 이동으로 인해 추가 차량이 차량에 너무 근접할 수 있다고 판단되는 경우, 차량의 자율 회피 제동(autonomous evasive braking) 및/또는 자율 회피 조향(autonomous evasive steering)이 필요할 수 있다.
여기에서 개시된 구현들은 일반적으로 추가 차량의 요 파라미터(들)을 결정하는 것과 추가 차량의 결정된 요 파라미터(들)에 기반하여 차량의 자율주행 제어를 조정하는 것에 맞춰져 있다. 예를 들어, 차량의 자율 조향, 가속 및/또는 감속은 추가 차량의 결정된 요 파라미터(들)에 기반하여 조정될 수 있다. 추가 차량의 요 파라미터(들)는, 예를 들어, 추가 차량의 적어도 하나의 요 레이트를 포함할 수 있다. 요 레이트는 요 축(yaw axis)에 대한 추가 차량의 회전 각속도 및 선택적으로 그 회전의 방향을 나타낼 수 있다. 추가 차량의 요 파라미터(들)은, 선택적으로 요 축에 대한 추가 차량의 회전 방향의 표시와 함께, 추가적으로 또는 대안적으로 추가 차량의 두 부분들 사이의 속도 차의 크기를 나타내는 적어도 하나의 속도 차를 포함할 수 있다. 요 파라미터(들)은 추가적으로 또는 대안적으로 추가 차량이 요 이동(yaw movement) 중에 있는지(예를 들어, 추가 차량이 요 축을 중심으로 적어도 최소 이동임계 각도만큼 진행하고 있는지) 여부에 대한 표시를 포함한다.
여기에 개시된 많은 구현에서, 추가 차량의 요 파라미터(들)은 차량의 위상 코히어런트 LIDAR(Light Detection and Ranging)로부터의 데이터에 기반하여 결정된다. 차량의 위상 코히어런트 LIDAR 콤포넌트로부터의 데이터는 여기에서 "위상 코히어런트 LIDAR 데이터"로 지칭된다. 여기에서 개시된 것처럼, 위상 코히어런트 LIDAR 데이터는 환경 내 복수의 포인트들 각각에 대해, 최소한 그 포인트에 대한 거리와 속도를 나타낼 수 있다. 포인트에 대한 거리는 위상 코히어런트 LIDAR 콤포넌트의 수신기(들)로부터 그 포인트까지의 거리를 나타낸다. 그 포인트에 대한 속도는 그 포인트에 대한 속도의 크기(및 선택적으로 방향)을 나타낸다. 포인트에 대해 나타낸 거리 및 속도는 위상 코히어런트 LIDAR 콤포넌트의 대응 센싱 이벤트에 기반한다. 따라서, 센싱 사이클의 센싱 이벤트들을 통해, 환경 내 많은 양의 포인트들에 대한 순간 거리들 및 순간 속도들을 나타내는 위상 코히어런트 LIDAR 데이터가 결정될 수 있다. 여기에 개시된 구현들은, 적어도 일부 FMCW LIDAR 데이터로 나타낸 순간 거리들 및 순간 속도들에 기반하여 추가 차량의 순간 요 파라미터(들)을 결정할 수 있다. 따라서, 센싱 사이클의 위상 코히어런트 LIDAR 데이터에 기반하여 결정된 요 파라미터(들)은, 이후 센싱 사이클(들)로부터 위상 코히어런트 LIDAR 데이터의 참조를 필요로 하지 않고, 센싱 사이클 동안의 요 이동에 기반하여 추가 차량에 대한 요 정보를 제공한다. 이는 추가 차량의 현재 요 파라미터(들)에 대한 빠른 판단을 가능하게 하고, 결과적으로 현재의 요 파라미터(들)을 고려하여 차량 제어 조정이 필요한지 여부에 대한 빠른 결정 (및 조정이 결정되었을 때는 빠른 조정)을 가능하게 한다.
일반적으로, LIDAR는 광학 스펙트럼 내 전자기파의 반사를 사용하여 환경 내 포인트들의 거리를 결정하는 기술이다. 예를 들어, 일부 LIDAR 구현들은 광 펄스들의 양방향 지연(round-trip delay) 측정에 기반하여 포인트들의 거리를 결정한다. LIDAR 콤포넌트는 광학 스펙트럼 내 광 펄스들을 생성하는 광원 (예를 들어, 레이저), (예를 들어, 방위각 및 앙각을 스캔하기 위해) 광원의 방향을 조정하는 하게 하는 광학 장치들 (예를 들어, 거울들), 반사된 펄스들을 측정하는 센서, 및 반사된 펄스들을 처리하기 위한 국부 프로세서(들) 및/또는 다른 전자 콤포넌트들을 포함할 수 있다. 반사된 펄스들은 송신된 펄스들 및 반사된 펄스들 사이의 시간 지연에 기반하여 (또한, 광속을 이용하여) 환경 내 타겟(들)의 포인트들까지의 거리를 결정하도록 처리될 수 있다. 일부 구현에서, LIDAR 콤포넌트들은 그 처리에 기반하여 (또한, 반사된 펄스들의 강도에 기반하여) 강도 값(intensity value)들을 갖는 가능한 3차원(3D) 포인트 클라우드인 출력을 생성한다.
일반적으로, 위상 코히어런트 LIDAR는 광학 스펙트럼 내 전자기파의 반사를 사용하여 환경 내 포인트들의 거리 및 시선 속도(radial velocities)를 나타내는 데이터를 결정하는 기술이다. 위상 코히어런트 LIDAR 콤포넌트는 파장을 생성하는 적어도 하나의 튜너블 레이저(tunable laser)(또는 다른 광원)를 포함하고, 간섭 광 수신기와 같은 적어도 하나의 수신기를 포함한다. 위상 코히어런트 LIDAR 콤포넌트는 또한 튜너블 레이저로부터의 파형을 (방위각 및/또는 앙각에서) 환경 내 복수의 포인트들로 향하게 하는데 사용될 수 있는 광학 장치들처럼, 튜너블 레이저의 방향을 조정하는 하나 이상의 컴포넌트들을 포함할 수 있다. 또한, 위상 코히어런트 LIDAR 콤포넌트는 파형 반사를 처리하기 위한 국부 프로세서(들) 및/또는 전자 콤포넌트들을 포함할 수 있다. 위상 코히어런트 LIDAR 콤포넌트를 갖는 튜너블 레이저는 생성한 파형이 그 파형을 통해 파형의 하나 이상의 특징들을 변경하여 인코딩되도록 제어될 수 있다는 점에서 가변적이다. 튜너블 레이저는 처프(chirp), 스텝 및/또는 펄스 파형과 같이 하나 이상의 다양한 인코딩된 파형을 생성하도록 제어될 수 있다.
주파수 변조 연속파(frequency-modulated continuous wave; FMCW) LIDAR 콤포넌트는 위상 코히어런트 LIDAR 콤포넌트의 특별한 타입이다. FMCW LIDAR 콤포넌트는 주파수 변조를 통해 인코딩되고 연속적인 파형을 생성하도록 튜너블 레이저를 적어도 선택적으로 (예를 들어, 사용중이면 항상) 제어한다. 예를 들어, 파형은 주파수 변조를 통해 인코딩된 연속 스텝 파형일 수 있다. 예를 들어, 튜너블 레이저는 스텝들의 주파수의 변경을 통해 인코딩된 계단 파형을 생성하도록 제어될 수 있다. 차량의 FMCW LIDAR 콤포넌트로부터의 데이터는 여기에서 "FMCW LIDAR 데이터"로 지칭된다. 따라서, "위상 코히어런트 LIDAR 데이터"는 주파수 변조를 통해 인코딩되고 연속적인 파형에 기반하여 FMCW LIDAR 콤포넌트에 의해 생성되었다면, "FMCW LIDAR 데이터"일 수 있다.
위상 코히어런트 LIDAR 콤포넌트의 센싱 사이클 동안, 송신된 인코딩된 파형은 순차적으로 환경 내 복수의 각 포인트들을 향하고 순차적으로 그에 의해 반사된다. 인코딩된 파형의 반사된 부분들은 센싱 사이클의 해당 센싱 이벤트에서 최소한 하나의 위상 코히어런트 LIDAR 콤포넌트 수신기에 의해 각각 검출된다. 예를 들어, 센싱 이벤트의 반사된 부분은 그 부분이 송신된 인코딩 파형에 대응하는 국부 광신호와 혼합된 코히어런트 검출(coherent-detection) 방식을 사용하여 적어도 하나의 코히어런트 광 수신기에 의해 검출될 수 있다. 코히어런트 검출 방식은, 예를 들어, 호모다인 믹싱(homodyne mixing), 헤테로다인 믹싱(heterodyne mixing), 셀프 헤테로다인 믹싱(self-heterodyne mixing), 또는 다른 코히어런트 검출 방식일 수 있다. 반사된 부분을 국부 광신호와 믹싱하여 생성된 결과 신호는: (1) 해당 포인트까지의 거리, 및 (2) 해당 포인트의 속도를 나타낸다. 예를 들어, 그 결과신호는 신호에 2차원 푸리에 변환(two-dimensional Fourier transform)을 적용하여 다이렉트 디멘젼(direct dimension) 내 주파수 좌표에서 2D 스펙트럼을 생성함으로써 처리될 수 있다. 인다이렉트(indirect) 디멘젼 내 주파수 좌표는 거리 결정에 사용될 수 있고, 인다이렉트 디멘젼 내 주파수 좌표는 속도 결정에 사용될 수 있다. 특별 예로서, 호모다인 검출 방식은 국부 광학 신호가 송신된 인코딩 파형의 분할된 부분이고, 광 수신기에 대한 광학적 국부 발진기 신호로 사용되는 방식일 수 있다. 센싱 이벤트 동안, 국부 발진기와 시간 지연된 반사 부분의 믹싱은 시변(time varying) 중간 주파수(IF) 파형을 생성하고, 해당 포인트의 거리에 직접 관계된다. 또한, 포인트가 움직이고 있는 경우, 도플러 주파수 천이는 IF 파형에 중첩될 것이고, 그 포인트의 시선속도(radial velocity) 결정에 사용될 수 있다. 센싱 사이클의 다수의 센싱 이벤트들에서 검출을 통해, 위상 코히어런트 LIDAR 데이터는 차량 환경 내 복수의 포인트 각각에 대해 생성되고 - 센싱 사이클 동안 환경 내 각 포인트에 대한 거리, 속도, 및 선택적으로 강도를 나타낸다.
상술한 바와 같이, 위상 코히어런트 LIDAR 콤포넌트에 의해 생성된 위상 코히어런트 데이터는 여기에서 개시된 다양한 구현들에서 추가 차량의 요 파라미터(들)의 결정에 사용된다. 그러한 구현들에서, 센싱 사이클의 위상 코히어런트 LIDAR 데이터는, 직접 또는 간접적으로, 위상 코히어런트 LIDAR 콤포넌트가 결합된 차량의 환경 내 복수의 포인트들 각각에 대한 대응 거리 및 대응 속도를 나타낸다. 그러한 구현들 중 일부에서, 위상 코히어런트 LIDAR 데이터는 3차원(3D) 포인트 클라우드를 포함하고, 3D 포인트 클라우드 내 각 포인트는 (3D 포인트 클라우드 내 3D 좌표를 통한) 대응 거리, 대응 속도 및 선택적으로 대응 강도를 정의한다. 일부 다른 구현들에서, 위상 코히어런트 LIDAR 데이터는 거리-도플러 영상(range-Doppler image)과 같이, 각 픽셀이 대응 거리 및 교차 거리(cross-range)에 대한 대응 속도 (및 선택적으로 강도)를 정의하는 거리-도플러 영상(range-Doppler image)을 포함한다. 달리 말하면, 거리-도플러 영상 내 각 픽셀은 대응 거리 및 (환경 내 포인트에 대응하는) 교차 거리에 대응하고 그 거리 및 교차거리에 대한 속도를 정의한다. 다른 구현에서, 위상 코히어런트 LIDAR 데이터는 국부 발진기의 시간 지연된 반사와의 믹싱에 기반하여 FMCW LIDAR 콤포넌트의 광 수신기(들)에 의해 생성된 시변 중간 주파수(IF) 파형을 포함한다. 시변 IF 파형은 요 파라미터(들)의 직접 결정에 사용될 수 있고 및/또는 푸리에 변환 및/또는 다른 기법들, 및 요 파라미터(들)의 결정에 사용된 처리 데이터를 사용하여 처리될 수 있다. 예를 들어, 시변 IF 파형의 각 슬라이스(slice)가 처리되어 환경 내 해당 포인트에 대한 거리 및 속도, 및 요 파라미터 결정에 사용된 다수의 포인트들에 대한 거리 및 속도들의 결정하도록 처리될 수 있다. 따라서, 하나 이상의 선행(preceding) 및/또는 다른 타입의 위상 코히어런트 LIDAR 데이터가 위상 코히어런트 LIDAR 콤포넌트에 의해 생성될 수 있고, 여기에서 설명된 구현들에 따라서 추가 차량의 요 파라미터(들)의 결정에 사용될 수 있다. 요 파라미터(들) 결정에서 생성 및 사용된 위상 코히어런트 LIDAR 데이터의 타입(들)은, 예를 들어, 사용되고 있는 특별 위상 코히어런트 LIDAR 콤포넌트에 종속될 수 있다. 또한, 일부 구현에서 수신된 위상 코히어런트 LIDAR 데이터에 나타난 속도들은 (예를 들어, 자차량의 센서(들)에 기반하여 결정된 자차량의 속도 또는 위상 코히어런트 LIDAR 데이터 내 정적(static) 객체들의 속도에 기반하여 추론된 자차량의 속도에 기반하여) 자차량의 속도가 감산된 것일 수 있다. 일부 구현에서, 자차량의 속도는 수신된 위상 코히어런트 LIDAR 데이터에서 감산되지 않을 수 있다. 그러한 구현에서, 수신된 위상 코히어런트 LIDAR 데이터는 선택적으로 자차량의 속도를 감산하도록 처리될 수 있다.
일부 구현에서, 위상 코히어런트 LIDAR 데이터는 제1 및 제2 코히어런트 광 수신기와 같은, 적어도 제1 및 제2 수신기를 포함하는 위상 코히어런트 LIDAR 모노펄스(monopulse) 콤포넌트에서 출력된다. 그러한 구현에서, 각 센싱 이벤트는 제1 수신기에 의한 제1 수신기 센싱 이벤트 및 제2 수신기에 의한 제2 수신기 센싱 이벤트를 포함한다. 예를 들어, 제1 수신기 센싱 이벤트는 파형의 반사된 부분의 제1 검출과 국부 발진기의 코히어런트 믹싱을 포함할 수 있고, 제2 수신기 센싱 이벤트는 파형의 반사된 부분의 제2 검출과 국부 발진기의 코히어런트 믹싱을 포함할 수 있다. 제1 수신기 센싱 이벤트 및 제2 수신기 센싱 이벤트는, 여기에서는, 별개의 수신기들에 의한 것들인 것처럼 별개의 이벤트들로 나타내진다. 그러나, 센싱 이벤트들은 각각 동일 반사를 갖는 것일 수 있고, 동시에 또는 실질적으로 동시에 (예를 들어, 서로 1 밀리초 이내에, 1 마이크로초 이내에, 또는 1 나노초 이내에) 일어날 수 있다.
제1 및 제2 수신기들은 위치상에서 서로 상대적으로 오프셋되고, 그에 따라 제1 및 제2 검출들이 (예를 들어, 일시적으로 및/또는 특징적으로 (예를 들어, 동상(in phase)으로) 변하게 된다. 이는 제1 수신기 센싱 이벤트 및 제2 수신기 센싱 이벤트의 비교에 기반하여 적어도 하나의 추가 데이터 채널이 센싱 이벤트에 대해 결정될 수 있게 한다. 추가 채널은 센싱 이벤트에 기반하여 결정된 포인트(들)에 대한 각도 정확성 증가에 사용될 수 있다. 예를 들어, 추가 채널은 제1 및 제2 수신기 센싱 이벤트들 사이의 진폭 및/또는 위상차들(예를 들어, 국부 발진기 신호와의 믹싱에서 제1 및 제2 수신기들 각각에 의해 생성된 시변 IF 파형 내 차이들)에 기반할 수 있다. 예를 들어, 진폭 및/또는 위상차들이 비교되어 센싱 이벤트에 기반하여 결정된 하나 이상의 포인트(들) 각각에 대해 각도 (특별 각도 또는 각도 범위)를 결정할 수 있고, 포인트(들)이 센싱 이벤트를 일으킨 반사의 빔 폭보다 적도록 각각의 각도가 결정된다(resolved). 따라서, 해당 거리에 대한 각도 (예를 들어, 수신기(들)에 대한 방위각 및 앙각)가 서브 빔 폭 레벨로 결정될 수 있고, 그에 따라 결정된 각도에 대해 보다 큰 정확성을 제공한다. 또한, 그 포인트는 포인트의 위치가 각도 및 거리에 의해 정의될 때 서브 빔 폭 레벨로 국한될 수 있다.
일부 구현에서, 다수의 거리/속도 쌍들은 단일 센싱 이벤트에 기반하여 (예를 들어, 거리-도플러 영상 및/또는 IF 파형으로 나타낸 다수의 거리/속도 쌍들 중 거리 및/또는 속도 차에 기반하여) 결정될 수 있음이 알려져 있다. 그러한 구현에서, 대응되는 각도는 다수의 거리/속도 쌍들 각각에 대해 결정될 수 있고, 각각은 서브 빔 폭 레벨로 결정될 수 있다. 달리 설명하면, 센싱 사이클의 단일 센싱 이벤트는 둘 이상의 포인트들 각각에 대해 대응 거리 및 대응 속도를 결정하는데 사용될 수 있다. 그 구현들의 일부 버전에서, 위상 코히어런트 LIDAR 콤포넌트의 레이저에 의한 출력인 전자기 출력의 빔 폭(들)은 의도적으로 넓혀져서 빔 폭에 의해 넓혀지지 않은 빔 폭에 비해 더 많은 공간을 커버할 수 있다. 예를 들어, 빔 폭은, 위상 코히어런트 LIDAR 콤포넌트로부터 주어진 거리(예를 들어, 10미터, 15미터, 20미터, 50미터 또는 다른 거리)에서, 센싱 사이클의 빔들 사이에 커버리지 갭(coverage gap)이 없도록 고정될 수 있다. 여기에서 기술된 각도 정확도 증가 기법들은 센싱 사이클의 각 빔의 넓어진 빔 폭 내에 있는 둘 이상의 포인트 각각에 대해 대응 거리 및 대응 속도를 결정하는데 사용될 수 있다. 이는, 여기에서 기술된 증가된 각속도 기법의 부재시, 센싱 사이클에서 더 많은 양의 빔과 센싱 이벤트들을 필요로 할 정확도를 갖는 거리 및 속도의 결정을 가능하게 한다. 따라서, 여기에서 기술된 증가된 각속도 기법들은 센싱 사이클에서 주어진 정확도를 갖는 거리 및 속도의 결정을 가능하게 하는 반면, 정확도 달성에 필요한 센싱 사이클 내 센싱 이벤트의 양이 감소한다. 이는 각 센싱 사이클에서 일어나는 센싱 이벤트 양을 감소시킬 수 있고, 그에 따라 하드웨어 자원들 (예를 들어, 레이저 자원들 및/또는 전력원 자원들)을 보존한다. 이는 추가적으로 또는 대안적으로 감소된 시간 동안 영역에 대해 주어진 거리 및 속도 양들의 결정을 가능하게 하고, 그에 따라 추가 영역(들)에 대한 거리 및 속도를 결정할 추가 시간을 제공한다 (예를 들어, 각 센싱 사이클에서 센싱 사이클의 지속시간(duration)을 증가시키지 않고) 더 큰 전체 영역이 커버될 수 있게 하고, 그리고/또는 그 영역에 대한 갱신된 거리 및 속도에 대한 빠른 재결정을 가능하게 한다(예를 들어, 각도의 정확도를 감소시키지 않고 센싱 사이클들을 짧게 할 수 있다).
따라서, 위상 코히어런트 LIDAR 모노펄스 콤포넌트로 두 수신기들에 대한 반사를 스플릿(split)함으로써, 신호대 잡음비 (SNR)가 감소하는 동안 (즉, 잡음이 증가) 수퍼 픽셀 분해능을 얻을 수 있다. 이는 (위상 코히어런트 LIDAR 모노펄스 콤포넌트로부터) 멀리 있고, 그리고/또는 크기가 작은 추가 차량의 포인트(들)에 대한 거리 및 속도 결정에 유리할 수 있다. 예를 들어, 주어진 리턴/센싱 이벤트에 대해 거리 및 속도가 결정될 수 있는 각도 정확도를 증가(주어진 포인트에서 각도 센싱에서 더 정확한 포지셔닝)시킬 수 있고- 따라서 분해능을 증가시키고, 멀리 있고 그리고/또는 크기가 작은 추가 차량에 대한 요 파라미터(들)의 결정 (또는 적어도 보다 정확한 결정)을 가능하게 하는 반면, 요 파라미터(들)은 멀리 있고 그리고/또는 크기가 작은 추가 차량에 대해 결정 가능하지 않을 수 있다 (또는 적어도 덜 정확할 것이다).
다양한 구현에서, 위상 코히어런트 LIDAR 모노펄스 콤포넌트로 둘 이상의 수신기들에 대한 반사를 스플릿(split)함으로써, 신호대 잡음비 (SNR)가 감소하는 동안 (즉, 잡음이 증가) 수퍼 분해능이 추가적으로 및/또는 대안적으로 달성될 수 있다. 둘 이상의 수신기들은 위치상에서 서로 상대적으로 오프셋되고, 따라서 수신기들의 개별 검출들이 (예를 들어, 일시적으로 및/또는 특징적으로 (예를 들어, 동상 (in phase)으로) 변하게 된다. 이는 각 수신기에서 센싱 이벤트로부터의 비중복(non-redundant) LIDAR 데이터가 결합되어 어떠한 개별 수신기의 센싱 이벤트의 LIDAR 데이터보다도 높은 해상도 (예를 들어, 더 높은 해상도의 거리 및/또는 속도)를 갖는 LIDAR 데이터(예를 들어, 거리-도플러 영상 및/또는 IF 파형)을 생성할 수 있게 한다. 달리 말하면, 각 센싱 이벤트는 각 수신기에서 수신기 센싱 이벤트를 포함할 수 있고 (예를 들어, 제1 수신기에서의 제1 수신기 센싱 이벤트, 제2 수신기에서의 제2 수신기 센싱 이벤트 등), 각 수신기 센싱 이벤트에 대한 각 LIDAR 데이터를 생성할 수 있다. 수신기 센싱 이벤트들로부터의 비중복 LIDAR 데이터를 결합하여 센싱 이벤트에 대한 수퍼 해상도 LIDAR 데이터를 생성할 수 있다. 비중복 LIDAR 데이터는, 예를 들어, 각 수신기 센싱 이벤트들 사이의 진폭 및/또는 위상차들(예를 들어, 국부 발진기 신호와의 믹싱에서 제1 및 제2 수신기들 각각에 의해 생성된 시변 IF 파형 내 차이들)에 기반할 수 있다. (예를 들어, 연속 및 이산 푸리에 변환의 시프트 및 앨리어싱(shift and aliasing) 특성들에 기반한) 주파수 영역 기법들 및/또는 공간 영역 기법들(비반복(non-iterative) 및/또는 반복 기법들)과 같은 다양한 기법들이 다수의 수신기 센싱 이벤트들로부터 수퍼 해상도 LIDAR 데이터를 생성하는데 사용될 수 있다. 공간 영역 기법들은 수신기 센싱 이벤트들의 저 해상도 LIDAR 데이터로부터 수퍼 해상도 LIDAR 데이터를 구축하는데 있어 하나 이상의 유연한 추정기들을 적용하는데 사용될 수 있다. 그러한 유연한 추정기들은, 예를 들어, 최우도(Maximum likelihood), 최대 사후확률(Maximum a Posteriori), 볼록 집합 투영 (Projection Onto Convex Sets), 베이지안 처리 (Bayesian treatments) 등을 포함한다. 일부 위상 코히어런트 LIDAR 기법들 및 일부 위상 코히어런트 LIDAR 콤포넌트들에 대한 추가 설명은 모노펄스 콤포넌트들 및 기법들을 포함하여 여기에서 제공된다.
상술한 바와 같이, 위상 코히어런트 LIDAR 콤포넌트의 센싱 사이클 동안, 송신된 인코딩된 파형의 방향은 순차적으로 환경 내 복수의 포인트들 각각을 향해 순차적으로 반사되고, 인코딩된 파형의 반사된 부분들이 센싱 사이클의 해당 센싱 이벤트에서 위상 코히어런트 LIDAR 콤포넌트의 적어도 하나의 수신기에 의해 각각 검출된다. 센싱 사이클 동안, 파형은 환경 내의 영역에서 복수의 포인트들로 향하고, 대응하는 반사가, 그 파형의 방향이 센싱 사이클내에서 그 포인트들로 다시 향하지 않고, 검출된다. 따라서, 센싱 사이클의 위상 코히어런트 LIDAR 데이터로 나타낸 포인트의 거리 및 속도는 이전 또는 후속 센싱 이벤트를 참조하지 않고 단일 센싱 이벤트에 기반한다는 점에서 즉각적일 수 있다. 일부 구현에서, 다수의(예를 들어, 모든) 센싱 사이클들 각각은(센싱 사이클 동안의 파형의 방향을 통해) 동일 지속시간, 동일 시야(field-of-view) 및/또는 동일 패턴의 파형 분포를 가질 수 있다. 예를 들어, 각각 스윕(sweep) 하는 다수의 센싱 사이클들 각각은 동일 지속시간, 동일 시야 및 동일 파형 분포를 가질 수 있다. 그러나 많은 다른 구현에서, 지속시간, 시야, 및/또는 파형 분포 패턴은 하나 이상의 센싱 사이클 중에서 변할 수 있다. 예를 들어, 제1 센싱 사이클은 제1 지속시간, 제1 시야, 및 제1 파형 분포 패턴을 가질 수 있고, 제2 센싱 사이클은 제1 지속시간보다 짧은 제2 지속시간, 제1 시야의 서브세트인 제2 시야, 및 제1 파형 분포 패턴보다 조밀한 제2 파형 분포 패턴을 가질 수 있다.
도면들을 보면, 도 1은 여기에서 개시된 다양한 기술들이 구현된 예시적인 자율주행 차량(100)을 도시한 것이다. 예를 들어, 차량(100)은 에너지 소스(106)가 동력을 공급하는 원동기(104)를 포함한 동력계(Powertrain, 102)를 포함하고, 동력을 방향 제어기(direction control, 112), 동력계 제어기(114) 및 브레이크 제어기(116)를 포함한 제어 시스템(110) 뿐만 아니라 구동계(drivetrain, 108)로도 공급할 수 있다. 차량(100)은 사람 및/또는 화물을 수송할 수 있고, 육지, 바다, 하늘, 지하, 해저 및/또는 공간을 주행할 수 있는 차량들을 포함해 여러 다양한 형태로 구현될 수 있고, 상술한 콤포넌트들(102 내지 116)은 이 컴포넌트들이 사용되는 차량 타입에 기반하여 다양하게 변할 수 있음이 주지된다.
이후 논의된 구현들은, 예를 들어, 승용차, 밴, 트럭, 버스 등 차륜 육상 차량에 초점을 맞춘다. 그러한 예에서, 원동기(104)는 (다른 것들 중) 하나 이상의 전기 모터들 및/또는 내연 기관(internal combustion engine)을 포함할 수 있다. 에너지 소스(106)는, 예를 들어, 연료 시스템(예를 들어, 휘발유, 디젤, 수소 등을 제공), 배터리 시스템, 태양 패널 또는 다른 재생가능한 에너지 소스, 및/또는 연료 전지 시스템을 포함할 수 있다. 구동계(108)는 제어가능하게 차량(100)을 정지 또는 느리게 하도록 구성된 하나 이상의 브레이크들 및 차량(100)의 궤적 (예를 들어, 차량(100)의 하나 이상의 휠들이 일반적으로 수직축에 대해 회전하여 휠들의 회전 평면 각이 차량의 장축에 대해 변하도록 할 수 있는 랙 앤 피니언 조향 연결(rack and pinion steering linkage))을 제어하는데 적합한 방향 또는 스티어링 콤포넌트들 뿐만 아니라, 원동기(104)의 출력을 차량 움직임으로 변환하는데 적합한 트랜스미션 및/또는 임의의 다른 기계 구동 콤포넌트들과 함께 휠들 및/또는 타이어들을 포함할 수 있다. 일부 구현에서, 동력계 및 에너지 스소들의 결합이 (예를 들어, 전기/가스 하이브리드 차량들의 경우에) 사용될 수 있고, 일부 예에서 (예를 들어 개별 휠들 또는 축들 전용의) 다수의 전기 모터들이 원동기로 사용될 수 있다.
방향 제어기(112)는 방향 또는 조향 콤포넌트들로부터의 피드백을 제어 및 수신하여 차량(100)이 원하는 궤적을 따르도록 하는 하나 이상의 액츄에이터들 및/또는 센서들을 포함할 수 있다. 동력계 제어기(114)는 동력계(102)의 출력을 제어하도록, 예를 들어, 원동기의 출력 파워를 제어하여 구동계(108) 내 트랜스미션의 기어 등을 제어하도록 구성되어 차량(100)의 속도 및/또는 방향을 제어한다. 브레이크 제어기(116)는 차량(100)의 속도를 늦추거나 정지시키는 하나 이상의 브레이크들, 예를 들어, 차량 휠들과 결합된 디스크 또는 드럼 브레이크들을 제어하도록 구성될 수 있다.
비행기, 우주선, 헬리콥터, 드론, 군용 차량, 전지형 또는 궤도 차량(all-terrain or tracked vehicles), 선박, 잠수함, 건설 장비 등을 포함하지만 그에 제한되지 않는 다른 차량 타입들은, 본 개시의 이익을 갖는 당업자라면 이해하는 것처럼, 필수적으로 서로 다른 동력계, 구동계, 에너지 소스들, 방향 제어, 동력계 제어기 및 브레이크 제어기를 사용할 것이다. 또한, 일부 구현에서 콤포넌트들의 일부가 결합될 수 있고, 예를 들어, 차량의 방향 제어는 하나 이상의 원동기들의 출력을 변하게 하여 1차 처리된다. 따라서 여기에서 개시된 구현들은 자율주행 차륜 육상 차량에서 여기에 기술된 기법들의 특별 애플리케이션에 제한되지 않는다.
도시된 구현에서, 차량(100)에 대한 완전 또는 반 자율주행 제어는 차량 제어 시스템(120)에서 구현되고, 차량 제어 시스템(120)은 하나 이상의 프로세서들(122) 및 하나 이상의 메모리들(124)을 포함할 수 있고, 각 프로세서(122)는 메모리(124)에 저장된 프로그램 코드 명령들(126)을 실행하도록 구성된다. 프로세서(들) (122)은, 예를 들어, 그래픽 처리 유닛(들) (GPU(s)) 및/또는 중앙 처리 유닛(들) (CPU(s))을 포함할 수 있다.
센서들(130)은 차량 동작을 제어하는데 사용되는 차량의 주위 환경으로부터 정보 수집에 적합한 다양한 센서들을 포함할 수 있다. 예를 들어, 센서들(130)은 차량(FMCW)의 주파수 변조 연속파(FMCW) 라이다(LIDAR) 콤포넌트(132)를 포함할 수 있다. 여기에 기술한 바와 같이, FMCW LIDAR 콤포넌트(132)는 차량(100)의 환경 내 하나 이상의 객체들 각각에 대한 해당 요 파라미터(들) 결정에 사용될 수 있는 FMCW LIDAR 데이터를 생성할 수 있다. FMCW LIDAR 콤포넌트(132)에 의해 생성된 FMCW LIDAR 데이터는 차량 환경 내 복수의 포인트들 각각에 대해 FMCW LIDAR 콤포넌트의 해당 센싱 이벤트에 기반한 해당 거리 및 해당 속도를 나타낸다. FMCW LIDAR 콤포넌트가 도 1 (및 다른 도면들)에 도시되었고, 많은 도면들과 조합하여 여기에 도시되었지만, 많은 구현에서 FMCW LIDAR 콤포넌트가 아닌 위상 코히어런트 LIDAR 콤포넌트가 대신 사용될 수 있다. 또한, 이들 구현에서, FMCW LIDAR 데이터가 아닌 위상 코히어런트 LIDAR 데이터가 FMCW LIDAR 데이터 대신 사용될 수 있다.
센서들(130)은 또한 선택적으로 레이다(Radio Detection and Ranging) 콤포넌트(134) 및/또는 LIDAR 콤포넌트(136)(거리 결정에는 사용될 수 있지만 속도에는 사용되지 않는 데이터를 생성하는 비-위상 코히어런트(non-phase coherent))를 포함할 수 있다. 또한, 센서들은 선택적으로, 예를 들어, GPS, GLONASS, Galileo, Compass 등과 같은 다양한 위성 항법 시스템들 중 어느 것과 양립할 수 있는 위성 항법(SATNAV) 콤포넌트(138)를 포함할 수 있다. SATNAV 콤포넌트(138)는 위성 신호를 사용하여 대지 위 차량의 위치를 결정하는데 사용될 수 있다. 센서들(130)은 또한 카메라(140), 관성 측정 유닛(inertial measurement unit, IMU) (142) 및/또는 하나 이상의 휠 인코더들(144)를 포함할 수 있다. 카메라(140)는 모노그래픽 또는 스테레오그래픽 카메라일 수 있고, 정지 및/또는 비디오 이미저(imager)를 기록할 수 있다. IMU(142)는 세 방향에서 차량(100)의 선형 및 회전 움직임을 검출할 수 있는 다수의 자이로스코프 및 가속도계를 포함할 수 있다. 휠 인코더들(142)은 차량(100)의 하나 이상의 휠들의 회전을 모니터링하는데 사용될 수 있다.
센서들(130)의 출력들은 위치추적 서브시스템(152), 계획 서브시스템(156), 인식 서브시스템(154) 및 제어 서브시스템(158)을 포함하는 제어 서브 시스템 세트(150)로 제공될 수 있다. 위치추적 서브시스템(152)은 주로 주변 환경 내에서, 그리고 대체로 일부 참조 환경 내에서 차량(100)의 위치와 방향(종종 "포즈"라고 불림)을 정확하게 결정한다. 인식 서브시스템(154)은 주로 차량(100)의 주변 환경 내 엘리먼트들을 검출, 추적 및/또는 식별한다. 예를 들어, 여기에 기술된 바와 같이, 인식 서브시스템(154)은, 다른 것들 중에서, 차량(100) 주변 환경 내 하나 이상의 추가 차량들 각각에 대한 요 레이트(yaw rate)를 결정할 수 있다. 계획 서브시스템(156)은 주로 환경 내 정지 또는 이동 객체뿐만 아니라 원하는 목적지가 주어지면 일부 시간 프레임에 대한 차량(100)에 대한 궤적을 계획한다. 예를 들어, 여기에 기술된 바와 같이, 계획 서브시스템(156)은, 차량(100) 주변 환경에서 추가 차량의 (인식 서브시스템(154)에 의해 결정된) 결정 요 파라미터에 적어도 부분적으로 기반하여 차량(100)에 대한 궤적을 계획할 수 있다. 제어 서브시스템(158)은 주로 차량의 계획된 궤적을 구현하기 위해 제어 시스템(110)에서 다양한 제어기들을 제어하는 적절한 제어 신호들을 생성한다.
차량 제어 시스템(120)에 대한 도 1에 도시된 콤포넌트들의 수집은 본질적으로 단지 예시적인 것임이 이해될 것이다. 개별 센서들은 일부 구현에서 생략될 수 있다. 추가적으로 또는 대안적으로, 일부 구현들에서, 도 1에 도시된 다양한 타입의 센서들은 중복되어 및/또는 차량 주변의 서로 다른 영역들을 커버하기 위해 사용될 수 있고, 다른 센서 타입들이 사용될 수 있다. 유사하게, 제어 서브시스템들의 서로 다른 타입들 및/또는 결합들이 다른 구현에서 사용될 수 있다. 또한, 서브시스템들(152 내지 160)이 프로세스들(122) 및 메모리(124)와 분리된 것으로 도시되었지만, 일부 구현에서 서브시스템들(152 내지 160)의 일부 또는 모든 기능이 하나 이상의 메모리들(124)에 상주한 프로그램 코드 명령들(126)로 구현되어 하나 이상의 프로세서들(122)에 의해 실행되고, 일부 예에서 이 서브시스템들(152 내지 160)이 동일한 프로세서들 및/또는 메모리를 사용하여 구현될 수 있음이 이해될 것이다. 일부 구현에서 서브시스템들은 부분적으로 다양한 전용 회로 로직, 다양한 프로세서들, 다양한 필드 프로그래머블 게이트 어레이들("FPGA"), 다양한 주문형 반도체("ASIC"), 다양한 실시간 제어기들 등을 사용하여 구현될 수 있고, 상술한 대로 다수의 서브시스템들은 회로, 프로세서들, 센서들 및/또는 다른 콤포넌트들을 사용할 수 있다. 또한, 차량제어 시스템(120)에서 다양한 콤포넌트들이 다양한 방식으로 네트워크로 연결될 수 있다.
일부 구현에서 차량(100)은 또한 차량(100)용 중복 또는 백업 제어 시스템으로 사용될 수 있는 2차 차량 제어 시스템(도시되지 않음)을 포함할 수 있다. 일부 구현에서, 2차 차량 제어 시스템은 차량 제어 시스템(120)에서 이상 반응(adverse event) 이벤트에서 자율주행 차량(100) 전체를 동작시킬 수 있는 반면, 다른 구현에서 2차 차량 제어 시스템(170)은, 예를 들어, 1차 차량 제어 시스템(120)에서 검출된 이상 반응에 응답하여 차량(100)의 정지 제어를 수행하는 제한된 기능만을 가질 수 있다. 다른 구현에서, 2차 차량 제어 시스템은 생략될 수 있다.
대체로, 소프트웨어, 하드웨어, 회로 로직, 센서들, 네트워크들 등의 다양한 결합을 포함한 무수히 서로 다른 아키텍쳐들이 도 1에 도시된 다양한 콤포넌트들의 구현에 사용될 수 있다. 각 프로세서는 예를 들어 마이크로프로세서로 구현될 수 있고, 각 메모리는, 예를 들어, 캐시 메모리들, 비휘발 또는 백업 메모리들 (예를 들어, 프로그래머블 또는 플래시 메모리들), 롬(ROM, read only memory) 등의 보충 수준의 메모리뿐만 아니라 메인 스토리지를 포함하는 램(RAM, random access memory) 장치들을 나타낼 수 있다. 또한 각 메모리는, 가상 메모리, 예를 들어, 대량 스토리지 장치 또는 다른 컴퓨터 또는 제어기에 저장되어 사용된 스토리지 용량뿐만 아니라, 차량(100) 내 어느 곳에 물리적으로 위치한 메모리 스토리지, 예를 들어, 프로세서 내 임의의 캐시 메모리를 포함하는 것으로 고려될 수 있다. 도 1에 도시된 하나 이상의 프로세스들 또는 전체적으로 분리된 프로세서들이 자율 제어의 목적을 벗어나 차량(100) 내 추가 기능, 예를 들어, 오락 시스템의 제어, 문, 조명, 편의성 특징들 등의 제어의 구현에 사용될 수 있다.
또한, 추가 스토리지의 경우, 차량(100)은 또한 하나 이상의 대량 스토리지 장치들, 예를 들어, 다른 것들 중에서 착탈가능 디스크 드라이브, 하드 디스크 드라이브, 직접 접근 스토리지 장치 (DASD), 광 드라이브(예를 들어, CD 드라이브, DVD 드라이브 등), SSD(solid state storage drive), 네트워크 부착 스토리지, 스토리지 영역 네트워크(storage area network) 및/또는 테이프 드라이브 등을 포함할 수 있다. 또한 차량(100)은 사용자 인터페이스(164)를 포함하여 차량(100)이 사용자 또는 운전자들로부터 다수의 입력들을 수신할 수 있게 하고, 사용자 또는 운전자를 위한 출력들, 예를 들어, 하나 이상의 디스플레이들, 터치 스크린들, 음성 및/또는 제스처 인터페이스들, 버튼들, 및 다른 촉각 제어 등을 생성할 수 있게 한다. 또한, 사용자 입력은 다른 컴퓨터 또는 전자 장치, 예를 들어, 이동 장치 앱을 통해 또는 웹 인터페이스를 통해 수신될 수 있다.
또한, 차량(100)은 하나 이상의 네트워크들 (예를 들어, 다른 것들 중 LAN, WAN, 무선 네트워크 및/또는 인터넷)과 통신에 적합한 하나 이상의 네트워크 인터페이스들, 예를 들어, 네트워크 인터페이스(162)를 포함하여, 예를 들어, 차량(100)이 자율 제어에 사용하기 위한 환경 및 다른 데이터를 수신하는 클라우드 서비스와 같은 중앙 서비스를 포함하는, 다른 컴퓨터들 및 전자 장치들과의 정보의 통신을 허용한다.
여기에서 기술된 다양한 추가 제어기들 및 서브 시스템들뿐만 아니라, 도 1에 도시된 각 프로세서는, 이하에서 상세하게 설명되는 것과 같이, 대체로 운영체제의 제어 하에서 동작하고 다양한 컴퓨터 소프트웨어 애플리케이션들, 콤포넌트들, 프로그램들, 객체들, 모듈들, 데이터 구조들 등을 실행 또는 그들에 의존한다. 또한 다양한 애플리케이션들, 콤포넌트들, 프로그램들, 객체들, 모듈들 등은 또한, 예를 들어, 분산 클라우드 기반, 또는 클라이언트-서버 컴퓨팅 환경에서 네트워크를 통해 차량(100)에 결합된 다른 컴퓨터에서 하나 이상의 프로세서 상에서 실행할 수 있고, 그에 따라 컴퓨터 프로그램 기능들의 구현에 필요한 프로세싱이 네트워크를 통해 다수의 컴퓨터들 및/또는 서비스들에 할당될 수 있다.
대체로, 본 명세서에 기술된 다양한 구현들을 위해 실행되는 루틴들은, 운영체제 또는 특정 애플리케이션, 콤포넌트, 프로그램, 객체, 모듈 또는 명령 시퀀스, 혹은 그 서브세트의 일부로 구현되는지 여부에 따라 본 명세서에서는 "프로그램 코드"로 지칭될 것이다. 프로그램 코드는 다양한 시각에서 컴퓨터의 다양한 메모리 및 저장 장치에 상주하는 하나 이상의 인스트럭션을 포함하며, 컴퓨터의 하나 이상의 프로세서에 의해 판독 및 처리되면, 컴퓨터로 하여금 본 발명의 다양한 양태를 실시하는 단계 또는 엘리먼트를 실행하는 데 필요한 단계를 수행하게 한다. 또한, 완전히 기능하는 컴퓨터 및 컴퓨터 시스템의 관점에서 본 발명을 후술하겠지만, 당업자는 본 발명의 다양한 실시예가 다양한 형태의 프로그램 제품으로서 배포될 수 있으며, 실제로 이 배포를 수행하는 데 이용되는 매체를 포함한 컴퓨터로 독출가능한 특별 타입에 관계없이 본 발명이 구현될 수 있음을 이해할 것이다. 컴퓨터로 독출가능한 매체의 예는 휘발성 및 비휘발성 메모리 장치들, 다른 착탈가능한 디스크, 고체 상태 드라이브(solid state drive), 하드 디스크 드라이브, 자기 테이프 및 광 디스크 (예를 들어, CD-ROM, DVD 등)과 같이 만질 수 있고, 비 일시적인 매체를 포함한다.
또한, 후술할 다양한 프로그램 코드는 본 발명의 특정 실시예에서 구현되는 애플리케이션에 기초하여 식별될 수 있다. 그러나, 후술할 임의의 특정 프로그램 명칭은 단순히 편의를 위한 것이므로, 이러한 명칭에 의해 식별 및/또는 암시되는 임의의 특정 애플리케이션에 제한되어서는 안된다. 또한, 컴퓨터 프로그램이 루틴, 프로시져, 방법, 모듈, 객체 등으로 조직화되는 전형적으로 무수한 방식뿐만 아니라, 프로그램 기능성이 전형적인 컴퓨터 내에 상주하는 다양한 소프트웨어 계층(예를 들어, 운영 체제, 라이브러리, API, 애플리케이션, 애플릿 등) 사이에 할당되는 다양한 방식이 주어지면, 본 발명이 설명될 프로그램 기능성의 특정 조직 및 할당에 제한되지 않는다는 것이 이해되어야 한다.
본 개시의 이익을 얻는 당업자는 도 1에 도시된 예시적인 환경이 본 발명을 제한하고자 한 것이 아님을 인식할 것이다. 확실히, 당업자는 다른 대안적인 하드웨어 및/또는 소프트웨어 환경이 여기에 개시된 구현들의 범위를 벗어나지 않고 사용될 수 있음을 인식할 것이다.
도 2a 및 2b를 보면, 도 1의 FMCW LIDAR 콤포넌트(132)의 두 가지 구현이 개략적으로 도시되어 있다. 도 2a는 단일 수신기(132A3)를 포함하는 FMCW LIDAR 콤포넌트(132A)를 도시한 반면, 도 2b는 두 개의 수신기들(132B3A 및 132B3B)을 포함하는 FMCW LIDAR 모노펄스 콤포넌트(132B)를 도시한다.
도 2a에서, FMCW LIDAR 콤포넌트(132A)는 광 출력이 신호 생성기(132A2)에 의해 제어되는 튜너블 레이저(tunable laser)(132A1)를 포함한다. 신호 생성기(132A2)는 레이저(132A1)가 광 스펙트럼 내에 있고 전자기 출력의 주파수 변형을 통해 인코딩되는 전자기 출력을 생성하도록, 레이저(132A1)를 구동한다. 신호 생성기(132A2)는 신호를 생성하여 파형이 인코딩되도록 한다. 다양한 타입의 주파수 인코딩된 파형들이 신호 생성기(132A2) 및 레이저(132A1)을 통해 생성될 수 있다.
도 2a는 선행 단락에서 설명된 것처럼 인코딩되고, 타겟 객체(191) 상의 포인트를 향하도록 레이저(132A1)로부터 송신된 빔(192A)을 도시한 것이다. 송신된 빔(192A)은 타겟 오브젝트(191) 상의 포인트에서 반사되고, 반사(193A)는 센싱 이벤트 동안 수신기(132A3)에서 수신된다. 송신된 빔(192A)은 인코딩된 파형의 슬라이스(slice)를 포함하고, 반사(193A) 또한 인코딩된 파형의 슬라이스를 포함한다. 인코딩된 파형의 슬라이스는 센싱 이벤트 동안 수신기(132A3)에 의해 검출된다.
수신기(132A3)는 코히어런트 수신기일 수 있고, 반사(193A)는 수신기(132A3)에 의해 코히어런트 검출 방식-반사(193A)가 송신된 빔(192A)의 스플릿 부분인 국부 광신호와 믹싱된-을 사용하여 검출될 수 있다. 수신기(132A3)에 의한 반사(193A)의 검출은 국부 광신호(예를 들어, 송신된 빔(192A)의 스플릿 부분)의 검출에 대해 시간 지연된다. 코히어런트 검출 방식은 프로세서(132A4)에 의해 구현될 수 있고, 예를 들어, 호모다인 믹싱(homodyne mixing), 헤테로다인 믹싱(heterodyne mixing), 셀프 헤테로다인 믹싱(self-heterodyne mixing), 또는 다른 코히어런트 검출 방식일 수 있다. 반사된 부분을 국부 광신호와 믹싱하여 생성된 결과 신호는: (1) 타겟 객체(191)의 포인트까지의 거리, 및 (2) 타겟 객체(191)의 포인트의 속도를 나타낸다. 일부 구현에서, 프로세서(132A4)는 그 결과 신호를 FMCW LIDAR 콤포넌트(132A)로부터의 포인트에 대한 FMCW LIDAR 데이터로 제공한다. 일부 다른 구현에서, 프로세서(132A4)는 추가 처리를 수행하여 포인트의 거리 및 속도를 직접 나타내는 포인트용 FMCW LIDAR 데이터를 생성한다. 예를 들어, 그 포인트의 거리 및 속도는, 거리 및 속도 값들, 또는 거리-도플러 영상을 나타내는 3D 포인트 클라우드인 FMCW LIDAR 데이터 내에서 직접 나타낼 수 있다. 레이저(132A1)로부터의 광출력의 방향 (예를 들어, 방위각 및/또는 앙각)이 변하는 다수의 센싱 이벤트들에 대한 검출을 통해, FMCW LIDAR 데이터는 환경 내 복수의 포인트들 각각에 대해 FMCW LIDAR 콤포넌트에 의해 생성되고, 환경 내 각 포인트에 대해 거리, 속도 및 선택적으로 강도를 나타낸다.
상술한 도 2a의 설명은 FMCW LIDAR 콤포넌트를 설명하지만, FMCW가 아닌 위상 코히어런트 LIDAR 콤포넌트가 동일 및/또는 유사 콤포넌트들을 가질 수 있음이 주목된다. 그러나, 비 FMCW(non-FMCW) LIDAR 콤포넌트가 구비된 경우, 신호 생성기(132A2)는 레이저(132A1)를 구동하여 비연속적이고 및/또는 주파수 변조가 아닌 기법을 사용하여 인코?壅풔? 파형을 생성할 수 있다.
도 2b에서, FMCW LIDAR 모노펄스 콤포넌트(132B)는 광출력이 신호 생성기(132B2)에 의해 제어되는 튜너블 레이저(132B1)를 포함한다. 신호 생성기(132B2)는 레이저 (132B1)가, 광 스펙트럼 내에 있고 전자기 출력의 주파수 변형을 통해 인코딩되는 전자기 출력을 생성하도록 레이저(132B1)를 구동한다. 신호 생성기(132B2)는 신호를 생성하여 파형이 인코딩되도록 한다. 다양한 타입의 인코딩된 파형들이 신호 생성기(132B2) 및 레이저(132B1)을 통해 생성될 수 있다.
도 2b는 선행 단락에서 설명된 것처럼 인코딩되고 방향이 타겟 객체(191) 상의 포인트를 향한 레이저(132B1)로부터 송신된 빔(192B)을 도시한 것이다. 송신된 빔(192B)은 타겟 객체(191) 상의 포인트에서 반사되고, 센싱 이벤트 동안, 제1 반사(193B1)가 제1 수신기(132B3A)에서 수신되고, 제2 반사(193B2)가 제2 수신기(132B3B)에서 수신된다. 송신된 빔(192B)은 인코딩된 파형의 슬라이스를 포함하고, 반사들(193B1 및 193B2) 또한 인코딩된 파형 슬라이스를 포함한다. 제1 및 제2 수신기들(132B3A 및 132B3B)은 코히어런트 수신기들일 수 있고, 센싱 이벤트는 제1 수신기 센싱 이벤트 및 제2 수신기 센싱 이벤트를 포함할 수 있다. 제1 수신기 센싱 이벤트는 제1 반사(193B1)의 제1 검출과 국부 발진기의 코히어런트 믹싱(예를 들어, 송신된 빔(192B)의 스플릿 부분)을 포함할 수 있고, 제2 수신기 센싱 이벤트는 제2 반사(193B2)의 제2 검출과 국부 발진기의 코히어런트 믹싱을 포함할 수 있다. 제1 및 제2 수신기들(132B3A 및 132B3B)은 위치상에서 서로 상대적으로 오프셋되고, 따라서 제1 및 제2 검출들이 변하도록 한다. 이는 프로세서(132B4)가, 제1 수신기 센싱 이벤트 및 제2 수신기 센싱 이벤트의 비교에 기반하여 센싱 이벤트에 대한 적어도 하나의 추가 데이터 채널을 결정할 수 있게 한다. 예를 들어, 프로세서(132B4)는 제1 및 제2 수신기 센싱 이벤트들 사이의 진폭 및/또는 위상차들(예를 들어, 국부 발진기 신호와의 믹싱에서 제1 및 제2 수신기들 각각에 의해 생성된 시변 IF의 차이들)에 기반하여 추가 채널을 결정할 수 있다. 예를 들어, 진폭 및/또는 위상차들은 센싱 이벤트에 기반하여 결정된 하나 이상의 포인트(들) 각각에 대해 각도(특별 각도 또는 각도 범위)를 결정하도록 비교될 수 있고, 포인트(들)이 센싱 이벤트를 초래한 반사의 빔 폭보다 적도록 각 각도가 분해된다. 따라서, 해당 거리에 대한 각도(예를 들어, 수신기(들)에 대한 방위각 및 앙각)가 서브 빔 폭 레벨로 결정될 수 있다. 또한, 상기 포인트는 포인트의 위치가 각도 및 거리에 의해 정의될 때 서브 빔 폭 레벨로 국한될 수 있다. 따라서, 두 수신기들에 대한 반사 스플릿을 통해 신호대 잡음비 (SNR)가 감소하는 동안 (즉, 잡음이 증가) 증가된 각도 정확도를 얻을 수 있다. 이는 (FMCW LIDAR 모노펄스 콤포넌트로부터) 멀리 있고 그리고/또는 크기가 작은 추가 차량의 다수의 포인트(들)에 대한 거리 및 속도 결정에 유리할 수 있다. 추가적으로 또는 대안적으로, 및 상술한 바와 같이, 프로세서(132B4)는 제1 및 제2 검출로부터 비중복 데이터를 사용하여 수퍼 분해능의 LIDAR 데이터를 결정할 수 있다. 예를 들어, 프로세서들(132B4)은 제1 및 제2 검출로부터 저해상도의 LIDAR 데이터로부터 수퍼 분해능의 LIDAR 데이터를 만들 수 있다. 따라서, 두 수신기들에 대한 반사 스플릿을 통해 SNR이 감소되는 동안, 수퍼 분해능의 거리 및 속도가 결정될 수 있다.
일부 구현에서, 프로세서(132B4)는 제1 및 제2 수신기 센싱 이벤트들로부터 생성된 신호를 FMCW LIDAR 모노펄스 콤포넌트(132B)로부터의 포인트들에 대한 FMCW LIDAR 모노펄스 콤포넌트로 제공한다. 일부 다른 구현에서, 프로세서(132B4)는 추가 처리를 수행하여 포인트들의 거리 및 속도를 직접 나타내는 포인트용 FMCW LIDAR 모노펄스 데이터를 생성한다. 예를 들어, 상기 포인트들의 거리 및 속도는, 3D 포인트 클라우드 또는 거리-도플러 영상인 FMCW LIDAR 모노펄스 데이터로 직접 나타낼 수 있다. 레이저(132B1)로부터의 광출력 방향 (예를 들어, 방위각 및/또는 앙각)이 변하는 다수의 센싱 이벤트들에 대한 검출을 통해, FMCW LIDAR 모노펄스 데이터는 환경 내 복수의 포인트들 각각에 대해 FMCW LIDAR 모노펄스 콤포넌트 (132B)에 의해 생성되고, 환경 내 각 포인트에 대해 거리, 속도 및 선택적으로 강도를 나타낸다.
상술한 도 2b의 설명은 FMCW LIDAR 모노펄스 콤포넌트를 설명하지만, FMCW가 아닌 위상 코히어런트 LIDAR 모노펄스 콤포넌트가 동일 및/또는 유사 콤포넌트들을 가질 수 있음이 주목된다. 그러나, 비 FMCW LIDAR 콤포넌트가 구비된 경우, 신호 생성기(132B2)는 레이저(132B1)를 구동하여 비연속적이고 및/또는 주파수 변조가 아닌 기법을 사용하여 인코딩되는 파형을 생성할 수 있다.
도 3을 보면, 추가 차량(300)의 요 축(371), 피치 축(372) 및 롤 축(373)을 따라 예시적인 추가 차량(300)이 도시되어 있다. 추가 차량(300)의 요 축(371)은 추가 차량(300)의 차축에 수직하다. 일부 상황에서, 요 축(371)은 필요하지는 않지만, 추가 차량(300)의 차축과 교차할 수 있고- 요 축(371)은 추가 차량(300)의 요 이동의 원인 및/또는 규모에 따라 일정 상황에서 시프트할 수도 있다. 요 축(371)에 대한 추가 차량(300)의 회전은, 추가 차량(300)의 선회(turning), 추가 차량(300)에 의한 추적 손실(예를 들어, 수막현상(hydroplaning)), 다른 객체에 대한 추가 차량(300)의 충격과 같은 다양한 요인들에 의한 것일 수 있다. 추가 차량(300)의 요 이동은 요 축(371)에 대한 추가 차량(300)의 회전이고, 추가 차량(300)의 요 레이트는 요 축(371)에 대한 회전의 각속도이다. 요 레이트는 종종 초당 라디안(radian) 또는 초당 도(degree)로 측정된다.
추가 차량(300)의 롤 축(373)은 요 축(371)과 수직하고, 추가 차량(300)을 따라 전후(front-to-back) 방식으로 확장된다. 추가 차량(300)이 움직이고 있는 경우, 추가 차량(300)은 롤 축(373)을 따라 절대 객체 속도를 가질 것이다. 그러한 절대 객체 속도는 또한 여기에 기술된 구현들에서 자율주행 차량의 제어 조정에 고려될 수 있다. 그러나, 절대 객체 속도는 추가 차량(300)의 요 레이트와 별개인 것으로 알려져 있다. 예를 들어, 추가 차량(300)은 이동하는 동안 비교적 높은 절대 객체 속도를 가질 수 있는 반면, (예를 들어, 비교적 직선 경로에서 이동하고 추적 손실이 없다면) 0 또는 최소 요 레이트를 갖는다. 추가 차량(300)의 피치 축은 요 축(371) 및 롤 축(373)과 수직하고, 추가 차량(300)을 따라 나란한 (side-to-side) 방식으로 확장된다.
도 4를 보면, 추가 차량의 결정된 요 파라미터에 기반하여 차량의 자율주행 제어를 조정하는 구현들을 도시한 블록도가 제공된다. 도 4는 차량 제어 시스템(120)의 서브시스템들(152, 154, 156, 및 158) 및 이들이 어떻게 추가 차량의 요 파라미터 결정에서 상호작용하는지 및/또는 결정된 요 파라미터에 기반하여 자율주행 제어를 조정하는지에 대한 예들을 도시한다.
위치추적 서브시스템(152)은 일반적으로 환경 내에서 차량의 위치추적을 담당한다. 위치추적 서브시스템(152)은, 예를 들어, 주위 환경 내 자율주행 차량(100)의 포즈(일반적으로 위치, 일부 예에서는 방향)를 결정할 수 있다. 위치추적 서브시스템(152)은 FMCW LIDAR 콤포넌트(132)로부터의 FMCW LIDAR 데이터(492) 및/또는 카메라(140), RADAR 콤포넌트(134), LIDAR 콤포넌트(136) 및/또는 도 1의 다른 센서들(130)(예를 들어, IMU(142, 인코더들(144))과 같은 다른 센서(들)로부터의 데이터를 사용하여 자율주행 차량(100)의 포즈를 결정할 수 있다. 위치추적 서브시스템(152)에 의해 결정된 포즈는, 예를 들어, 차량 제어 시스템(120)에 의해 사용된 맵에 대한 것일 수 있다. 포즈는 차량이 전체 환경을 이동할 때 위치추적 서브시스템(152)에 의해 갱신될 수 있고, 포즈는 서브시스템(들)에 의해 사용되도록 하나 이상의 다른 서브시스템들(154, 156, 및/또는 158)에게 제공될 수 있다(또는 접근 가능하게 될 수 있다).
인식 서브시스템(154)은 주로 환경 내 보행자들 및 추가 차량들과 같은 동적 객체들을 인지하고, FMCW LIDAR 데이터(492) 및 선택적으로 다른 센서(들)(491)(즉, 카메라(140), RADAR 콤포넌트(134))로부터의 데이터를 사용하여 동적 객체들을 식별 및 추적할 수 있다. 추가 차량(들)의 추적에서, 인식 서브시스템(154)은, 복수의 반복 각각에서, 절대 객체 속도 및/또는 요 파라미터(들)(예를 들어, 요 레이트) 뿐만 아니라 포즈(위치 및/또는 장소)와 같은 추가 차량(들)의 다양한 특성들을 결정할 수 있다.
인식 서브시스템(154)은 FMCW LIDAR 데이터(492) 및/또는 다른 센서(들)(491)의 데이터를 사용하여 다양한 객체들을 검출(예를 들어, 객체들의 포즈를 결정)하고, 선택적으로 검출된 객체들을 분류하는데 사용하는 객체 검출 및 분류 모듈(154A) 을 포함할 수 있다. 예를 들어, 객체 검출 및 분류 모듈(154A)은 차량(100)의 환경 내 추가 차량들, 보행자들, 및/또는 다른 동적 객체를 검출 및 분류하는데 있어 FMCW LIDAR 데이터(492) 및/또는 다른 센서(들)(491)의 데이터를 처리할 수 있다. 다양한 구현에서, 객체 검출 및 분류 모듈(154A)은 다양한 객체들의 검출 및/또는 분류에 하나 이상의 학습된 기계 학습 모델들을 사용할 수 있다. 예를 들어, 학습된 기계학습 모델(들)은 FMCW LIDAR 데이터(및/또는 다른 데이터) 처리에 사용하도록 학습된 신경회로망 모델을 포함하여 데이터에 나타난 객체(들)의 포즈 및 선택적으로 그 객체(들)의 대응 분류(들)의 표시를 출력으로 생성한다. 예를 들어, 그 출력은 데이터에서 검출된 하나 이상의 객체들 각각에 대한 경계 상자들(bounding boxes), 경계 구들(bounding spheres), 또는 다른 경계 영역들을 선택적으로 각 경계 영역에 대한 대응 분류와 함께 나타낼 수 있다.
특별한 예로, FMCW LIDAR 데이터(492)는 (3D 포인트 클라우드 내 3D 좌표를 통한) 대응 거리, 대응 속도 및 선택적으로 대응 강도를 정의하는 3D 포인트 클라우드를 포함할 수 있다. 객체 검출 및 분류 모듈(154A)은 학습된 기계 학습 모델을 사용하여 FMCW LIDAR 데이터(492)를 처리하여 검출된 객체를 포함하는 3D 포인트 클라우드의 일부에 각각 대응하는 하나 이상의 경계 상자들을 나타내는 출력을 생성한다. 일부 구현에서, 그 출력은 또한, 각 경계 상자별로, 검출된 객체가 속하는 분류(들)을 나타낼 수 있다. 예를 들어, 그 출력은, 각 경계 상자별로, 검출된 객체가 추가 차량, 보행, 동물 등일 각 확률을 나타낼 수 있다. 일부 다른 구현에서, 학습된 기계 학습 모델은 추가 차량들만을 검출하도록 훈련될 수 있고, 경계 형상(들)에 대한 분류(들)의 명백한 표시가 없이 경계 상자(들) 및/또는 경계 형상(들)을 나타내는 출력 생성에 사용될 수 있다.
일부 구현에서, 다양한 객체들에 대한 검출 및/또는 분류에서, 객체 검출 및 분류 모듈(154A)은 추가적으로 또는 대안적으로 기계 학습 모델(들)을 사용하지 않고 FMCW LIDAR 데이터(492) 및/또는 다른 센서(들)의 데이터를 처리할 수 있다. 예를 들어, 최근접 이웃 및/또는 다른 클러스터링 기법들이 추가 차량(들) 및/또는 다른 객체(들)에 대응할 것 같은 데이터 부분들을 결정하는데 사용될 수 있다.
사용된 기법(들)과 무관하게, 객체 검출 및 분류 모듈(154A)은 추가 차량(493)의 포즈에 대한 표시를 인식 서브시스템(154)의 요 모듈(154B)에 제공할 수 있다. 그 포즈는 차량 제어 시스템(120)에 의해 사용된 맵에 관련된 것이거나 및/또는 FMCW LIDAR 데이터(492)에 관련된 것일 수 있다. 요 모듈(154B)은 추가 차량(493)의 제공된 포즈를 사용하여 그 포즈에 대응하는 FMCW LIDAR 데이터(492)의 서브그룹을 결정한다. 또한, 요 모듈(154B)는 FMCW LIDAR 데이터(492)의 서브그룹에 기반하여 추가 차량(494)에 대한 하나 이상의 요 파라미터들을 결정한다.
요 모듈(154B)은 FMCW LIDAR 데이터(492)의 서브그룹의 전부 또는 일부들에 의해 나타내진 크기들 및 선택적으로 방향들에 기반하여 추가 차량(494)에 대한 요 파라미터(들)을 결정할 수 있다. 예를 들어, 요 파라미터 모듈(154B)은 적어도 임계 속도 경사도(gradient)가 FMCW LIDAR 데이터(492)의 서브그룹의 적어도 일부로 나타내진다는 판단에 기반하여 요 이동(예를 들어, 적어도 요 이동의 임계 각도)을 하고 있는지 여부를 나타내는 요 파라미터를 결정할 수 있다. 예를 들어, FMCW LIDAR 데이터(492)의 서브그룹이 4 m/s의 속도 경사도 (예를 들어, +2 m/s 내지 -2 m/s 범위의 속도들 또는 +9 m/s 내지 +5 m/s 범위의 속도들)을 갖는다면, 요 파라미터 모듈(154B)은 4 m/s 속도 경사도에 기반하여 요 운동을 하고 있다고 판단할 수 있다. 한편, FMCW LIDAR 데이터(492)의 서브그룹이 0.1 m/s 미만의 속도 경사도를 갖는다면, 요 파라미터 모듈(154B)은 낮은 속도 경사도에 기반하여 차량이 요 운동을 하지 않거나 거의 하지 않는다고 판단할 수 있다.
또한, 예를 들어, 요 파라미터 모듈(154B)은 FMCW LIDAR 데이터(492)의 서브그룹의 다수 세트들로 나타내진 속도들에 기반하여 추가 차량에 대한 요 파라미터를 결정할 수 있다. 예를 들어, 요 파라미터 모듈(154B)은 FMCW LIDAR 데이터(492)의 제1 세트의 속도 및 공간적으로 오프셋된 FMCW LIDAR 데이터(492)의 제2 세트의 속도 비교에 기반하여 속도 차를 결정할 수 있다. 요 파라미터 모듈(154B)은 속도 차를 요 파라미터로 사용할 수 있거나 속도 차에 기반하여 요 레이트를 결정할 수 있다. 일부 구현들에서, 요 파라미터 모듈(154B)은 속도 차에 기반하고 제1 세트 및 제2 세트 사이의 결정된 거리에 기반하여 요 레이트를 결정할 수 있다. 그러한 일부 구현들에서, 요 파라미터 모듈(154B)은 (선택적으로 상수가 곱해진) 거리로 속도 차를 나눈 것에 기반하여 요 레이트를 결정하여 요 레이트를 초당 라디안으로 결정할 수 있다. 그 구현의 일부 다른 버전에서, 요 파라미터 모듈(154B)은 요 레이트의 범위를 결정할 수 있다. 예를 들어, 하계(lower bound) 요 레이트는 속도 차를 거리로 나눈 것에 기반할 수 있고, 상계(upper bound) 요 레이트는 속도 차를: 0.4 및 0.9 사이의 값, 0.4 및 0.75 사이의 값, 또는 0.4 및 0.7 사이의 값과 같이 0과 1사이의 상수가 곱해진 거리로 나눈 것에 기반할 수 있다. 예를 들어, 속도 차가 1 m/s이고 거리가 1.5 m라면, 하계 요 레이트는 초당 0.67 라디안((1 m/s)/(1.5 m))인 반면, 속도 차가 1 m/s이고 거리가 좀 더 큰 4 m라면, 하계 요 레이트는 초당 0.25 라디안일 수 있다. 상수 값은, 예를 들어, 자차량에 대한 추가 차량 각도의 코사인에 기반할 수 있다. 예를 들어, FMCW LIDAR 수신기(들)에 대한 추가 차량의 각도는, 추가 차량에 대응하고, FMCW LIDAR 데이터로 나타내진 하나 이상의 각도들에 기반할 수 있다.
특별한 예로, 제1 세트는 단일 데이터 포인트일 수 있고, 제1 세트의 속도는 단일 데이터 포인트에 대한 속도일 수 있으며, 제2 세트는 별개의 단일 데이터 포인트일 수 있고, 제2 세트의 속도는 별개의 단일 데이터 포인트에 대한 속도일 수 있다. 요 파라미터 모듈(154B)은 제1 및 제2 세트의 속도 크기의 차 (속도 차)에 기반하여 그리고 제1 및 제2 세트 사이의 결정된 거리에 기반하여 요 레이트를 결정할 수 있다. 요 파라미터 모듈(154B)은 또한 (속도 차가 0이 아닌 경우) 제1 및 제2 세트의 속도 크기들의 비교에 기반하여 요 이동의 방향 (그리고 선택적으로 극단적인 요 이동(예를 들어 추가 차량의 제어 불능(loss of control)) 의 경우 방향들)을 결정할 수 있다.
다른 특별한 예로, 요 파라미터 모듈(154B)은 FMCW LIDAR 데이터의 제1 및 제2 세트의 결정에 기반하여 추가 차량에 대한 요 레이트를 결정할 수 있고, 이때 제1 및 제2 세트 각각은 다수의 대응 데이터 포인트들을 포함한다. 또한, 요 파라미터 모듈(154B)은 평균 속도, 또는 제1 세트의 데이터 포인트들의 속도들의 다른 통계 측정치(예를 들어, 평균(mean)), 제2 세트의 데이터 포인트들의 속도들의 통계 측정치를 결정할 수 있고, 제1 세트에 대한 속도 통계 측정치들 및 제2 세트에 대한 속도 통계 측정치들의 비교에 기반한 요 레이트를 결정할 수 있다. 요 레이트 측정을 위한 이들 및 다른 기법들에 대한 추가 설명이 여기에서 제공된다. 예를 들어, 일부 기법들에 대한 추가 설명이 도 5 내지 8의 설명과 연계되어 이하에서 제공된다.
일부 구현들에서, 요 파라미터 모듈(154B)은 추가적으로 또는 대안적으로 FMCW LIDAR 데이터(492)의 서브그룹의 적어도 일부로 나타내진 속도들에 기반하여, 그리고 추가 차량에 대한 저장된 모델에 기반하여 추가 차량에 대한 요 레이트를 결정할 수 있다. 추가 차량에 대한 저장된 모델은 추가 차량의 기하 특징들 (geometric features)을 설명한다. 저장된 모델은, 예를 들어, 추가 차량의 3차원(3D) 모델일 수 있다. 요 파라미터 모듈(154B)은 FMCW LIDAR 데이터(492)의 서브그룹의 적어도 일부로 나타내진 속도들을 저장된 모델의 대응 위치들로 매핑하고, 그 속도들과 저장된 모델의 그 위치들을 사용하여 추가 차량의 요 레이트를 결정한다. 예를 들어, 요 파라미터 모듈(154B)은 다수의 속도들을 저장된 모델에 적용하여, 적용된 속도들을 갖는 저장된 모델의 요 축에 대한 요 레이트를 결정할 수 있다. 요 파라미터 모듈(154B)은, 예를 들어, 적용된 속도들을 갖는 저장된 모델의 이동을 모의실험하는(simulate) 시뮬레이터를 사용하여 이를 결정할 수 있다.
추가 차량의 저장된 모델이 사용된 일부 구현들에서, 요 파라미터 모듈(154B)은 선택적으로 모든 추가 차량들에 대한 포괄적인(generic) 저장된 모델을 사용할 수 있다. 일부 다른 구현들에서, 요 파라미터 모듈(154B)은 선택된 저장된 모델이 추가 차량을 캡쳐한 센서 데이터에 가장 가깝게 합치된다는 판단에 기반하여, 주어진 추가 차량에 대한 저장된 모델을 복수의 후보 저장된 모델들로부터 선택할 수 있다. 예를 들어, 요 파라미터 모듈(154B)은 일 서브그룹의 FMCW LIDAR 데이터가 어떤 다른 저장된 모델들보다 선택된 모델에 가장 가깝게 합치된다는 판단에 기반하여 저장된 모델을 선택할 수 있다.
일부 구현들에서, 요 파라미터 모듈(154B)은 추가적으로 또는 대안적으로 학습된(trained) 요 기계 학습 (ML) 모델(154B1)을 사용하여 추가 차량에 대한 요 레이트를 결정할 수 있다. 예를 들어, 요 파라미터 모듈(154B)은 학습된 요 ML 모델(154B1)을 사용하여 FMCW LIDAR 데이터(492)의 모두 또는 일부분들을 처리하여 요 레이트를 나타내는 출력을 생성할 수 있다. 예를 들어, 추가 차량에 대응하는 것으로 판단된 FMCW LIDAR 데이터(492)의 적어도 하나의 서브그룹은 학습된 요 ML 모델(154B1)을 사용하여 처리되어 요 레이트를 나타내는 출력을 생성할 수 있다. 학습된 요 ML 모델(154B1)은, 예를 들어, 도 12의 방법(1200)에 대해 이하에서 설명되는 것처럼 훈련될 수 있다.
인식 서브시스템(154)은 추가 차량(494)에 대한 요 파라미터(들)을 계획 서브시스템(156)에 제공한다 (또는 계획 서브시스템(156)이 사용할 수 있게 한다). 계획 서브시스템(156)은 주로 일부 시간 프레임(예를 들어, 수 초) 동안 차량의 궤적을 계획하고, 위치추적 서브시스템(152) 및 인식 서브시스템(154)으로부터 입력을 수신할 수 있다. 계획 서브시스템(156)은 추가 차량(494)의 제공된 요 파라미터(들)에 기반하여 차량의 궤적을 조정할 수 있다. 예를 들어, 요 파라미터(들)(494)가 추가 차량이 제어 불능임을 나타내는 임계치를 초과한 추가 차량에 대한 속도 차 및/또는 요 레이트를 나타낸다면, 계획 서브시스템(154)은 추가 차량을 회피하도록 차량의 궤적을 조정할 수 있다. 또한, 예를 들어, 요 파라미터(들)(494)가 요 레이트 및 요 방향을 나타낸다면, 계획 서브시스템(154)은 추가 차량에 대한 하나 이상의 후보 궤적들 결정에 추가 차량(494)에 대한 요 레이트 및 요 방향을 사용할 수 있고, 추가 차량이 후보 궤적들 중 하나를 횡단한다면(traverse) 차량은 접촉 및/또는 추가 차량의 임계 거리 이내로 들어가지 않도록 차량의 궤적을 조절할 수 있다. 추가 차량에 대해 결정된 요 파라미터(들)에 기반하여 차량의 제어를 조정하는 이들 및 다른 기법들에 대한 추가 설명이 여기에서 제공된다. 예를 들어, 일부 기법들에 대한 추가 설명이 도 9의 설명과 연계되어 이하에서 제공된다.
그런 다음, 결정된 요 파라미터(들)를 고려하여 계획 서브시스템(156)에 의해 생성된 궤적 및/또는 다른 데이터가 제어 서브시스템(158)으로 전달되어 원하는 궤적을, 제어 시스템(110) 내 다양한 차량 제어기들(112, 114 및/또는 116)의 제어에 적합한 궤적 명령들(195)로 변환하고, 위치추적 데이터도 제어 서브시스템(158)으로 제공되어 제어 서브시스템(158)이 적절한 명령을 내릴 수 있게 하여 차량의 위치가 시간 프레임에 대해 변화하면서 원하는 궤적을 구현하게 한다.
도 5 내지 8을 보면, 도면들은 각각 차량의 예시적인 환경을 도시하고, 그 환경은 추가 차량(300)을 포함한다. 또한 도 5 내지 8의 각각은 환경 내 추가 차량(300)에 대응할 수 있는 일부 FMCW LIDAR 데이터 포인터들의 예들을 도시한다. 예를 들어 도 5는 예시적인 FMCW LIDAR 데이터 포인트들(582A-B, 583A-B, 584A-C, 및 585A-C)을 도시한다. 데이터 포인트들은, 예를 들어, 3D 포인트 클라우드인 FMCW LIDAR 데이터의 인스턴스(instance)로부터 나온 것일 수 있고, 여기서 3D 포인트 클라우드의 포인트들 각각은 (3D 포인트 클라우드 내 위치를 통해) 대응 거리를 나타낼 수 있고, 대응 비율/속도, 및 선택적으로 대응 강도값을 포함할 수 있다. 추가 FMCW LIDAR 데이터 포인트들은, 추가 환경 객체들에 대응하는 추가 포인트들뿐만 아니라 차량(300)에 대응하는 추가 포인트들을 포함하는 FMCW LIDAR 데이터를 구비하는 것이 이해된다. 그러나 간단하게 일부 FMCW LIDAR 데이터 포인트들만이 단순성을 위해 도 5 내지 8의 각각에서 설명된다. 또한, 차량(300)은 (대응 FMCW LIDAR 데이터 포인트들을 통해 시각적으로 확인될 수 있더라도) 도 5 내지 8에 나타나 있지만, FMCW LIDAR 데이터에 제공되지 않을 것임이 이해된다. 그러나 차량(300)은 참조 목적으로 도 5 내 8 각각에 도시되어 있다. 또한, 도 5 내지 8은 FMCW LIDAR 데이터 포인트들에 대해 설명되었지만, 추가 또는 대안적인 FMCW LIDAR 데이터 타입들이, 여기에서도 설명된 데이터의 그런 타입들처럼, 추가 차량의 요 파라미터(들)의 결정에 사용될 수 있음이 이해된다.
도 5에서, 경계 상자(581)가 추가 차량(300) 주위에 도시되어 있다. 경계 상자(581)는 추가 차량(300)에 대응할 수 있는 FMCW LIDAR 데이터의 서브그룹을 나타낸다. 경계 상자(581)는, 예를 들어, FMCW LIDAR 데이터 및/또는 다른 데이터의 처리에 기반하여 도 4의 객체 검출 및 분류 모듈(154A)에 의해 결정되어 차량 및 그것의 포즈를 결정할 수 있다. 예를 들어, 객체 검출 및 분류 모듈(154A)은 기계학습 모델을 사용하여 FMCW LIDAR 데이터를 처리하여 경계 상자(581)로 둘러싸인 FMCW LIDAR 데이터 포인트들이 차량에 대응함을 나타내는 출력을 생성한다. 경계 상자(581) 안에 도시된 것은 예시적인 FMCW LIDAR 데이터 포인트들이다. 즉, 데이터 포인트들(582A-B)의 제1 세트(582), 데이터 포인트들(583A-B)의 제2 세트(583), 데이터 포인트들(584A-C)의 제3 세트(584), 및 데이터 포인트들(585A-C)의 제4 세트를 각각 나타낸다.
도 4의 요 파라미터 모듈(154B)은 제1 세트(582), 제2 세트(583), 제3 세트(584) 및/또는 제4 세트(585) 사이의 비교(들)에 기반하여 추가 차량(300)의 요 파라미터를 결정할 수 있다. 예를 들어, 요 파라미터 모듈(154B)은 데이터 포인트들(582A 및 582B)로 나타내진 속도들에 기반하여 제1 세트(582)에 대한 속도의 통계 측정치를 결정할 수 있다. 예를 들어, 데이터 포인트(582A)가 +3.1 m/s의 속도를 나타내고, 데이터 포인트(582B)가 +3.3 m/s의 속도를 나타내면, 요 파라미터 모듈(154B)은 제1 세트(582)에 대한 +3.2 m/s의 평균 속도를 결정할 수 있다. 또한, 요 파라미터 모듈(154B)은 데이터 포인트들(583A 및 583B)로 나타내진 속도들에 기반하여 제2 세트(583)에 대한 속도의 통계 측정치를 결정할 수 있다. 예를 들어, 데이터 포인트(583A)가 +3.8 m/s의 속도를 나타내고, 데이터 포인트(583B)가 +4.0 m/s의 속도를 나타내면, 요 파라미터 모듈(154B)은 제2 세트(583)에 대한 +3.9 m/s의 평균 속도를 결정할 수 있다. 그런 다음, 요 파라미터 모듈(154B)은 제1 세트(582) 및 제2 세트(583) 사이의 속도 차를 결정할 수 있다. 예를 들어, 제1 세트(582) 및 제2 세트(583) 가 각각 +3.1 m/s 및 +3.9 m/s의 평균 속도를 갖는 경우, 속도차는 0.8 m/s일 수 있다. 일부 구현들에서, 0.8 m/s 속도차는 요 파라미터로 사용될 수 있다. 또한, 요 파라미터 모듈(154B)은 제1 세트(582) 및 제2 세트(583)의 속도 크기들의 비교에 기반하여 요 이동의 방향을 결정할 수 있다. 예를 들어, 제1 세트(582) 및 제2 세트(583) 가 각각 +3.1 m/s 및 +3.9 m/s의 평균 속도를 갖는 경우, 요 움직임의 방향(요 방향)은 도 5의 화살표(371A)로 나타내진 방향일 수 있다.
일부 구현에서, 요 파라미터는 추가적으로 또는 대안적으로 0.8 m/s의 속도 차에 기반하여 결정된 요 레이트(들)를 포함할 수 있다. 예를 들어, 적어도 상계 및 하계 요 레이트는 0.8 m/s의 속도 차 및 제1 세트(582)와 제2 세트(583) 사이의 공간 오프셋에 기반한 거리(588)에 기반하여 결정될 수 있다. 거리(588)는, 예를 들어, 포인트들(582A 및 582B)의 평균 거리 및 포인트들(583A 및 583B)의 평균 거리 사이의 3D 거리일 수 있다. 일례로, 거리(588)가 4.5 미터이고, 속도차가 0.8 m/s라면, 하계 요 레이트는 초당 0.18 라디안((0.8 m/s)/(4.5 m))일 수 있고, 상계 요 레이트는 초당 0.36 라디안((0.8 m/s)/(4.5 m)(0.5))일 수 있다.
요 파라미터 모듈(154B)은 추가적으로 또는 대안적으로 제3 세트(584)에 대한 속도의 통계 측정치, 제4 세트(585)에 대한 속도에 대한 통계 측정치를 결정하고, 제3 세트(584) 및 제4 세트(585) 사이의 속도 차를 결정하고, 그리고 제3 세트(584) 및 제4 세트(585) 사이의 속도 차에 기반한 요 파라미터를 결정할 수 있다. 예를 들어, 요 파라미터는 제3 세트(584) 및 제4 세트(585) 사이의 속도 차에만 기반할 수 있거나, 그 속도차 및 제1 세트(582) 및 제2 세트(583) 사이의 속도 차의 결합(예를 들어, 평균)에 기반할 수 있다. 또한, 추가 세트들 사이의 추가 속도 차들(도시되지 않은 세트들 및/또는 도시된 세트들의 다른 결합들)이 결정되어 요 파라미터(들)의 결정에 사용될 수 있다.
도 6에서, 경계 상자(681)가 추가 차량(300) 주위에 도시되어 있다. 경계 상자(681)는 추가 차량(300)에 대응할 수 있는 FMCW LIDAR 데이터의 서브그룹을 나타낸다. 경계 상자(681)는, 예를 들어, FMCW LIDAR 데이터 및/또는 다른 데이터의 처리에 기반하여 도 4의 객체 검출 및 분류 모듈(154A)에 의해 결정되어 차량 및 차량의 포즈를 결정할 수 있다. 경계 상자(681) 안에 도시된 것은 예시적인 FMCW LIDAR 데이터 포인트들(682A-H)이다.
도 4의 요 파라미터 모듈(154B)은 둘 이상의 FMCW LIDAR 데이터 포인트들 (682A-H) 사이의 비교(들)에 기반하여 추가 차량(300)의 요 파라미터들 결정할 수 있다. 예를 들어, 요 파라미터 모듈(154B)은: 데이터 포인트들(682E 및 682H)로 나타내진 속도들 사이의 제1 속도차에 기반한 제1 요 레이트(또는 제1 하계 및 상계 요 레이트들), 및 데이터 포인트들(682E 및 682H) 사이의 결정된 거리; 데이터 포인트들(682F 및 682H)로 나타내진 속도들 사이의 제2 속도차에 기반한 제2 요 레이트(또는 제2 하계 및 상계 요 레이트들), 및 데이터 포인트들(682F 및 682H) 사이의 결정된 거리; 데이터 포인트들(682A 및 682D)로 나타내진 속도들 사이의 제3 속도차에 기반한 제3 요 레이트(또는 제3 하계 및 상계 요 레이트들), 및 데이터 포인트들(682A 및 682D) 사이의 결정된 거리 등을 결정할 수 있다. 이 예에 계속하여, 다음으로 요 파라미터 모듈(154B)은 다수의 요 레이트들의 결합 (또는 다수의 하계 요 레이트들의 결합 및 다수의 상계 요 레이트들의 결합)에 기반하여 전체 요 레이트(또는 전체 하계 요 레이트 및 전체 상계 요 레이트)를 결정할 수 있다. 또한, 요 파라미터 모듈(154B)은 하나 이상의 데이터 포인트 쌍들의 크기들의 비교에 기반하여 요 이동의 방향도 결정할 수 있다.
도 7에서, 추가 차량(300)은 도 5 및 6에 도시된 것과 다른 (FMCW LIDAR 콤포넌트에 관련된) 포즈로 도시되어 있다. 즉, 도 7의 추가 차량(300)은 FMCW LIDAR 콤포넌트와 수직이다. 경계 상자(781)가 도 7의 추가 차량(300) 주위에 도시되어 추가 차량(300)에 대응할 수 있는 FMCW LIDAR 데이터의 서브그룹을 나타낸다. 경계 상자(781) 안에 도시된 것은 예시적인 FMCW LIDAR 데이터 포인트들 (782A 및 782B)이다.
추가 차량(300)은 도 7에서 수직하기 때문에, 데이터 포인트들(782A 및 782B)은 추가 차량(300)이 요 이동을 수행하고 있지 않다면 0 (또는 거의 0)의 속도를 나타낼 것이다. 한편, 추가 차량(300)이 요 이동을 수행하고 있다면, 데이터 포인트들(782A 및 782B)은 0이 아닌 속도를 나타낼 것이다. 도 4의 요 파라미터 모듈(154B)은 데이터 포인트들(782A 및 782B) 사이의 비교에 기반하여 추가 차량(300)의 요 파라미터를 결정할 수 있다. 예를 들어, 요 파라미터 모듈(154B)은 데이터 포인트들(782A 및 782B)로 나타내진 속도들 사이의 제1 속도차가 임계치를 만족한다는 판단에 기반하여 추가 차량(300)이 요 이동을 수행하고 있는지 여부를 판단할 수 있다.
도 8에서, 경계 상자(881)는 추가 차량(300) 주변에 도시되어 있고, 경계 상자(881)는 추가 차량(300)에 대응하는 데이터 두 FMCW LIDAR 포인트들(882A 및 882B)을 나타낸다. 도 8에서, 추가 차량(300)은 FMCW LIDAR 콤포넌트로부터 멀리 떨어져 있다. 도 8에서 FMCW LIDAR 데이터 포인트들(882A 및 882B)은 FMCW LIDAR 모노펄스 콤포넌트에 의해 생성된 FMCW LIDAR 모노펄스 데이터 포인트들일 수 있다. 도 8의 예는 FMCW LIDAR 모노펄스 데이터 포인트들의 특별히 유익한 일례이다. 즉, FMCW LIDAR 모노펄스 콤포넌트의 증가된 각도 정확도로 인해 두 FMCW LIDAR 데이터 포인트들(882A 및 882B)이 결정될 수 있었던 반면, FMCW LIDAR (비 모노펄스(non-monopulse) 콤포넌트)로는 하나만이 결정되거나 또는 하나도 결정되지 않을 수 있다. 도 8은 일례이지만, 도 5 내지 7의 FMCW LIDAR 데이터 포인트들도 FMCW LIDAR 모노펄스 데이터 포인트들이 될 수 있고, 예를 들어, 여기에서 개시된 구현들에 따라 요 레이트 결정에 사용될 수 있는 추가 차량(300)에 대한 FMCW LIDAR 데이터의 각도 정확도를 증가시키기 때문에 유리할 수 있다. 그렇게 증가된 FMCW LIDAR 데이터의 각도 정확도는 일부 구현에서 보다 정확한 요 레이트 결정을 가져올 수 있다.
도 4의 요 파라미터 모듈(154B)은 FMCW LIDAR 데이터 포인트들(882A 및 882B) 사이의 비교에 기반하여 추가 차량(300)의 요 파라미터를 결정할 수 있다. 예를 들어, 요 파라미터 모듈(154B)은 데이터 포인트들(882A 및 882B)로 나타낸 속도들 사이의 속도 차 및 데이터 포인트들(882A 및 882B) 사이의 결정된 거리에 기반하여 요 레이트를 결정할 수 있다. 또한, 요 파라미터 모듈(154B)은 데이터 포인트들(882A 및 882B)에 대한 속도들의 크기 비교에 기반하여 요 이동의 방향도 결정할 수 있다.
여기에서 기술된 기법들에 따라 결정된 요 파라미터들은 자차량 제어 조정에 사용될 수 있다. 그러한 조정의 일례가 도 9에 대해 설명되어 있고, 이 도면은 어떻게 추가 차량(300)의 후보 궤적이 결정된 요 파라미터에 기반하여 결정될 수 있는지, 그리고 어떻게 차량(100)의 자율주행 제어가 추가 차량(300)의 후보 궤적에 기반하여 조정될 수 있는지를 도시한다.
도 9에서, 차량 (100)은 차량(100)의 FMCW LIDAR 콤포넌트로부터 FMCW LIDAR 데이터를 사용하여 주어진 인스턴스에서 추가 차량(300)의 요 레이트를 결정할 수 있다. 후보 궤적(991)은 주어진 요 레이트가 0 또는 0에 가깝다면 결정될 수 있는 후보 궤적을 도시한다. 후보 궤적(991)은 (결정된 요 레이트가 0 또는 0에 가깝기 때문에) 요 레이트에 기반한 변경 없이 추가 차량(300)의 결정된 객체 속도 방향 및 크기에 기반하여 결정될 수 있다.
한편, 후보 궤적(992)은 결정된 요 레이트가 도 9의 조감도와 관련하여 시계방향인 요 방향으로 차량의 요 이동을 나타낸다면 결정될 수 있는 후보 궤적을 도시한다. 후보 궤적(992)은 결정된 절대 속도 방향 및 크기, 그리고 결정된 요 레이트의 결정된 크기 및 방향의 함수로 결정될 수 있다. 다수의 센서 데이터 (예를 들어, FMCW LIDAR 및/또는 다른 데이터) 인스턴스들에 대한 추가 차량의 추적과 같은 절대 객체 속도 결정에 다양한 기법들이 사용될 수 있다. 단 하나의 후보 궤적(992)이 도 9에 도시되어 있지만, 일부 구현에서 다수의 후보 궤적들이 결정될 수 있다. 예를 들어, 하계 및 상계 요 레이트들이 여기에서 설명된 대로 결정되는 경우, 제1 후보 궤적은 하계 요 레이트에 기반하여 결정될 수 있고, 제2 후보 궤적은 상계 요 레이트에 기반하여 결정될 수 있다. 제1 및 제2 후보 궤적들 사이에 있는 복수의 궤적들 (및 선택적으로 제1 및 제2 후보 궤적들 자체)는 추가 차량(300)의 후보 궤적들 (예를 들어, 후보 궤적들의 지역)로 고려될 수 있다.
도 9에서 알 수 있는 것처럼, 차량(300)에 대해 후보 궤적(991)이 결정된다면, (추가 차량(300)이 후보 궤적(991)을 횡단한다면, 추가 차량(300)이 차량(100)의 차선을 지나게 될 때) 차량(100)의 제어를 조정하여 추가 차량(300)을 회피할 필요가 있을 수 있다. 한편, 후보 궤적(992)이 대신 결정된다면, 차량의 회피 적응 제어는 필요치 않을 수 있다.
도 9는 주어진 인스턴스에 대해 결정된 요 레이트에 기반하여, 주어진 인스턴스에 대해 결정될 수 있는 후보 궤적들을 도시한 것이다. 요 레이트들 및 후보 궤적들은 복수의 추가 인스턴스들 각각에서 (예를 들어, 갱신된 요 레이트들 및 후보 궤적들이 각 제어 사이클(예를 들어, 60 Hz 및/또는 다른 속도))에서 계속 생성될 것이고, 그에 따라 후보 궤적들은 요 레이트들의 변화를 고려하여 계속 갱신될 수 있다. 또한, 주어진 인스턴스에서 후보 궤적 생성시, 하나 이상의 선행 인스턴스들로부터 하나 이상이 후보 궤적들 및/또는 하나 이상의 요 레이트들이 주어진 인스턴스에서 후보 궤적을 매끄럽게 하고, 예를 들어, 잘못 결정된 요 레이트에 기반한 (예를 들어, 잡음이 있는 데이터에 기반한) 불필요한 회피 조절 및/또는 간단하고 간헐적인 요 레이트 변경을 방지하도록 고려될 수 있다.
도 10를 보면, 요 파라미터를 결정하고, 결정된 요 파라미터에 기반하여 자율주행 차량을 제어하는 예시적인 방법(1000)을 도시한 흐름도가 제공된다. 편의상, 흐름도의 동작들은 그 동작들을 수행하는 시스템을 참조하여 기술된다. 이 시스템은 도 1의 자율주행 차량(100)의 하나 이상의 프로세서들과 같은 다양한 콤포넌트들을 포함할 수 있다. 또한, 방법(1000)의 동작들은 특별 순서에 따라 도시되지만, 그에 제한되지 않는다. 하나 이상의 동작들이 기록, 생략, 또는 추가될 수 있다.
1002 블록에서, 시스템은 차량의 FMCW LIDAR 콤포넌트로부터 FMCW LIDAR 데이터를 수신한다. 1002 블록의 반복시 수신된 FMCW LIDAR 데이터는 FMCW LIDAR 콤포넌트에 의해 생성된 데이터의 처리되지 않은 (방법(1000)을 사용하여 처리되지 않은) 가장 최근의 인스턴스일 수 있다. 데이터 인스턴스는 센싱 사이클 동안 FMCW LIDAR 콤포넌트에 의해 생성될 수 있고, 시스템에 의해, 예를 들어, 스트림의 일부로, 데이터 패킷(들)로, 또는 공유 메모리 접속을 통해 수신될 수 있다.
1004 블록에서, 시스템은 FMCW LIDAR 데이터의 서브그룹이 추가 차량에 대응한다고 결정한다. 1004 블록은 선택적으로 서브 블록(1004A)을 포함할 수 있고, 여기서 시스템은 서브그룹이 학습된 기계학습 모델을 사용한, FMCW LIDAR 데이터 및/또는 다른 센서 데이터의 처리에 기반한 차량 분류를 갖는다고 판단한다. 일부 구현에서, 서브 블록(1004A)은 생략될 수 있고, 시스템은 기계 학습 모델(들)을 사용하지 않고 서브그룹이 추가 차량에 대응한다고 판단할 수 있다. 예를 들어, 시스템은 최근접 이웃(nearest neighbor) 및/또는 다른 클러스터링 기법을 사용하여 FMCW LIDAR 데이터의 서브그룹이 추가 차량에 대응할 수 있다고 판단할 수 있다.
1006 블록에서, 시스템은 서브그룹의 FMCW LIDAR 데이터에 기반하여 추가 차량의 하나 이상의 요 파라미터들을 결정한다. 시스템은 서브그룹의 FMCW LIDAR 데이터 및 추가 차량에 대응하는 서브그룹의 FMCW LIDAR 데이터에 기반하여 요 파라미터(들)을 결정한다.
1006 블록은 선택적으로 서브블록(1006A) 및 서브블록(1006B)을 포함할 수 있다. 1006A 서브블록에서, 시스템은 서브그룹의 제1 FMCW LIDAR 데이터 세트 및 서브그룹의 제2 FMCW LIDAR 데이터 세트의 비교에 기반하여 요 파라미터(들)을 결정한다. 예를 들어, 시스템은 제1 및 제2 세트들 사이의 속도 차와 제1 및 제2 세트들 사이의 3D 거리에 기반하여 요 레이트를 결정할 수 있다. 시스템은 제1 및 제2 세트들 만의 비교에 기반하여, 또는 추가 세트(들)의 추가 비교(들)에도 기반하여 요 파라미터(들)을 결정할 수 있다.
1006B 서브블록에서, 시스템은 학습된 요 기계학습 모델을 사용한 서브그룹의 FMCW LIDAR 데이터의 처리에 기반하여 요 파라미터(들)을 결정한다. 예를 들어, 시스템은 학습된 요 기계학습 모델을 사용하여 FMCW LIDAR 데이터(492)의 모두 또는 일부분들을 처리하여 요 레이트를 나타내는 출력을 생성할 수 있다. 학습된 요 기계학습 모델은, 예를 들어, 도 12의 방법(1200)에 대해 이하에서 설명되는 것처럼 학습될 수 있다.
일부 구현에서, 시스템은 1006A 서브블록 및 1006B 서브블록 중 하나만을 사용하여 요 파라미터(들)을 결정한다. 다른 구현에서, 시스템은 1006A 서브블록 및 1006B 서브블록 둘 다를 사용하여 요 파라미터(들)을 결정한다. 예를 들어, 시스템은 1006A 서브블록에 기반하여 제1 요 레이트를, 1006B 서브블록에 기반하여 제2 요 레이트를 결정하고, 제1 요 레이트 및 제2 요 레이트의 결합에 기반하여 최종 요 레이트를 결정할 수 있다. 서브 블록들(1006A 및 1006B)이 도 10에 도시되어 있지만, 추가 차량의 저장된 3D 모델을 사용하여 요 파라미터를 결정하는 서브블록과 같은 추가 및/또는 대안적인 서브블록들이 블록(1006)에 포함될 수 있다.
1008 블록에서, 시스템은 결정된 요 파라미터(들)에 기반하여 차량의 자율주행 제어를 조절할지 여부를 결정한다. 예를 들어, 시스템은 결정된 요 파라미터(들)의 적어도 일부에 기반하여 자율 조향 및/또는 가속/감속을 선택적으로 조절할 수 있다. 1008 블록은 선택적으로, 시스템이 결정된 요 파라미터(들)에 기반하여 추가 차량의 후보 궤적을 결정하고, 그 후보 궤적에 기반하여 차량의 자율주행 제어를 조절할지 여부를 판단하는 서브블록(1008A)을 포함할 수 있다. 예를 들어, 추가 차량의 후보 궤적 및 차량의 현재 의도된 궤적이 추가 차량을 나타내고 그리고/또는 추가 차량이 차량과 추가 차량 사이의 잠재적 충돌을 나타낸다면, 시스템은 차량의 자율주행 제어를 조정할 수 있다.
1008 블록 이후, 시스템은 1002 블록으로 되돌가 신규 FMCW LIDAR 데이터(예를 들어, 방법(1000)을 사용하여 처리되지 않은, 가장 최근에 생성된 데이터)를 수신하고, 그런 다음 블록들 (1002, 1004, 1006, 및 1008)을 반복 수행한다. 도 8에 연속하여 도시되었지만, 블록(들)(1002, 1004, 및/또는 1006)의 다음 반복은 하나 이상의 차후 블록들의 이전 반복과 병렬로 (예를 들어, 다수의 프로세서(들) 및/또는 쓰레드(threads)를 통해) 수행될 수 있다. 차량이 방향을 탐색하는(navigating) 동안 도 10의 블록들의 계속적인 반복을 통해, 추가 차량들의 요 파라미터(들)이 계속해서 결정되고 갱신(추가 차량(들)이 존재하는 경우)될 수 있고, 차량의 자율주행 제어는 선택적으로 요 파라미터(들)에 기반하여 조정된다.
도 11을 보면, 요 파라미터를 결정하고, 결정된 요 파라미터에 기반하여 자율주행 차량을 제어하는 다른 예시적인 방법(1100)을 도시한 흐름도가 제공된다. 편의상, 흐름도의 동작들은 그 동작들을 수행하는 시스템을 참조하여 기술된다. 이 시스템은 도 1의 자율주행 차량(100)의 하나 이상의 프로세서들과 같은 다양한 콤포넌트들을 포함할 수 있다. 또한, 방법(1100)의 동작들은 특별 순서에 따라 도시되지만, 그에 제한되지 않는다. 하나 이상의 동작들이 기록, 생략, 또는 추가될 수 있다.
1102 블록에서, 시스템은 차량의 FMCW LIDAR 콤포넌트로부터 FMCW LIDAR 데이터를 수신한다. 하나의 비 제한적인 작업 예로서, FMCW LIDAR 데이터는 거리-도플러 영상일 수 있다.
1104 블록에서, 시스템은 수신된 FMCW LIDAR 데이터에 기반하여 추가 차량의 요 파라미터(들)을 결정한다. 1104 블록은, 시스템이 학습된 요 기계학습 모델을 사용한 서브그룹의 FMCW LIDAR 데이터의 처리에 기반하여 요 파라미터(들)을 결정하는 서브블록 (1004A)을 선택적으로 포함할 수 있다. 작업 예를 계속하면, 시스템은 학습된 요 기계학습 모델을 사용하여 거리-도플러 영상의 모두 또는 일부를 처리하여 거리-도플러 영상에서 캡쳐된 추가 차량(들)의 적어도 요 레이트(들)를 나타내는 출력을 생성할 수 있다. 예를 들어, 시스템은 거리-도플러 영상의 전체를 처리하여, 거리-도플러 영상 내 추가 차량(들)의 위치(들)의 표시(들)과 함께, 추가 차량(들)의 요 레이트(들)을 나타내는 출력을 생성할 수 있다. 또한, 예를 들어, 시스템은 단일 추가 차량에 대응하는 거리-도플러 영상의 일부를 처리하고, 상기 단일 추가 차량의 요 레이터를 나타내는 출력을 생성할 수 있다. 학습된 요 기계학습 모델은, 예를 들어, 도 12의 방법(1200)에 대해 이하에서 설명되는 것처럼 학습될 수 있다.
1106 블록에서, 시스템은 결정된 요 파라미터(들)에 기반하여 차량의 자율주행 제어를 조정할지 여부를 결정한다. 1106 블록은 선택적으로, 시스템이 결정된 요 파라미터(들)에 기반하여 추가 차량의 후보 궤적을 결정하고, 그 후보 궤적에 기반하여 차량의 자율주행 제어를 조정할지 여부를 판단하는 서브블록(1106A)을 포함할 수 있다.
1106 블록 이후, 시스템은 1102 블록으로 되돌가 신규 FMCW LIDAR 데이터(예를 들어, 방법(1100)을 사용하여 처리되지 않은, 가장 최근에 생성된 데이터)를 수신하고, 블록들(1104, 및 1106)을 반복 수행한다. 도 8에 연속하여 도시되었지만, 블록(들)(1102, 1104, 및/또는 1106)의 다음 반복은 하나 이상의 차후 블록들의 이전 반복과 병렬로 (예를 들어 다수의 프로세서(들) 및/또는 쓰레드를 통해)수행될 수 있다. 차량이 방향을 읽는 동안 도 11의 블록들의 계속적인 반복을 통해, 추가 차량들의 요 파라미터(들)이 계속해서 결정되고 갱신(추가 차량(들)이 존재하는 경우)될 수 있고, 차량의 자율주행 제어는 선택적으로 요 파라미터(들)에 기반하여 조정된다.
도 12를 보면, FMCW LIDAR 데이터에 기반하여 요 레이트 결정에 사용될 수 있는 기계학습 방법을 훈련하는 예시적인 방법(1200)을 도시한 흐름도가 제공된다. 편의상, 흐름도의 동작들은 그 동작들을 수행하는 시스템을 참조하여 기술된다. 이 시스템은 하나 이상의 컴퓨팅 장치들 중 하나 이상의 프로세서들, 하나 이상의 컴퓨팅 장치들 중 하나 이상의 그래픽 처리 유닛들과 같은 다양한 콤포넌트들을 포함할 수 있다. 또한, 방법(1200)의 동작들은 특별 순서에 따라 도시되지만, 그에 제한되지 않는다. 하나 이상의 동작들이 기록, 생략, 또는 추가될 수 있다.
1202 블록에서, 시스템은 각각 학습 인스턴스 입력 및 학습 인스턴스 출력을 포함하는 학습 인스턴스들을 생성한다. 학습 인스턴스 입력은 FMCW LIDAR 데이터를 포함한다. 학습 인스턴스 출력은 학습 인스턴스 입력의 FMCW LIDAR 데이터에 대응하는, 추가 차량(들)에 대한 요 레이트(들)의 표시를 포함한다. 추가 차량(들)은 추가 자율주행 차량(들) 및/또는 비자율주행 차량(들)을 포함할 수 있다.
특별한 한 예로, 각 학습 인스턴스의 학습 인스턴스 입력은 인스턴스의 FMCW LIDAR 데이터 전체를 포함할 수 있다. 예를 들어, 각 학습 인스턴스 입력은 해당 거리-도플러 영상, (속도 값들 및 강도 값들을 갖는) 해당 3D 포인트 클라우드, 또는 해당 시변 중간 주파수 파형일 수 있다. 그러한 특별 예에서 각 학습 인스턴스의 학습 인스턴스 출력은, 예를 들어, 존재한다면, 각각 추가 차량을 포함하는 FMCW LIDAR 데이터의 일부를 나타내는 경계 상자(들) (또는 다른 경계 표시) 및 (존재한다면) 경계 상자(들) 각각에 대한 요 레이트 및 요 방향을 포함할 수 있다. 예를 들어, 추가 차량을 캡쳐하지 못한 FMCW LIDAR 데이터의 학습 인스턴스 입력을 갖는 제1 학습 인스턴스의 경우, 학습 인스턴스 출력은 경계 표시들이 없음을 나타낼 수 있다. 또한, 예를 들어, 단일 추가 차량을 캡쳐한 FMCW LIDAR 데이터의 학습 인스턴스 입력을 갖는 제2 학습 인스턴스의 경우, 학습 인스턴스 출력은 단일 추가 차량에 대응하는 FMCW LIDAR 데이터의 그 부분을 나타내는 단일 경계 표시와 그 경계 표시에 대한 요 레이트 및 요 방향을 나타낼 수 있다. 또한, 예를 들어, 다수의 추가 차량들을 캡쳐한 FMCW LIDAR 데이터의 학습 인스턴스 입력을 갖는 제3 학습 인스턴스의 경우, 학습 인스턴스 출력은 다수의 추가 차량 중 대응 차량에 해당하는 FMCW LIDAR 데이터의 해당 부분을 각각 나타내는 다수의 경계 표시들과 각 경계 표시에 대한 대응 요 레이트 및 대응 요 방향을 나타낼 수 있다.
다른 특별 예로, 각 훈련 예의 학습 인스턴스 입력은 인스턴스의 FMCW LIDAR 데이터의 서브그룹을 포함할 수 있고, FMCW LIDAR 데이터의 서브그룹은 해당 서브그룹이 추가 차량에 대응한다는 판단에 기반하여 (예를 들어, 개별 학습된 객체 검출 및 분류 기계학습 모델을 사용하여 인스턴스의 FMCW LIDAR 데이터를 처리한 것에 기반하여) 선택될 수 있다. 추가 차량에 해당하는 FMCW LIDAR 데이터의 서브그룹은 (예를 들어, 인스턴스에서 추가 차량의 개별 포즈에 기반하여) 인스턴스별로 다를 수 있고, 하나 이상의 기법들이 각각 동일 디멘션을 갖는 학습 인스턴스 입력들 생성에 사용될 수 있다. 예를 들어, 패딩 데이터가 상기 디멘션보다 낮은 서브그룹에 추가될 수 있다. 또한, 예를 들어, FMCW LIDAR 데이터는 (그 디멘션보다 낮은 경우) 업샘플링되거나 (그 디멘션보다 낮은 경우) 다운 샘플링될 수 있다. 그러한 특별 예에서 각 학습 인스턴스의 학습 인스턴스 출력은, 예를 들어, 요 레이트 및 요 방향을 포함할 수 있다.
학습 인스턴스의 학습 인스턴스 출력에 대한 추가 차량의 요 레이트는 학습 인스턴스에 대한 FMCW LIDAR 데이터의 캡쳐 시각에 대응하는 시각에서의 요 레이트의 결정에 기반할 수 있다. 일부 구현에서 그리고 적어도 일부 학습 인스턴스들의 경우, 요 레이트는 추가 차량의 차량 탑재형(on-vehicle) 요 레이트 센서(들)의 출력에 기반하여 결정될 수 있다. 예를 들어, 차량 탑재형 요 레이트 센서(들)의 출력은 FMCW LIDAR 데이터와 시간 동기화될 수 있고, 복수의 FMCW LIDAR 데이터 인스턴스들 각각에 요 레이트 및 요 방향을 할당하는데 사용될 수 있다. 이 구현에서, 추가 차량의 차량 탑재형 요 레이트 센서(들)가 요 기계학습 모델의 학습에 사용된 학습 인스턴스들의 학습 인스턴스 출력 생성에 사용될 수 있다. 그러나, 추가 차량의 요 레이트 센서들의 데이터를 사용하지 않고도, 추론 시간에 학습된 요 기계학습 모델을 사용하여 추가 차량의 요 레이트 예측들이 생성될 수 있다. 예를 들어, 추론 시간에 주어진 인스턴스에서 요 레이트 예측은 학습된 요 기계학습 모델을 사용하여 주어진 인스턴스에 대한 FMCW LIDAR 데이터만의 처리에 기반하여 생성될 수 있다.
다양한 구현에서, 학습 인스턴스 출력 생성에 사용된, 추가 차량의 차량 탑재형 요 레이트 센서(들)의 출력은 추가 차량의 CAN (Controller Area Network) 버스, 또는 요 레이트 센서(들)의 데이터를 포함한 추가 차량의 다른 통신 네트워크로부터의 데이터 모니터링에 기반하여 결정될 수 있다. 일부 다양한 구현에서, 추가 차량이 이동하는 동안 랩탑(laptop) 컴퓨터 또는 다른 컴퓨팅 장치가 추가 차량에 통합될 수 있고, 추가 차량의 통신 네트워크에 결합되어 통신 네트워크에 대해 송신된 요 레이트 센서 데이터 및/또는 다른 데이터를 기록(log)할 수 있다. 추가적인 또는 대안적인 구현에서, 추가 차량의 차량 탑재형 요 레이터 센서(들)은 추가 차량의 CAN 버스 또는 다른 필수 통신 네트워크와 통신하지 않는 독립형(stand-alone) 센서들일 수 있다. 예를 들어, 요 레이트 센서(들) 및 통신 장치를 포함한 장비 패키지가 추가 차량이 이동하는 동안 추가 차량에 통합될 수 있고, 컴퓨팅 장치는 요 레이트 센서(들)과 통신하도록 결합되어 센서(들)로부터의 센서 데이터를 기록 및 타임스탬핑할 수 있다.
다양한 기법들이 추가 차량의 차량 탑재형 요 레이트 센서(들)의 출력을 (자율주행 차량의) FMCW LIDAR 데이터와 시간 동기화하는데 사용될 수 있으며, 이를 통해 주어진 요 레이트 및 주어진 요 방향을 해당 FMCW LIDAR 데이터 인스턴스에 할당할 수 있다. 예를 들어, 추가 차량의 요 레이트 데이터를 기록한 추가 차량의 컴퓨팅 장치(들)은 컴퓨팅 장치(들)의 국부 클럭을 사용하여 요 레이트 데이터를 타임스탬핑할 수 있다. 유사하게, 자율주행 차량의 국부 클럭은 FMCW LIDAR 데이터를 타임스탬핑할 수 있다. 요 레이트 데이터의 타임스탬프들 및 FMCW lIDAR 데이터의 타임스탬프들은 FMCW LIDAR 데이터 인스턴스들과 해당 요 레이트 데이터를 페어링하는데 사용될 수 있다. 예를 들어, 국부 클럭들은 데이터 수집 이전의 최근에 동기화될 수 있고, 타임스탬프들은 동기인 것으로 가정된다. 또한, 예를 들어, 국부 클럭들 사이의 델타(delta)가 (데이터 수집 전후에) 결정될 수 있고, 델타는 FMCW LIDAR 데이터의 어느 타임스탬프가 요 레이트 데이터의 어느 타임스탬프에 대응하는지의 결정에 사용될 수 있다.
일부 추가 또는 대안적인 구현에서 및, 적어도 일부 학습 인스턴스의 경우, 요 레이트는 자동화된 요 레이트 결정 기법들에 기반하여 결정될 수 있고, 그 기법들은 추가 차량을 캡쳐한 하나 이상의 이전 및/또는 차후 FMCW LIDAR 데이터 (및/또는 다른 센서 데이터)의 분석에 적어도 부분적으로 기반하여 주어진 인스턴스에서 요 레이트를 결정한다. 이 구현에서, FMCW LIDAR 데이터의 이전 및/또는 차후의 인스턴스들이 요 기계학습 모델의 훈련에 사용된 학습 인스턴스들의 학습 인스턴스 출력들을 생성하는데 사용될 수 있다. 그러나, 추론 시점에서의 추가 차량의 요 레이트 예측들은 주어진 인스턴스에 대하여, 학습된 요 기계학습 모델 및 주어진 인스턴스에 대한 FMCW LIDAR 데이터를 사용하여, 그리고 이전 및/또는 차후의 FMCW LIDAR 데이터를 사용하지 않고, 생성될 수 있다. 예를 들어, 추론 시점에서의 주어진 인스턴스에서의 요 레이트 예측은 주어진 인스턴스에 대한 FMCW LIDAR 데이터의 처리에 기반하여, 학습된 요 기계학습 모델을 사용하여, 그리고 차후의 FMCW LIDAR 데이터를 처리하지 않고 (또한 선택적으로 차후 FMCW LIDAR 데이터가 생성 및/또는 수신되기 전에), 생성될 수 있다.
1204 블록에서, 시스템은 1202 블록에서 생성된 학습 인스턴스들중 하나의 학습 인스턴스를 선택한다.
1206 블록에서, 시스템은 기계학습 모델을 사용하여 인스턴스의 학습 인스턴스 입력의 처리에 기반하여 예측을 생성한다. 일부 구현에서, 기계학습 모델은 피드 포워드(feed-forward) 신경회로망과 같은 신경회로망 모델일 수 있다. 예를 들어, 기계학습 모델은 하나 이상의 콘볼루션 층들을 포함한 피드 포워드 콘볼루셔널(feed-forward convolutional) 신경 회로망(CNN)일 수 있다.
1208블록에서, 시스템은 예측을 학습 인스턴스의 학습 인스턴스 출력과 비교하여 손실(loss)을 생성한다. 예를 들어, 예측과 학습 인스턴스 출력 사이의 차에 기반하여 오차(error)가 결정될 수 있고, 손실은 그 오차의 크기에 기반하여 결정될 수 있다.
1210 블록에서, 시스템은 손실에 기반하여 기계학습 모델을 갱신한다. 예를 들어, 시스템은 손실에 기반하여 기계학습 모델의 역전파(backpropagation)를 수행하여 기계학습 모델의 퍼셉트론(들)(perceptron(s))의 가중치(들)를 갱신할 수 있다.
1212 블록에서, 시스템은 추가 학습 수행 여부를 결정한다. 시스템이 추가 학습 수행을 결정하면, 시스템은 1204, 1206, 1208, 및 1210 블록들의 다른 반복을 수행한다. 일부 구현에서, 시스템은 미처리 학습 인스턴스들이 남아있다면 추가 학습 수행을 결정한다. 일부 구현에서, 시스템은 하나 이상의 추가 또는 대안적인 기준(criterion)에 기반하여 추가 학습 수행 여부를 결정한다. 예를 들어, 시스템은 훈련 에포크들(epochs)의 임계 회수만큼 수행되었는지 여부에 기반하여, 기계학습 모델을 사용하여 생성된 최근 예측들이 기준을 만족한다는 판단 및/또는 다른 기준/기준들에 기반하여 추가 학습 여부를 결정할 수 있다.
1214 블록에서, 시스템이 추가 학습을 수행하지 않기로 결정한다면, 시스템은 1214 블록으로 진행한다. 1214 블록에서, 시스템은 FMCW LIDAR 데이터에 기반하여 추가 차량의 요 레이트 결정에 사용하도록 학습된 기계학습 모델을 제공한다. 예를 들어, 시스템은 도 10의 방법(1000) 또는 도 11의 방법(1100)에서 사용할 학습된 기계학습 모델을 제공할 수 있다.
방법(1200)은 예측 및 단일 학습 인스턴스의 학습 인스턴스 출력에 기반하여 손실을 생성하는 것에 대해 설명되었지만, 다양한 구현에서 손실이 예측 배치(batch) 및 학습 인스턴스 배치의 학습 인스턴스 출력에 기반하여 결정되는 배치 기법들이 사용될 수 있다. 예를 들어, 1208 블록의 각 반복 이전에 1204 및 1206 블록들의 다수의 반복이 수행될 수 있고, 1208 블록의 각 반복에서 시스템은 1204 및 1206 블록들의 가장 최근 반복들에 기반하여 손실을 생성할 수 있다.
여기에서 기술된 것처럼, 도 12의 방법(1200)의 구현에 따라 학습된 기계학습 모델은 추가 차량의 요 파라미터(들)의 결정에 사용될 수 있다. 추가로 기술된 것처럼, 학습된 기계학습 모델의 일부 구현들은 LIDAR 데이터 처리에 사용될 수 있고, LIDAR 데이터 처리에 기반하여LIDAR 데이터에 의해 캡쳐된 추가 차량의 요 파라미터(들)을 직간접으로 나타내는 출력을 생성하는데 사용될 수 있다. 그 구현들의 일부에서, 처리된 LIDAR 데이터는 추가 차량에 대응하도록 결정된 LIDAR 데이터의 서브세트일 수 있다. 예를 들어, 추가 학습된 기계학습 모델은 추가 차량에 대응하는 LIDAR 데이터의 일부, 및 학습된 기계학습 모델을 사용하여 처리된 LIDAR 데이터의 일부 검출에 사용될 수 있다. 추가로 기술된 것처럼, 학습된 기계학습 모델의 다양한 구현은 LIDAR 데이터의 처리에 사용될 수 있고, LIDAR 데이터 처리에 기반하여 경계 표시(들)을 나타내는 출력의 생성에 사용될 수 있으며, 경계 표시(들) 각각은, 경계 표시(들) 각각에 대한 대응 요 레이트 및 대응 요 방향에 따라 대응 차량에 해당하는 FMCW LIDAR 데이터의 일부를 나타낸다. 따라서, 그러한 다양한 구현에서, 학습된 기계학습 모델은 검출된 추가 차량(들)의 요 파라미터(들)의 결정뿐만 아니라 추가 차량의 검출도 수행하도록 훈련될 수 있다.
도 12의 방법(1200)은 FMCW LIDAR 데이터에 기반하여 요 레이트 결정에 사용될 수 있는 기계학습 모델의 훈련에 대해 기술하고 있다. 그러나 많은 구현에서, 방법(1200)은 FMCW LIDAR 데이터 및/또는 다른 센서 데이터 (예를 들어, 비FMCW-LIDAR 데이터, 카메라 기반 영상들, 및/또는 다른 비전 센서 데이터)에 기반하여 추가 차량의 추가적인 및/또는 대안 파라미터들의 결정에 사용될 수 있는 기계학습 모델을 훈련시키도록 조절될 수 있다.
그러한 조절의 일례로, 1201 단계의 변이(variant)에서, 시스템은 위상 코히어런트 LIDAR 데이터(FMCW LIDAR 데이터 또는 다른 위상 코히어런트 LIDAR 데이터)를 포함하는 학습 인스턴스 입력을 각각 포함하고, 학습 인스턴스 입력의 위상 코히어런트 LIDAR 데이터에 대응하는 추가 차량(들) 에 대한 속도, 가속도 및/또는 진로(heading)의 표시를 포함한 학습 인스턴스 출력을 포함하는 학습 인스턴스들을 생성할 수 있다. 추가 차량(들)은 추가 자율주행 차량(들) 및/또는 비자율주행 차량(들)을 포함할 수 있다. 학습 인스턴스 출력 내 주어진 추가 차량에 대한 속도, 가속도 및/또는 진로의 표시는 추가 차량의 대응 센서(들)로부터의 출력에 기반한 것일 수 있다. 예를 들어, 그 표시(들)은 CAN 버스 또는 추가 차량의 다른 통신 네트워크로부터의 대응 데이터를 모니터링한 것, 및/또는 CAN 버스 및/또는 추가 차량의 다른 필수 통신 네트워크와 통신하지 않는 추가 차량의 독립형 센서들을 모니터링한 것에 기반하여 결정될 수 있다. 다양한 기법들이 (추가 차량)의 속도, 가속도 및/또는 진로를 (자율주행 차량의) 위상 코히어런트 LIDAR 데이터와 시간 동기화하는데 사용되어 주어진 속도, 주어진 가속도 및/또는 주어진 진로가 해당 위상 코히어런트 LIDAR 데이터 인스턴스에 할당되게 할 수 있다.
그 조정의 특별한 한 예로, 각 학습 인스턴스의 학습 인스턴스 입력은 인스턴스의 위상 코히어런트 LIDAR 데이터 전체를 포함할 수 있다. 예를 들어, 각 학습 인스턴스 입력은 해당 거리-도플러 영상, (속도 값들 및 강도 값들을 갖는) 해당 3D 포인트 클라우드, 또는 해당 시변 중간 주파수 파형일 수 있다. 그러한 특별 예에서 각 학습 인스턴스의 학습 인스턴스 출력은, 예를 들어, 존재한다면, 각각 추가 차량을 포함하는 위상 코히어런트 LIDAR 데이터의 일부를 나타내는 경계 상자(들) (또는 다른 경계 표시) 및 (존재한다면) 경계 상자(들) 각각에 대한 속도, 가속도 및/또는 진로의 표시들을 포함할 수 있다.
조정의 다른 특별 예로, 각 훈련 예의 학습 인스턴스 입력은 인스턴스의 위상 코히어런트 LIDAR 데이터의 서브그룹을 포함할 수 있고, 위상 코히어런트 LIDAR 데이터의 서브그룹은 그 서브그룹이 추가 차량에 대응한다는 판단에 기반하여 (예를 들어, 개별 학습된 객체 검출 및 분류 기계학습 모델을 사용하여 인스턴스의 위상 코히어런트 LIDAR 데이터를 처리한 것에 기반하여) 선택될 수 있다. 그러한 특별 예에서 각 학습 인스턴스의 학습 인스턴스 출력은, 예를 들어, 추가 차량에 대한 속도, 가속도 및/또는 진로를 포함할 수 있다.
따라서, 여기에서 기술된 다양한 구현들은 자율주행 차량의 센서 데이터에 기반한 학습 인스턴스 입력, 추가 차량의 센서 데이터에 기반한 학습 인스턴스 출력을 포함한 학습 인스턴스들을 생성할 수 있고, 여기서 추가 차량은 자율주행 차량의 센서 데이터로 적어도 일부 캡쳐된다. 그러한 학습 인스턴스들에 기반한 기계학습 모델의 훈련은 기계학습 모델을 사용하여 자율주행 차량으로부터의 센서 데이터를 처리할 수 있게 하여 그 센서 데이터에 대해 적어도 부분적으로 캡쳐된 추가 차량의 하나 이상의 특성을 예측할 수 있게 한다. 여기의 설명으로부터 그러한 학습 인스턴스들의 생성이 사람의 관여없이 (또는 최소한 관여하여) 자동으로 수행될 수 있음이 이해될 수 있다. 예를 들어, 학습 인스턴스들에 대해 지도(supervised) 레이블들이 추가 차량(들)의 센서 데이터에 기반하여 생성될 수 있고, 인간 검토자의 필요성을 배제(및 그러한 인간의 레이블링(labeling)과 연계된 다양한 계산 리소스들을 배제)하여 그러한 지도 레이블링을 제공하며, 및/또는 인간들이 학습 인스턴스 입력들의 검토에 기반하여 레이블들을 셍성할 수 없게 될 상황에서 자동화된 지도 레이블링을 가능하게 한다.
Claims (24)
- 추가 차량의 결정된 요 파라미터에 기반하여 자율제어 차량의 자율주행 제어를 조정하는 방법에 있어서,
차량의 위상 코히어런트 LIDAR(Phase coherent Light Detection and Ranging) 콤포넌트로부터, 상기 위상 코히어런트 LIDAR 콤포넌트의 센싱 사이클의 LIDAR 데이터 포인트 그룹을 수신하고, 상기 그룹의 LIDAR 데이터 포인트들 각각은 환경 내 대응 포인트에 대한 대응 거리 및 대응 속도를 나타내고, 각각은 상기 센싱 사이클 동안 상기 위상 코히어런트 LIDAR 콤포넌트의 대응 센싱 이벤트에 기반하여 생성되는 단계;
상기 그룹의 상기 LIDAR 데이터 포인트들 중, 일 서브 그룹이 상기 차량에 추가된 추가 차량에 대응한다고 판단하는 단계;
상기 서브그룹이 상기 추가 차량에 대응한다는 판단에 기반하여,
상기 서브그룹의 복수의 상기 LIDAR 데이터 포인트들에 기반하여 상기 추가 차량의 요 파라미터를 결정하는 단계; 및
상기 추가 차량의 상기 결정된 요 파라미터에 기반하여 상기 차량의 자율주행 제어를 조정하는 단계를 포함하는, 방법. - 청구항 1에 있어서,
상기 그룹의 상기 LIDAR 데이터 포인트들 중 상기 서브 그룹이 상기 추가 차량에 대응한다고 판단하는 단계는:
학습된 기계 학습 모델을 사용하여 상기 그룹의 상기 LIDAR 데이터 포인트들을 프로세싱하는 단계;
상기 학습된 기계 학습 모델을 사용하여 상기 그룹의 상기 LIDAR 데이터 포인트들을 프로세싱하는 것에 기반하여 상기 서브 그룹이 차량 분류를 갖는 것을 나타내는 출력을 생성하는 단계; 및
상기 서브그룹이 상기 차량 분류를 갖는 것을 나타내는 출력에 기반하여 상기 서브그룹이 상기 추가 차량에 대응한다고 판단하는 단계를 포함하는, 방법. - 청구항 1에 있어서,
상기 서브그룹의 상기 복수의 LIDAR 데이터 포인트들에 기반하여 상기 추가 차량의 상기 요 파라미터를 결정하는 단계는:
상기 서브그룹의 상기 복수의 LIDAR 데이터 포인트들 중 하나 이상의 제1 세트를 결정하는 단계;
상기 서브그룹의 상기 복수의 LIDAR 데이터 포인트들 중 하나 이상의 제2 세트를, 상기 제2 세트가 상기 제1 세트로부터 공간적으로 오프셋되는 것(spatially offset)에 기반하여 결정하는 단계; 및
상기 제1 세트와 상기 제2 세트의 비교에 기반하여 상기 요 파라미터를 결정하는 단계를 포함하는, 방법. - 청구항 3에 있어서,
상기 제1 세트 및 상기 제2 세트가 상대적으로 서로 공간적으로 오프셋되어 있다는 판단은, 상기 제1 세트 및 상기 제2 세트에 의해 표시된 대응 거리들에 적어도 부분적으로 기반하는, 방법. - 청구항 3에 있어서,
상기 제1 세트 및 상기 제2 세트의 비교에 기반하여 상기 추가 차량의 상기 요 파라미터를 결정하는 단계는:
상기 제1 세트의 제1 세트 속도 크기(velocity magnitude) 및 상기 제2 세트의 제2 세트 속도 크기의 비교에 기반하여 상기 요 파라미터를 결정하는 단계를 포함하고, 상기 제1 세트 속도 크기는 상기 제1 세트에 대한 대응 속도들에 기반하고, 상기 제2 세트 속도 크기는 상기 제2 세트에 대한 대응 속도들에 기반하는, 방법. - 청구항 5에 있어서,
상기 추가 차량의 상기 요 파라미터는 상기 추가 차량의 요 레이트를 포함하고, 상기 제1 세트 및 상기 제2 세트의 비교에 기반하여 상기 추가 차량의 상기 요 파라미터를 결정하는 단계는:
상기 제1 세트 및 상기 제2 세트 사이의 상기 공간 오프셋에 기반하여 거리를 결정하는 단계; 및
상기 요 레이트를:
상기 제1 세트 속도 크기 및 상기 제2 세트 속도 크기의 비교, 및
상기 거리에 기반하여 결정하는 단계를 포함하는, 방법. - 청구항 6에 있어서,
상기 제1 세트 속도 크기 및 상기 제2 세트 속도 크기의 상기 비교, 및 상기 거리에 기반하여 상기 요 레이트를 결정하는 단계는:
상기 제1 세트 속도 크기 및 상기 제2 세트 속도 크기의 상기 비교에 기반하여 상기 제1 세트 속도 크기 및 상기 제2 세트 속도 크기 사이의 속도 차(velocity differential)를 결정하는 단계; 및
상기 속도 차를, 상기 거리에 기반하여 상기 요 레이트로 변환하는 단계를 포함하는, 방법. - 청구항 5에 있어서,
상기 추가 차량의 상기 요 파라미터는 상기 추가 차량의 하계(lower bound) 요 레이트를 포함하고, 상기 제1 세트 및 상기 제2 세트의 비교에 기반하여 상계(upper bound) 요 레이트인 상기 추가 차량의 추가 요 파라미터를 결정하는 단계를 더 포함하는, 방법. - 청구항 8에 있어서,
상기 제1 세트 및 상기 제2 세트 사이의 상기 공간 오프셋에 기반하여 거리를 결정하는 단계;
상기 제1 세트 속도 크기 및 상기 제2 세트 속도 크기의 상기 비교에 기반하여 상기 제1 세트 속도 크기 및 상기 제2 세트 속도 크기 사이의 속도 차(velocity differential)를 결정하는 단계를 더 포함하고,
상기 하계 요 레이트를 결정하는 단계는:
상기 속도 차를 상기 거리로 나누는 단계를 포함하는, 방법. - 청구항 9에 있어서,
상기 상계 요 레이트를 결정하는 단계는:
상기 속도 차를, 상기 거리에 기반하지만 상기 거리에 대해 크기가 감소된 값으로 나누는 단계를 포함하는, 방법. - 청구항 5에 있어서,
상기 제1 세트는 상기 복수의 LIDAR 데이터 포인트들 중 다수를 포함하고, 상기 제1 세트 속도 크기는 상기 복수의 LIDAR 데이터 포인트들 중 상기 다수에 대한 상기 대응 속도들에 기반하여 결정되는, 방법. - 청구항 11에 있어서,
상기 제1 세트 속도 크기는 상기 복수의 LIDAR 데이터 포인트들 중 상기 다수에 대한 상기 대응 속도들의 평균에 기반하는, 방법. - 청구항 3에 있어서,
상기 요 파라미터는 요 레이트를 포함하고, 상기 제1 세트 및 상기 제2 세트의 비교에 기반하여 상기 추가 차량의 상기 요 파라미터를 결정하는 단계는:
제1 세트 속도 크기 및 제2 세트 속도 크기의 비교에 기반하여 속도 차(velocity differential)를 결정하는 단계를 포함하고, 상기 제1 세트 속도 크기는 상기 제1 세트에 대한 대응 속도들에 기반하고, 상기 제2 세트 속도 크기는 상기 제2 세트에 대한 대응 속도들에 기반하는 단계;
상기 추가 차량에 대한 저장된 모델을 식별하는 단계; 및
상기 추가 차량에 대한 상기 저장된 모델에 기반하여, 상기 속도 차를 상기 요 레이트로 변환하는 단계를 포함하는, 방법. - 청구항 13에 있어서,
상기 추가 차량에 대한 상기 저장된 모델을 식별하는 단계는:
상기 서브그룹의 상기 LIDAR 데이터 포인트들에 기반하여, 복수의 저장된 후보 모델들로부터 상기 저장된 모델을 선택하는 단계를 포함하는, 방법. - 청구항 1에 있어서,
상기 요 파라미터는 요 레이트 및 요 방향을 포함하고, 상기 서브그룹의 상기 복수의 LIDAR 데이터 포인트들에 기반하여 상기 추가 차량의 상기 요 파라미터를 결정하는 단계는:
학습된 기계 학습 모델을 사용하여 상기 서브그룹의 상기 복수의 LIDAR 데이터 포인트들을 프로세싱하는 단계;
상기 프로세싱된 기계 학습 모델을 사용하여 상기 그룹의 상기 LIDAR 데이터 포인트들을 처리하는 단계에 기반하여, 상기 요 레이트 및 상기 요 방향을 나타내는 출력을 생성하는 단계; 및
상기 출력에 기반하여 상기 요 레이트 및 상기 요 방향을 결정하는 단계를 포함하는, 방법. - 청구항 15에 있어서,
상기 학습된 기계 학습 모델을 사용하여 상기 서브그룹의 상기 LIDAR 데이터 포인트들을 프로세싱하는 단계는, 상기 학습된 기계학습 모델을 사용하여 상기 서브그룹의 상기 LIDAR 데이터 포인트들 모두를 프로세싱하는 단계를 포함하는, 방법. - 청구항 1에 있어서,
상기 추가 차량의 상기 요 파라미터는 요 레이트를 나타내는 속도 차(velocity differential)이고, 상기 추가 차량의 상기 결정된 요 파라미터에 기반하여 상기 차량의 자율주행 제어를 조정하는 단계는, 임계치를 초과하는 상기 속도 차에 기반하여 상기 자율주행 제어를 조정하는 단계를 포함하는, 방법, - 청구항 1에 있어서,
상기 추가 차량의 상기 요 파라미터는 요 레이트 및 요 방향을 포함하는, 방법. - 청구항 1에 있어서,
상기 추가 차량의 상기 결정된 요 파라미터에 기반하여 상기 차량의 자율주행 제어를 조정하는 단계는:
상기 차량의 속도, 및
상기 차량의 방향 중 적어도 하나를 변경하는 단계를 포함하는, 방법. - 청구항 19에 있어서,
상기 요 파라미터는 요 레이트이고, 상기 추가 차량의 상기 결정된 요 레이트에 기반하여 상기 차량의 자율주행 제어를 조정하는 단계는, 상기 결정된 요 레이트가 임계치를 만족한다는 판단에 응답하여 수행되는, 방법. - 청구항 1에 있어서,
상기 추가 차량의 상기 결정된 요 파라미터에 기반하여 상기 차량의 자율주행 제어를 조정하는 단계는:
상기 결정된 요 파라미터에 기반하여 상기 추가 차량의 적어도 하나의 후보 궤적을 결정하는 단계; 및
상기 적어도 하나의 후보 궤적에 기반하여 상기 차량의 자율주행 제어를 조정하는 단계를 포함하는, 방법. - 청구항 1에 있어서,
상기 LIDAR 콤포넌트는 LIDAR 모노펄스 콤포넌트이고, 상기 LIDAR 콤포넌트의 상기 대응 센싱 이벤트들은 각각 상기 LIDAR 모노펄스 콤포넌트의 제1 수신기에서의 제1 수신기 센싱 이벤트 및 상기 LIDAR 모노펄스 콤포넌트의 제2 수신기에서의 제2 수신기 센싱 이벤트를 포함하는, 방법. - 추가 차량의 결정된 요 레이트에 기반하여 자율제어 차량의 자율주행 제어를 조정하는 방법에 있어서,
차량의 위상 코히어런트 LIDAR(Light Detection and Ranging) 콤포넌트로부터 상기 차량의 환경을 캡쳐한 LIDAR 데이터를 수신하되,
상기 LIDAR 데이터는, 상기 차량의 상기 환경 내 복수의 포인트들 각각에 대해, 적어도 하나의 대응 거리 및 적어도 하나의 대응 속도를 상기 LIDAR 콤포넌트의 대응 센싱 이벤트에 기반하여 나타내는 단계;
상기 LIDAR 데이터의 서브그룹이 상기 환경 내 추가 차량에 대응한다고 결정하고, 상기 추가 차량은 상기 차량에 추가된 것인 단계;
상기 추가 차량의 요 레이트를 결정하고, 상기 결정은 상기 서브그룹의 LIDAR 데이터로 나타낸 다수의 대응 속도들에 기반하여 이뤄지는 단계; 및
상기 추가 차량의 상기 결정된 요 파라미터에 기반하여 상기 차량의 자율주행 제어를 조정하는 단계를 포함하는, 방법. - 자율주행 차량에 있어서,
위상 코히어런트 LIDAR(Light Detection and Ranging) 컴포넌트;
저장된 컴퓨터 명령들을 실행하여:
상기 위상 코히어런트 LIDAR 콤포넌트로부터 상기 차량의 환경을 캡쳐한 LIDAR 데이터를 수신하되,
상기 LIDAR 데이터는, 상기 차량의 상기 환경 내 복수의 포인트들 각각에 대해, 적어도 하나의 대응 거리 및 적어도 하나의 대응 속도를 상기 위상 코히어런트 LIDAR 콤포넌트의 대응 센싱 이벤트에 기반하여 표시하고;
상기 위상 코히어런트 LIDAR 데이터로 나타낸 상기 대응 속도들의 다수에 기반하여, 상기 차량의 상기 환경 내 추가 차량의 요 파라미터를 결정하고; 그리고
상기 추가 차량의 상기 결정된 요 파라미터에 기반하여 상기 차량의 자율주행 제어 조정을 수행하는 하나 이상의 프로세서들 포함하는, 자율주행 차량.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020227038243A KR102497330B1 (ko) | 2018-04-11 | 2019-03-28 | 추가 차량의 결정된 요 파라미터(들)에 근거한 자율주행 차량 제어 |
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201862655965P | 2018-04-11 | 2018-04-11 | |
| US62/655,965 | 2018-04-11 | ||
| US16/173,660 | 2018-10-29 | ||
| US16/173,660 US10906536B2 (en) | 2018-04-11 | 2018-10-29 | Control of autonomous vehicle based on determined yaw parameter(s) of additional vehicle |
| PCT/US2019/024672 WO2019199474A1 (en) | 2018-04-11 | 2019-03-28 | Control of autonomous vehicle based on determined yaw parameter(s) of additional vehicle |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020227038243A Division KR102497330B1 (ko) | 2018-04-11 | 2019-03-28 | 추가 차량의 결정된 요 파라미터(들)에 근거한 자율주행 차량 제어 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200138817A true KR20200138817A (ko) | 2020-12-10 |
| KR102464758B1 KR102464758B1 (ko) | 2022-11-08 |
Family
ID=68160190
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020227038243A KR102497330B1 (ko) | 2018-04-11 | 2019-03-28 | 추가 차량의 결정된 요 파라미터(들)에 근거한 자율주행 차량 제어 |
| KR1020207031853A KR102464758B1 (ko) | 2018-04-11 | 2019-03-28 | 추가 차량의 결정된 요 파라미터(들)에 근거한 자율주행 차량 제어 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020227038243A KR102497330B1 (ko) | 2018-04-11 | 2019-03-28 | 추가 차량의 결정된 요 파라미터(들)에 근거한 자율주행 차량 제어 |
Country Status (6)
| Country | Link |
|---|---|
| US (6) | US10676085B2 (ko) |
| EP (1) | EP3774477B1 (ko) |
| JP (1) | JP7358384B2 (ko) |
| KR (2) | KR102497330B1 (ko) |
| CN (2) | CN118323188A (ko) |
| WO (2) | WO2019199474A1 (ko) |
Families Citing this family (59)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102272801B1 (ko) | 2016-11-29 | 2021-07-02 | 블랙모어 센서스 앤드 애널리틱스, 엘엘씨 | 포인트 클라우드 데이터 세트에서 객체의 분류를 위한 방법 및 시스템 |
| CN110140064B (zh) | 2016-11-30 | 2023-07-18 | 布莱克莫尔传感器和分析有限责任公司 | 利用光学测距***进行自动实时自适应扫描的方法和*** |
| US11624828B2 (en) | 2016-11-30 | 2023-04-11 | Blackmore Sensors & Analytics, Llc | Method and system for adaptive scanning with optical ranging systems |
| US11802965B2 (en) | 2016-11-30 | 2023-10-31 | Blackmore Sensors & Analytics Llc | Method and system for doppler detection and doppler correction of optical chirped range detection |
| US10422880B2 (en) | 2017-02-03 | 2019-09-24 | Blackmore Sensors and Analytics Inc. | Method and system for doppler detection and doppler correction of optical phase-encoded range detection |
| US10401495B2 (en) | 2017-07-10 | 2019-09-03 | Blackmore Sensors and Analytics Inc. | Method and system for time separated quadrature detection of doppler effects in optical range measurements |
| US11307309B2 (en) * | 2017-12-14 | 2022-04-19 | COM-IoT Technologies | Mobile LiDAR platforms for vehicle tracking |
| US11620419B2 (en) * | 2018-01-24 | 2023-04-04 | Toyota Research Institute, Inc. | Systems and methods for identifying human-based perception techniques |
| US10676085B2 (en) | 2018-04-11 | 2020-06-09 | Aurora Innovation, Inc. | Training machine learning model based on training instances with: training instance input based on autonomous vehicle sensor data, and training instance output based on additional vehicle sensor data |
| US11550061B2 (en) | 2018-04-11 | 2023-01-10 | Aurora Operations, Inc. | Control of autonomous vehicle based on environmental object classification determined using phase coherent LIDAR data |
| EP3785043B1 (en) * | 2018-04-23 | 2023-08-16 | Blackmore Sensors & Analytics, LLC | Method and system for controlling autonomous vehicle using coherent range doppler optical sensors |
| US10839262B2 (en) * | 2018-04-24 | 2020-11-17 | Here Global B.V. | Machine learning a feature detector using synthetic training data |
| JP6661695B2 (ja) * | 2018-05-09 | 2020-03-11 | 三菱電機株式会社 | 移動体検出装置、車両制御システム、移動体検出方法および車両制御方法 |
| US11354406B2 (en) * | 2018-06-28 | 2022-06-07 | Intel Corporation | Physics-based approach for attack detection and localization in closed-loop controls for autonomous vehicles |
| USD922889S1 (en) * | 2018-06-29 | 2021-06-22 | Zoox, Inc. | Sensor housing |
| US11726210B2 (en) | 2018-08-05 | 2023-08-15 | COM-IoT Technologies | Individual identification and tracking via combined video and lidar systems |
| US11061406B2 (en) * | 2018-10-22 | 2021-07-13 | Waymo Llc | Object action classification for autonomous vehicles |
| US11209821B2 (en) | 2018-11-02 | 2021-12-28 | Aurora Operations, Inc. | Labeling autonomous vehicle data |
| US11829143B2 (en) | 2018-11-02 | 2023-11-28 | Aurora Operations, Inc. | Labeling autonomous vehicle data |
| US11403492B2 (en) | 2018-11-02 | 2022-08-02 | Aurora Operations, Inc. | Generating labeled training instances for autonomous vehicles |
| US11256263B2 (en) | 2018-11-02 | 2022-02-22 | Aurora Operations, Inc. | Generating targeted training instances for autonomous vehicles |
| US11086319B2 (en) | 2018-11-02 | 2021-08-10 | Aurora Operations, Inc. | Generating testing instances for autonomous vehicles |
| KR102352325B1 (ko) * | 2018-11-13 | 2022-01-14 | 블랙모어 센서스 앤드 애널리틱스, 엘엘씨 | 위상 인코딩 lidar에서의 내부 반사 감산을 위한 레이저 위상 추적 방법 및 시스템 |
| US10831209B2 (en) * | 2018-12-19 | 2020-11-10 | Fca Us Llc | Using a long-term recurrent convolutional network to plan a sequence of lateral controls in autonomous driving |
| US11822010B2 (en) | 2019-01-04 | 2023-11-21 | Blackmore Sensors & Analytics, Llc | LIDAR system |
| JP2020148593A (ja) * | 2019-03-13 | 2020-09-17 | 株式会社明電舎 | 自動操縦ロボットを制御する操作推論学習モデルの学習システム及び学習方法 |
| CN109782015A (zh) * | 2019-03-21 | 2019-05-21 | 同方威视技术股份有限公司 | 激光测速方法、控制装置和激光测速仪 |
| US11016496B2 (en) * | 2019-04-10 | 2021-05-25 | Argo AI, LLC | Transferring synthetic LiDAR system data to real world domain for autonomous vehicle training applications |
| JP7351706B2 (ja) * | 2019-10-15 | 2023-09-27 | 株式会社Soken | 物体追跡装置 |
| KR20210050052A (ko) * | 2019-10-25 | 2021-05-07 | 현대모비스 주식회사 | 자동차용 센서 통합 모듈 |
| US11657290B2 (en) * | 2019-10-28 | 2023-05-23 | Robert Bosch Gmbh | System and method with a robust deep generative model |
| US11531107B2 (en) | 2019-11-19 | 2022-12-20 | Volvo Car Corporation | Long range LIDAR-based speed estimation |
| US10732261B1 (en) * | 2019-12-31 | 2020-08-04 | Aurora Innovation, Inc. | Generating data using radar observation model based on machine learning |
| US10733463B1 (en) | 2020-03-31 | 2020-08-04 | Lyft, Inc. | Systems and methods for augmenting perception data with supplemental information |
| US11906967B1 (en) * | 2020-03-31 | 2024-02-20 | Zoox, Inc. | Determining yaw with learned motion model |
| US11919529B1 (en) | 2020-04-21 | 2024-03-05 | Aurora Operations, Inc. | Evaluating autonomous vehicle control system |
| US11782451B1 (en) * | 2020-04-21 | 2023-10-10 | Aurora Operations, Inc. | Training machine learning model for controlling autonomous vehicle |
| US12007791B2 (en) | 2020-05-11 | 2024-06-11 | Soter Technology Inc | Multi-drone/sensor platform with information lateralization and federated path planning |
| CN114026463B (zh) * | 2020-05-15 | 2024-06-21 | 百度时代网络技术（北京）有限公司 | 基于部分点云的行人速度估计方法 |
| KR102283237B1 (ko) * | 2020-05-29 | 2021-07-29 | 서울대학교산학협력단 | 데이터 주도 기계학습 기반 차량 조향 특성 모델 실시간 규명 장치 및 방법 |
| CA3180999A1 (en) | 2020-06-05 | 2021-12-09 | Gatik Ai Inc. | Method and system for deterministic trajectory selection based on uncertainty estimation for an autonomous agent |
| JP2023528077A (ja) | 2020-06-05 | 2023-07-03 | ガティック エーアイ インコーポレイテッド | 自律エージェントのコンテキスト認識型意思決定を行うための方法およびシステム |
| JP2023528079A (ja) | 2020-06-05 | 2023-07-03 | ガティック エーアイ インコーポレイテッド | 自律エージェントのデータドリブンかつモジュラー式の意思決定と経路生成のための方法およびシステム |
| US11989020B1 (en) | 2020-07-14 | 2024-05-21 | Aurora Operations, Inc. | Training machine learning model(s), in simulation, for use in controlling autonomous vehicle(s) |
| US11960290B2 (en) * | 2020-07-28 | 2024-04-16 | Uatc, Llc | Systems and methods for end-to-end trajectory prediction using radar, LIDAR, and maps |
| US20220128995A1 (en) * | 2020-10-22 | 2022-04-28 | Waymo Llc | Velocity estimation and object tracking for autonomous vehicle applications |
| US11841439B2 (en) * | 2020-11-02 | 2023-12-12 | Waymo Llc | Point cloud segmentation using a coherent lidar for autonomous vehicle applications |
| GB2600695A (en) * | 2020-11-03 | 2022-05-11 | Daimler Ag | A method for estimating an attribute of an entity for an autonomous control system such as an at least partially autonomous motor vehicle |
| US20220141804A1 (en) * | 2020-11-04 | 2022-05-05 | Huawei Technologies Co., Ltd. | Waveform adaptation for integrated communications and sensing |
| WO2022104259A1 (en) * | 2020-11-16 | 2022-05-19 | Oculii Corp. | System and method for radar-based localization and/or mapping |
| US11656629B1 (en) | 2020-12-08 | 2023-05-23 | Waymo Llc | Detection of particulate matter in autonomous vehicle applications |
| JP7472784B2 (ja) * | 2020-12-28 | 2024-04-23 | トヨタ自動車株式会社 | 車両電子制御装置、車両電子制御方法及び車両制御プログラム |
| US11508089B2 (en) * | 2021-03-05 | 2022-11-22 | Black Sesame Technologies Inc. | LiDAR assisted wheel encoder to camera calibration |
| WO2022216885A1 (en) * | 2021-04-07 | 2022-10-13 | Ridecell, Inc. | A systematic approach towards system identification based yaw rate estimation with low-cost imu+gps units |
| US11734909B2 (en) * | 2021-05-04 | 2023-08-22 | Ford Global Technologies, Llc | Machine learning |
| US11760368B2 (en) * | 2021-10-19 | 2023-09-19 | Cyngn, Inc. | System and method of same-loop adaptive simulation for autonomous driving |
| CA3240477A1 (en) | 2021-12-16 | 2023-06-22 | Apeksha Kumavat | Method and system for expanding the operational design domain of an autonomous agent |
| KR102647477B1 (ko) * | 2022-06-21 | 2024-03-14 | (주)뉴빌리티 | 자율주행을 위한 횡방향 제어 장치 및 방법 |
| CN116279457B (zh) * | 2023-05-15 | 2023-08-01 | 北京斯年智驾科技有限公司 | 基于雷达点云的防撞方法、装置、设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1298454A2 (de) * | 2001-09-28 | 2003-04-02 | IBEO Automobile Sensor GmbH | Verfahren zur Erkennung und Verfolgung von Objekten |
| EP1531343A1 (de) * | 2003-11-14 | 2005-05-18 | IBEO Automobile Sensor GmbH | Verfahren zur Verfolgung von Objekten |
| US20140368493A1 (en) * | 2013-06-14 | 2014-12-18 | Microsoft Corporation | Object removal using lidar-based classification |
| EP3285230A1 (en) * | 2016-08-19 | 2018-02-21 | Autoliv Development AB | Enhanced object detection and motion estimation for a vehicle environment detection system |
Family Cites Families (102)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3477616A (en) * | 1968-01-16 | 1969-11-11 | Mainar Sa Ind | Metering device |
| US3987297A (en) | 1975-06-09 | 1976-10-19 | United Technologies Corporation | Monopulse optical receiver system |
| SE432224B (sv) * | 1983-08-04 | 1984-03-26 | Stig Holmgren | Sekerhetsinrettning vid fordon |
| US7629899B2 (en) | 1997-10-22 | 2009-12-08 | Intelligent Technologies International, Inc. | Vehicular communication arrangement and method |
| JP3651259B2 (ja) * | 1998-05-01 | 2005-05-25 | 日産自動車株式会社 | 先行車追従制御装置 |
| DE19851027C2 (de) * | 1998-11-05 | 2000-09-21 | Daimler Chrysler Ag | Kopfstütze für Fahrzeugsitze |
| JP3795299B2 (ja) * | 2000-04-07 | 2006-07-12 | 本田技研工業株式会社 | 車両制御装置 |
| JP3985595B2 (ja) * | 2002-06-14 | 2007-10-03 | 株式会社日立製作所 | 自動車の走行制御装置 |
| WO2004008648A2 (en) * | 2002-07-15 | 2004-01-22 | Automotive Systems Laboratory, Inc. | Road curvature estimation and automotive target state estimation system |
| WO2007048029A2 (en) | 2005-10-21 | 2007-04-26 | Deere & Company | Systems and methods for obstacle avoidance |
| US20070118263A1 (en) * | 2005-11-22 | 2007-05-24 | Nelson Frederick W | Direction determination utilizing vehicle yaw rate and change in steering position |
| US8050863B2 (en) | 2006-03-16 | 2011-11-01 | Gray & Company, Inc. | Navigation and control system for autonomous vehicles |
| EP2112042B1 (en) * | 2008-04-25 | 2015-07-08 | Ford Global Technologies, LLC | Yaw stability control system capable of returning the vehicle to a pre body-force-disturbance heading |
| US7744154B2 (en) * | 2008-07-30 | 2010-06-29 | Cosco Management, Inc. | Energy-dissipation system |
| US8229663B2 (en) * | 2009-02-03 | 2012-07-24 | GM Global Technology Operations LLC | Combined vehicle-to-vehicle communication and object detection sensing |
| CN103733538A (zh) | 2011-04-14 | 2014-04-16 | 诺基亚西门子网络公司 | 利用单载波小区聚合的联合传输CoMP |
| DE102013100446B4 (de) * | 2012-01-25 | 2020-01-09 | Denso Corporation | Spurhalte-Steuersystem |
| EP2637072B1 (en) * | 2012-03-05 | 2017-10-11 | Volvo Car Corporation | Path following of a target vehicle |
| US8825265B1 (en) * | 2012-03-16 | 2014-09-02 | Google Inc. | Approach for consolidating observed vehicle trajectories into a single representative trajectory |
| DE102012008391A1 (de) * | 2012-04-26 | 2013-10-31 | Trw Automotive Gmbh | Fahrzeuginsassenschutzsystem |
| US8849557B1 (en) * | 2012-11-15 | 2014-09-30 | Google Inc. | Leveraging of behavior of vehicles to detect likely presence of an emergency vehicle |
| US8849494B1 (en) | 2013-03-15 | 2014-09-30 | Google Inc. | Data selection by an autonomous vehicle for trajectory modification |
| US9463725B2 (en) * | 2013-04-03 | 2016-10-11 | AISIN Technical Center of America, Inc. | Comfort headrest |
| CN105324287B (zh) | 2013-04-11 | 2018-07-06 | 伟摩有限责任公司 | 使用车载传感器检测天气条件的方法和*** |
| US8983705B2 (en) * | 2013-04-30 | 2015-03-17 | Google Inc. | Methods and systems for detecting weather conditions including fog using vehicle onboard sensors |
| US9254846B2 (en) * | 2013-05-03 | 2016-02-09 | Google Inc. | Predictive reasoning for controlling speed of a vehicle |
| CN103496366B (zh) * | 2013-09-09 | 2016-02-24 | 北京航空航天大学 | 一种基于车车协同的主动换道避撞控制方法与装置 |
| KR101470221B1 (ko) * | 2013-10-17 | 2014-12-05 | 현대자동차주식회사 | 현가 제어 장치 및 그 방법 |
| US9851433B2 (en) * | 2013-12-19 | 2017-12-26 | DSCG Solutions, Inc. | Single laser LIDAR system |
| EP3114574A4 (en) | 2014-03-03 | 2018-03-07 | Inrix, Inc. | Traffic obstruction detection |
| US9834207B2 (en) * | 2014-04-15 | 2017-12-05 | GM Global Technology Operations LLC | Method and system for detecting, tracking and estimating stationary roadside objects |
| US10012734B2 (en) * | 2014-05-21 | 2018-07-03 | DSCG Solutions, Inc. | Devices, systems, and methods for real time tracking of an object |
| CA2902601A1 (en) * | 2014-09-02 | 2016-03-02 | Olivia Wakeman | Multi-function customizable cover |
| WO2016062327A1 (en) * | 2014-10-20 | 2016-04-28 | Politecnico Di Milano | Method for estimating a vehicle side slip angle, computer program implementing said method, control unit having said computer program loaded, and vehicle comprising said control unit |
| KR20160093465A (ko) | 2015-01-29 | 2016-08-08 | 엘지전자 주식회사 | 차량용 레이더 장치, 차량 운전 보조 장치, 차량 및 차량용 레이더 장치의 동작 방법 |
| EP3281033B1 (en) | 2015-04-07 | 2022-01-12 | GM Global Technology Operations LLC | Compact lidar system |
| JP6330712B2 (ja) * | 2015-04-08 | 2018-05-30 | トヨタ自動車株式会社 | 障害物検出装置 |
| US10112614B2 (en) * | 2015-07-21 | 2018-10-30 | Nissan Motor Co., Ltd. | Drive planning device, travel assistance apparatus, and drive planning method |
| US9481277B1 (en) * | 2015-09-23 | 2016-11-01 | Ford Global Technologies, Llc | Adjustable headrest |
| US9632502B1 (en) | 2015-11-04 | 2017-04-25 | Zoox, Inc. | Machine-learning systems and techniques to optimize teleoperation and/or planner decisions |
| US9734455B2 (en) | 2015-11-04 | 2017-08-15 | Zoox, Inc. | Automated extraction of semantic information to enhance incremental mapping modifications for robotic vehicles |
| US9606539B1 (en) | 2015-11-04 | 2017-03-28 | Zoox, Inc. | Autonomous vehicle fleet service and system |
| RU2617727C1 (ru) * | 2015-12-02 | 2017-04-26 | Общество с ограниченной ответственностью "КБ Аврора" | Способ определения относительного взаимного положения ведущего и ведомого транспортного средства и устройство для его осуществления |
| US10220752B2 (en) * | 2016-01-13 | 2019-03-05 | Ford Global Technologies, Llc | Adjustable headrest assembly with neck support feature |
| US9940834B1 (en) | 2016-01-22 | 2018-04-10 | State Farm Mutual Automobile Insurance Company | Autonomous vehicle application |
| US10088553B2 (en) * | 2016-03-14 | 2018-10-02 | GM Global Technology Operations LLC | Method of automatic sensor pose estimation |
| JP6480366B2 (ja) * | 2016-03-14 | 2019-03-06 | 株式会社Ｓｏｋｅｎ | 自動運転制御装置、自動運転制御方法、および運転情報出力方法 |
| WO2017161054A1 (en) | 2016-03-15 | 2017-09-21 | Solfice Research, Inc. | Systems and methods for providing vehicle cognition |
| WO2017158658A1 (ja) * | 2016-03-16 | 2017-09-21 | パナソニックＩｐマネジメント株式会社 | 運転解析装置及び運転解析システム |
| JPWO2017158768A1 (ja) * | 2016-03-16 | 2018-10-11 | 本田技研工業株式会社 | 車両制御システム、車両制御方法、および車両制御プログラム |
| US11318950B2 (en) * | 2016-03-29 | 2022-05-03 | Pioneer Corporation | Calculation apparatus, control method, program and storage medium |
| JP6500826B2 (ja) * | 2016-04-08 | 2019-04-17 | トヨタ自動車株式会社 | 乗員保護装置 |
| US20200222010A1 (en) | 2016-04-22 | 2020-07-16 | Newton Howard | System and method for deep mind analysis |
| US20180188736A1 (en) | 2016-08-16 | 2018-07-05 | Faraday&Future Inc. | System and method for vehicle localization assistance using sensor data |
| US20180053102A1 (en) | 2016-08-16 | 2018-02-22 | Toyota Jidosha Kabushiki Kaisha | Individualized Adaptation of Driver Action Prediction Models |
| US10592805B2 (en) | 2016-08-26 | 2020-03-17 | Ford Global Technologies, Llc | Physics modeling for radar and ultrasonic sensors |
| GB201616097D0 (en) | 2016-09-21 | 2016-11-02 | Univ Oxford Innovation Ltd | Segmentation of path proposals |
| US10599150B2 (en) | 2016-09-29 | 2020-03-24 | The Charles Stark Kraper Laboratory, Inc. | Autonomous vehicle: object-level fusion |
| US20180113210A1 (en) | 2016-10-21 | 2018-04-26 | Waymo Llc | Mountable Radar System |
| US20180136332A1 (en) | 2016-11-15 | 2018-05-17 | Wheego Electric Cars, Inc. | Method and system to annotate objects and determine distances to objects in an image |
| US10816346B2 (en) | 2016-12-30 | 2020-10-27 | DeepMap Inc. | Occupancy map updates based on sensor data collected by autonomous vehicles |
| EP3566078A1 (en) * | 2017-01-03 | 2019-11-13 | Innoviz Technologies Ltd. | Lidar systems and methods for detection and classification of objects |
| US10145945B2 (en) | 2017-01-11 | 2018-12-04 | Toyota Research Institute, Inc. | Systems and methods for automatically calibrating a LIDAR using information from a secondary vehicle |
| US10409279B2 (en) | 2017-01-31 | 2019-09-10 | GM Global Technology Operations LLC | Efficient situational awareness by event generation and episodic memory recall for autonomous driving systems |
| US10127814B2 (en) | 2017-02-03 | 2018-11-13 | Ford Global Technologies, Llc | Advanced V2X event dissemination |
| JP6542824B2 (ja) * | 2017-03-13 | 2019-07-10 | ファナック株式会社 | 入力画像から検出した対象物の像の尤度を計算する画像処理装置および画像処理方法 |
| US10252688B2 (en) * | 2017-03-22 | 2019-04-09 | Ford Global Technologies, Llc | Monitoring a vehicle cabin |
| US10037613B1 (en) | 2017-03-30 | 2018-07-31 | Uber Technologies, Inc. | Systems and methods to track vehicles proximate perceived by an autonomous vehicle |
| JP2018176792A (ja) * | 2017-04-03 | 2018-11-15 | 本田技研工業株式会社 | 車両シート制御装置、車両シート制御方法、及びプログラム |
| CN110800273B (zh) * | 2017-04-24 | 2024-02-13 | 卡内基梅隆大学 | 虚拟传感器*** |
| US10262234B2 (en) | 2017-04-24 | 2019-04-16 | Baidu Usa Llc | Automatically collecting training data for object recognition with 3D lidar and localization |
| US10007269B1 (en) | 2017-06-23 | 2018-06-26 | Uber Technologies, Inc. | Collision-avoidance system for autonomous-capable vehicle |
| US11209825B2 (en) | 2017-07-01 | 2021-12-28 | International Business Machines Corporation | Moving traffic obstacle detection and avoidance |
| US10416681B2 (en) | 2017-07-12 | 2019-09-17 | Mitsubishi Electric Research Laboratories, Inc. | Barcode: global binary patterns for fast visual inference |
| US10558224B1 (en) | 2017-08-10 | 2020-02-11 | Zoox, Inc. | Shared vehicle obstacle data |
| US10216189B1 (en) | 2017-08-23 | 2019-02-26 | Uber Technologies, Inc. | Systems and methods for prioritizing object prediction for autonomous vehicles |
| US10503170B2 (en) | 2017-08-28 | 2019-12-10 | GM Global Technology Operations LLC | Method and apparatus for monitoring an autonomous vehicle |
| US10591605B2 (en) | 2017-10-19 | 2020-03-17 | Gerard Dirk Smits | Methods and systems for navigating a vehicle including a novel fiducial marker system |
| EP3477616A1 (en) * | 2017-10-27 | 2019-05-01 | Sigra Technologies GmbH | Method for controlling a vehicle using a machine learning system |
| CN107627564A (zh) * | 2017-11-02 | 2018-01-26 | 东莞市欧若拉精密塑料制品有限公司 | 模具及其抽芯强脱顶出机构 |
| US11644834B2 (en) | 2017-11-10 | 2023-05-09 | Nvidia Corporation | Systems and methods for safe and reliable autonomous vehicles |
| US11017550B2 (en) | 2017-11-15 | 2021-05-25 | Uatc, Llc | End-to-end tracking of objects |
| US11232350B2 (en) | 2017-11-29 | 2022-01-25 | Honda Motor Co., Ltd. | System and method for providing road user classification training using a vehicle communications network |
| US10514462B2 (en) | 2017-12-13 | 2019-12-24 | Luminar Technologies, Inc. | Training a machine learning based model of a vehicle perception component based on sensor settings |
| US10599929B2 (en) | 2018-01-04 | 2020-03-24 | Motionloft, Inc. | Event monitoring with object detection systems |
| US11022971B2 (en) | 2018-01-16 | 2021-06-01 | Nio Usa, Inc. | Event data recordation to identify and resolve anomalies associated with control of driverless vehicles |
| JP6819620B2 (ja) * | 2018-01-23 | 2021-01-27 | トヨタ自動車株式会社 | 車両用シート及び車両 |
| US10915101B2 (en) | 2018-02-02 | 2021-02-09 | Uatc, Llc | Context-dependent alertness monitor in an autonomous vehicle |
| US11386055B2 (en) | 2018-02-23 | 2022-07-12 | Toyota Research Institute, Inc. | Adaptive storage of data captured by one or more vehicles |
| US11073618B2 (en) * | 2018-04-03 | 2021-07-27 | GM Global Technology Operations LLC | Optical amplifier in return path of coherent lidar system |
| US11550061B2 (en) | 2018-04-11 | 2023-01-10 | Aurora Operations, Inc. | Control of autonomous vehicle based on environmental object classification determined using phase coherent LIDAR data |
| US10676085B2 (en) * | 2018-04-11 | 2020-06-09 | Aurora Innovation, Inc. | Training machine learning model based on training instances with: training instance input based on autonomous vehicle sensor data, and training instance output based on additional vehicle sensor data |
| US11164016B2 (en) | 2018-05-17 | 2021-11-02 | Uatc, Llc | Object detection and property determination for autonomous vehicles |
| US10755575B2 (en) | 2018-08-30 | 2020-08-25 | Cisco Technology, Inc. | Raw sensor data sharing for enhanced fleet-wide environmental awareness and safety |
| US11182986B2 (en) | 2018-10-10 | 2021-11-23 | Micron Technology, Inc. | Real-time selection of data to collect in autonomous vehicle |
| US11163998B2 (en) | 2018-10-22 | 2021-11-02 | Woven Planet North America, Inc. | Systems and methods for automated image labeling for images captured from vehicles |
| US10928826B2 (en) | 2018-10-26 | 2021-02-23 | Lyft, Inc. | Sensor fusion by operations-control vehicle for commanding and controlling autonomous vehicles |
| US11086319B2 (en) | 2018-11-02 | 2021-08-10 | Aurora Operations, Inc. | Generating testing instances for autonomous vehicles |
| US11403492B2 (en) | 2018-11-02 | 2022-08-02 | Aurora Operations, Inc. | Generating labeled training instances for autonomous vehicles |
| US11209821B2 (en) | 2018-11-02 | 2021-12-28 | Aurora Operations, Inc. | Labeling autonomous vehicle data |
| US11829143B2 (en) | 2018-11-02 | 2023-11-28 | Aurora Operations, Inc. | Labeling autonomous vehicle data |
| US11256263B2 (en) | 2018-11-02 | 2022-02-22 | Aurora Operations, Inc. | Generating targeted training instances for autonomous vehicles |
-
2018
- 2018-10-29 US US16/173,669 patent/US10676085B2/en active Active
- 2018-10-29 US US16/173,660 patent/US10906536B2/en active Active
-
2019
- 2019-03-28 WO PCT/US2019/024672 patent/WO2019199474A1/en unknown
- 2019-03-28 WO PCT/US2019/024675 patent/WO2019199475A2/en active Application Filing
- 2019-03-28 CN CN202410514262.3A patent/CN118323188A/zh active Pending
- 2019-03-28 KR KR1020227038243A patent/KR102497330B1/ko active IP Right Grant
- 2019-03-28 KR KR1020207031853A patent/KR102464758B1/ko active IP Right Grant
- 2019-03-28 CN CN201980024410.0A patent/CN112313133B/zh active Active
- 2019-03-28 EP EP19722966.9A patent/EP3774477B1/en active Active
- 2019-03-28 JP JP2020555890A patent/JP7358384B2/ja active Active
-
2020
- 2020-05-07 US US16/869,438 patent/US11358601B2/en active Active
- 2020-12-28 US US17/135,171 patent/US11654917B2/en active Active
-
2023
- 2023-04-11 US US18/133,509 patent/US11964663B2/en active Active
-
2024
- 2024-03-11 US US18/601,710 patent/US20240217520A1/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1298454A2 (de) * | 2001-09-28 | 2003-04-02 | IBEO Automobile Sensor GmbH | Verfahren zur Erkennung und Verfolgung von Objekten |
| EP1531343A1 (de) * | 2003-11-14 | 2005-05-18 | IBEO Automobile Sensor GmbH | Verfahren zur Verfolgung von Objekten |
| US20140368493A1 (en) * | 2013-06-14 | 2014-12-18 | Microsoft Corporation | Object removal using lidar-based classification |
| EP3285230A1 (en) * | 2016-08-19 | 2018-02-21 | Autoliv Development AB | Enhanced object detection and motion estimation for a vehicle environment detection system |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2019199475A2 (en) | 2019-10-17 |
| US10676085B2 (en) | 2020-06-09 |
| US11654917B2 (en) | 2023-05-23 |
| EP3774477B1 (en) | 2022-12-07 |
| US20190315351A1 (en) | 2019-10-17 |
| CN112313133A (zh) | 2021-02-02 |
| US11964663B2 (en) | 2024-04-23 |
| CN112313133B (zh) | 2024-05-17 |
| WO2019199474A1 (en) | 2019-10-17 |
| US10906536B2 (en) | 2021-02-02 |
| US20230271615A1 (en) | 2023-08-31 |
| KR20220151039A (ko) | 2022-11-11 |
| US11358601B2 (en) | 2022-06-14 |
| JP2021521050A (ja) | 2021-08-26 |
| KR102497330B1 (ko) | 2023-02-07 |
| US20210146932A1 (en) | 2021-05-20 |
| US20240217520A1 (en) | 2024-07-04 |
| EP3774477A1 (en) | 2021-02-17 |
| US20190318206A1 (en) | 2019-10-17 |
| US20200391736A1 (en) | 2020-12-17 |
| KR102464758B1 (ko) | 2022-11-08 |
| CN118323188A (zh) | 2024-07-12 |
| WO2019199475A3 (en) | 2019-11-28 |
| JP7358384B2 (ja) | 2023-10-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102464758B1 (ko) | 추가 차량의 결정된 요 파라미터(들)에 근거한 자율주행 차량 제어 | |
| KR102481638B1 (ko) | 위상 코히어런트 라이다 데이터를 사용하여 결정된 환경 객체 분류에 기반한 자율주행 차량 제어 | |
| US10620634B2 (en) | Vehicle interface for autonomous vehicle | |
| US20220128995A1 (en) | Velocity estimation and object tracking for autonomous vehicle applications | |
| Kelly | A partial analysis of the high speed autonomous navigation problem | |
| US11693110B2 (en) | Systems and methods for radar false track mitigation with camera | |
| US11531113B1 (en) | System and methods for object detection and tracking using a lidar observation model | |
| WO2022005778A1 (en) | Lidar system | |
| US11859994B1 (en) | Landmark-based localization methods and architectures for an autonomous vehicle | |
| EP4184204A1 (en) | Methods and systems for reducing lidar memory load | |
| Kelly | AD-A282 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| A107 | Divisional application of patent | ||
| GRNT | Written decision to grant |