JP2023548272A - 交差する確率に基づく安全システム資源の割り当て - Google Patents
交差する確率に基づく安全システム資源の割り当て Download PDFInfo
- Publication number
- JP2023548272A JP2023548272A JP2023514398A JP2023514398A JP2023548272A JP 2023548272 A JP2023548272 A JP 2023548272A JP 2023514398 A JP2023514398 A JP 2023514398A JP 2023514398 A JP2023514398 A JP 2023514398A JP 2023548272 A JP2023548272 A JP 2023548272A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- probability
- path
- determining
- intersection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 92
- 238000012545 processing Methods 0.000 claims description 37
- 230000001133 acceleration Effects 0.000 claims description 30
- 230000009471 action Effects 0.000 claims description 23
- 238000010801 machine learning Methods 0.000 claims description 15
- 238000009826 distribution Methods 0.000 claims description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 230000001419 dependent effect Effects 0.000 claims description 2
- 238000004590 computer program Methods 0.000 claims 1
- 230000015654 memory Effects 0.000 description 55
- 230000008447 perception Effects 0.000 description 26
- 230000008569 process Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 17
- 238000004891 communication Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 12
- 238000012549 training Methods 0.000 description 12
- 230000006399 behavior Effects 0.000 description 11
- 230000004807 localization Effects 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 7
- 238000013473 artificial intelligence Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 6
- 239000003795 chemical substances by application Substances 0.000 description 6
- 230000001953 sensory effect Effects 0.000 description 6
- 238000003860 storage Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000002452 interceptive effect Effects 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 5
- 238000004088 simulation Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 238000003491 array Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000006467 substitution reaction Methods 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 230000006698 induction Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000012628 principal component regression Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000013179 statistical model Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 230000003936 working memory Effects 0.000 description 2
- 206010001488 Aggression Diseases 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000016571 aggressive behavior Effects 0.000 description 1
- 208000012761 aggressive behavior Diseases 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011143 downstream manufacturing Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000007620 mathematical function Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000013488 ordinary least square regression Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
- B60W60/00276—Planning or execution of driving tasks using trajectory prediction for other traffic participants for two or more other traffic participants
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/095—Predicting travel path or likelihood of collision
- B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
- B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
- B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
- B60R21/0132—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to vehicle motion parameters, e.g. to vehicle longitudinal or transversal deceleration or speed value
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/095—Predicting travel path or likelihood of collision
- B60W30/0953—Predicting travel path or likelihood of collision the prediction being responsive to vehicle dynamic parameters
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/161—Decentralised systems, e.g. inter-vehicle communication
- G08G1/163—Decentralised systems, e.g. inter-vehicle communication involving continuous checking
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/90—Single sensor for two or more measurements
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2520/00—Input parameters relating to overall vehicle dynamics
- B60W2520/10—Longitudinal speed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
- B60W2554/404—Characteristics
- B60W2554/4042—Longitudinal speed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
- B60W2554/404—Characteristics
- B60W2554/4045—Intention, e.g. lane change or imminent movement
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/80—Spatial relation or speed relative to objects
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/18—Propelling the vehicle
- B60W30/18009—Propelling the vehicle related to particular drive situations
- B60W30/18154—Approaching an intersection
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Traffic Control Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Abstract
Description
本発明は、交差する確率に基づく安全システム資源の割り当てに関する。
本出願は、2020年11月5日に出願された「ALLOCATION OF SAFETY SYSTEM RESOURCES BASED ON PROBABILITY OF INTERSECTION」という名称の米国特許出願第17/090,712号明細書に対する優先権を主張し、参照により本明細書に完全に組み込まれる。
自律車両および半自律車両におけるプランニングシステムは、動作環境に取り込まれる車両に対して実行するアクションを決定する。車両に対するアクションは、環境において存在するオブジェクトを回避することに部分的に基づいて決定され得る。例えば、アクションは、二重駐車を迂回すること、道路内の別の車両を避けるために車線を変更すること等が生成され得る。プランニングシステムは、任意の数の動作(例えば、シミュレーションなど)を実行し、車両の可能性のあるアクションに、検出された各オブジェクトが及ぼす影響を決定し得る。しかしながら、多数のオブジェクトが存在する環境では、検出されたオブジェクト毎にこのような動作を実行することは、計算的にコストがかかり、いくつかの事例では、基盤の計算能力では不可能である。
詳細な説明は添付の図面を参照して説明される。図面において、参照番号の左端の数字は参照番号が最初に現れる図を特定している。異なる図面における同じ参照番号の使用は類似または同一のコンポーネントまたは特徴を示す。
本開示は、車両の環境内で検出されたオブジェクトとの衝突を予測し、回避し、どのオブジェクトがさらに処理されるべきかを決定するための技術に関するものである。車両は、環境内のオブジェクトを検出する1つまたは複数のセンサを含んだ自律車両であり得る。いくつかの例では、車両安全システムは、オブジェクトと関連付けられた状態データを受け入れることができ、この状態データを使用して、オブジェクトが、車両の計画された経路と交差する種々の経路を辿るであろう確率を決定し得る。車両とオブジェクトとの、衝突の可能性があるポイントおよび/または交差時間は、車両情報(例えば、車両の現在の軌道、車両のスピード、車両の計画された経路、など)およびオブジェクト情報(例えば、オブジェクトの現在の軌道および/またはスピード、オブジェクトの、1つまたは複数の予測された軌道および/またはスピード)に基づいて決定され得る。様々な例では、車両安全システムは、入力として、オブジェクトが種々の経路を辿るであろう確率、衝突の可能性があるポイント、および/または可能性のある交差時間を受け入れ、将来の時間において環境内で車両とオブジェクトとが交差する確率を出力し得る、モデルを実施し得る。本明細書で説明される技術を使用することにより、車両は、車両が使用可能なモデルから交差バリューを受け入れることができ、それにより、車両の計画された経路が、オブジェクトと交差するという結果にならないであろうことを迅速に検証することができ、したがって、車両の安全性が改善する。
通常、モデルは、車両と衝突、またはそうでなければ車両を邪魔する最も高い確率を有するオブジェクトを識別することにより、注意システムの機能性を車両安全システムに提供することができ、それにより、車両安全システムは、車両と衝突またはそうでなければ車両を邪魔する可能性が最も高いオブジェクトに処理資源を割り当てることが可能である。その結果、いくつかの例では、モデルは、車両を邪魔する、種々の確率を有するオブジェクトを識別するように構成されることができ、オブジェクトに対するさらなる処理の種々のレベルを提供し得る(例えば、車両と衝突する最も高い確率を有するオブジェクトは、車両を邪魔するより低い確率を有するオブジェクトに対して、追加のおよび/またはより計算的に集中的な処理(例えば、シミュレーション、推定された状態、相互モデリング、衝突推定、など)を被り得る)。このように、車両安全システムは、車両と衝突するまたは車両の邪魔をする最も高い確率を有するオブジェクトに、より処理資源を充てるように構成される。いくつかの例では、車両コンピューティングデバイスは、モデルからの出力を代表する1つまたは複数の命令を受け入れることに少なくとも部分的に基づいて、環境内の車両を制御し得る。
いくつかの例では、本明細書で説明されるように、衝突を予測し、回避する技術は、制約されたプラットフォーム資源で運用されている(例えば、プロセッサおよび/またはメモリ容量が制限されている)車両安全システムの一部として実施され得る。このような例では、モデルは、比較的簡単な計算(例えば、オブジェクトが多数の経路のうちの1つをとる確率を予測すること)を実行すること、衝突の可能性がある位置と時間を有限数に限定して計算を行うこと、および、可能性のある交差位置および時間において、オブジェクトとの交差の確率を決定すること、が可能である。このように、モデルは、よりプロセスが集中的なモデルまたは構成要素により、どのオブジェクトがさらに処理されるかを決定するためのフィルターとして振る舞う交差バリューを、出力することが可能である。この資源節約は、車両と衝突するまたはそうでなければ車両を邪魔する最も高い確率を有するオブジェクトにより多くの処理資源を充てることが可能であることを意味する。
いくつかの例では、環境内のオブジェクトと関連付けられた交差バリューを決定するための技術は、モデルを適用すること、または訓練することを含むことが可能であり、それにより、オブジェクトが車両と交差するであろう可能性を予測し、またはそうでなければ決定することが可能である。いくつかの複雑な環境では、車両の動作に影響を与え得るオブジェクト(例えば、衝突の見込み、またはオブジェクトを回避するために車両に軌道を変更させる、など)と、車両の動作に影響を与え得ないオブジェクトとを識別することが難しい。本明細書で説明される技術を使用し、車両と衝突するオブジェクトの確率を決定することにより、コンピューティングデバイスは、最も関連あるオブジェクト(例えば、車両の動作に影響を与えるより高い可能性を有するオブジェクト)に対する計算資源を、直接利用することができる。いくつかの例では、コンピューティングデバイスは、1つまたは複数のモデルからの出力に基づいて、車両が計画されている間、最も関連あるオブジェクトに対する計算資源を直接に利用することができ、したがって、車両が環境内で走行間、車両の安全性が改善される。さらに、より少ない関連あるオブジェクトに対してより少ない計算資源を割くことにより、モデルおよび/または構成要素(例えば、車両安全システム、プランニング構成要素、など)は、最も関連あるオブジェクトとの衝突の可能性を予測すること、および/または、そのような予測された衝突を回避または軽減する応答を決定すること、により多くの計算資源を充てることが可能になる。
いくつかの例では、車両は、車両の1つまたは複数のセンサからセンサデータを受け入れるように構成された車両コンピューティングデバイスを有する自立車両または半自立車両を含み得る。環境内で走行する間、車両は1つまたは複数のセンサを使用してオブジェクトを検出し得る。オブジェクトは、静的オブジェクト(例えば、建物、橋、標識、など)および他の車両のような動的オブジェクト(例えば、車、トラック、オートバイ、原動機付き自転車、など)、歩行者、自転車乗り等が含まれ得る。いくつかの例では、オブジェクトは、車両のセンサ(例えば、カメラ、動き検出、lidarセンサ、radarセンサ、など)からのセンサデータに基づいて検出され得る。別の例では、オブジェクトは、例えば、別の車両と関連付けられたセンサ、または、多様な車両とデータが共有されるように構成された環境内に位置されたセンサのような、リモートセンサから受け入れたセンサデータに基づいて検出され得る。検出されたオブジェクトを表すセンサデータは、経路に沿って、オブジェクトとの交差の見込みを予測するためのモデルにより使用可能な状態データを決定するために使用され得る。
いくつかの例では、車両は、車両安全システムの改善されたパフォーマンスのために、車両コンピューティングデバイスから分離して実施された車両安全システムを含むことができ、および/または、冗長性、エラーチェッキング、および/または決定の検証および/または車両コンピューティングデバイスにより決定されたコマンドを提供することを含み得る。しかしながら、他の例では、車両安全システムは、同じ車両コンピューティングデバイス内で、1つまたは複数の構成要素として実施され得る。
例として、車両コンピューティングデバイスは、主システムであると考えることができ、一方で、車両安全システムは補助的なシステムであると考えることができる。主システムは、通常、環境内でどのように車両を操作するかということを制御する処理を実行する。主システムは、機械学習のような様々な人工知能(AI)技術を実施することができ、それにより車両の周りの環境を理解し、および/または、車両に対して環境内で移動するよう命令する。例えば、主システムは、AI技術を実施することができ、それにより、車両の位置特定をすること、車両の周りのオブジェクトを検出すること、センサデータをセグメント化すること、車両の分類を決定すること、オブジェクトトラックを予測すること、車両および車両の周りのオブジェクトに対して軌道を生成すること、などができる。
いくつかの例では、車両安全システムは、センサデータおよび主システム(例えば、車両コンピューティングシステム)によって実施されたAI技術に基づく状態データ(例えば、知覚データ)を受け入れる分離したシステムとして動作することができ、また、衝突予測および車両による回避を改善するための本明細書で説明される様々な技術を実行し得る。
本明細書で説明されるように、モデルは、機械学習されたモデル、統計モデル、またはそれらの組合せ、を代表するものであり得る。すなわち、モデルは、出力(例えば、予測)の正確性を改善する訓練データセットから学習された機械学習モデルを指し得る。追加的または代替的に、モデルは、予測をするために使用可能な近似値を生成する論理関数および/または数学関数を代表する統計モデルを指し得る。
いくつかの例では、車両安全システムは、現在の時間(例えば、第1の時間)におけるオブジェクトと関連付けられた状態データを決定し得る。例えば、状態データは、オブジェクトと関連付けられた位置データ、速度データ、およびヨー割合データ、の1つまたは複数を含み得る。様々な例では、車両安全システムは、ヨー割合データに基づいたオブジェクトの1つまたは複数の可能性のある進行方向を決定し得る。いくつかの例では、車両安全システムは、オブジェクトの現在の位置を示すヨー割合データおよび位置データに基づく車両と交差するオブジェクトに対して、1つまたは複数の経路を決定し得る。少なくともいくつかの例では、そのような1つまたは複数の経路は、車両の別の構成要素によって予測された名目上の経路と関連付けられた不確実性のレベルに部分的に基づいて決定され得る。非限定的な例として、そのような名目上の予測された経路は、約5度のヨー(または進行方向)で不確実性と関連付けられることができ、多様な経路が、線形、非線形で決定され、またはそうでなければ、名目上の経路の不確実性の中で、可能性のある経路の範囲を超えて配分され得る。
例として限定ではなく、車両が、オブジェクトに対して迅速にかつ正確に応答することができるようにするため、モデルは、車両に対して軌道を計画するように構成されたプランニング構成要素に、および/または、環境を感知するように構成された知覚構成要素に、交差情報(例えば、オブジェクトがどの程度車両と衝突しそうか、衝突する確率によって順序付けられたオブジェクト、関連するオブジェクト、関連しないオブジェクト、など)を送り得る。このように、モデルからの交差バリューは、計画されている動作(例えば、オブジェクトを回避すること)の間、および/または、知覚動作(例えば、関連するオブジェクトについてより高いレベルの知覚、および/または、関連の少ないオブジェクトについてより低いレベルの知覚を捉えるように、1つまたは複数のセンサに指示すること)の間、考慮されることが可能である。
いくつかの例では、車両安全システムは、1つまたは複数の経路それぞれについて、オブジェクトがそれぞれの経路を辿る確率を決定し得る。例として、モデルは、入力として、オブジェクトと関連付けられた状態データを受け入れることができ、また、オブジェクトが経路を辿る可能性を示すバリューを出力し得る。いくつかの例では、確率は、オブジェクトの現在の状態に、および、ある場合では、オブジェクトの以前の状態に、少なくとも部分的に基づき得る。例えば、モデルによって出力された第1のバリューは、オブジェクトが第1の経路を辿るであろう可能性が90%であると示すことができ、モデルによって出力された第2のバリューは、オブジェクトが第1の経路とは異なる第2の経路を辿るであろう可能性が70%であると示すことができる。様々な例では、車両安全システム(例えば、車両コンピューティングデバイス)から分離したモデルは、経路および/またはオブジェクトが特定の経路を辿るであろう可能性を表すデータを提供することが可能である。
いくつかの例では、車両安全システムは、1つまたは複数の経路のそれぞれについて、車両の軌道と各それぞれの経路との間の交差ポイントを決定し得る。いくつかの例では、車両安全システムは、1つまたは複数の経路のそれぞれについて、将来の時間において、車両とオブジェクトとが交差する時間を決定し得る。例として、車両安全システムは、プランニング構成要素から車両の軌道を受け入れることができ、車両の軌道に少なくとも部分的に基づいた交差ポイントおよび/または交差時間を計算し得る。交差ポイントおよび/または交差時間を決定することについての追加の詳細は、図3,図4Aおよび図4Bに関して含みながら本明細書で説明される。
いくつかの例では、モデルへの入力は、オブジェクトが経路(または追加的な経路)を辿るであろう確率、1つまたは複数の交差ポイント、1つまたは複数の交差時間、不確実性バリュー、および/または状態データ、の1つまたは複数を含み得る。いくつかの例では、衝突空間は、車両安全システムによって決定されることができ、モデルへの入力としてさらに使用され得る。衝突空間は、オブジェクトの第1の速度(例えば、最小速度)を仮定した車両の軌道および経路の第1の交差ポイント、およびオブジェクトの第2の速度(例えば、最大速度)を仮定した車両の軌道および経路の第2の交差ポイント、が画定された衝突領域を表す。
様々な例では、モデルは、前述した入力の任意の1つまたは複数に少なくとも部分的に基づいて出力を提供し得る。説明のために、車両が環境を走行し、歩行者のような動的オブジェクトを検出する、そのような非限定的な例を考える。このような例では、状態データは、ヨー割合データに基づいて、車両やオブジェクトの進行方向に対する歩行者の位置を示す。コンピューティングデバイスは、歩行者と車両との交差が発生するか否かの全体的な確率を決定するために、歩行者が辿り得る多数の経路と、多数の経路のそれぞれに沿った交差ポイントを決定し得る。様々な例では、歩行者の交差に対する全体的な確率は、モデルによって処理された他のオブジェクトと比較した重要性によって、ランク付けまたはそうでなければ順序付けされ得る(例えば、モデルは、モデルによって出力された交差バリューとより低い関連性を有する車両のような別のオブジェクトよりも、歩行者が、車両と交差する可能性がより高いことを示し得る)。
上記で述べたように、モデルによって出力された交差バリューは、様々な方法で使用され得る。例として、モデルからの1つまたは複数のバリューは、車両コンピューティングデバイスにより使用され、車両のアクションを決定し得る(例えば、車両を制御する、センサを調整する、知覚データを決定する、など)。いくつかの例では、車両を制御することは、車両を止めること、環境内で車両が辿るべき軌道を決定すること、および/または、車両のブレーキシステム、加速度システム、または駆動システム、のうちの少なくとも1つを制御することを含み得る。
いくつかの例では、車両コンピューティングデバイスは、オブジェクトが車両の動作に影響を与える可能性が高いという高信頼性をモデルが出力する、そのような領域下で、知覚の種々のレベルを決定し得る(例えば、関連付けられた交差バリューによって示されるように)。例として、モデルから出力された交差バリューに基づいて、オブジェクト(例えば、別の車両、自転車乗り、オートバイ、トラック、など)が、車両と交差する経路上にある、という高い自信がある場合、その結果、車両の知覚構成要素は、オブジェクトの領域に1つまたは複数のセンサが焦点を当てるように修正することが可能である。別の非限定的な例として、車両コンピューティングデバイスは、モデルにより知覚機能性を開始して、オブジェクトによる急な動きや不規則な挙動を検出するような、知覚の種々のレベルを決定し得る。交差バリューに基づいた知覚を向上させることによって、モデルを実施しない場合と比べて、車両は、環境内でより安全に走行することが可能である。このような例の任意の例では、追加のモデルが使用されることができ、より複雑なモデルが使用されることができ、冗長モデルが使用されること等ができる。
車両コンピューティングシステムは、メモリの量、メモリの種類、および/またはメモリの位置を割り当てることができ、それにより、可能性のあるオブジェクトの衝突を予測するモデルに対して、利用可能なメモリ資源を最大限利用し得る。いくつかの例では、モデルは、車両から離れたメモリ資源を利用し得る(例えば、離れたサーバまたは離れた車両)。車両の動作に影響を与えないと決定された検出されたオブジェクトは、種々の予測処理を実行するモデルと関連付けられることができ(例えば、利用可能なメモリ資源にアクセスすることがより少ない)、それにより、車両の動作に影響を与えるより高い可能性を有するオブジェクトに対応するモデルに対して、より多くのメモリ資源が利用可能となる。
いくつかの例では、モデルは、オブジェクトの経路が車両と交差する可能性が高いかどうかを予測するために使用する処理資源を画定し得る。モデルを実施する車両コンピューティングシステムは、種々のプロセッサ(例えば、中央処理装置(CPUs)、グラフィックス処理装置(GPU)、マルチコアプロセッサ、など)を有し得る。モデルは処理資源を画定し、最も効率良く(例えば、最小量の計算時間を使う)予測を出力するプロセッサを利用し得る。いくつかの例では、モデルは、GPU、CPU、またはそれらの組合せを使用してオブジェクトの処理をすることにより、交差バリューを予測し得る。このように、各モデルは画定され、モデルが最小量の時間(例えば、車両のプランニングを考慮する交差バリューを使用すること)で予測を実行することを可能にする処理資源を利用し得る。したがって、モデルは、利用可能な処理資源を最大限利するためにオブジェクトに対して割り当てられることができ、オブジェクトに関して車両がどのように走行するかを改善する、より多くの予測を可能にし得る。
本明細書で説明される技術は、様々な方法で車両のコンピューティングデバイスの機能性を改善することが可能である。例えば、モデルは、車両コンピューティングデバイスによるさらなる処理のためのオブジェクトを識別するおよび/または優先順位を付ける注意システム(例えば、車両安全システムおよび/または既存の知覚構成要素に対する冗長性)として振る舞い得る。いくつかの例では、注意システムは、主車両コンピューティングデバイスから分離され得る(例えば、モデルは、車両コンピューティングデバイス504から独立している車両安全システム534の部分として含まれ得る)。技術は、利用可能な資源への影響を制限(モデルを実施しない場合と比較して)する動作を実行することにより、利用可能な計算資源を最適化するモデルを含むことが可能である。車両コンピューティングデバイスによる交差バリューを利用することは、例として、正確性を改善すること、および/または、環境における可能性のある衝突に応答する車両の待ち時間を軽減すること、が可能である。
本明細書で説明される技術は、複数の方法で実施されることが可能である。例示的な実施は、添付図面を参照して下記で提供される。自律車両の文脈において説明されるが、本明細書で説明される方法、装置、およびシステムは、多様なシステムに適用されることが可能であり、自律車両に限定されない。別の例では、技術は、飛行または海事の状況で、または、センサデータを使用する任意のシステムにおいて、利用されることが可能である。さらに、そのような緊急車両と関連付けられた緊急車両または音響の文脈において論じられるが、技術は、音響の任意の種類またはカテゴリーに適用することが可能であり、本明細書で論じられる特定の例示に限定されない。追加的に、本明細書で説明される技術は、現実のデータ(例えば、捉えて使用するセンサデータ)、シミュレーションデータ(例えば、シミュレーションにより生成される)、またはこれら二つの任意の組合せ、を使用することが可能である。
図1は、環境100における自立車両102(車両102)を示す図であり、そこで例示的な衝突モデル(モデル構成要素104)は、1つまたは複数の交差バリュー(交差バリュー106)を決定し得る。車両コンピューティングデバイス(例えば、コンピューティングデバイス504)および/または車両安全システム(例えば、車両安全システム534)は、車両102の分類モデルを実施し得る。分離したシステムとして説明されるが、いくつかの例では、本明細書で説明される分類技術は、他の車両システム、構成要素、および/またはコンピューティングデバイスによって実施され得る。例えば、および図5に関してさらに詳細に説明されるように、本明細書で説明される交差情報技術は、位置特定構成要素520、知覚構成要素522,および/またはプランニング構成要素524によって、またはこれらと関連付けられて、少なくとも部分的に実施され得る。
様々な例では、車両安全システムは、知覚構成要素(例えば、知覚構成要素522)を介してなどして、環境100のオブジェクトを表すセンサデータを受け入れるように構成され得る。いくつかの例では、車両安全システムは、環境100内のオブジェクトの特性を表す状態データを、検出し、推測し、概算し、またはそうでなければ決定し得る。いくつかの例では、センサは、車両102に実装されたセンサを含むことができ、および、限定ではなく、超音波センサ、radarセンサ、光検出と測距(lider)センサ、カメラ、マイク、慣性センサ(例えば、慣性測定ユニット、加速度計、ジャイロス、など)、全地球測位システム(GPS)センサ、などを含み得る。いくつかの例では、センサは、例えば、別の自律車両に実装されたセンサ、および/または環境100で実装されているセンサ、などの1つまたは複数のリモートセンサを含み得る。様々な例では、車両102は、他の自律車両からデータを送る/または受け入れるように構成され得る。データは、環境100と関連付けられたセンサデータなどの、センサデータおよび/または状態データを含み得る。
いくつかの例では、車両安全システムは、オブジェクト108(例えば、歩行者)、オブジェクト110(例えば、車両)、オブジェクト112(例えば、歩行者)、およびオブジェクト114(例えば、建物)などの、環境100内のオブジェクトを検出するように構成され得る。いくつかの例では、車両安全システムは、検出されたオブジェクトそれぞれに対する1つまたは複数の経路を、受け入れ、検出し、推測し、概算し、またはそうでなければ決定し得る。図1に示されるように、歩行者108、車両110、および歩行者112のそれぞれは、車両安全システムにより決定された(例えば、モデル構成要素104または別のモデルを使用して、)2つ以上の経路(例えば、オブジェクト#1、オブジェクト#2など)と関連付けられる。各経路は、オブジェクトが経路を辿るであろう確率を示すバリューと関連付けられ得る。例として、モデル構成要素104は、車両110が第1の経路を辿る第1の確率を示す第1のバリュー、車両110が第2の経路を辿る第2の確率を示す第2のバリュー、車両110が第3の経路を辿る第3の確率を示す第3のバリュー、など、任意の数の経路を出力し得る。いくつかの例では、モデル構成要素104は、機械学習されたモデルから、経路を辿るオブジェクトと関連付けられた経路情報および/または確率を受け入れ得る。少なくともいくつかの例では、不確実性は、そのような経路と関連付けられることができ、1つまたは複数の経路は、少なくとも不確実性に部分的に基づいた名目上の経路について、線形または非線形に配分されるよう決定され得る。
いくつかの例では、モデル構成要素104は、歩行者108および車両110のような、2つ以上のオブジェクトに関連付けられた1つまたは複数の経路についての交差バリューを決定し得る。このような例では、モデル構成要素104により出力された交差バリュー106は、歩行者108または車両110のどちらが車両102の動作に影響を与えるより高い可能性と関連付けられるかを示し得る。このように、車両コンピューティングデバイスのプランニング構成要素(例えば、プランニング構成要素524)は、プランニング動作に使用されるモデル構成要素104から命令を受け入れ得る。
いくつかの例では、車両安全システムは、車両102と衝突する可能性によってオブジェクトをランク付けすることができ、いくつかの例では、他のモデルまたは他の構成要素を、より低いランク付けされたオブジェクトよりも、より高いランク付けされたオブジェクトを処理することに適用し得る。例として、より少ない計算パワーが、歩行者108の交差バリューより低い歩行者112の交差バリューに少なくとも部分的に基づいて、モデルが歩行者108と比較して歩行者112を処理すること、に使用され得る。
いくつかの例では、図2や他のどこかでさらに説明されるように、任意のオブジェクト経路の1つは、実質的に直線を表し得る。しかしながら、他の例では、車両安全システムは、検出されたオブジェクトに対してカーブした経路を決定し得る。交差バリューを決定することおよび利用することの追加の詳細は、この開示全体を通して説明される。
いくつかの例では、車両コンピューティングデバイスは、少なくとも1つまたは複数の交差バリュー106に少なくとも部分的に基づいて、環境内の車両102を制御し得る。例として、モデル構成要素104は、交差を引き起こす可能性が最も高いオブジェクトを識別すること、および、識別されたオブジェクトについての交差情報を、車両コンピューティングデバイスの他の構成要素と通信すること、によって、車両102に注意システムの機能性を提供し得る。したがって、交差バリューは、動作(例えば、シミュレーション、推定された状態、相互モデリング、衝突推定、など)、または他の車両制御プランニング動作において考慮され得る。
図2Aは、例示的な環境200Aを示す図であり、そこで1つまたは複数のモデルは、車両とオブジェクトとの交差ポイントおよび交差時間を決定する。例として、例示的な車両コンピューティングデバイス(例えば、車両コンピューティングデバイス504)および/または例示的な車両安全システム(例えば、車両安全システム534)は、例示的なモデル(モデル構成要素104)からの交差バリュー(交差バリュー106)に基づいて、車両(車両102)とオブジェクト(オブジェクト108)との交差ポイントおよび交差時間を決定し得る。
図2Aは、多様な種々の経路(例えば、202、204、206、208および210)と関連付けられたオブジェクト(例えば、車両108)を図示する。通常、経路202、経路204、経路206、経路208、および経路210の、1つまたは複数は、車両108が一時的な情報なしに空間を進み抜ける幾何学的な位置を表し得る。車両コンピューティングデバイスは、車両108の状態データに少なくとも部分的に基づいて、経路それぞれを決定し得る。例として、経路202、経路204、経路206,経路208、および経路210の、1つまたは複数は、車両108のヨーアングル(例えば、固定されたフレームに対するオブジェクトのアングル)に基づいて決定され得る。いくつかの例では、経路は、ヨー割合に少なくとも部分的に基づいて決定され得る(例えば、時間にわたるヨーの変化)。様々な例では、多様な種々の経路の1つまたは複数は、直線の経路に加えて、または直線に替えて、カーブを表し得る。
所定の経路について、車両安全システムは、様々な例では、衝突ポイント212、214、216、218、および220のような、1つまたは複数の衝突ポイント(例えば、オブジェクトと車両102とが重なり合うまたは交差する空間内のポイント)を決定し得る。衝突ポイント212、214、216、218、および220の各々は、異なる時間と関連付けられ得る。いくつかの例では、多様な衝突ポイントが、所定の経路について決定され得る。
いくつかの例では、車両安全システムは、所定の経路について、衝突ポイント212と関連付けられた交差時間t1、衝突ポイント214と関連付けられた交差時間t2、衝突ポイント216と関連付けられた交差時間t3、衝突ポイント218と関連付けられた交差時間t4、および、衝突ポイント220と関連付けられた交差時間t5、のような、1つまたは複数の交差時間を決定し得る。交差時間は、現在の時間(t0)からの時間を表すことができ、そこで車両108および車両102が重なり合うまたは交差する。
説明の目的のために、車両102は、全行程に対するすべてのセーフティクリティカルな機能を行うことが可能である車両について説明する米国道路交通***によって発行されたレベル5分類に従って動作するように構成された自律車両であることができ、運転手(または乗員)は、常時車両102を制御することが期待されない。このような例では、車両102は、全ての駐車機能を含む、開始から停止までの全ての機能を制御するように構成されることが可能であり、これは無人であることが可能である。これは例示に過ぎず、本明細書で説明されるシステムおよび方法は、あらゆる地上輸送車両、空中輸送車両、水上輸送車両へ組み込まれることが可能であり、運転者によって常時手動で制御されることが必要な車両から、部分的にまたは完全に自動的に制御される車両までの、それらの幅を含んでいる。車両102と関連付けられた追加的な詳細は、以下で説明される。
少なくとも1つの例では、車両安全システムは、車両102と関連付けられた軌道(例えば、方向、スピード、加速度、など)に少なくとも部分的に基づいて、衝突ポイントおよび/または交差時間を決定し得る。例として、プランニング構成要素(例えば、プランニング構成要素524)は、車両102の計画された軌道を、モデル構成要素104へ送り得る。様々な例では、交差時間は、現在の時間から、車両108との重なり合いが起こる車両102の軌道と関連付けられた時間までの、時間における変化を表し得る。このように、衝突ポイントおよび/または交差時間は、車両102と関連付けられた、オブジェクトの経路(一時的な情報なしに)および時間情報の補間に少なくとも部分的に基づいて決定され得る。いくつかの事例では、車両102の軌道は、線切片の一連として表されることができ、1つまたは複数の位置、速度、加速度、または他の所望の状態と関連付けられ得る。衝突ポイントおよび/または交差時間の追加的な詳細は、本開示全体を通して論じられる。
少なくとも1つの例では、車両安全システムは、1つまたは複数の経路の各々について、車両108がそれぞれの経路を辿る確率を決定し得る。例として、モデル構成要素108は、入力として、車両108と関連付けられた状態データを受け入れることができ、オブジェクトが経路を辿る可能性を示すバリューを出力し得る。いくつかの例では、確率は、車両108の現在のまたは以前の状態を与えられた力学に少なくとも部分的に基づき得る。図2Aに示されるように、オブジェクトが経路202、経路204、経路206、経路208、および経路210を辿る可能性を示すバリューは、異なるレベルの陰影付けによって表され得る。例えば、モデル構成要素104によって出力されたバリューは、車両108が経路204を辿るであろう90%の可能性を示すことができ、モデル構成要素104によって出力された別のバリューは、車両108が経路206を辿るであろう70%の可能性を示すことができる。
いくつかの例では、モデル構成要素104に対する入力は、少なくとも経路のうちの1つを辿る車両108の確率、1つまたは複数の衝突ポイント、1つまたは複数の交差時間、および/または状態データ、の1つまたは複数を含み得る。
様々な例では、モデルは、前述した入力のうちの1つまたは複数に少なくとも部分的に基づいて、出力を提供し得る。例として、車両安全システムは、車両108と車両102との交差が起こるか否かに対する全体的な確率を決定し得る。様々な例では、車両108との交差に対する全体的な確率は、ランク付けされることができ、またはそうでなければ、歩行者のような、モデル構成要素104によって処理された別のオブジェクトに対しての重要性によって順序付けされ得る。
いくつかの例では、モデル構成要素104は、将来オブジェクトがどの経路を辿るかということとは無関係に、車両108と車両102との交差の確率を、識別し、検出し、分析し、またはそうでなければ決定し得る。例として、衝突の確率は、可能性のある衝突ポイントおよび交差時間と同様に、各経路と関連付けられた各確率が考慮され得る。
いくつかの例では、交差の確率を決定するために、車両安全システムは、車両108の所与の状態表現(例えば、速度)が衝突を引き起こすだろう空間を表す、経路についての衝突領域を決定し得る。例として、特定の経路に対して、車両安全システムは、1つまたは複数の動きと同等のものに少なくとも部分的に基づいて、車両102と衝突する車両108の速度(例えば、即座の速度)を決定し得る。いくつかの例では、車両安全システムは、状態表現に従って(例えば、衝突領域に対して現在の時間でオブジェクト状態をマップする)、経路に対して衝突領域に在るオブジェクトの確率を決定し得る。このような例では、衝突の確率は、経路202に対する第1の衝突領域に在る車両108の第1の確率、経路204に対する第2の衝突領域に在る車両108の第2の確率などに少なくとも部分的に基づき得る。様々な例では、モデル構成要素104によって決定された衝突の確率は、さらに、経路202を進んでいる車両108の第3の確率、経路204を進んでいる車両108の第4の確率などに少なくとも部分的に基づき得る。
いくつかの例では、モデル構成要素104は、オブジェクトの位置、オブジェクトの加速度、オブジェクトの速度、車両の加速度などのうちの1つまたは複数と関連付けられた1つまたは複数の不確実性バリューに少なくとも部分的に基づいて、車両102の軌道と交差するオブジェクトの経路の確率を決定し得る。例として、不確実性バリューは、オブジェクトおよび/または車両が将来の時間に進み得る、位置、速度、および/または加速度における逸脱を説明するために決定され得る。少なくともいくつかの例では、そのような不確実性は、知覚および/または予測のモデルにおけるエラーと関連付けられ得る。
いくつかの例では、不確実性バリューは、オブジェクトが将来の時間に進み得る速度における逸脱を説明するために決定されることができ、以下の方程式によって説明され得る。
σsは、オブジェクトが将来の時間に居ることが可能である位置における不確実性を表し、σaは、オブジェクトが将来の時間に持つことが可能である速度における不確実性を表す。不確実性バリューは、例として、オブジェクトと車両とが将来の時間に交差する確率を決定するモデルに対する入力として使用され得る。
いくつかの例では、不確実性バリューは、オブジェクトの進行方向と関連付けられることができ、オブジェクトが将来取ることが可能な経路を、画定し、生成し、またはそうでなければ決定するモデルへの多くの入力のうちの1つを表し得る(例えば、経路の行き先は、オブジェクトの進行方向と関連付けられた不確実性バリューに少なくとも部分的に基づいて決定され得る)。例として、オブジェクトの進行方向は、車両と最も近い1つまたは複数のオブジェクトの現在の進行方向を検出するセンサと関連付けられたセンサデータから、決定され得る。車両のセンサによって捕らえられたオブジェクトの進行方向と関連付けられた任意の不確実性(例えば、またはそれと関連付けられた)は、モデル構成要素104へ入力をするために車両安全システムと通信することが可能である。
いくつかの例では、モデル構成要素104(または他のモデル)は、オブジェクトの進行方向、オブジェクトの速度、オブジェクトの位置、オブジェクトの加速度、オブジェクトの軌道等、のうちの1つまたは複数と関連付けられた不確実性を表す不確実性バリューを受け入れることが可能である。そのような例では、モデル構成要素104(または他のモデル)は、少なくとも部分的に不確実性バリューに基づいて、将来の時間にどこでオブジェクトが車両と交差するかの可能性を示すデータを出力することが可能である。例として限定ではなく、モデル構成要素104は、入力として、経路に対する交差ポイント、車両と交差するオブジェクトに対する時間、オブジェクトが経路を辿るかどうかの確率、および、1つまたは複数の不確実性バリューを受け入れ、オブジェクトおよび車両が将来の時間に経路に沿って交差する確率を出力し得る。もちろん、他の例では、追加の経路、および、関連付けられたオブジェクトの交差ポイントおよび交差時間は、入力としてモデル構成要素104へ提供され得る。
様々な例では、モデル構成要素104(または他のモデル)は、オブジェクトが環境内の領域に入るかどうかという不確実性を決定することができる(例えば、オブジェクトが衝突領域に入るかという不確実性)。オブジェクトの速度データまたはオブジェクトの進行方向データなどの状態データは、機械学習されたモデルへ入力されることが可能であり、それにより、少なくとも部分的にオブジェクトの状態を説明する現在のデータに基づいて、衝突領域(または経路)を決定することが可能である。このように、車両安全システムによる利用が可能な、別の洗練さが少ないモデル(例えば、領域または経路を決定する機械学習されたモデルに対して、機械学習アルゴリズムをより少なく使用または使用しないモデル)は、衝突領域と交差するオブジェクトの確率を決定することに少なくとも部分的に基づいて、先制してオブジェクトを回避することが可能である。いくつかの例では、洗練さの少ないモデルは(例えば、モデル構成要素104)は、衝突領域、オブジェクトの進行方向等における不確実性を表す不確実性バリューに少なくとも部分的に基づいて、衝突領域と交差するオブジェクトの確率を決定し得る。
いくつかの例では、車両コンピューティングデバイスは、モデルからの1つまたは複数の出力(例えば、将来オブジェクトと車両とが交差する可能性または確率を示す出力)をしきい値確率と比較し、および、車両の別の構成要素を有するモデルによる1つまたは複数の出力を、共有、使用、および/またはさらなる処理するかどうかを決定し得る。例として、車両コンピューティングデバイスによって車両を制御することは、しきい値確率と同じかまたはそれより低いモデルからの出力に少なくとも部分的に基づき得る。
追加的にまたは代替的に、任意の1つまたは複数の上記によって決定された確率は、例えば、ベイジンアンモデリング(Bayesian modeling)によって組み合わされることができ、またはそうでなければ、全体的な衝突の可能性または確率を決定し得る。
車両コンピューティングデバイスは、モデル構成要素104から受け入れた情報に少なくとも部分的に基づいて、車両102を制御し得る。例として、車両102を制御することは、車両(例えば、車両502)のブレーキシステム、加速度システム、または駆動システム、のうちの少なくとも1つを制御することを含み得る。いくつかの例では、車両コンピューティングデバイスにより車両102を制御することは、環境200A内のどのオブジェクトが最も車両102と衝突しそうかを示すことに少なくとも部分的に基づいて、車両を制御することを含み得る。
いくつかの例では、モデル構成要素104は、検出されたオブジェクトとの衝突の可能性を予測するために使用する処理資源(例えば、プロセッサ量、プロセッササイクル、プロセッサコア、プロセッサ位置、プロセッサの種類等)を画定し得る。モデルを実施する車両コンピューティングシステムおよび/または車両安全システムは、異なるプロセッサ(例えば、中央処理装置(CPUs)、グラフィックス処理装置(GPU)、マルチコアプロセッサ等)および/または、異なるメモリ(例えば、ローカルおよび/または遠隔メモリまたは変化するサイズ)を有し得る。モデルは処理資源を画定し、最も効率良く(例えば、最小量の計算時間を使う)出力を決定するプロセッサおよびメモリを利用し得る。例えば、モデルは、比較的単純なアルゴリズムを実施し、オブジェクト、または将来の時間にその経路を取るオブジェクトと関連付けられた確率についての経路(例えば、経路202、経路204、経路206、経路208、および経路220)を決定し得る。このように、各モデルは、処理資源およびメモリ資源を画定し、これを利用して、モデルが最小量の時間で予測を実行すること(例えば、車両の計画考慮における予測された挙動を使用する)を可能にさせ得る。
図2A内の経路の数は、目的のための例であることが理解されるべきである。異なる数の、経路、オブジェクトが各経路を辿る確率、交差時間が、環境200内の異なるオブジェクトの任意の数に対する車両102によって決定され得る。
図2Bは、例示的な実施200Bの図であり、そこで1つまたは複数のモデルは、環境内で車両と交差するオブジェクトの速度を決定する。例として、例示的な車両コンピューティングデバイス(例えば、車両コンピューティングデバイス504)および/または例示的な車両安全システム(例えば、車両安全システム534)は、例示的なモデル(モデル構成要素104)からの交差バリュー(交差バリュー106)に基づいて、経路に沿って車両(車両102)と衝突するオブジェクト(オブジェクト108)の速度を決定し得る。
いくつかの例では、車両安全システムは、経路202、経路204、経路206、経路208、および経路210の各々に沿って車両102と衝突する車両108の速度の範囲を決定し得る(例えば、それぞれの経路毎の進行方向に基づいて)。図2Bに示されるように、経路202に沿って車両102と衝突する車両108の最小速度および最大速度は、動きと同等のものを使用する車両安全システムによって決定され得る(他の経路も同様である)。いくつかの例では、車両安全システムは、車両108の現在の速度が、最小速度と最大速度との間にあるという決定に少なくとも部分的に基づいて、車両108と車両102とが衝突する確率を決定し得る。
図3は、例示的なモデルからの交差バリューに基づいて、車両との交差を引き起こすオブジェクトの状態表現を決定するための例示的な実施を示す図である。例えば、例示的なコンピューティングデバイス(例えば、車両コンピューティングデバイス504)および/または例示的な車両安全システム(例えば、車両安全システム534)は、例示的なモデル(モデル構成要素104)からの交差バリュー(交差バリュー106)に基づいて、経路に沿って、車両(車両102)と衝突するオブジェクト(オブジェクト108)についての状態を決定し得る。
図3に図示されるように、オブジェクト108(例えば、車両108)の経路204は、衝突ポイント214で、将来の時間t2にて、軌道222を辿っている車両102と交差する。いくつかの例では、車両安全システムは、車両108、車両102と関連付けられた軌道222、および/または車両102と関連付けられた幅データと関連付けられた状態データ(例えば、位置データ、車両幅データ、など)に少なくとも部分的に基づいて、最小交差時間302および最大交差時間304を決定し得る。例えば、車両安全システムは、力学、運動、幾何学、および物理学に関連する標準法定式を使用して、最小交差時間302および最大交差時間304を決定し得る(例えば、二次元および/または三次元に対して)。
いくつかの例では、車両102の車両安全システムは、経路204の1つまたは複数の衝突ポイント、衝突領域306に在る車両108についての最小速度(または最小時間)、および/または衝突領域306に在る車両108についての最大速度(または最大時間)、の1つまたは複数に少なくとも部分的に基づいて、経路204の交差領域306を決定し得る。車両102と車両108との間の衝突の確率を決定することは、いくつかの例では、車両108の現在の速度が、衝突領域306に在る車両108についての最小速度と、衝突領域306に在る車両108についての最大速度との間にあると決定することを含み得る。衝突領域306に在る車両108についての最小時間および/または衝突領域306に在る車両108についての最大時間は、交差バリュー決定中に考慮されることができ、またはその代わりに考慮され得る。
図4Aおよび図4Bは、例示的な実施400Aおよび実施400Bを示す図であり、そこで1つまたは複数のモデルは、例示的な車両と衝突する1つまたは複数の例示的なオブジェクトの可能性を示す交差バリューを決定する。
いくつかの例では、モデル構成要素104は、環境100における車両102のように、車両の環境において、第1のオブジェクトについて経路402を、第2のオブジェクトについて経路404を、第3のオブジェクトについて経路406を決定し得る。図4Aで示されるように、経路は、車両102と交差するために必要とされるオブジェクトの速度を示す速度範囲(例えば、最小速度および最大速度)と関連付けられ得る。例として、図4は、様々な速度範囲を有する5つの経路を備えて経路402を描く。所与のオブジェクトのヨーに応じて、オブジェクトは、車両102と交差する種々の速度を必要とし得る。
図4Aはまた、それぞれのオブジェクトと各々関連付けられた状態データ(例えば、第1の状態データ、第2の状態データ、第3の状態データ、など)によって決定されるように、第1のオブジェクトについての速度(例えば、速度オブジェクト#1 408)、第2のオブジェクトについての速度(例えば、速度オブジェクト#2 410)、第3のオブジェクトについての速度(例えば、速度オブジェクト#3 412)を図示している。すなわち、オブジェクト速度(例えば、408、410および412)は、オブジェクトの現在の速度を表し得る。図4Aに示されるように、オブジェクトの速度は、ヨーバリューの範囲(例えば、ヨーデータまたはヨー割合データの範囲)と関連付けられることが可能であり、経路402、経路404、および/または経路406各々の個別の経路のうちのいくつか、全てと交差し得る、または交差しない。例えば、オブジェクトの速度#1 408によって表されたオブジェクト#1の現在の速度が与えられた場合、現在の速度は、車両102と衝突するオブジェクトについて必要とされる速度の範囲と重なり合わないため、モデル構成要素108により出力された交差バリューは、車両102との衝突について比較的低い確率を示していただろう(オブジェクト#2と比較して)。一方で、オブジェクト#2は、現在の速度が、経路404のうちの少なくともいくつかの速度の範囲と少なくとも部分的に重なり合うため、車両102と交差する比較的高い確率を示す交差バリューに関連付けられるだろう。
通常、図4Bは、オブジェクト(例えば、環境100におけるオブジェクト108、オブジェクト110、およびオブジェクト112)、および、x-y空間における車両102の軌道416に対して関連付けられた経路を表すことが可能である。
図4Bは、オブジェクト#1(オブジェクト418)、オブジェクト#2(オブジェクト420)、オブジェクト#3(オブジェクト422)の表現と同様に、車両102と衝突する各オブジェクトについての可能性を示す交差バリュー426を決定するモデル構成要素424による使用が可能な、車両102の表現(例えば、車両表現414)を図示する。モデル構成要素424は、例えば、モデル構成要素104と同様の機能性を提供し得る。図4Bに示されるように、オブジェクト418は、軌道416と交差しないと決定されたオブジェクト418の経路402に少なくとも部分的に基づいて、モデル構成要素424によって交差バリュー0.04(例えば、百分率または他の数字上のバリューもまた企図されているが、0から1の範囲では、より高い数字が、衝突のより大きい可能性を示す)に関連付けられる。軌道416と交差する経路404のうちの少なくともいくつかに基づいて、オブジェクト420は、比較的高い交差バリュー0.98を有する。
様々な例では、交差バリューは、モデル構成要素104が、以下の方程式を使用することにより決定され得る:
ここで、P(intersection)はオブジェクトの衝突の可能性、pathiはオブジェクトの第Nの可能性のある経路、Aはオブジェクトの状態表現、CSSはpathiの衝突領域、および、P(pathi)はオブジェクトがpathiを辿る確率である。いくつかの例では、オブジェクトの状態表現は、オブジェクトと関連付けられた状態データに少なくとも部分的に基づき得る(例えば、位置、速度、ヨー、など)。衝突領域(例えば、衝突領域306)は、例えば、オブジェクトの経路および縦方程式が与えられた場合に、衝突を引き起こす現在の時間における空間を表し得る。
いくつかの例では、車両の車両コンピューティングデバイスおよび/または車両安全システムは、プランニング動作(例えば、オブジェクト420を回避するために、車両102の軌道を決定すること)に使用するプランニング構成要素524、および/または、オブジェクト418、420および/または422の下流処理を修正する(例えば、交差バリューに基づいてオブジェクトに対して、より多く、またはより少ない知覚処理を提供する)知覚構成要素522などの、別の構成要素に、交差バリュー426を示す情報を送り得る。このように、モデルによる出力が使用され、環境中の目的地まで車両を安全に制御し得る。
図5は、本明細書で説明される技術を実施する例示的なシステム500のブロック図である。少なくとも1つの例では、システム500は、車両502のような、車両を含み得る。
車両502は、車両コンピューティングデバイス504(車両コンピューティングデバイスまたは車両コンピューティングデバイス群とも呼ばれる)、1つまたは複数のセンサシステム506、1つまたは複数のエミッタ508、1つまたは複数の通信接続510、少なくとも1つの直接接続512、および1つまたは複数の駆動システムを含み得る。
車両コンピューティングデバイス504は、1つまたは複数のプロセッサ516と、1つまたは複数のプロセッサ516と通信可能に結合されたメモリ518とを含み得る。図示された例では、車両502は、自立車両である。しかしながら、車両502は、半自立車両のような任意の他の種類の車両、または、少なくともイメージキャプチャデバイス(例えば、スマートフォンで使用可能なカメラ)を有する任意の他のシステムであることが可能であろう。図示された図では、車両コンピューティングデバイス504のメモリ518は、位置特定要素520、知覚構成要素522、プランニング構成要素524、1つまたは複数のシステムコントローラ526、1つまたは複数のマップ528、第1のモデル532A、第2のモデル532B、Nが1以上の整数であることが可能な最大第Nのモデル532N(まとめて「モデル」という)などの1つまたは複数のモデルを含むモデル構成要素530を記憶する。図示の目的のためにメモリ518内に存在するものとして図5に描かれているが、位置特定要素520、知覚構成要素522、プランニング構成要素524、1つまたは複数のシステムコントローラ526、1つまたは複数のマップ528、および/またはモデル532を含むモデル構成要素530は、追加的に、または、代替的に車両502にアクセス可能である(例えば、例えば離れたコンピューティングデバイス550のメモリ554などの車両502から離れたメモリ上に記憶する、またはそうでなければこれらによりアクセス可能である)ことが企図されている。
追加的に、車両502は、オブジェクト軌道構成要素540、交差構成要素542、確率構成要素544、およびアクション構成要素546を含む車両安全システム534を含み得る。この例に示されるように、車両安全システム534は、例えば、車両安全システムの実効性を改善するため、および/または冗長性、エラーチェック、および/または車両コンピューティングデバイス504によって決定された決定および/またはコマンドの検証をするため、車両コンピューティングデバイス504から分離して実施され得る。しかしながら、他の例では、車両安全システム534は、車両コンピューティングデバイス504内の1つまたは複数の構成要素と同じものとして実施され得る。
例として、車両安全システム534が補助的なシステムとして考えられる一方で、車両コンピューティングデバイス504は、主システムであると考えられ得る。主システムは、通常は、環境内で車両をどのように操作するかを制御する処理を実行し得る。主システムは、機械学習などの様々な人工知能(AI)技術を実施することができ、それにより、車両502の周囲の環境を理解し、および/または環境内へ車両502が移動するよう命令し得る。例えば、主システムは、AI技術を実施することができ、それにより、車両を位置特定し、車両の周囲のオブジェクトを検出し、センサデータをセグメント化し、オブジェクトの分類を決定し、オブジェクトトラックを予測し、車両502および車両の周囲のオブジェクトのために軌道を生成する、など、を行い得る。いくつかの例では、主システムは、センサシステム506内の、光検出および測距(lidar)センサ、radarセンサ、イメージセンサ、深度センサ(飛行時間(time of flight)、構造化照明など)、カメラなどの車両の多様な種類のセンサからのデータを処理し得る。
いくつかの例では、車両安全システム534は、分離したシステムとして動作することができ、それにより、センサデータおよび主システム(例えば、車両コンピューティングデバイス504)によって実施されたAI技術に基づいて状態データを受け入れ、および、衝突予測の改善および車両502による回避のための本明細書で説明される様々な技術を実施し得る。本明細書で説明されるように、車両安全システム534は、車両の位置、速度、加速度など、および/または車両の周囲のオブジェクトに基づいた確率的な技術と同様に、センサデータに基づいて交差/衝突を予測する技術を実施し得る。いくつかの例では、車両安全システム534は、主システムにより処理されたセンサデータのサブセットのような、センサからのデータを処理し得る。説明のために、主システムはlidarデータ、radarデータ、イメージデータ、深度データなどを処理し得るが、車両安全システム534は、lidarデータおよび/またはradarデータ(および/または飛行時間データ)のみを処理し得る。他の例では、しかしながら、車両安全システム534は、センサ事からのデータ、主システムのセンサと同じ数のセンサからのデータなどの、任意の数のセンサからのセンサデータを処理し得る。
主コンピューティングシステムおよび補助的なコンピューティングシステムを備える車両構造の追加的な例は、例えば、「Perception Collision Avoidance」と題され、2018年11月13日に出願された米国特許出願第16/189,726号に見出すことが可能であり、全ての目的のために、参照によりその全体が本明細書に組み込まれる。
図示の目的のためにメモリ518内に存在するものとして図5に描かれているが、位置特定要素520、知覚構成要素522、プランニング構成要素524、モデル構成要素530、システムコントローラ526、およびマップ528は、追加的に、または、代替的に車両502にアクセス可能である(例えば、例えば離れたコンピューティングデバイス550のメモリ554などの車両502から離れたメモリ上に記憶する、またはそうでなければこれらによりアクセス可能である)ことが企図されている。同様に、オブジェクト軌道構成要素540、交差構成要素542、確率構成要素544、および/またはアクション構成要素546は、車両安全システム534のメモリ538に存在するものとして描かれているが、1つまたは複数のこれらの構成要素は、追加的に、または代替的に、車両コンピューティングデバイス504内で実施され、または車両502にアクセス可能であり得る(例えば、例えば離れたコンピューティングデバイス550のメモリ554などの車両502から離れたメモリ上に記憶する、またはそうでなければこれらによりアクセス可能である)。
少なくとも1つの例では、位置特定構成要素520は、センサシステム506からデータを受信して、車両502の位置および/または方向(例えば、x位置、y位置、z位置、ロール、ピッチ、またはヨーの1つまたは複数)を決定する機能を含み得る。例えば、位置特定構成要素520は、例えば、マップ528および/またはマップ構成要素528などの環境のマップを含むおよび/または要求/受信でき、マップ内の自律車両の位置および/または方向を持続的に決定し得る。いくつかの事例では、位置特定構成要素520は、SLAM(同時位置特定およびマッピング)、CLAMS(較正、位置特定およびマッピングを同時に)、相対SLAM、バンドル調整、非線形最小二乗最適化、またはこれと同様の物などを利用して、イメージデータ、LIDARデータ、RADARデータ、IMUデータ、GPSデータ、ホイールエンコーダデータなどを受信し、自律車両の位置を正確に決定し得る。いくつかの例では、位置特定構成要素520は、車両502の様々な構成要素にデータを提供して、本明細書で論じたように、車両502に対する関連性のあるオブジェクトを決定するために、自律車両の初期位置を決定し得る。
いくつかの例では、知覚システム522は、オブジェクトの検出、セグメント化、および/または分類を実行する機能を含み得る。いくつかの例では、知覚システム522は、車両502に近接するオブジェクトの存在を示す処理されたセンサデータを提供、および/または、オブジェクトの種類のようなオブジェクトの分類(例えば、車、歩行者、自転車乗り、動物、建物、木、路面、縁石、歩道、不明など)をし得る。いくつかの例では、知覚システムは、車両502に近接する固定されたエンティティの存在を示す処理されたセンサデータおよび/または種類(例えば、建物、木、路面、縁石、歩道、不明など)として固定されたエンティティの分類を提供し得る。追加のおよび/または代替の例では、知覚システム522は、検出されたオブジェクト(例えば、追跡されたオブジェクト)および/またはオブジェクトが位置する環境に関連付けられた、1つまたは複数の特性を示す処理されたセンサデータを提供し得る。いくつかの例では、オブジェクトに関連付けられた特性は、限定しないが、x位置(グローバルおよび/またはローカル位置)、y位置(グローバルおよび/またはローカル位置)、z位置(グローバルおよび/またはローカル位置)、方向(例えば、ロール、ピッチ、ヨー)、オブジェクト種類(例えば、分類)、オブジェクトの速度、オブジェクトの加速度、オブジェクトの範囲(サイズ)など、を含み得る。環境に関連付けられた特性は、限定しないが、環境内の別のオブジェクトの存在、環境内の別のオブジェクトの状態、時刻、曜日、季節、気象条件、暗闇/光の表示などを含み得る。
一般に、プランニング構成要素524は、車両502が環境を通り横断するために辿る経路を決定し得る。例えば、プランニング構成要素524は、様々なルートおよび軌道並びに様々な詳細レベルを決定できる。例えば、プランニング構成要素524は、第1の位置(例えば、現在位置)から第2の位置(例えば、目標位置)まで移動するためのルートを決定し得る。この議論の目的のために、ルートは、2つの位置間を移動するための一連の経由地点とすることができる。非限定的な例として、経由地点は、街路、交差点、全地球測位システム(GPS)座標などを含む。さらに、プランニング構成要素524は、第1の位置から第2の位置までのルートの少なくとも一部分に沿って自律車両をガイドするための命令を生成し得る。少なくとも1つの例では、プランニング構成要素524は、一連の経由地点における第1の経由地点から、一連の経由地点における第2の経由地点へ自律車両をどのようにガイドするかを決定し得る。いくつかの例では、命令は軌道または軌道の一部とすることができる。いくつかの例では、receding horizon techniqueに従って、多様な軌道が実質的に同時に生成され(例えば、技術的許容範囲内で)、ここで、多様な軌道の1つは、車両502をナビゲートするために選択される。
いくつかの例では、プランニング構成要素524は、予測構成要素を含むことができ、予測されたオブジェクト(例えば、歩行者、車、トラック、自転車乗り、動物などの動的オブジェクト)の軌道を生成し得る。例えば、予測構成要素は、車両502のしきい値距離内のオブジェクトについての1つまたは複数の予測された軌道を生成し得る。いくつかの例では、予測構成要素は、オブジェクトの跡を測定し、観測され予測された挙動に基づいて、オブジェクトの軌道を生成し得る。
少なくとも1つの例では、車両コンピューティングデバイス504は、1つまたは複数のシステムコントローラ526を含むことができ、システムコントローラ526は、ステアリング、推進、制動、安全、エミッタ、通信および車両502の他のシステムを制御するように構成され得る。システムコントローラ526は、駆動システム514および/または車両502の他の構成要素の対応するシステムと通信および/またはこれを制御し得る。
メモリ518は、環境内で走行する車両502により使用される、1つまたは複数のマップ528をさらに含み得る。この議論の目的のために、マップは、2次元、3次元、またはN次元においてモデル化された任意の数のデータ構造であることができ、これは、限定はしないが、トポロジー(交差点など)、街路、山岳地帯、道路、地形、および一般的な環境などの、環境に関する情報を提供できる。いくつかの事例では、マップは、限定はしないが、テクスチャ情報(例えば、色情報(例えば、RGB色情報、Lab色情報(Lab color information)、HSV/HSL色情報)、など)、輝度情報(例えば、lidar情報、radar情報等)、空間情報(例えば、メッシュに投影されたイメージデータ、個々の「サーフェル(surfels)(例えば、個々の色および/または強度と関連付けられたポリゴン))、反射率情報(例えば、鏡面性情報、逆反射率情報、BRDF情報、BSSRDF情報等)などを含み得る。いくつかの例では、マップは、環境の3次元メッシュを含み得る。いくつかの例では、車両502は、マップ528に少なくとも部分的に基づいて、制御され得る。すなわち、マップ528は、位置特定構成要素520、知覚構成要素522、および/またはプランニング構成要素524に関連して使用され、車両502の位置を決定し、重力を検出または決定し、環境内のオブジェクトを検出し、ルートを生成し、環境内のアクションおよび/または走行するための軌道を決定し得る。
いくつかの例では、1つまたは複数のマップ528は、ネットワーク556を介して接続可能な離れたコンピューティングデバイス(コンピューティングデバイス550など)上に記憶され得る。いくつかの例では、多様なマップ528は、例えば、特性(例えば、エンティティの種類、時刻、曜日、季節など)に基づいて記憶され得る。多様なマップ528を記憶することは、同様のメモリ条件を有し得るが、マップ内のデータにアクセスし得るスピードを高め得る。
図5に示されるように、車両コンピューティングデバイス504は、モデル構成要素530を含み得る。モデル構成要素530は、車両502の環境内のオブジェクトについての交差バリューを決定するように構成され得る。様々な例では、モデル構成要素530は、位置特定構成要素520、知覚構成要素522から、および/またはセンサシステム506から、オブジェクトと関連付けられたセンサデータを受け入れ得る。いくつかの例では、モデル構成要素530は、位置特定構成要素520、知覚構成要素522、マップ528、および/またはセンサシステム506から、マップデータを受け入れ得る。図5では分離して示されているが、モデル構成要素530は、位置特定構成要素520、知覚構成要素522、プランニング構成要素524、または車両502の他の構成要素の一部であることが可能である。
様々な例では、モデル構成要素530は、第1のモデル532A、第2のモデル532Bからの出力を送ることができ、および/または第Nのモデル532Nは、知覚構成要素522によって使用されることができ、それにより、関連付けられた交差バリューに基づいて、オブジェクトの領域内で実行される知覚の量が変更または修正され得る。いくつかの例では、プランニング構成要素524は、モデル構成要素530からの出力に少なくとも部分的に基づいて、車両502の1つまたは複数のアクション(例えば、参照アクションおよび/または半アクション)を決定し得る。いくつかの例では、モデル構成要素530は、オブジェクトが衝突を引き起こしそうな確率を示す情報を出力するように構成され得る。いくつかの例では、モデル構成要素530は、図1のモデル構成要素102および/または図4Bのモデル構成要素424によって提供された機能性を少なくとも含み得る。
いくつかの例では、モデル構成要素530は、センサシステム506と関連付けられた1つまたは複数のパラメータ(例えば、バイアスバリュー、ドリフトバリュー等)の更新を引き起こす知覚構成要素522へ、出力を伝え得る。
様々な例では、モデル構成要素530は、図1および他の部分で説明されたように、機械学習技術を利用することができ、これにより交差バリューを決定し得る。いくつかの例では、機械学習アルゴリズムは、予測の正確性が改善される場合、交差の確率を予測するために訓練され得る。
車両安全システム534は、本明細書で説明される様々なシステムや技術を使用して、車両502の軌道および/または環境内で識別する他のオブジェクトの軌道を決定するように構成される、オブジェクト軌道構成要素540を含み得る。いくつかの例では、オブジェクト構成要素540は、構成要素520-526から計画データ、知覚データ、および/またはマップデータを受け入れることができ、これにより車両502の計画された軌道および環境内の他のオブジェクトの軌道を決定し得る。
いくつかの例では、オブジェクト軌道構成要素540は、軌道を表す単一のポイントのセットおよび/または関連するポイントのペア(例えば、経路ポリゴン用の)を生成し得る。いくつかの例では、ポイントのペアおよび/または単一の軌道のための単一のポイントは、互いに一致する間隔であり得る(例えば、0.2秒間隔、0.5秒間隔、など)。いくつかの例では、ポイントのペアおよび/または単一のポイントは、互いに変化する間隔であり得る。様々な例では、ポイントのペアおよび/または単一のポイントは、互いに等しい長さの距離(例えば、経路に沿った長さ)で表され得る。そのような例では、ポイントペアの各左/右ポイントは、ポイントペアの次の左/右ポイントからの、事前に定義された距離(例えば、1メートル、3フィート、18インチ、など)であり得る。いくつかの例では、ポイントのペアは、互いに長さの異なる距離であり得る。様々な例では、距離は、車両/オブジェクト操作、スピード、環境内での交通の密度、および/または軌道が決定される車両502またはオブジェクトに影響を与える他の要因に基づいて決定され得る。
いくつかの例では、オブジェクト軌道構成要素540は、車両502に対し単一の計画された軌道を決定し(例えば、プランニング構成要素524およびマップ530から受け入れた計画データおよびマップデータに基づいて)、車両502が動作する環境内の他の移動する1つまたは複数のオブジェクト(例えば、車両110)に対する多様な軌道を決定し得る。いくつかの例では、別のオブジェクトの軌道は、オブジェクトが現在の位置(例えば、知覚の時間で)からその中を移動する、および/または移動の方向に基づく、任意の数の可能性のある経路を含み得る。作用因子が、車両502に対して、しきい値距離またはしきい値時間内に在るという決定に基づいて、オブジェクト軌道構成要素540は、オブジェクトと関連付けられた軌道を決定し得る。いくつかの例では、オブジェクト軌道構成要素540は、環境内検出された移動するオブジェクト毎の可能性のある軌道を決定するように構成され得る。
様々な例では、交差構成要素542は、本明細書で説明される様々な技術を使用することができ、それにより、車両502の軌道と環境内の他のオブジェクトの軌道との交差を決定し、環境内で可能性のある衝突ゾーンが存在するかどうかを決定し得る。可能性のある衝突ゾーンは、経路ポリゴンおよび軌道に基づいて、その中で車両502とオブジェクト(例えば車両110)との交差が起こり得る領域を含み得る。少なくともいくつかの例では、オブジェクトの軌道および属性(例えば、オブジェクトサイズ、位置、方向、姿勢、など)は、オブジェクトのためのオブジェクトポリゴンを計算するために使用され得る。いくつかの例では、衝突ゾーンは、車両502の経路ポリゴンと他のオブジェクトのオブジェクトポリゴンとの間の重なり合う領域により画定され得る。
いくつかの例では、可能性のある衝突ゾーンは、車両502と関連付けられた軌道が、オブジェクトと関連付けられた少なくとも1つの軌道と交差する場合、車両502とオブジェクトとの間に存在し得る。様々な例では、交差構成要素542は、しきい値内(例えば、2フィート、3フィート、4メートル、5メートル、など)に在る車両およびオブジェクト軌道に基づいて、衝突ゾーンが車両502とオブジェクトとの間に存在する、という決定をし得る。いくつかの例では、しきい値距離は、予め画定された距離に基づき得る。様々な例では、しきい値距離は、公知のまたは認識されている車両の幅および/またはオブジェクトの幅に基づいて、決定され得る。いくつかの例では、しきい値距離は、さらにバッファを決定することができ、これにより、車両502および/またはオブジェクトの周囲の安全バッファが表され得る。
いくつかの例では、交差構成要素542は、公知のまたは認識された車両およびオブジェクトの幅に基づいて、車両502およびオブジェクトの中心から、それぞれに、車両の軌道および/またはオブジェクトの軌道の端を拡張し得る。拡張された車両の軌道(または経路ポリゴン)およびオブジェクトの軌道(またはまたは経路ポリゴン)が、最小限許される距離(例えば、3インチ、5インチ、1フィート)の内側で交差する、および/または通る場合、交差構成要素542は、可能性のある衝突ゾーンが存在すると決定し得る。拡張された車両の軌道および/またはオブジェクト経路ポリゴンが、最小限許される距離以上で交差しないおよび/または通らない場合、交差構成要素542は、衝突ゾーンが存在しないと決定し得る。最小限許される距離は、車両内に乗員がいるかどうか、環境内の道路の幅、乗員の快適さおよび/または反応、学習された乗員の我慢、地域的運転エチケット、またはこれと同様のものに基づき得る。
様々な例では、可能性のある衝突ゾーンが存在し得るという決定に基づいて、交差構成要素542は、可能性のある衝突ゾーンの境界を決定するように構成され得る。いくつかの例では、可能性のある衝突ゾーンは、4つの要素、車両入場ポイント、車両退場ポイント、オブジェクト入場ポイント、およびオブジェクト退場ポイント、を含み得る。車両502およびオブジェクトの入場ポイントおよび退場ポイントのそれぞれは、位置および距離を含み得る。オブジェクト入場ポイントおよびオブジェクト退場ポイントは、オブジェクトの軌道に沿った軌道サンプルなどの、軌道サンプルを含み得る。いくつかの例では、オブジェクト入場ポイントおよび作用因子退場ポイントは、衝突のリスクが存在しない、軌道サンプルを表し得る。様々な例では、オブジェクト入場ポイント位置は、車両502の軌道または経路ポリゴンと交差(例えば、収束(convegence))する前の、オブジェクトの軌道と関連付けられた直近の軌道サンプルを識別することにより決定され得る。いくつかの例では、オブジェクト退場ポイント位置は、オブジェクトの軌道と、車両502の軌道または経路ポリゴンとの間の収束の後の、オブジェクト軌道と関連付けられた第1の軌道サンプルを識別することにより決定され得る。オブジェクト入場ポイントよびオブジェクト退場ポイントと関連付けられた距離は、軌道に沿う距離のように、それぞれの位置から生じ得る。
交差構成要素542は、車両の軌道または経路ポリゴンの前および後で、オフセット距離に基づいて、車両入場ポイントおよび車両退場ポイント位置を決定し得る。いくつかの例では、オフセット距離は、車両502の軌道に対して垂直に測定された距離を含み得る。いくつか例では、オフセット距離は、軌道の前および後で、経路ポリゴン(例えば、車両経路)に沿って測定された距離を含み得る。様々な例では、オフセット距離は、経路ポリゴンの中心から測定され得る。いくつかの例では、オフセット距離は、経路ポリゴンに沿った車両の最も前のポイントから測定され得る。いくつかの例では、オフセット距離は、車両502の位置における車両操作(例えば、回転)およびそれらの影響から説明され得る。
上記で論じたように、様々な例で交差構成要素542は、1つまたは複数の可能性のある衝突ゾーン(車両およびオブジェクトの入場または退場ポイントなどの、これらの境界)における時間-空間重なり合い分析を実行し得る。様々な例では、時間-空間重なり合いは、オブジェクトの軌道および車両502の計画された軌道と関連付けられた位置コーン(position cones)として表され得る。様々な例では、交差構成要素542は、車両位置コーンおよび作用因子位置コーンを決定するように構成され得る。車両位置コーンは、可能性のある衝突ゾーンを通り抜ける計画された軌道(例えば、経路ポリゴン)に沿った車両502の推定速度に基づいて決定され得る。オブジェクト位置コーンは、可能性のある衝突ゾーンと関連付けられたオブジェクトの軌道に沿った作用因子の推定速度に基づいて決定され得る。
いくつかの例では、オブジェクトの推定速度は、交差構成要素542の推定加速度(例えば、正および負の加速度)から生じ得る。加速度は、早い行動のモデル(例えば、攻撃的な行動)に基づいた正の加速度、および遅い行動のモデル(例えば、保守的な行動)に基づいた負の加速度を含み得る。様々な例では、オブジェクトと関連付けられた正の加速度は、交通法、道路のルール、地域的運転エチケット、交通パターン、作用因子のセマンティック分類、またはこれと同様のものに基づき得る。いくつかの例では、正の加速度は、最初の速度に基づいた、環境内で推定される正の加速度の最大量を表し得る。様々な例では、オブジェクトと関連付けられた負の加速度は、オブジェクトの最初の速度に基づくような、環境内で推定される負の加速度の最小量を表し得る。
様々な例では、交差構成要素542は、可能性のある衝突ゾーンに対する、オブジェクトおよび車両502それぞれの位置ラインおよび/または位置コーンを決定し得る。車両502およびオブジェクトの位置ラインおよび/または位置コーンは、可能性のある衝突ゾーンに関しての、オブジェクトエントリー時間、オブジェクト退場時間、車両エントリー時間、および車両退場時間に基づき得る。そのような例では、可能性のある衝突ゾーンへのエントリー時間は、最も攻撃的なスピードの概算と関連付けられ得る。様々な例では、オブジェクト退場時間および車両退場時間は、それぞれ最小速度と関連付けられ得る。このような例では、可能性のある衝突ゾーンへの退場時間は、最も保守的なスピードの概算と関連付けられ得る。
いくつかの例では、時間-空間重なり合いは、時間に基づいたオブジェクト推定位置と関連付けられた1つまたは複数の確率密度機能として表され得る。オブジェクトの推定位置は、推定加速度から生じることができ、スピードは、他のシステムまたはサブシステム(例えば、知覚構成要素522のサブシステムであり得る予測システム)から生じ、および/またはそれらの出力を生じさせる。確率密度機能は、交通法、道路のルール、地域的運転エチケット、交通パターン、作用因子のセマンティック分類、またはこれと同様のものなどの、オブジェクトの加速度に基づいた不確実性と同様に、攻撃的なおよび保守的な運転スピードを表し得る。確率密度機能は、オブジェクトと関連付けられた2次元領域または3次元領域を表し得る。確率密度機能のカーブにおける領域の総計は、1に等しくできる。
いくつかの例では、確率構成用544は、交差構成要素542によって実行される時間-空間重なり合い分析に基づいて、車両502および/または他のオブジェクト(例えば、車両110)の間の交差の予測、および/または衝突の確率/リスク、を決定し得る。いくつかの例では、確率構成要素544は、可能性のある衝突ゾーンに対する車両502およびオブジェクトの位置ラインおよび/または位置コーンの間の重なり合いに基づいて、車両502の単一の軌道およびオブジェクトの単一の軌道に基づいた交差の確率を決定し得る。例として、可能性のある衝突ゾーンのどこで位置ラインが重なり合うか、位置コーンの間の重なり合い量(例えば、時間ギャップ、コーンが重なり合う確率、など)に基づいて、確率構成要素544は、衝突のリスクが比較的高い、中程度、または低いという決定をし得る。
追加的に、本明細書で説明した様々な技術を使用して、確率構成要素544はまた、計画された車両502の軌道およびオブジェクトの多様な軌道に基づいて、車両502とオブジェクトとの交差の確率を決定し得る。例えば、交差構成要素542は、オブジェクトの多様な軌道を分析することができ(例えば、オブジェクト状態パラメータの混乱に基づいて)、確率構成要素544は、多様な軌道の分析の結果に基づいて、単一の衝突予測を決定することができる。いくつかの例では、確率構成要素544は、計画された車両の軌道に基づいた車両502と交差または衝突すると決定された、オブジェクトの軌道の百分率(または比率)に基づいた交差確率を決定し得る。
いくつかの例では、アクション構成要素546は、他の要因とともに、車両502と別のオブジェクト(例えば、車両106)との交差の予測決定および/または確率決定に基づいて、1つまたは複数の車両502がとるべきアクションを決定し得る。アクションは、オブジェクトに対して車両が産出するのを減速さること、オブジェクトに対して車両が産出するのを停止させること、車線を変更または左に逸らすこと、車線を右に変更または逸らすこと、などを含み得る。決定されたアクションに基づいて、システムコントローラ528を通じてなどして、車両コンピューティングデバイス504は、車両にアクションを実行させ得る。少なくともいくつかの例では、そのようなアクションは、詳細に説明したように、オブジェクトの多様な軌道に基づいて、確率構成要素544によって決定された衝突の確率に基づき得る。様々な例では、車線を左へまたは右へ変更するなどの、車両の横位置を調整すると決定することに応答して、車両安全システム534は、構成要素540-546に、更新された車両の軌道(または経路ポリゴン)を生成させ、更新された車両の軌道に対して追加のオブジェクトの軌道をプロットさせ、更新された可能性のある衝突ゾーンを決定させ、および、決定されたアクションが車両502により実行された後に、まだ交差リスクが存在するかどうかを決定するための時間-空間重なり合い分析を実行させ得る。
理解されることが可能であるように、本明細書で論じた構成要素(例えば、位置特定構成要素520、知覚構成要素522、プランニング構成要素524、予測構成要素526、1つまたは複数のシステムコトローラ528、1つまたは複数のマップ530、およびオブジェクト軌道構成要素540、交差構成要素542、確率構成要素544、およびアクション構成要素546を含む車両安全システム534は、目的の説明のために分けられたものとして説明されている。しかしながら、様々な構成要素によって実行される動作は、任意の他の構成要素で組合せされまたは実行され得る。
いくつかの例では、本明細書で論じた構成要素のいくつかまたは全ての態様は、任意のモデル、技術、および/または機械学習された技術を含み得る。例えば、いくつかの事例では、メモリ518内の構成要素(およびメモリ548、以下で論じられる)は、ニューラルネットワークとして実施され得る。
本明細書で説明されるように、典型的なニューラルネットワークは、出力を生み出すために接続された層のシリーズを通して入力データを渡す生物学的に示唆された技術である。ニューラルネットワーク内の各層はまた、別のニューラルネットワークを含むことができ、または任意の数の層(畳み込みであろうとなかろうと)を含むことができる。本開示の文脈で理解可能であるように、ニューラルネットワークは、機械学習を利用することができ、これは、学習されたパラメータに基づいて出力が生成されるそのような技術の幅広いクラスを指すことが可能である。
ニューラルネットワークの文脈で論じられたが、任意のタイプの機械学習が、本開示と矛盾せずに使用可能である。たとえば、機械学習技術は、限定するものではないが、回帰アルゴリズム(たとえば、通常の最小二乗回帰(OLSR:ordinary least squares regression)、線形回帰、ロジスティック回帰、段階的回帰、多変量適応回帰スプライン(MARS:multivariate adaptive regression spline)、局所的に推定された散布図平滑化(LOESS:locally estimated scatterplot smoothing))、インスタンスベースの技術(たとえば、リッジ回帰、最小絶対値縮小選択演算(LASSO:least absolute shrinkage and selection operator)、エラスティックネット(elastic net)、最小角度回帰(LARS:least-angle regression))、決定木技術(たとえば、分類木と回帰木(CART:classification and regression tree)、反復二分法3(ID3:iterative dichotomiser 3)、カイ二乗自動的相互作用検出(CHAID:Chi-squared automatic interaction detection)、決定株、条件付き決定木)、ベイジアン技術(たとえば、ナイーブベイズ、ガウシアンナイーブベイズ、多項ナイーブベイズ、平均1依存推定器(AODE:average one-dependence estimator)、ベイジアン信念ネットワーク(BNN:Bayesian belief network)、ベイジアンネットワーク)、クラスタリング技術(たとえば、k-平均、k-メディアン、期待値最大化(EM)、階層クラスタリング)、相関ルール学習技術(たとえば、パーセプトロン、誤差逆伝播、ホップフィールドネットワーク、動径基底関数ネットワーク(RBFN:Radial Basis Function Network))、深層学習技術(たとえば、深層ボルツマンマシン(DBM:Deep Boltzmann Machine)、深層信念ネットワーク(DBN:Deep Belief Network)、畳み込みニューラルネットワーク(CNN)、スタックドオートエンコーダ)、次元削減技術(たとえば、主成分分析(PCA)、主成分回帰(PCR)、部分最小二乗回帰(PLSR)、サモンマッピング、多次元尺度解析(MDS)、射影追跡、線形判別分析(LDA)、混合判別分析(MDA)、2次判別分析(QDA)、柔軟な判別分析(FDA:Flexible Discriminant Analysis))、アンサンブル技術(たとえば、ブースティング、ブートストラップアグリゲーション(バギング)、AdaBoost、スタック一般化(ブレンディング)、勾配ブースティングマシン(GBM)、勾配ブースティング回帰木(GBRT)、ランダムフォレスト)、SVM(サポートベクターマシン)、教師あり学習、教師なし学習、半教師あり学習などを含むことが可能である。アーキテクチャの追加の例は、ResNet-50、ResNet-101、VGG、DenseNet、PointNetなどのニューラルネットワークを含む。
少なくとも1つの例では、センサシステム506は、lidarセンサ、radarセンサ、超音波トランスデューサ、sonarセンサ、位置センサ(例えば、GPS、コンパスなど)、慣性センサ(例えば、慣性測定ユニット(IMUs)、加速度計、磁力計、ジャイロスコープなど)、カメラ(例えば、RGB、IR、強度、深さ、飛行時間など)、マイクロフォン、ホイールエンコーダ、環境センサ(例えば、温度センサ、湿度センサ、光センサ、圧力センサなど)などを含み得る。センサシステム506は、これらまたは他の種類のセンサのそれぞれの多様な例を含み得る。例として、lidarセンサは、車両502の角、前部、後部、側部、および/または上部に位置する個々のlidarセンサを含み得る。別の例として、カメラセンサは、車両502の外部および/または内部の様々な位置に配置された複数のカメラを含み得る。センサシステム506は、コンピューティングデバイス504に入力を提供し得る。加えて、または代替として、センサシステム506はネットワーク556を介して、1つまたは複数のコンピューティングデバイス550に、所定の期間の経過後、ほぼリアルタイムで等、特定の周波数において、センサデータを送り得る。いくつかの例では、モデル構成要素530は、センサシステム506の1つまたは複数からセンサデータを受け入れ得る。
車両502はまた、光および/または音を放出するための1つまたは複数のエミッタ508を含み得る。エミッタ508は、車両502の乗客と通信するための内部オーディオおよび内部ビジュアルエミッタを含み得る。例として限定ではなく、内部エミッタは、スピーカー、光、標識、ディスプレイ画面、タッチ画面、触覚エミッタ(例えば、振動および/またはフォースフィードバック)、機械式アクチュエータ(例えば、シートベルトテンショナ、シートポジショナ、ヘッドレストポジショナなど)などを含み得る。エミッタ508はまた、外部エミッタを含み得る。例として限定ではなく、外部エミッタは、走行の方向または車両アクションの他のインジケータを知らせるための光(例えば、インジケータライト、標識、ライトアレイなど)、歩行者または他の近くの車両、音響ビームステアリング技術のうちの1つまたは複数などと音声で通信するための1つまたは複数のオーディオエミッタ(例えば、スピーカー、スピーカーアレイ、ホーンなど)などを含み得る。
車両502はまた、車両502と、1つまたは複数の他のローカルまたは離れたコンピューティングデバイスとの間の通信を可能にする、1つまたは複数の通信接続510を含み得る。例として、通信接続510は、車両502および/または駆動システム514上の他のローカルコンピューティングデバイスとの通信を容易にし得る。また、通信接続510は、車両が、他の近くのコンピューティングデバイス(例えば、離れたコンピューテティングデバイス550、他の近くの車両など)および/またはサンセデータを受け入れるための1つまたは複数のリモートコンピューティングシステム558と通信することを可能にし得る。通信接続510はまた、車両502が、離れたテレオペレーションコンピューティングデバイスまたは他の離れたサービスと通信することを可能にする。
通信接続510は、別のコンピューティングデバイス、または、ネットワーク556のようなネットワークに、車両コンピューティングデバイス504を接続するための物理的インターフェースおよび/または論理的インターフェースを含み得る。例えば、通信接続510は、IEEE802.11規格によって定められた周波数、ブルートゥース(登録商標)などの短距離ワイヤレス周波数、セルラー通信(たとえば、2G、3G、4G、4G LTE、5Gなど)、またはそれぞれのコンピューティングデバイスが、他のコンピューティングデバイスとインターフェースすることを可能にする任意の適切なワイヤード通信プロトコルまたはワイヤレス通信プロトコルを介してなどの、Wi-Fiベースの通信を可能にすることが可能である。
少なくとも1つの例では、車両502は、1つまたは複数の駆動システム514を含み得る。いくつかの例では、車両502は、単一の駆動システム514を有し得る。少なくとも1つの例では、車両502が複数の駆動システム514を有する場合、個々の駆動システム514は、車両502の反対の端部に配置され得る(例えば、前部および後部など)。少なくとも1つの例では、駆動システム514は、駆動システム514のコンディションおよび/または車両502の周辺を検出する1つまたは複数のセンサシステムを含み得る。例として限定ではなく、センサシステムは、駆動システムのホイールの回転を感知する1つまたは複数のホイールエンコーダ(例えば、ロータリエンコーダ)、駆動システムの方向および加速度を測定する慣性センサ(例えば、慣性測定ユニット、加速度計、ジャイロスコープ、磁力計など)、カメラまたは他のイメージセンサ、駆動システムの周囲のオブジェクトを音響的に検出する超音波センサ、lidarセンサ、radarセンサなどを含み得る。ホイールエンコーダなどのいくつかのセンサは、駆動システム514に固有であり得る。いくつかの事例では、駆動システム514上のセンサシステムは、車両502の対応するシステム(例えば、センサシステム506)と重なり合うまたは補完し得る。
駆動システム514は、高電圧バッテリと、車両を推進するためのモータと、他の車両システムによる使用のためにバッテリからの直流電流を交流電流に変換するためのインバータと、誘導モータと誘導ラック(電気であってよい)とを含む誘導システムと、油圧アクチュエータまたは電気アクチュエータを含むブレーキシステムと、油圧構成要素および/または空気圧構成要素を含むサスペンションシステムと、牽引の喪失を軽減し制御を維持するためにブレーキ力を分散させるための安定性制御システムと、HVACシステムと、照明器具(たとえば、車両の外部周囲を照らすためのヘッド/テールライトなどの照明器具)と、1つまたは複数の他のシステム(たとえば、冷却システム、安全システム、オンボード充電システム、DC/DCコンバータなどの他の電気的構成要素、高電圧接合、高電圧ケーブル、充電システム、充電ポートなど)とを含む、車両システムの多くを含み得る。追加的に、駆動システム514は、さまざまな車両システムの動作を制御するためにセンサシステムからのデータを受け入れて前処理し得る駆動システムコントローラを含み得る。いくつかの例では、駆動システムコントローラは、1つまたは複数のプロセッサと、この1つまたは複数のプロセッサと通信可能に結合されたメモリを含み得る。メモリは、駆動システム514の様々な機能を実行するために1つまたは複数のモジュールを記憶し得る。そのうえ、駆動システム514は、それぞれの駆動システムによる1つまたは複数の他の離れたコンピューティングデバイスとの通信を可能にする1つまたは複数の通信接続も含み得る。
少なくとも1つの例では、直接接続512は、車両502の本体に、1つまたは複数の駆動システム514が直接接続するための物理的インターフェースを提供し得る。例えば、直接接続512は、駆動システムと車両との間で、エネルギー、流体、空気、データなどの移送を可能にし得る。いくつかの例では、直接接続512は、駆動システム514が車両502の本体に開放可能にしっかりと固定し得る。
少なくとも1つの例では、位置特定構成要素520、知覚構成要素522、プランニング構成要素524、1つまたは複数のシステムコントローラ526、1つまたは複数のマップ528、およびモデル構成要素530は、上記で説明したように、センサデータを処理することができ、および、1つまたは複数のネットワーク556を越えて、それらのそれぞれの出力を、コンピューティングデバイス550へ送ることができる。少なくとも1つの例では、位置特定構成要素520、知覚構成要素522、プランニング構成要素524、1つまたは複数のシステムコントローラ526、1つまたは複数のマップ528、およびモデル構成要素530は、所定の時間の期間の経過後、ほぼリアルタイムで、など、特定の周波数において、離れたコンピューティングデバイス550へそれらのそれぞれの出力を送ることができる。
いくつかの例では、車両502は、ネットワーク556を介して、センサデータをコンピューティングデバイス550に送り得る。いくつかの例では、車両502は、ネットワーク56を介して、コンピューティングデバイス550および/またはリモートセンサシステム558からセンサデータを受け入れ得る。センサデータは、未加工のセンサデータ、および/または処理されたセンサデータおよび/またはセンサデータの表現を含み得る。いくつかの例では、センサデータ(未加工または処理された)は、1つまたは複数のログファイルとして送りまたは受け入れられ得る。
コンピューティングデバイス550は、プロセッサ552および訓練構成要素を記憶するメモリ548を含み得る。
いくつかの例では、訓練構成要素554は、分類バリューを出力するため、機械学習モデルを訓練する機能性を含むことが可能である。例えば、訓練構成要素554は、ラベル付けされた衝突データを表すデータを受け入れることが可能である。少なくともデータの部分は、機械学習モデルを訓練するために入力として使用されることが可能である。非限定的な例のように、センサデータ、オーディオデータ、イメージデータ、マップデータ、慣性データ、車両状態データ、履歴データ(ログデータ)、またはそれらの組合せは、機械学習されたモデルへ入力され得る。したがって、車両が環境のどこを横断するかというデータを提供することにより、訓練構成要素554は、本明細書で説明したように、オブジェクトと県連付けられた交差バリューを出力するために訓練され得る。
いくつかの例では、訓練構成要素は、シミュレーションによって生成されている訓練データを含むことが可能である。例えば、シミュレートされた訓練データは、追加の訓練例を提供するために、どこでオブジェクトと車両が環境内で衝突するまたは略衝突するかという例を表すことが可能である。
いくつかの例では、訓練構成要素554によって提供された機能性は、車両コンピューティングデバイス504により含まれおよび/または実行され得る。
車両502のプロセッサ516、車両安全システム534のプロセッサ536、および/またはコンピューティングデバイス550のプロセッサは、本明細書で説明されるように、データを処理し、動作を行うために命令を実行することが可能である任意の適切なプロセッサであり得る。例として限定ではなく、プロセッサ516、536、および552は、1つまたは複数の中央処理ユニット(CPUs)、グラフィックス処理ユニット(GPUs)、または、電子データを、レジスタおよび/またはメモリに記憶され得る他の電子データに変換するようにその電子データを処理する他の任意のデバイスまたはデバイスの部分を含み得る。いくつかの例では、集積回路(たとえば、ASICs、など)、ゲートアレイ(たとえば、FPGAs、など)および他のハードウェアデバイスは、それが符号化された命令を実施するように構成される限りにおいて、プロセッサであると考えられ得る。
メモリ518、メモリ548、およびメモリ554は、非一時的なコンピュータ可読媒体の例であり得る。メモリ518、メモリ548、および/またはメモリ554は、オペレーティングシステムと、本明細書で説明される方法および様々なシステムに帰せられる機能を実施するための1つまたは複数のソフトウェアアプリケーション、命令、プログラム、および/またはデータを記憶し得る。さまざまな実施では、メモリは、静的ランダムアクセスメモリ(SRAM)、同期型動的RAM(SDRAM)、不揮発性/フラッシュタイプメモリ、または情報を記憶することが可能である他の任意の種類のメモリなどの、任意の適切なメモリ技術を使用して実施され得る。本明細書で説明されるアーキテクチャ、システム、および個々の要素は、多くの他の論理的構成要素、プログラム構成要素、および物理的構成要素を含んでよく、これらの構成要素のうち、添付の図に図示されるものは、本明細書における議論に関連する例にすぎない。
いくつかの事例では、メモリ518、メモリ548、およびメモリ554は、少なくとも作動メモリおよび貯蔵メモリを含み得る。例えば、作動メモリは、限られた容量のハイスピードメモリ(例えば、キャッシュメモリ)であることができ、それは、プロセッサ516、536、および/または552により動作されるデータを記憶することに使用される。いくつかの事例では、メモリ518、メモリ548、およびメモリ554は、比較的大きい容量のロースピードメモリであり得る貯蔵メモリを含むことができ、それは、データの長期にわたる貯蔵のために使用される。いくつかの例では、プロセッサ516、536、および/または552は、貯蔵メモリの中に記憶されているデータを直接動作することが不可能であり、データは、本明細書で説明されるように、データに基づいて動作を実行するために、作動メモリへロードされる必要があり得る。
図5は分散型システムとして示されているが、代替の例では、車両502の構成要素は、コンピューティングデバイス550と関連付けることができ、および/またはコンピューティングデバイス550の構成要素は、車両502と関連付けられることができることを留意されたい。すなわち、車両502は、コンピューティングデバイス550に関連付けられた機能の1つまたは複数を実行することができ、その逆も同様である。例として、車両502および/またはコンピューティングデバイス550のいずれ1つは、本明細書で説明されるモデルの1つまたは複数に関連した訓練動作を実行し得る。
図6Aは、例示的な1つまたは複数のモデルを使用して、衝突の確率を決定するための例示的なプロセス600を描くフローチャートの第1の部分を示す図である。図6Bは、例示的な1つまたは複数のモデルを使用して、衝突の確率を決定するための例示的なプロセス600を描くフローチャートの第2の部分を示す図である。プロセス600のいくつかまたは全ては、本明細書で説明したように、図5の1つまたは複数の構成要素によって実施され得る。例えば、プロセス600のいくつかまたは全ては、車両コンピューティングデバイス504および/または車両安全システム534によって実行され得る。
動作602にて、処理は、車両の環境内のオブジェクトと関連付けられた状態データを受け入れることを含み得る。いくつかの例では、動作602は、車両102の環境内の1つまたは複数のオブジェクトと関連付けられたセンサデータを捉えることを含み得る。1つまたは複数のオブジェクトは、歩行者、歩行者群、別の車両などを表し得る。センサデータは、車両上の1つまたは複数のセンサから、および/または、1つまたは複数の離れたセンサから、受け入れられ得る。車両コンピューティングデバイスは、少なくともセンサデータに部分的に基づいて、環境内のオブジェクトの特性を表す状態データを、検出し、推測し、概算し、またはそうでなければ決定し得る。
動作604にて、処理は、状態データに少なくとも部分的に基づいて、オブジェクトの第1の経路、および、オブジェクトの、第1の経路とは異なる第2の経路を決定することを含み得る。いくつかの例では、動作604は、オブジェクトの状態データ(例えば、位置データ、ヨーデータ、速度データ、など)に基づいて、車両と衝突するオブジェクトについての2つ以上の経路を決定する車両コンピューティングデバイスを含み得る。
動作606にて、処理は、オブジェクトが第1の経路を辿る第1の確率を決定することを含み得る。いくつかの例では、動作606は、オブジェクトが第1の経路を辿る第1の確率を示す第1のバリューを出力するモデル構成要素104を含み得る。様々な例では、車両コンピューティングデバイスは、オブジェクトが経路(または、経路のセット内の追加の経路)を辿る可能性または確率を示す1つまたは複数のバリューを出力する機械学習されたモデルを実施し得る。いくつかの例では、機械学習されたモデルにより提供された機能性が、モデル構成要素104によって実施され得る。少なくともいくつかの例では、そのような確率は、例えば、任意のパラメータにおける不確実性に少なくとも部分的に基づいて、予測された経路に対する他の経路の分布を決定することなど、オブジェクトと関連付けられた1つまたは複数の追加の経路を決定するために使用され得る。
動作608にて、処理は、オブジェクトが第2の経路を辿る第2の確率を決定することを含み得る。いくつかの例では、動作608は、オブジェクトが第1の経路を辿る第2の確率を示す第2のバリューを出力するモデル構成要素104を含み得る。
動作610にて、処理は、オブジェクトが第Nの経路を辿る第Nの確率を決定することを含み得る。いくつかの例では、動作608は、オブジェクトが第Nの経路(ここでNは、任意の1以上の整数であることが可能である)を辿る確率を示す第Nのバリューを出力するモデル構成要素104を含み得る。
動作612にて、処理は、追加の経路がオブジェクトについて決定されたかどうかを決定することを含み得る。例として、車両の車両コンピューティングデバイスは、車両102により検出された各オブジェクトについて所定の数の経路(例えば、1、2、3、など)を計算し得る。動作612は、所定の数の経路が、しきい値バリューを満たさないまたは超えない(例えば、動作612で「yes」)と決定された場合、動作604により辿られる。動作612は、所定の数の経路が、しきい値バリューを満たすまたは超える(例えば、動作612で「no」)場合、動作614へ続き得る。
動作614にて、処理は車両の軌道を受け入れることを含み得る。いくつかの例では、動作614は、車両コンピューティングデバイス504の計画された構成要素524から軌道を受け入れることを含み得る。
動作616にて、処理は、第1の経路に沿った車両とオブジェクトとの第1の衝突、および、第2の経路に沿った車両とオブジェクトとの第2の衝突を決定することを含み得る。いくつかの例では、動作616は、本明細書で論じたように、第1の衝突ポイントおよび第2の衝突ポイントを計算するために車両102の軌道を使用する車両コンピューティングデバイスを含み得る。いくつかの例では、多様な衝突ポイントが、各オブジェクトの経路についての車両コンピューティングデバイスによって決定され得る。
動作618にて、処理は、第1の経路に沿った第1の衝突ポイントで衝突する車両およびオブジェクトに対する第1の交差時間、および、第2の経路に沿った第2の衝突ポイントで衝突する車両およびオブジェクトに対する第2の交差時間を決定することを含み得る。いくつかの例では、動作618は、本明細書で論じたように、第1の交差時間および第2の交差時間を計算するために車両102の軌道を使用するコンピューティングデバイスを含み得る。いくつかの例では、多様な交差時間が、各オブジェクトの経路についての車両コンピューティングデバイスによって決定され得る。いくつかの例では、車両コンピューティングデバイスは、1つまたは複数の衝突ポイント、および各オブジェクトの経路に関連付けられた1つまたは複数の交差時間に少なくとも部分的に基づいて、衝突領域を決定し得る。
動作620にて、処理は、第1の衝突ポイントまたは第2の衝突ポイントのいずれかにおける、車両とオブジェクトとの交差の第3の確率を決定することを含み得る。いくつかの例では、動作620は、第1の確率、第2の確率、第1の衝突ポイント、第2の衝突ポイント、第1の交差時間、および第2の交差時間に少なくとも部分的に基づいて、第3の確率を決定する車両コンピューティングデバイスを含み得る。
動作622にて、処理は、第3の確率に少なくとも部分的に基づいて、環境内の車両を制御することを含み得る。いくつかの例では、動作622は、モデル構成要素104からの1つまたは複数の交差バリューに基づいて車両を制御することを含み得る。例として、モデル構成要素104によって出力された交差バリューは、知覚構成要素(例えば、知覚構成要素522)および/またはプランニング構成要素(例えば、プランニング構成要素524)によって使用され得る。いくつかの例では、動作622は、交差バリュー106に基づいて車両102の軌道を決定することを含み得る。車両102は、軌道に従って(例えば、辿る)移動するように制御されることができる。
本明細書で説明された方法は、ハードウェア、ソフトウェア、またはそれらの組合せで実施されることが可能な動作の連続を表す。ソフトウェアの文脈で、ブロックは、1つまたは複数のプロセッサによって実行されるとき、記載された動作を実行する、1つまたは複数のコンピュータ可読記憶媒体上に記憶されたコンピュータ実行可能命令を表す。一般に、コンピュータ実行可能命令は、特定の機能を行うまたは特定の抽象データ種類を実装する、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。動作が説明される順序は、制限と解釈されることを意図したものではなく、任意の数の説明された動作は、プロセスを実施するために、任意の順序で、および/または並列に、組み合わせ可能である。いくつかの実施形態では、方法の1つまたは複数の動作が完全に除外されている。例としておよび限定ではなく、動作602、604、606、608、614、616、618、および620は、動作622なしに実行され得る。さらに、本明細書で説明された方法の全部または一部は、互いに、または他の方法と組み合わせることができる。
本明細書で説明された方法は、コンピュータ実行可能命令または、コンピュータ可読ストレージに記憶され、図で説明されたそれらのような1つまたは複数のコンピューティングデバイスのプロセッサによって実行される、プログラムモジュールのようなソフトウェアの文脈にて実施され得る。一般的に、プログラムモジュールは、ルーチン、プログラム、オブジェクト、構成要素、データ構造などを含み、特定のタスクを実行するための動作ロジックを定義し、または特定の抽象データ種類を実施する。
他の構造は、説明された機能性を実施するために使用されることができ、この開示の射程に在ることが意図され得る。さらに、機能性の具体的な分配が、上記の議論の目的のために定義されるが、状況により、様々な機能および責任が、分配され、および異なる方法に分けられてもよい。
同様に、ソフトウェアは、様々な方法で保存、配分され、様々な手段で使用され、上記で説明された特定のソフトウェアストレージおよび実行の構成は、多くの異なる方法で変化し得る。したがって、上記で説明した方法を実行するソフトウェアは、コンピュータ可読媒体の様々な種類に分配されることができ、具体的に説明されるメモリの形式に限定されない。
例示的な条項
このセクションの例示的な条項は、任意の他の例示的な条項および/または任意の他の例示または本明細書で説明された実施形態で使用され得る。
このセクションの例示的な条項は、任意の他の例示的な条項および/または任意の他の例示または本明細書で説明された実施形態で使用され得る。
A。1つまたは複数のプロセッサと、1つまたは複数のプロセッサによって実行可能な命令を格納する1つまたは複数の非一時的コンピュータ可読媒体と、を含むシステムであって、前記命令が、実行されると、前記システムに、環境内の、車両に最も近いオブジェクトと関連付けられた状態データを受け入れることであって、前記状態データは、進行方向不確実性、速度不確実性、および前記オブジェクトが経路を辿る確率を含む、受け入れることと、前記進行方向不確実性および前記経路に少なくとも部分的に基づいて、前記オブジェクトの第1の可能性のある経路と、前記オブジェクトの第2の可能性のある経路とを決定することであって、前記第1の可能性のある経路は、前記オブジェクトが前記第1の可能性のある経路を辿る第1の確率と関連し、前記第2の可能性のある経路は、前記オブジェクトが前記第2の可能性のある経路を辿る第2の確率と関連する、決定することと、前記車両の軌道を受け入れることと、前記車両の前記軌道および前記速度不確実性に少なくとも部分的に基づいて、前記軌道と前記第1の可能性のある経路との第1の交差ポイントと、前記軌道と前記第2の可能性のある経路との第2の交差ポイントとを決定することと、前記第1の確率、前記第2の確率、および前記速度不確実性に少なくとも部分的に基づいて、前記第1の交差ポイントまたは前記第2の交差ポイントのいずれかにおける前記車両と前記オブジェクトとの交差確率を決定すること、および、前記交差確率に少なくとも部分的に基づいて、環境内の車両を制御すること、を含む動作を実行させる、システム。
B。前記オブジェクトは第1のオブジェクトであり、第2のオブジェクトを検出することであって、前記第2のオブジェクトは、第2の状態データ、第2の進行方向不確実性および第2の速度不確実性と関連する、検出することと、前記第2の状態データに少なくとも部分的に基づいて、前記第2のオブジェクトの第3の経路と、前記第2のオブジェクトの第4の経路とを決定することであって、前記第3の経路は、第4の確率と関連し、前記第4の経路は、第5の確率と関連する、決定することと、前記第4の確率第5の確率に少なくとも部分的に基づいて、前記車両と前記第2のオブジェクトとの第2の交差確率を決定すること、および、前記第2の交差確率は、しきい値確率よりも低いまたは等しいと決定すること、をさらに含み、前記車両を制御することは、前記第2のオブジェクトから独立している、段落Aに記載のシステム。
C。前記第1および第2の可能性のある経路を決定することは、前記進行方向不確実性に少なくとも部分的に基づいて、経路についての経路の分配を決定すること、および、前記第1および第2の可能性のある経路として、前記経路の分配から2つの経路を決定すること、を含む、段落AまたはBに記載のシステム。
D。最小速度に少なくとも部分的に基づいて、衝突領域に在る前記オブジェクトおよび前記車両と関連付けられた第1の時間を決定すること、および、最大速度に少なくとも部分的に基づいて、衝突領域に在る前記オブジェクトおよび前記車両と関連付けられた第2の時間を決定すること、をさらに含み、前記交差確率を決定することは、前記オブジェクトの現在の速度が、前記最小速度と前記最大速度との間にあることを決定することを含む、段落AからCに記載のシステム。
E。前記速度不確実性は、交差する時間、および、位置不確実性または加速度不確実性の1つまたは複数に少なくとも部分的に基づく、段落AからCに記載のシステム。
F。環境内の、車両に最も近い第1のオブジェクトと関連付けられた経路の第1のセットを受け入れることと、環境内の第2のオブジェクトと関連付けられた経路の第2のセットを受け入れることと、前記車両と関連付けられた軌道を受け入れることと、前記軌道と前記経路の第1のセットの経路との第1の交差ポイントと、前記軌道と前記経路の第2のセットの経路との第2の交差ポイントとを決定することと、前記第1の交差ポイントに少なくとも部分的に基づいて、前記車両と前記第1のオブジェクトとの第1の交差確率を決定することと、前記第2の交差ポイントに少なくとも部分的に基づいて、前記車両と前記第2のオブジェクトとの第2の交差確率を決定すること、および、前記第1の交差確率または前記第2の交差確率に少なくとも部分的に基づいて、前記車両を制御すること、を含む方法。
G。前記第1のオブジェクトと関連付けられた状態データを受け入れることと、前記状態データに少なくとも部分的に基づいて、前記第1のオブジェクトの位置、前記第1のオブジェクトの進行方向、前記第1のオブジェクトの加速度、または前記車両の軌道のうちの少なくとも1つと関連付けられた不確実性バリューを決定すること、をさらに含み、前記第1の交差確率を決定することは、前記不確実性バリューに少なくとも部分的に基づく、段落Fに記載の方法。
H。前記第1の交差ポイントに少なくとも部分的に基づいて、前記第1のオブジェクトと関連付けられた速度の第1の範囲を決定すること、および、前記第2の交差ポイントに少なくとも部分的に基づいて、前記第2のオブジェクトと関連付けられた速度の第2の範囲を決定すること、をさらに含み、前記第1の交差確率および前記第2の交差確率を決定することは、前記第1のオブジェクトと関連付けられた前記速度の第1の範囲、前記第2のオブジェクトと関連付けられた前記速度の第2の範囲、前記第1のオブジェクトの速度、および前記第2のオブジェクトの速度に少なくとも部分的に基づく、段落FまたはGに記載の方法。
I。前記速度の第1の範囲を決定することは、前記第1の交差ポイントと関連付けられた交差領域のサイズに基づいて、前記車両の前記軌道と交差する前記第1のオブジェクトについての第1の時間と、前記車両の前記軌道と交差する前記第1のオブジェクトについての第2の時間とを決定すること、および、前記第1の時間および前記第2の時間に少なくとも部分的に基づいて、前記第1の交差ポイントに到達する前記第1のオブジェクトの第1の速度と、前記第2の交差ポイントに到達する前記第1のオブジェクトの第2の速度とを決定すること、を含み、前記速度の第1の範囲は、前記第1の速度から前記第2の速度への速度によって画定される、段落FからHに記載の方法。
J。前記第1の交差確率は、前記第1のオブジェクトと関連付けられた速度不確実性に少なくとも部分的に基づき、前記速度不確実性は、前記第1の時間、および、位置不確実性または加速度不確実性の1つまたは複数に少なくとも部分的に基づく、段落FからIに記載の方法。
K。前記経路の第1のセットは、前記第1のオブジェクトと関連付けられた進行方向不確実性に少なくとも部分的に基づく、段落FからJに記載の方法。
L。前記経路の第1のセットおよび前記経路の第2のセットは、機械学習アルゴリズムを実施する機械学習モデルから受け入れられる、段落FからJに記載の方法。
M。前記第1の交差確率、前記第2の交差確率、およびモデルへ入力する前記第1のオブジェクトまたは前記第2のオブジェクトの少なくとも1つについての情報を入力することと、前記モデルから、第1のオブジェクトまたは前記第2のオブジェクトに充てる計算処理の量の指示を受け入れること、をさらに含む、段落FからLに記載の方法。
N。前記第1の交差確率、前記第2の交差確率、およびモデルへ入力する前記第1のオブジェクトまたは前記第2のオブジェクトの少なくとも1つについての情報を入力することと、前記モデルから、前記第2のオブジェクトに関する前記第1のオブジェクトに対して、計算処理の種々のレベルを適用する指示を受け入れること、をさらに含む、段落FからMに記載の方法。
O。前記第1の交差確率を決定することは、第1のオブジェクトに少なくとも部分的に基づく、段落FからNに記載の方法。
P。前記経路の第1のセットの経路は、実質的に直線を表す、段落FからOに記載の方法。
Q。1つまたは複数のプロセッサによって実行可能な命令を格納する1つまたは複数の非一時的コンピュータ可読媒体であって、前記命令が、実行されると、前記プロセッサに、環境内の、車両に最も近いオブジェクトと関連付けられた経路のセットを受け入れることであって、前記経路のセットは、前記オブジェクトと関連付けられた不確実性に少なくとも部分的に基づいた経路の配分を含む、受け入れることと、前記車両と関連付けられた軌道を受け入れることと、前記軌道と前記経路のセットの経路との交差ポイントを決定することと、前記交差ポイントに少なくとも部分的に基づいて、前記車両と前記オブジェクトとの交差確率を決定すること、および、前記交差確率に基づいて前記車両を制御すること、を含む動作を実行させる、非一時的コンピュータ可読媒体。
R。前記交差ポイントと関連付けられた交差領域に少なくとも部分的に基づいて、前記交差領域と関連付けられた速度の範囲を決定することと、前記速度の範囲に少なくとも部分的に基づいて、前記車両と同時に前記交差領域に在る前記オブジェクトと関連付けられた確率を決定すること、をさらに含み、前記交差確率は、前記経路と関連付けられた確率の産出に少なくとも部分的に基づいて決定され、前記確率は、前記交差領域内に在るオブジェクトと関連付けられる、段落Rに記載の非一時的コンピュータ可読媒体。
S。前記動作は、前記オブジェクトと関連付けられた状態データを受け入れることであって、前記状態データは、前記オブジェクトの位置、前記オブジェクトの進行方向、または前記オブジェクトの加速度、のうちの少なくとも1つと関連付けられた不確実性バリューを含む、受け入れること、をさらに含み、前記交差確率を決定することは、前記不確実性バリューに少なくとも部分的に基づく、段落QまたはRに記載の非一時的コンピュータ可読媒体。
T。前記動作は、環境内の、前記車両と最も近い追加のオブジェクトと関連付けられた経路の追加のセットを受け入れることであって、前記経路の追加のセットは、前記追加のオブジェクトと関連付けられた不確実性に少なくとも部分的に基づいて、経路の追加の分配を含む、受け入れることと、前記軌道と前記経路の追加のセットの経路との追加の交差ポイントを決定すること、および、前記追加の交差ポイントに少なくとも部分的に基づいて、前記車両と前記追加のオブジェクトとの追加の交差確率を決定すること、をさらに含み、前記車両を制御することは、しきい値確率より低いまたは等しく在る前記追加の交差確率に少なくとも部分的に基づいた、前記追加のオブジェクトから独立している、段落QからSに記載の非一時的コンピュータ可読媒体。
上記で説明した例示の条項は1つの特定の実施形態に関して説明しているが、この文書のコンテキストでは、例示の条項はまた、方法、デバイス、システムおよび/またはコンピュータ可読媒体、および/またはその他の実施形態を介して実装できることを理解されたい。加えて、例A乃至Tのいずれかは、単独で、または例A乃至Tのいずれかの他の1つまたは複数と組み合わせて実装され得る。
結論
本明細書で説明する技術の1つまたは複数の例について説明したが、様々な変更、追加、置換、およびそれらの同等物が、本明細書で説明する技術の範囲内に含まれる。
本明細書で説明する技術の1つまたは複数の例について説明したが、様々な変更、追加、置換、およびそれらの同等物が、本明細書で説明する技術の範囲内に含まれる。
例示の説明では、本明細書の一部を形成する添付の図面を参照するが、これは例示として請求される主題の具体的な例を示す。他の例を使用でき、構造的変更などの変更または代替を行うことができることを理解されたい。そのような例示、変更または代替は、意図して請求される主題に関する範囲から必ずしも逸脱するものではない。本明細書のステップは特定の順序で提示できるが、いくつかのケースでは、説明したシステムおよび方法の機能を変更することなく、特定の入力を異なる時間または異なる順序で提供するように、順序を変更できる。開示された手順はまた異なる順序で実行できる。加えて、本明細書における様々な計算は開示された順序で実行される必要はなく、計算の代替順序を使用する他の例を容易に実装できる。並べ替えに加えて、計算はまた同じ結果となるサブ計算に分解できる。
Claims (15)
- 1つまたは複数のプロセッサと、
1つまたは複数のプロセッサによって実行可能な命令を格納する1つまたは複数の非一時的コンピュータ可読媒体と、
を含むシステムであって、
前記命令が、実行されると、前記システムに、
環境内の、車両に最も近いオブジェクトと関連付けられた状態データを受け入れることであって、前記状態データは、進行方向不確実性、速度不確実性、および前記オブジェクトが経路を辿る確率を含む、受け入れることと、
前記進行方向不確実性および前記経路に少なくとも部分的に基づいて、前記オブジェクトの第1の可能性のある経路と、前記オブジェクトの第2の可能性のある経路とを決定することであって、前記第1の可能性のある経路は、前記オブジェクトが前記第1の可能性のある経路を辿る第1の確率と関連し、前記第2の可能性のある経路は、前記オブジェクトが前記第2の可能性のある経路を辿る第2の確率と関連する、決定することと、
前記車両の軌道を受け入れることと、
前記車両の前記軌道および前記速度不確実性に少なくとも部分的に基づいて、前記軌道と前記第1の可能性のある経路との第1の交差ポイントと、前記軌道と前記第2の可能性のある経路との第2の交差ポイントとを決定することと、
前記第1の確率、前記第2の確率、および前記速度不確実性に少なくとも部分的に基づいて、前記第1の交差ポイントまたは前記第2の交差ポイントのいずれかにおける前記車両と前記オブジェクトとの交差確率を決定すること、および、
前記交差確率に少なくとも部分的に基づいて、環境内の車両を制御すること、
を含む動作を実行させる、システム。 - 前記オブジェクトは第1のオブジェクトであり、
第2のオブジェクトを検出することであって、前記第2のオブジェクトは、第2の状態データ、第2の進行方向不確実性および第2の速度不確実性と関連する、検出することと、
前記第2の状態データに少なくとも部分的に基づいて、前記第2のオブジェクトの第3の経路と、前記第2のオブジェクトの第4の経路とを決定することであって、前記第3の経路は、第4の確率と関連し、前記第4の経路は、第5の確率と関連する、決定することと、
前記第4の確率および第5の確率に少なくとも部分的に基づいて、前記車両と前記第2のオブジェクトとの第2の交差確率を決定すること、および、
前記第2の交差確率は、しきい値確率よりも低いまたは等しいと決定すること、をさらに含み、
前記車両を制御することは、前記第2のオブジェクトから独立している、
請求項1に記載のシステム。 - 前記第1および第2の可能性のある経路を決定することは、
前記進行方向不確実性に少なくとも部分的に基づいて、経路についての経路の分配を決定すること、および、
前記第1および第2の可能性のある経路として、前記経路の分配から2つの経路を決定すること、を含む、
請求項1または2に記載のシステム。 - 最小速度に少なくとも部分的に基づいて、衝突領域に在る前記オブジェクトおよび前記車両と関連付けられた第1の時間を決定すること、および、
最大速度に少なくとも部分的に基づいて、衝突領域に在る前記オブジェクトおよび前記車両と関連付けられた第2の時間を決定すること、をさらに含み、
前記交差確率を決定することは、前記オブジェクトの現在の速度が、前記最小速度と前記最大速度との間にあることを決定することを含む、
請求項1乃至3のいずれか1項に記載のシステム。 - 前記速度不確実性は、交差する時間、および、位置不確実性または加速度不確実性の1つまたは複数に少なくとも部分的に基づく、
請求項1乃至4のいずれか一項に記載のシステム。 - 環境内の、車両に最も近い第1のオブジェクトと関連付けられた経路の第1のセットを受け入れることと、
環境内の第2のオブジェクトと関連付けられた経路の第2のセットを受け入れることと、
前記車両と関連付けられた軌道を受け入れることと、
前記軌道と前記経路の第1のセットの経路との第1の交差ポイントと、前記軌道と前記経路の第2のセットの経路との第2の交差ポイントとを決定することと、
前記第1の交差ポイントに少なくとも部分的に基づいて、前記車両と前記第1のオブジェクトとの第1の交差確率を決定することと、
前記第2の交差ポイントに少なくとも部分的に基づいて、前記車両と前記第2のオブジェクトとの第2の交差確率を決定すること、および、
前記第1の交差確率または前記第2の交差確率に少なくとも部分的に基づいて、前記車両を制御すること、
を含む方法。 - 前記第1のオブジェクトと関連付けられた状態データを受け入れることと、
前記状態データに少なくとも部分的に基づいて、前記第1のオブジェクトの位置、前記第1のオブジェクトの進行方向、前記第1のオブジェクトの加速度、または前記車両の軌道のうちの少なくとも1つと関連付けられた不確実性バリューを決定すること、をさらに含み、
前記第1の交差確率を決定することは、前記不確実性バリューに少なくとも部分的に基づく、
請求項6に記載の方法。 - 前記第1の交差ポイントに少なくとも部分的に基づいて、前記第1のオブジェクトと関連付けられた速度の第1の範囲を決定すること、および、
前記第2の交差ポイントに少なくとも部分的に基づいて、前記第2のオブジェクトと関連付けられた速度の第2の範囲を決定すること、をさらに含み、
前記第1の交差確率および前記第2の交差確率を決定することは、前記第1のオブジェクトと関連付けられた前記速度の第1の範囲、前記第2のオブジェクトと関連付けられた前記速度の第2の範囲、前記第1のオブジェクトの速度、および前記第2のオブジェクトの速度に少なくとも部分的に基づく、
請求項6または7に記載の方法。 - 前記速度の第1の範囲を決定することは、
前記第1の交差ポイントと関連付けられた交差領域のサイズに基づいて、前記車両の前記軌道と交差する前記第1のオブジェクトについての第1の時間と、前記車両の前記軌道と交差する前記第1のオブジェクトについての第2の時間とを決定すること、および、
前記第1の時間および前記第2の時間に少なくとも部分的に基づいて、前記第1の交差ポイントに到達する前記第1のオブジェクトの第1の速度と、前記第2の交差ポイントに到達する前記第1のオブジェクトの第2の速度とを決定すること、を含み、
前記速度の第1の範囲は、前記第1の速度から前記第2の速度への速度によって画定される、
請求項8に記載の方法。 - 前記第1の交差確率は、前記第1のオブジェクトと関連付けられた速度不確実性に少なくとも部分的に基づき、前記速度不確実性は、前記第1の時間、および、位置不確実性または加速度不確実性の1つまたは複数に少なくとも部分的に基づく、
請求項9に記載の方法。 - 前記経路の第1のセットは、前記第1のオブジェクトと関連付けられた進行方向不確実性に少なくとも部分的に基づく、
請求項6乃至10のいずれか1項に記載の方法。 - 前記経路の第1のセットおよび前記経路の第2のセットは、機械学習アルゴリズムを実施する機械学習モデルから受け入れられる、
請求項6乃至11のいずれか1項に記載の方法。 - 前記第1の交差確率、前記第2の交差確率、およびモデルへ入力する前記第1のオブジェクトまたは前記第2のオブジェクトの少なくとも1つについての情報を入力することと、
前記モデルから、前記第1のオブジェクトまたは前記第2のオブジェクトに充てる計算処理の量の指示を受け入れること、をさらに含む、
請求項6乃至12のいずれか1項に記載の方法。 - 前記第1の交差確率、前記第2の交差確率、およびモデルへ入力する前記第1のオブジェクトまたは前記第2のオブジェクトの少なくとも1つについての情報を入力することと、
前記モデルから、前記第2のオブジェクトに関する前記第1のオブジェクトに対して、計算処理の種々のレベルを適用する指示を受け入れること、をさらに含む、
請求項6乃至13のいずれか1項に記載の方法。 - コンピュータ上で実行されると、請求項6乃至14のいずれか一項に記載の方法を実施するコード化された命令を含むコンピュータプログラム製品。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/090,712 US11794732B2 (en) | 2020-11-05 | 2020-11-05 | Allocation of safety system resources based on probability of intersection |
US17/090,712 | 2020-11-05 | ||
PCT/US2021/056115 WO2022098519A1 (en) | 2020-11-05 | 2021-10-21 | Allocation of safety system resources based on probability of intersection |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023548272A true JP2023548272A (ja) | 2023-11-16 |
Family
ID=81380660
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023514398A Pending JP2023548272A (ja) | 2020-11-05 | 2021-10-21 | 交差する確率に基づく安全システム資源の割り当て |
Country Status (5)
Country | Link |
---|---|
US (1) | US11794732B2 (ja) |
EP (1) | EP4240628A1 (ja) |
JP (1) | JP2023548272A (ja) |
CN (1) | CN116323353A (ja) |
WO (1) | WO2022098519A1 (ja) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
BR112022010315A2 (pt) * | 2019-12-02 | 2022-08-16 | Nissan Motor | Método de controle de veículo e dispositivo de controle de veículo |
US11634140B2 (en) * | 2020-02-24 | 2023-04-25 | Nissan Motor Co., Ltd. | Vehicle control method and vehicle control device |
US11541903B2 (en) * | 2020-06-03 | 2023-01-03 | Waymo Llc | Autonomous driving with surfel maps |
US11904890B2 (en) * | 2020-06-17 | 2024-02-20 | Baidu Usa Llc | Lane change system for lanes with different speed limits |
US11618479B2 (en) * | 2020-12-08 | 2023-04-04 | GM Global Technology Operations LLC | System, method and controller for graph-based path planning for a host vehicle |
US20210101620A1 (en) * | 2020-12-17 | 2021-04-08 | Intel Corporation | Systems, methods, and devices for generating and using safety threat maps |
US20220379917A1 (en) * | 2021-05-24 | 2022-12-01 | Nvidia Corporation | Using arrival times and safety procedures in motion planning trajectories for autonomous vehicles |
US11753045B2 (en) * | 2021-06-22 | 2023-09-12 | Waymo Llc | Modeling positional uncertainty of moving objects using precomputed polygons |
US20230030104A1 (en) * | 2021-07-29 | 2023-02-02 | Waymo Llc | Lateral gap planning for autonomous vehicles |
US11955001B2 (en) * | 2021-09-27 | 2024-04-09 | GridMatrix, Inc. | Traffic near miss collision detection |
US20230102443A1 (en) * | 2021-09-28 | 2023-03-30 | GM Global Technology Operations LLC | Monitoring uncertainty for human-like behavioral modulation of trajectory planning |
US20230415772A1 (en) * | 2022-06-24 | 2023-12-28 | Motional Ad Llc | Trajectory planning based on extracted trajectory features |
US11691634B1 (en) * | 2022-06-24 | 2023-07-04 | Plus AI, Inc. | On-vehicle driving behavior modelling |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8812226B2 (en) | 2009-01-26 | 2014-08-19 | GM Global Technology Operations LLC | Multiobject fusion module for collision preparation system |
US10515390B2 (en) * | 2016-11-21 | 2019-12-24 | Nio Usa, Inc. | Method and system for data optimization |
US10562538B2 (en) * | 2017-11-22 | 2020-02-18 | Uatc, Llc | Object interaction prediction systems and methods for autonomous vehicles |
WO2019152888A1 (en) * | 2018-02-02 | 2019-08-08 | Nvidia Corporation | Safety procedure analysis for obstacle avoidance in autonomous vehicle |
GB2570887B (en) | 2018-02-07 | 2020-08-12 | Jaguar Land Rover Ltd | A system for a vehicle |
JP7098580B2 (ja) * | 2019-07-05 | 2022-07-11 | 株式会社東芝 | 予測装置、予測方法、プログラムおよび車両制御システム |
-
2020
- 2020-11-05 US US17/090,712 patent/US11794732B2/en active Active
-
2021
- 2021-10-21 JP JP2023514398A patent/JP2023548272A/ja active Pending
- 2021-10-21 WO PCT/US2021/056115 patent/WO2022098519A1/en active Application Filing
- 2021-10-21 EP EP21889835.1A patent/EP4240628A1/en active Pending
- 2021-10-21 CN CN202180065129.9A patent/CN116323353A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
CN116323353A (zh) | 2023-06-23 |
US11794732B2 (en) | 2023-10-24 |
WO2022098519A1 (en) | 2022-05-12 |
US20220135029A1 (en) | 2022-05-05 |
EP4240628A1 (en) | 2023-09-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2023548272A (ja) | 交差する確率に基づく安全システム資源の割り当て | |
US11420630B2 (en) | Trajectory modifications based on a collision zone | |
US11169531B2 (en) | Trajectory prediction on top-down scenes | |
US11643073B2 (en) | Trajectory modifications based on a collision zone | |
JP7425052B2 (ja) | 応答性のある車両制御 | |
JP2022539245A (ja) | アクションデータに基づくトップダウンシーンの予測 | |
US11433885B1 (en) | Collision detection for vehicles | |
CN114845913A (zh) | 基于物体运动的自顶向下场景预测 | |
CN113544035A (zh) | 遮挡预测和轨迹评估 | |
JP2022502306A (ja) | レーダ空間推定 | |
CN112955358A (zh) | 轨迹生成 | |
US11912268B2 (en) | Velocity regression safety system | |
JPWO2021242702A5 (ja) | ||
US11851054B2 (en) | Active prediction based on object trajectories | |
US11603095B2 (en) | Collision avoidance planning system | |
US11807233B1 (en) | Procedurally generated safety system determination | |
CN115515835A (zh) | 轨迹分类 | |
US20240212360A1 (en) | Generating object data using a diffusion model | |
US20240211797A1 (en) | Training a variable autoencoder using a diffusion model | |
US20240210942A1 (en) | Generating a scenario using a variable autoencoder conditioned with a diffusion model | |
US20240211731A1 (en) | Generating object representations using a variable autoencoder | |
US20240092357A1 (en) | Trajectory optimization in multi-agent environments | |
US20240092398A1 (en) | Trajectory prediction based on a decision tree | |
WO2024137500A1 (en) | Generating object representations using a variable autoencoder |