JP7446416B2 - 時空間ポーズ/オブジェクトデータベース - Google Patents
時空間ポーズ/オブジェクトデータベース Download PDFInfo
- Publication number
- JP7446416B2 JP7446416B2 JP2022519837A JP2022519837A JP7446416B2 JP 7446416 B2 JP7446416 B2 JP 7446416B2 JP 2022519837 A JP2022519837 A JP 2022519837A JP 2022519837 A JP2022519837 A JP 2022519837A JP 7446416 B2 JP7446416 B2 JP 7446416B2
- Authority
- JP
- Japan
- Prior art keywords
- geographic location
- historical data
- embedding
- simulated
- environment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims description 81
- 230000009471 action Effects 0.000 claims description 62
- 238000013528 artificial neural network Methods 0.000 claims description 40
- 238000012545 processing Methods 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 13
- 238000005457 optimization Methods 0.000 claims description 11
- 230000001133 acceleration Effects 0.000 claims description 4
- 239000003795 chemical substances by application Substances 0.000 description 111
- 230000008569 process Effects 0.000 description 42
- 238000010586 diagram Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 10
- 230000000875 corresponding effect Effects 0.000 description 8
- 238000005259 measurement Methods 0.000 description 8
- 238000004088 simulation Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 210000002569 neuron Anatomy 0.000 description 7
- 230000001953 sensory effect Effects 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 6
- 239000013598 vector Substances 0.000 description 6
- 238000012549 training Methods 0.000 description 5
- 238000005070 sampling Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 210000004027 cell Anatomy 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000026676 system process Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000013515 script Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/095—Predicting travel path or likelihood of collision
- B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/04—Traffic conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3626—Details of the output of route guidance instructions
- G01C21/3641—Personalized guidance, e.g. limited guidance on previously travelled routes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3807—Creation or updating of map data characterised by the type of data
- G01C21/3811—Point data, e.g. Point of Interest [POI]
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
- G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
- B60W2554/402—Type
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
- B60W2554/404—Characteristics
- B60W2554/4041—Position
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
- B60W2554/404—Characteristics
- B60W2554/4042—Longitudinal speed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
- B60W2554/404—Characteristics
- B60W2554/4044—Direction of movement, e.g. backwards
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/80—Spatial relation or speed relative to objects
- B60W2554/806—Relative heading
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/10—Historical data
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/45—External transmission of data to or from the vehicle
- B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Aviation & Aerospace Engineering (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Game Theory and Decision Science (AREA)
- Medical Informatics (AREA)
- Human Computer Interaction (AREA)
- Optics & Photonics (AREA)
- Electromagnetism (AREA)
- Traffic Control Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Navigation (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Description
実施形態1は、方法であって、
環境内のエージェントの現在の地理的場所を判定することと、
環境内の複数の地理的場所の履歴データを維持するデータベースから、エージェントの現在の地理的場所の近くにある地理的場所の履歴データを取得することであって、各地理的場所の履歴データが、環境をナビゲートする車両によってキャプチャされた地理的場所のセンサ読み取りから少なくとも部分的に生成された観察を含む、取得することと、
取得された履歴データのエンベッティングを生成することと、
エージェントによって実行されるアクションを選択するポリシー意思決定システムへの入力としてエンベッティングを提供することと、を含む、方法である。
実施形態2は、現在の地理的場所が、環境に課せられたボクセルグリッドにおける特定のボクセルである、実施形態1に記載の方法である。
実施形態3は、現在の地理的場所の近くの地理的場所が、前記特定のボクセルと、前記特定のボクセルを取り囲む周囲のボクセルのセットとを含む、実施形態2に記載の方法である。
実施形態4は、エージェントが自律型車両である、実施形態1~3のいずれか1つに記載の方法である。
実施形態5は、エージェントが、環境のシミュレートされたバージョンで使用されるシミュレートされたエージェントである、実施形態1~3のいずれか1つに記載の方法である。
実施形態6は、ポリシー意思決定システムが、最適化ベースのプランナである、実施形態1~5のいずれか1つに記載の方法である。
実施形態7は、ポリシー意思決定システムが、機械学習されたニューラルネットワークプランナである、実施形態1~5のいずれか1つに記載の方法である。
実施形態8は、エンベッティングを生成することが、
取得された履歴データの観察から統計を計算することと、
計算された統計からエンベッティングを生成することと、を含む、実施形態7に記載の方法である。
実施形態9は、エンベッティングを生成することが、
エンベッティングニューラルネットワークを使用して取得した履歴データを処理して、履歴データエンベッティングを生成することと、
現在の地理的場所の近くにある各地理的場所について、地理的場所に対応する各履歴データエンベッティングを組み合わせて、地理的場所の地理的場所エンベッティングを生成することと、
地理的場所エンベッティングを組み合わせて、エンベッティングを生成することと、を含む、実施形態7または8に記載の方法である。
実施形態10は、履歴データのエンベッティングをポリシー意思決定システムに提供することが、履歴データのエンベッティングをポリシー意思決定システムの弁別器への入力として提供することを含む、実施形態1~9のいずれか1つに記載の方法である。
実施形態11は、各地理的場所の履歴データにおける各観察が、地理的場所が車両によって遭遇されたこと、およびオブジェクトが車両のセンサによって地理的場所において検出されたかどうかを識別する、実施形態1~10のいずれか1つに記載の方法である。
実施形態12は、オブジェクトが車両のセンサによって地理的場所において検出されたとき、観察が、検出されたオブジェクトの1つ以上の特性を識別し、1つ以上の特性が、オブジェクトの速度、オブジェクトの加速度、オブジェクトの進行方向、オブジェクトのオブジェクトタイプ、オブジェクトのサイズ、またはオブジェクトの曲率情報のうちの1つ以上を含む、実施形態11に記載の方法である。
実施形態13は、履歴データを取得することは、エージェントが現在の地理的場所にあるときに、環境の状態の1つ以上の特性が、環境の現在の状態の特性と一致するときに生成された履歴データのみを取得することを含む、実施形態1~12のいずれか1つに記載方法である。
実施形態14は、方法であって、
環境内のエージェントの現在の地理的場所を判定することと、
環境内の複数の地理的場所の履歴データを維持するデータベースから、エージェントの現在の地理的場所の履歴データを取得することであって、各地理的場所の履歴データが、環境をナビゲートする車両のセンサによって地理的場所で検出された1つ以上のオブジェクトの各々のそれぞれの観察を含み、各観察が、少なくとも(i)地理的場所にあったオブジェクト、および(ii)オブジェクトが地理的場所にあった後に移動した次の地理的場所を識別する、取得することと、
少なくとも部分的に履歴データに基づいて、エージェントの未来の軌跡を生成することと、を含む、方法である。
実施形態15は、エージェントが、環境のシミュレートされたバージョンで使用されるシミュレートされたエージェントである、実施形態14に記載の方法である。
実施形態16は、現在の地理的場所が、環境に課せられた確立されたボクセルグリッド内の特定のボクセルである、実施形態14または15のいずれか1つに記載の方法である。
実施形態17は、未来の軌跡を生成することが、
各それぞれの観察について、オブジェクトが地理的場所にいた後に移動した次の地理的場所を識別することと、
観察された次の地理的場所の分布を計算することと、を含む、実施形態14~16のいずれか1つに記載の方法である。
実施形態18は、未来の軌跡を生成することが、
観察された次の地理的場所にわたる分布から単一の次の地理的場所をサンプリングすることと、
未来の軌跡の次の場所として次の地理的場所を選択することと、を含む、実施形態17に記載の方法である。
実施形態19は、観察された次の地理的場所にわたる分布から単一の次の地理的場所をサンプリングすることが、比較的低い関連確率で観察された次の地理的場所からサンプリングすることを含む、実施形態18に記載の方法である。
実施形態20は、未来の軌跡を生成することが、
エージェントの未来の軌跡候補を取得することと、
観察された次の地理的場所の分布を使用して、候補の未来の軌跡がエージェントの現実的な未来の軌跡であるかどうかを判定することと、をさらに含む、実施形態17~19のいずれか1つに記載の方法。
実施形態21は、履歴データに少なくとも部分的に基づいてエージェントの将来の軌跡を生成することが、エージェントによって実行されるアクションを選択する最適化ベースのプランナを使用して未来の軌跡を生成して、目的関数を最適化することを含む、実施形態17~20のいずれか1つに記載の方法。
実施形態22は、目的関数が、未来の軌跡における次の地理的場所が履歴データに従ってどれほどありそうかを測定する第1の項を含み、最適化ベースのプランナが、観察された次の地理的場所にわたる分布に基づいて異なるアクションの第1の項の値を判定する、実施形態21に記載の方法。
実施形態23は、各観察が、(iii)オブジェクトが現在の地理的場所に移動する前にあった1つ以上の以前の地理的場所も識別し、履歴データを取得することが、エージェントの以前の地理的場所に一致する1つ以上の以前の地理的場所を識別する観察のみを取得することを含む、実施形態14~22のいずれか1つに記載の方法である。
実施形態24は、履歴データを取得することが、環境の状態の1つ以上の特性が、エージェントが現在の地理的場所にあるときに、環境の現在の状態の特性と一致するときに生成された履歴データのみを取得することを含む、実施形態14~23のいずれか1つに記載の方法である。
実施形態25は、1つ以上のコンピュータと、1つ以上のコンピュータによって実行されたとき、実施形態1~24のいずれか1つに記載される方法を1つ以上のコンピュータに実行させるように動作可能な命令を記憶する1つ以上の記憶デバイスと、を備える、システムである。
実施形態26は、コンピュータプログラムで符号化された1つ以上の非一時的なコンピュータ記憶媒体であり、プログラムが、データ処理装置によって実行されるときに、実施形態1~24のいずれか1つに記載の方法をデータ処理装置に実行させるように動作可能な命令を含む、コンピュータ記憶媒体である。
Claims (19)
- 方法であって、
環境内の自律型車両の現在の地理的場所を判定することと、
前記環境内の複数の地理的場所の履歴データを維持するデータベースから、前記自律型車両の前記現在の地理的場所の近くにある地理的場所の履歴データを取得することであって、各地理的場所の前記履歴データが、前記環境をナビゲートする複数の他の車両によってキャプチャされた前記地理的場所のセンサ読み取りから少なくとも部分的に生成された観察を含むことと、
前記取得された履歴データのエンベッディングを生成することと、
前記自律型車両によって実行されるアクションを選択するポリシー意思決定システムへの入力として前記エンベッディングを提供することと、を含む、方法。 - 前記現在の地理的場所が、前記環境に課せられたボクセルグリッドにおける特定のボクセルである、請求項1に記載の方法。
- 前記現在の地理的場所の近くの前記地理的場所が、前記特定のボクセルと、前記特定のボクセルを取り囲む周囲のボクセルのセットと、を含む、請求項2に記載の方法。
- 前記自律型車両が、前記環境のシミュレートされたバージョンで使用されるシミュレートされた自律型車両である、請求項1~3のいずれか一項に記載の方法。
- 前記ポリシー意思決定システムが、最適化ベースのプランナである、請求項1~4のいずれか一項に記載の方法。
- 前記ポリシー意思決定システムが、機械学習されたニューラルネットワークプランナである、請求項1~5のいずれか一項に記載の方法。
- 前記エンベッディングを生成することが、
前記取得された履歴データの前記観察から統計を計算することと、
前記計算された統計から前記エンベッディングを生成することと、を含む、請求項6に記載の方法。 - 前記エンベッディングを生成することが、
エンベッディングニューラルネットワークを使用して前記取得した履歴データを処理して、履歴データエンベッディングを生成することと、
前記現在の地理的場所の近くにある各地理的場所について、前記地理的場所に対応する各履歴データエンベッディングを組み合わせて、前記地理的場所の地理的場所エンベッディングを生成することと、
前記地理的場所エンベッディングを組み合わせて、前記エンベッディングを生成することと、を含む、請求項6または7に記載の方法。 - 前記履歴データの前記エンベッディングをポリシー意思決定システムに提供することが、前記履歴データの前記エンベッディングを前記ポリシー意思決定システムの弁別器への入力として提供することを含む、請求項1~8のいずれか一項に記載の方法。
- 各地理的場所の前記履歴データにおける各観察が、前記地理的場所が前記複数の他の車両のうちの1つの他の車両によって遭遇されたこと、およびオブジェクトが前記1つの他の車両のセンサによって前記地理的場所において検出されたかどうかを識別する、請求項1~9のいずれか一項に記載の方法。
- オブジェクトが前記1つの他の車両の前記センサによって前記地理的場所において検出されたとき、前記観察が、前記検出されたオブジェクトの1つ以上の特性を識別し、前記1つ以上の特性が、前記オブジェクトの速度、前記オブジェクトの加速度、前記オブジェクトの進行方向、前記オブジェクトのオブジェクトタイプ、前記オブジェクトのサイズ、または前記オブジェクトの曲率情報のうちの1つ以上を含む、請求項10に記載の方法。
- 前記履歴データを取得することは、前記自律型車両が前記現在の地理的場所にあるときに、前記環境の状態の1つ以上の特性が、前記環境の現在の状態の特性と一致するときに生成された履歴データのみを取得することを含む、請求項1~11のいずれか一項に記載の方法。
- 1つ以上のコンピュータと、前記1つ以上のコンピュータによって実行されたとき、前記1つ以上のコンピュータに動作を実行させるように動作可能な命令を記憶する1つ以上の記憶デバイスと、を備えるシステムであって、前記動作が、
環境内の自律型車両の現在の地理的場所を判定することと、
前記環境内の複数の地理的場所の履歴データを維持するデータベースから、前記自律型車両の前記現在の地理的場所の近くにある地理的場所の履歴データを取得することであって、各地理的場所の前記履歴データが、前記環境をナビゲートする複数の他の車両によってキャプチャされた前記地理的場所のセンサ読み取りから少なくとも部分的に生成された観察を含むことと、
前記取得された履歴データのエンベッディングを生成することと、
前記自律型車両によって実行されるアクションを選択するポリシー意思決定システムへの入力として前記エンベッディングを提供することと、を含む、システム。 - 前記ポリシー意思決定システムが、最適化ベースのプランナである、請求項13に記載のシステム。
- 前記ポリシー意思決定システムが、機械学習されたニューラルネットワークプランナである、請求項13または14に記載のシステム。
- 前記エンベッディングを生成することが、
エンベッディングニューラルネットワークを使用して前記取得された履歴データを処理して、履歴データエンベッディングを生成することと、
前記現在の地理的場所の近くにある各地理的場所について、前記地理的場所に対応する各履歴データエンベッディングを組み合わせて、前記地理的場所の地理的場所エンベッディングを生成することと、
前記地理的場所エンベッディングを組み合わせて、前記エンベッディングを生成することと、を含む、請求項15に記載のシステム。 - 複数のコンピュータによって実行されると、前記複数のコンピュータに動作を実行させるコンピュータプログラム命令で符号化された1つ以上の非一時的なコンピュータ記憶媒体であって、前記動作が、
環境内の自律型車両の現在の地理的場所を判定することと、
前記環境内の複数の地理的場所の履歴データを維持するデータベースから、前記自律型車両の前記現在の地理的場所の近くにある地理的場所の履歴データを取得することであって、各地理的場所の前記履歴データが、前記環境をナビゲートする複数の他の車両によってキャプチャされた前記地理的場所のセンサ読み取りから少なくとも部分的に生成された観察を含むことと、
前記取得された履歴データのエンベッディングを生成することと、
前記自律型車両によって実行されるアクションを選択するポリシー意思決定システムへの入力として前記エンベッディングを提供することと、を含む、非一時的なコンピュータ記憶媒体。 - 前記ポリシー意思決定システムが、最適化ベースのプランナである、請求項17に記載の非一時的なコンピュータ記憶媒体。
- 前記ポリシー意思決定システムが、機械学習されたニューラルネットワークプランナである、請求項17または18に記載の非一時的なコンピュータ記憶媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962911183P | 2019-10-04 | 2019-10-04 | |
US62/911,183 | 2019-10-04 | ||
PCT/US2020/054278 WO2021158264A2 (en) | 2019-10-04 | 2020-10-05 | Spatio-temporal pose/object database |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022550407A JP2022550407A (ja) | 2022-12-01 |
JP7446416B2 true JP7446416B2 (ja) | 2024-03-08 |
Family
ID=75274809
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022519837A Active JP7446416B2 (ja) | 2019-10-04 | 2020-10-05 | 時空間ポーズ/オブジェクトデータベース |
Country Status (5)
Country | Link |
---|---|
US (1) | US20210101614A1 (ja) |
EP (1) | EP4022254A4 (ja) |
JP (1) | JP7446416B2 (ja) |
CN (1) | CN114761942A (ja) |
WO (1) | WO2021158264A2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3828587A1 (en) | 2019-11-29 | 2021-06-02 | Aptiv Technologies Limited | Method for determining the position of a vehicle |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6257872B1 (ja) | 2017-06-01 | 2018-01-10 | 三菱電機株式会社 | 移動体制御装置、移動体制御方法及び移動体制御プログラム |
US20180074200A1 (en) | 2017-11-21 | 2018-03-15 | GM Global Technology Operations LLC | Systems and methods for determining the velocity of lidar points |
US20190049950A1 (en) | 2018-09-17 | 2019-02-14 | Intel Corporation | Driving environment based mixed reality for computer assisted or autonomous driving vehicles |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6662316B2 (ja) * | 2017-01-17 | 2020-03-11 | トヨタ自動車株式会社 | 車両制御システム |
CN110419013A (zh) * | 2017-04-12 | 2019-11-05 | 赫尔实验室有限公司 | 自主***的认知行为预测*** |
WO2019023628A1 (en) * | 2017-07-27 | 2019-01-31 | Waymo Llc | NEURAL NETWORKS FOR VEHICLE TRACK PLANNING |
WO2019053695A1 (en) * | 2017-09-18 | 2019-03-21 | Telefonaktiebolaget L M Ericsson (Publ) | SYSTEM AND METHOD FOR PROVIDING ACCURATE DRIVING RECOMMENDATIONS BASED ON NETWORK-ASSISTED SCAN OF AN AMBIENT ENVIRONMENT |
US10889297B2 (en) * | 2017-10-13 | 2021-01-12 | International Business Machines Corporation | Determining a safe driving speed for a vehicle |
US10866588B2 (en) * | 2017-10-16 | 2020-12-15 | Toyota Research Institute, Inc. | System and method for leveraging end-to-end driving models for improving driving task modules |
US10739775B2 (en) | 2017-10-28 | 2020-08-11 | Tusimple, Inc. | System and method for real world autonomous vehicle trajectory simulation |
US10474916B2 (en) * | 2017-11-20 | 2019-11-12 | Ashok Krishnan | Training of vehicles to improve autonomous capabilities |
US10908614B2 (en) * | 2017-12-19 | 2021-02-02 | Here Global B.V. | Method and apparatus for providing unknown moving object detection |
US11636375B2 (en) * | 2018-02-27 | 2023-04-25 | Toyota Research Institute, Inc. | Adversarial learning of driving behavior |
US10218941B1 (en) * | 2018-03-13 | 2019-02-26 | Lyft, Inc. | Systems and methods for coordinated collection of street-level image data |
US20200050973A1 (en) * | 2018-08-13 | 2020-02-13 | Here Global B.V. | Method and system for supervised learning of road signs |
US20200134494A1 (en) * | 2018-10-26 | 2020-04-30 | Uatc, Llc | Systems and Methods for Generating Artificial Scenarios for an Autonomous Vehicle |
US11249984B2 (en) * | 2019-05-22 | 2022-02-15 | Here Global B.V. | System and method for updating map data in a map database |
US11077850B2 (en) * | 2019-09-06 | 2021-08-03 | Lyft, Inc. | Systems and methods for determining individualized driving behaviors of vehicles |
US11529961B2 (en) * | 2019-09-30 | 2022-12-20 | GM Cruise Holdings LLC. | Tracking object path in map prior layer |
-
2020
- 2020-10-05 US US17/063,330 patent/US20210101614A1/en not_active Abandoned
- 2020-10-05 EP EP20917890.4A patent/EP4022254A4/en active Pending
- 2020-10-05 CN CN202080084045.5A patent/CN114761942A/zh active Pending
- 2020-10-05 JP JP2022519837A patent/JP7446416B2/ja active Active
- 2020-10-05 WO PCT/US2020/054278 patent/WO2021158264A2/en unknown
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6257872B1 (ja) | 2017-06-01 | 2018-01-10 | 三菱電機株式会社 | 移動体制御装置、移動体制御方法及び移動体制御プログラム |
US20180074200A1 (en) | 2017-11-21 | 2018-03-15 | GM Global Technology Operations LLC | Systems and methods for determining the velocity of lidar points |
US20190049950A1 (en) | 2018-09-17 | 2019-02-14 | Intel Corporation | Driving environment based mixed reality for computer assisted or autonomous driving vehicles |
Also Published As
Publication number | Publication date |
---|---|
EP4022254A4 (en) | 2023-09-06 |
JP2022550407A (ja) | 2022-12-01 |
WO2021158264A3 (en) | 2021-11-25 |
EP4022254A2 (en) | 2022-07-06 |
WO2021158264A2 (en) | 2021-08-12 |
CN114761942A (zh) | 2022-07-15 |
US20210101614A1 (en) | 2021-04-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7214873B2 (ja) | 自律型車両のセンサデータリポジトリの検索 | |
US11618481B2 (en) | Agent trajectory prediction using anchor trajectories | |
JP7254823B2 (ja) | 物体の検出および特徴付けのためのニューラルネットワーク | |
JP7367183B2 (ja) | 占有予測ニューラルネットワーク | |
US11694356B2 (en) | Methods and systems for joint pose and shape estimation of objects from sensor data | |
JP7345639B2 (ja) | マルチエージェントシミュレーション | |
US11967103B2 (en) | Multi-modal 3-D pose estimation | |
JP2022511968A (ja) | 開放された車両ドアを検出するための分類器のトレーニング | |
US20230150550A1 (en) | Pedestrian behavior prediction with 3d human keypoints | |
CN115311486A (zh) | 使用预训练的特征提取器训练蒸馏的机器学习模型 | |
JP7446416B2 (ja) | 時空間ポーズ/オブジェクトデータベース | |
US20220164350A1 (en) | Searching an autonomous vehicle sensor data repository based on context embedding | |
US20230082365A1 (en) | Generating simulated agent trajectories using parallel beam search | |
US20230082079A1 (en) | Training agent trajectory prediction neural networks using distillation | |
US20220319054A1 (en) | Generating scene flow labels for point clouds using object labels |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220520 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230404 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230628 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230913 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240111 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20240119 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240205 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240227 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7446416 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |