JP7069456B2 - マルチポリシー意思決定を導くための有益な結果を構築するための方法および装置 - Google Patents
マルチポリシー意思決定を導くための有益な結果を構築するための方法および装置 Download PDFInfo
- Publication number
- JP7069456B2 JP7069456B2 JP2019550667A JP2019550667A JP7069456B2 JP 7069456 B2 JP7069456 B2 JP 7069456B2 JP 2019550667 A JP2019550667 A JP 2019550667A JP 2019550667 A JP2019550667 A JP 2019550667A JP 7069456 B2 JP7069456 B2 JP 7069456B2
- Authority
- JP
- Japan
- Prior art keywords
- controlled object
- state
- policy
- seed
- policies
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/008—Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00002—Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Robotics (AREA)
- Mathematical Optimization (AREA)
- Algebra (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Probability & Statistics with Applications (AREA)
- Pure & Applied Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Feedback Control In General (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Complex Calculations (AREA)
Description
本発明は、米国国防総省高等研究計画局によって授与された助成金第D13AP00059号による政府の支援を受けてなされた。政府は本発明において一定の権利を有する。
本出願は、2017年3月17日に出願された米国仮特許出願第62/472,734号の利益を主張する。上記出願の全開示は参照により本明細書に組み込まれる。
によってはじかれ、その副目標gsubに向かって引き寄せられる。歩行者は、ソーシャルフォースがヒューマンロコモーションモデルの制御入力として機能するHSFMモデルを使用してモデル化される。ロボットは一輪車のようにモデル化され、ソーシャルフォース
は、より低いレベルの速度コントローラのための準拠基準信号(vref,wref)に変換される。
(青)は、ロボットが現在のポリシーの下でそれらを不便にするであろう構成にエージェントを駆動するが、一方、
(緑)はそれらをよりありそうな構成に駆動する。エージェントは同時に更新することができ、図6Bに見られるように、より影響力のある構成をもたらす。
ここで、pi,vi,giの各々は二次元ベクトルである。エージェントの動きは単純な動的モデルに従ってモデル化される。このモデルでは、時間の経過と共に積分された加速度によって速度が得られる。力、ひいては加速度は、障害物の影響と目標地点を組み込んだポテンシャルフィールド法を使用して計算される。
ここで、Followjは、次のエージェントjのポリシーを指す。観測可能なエージェントが10個ある環境内のロボットには、合計12個の候補ポリシーがある。各ポリシーは、システムの結合状態をポテンシャルフィールド
を介したアクションにマッピングする。
シーン内の他のエージェントとの相互作用は、SFMに基づいてモデル化されている。
ここで、{p1,bp}は人々のためのSFMパラメータであり、ej→iはjからiへの単位ベクトルであり、di、jは異方性因子でスケーリングされたそれらの間の距離である。
をロボットの位置からリーダーの位置への単位ベクトルとする。引力
は、ロボットの軌跡をリーダーに向けて操縦する。他のエージェントや障害物は、(8)で説明したようにロボットをはじき続ける。
ここで、
は、ロボットの速度方向の単位ベクトルである。他の種類のポリシーが本開示の範囲内にあることが理解される。
ここで、xt∈Xは、フォワードシミュレーションの時刻tにおけるロボット状態とすべてのエージェントからなる集合状態である。遷移関数T()は、他のすべてのエージェントとの相互作用を考慮しながら各エージェントが実行している軌跡を捉える。
ここで、dr,j(k)はロボットとエージェントjとの間の距離であり、||vr(k)||は時間ステップkにおけるロボットの速度である。uはステップ関数であり、引数が≧0のとき1であり、それ以外のとき0となる。
ここで、pr(k)は時間ステップにおけるロボットの位置kであり、
はロボットの現在位置から目標までの単位ベクトルgrである。結果として得られるコスト関数は、両方の線形結合である。
ここで、aは重み係数である。他のコスト関数もこの開示によって企図されている。
アルゴリズム1 リスクを意識したMPDMのためのポリシー選択
1:functionポリシー選択ループ(P(x),Π,Nπ)
2:for π=Π do
3:初期化Uπ,n←0
4:while n<Nπ do
5:サンプルx0~P(x)
6:U*,nopt←Optimize(x0,π)
7:n←n+nopt
8:Uπ←max{U*,Uπ}
9:end while
10:end for
11:π*←argminπUπ
12:end function
目的コストは(X)=Φ(0,X)と表すことができる。Φを次のように再帰的に定式化することができる。
を計算したい。時間ステップHでのコストの勾配は、
式(12)を適用し項を展開することにより、時間ステップHからt=0まで遡る勾配を繰り返し計算することができる。
遷移関数の勾配を効果的に計算することができる限り、式14を用いて∇x0C(X)を効率的に計算することができる。
の中でゼロとして現れる硬いしきい値が含まれている。結果として、(式14のボックスによって強調されているように有用な勾配は切り捨てられ、効果的なバックプロパゲーションを妨げる。したがって、横方向の力の影響を捉えるために、エージェントの状態を角速度で増大させる非ホロノミック運動学モデルの使用が好ましい。このモデルは、フォワードシミュレーションにおいて現実的な人間の動きを維持しながらTの微分可能性を保証する。
を使用して計算されるが、車輪付きプラットフォームには固有の制約があるため、
を低レベル速度コントローラのための準拠基準信号(Vref,Wref)に変換する。
先読み距離lは、横方向力を補償するためにロボットが回転する傾向を決定する。次いで、ロボットの状態は、独立した車輪速度コントローラの各々についての一次モデルと一輪車のプラントモデルとを使用して基準信号に向かってプロパゲートされる。
はフォワードプロパゲーション中に計算され、キャッシュされる。
でこの不確実性をパラメータ化する。対応する対角共分散行列はdiag
により表される。目標を揺動せず、角速度を仮定しない(不確定性を無視する)。これらの不確実性は事後状態推定P(x│z)においてプロパゲートされる。
1)2つのポリシー-{単独走行、停止}-ロボットは最大速度(1.5m/s)で目標に向かってまっすぐ進むことを評価し、危険を感じると停止する。
2)10個のポリシー-{(高速、中速、低速)x(まっすぐ、左、右)、停止}-最大速度で目標に向かってまっすぐ進むのではなく、MPDMはまた中速(0.9m/s)または低速(0.2m/s)で進むことを選択してもよい。同時に、ロボットは単独走行のように目標にまっすぐ進むのではなく、目標の左または右に副目標を生成することも選択することができる。
Claims (17)
- 環境内の制御対象物にコマンドを発行するための、コンピュータにより実装される方法であって、
一組のポリシーの各ポリシーであって、前記ポリシーが前記制御対象物が実装する前記コマンドを指定し、前記コマンドが前記制御対象物の動きに直接影響を与える各ポリシーについて、
前記制御対象物および1つまたは複数の監視対象物の各々について状態推定値を受け取るステップであって、各状態推定値は状態要素を含み、前記状態要素は前記それぞれの対象物の位置および前記それぞれの対象物の速度を示す、ステップと、
前記制御対象物および前記1つまたは複数の監視対象物の各々についてシード状態を生成するステップと、
前記制御対象物および前記シード状態を使用して前記1つまたは複数の監視対象物の動きをシミュレートするステップであって、前記シミュレーションは、前記それぞれのポリシーを実行する前記制御対象物を含む、ステップと、
前記シード状態を用いて前記シミュレーションの結果にコストを割り当てるステップと、
前記シード状態に関連する確率を決定するステップと、
前記コストおよび前記確率に基づいて前記シード状態を用いて前記シミュレーションの結果を定量化するステップと、
揺動された入力を使用して前記1つまたは複数の監視対象物および前記制御対象物の動きをシミュレートするステップであって、
揺動されたシード状態を決定するために、前記シード状態のうちの少なくとも1つの状態要素を揺動し、前記揺動されたシード状態を使用して、前記制御対象物および前記1つまたは複数の監視対象物の動きをシミュレートし、
前記揺動されたシード状態を用いて前記シミュレーションの結果に揺動されたコストを割り当て、
前記揺動されたシード状態に関連する揺動された確率を決定し、
前記揺動されたコストおよび前記揺動された確率に基づいて、前記揺動されたシード状態を用いて前記シミュレーションの揺動された結果を定量化し、
所定の条件が満たされるまで、揺動された入力を用いて前記制御対象物および前記1つまたは複数の監視対象物の動きの前記シミュレーションを繰り返し、それによって複数の揺動された結果を生成するステップと、
前記それぞれのポリシーについてポリシースコアを決定するステップであって、前記ポリシースコアは、前記それぞれのポリシーについての前記複数の揺動された結果の中で最も高い値を有する前記揺動された結果に相関する、ステップと、
前記一組のポリシーから所与のポリシーを選択するステップであって、前記の所与のポリシーは、前記一組のポリシー内の前記ポリシーの中で最も良性の結果を有する、ステップと、
前記所与のポリシーに従って、前記制御対象物に前記コマンドを発行するステップと、
を含む方法。 - 前記シード状態のうちの少なくとも1つの状態要素を揺動する前記ステップは、前記揺動されたコストと前記揺動された確率との積を最大にする、請求項1に記載の方法。
- バックプロパゲーションを使用して少なくとも1つの状態要素を揺動するステップをさらに含む、請求項1に記載の方法。
- 前記1つまたは複数の監視対象物の動きをシミュレートするステップは、微分可能関数を使用して対象物の軌跡を表すステップをさらに含む、請求項1に記載の方法。
- 一連の時間ステップにわたって遷移関数を再帰的に適用することによって対象物の軌跡を表すステップをさらに含み、前記遷移関数は、ソーシャルフォースモデルに従って対象物が他のエージェントによってはじかれ、かつ目標に向かって引き寄せられるように定義される、請求項4に記載の方法。
- 前記1つまたは複数の監視対象物の動きをシミュレートするステップは、前記揺動されたシード状態に関して前記一連の時間ステップ内の時間ステップごとに勾配を反復計算することによって揺動されたシード状態を決定するステップを含む、請求項4に記載の方法。
- 前記所与のポリシーは、一組の望ましくない結果を回避し、前記一組の望ましくない結果は、(i)前記制御対象物と前記1つまたは複数の監視対象物のうちの1つとの間の衝突、ならびに(ii)前記制御対象物が前記1つまたは複数の監視対象物から所定の距離内にあること、の少なくとも一方を含む、請求項5に記載の方法。
- 前記状態要素は確率分布によって表される、請求項1に記載の方法。
- 前記状態要素のうちの1つは、前記制御対象物の目標を示す、請求項8に記載の方法。
- 前記コストは非難メトリックを用いて決定され、前記非難メトリックは前記制御対象物と前記1つまたは複数の監視対象物のうちの1つとの間の距離ならびに前記制御対象物の前記速度の関数である、請求項9に記載の方法。
- 前記コストは、前記制御対象物の前記目標への進行を用いて決定される、請求項10に記載の方法。
- 前記1つまたは複数の監視対象物の各々についての前記受け取った状態推定値は、知覚モジュールに基づく前記1つまたは複数の監視対象物の確率的推定値である、請求項1に記載の方法。
- 前記一組のポリシーは、前記制御対象物が、(i)前記1つまたは複数の監視対象物のうちの1つに追従するように軌跡を変更する、(ii)同じ位置を維持する、(iii)前進する、(iv)減速する、および(v)加速する、ためのコマンドのうちの少なくとも1つを含む、請求項1に記載の方法。
- 環境内の制御対象物であって、
一組のポリシーの各ポリシーについて、最良のポリシーを決定するように構成されたコントローラであって、前記ポリシーは、前記制御対象物が実装するコマンドを指定し、前記コマンドは前記制御対象物の方向を示す、コントローラと、
命令を格納する非一時的コンピュータ可読媒体と、を含み、前記命令は、プロセッサによって実行された場合に、前記プロセッサに対して、
知覚モジュールから、前記制御対象物および1つまたは複数の監視対象物の各々について状態推定値を受け取らせ、各状態推定値は状態要素を含み、前記状態要素は前記それぞれの対象物の位置および前記それぞれの対象物の速度を示し、
シード状態生成器を介して、前記制御対象物および前記1つまたは複数の監視対象物の各々についてシード状態を生成させ、
シミュレータを介して、前記シード状態を使用して、前記制御対象物および前記1つまたは複数の監視対象物の動きをシミュレートさせ、前記シミュレーションは、前記それぞれのポリシーを実行する前記制御対象物を含み、
結果定量化器を介して、前記結果にコストを割り当てることによって前記シード状態の結果を定量化して、前記シード状態に関連する確率を決定させ、
前記シミュレータを介して、揺動された入力を使用して前記制御対象物および前記1つまたは複数の監視対象物の動きをシミュレートさせ、
揺動モジュールを介して、揺動されたシード状態を決定するためにバックプロパゲーションを使用して前記シード状態のうちの少なくとも1つの状態要素を揺動し、前記揺動は、揺動されたコストと揺動された確率の積を最大にし、
前記揺動されたシード状態に関連する前記揺動されたコストを計算するために、前記揺動されたシード状態を使用して、前記シミュレータを介して、前記制御対象物および前記1つまたは複数の監視対象物の動きをシミュレートさせ、
前記結果定量化器を介して、前記揺動されたシード状態の揺動された結果を前記揺動されたコストと前記揺動されたシード状態に関連する前記揺動された確率との揺動された積として定量化させ、
前記コントローラを介して、所定の条件が満たされるまで、揺動された入力を用いて前記制御対象物および前記1つまたは複数の監視対象物の動きの前記シミュレーションを繰り返させ、それによって複数の揺動された積を生成することによって、前記動きをシミュレートさせ、
前記コントローラを介して、前記それぞれのポリシーについてポリシースコアを決定させ、前記ポリシースコアは、前記一連のポリシー内の前記ポリシーの中で最も高い値を有する前記揺動された結果に相関し、
前記コントローラを介して、前記一組のポリシーから所与のポリシーを選択させ、前記の所与のポリシーは、前記一組のポリシー内の前記ポリシーの中で最も良性の結果を有し、
前記コントローラを介して、前記所与のポリシーに従って、前記制御対象物に前記コマンドを発行させる、制御対象物。 - 微分可能関数を使用して対象物の軌跡を表すことによって前記1つまたは複数の監視対象物の動きをシミュレートすることをさらに含む、請求項14に記載の制御対象物。
- 一連の時間ステップにわたって遷移関数を再帰的に適用することによって対象物の軌跡を表すことをさらに含み、前記遷移関数は、ソーシャルフォースモデルに従って対象物が他のエージェントによってはじかれ、かつ目標に向かって引き寄せられるように定義される、請求項15に記載の制御対象物。
- 前記1つまたは複数の監視対象物の動きをシミュレートするステップは、前記揺動されたシード状態に関して前記一連の時間ステップ内の時間ステップごとに勾配を反復計算することによって揺動されたシード状態を決定することを含む、請求項15に記載の制御対象物。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022063511A JP7262858B2 (ja) | 2017-03-17 | 2022-04-06 | マルチポリシー意思決定を導くための有益な結果を構築するための方法および装置 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762472734P | 2017-03-17 | 2017-03-17 | |
US62/472,734 | 2017-03-17 | ||
PCT/US2018/022956 WO2018170444A1 (en) | 2017-03-17 | 2018-03-16 | Method and apparatus for constructing informative outcomes to guide multi-policy decision making |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022063511A Division JP7262858B2 (ja) | 2017-03-17 | 2022-04-06 | マルチポリシー意思決定を導くための有益な結果を構築するための方法および装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020511721A JP2020511721A (ja) | 2020-04-16 |
JP7069456B2 true JP7069456B2 (ja) | 2022-05-18 |
Family
ID=63519520
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019550667A Active JP7069456B2 (ja) | 2017-03-17 | 2018-03-16 | マルチポリシー意思決定を導くための有益な結果を構築するための方法および装置 |
JP2022063511A Active JP7262858B2 (ja) | 2017-03-17 | 2022-04-06 | マルチポリシー意思決定を導くための有益な結果を構築するための方法および装置 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022063511A Active JP7262858B2 (ja) | 2017-03-17 | 2022-04-06 | マルチポリシー意思決定を導くための有益な結果を構築するための方法および装置 |
Country Status (3)
Country | Link |
---|---|
US (3) | US11087200B2 (ja) |
JP (2) | JP7069456B2 (ja) |
WO (1) | WO2018170444A1 (ja) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7069456B2 (ja) | 2017-03-17 | 2022-05-18 | ザ・リージェンツ・オブ・ザ・ユニバーシティ・オブ・ミシガン | マルチポリシー意思決定を導くための有益な結果を構築するための方法および装置 |
EP3824404A4 (en) | 2018-07-20 | 2022-04-27 | May Mobility, Inc. | MULTI-PERSPECTIVE SYSTEM AND BEHAVIORAL POLICY SELECTION PROCESS BY AN AUTONOMOUS AGENT |
KR102634443B1 (ko) * | 2019-03-07 | 2024-02-05 | 에스케이텔레콤 주식회사 | 차량용 센서의 보정 정보 획득 장치 및 방법 |
US11345342B2 (en) * | 2019-09-27 | 2022-05-31 | Intel Corporation | Potential collision warning system based on road user intent prediction |
EP4165476A4 (en) | 2020-07-01 | 2024-07-03 | May Mobility Inc | METHOD AND SYSTEM FOR DYNAMIC MANAGEMENT OF AUTONOMOUS VEHICLE INTERVENTIONS |
US11396302B2 (en) | 2020-12-14 | 2022-07-26 | May Mobility, Inc. | Autonomous vehicle safety platform system and method |
US11472444B2 (en) | 2020-12-17 | 2022-10-18 | May Mobility, Inc. | Method and system for dynamically updating an environmental representation of an autonomous agent |
CN112529110B (zh) * | 2020-12-29 | 2023-04-07 | 中国科学院自动化研究所 | 对手策略反演方法、***、装置 |
US11807267B2 (en) | 2020-12-31 | 2023-11-07 | Toyota Research Institute, Inc. | Systems and methods for risk-sensitive sequential action control for robotic devices |
EP4314708A1 (en) | 2021-04-02 | 2024-02-07 | May Mobility, Inc. | Method and system for operating an autonomous agent with incomplete environmental information |
WO2022256249A1 (en) | 2021-06-02 | 2022-12-08 | May Mobility, Inc. | Method and system for remote assistance of an autonomous agent |
WO2023102098A1 (en) | 2021-12-01 | 2023-06-08 | May Mobility, Inc. | Method and system for impact-based operation of an autonomous agent |
US20230174103A1 (en) * | 2021-12-02 | 2023-06-08 | May Mobility, Inc. | Method and system for feasibility-based operation of an autonomous agent |
CN114313882A (zh) * | 2022-01-11 | 2022-04-12 | 浙江柯工智能***有限公司 | 一种化纤生产自动化运输***及方法 |
WO2023154568A1 (en) | 2022-02-14 | 2023-08-17 | May Mobility, Inc. | Method and system for conditional operation of an autonomous agent |
CN114967680B (zh) * | 2022-05-06 | 2024-04-12 | 安徽理工大学 | 基于蚁群算法和卷积神经网络的移动机器人路径规划方法 |
WO2024129832A1 (en) | 2022-12-13 | 2024-06-20 | May Mobility, Inc. | Method and system for assessing and mitigating risks encounterable by an autonomous vehicle |
CN117129000B (zh) * | 2023-09-21 | 2024-03-26 | 安徽大学 | 一种基于种子优化算法的多目标货运车辆路径规划方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013045265A (ja) | 2011-08-24 | 2013-03-04 | Toyota Central R&D Labs Inc | 自律移動体 |
US20170031361A1 (en) | 2015-07-31 | 2017-02-02 | Ford Global Technologies, Llc | Vehicle trajectory determination |
Family Cites Families (73)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5544282A (en) * | 1991-04-05 | 1996-08-06 | Chen; Pang C. | Method and apparatus for planning motions of robot manipulators |
US6199013B1 (en) | 1997-07-15 | 2001-03-06 | Navigation Technologies Corp. | Maneuver generation program and method |
US6950788B2 (en) | 2000-09-27 | 2005-09-27 | Ardeshir Faghri | Computer-implemented system and method for simulating motor vehicle and bicycle traffic |
US20040100563A1 (en) | 2002-11-27 | 2004-05-27 | Sezai Sablak | Video tracking system and method |
AU2003221083A1 (en) * | 2003-03-25 | 2004-10-18 | Rorze Corporation | Robot simulation device, and robot simulation program |
US20060200333A1 (en) | 2003-04-10 | 2006-09-07 | Mukesh Dalal | Optimizing active decision making using simulated decision making |
US7343232B2 (en) | 2003-06-20 | 2008-03-11 | Geneva Aerospace | Vehicle control system including related methods and components |
WO2007048029A2 (en) | 2005-10-21 | 2007-04-26 | Deere & Company | Systems and methods for obstacle avoidance |
US20070276600A1 (en) | 2006-03-06 | 2007-11-29 | King Timothy I | Intersection collision warning system |
US7813888B2 (en) * | 2006-07-24 | 2010-10-12 | The Boeing Company | Autonomous vehicle rapid development testbed systems and methods |
JP4698656B2 (ja) | 2007-11-12 | 2011-06-08 | 三菱電機株式会社 | 制御システムおよび制御支援装置 |
US20100100324A1 (en) | 2008-10-22 | 2010-04-22 | Toyota Motor Engineering & Manufacturing North America, Inc. | Communication based vehicle-pedestrian collision warning system |
US8346516B2 (en) | 2008-11-05 | 2013-01-01 | Accenture Global Services Limited | Predictive modeling |
WO2012045230A1 (en) * | 2010-10-07 | 2012-04-12 | Yu-Chien Huang | Simulation transmitter for remote operated vehicles |
US9472097B2 (en) | 2010-11-15 | 2016-10-18 | Image Sensing Systems, Inc. | Roadway sensing systems |
US9368028B2 (en) | 2011-12-01 | 2016-06-14 | Microsoft Technology Licensing, Llc | Determining threats based on information from road-based devices in a transportation-related context |
US9495874B1 (en) | 2012-04-13 | 2016-11-15 | Google Inc. | Automated system and method for modeling the behavior of vehicles and other agents |
US9129519B2 (en) | 2012-07-30 | 2015-09-08 | Massachussetts Institute Of Technology | System and method for providing driver behavior classification at intersections and validation on large naturalistic data sets |
US9720412B1 (en) | 2012-09-27 | 2017-08-01 | Waymo Llc | Modifying the behavior of an autonomous vehicle using context based parameter switching |
US9274525B1 (en) | 2012-09-28 | 2016-03-01 | Google Inc. | Detecting sensor degradation by actively controlling an autonomous vehicle |
DE102012022472A1 (de) * | 2012-11-16 | 2014-05-22 | Grenzebach Maschinenbau Gmbh | Verfahren und Vorrichtung zum kombinierten Simulieren und Steuern ferngesteuerter Fahrzeuge |
DE102012023925A1 (de) * | 2012-12-06 | 2014-06-12 | Grenzebach Maschinenbau Gmbh | Verfahren und Vorrichtung zum kombinierten Simulieren und Steuern ferngesteuerter Fahrzeuge mit einem benutzerfreundlichen Projektionssystem |
EP2762877A1 (en) | 2013-01-31 | 2014-08-06 | Sensirion AG | Calibration of a chemical sensor in a portable electronic device |
JP2016526707A (ja) * | 2013-07-02 | 2016-09-05 | ナオーリ、イグダル | リアルタイム自動車運転シミュレータ |
WO2015160900A1 (en) | 2014-04-15 | 2015-10-22 | Maris, Ltd | Assessing asynchronous authenticated data sources for use in driver risk management |
US9821465B2 (en) * | 2014-05-06 | 2017-11-21 | Kenneth Dean Stephens, Jr. | Enhanced environment simulator for proxy robot handlers |
US20210133871A1 (en) | 2014-05-20 | 2021-05-06 | State Farm Mutual Automobile Insurance Company | Autonomous vehicle operation feature usage recommendations |
US9804594B2 (en) | 2014-11-07 | 2017-10-31 | Clearpath Robotics, Inc. | Self-calibrating sensors and actuators for unmanned vehicles |
KR101659034B1 (ko) | 2015-01-20 | 2016-09-23 | 엘지전자 주식회사 | 차량의 주행 모드 전환 장치 및 그 방법 |
US20160314224A1 (en) * | 2015-04-24 | 2016-10-27 | Northrop Grumman Systems Corporation | Autonomous vehicle simulation system |
CN113093808A (zh) | 2015-05-23 | 2021-07-09 | 深圳市大疆创新科技有限公司 | 使用惯性传感器和图像传感器的传感器融合 |
US9618938B2 (en) | 2015-07-31 | 2017-04-11 | Ford Global Technologies, Llc | Field-based torque steering control |
US9811760B2 (en) | 2015-07-31 | 2017-11-07 | Ford Global Technologies, Llc | Online per-feature descriptor customization |
JP6361618B2 (ja) | 2015-09-15 | 2018-07-25 | トヨタ自動車株式会社 | 運転支援装置 |
US9903733B2 (en) | 2016-03-17 | 2018-02-27 | Honda Motor Co., Ltd. | Vehicular communications network and methods of use and manufacture thereof |
EP3433692B1 (en) | 2016-03-24 | 2023-12-20 | Teledyne FLIR Detection, Inc. | Persistent aerial reconnaissance and communication system |
US12030629B2 (en) | 2016-03-24 | 2024-07-09 | Teledyne Flir Detection, Inc. | Cellular communication devices and methods |
KR102372219B1 (ko) | 2016-04-25 | 2022-03-08 | 콘비다 와이어리스, 엘엘씨 | 서비스 레이어에서의 데이터 스트림 애널리틱스 |
US20170356748A1 (en) | 2016-06-14 | 2017-12-14 | nuTonomy Inc. | Route Planning for an Autonomous Vehicle |
US10656640B2 (en) | 2016-07-07 | 2020-05-19 | Applied Minds, Llc | Systems and methods for centralized control of autonomous vehicles |
WO2018014282A1 (en) | 2016-07-21 | 2018-01-25 | Baidu.Com Times Technology (Beijing) Co., Ltd. | Efficient communications amongst computing nodes for operating autonomous vehicles |
US20180053102A1 (en) | 2016-08-16 | 2018-02-22 | Toyota Jidosha Kabushiki Kaisha | Individualized Adaptation of Driver Action Prediction Models |
US10248120B1 (en) | 2016-09-16 | 2019-04-02 | Amazon Technologies, Inc. | Navigable path networks for autonomous vehicles |
US10762794B2 (en) | 2016-09-19 | 2020-09-01 | Honeywell International Inc. | Methods and systems for automation guidance |
EP3485337B1 (en) | 2016-09-23 | 2020-10-21 | Apple Inc. | Decision making for autonomous vehicle motion control |
US10699305B2 (en) | 2016-11-21 | 2020-06-30 | Nio Usa, Inc. | Smart refill assistant for electric vehicles |
US10993165B2 (en) | 2016-12-27 | 2021-04-27 | Veniam, Inc. | Flexible support of multi-homing in networks of moving things including autonomous vehicles based networks |
US10966070B2 (en) | 2017-01-30 | 2021-03-30 | Veniam, Inc. | Systems and methods for managing data with heterogeneous multi-paths and multi-networks in an internet of moving things |
EP3580104B1 (en) | 2017-02-10 | 2020-11-11 | Nissan North America, Inc. | Autonomous vehicle operational management blocking monitoring |
JP7069456B2 (ja) | 2017-03-17 | 2022-05-18 | ザ・リージェンツ・オブ・ザ・ユニバーシティ・オブ・ミシガン | マルチポリシー意思決定を導くための有益な結果を構築するための方法および装置 |
WO2018177339A1 (en) | 2017-03-28 | 2018-10-04 | Kwok Ching Kwong | A kiosk cluster |
IL252769B (en) | 2017-06-08 | 2021-10-31 | Israel Aerospace Ind Ltd | Method and system for autonomous vehicle navigation |
US20170274908A1 (en) | 2017-06-12 | 2017-09-28 | Xiaoning Huai | Personalize self-driving cars |
US10824454B2 (en) | 2017-06-15 | 2020-11-03 | At&T Intellectual Property I, L.P. | 5G dynamic slice and network identity instantiation, termination, and access management system and method |
US10740988B2 (en) | 2017-06-16 | 2020-08-11 | nuTonomy Inc. | Intervention in operation of a vehicle having autonomous driving capabilities |
US10317899B2 (en) | 2017-06-16 | 2019-06-11 | nuTonomy Inc. | Intervention in operation of a vehicle having autonomous driving capabilities |
US10386856B2 (en) | 2017-06-29 | 2019-08-20 | Uber Technologies, Inc. | Autonomous vehicle collision mitigation systems and methods |
US10518729B2 (en) | 2017-08-02 | 2019-12-31 | Allstate Insurance Company | Event-based connected vehicle control and response systems |
US10558224B1 (en) | 2017-08-10 | 2020-02-11 | Zoox, Inc. | Shared vehicle obstacle data |
US10424127B2 (en) | 2017-08-28 | 2019-09-24 | GM Global Technology Operations LLC | Controller architecture for monitoring health of an autonomous vehicle |
US10710602B2 (en) | 2017-10-06 | 2020-07-14 | Uatc, Llc | Systems and methods for a vehicle controller safety monitor |
US10540892B1 (en) | 2017-10-26 | 2020-01-21 | State Farm Mutual Automobile Insurance Company | Technology for real-time detection and mitigation of remote vehicle anomalous behavior |
US11027751B2 (en) | 2017-10-31 | 2021-06-08 | Nissan North America, Inc. | Reinforcement and model learning for vehicle operation |
US10503165B2 (en) | 2017-12-22 | 2019-12-10 | Toyota Research Institute, Inc. | Input from a plurality of teleoperators for decision making regarding a predetermined driving situation |
CN108182817A (zh) | 2018-01-11 | 2018-06-19 | 北京图森未来科技有限公司 | 自动驾驶辅助***、路侧端辅助***和车载端辅助*** |
US11022971B2 (en) | 2018-01-16 | 2021-06-01 | Nio Usa, Inc. | Event data recordation to identify and resolve anomalies associated with control of driverless vehicles |
US20190265059A1 (en) | 2018-02-26 | 2019-08-29 | Jonathan Warnick | System and Method for Real-time Transit Prioritization |
US20210116907A1 (en) | 2018-03-18 | 2021-04-22 | Driveu Tech Ltd. | Device, System, and Method of Autonomous Driving and Tele-Operated Vehicles |
US10235882B1 (en) | 2018-03-19 | 2019-03-19 | Derq Inc. | Early warning and collision avoidance |
US11227486B2 (en) | 2018-07-16 | 2022-01-18 | Here Global B.V. | Method, apparatus, and system for estimating vulnerable road users |
US11454525B2 (en) | 2018-10-19 | 2022-09-27 | Robert Bosch Gmbh | Vehicle sensor field calibration utilizing other vehicles |
US20200233060A1 (en) | 2019-01-17 | 2020-07-23 | Denso International America, Inc. | Sensor data anomaly detection system and method for a vehicle |
US10969470B2 (en) | 2019-02-15 | 2021-04-06 | May Mobility, Inc. | Systems and methods for intelligently calibrating infrastructure devices using onboard sensors of an autonomous agent |
-
2018
- 2018-03-16 JP JP2019550667A patent/JP7069456B2/ja active Active
- 2018-03-16 WO PCT/US2018/022956 patent/WO2018170444A1/en active Application Filing
- 2018-03-16 US US15/923,577 patent/US11087200B2/en active Active
-
2021
- 2021-07-09 US US17/371,221 patent/US11681896B2/en active Active
-
2022
- 2022-04-06 JP JP2022063511A patent/JP7262858B2/ja active Active
-
2023
- 2023-05-12 US US18/196,897 patent/US12001934B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013045265A (ja) | 2011-08-24 | 2013-03-04 | Toyota Central R&D Labs Inc | 自律移動体 |
US20170031361A1 (en) | 2015-07-31 | 2017-02-02 | Ford Global Technologies, Llc | Vehicle trajectory determination |
Also Published As
Publication number | Publication date |
---|---|
US11681896B2 (en) | 2023-06-20 |
US12001934B2 (en) | 2024-06-04 |
US11087200B2 (en) | 2021-08-10 |
WO2018170444A1 (en) | 2018-09-20 |
US20210342667A1 (en) | 2021-11-04 |
US20230289557A1 (en) | 2023-09-14 |
JP7262858B2 (ja) | 2023-04-24 |
US20180268281A1 (en) | 2018-09-20 |
JP2022105001A (ja) | 2022-07-12 |
JP2020511721A (ja) | 2020-04-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7069456B2 (ja) | マルチポリシー意思決定を導くための有益な結果を構築するための方法および装置 | |
Bouton et al. | Cooperation-aware reinforcement learning for merging in dense traffic | |
US20210124353A1 (en) | Combined prediction and path planning for autonomous objects using neural networks | |
US11900797B2 (en) | Autonomous vehicle planning | |
Li et al. | An improved DQN path planning algorithm | |
US20180292830A1 (en) | Automatic Tuning of Autonomous Vehicle Cost Functions Based on Human Driving Data | |
Zhu et al. | Multi-agent broad reinforcement learning for intelligent traffic light control | |
González et al. | High-speed highway scene prediction based on driver models learned from demonstrations | |
Herman et al. | Inverse reinforcement learning of behavioral models for online-adapting navigation strategies | |
Alighanbari et al. | Deep reinforcement learning with nmpc assistance nash switching for urban autonomous driving | |
Mehta et al. | Backprop-mpdm: Faster risk-aware policy evaluation through efficient gradient optimization | |
Zhu et al. | Flexible multi-unmanned ground vehicles (MUGVs) in intersection coordination based on ε-constraint probability collectives algorithm | |
Wheeler et al. | A probabilistic framework for microscopic traffic propagation | |
Zhu et al. | A gaussian process model for opponent prediction in autonomous racing | |
US20210350231A1 (en) | Predicting a state of a computer-controlled entity | |
Zhu et al. | A decentralized multi-criteria optimization algorithm for multi-unmanned ground vehicles (mugvs) navigation at signal-free intersection | |
US20240202393A1 (en) | Motion planning | |
Lam et al. | An efficient algorithm for discrete-time hidden mode stochastic hybrid systems | |
Keong et al. | Reinforcement learning for autonomous aircraft avoidance | |
Zarei et al. | Experimental study on optimal motion planning of wheeled mobile robot using convex optimization and receding horizon concept | |
Huang | Safe intention-aware maneuvering of autonomous vehicles | |
Elfahim et al. | Drone path optimization in complex environment based on Q-learning algorithm | |
Jiachen et al. | Robot path planning based on improved dung beetle optimizer algorithm | |
Yu et al. | An intelligent robot motion planning method and application via lppo in unknown environment | |
Richardson et al. | Reinforcement Learning with Communication Latency with Application to Stop-and-Go Wave Dissipation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210304 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220118 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220121 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220228 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220308 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220406 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7069456 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |