JP7020097B2

JP7020097B2 - 車両制御装置、リスクマップ生成装置、及びプログラム

Info

Publication number: JP7020097B2
Application number: JP2017238692A
Authority: JP
Inventors: 春昭郭; 清澄城殿
Original assignee: Toyota Central R&D Labs Inc
Current assignee: Toyota Central R&D Labs Inc
Priority date: 2017-12-13
Filing date: 2017-12-13
Publication date: 2022-02-16
Anticipated expiration: 2037-12-13
Also published as: JP2019106049A

Description

本発明は、車両制御装置、リスクマップ生成装置、及びプログラムに関する。

従来より、物標を右側の物標と左側の物標とに分類する物標分類手段と、リスクポテンシャルマップＭＲを、正の数値で表され、リスクポテンシャルが高いほど絶対値が大きくなるように作成する右側物標リスクポテンシャルマップ作成手段と、リスクポテンシャルマップＭＬを、リスクポテンシャル負の数値で表され、リスクポテンシャルが高いほど数値の絶対値が大きくなるように作成する左側物標リスクポテンシャルマップ作成手段と、総合リスクポテンシャルマップを作成する総合リスクポテンシャルマップ作成手段と、前記総合ポテンシャルマップにおいてリスクポテンシャルが予め設定された値となる経路を生成する経路生成手段とを備える経路生成装置が知られている（特許文献１）。

また、障害物に関する情報を検出する障害物検出手段と、自車両が障害物の現在位置に最接近するまでの余裕時間を算出する余裕時間算出手段と、余裕時間が経過したときの障害物の将来位置を推定する将来位置推定手段と、自車両が回避すべき回避対象領域を設定する回避対象領域設定手段と、回避対象領域を回避する走行経路を設定する走行経路設定手段と、を備え、回避対象領域設定手段は、将来位置及び将来位置の周辺位置における障害物との衝突リスクポテンシャルを評価し、衝突リスクポテンシャルに基づいて、回避対象領域を設定する。不必要な回避支援を削減することができる運転支援装置が知られている（特許文献２）。

また、自車両前方の障害物ＸＭに対する自車両ＭＭのリスクポテンシャルが、予め設定した第１の閾値Ｔｈ１より高く且つアクセルペダルが操作されていないと判定すると、自車両ＭＭに制動力を付与し、さらに、自車両前方の障害物ＸＭに対する自車両ＭＭのリスクポテンシャルが、第１の閾値Ｔｈ１よりもリスクポテンシャルが高い第２の閾値Ｔｈ２よりリスクポテンシャルが高いと判定すると、アクセルペダルの操作状態に関わらず自車両ＭＭに制動力を付与し、自車両前方の障害物ＸＭに対する運転者の支援を、運転者の意図に応じてより適切に実施する車両用制動支援装置が知られている（特許文献３）。

特開2015-232866号公報特開2012-173786号公報特開2015-71425号公報

上記の特許文献１に記載の技術では、左右の隣接レーンのみにあるオブジェクトにフォーカスして分類しているため、異なる交通参加者が異なる運転状態にある、本当に複雑な状況には対処できない。また、人間／データ駆動のデータは、ヒューマンライク挙動の生成には使用されない。

また、上記の特許文献２に記載の技術では、衝突までの時間を、明らかなリスクの評価にだけ使用しているため、異なる交通参加者が異なる運転状態にある、本当に複雑な状況には対処できない。また、人間／データ駆動のデータは、ヒューマンライク挙動の生成には使用されない。

また、上記の特許文献３に記載の技術では、自車両前方のオブジェクトにのみ注力しているため、異なる交通参加者が異なる運転状態にある、本当に複雑な状況には対処できない。また、人間／データ駆動のデータは、ヒューマンライク挙動の生成には使用されない。

本発明は、上記の事情を鑑みてなされたもので、ヒューマンライク挙動により車両を制御することができる車両制御装置、リスクマップ生成装置、及びプログラムを提供することを目的とする。

上記目的を達成するために、第１の発明の車両制御装置は、自車両および交通参加者の軌跡、位置、及び車線情報に基づいて、自車両の周囲の交通参加者を、属性及び状態に応じて分類する交通参加者分類部と、自車両の周囲の交通参加者の分類結果と、分類毎に予め学習された顕在リスクとに基づいて、自車両の周囲の交通参加者毎に、分類に応じた顕在リスクを当てはめて、顕在リスクマップを生成する顕在リスクマップ生成部と、自車両の複数の経路候補上の位置に対応する状態のうち、前記顕在リスクマップを用いた報酬関数により求められる報酬が多く得られる状態に遷移又は停止することを、最適な行動として決定する行動決定部と、前記決定された行動に従って自車両を制御する車両制御部と、を含んで構成されている。

第２の発明に係るプログラムは、コンピュータを、自車両および交通参加者の軌跡、位置、及び車線情報に基づいて、自車両の周囲の交通参加者を、属性及び状態に応じて分類する交通参加者分類部、自車両の周囲の交通参加者の分類結果と、分類毎に予め学習された顕在リスクとに基づいて、自車両の周囲の交通参加者毎に、分類に応じた顕在リスクを当てはめて、顕在リスクマップを生成する顕在リスクマップ生成部、自車両の複数の経路候補上の位置に対応する状態のうち、前記顕在リスクマップを用いた報酬関数により求められる報酬が多く得られる状態に遷移又は停止することを、最適な行動として決定する行動決定部、及び前記決定された行動に従って自車両を制御する車両制御部として機能させるためのプログラムである。

第１の発明及び第２の発明によれば、交通参加者分類部によって、自車両および交通参加者の軌跡、位置、及び車線情報に基づいて、自車両の周囲の交通参加者を、属性及び状態に応じて分類する。顕在リスクマップ生成部によって、と、自車両の周囲の交通参加者の分類結果と、分類毎に予め学習された顕在リスクとに基づいて、自車両の周囲の交通参加者毎に、分類に応じた顕在リスクを当てはめて、顕在リスクマップを生成する。

そして、行動決定部によって、自車両の複数の経路候補上の位置に対応する状態のうち、前記顕在リスクマップを用いた報酬関数により求められる報酬が多く得られる状態に遷移又は停止することを、最適な行動として決定する。車両制御部によって、前記決定された行動に従って自車両を制御する。

このように、自車両の周囲の交通参加者毎に、分類に応じた顕在リスクを当てはめて、顕在リスクマップを生成し、自車両の複数の経路候補上の位置に対応する状態のうち、顕在リスクマップを用いた報酬関数により求められる報酬が多く得られる状態に遷移又は停止することを、最適な行動として決定することにより、ヒューマンライク挙動により車両を制御することができる。

第３の発明に係るリスクマップ生成装置は、自車両および交通参加者の軌跡、位置、及び車線情報に基づいて、自車両の周囲の交通参加者を、属性及び状態に応じて分類する交通参加者分類部と、自車両の周囲の交通参加者の分類結果に基づいて、分類毎に、顕在リスクを生成して、データベースに格納する顕在リスク学習部と、を含んで構成されている。

第４の発明に係るプログラムは、コンピュータを、自車両および交通参加者の軌跡、位置、及び車線情報に基づいて、自車両の周囲の交通参加者を、属性及び状態に応じて分類する交通参加者分類部、及び自車両の周囲の交通参加者の分類結果に基づいて、分類毎に、顕在リスクを生成して、データベースに格納する顕在リスク学習部として機能させるためのプログラムである。

第３の発明及び第４の発明によれば、交通参加者分類部によって、自車両および交通参加者の軌跡、位置、及び車線情報に基づいて、自車両の周囲の交通参加者を、属性及び状態に応じて分類する。そして、顕在リスク学習部によって、自車両の周囲の交通参加者の分類結果に基づいて、分類毎に、顕在リスクを生成して、データベースに格納する。

このように、自車両の周囲の交通参加者を、属性及び状態に応じて分類し、分類毎に、顕在リスクを生成して、データベースに格納することにより、ヒューマンライク挙動により車両を制御するための顕在リスクを学習することができる。

なお、本発明のプログラムを記憶する記憶媒体は、特に限定されず、ハードディスクであってもよいし、ＲＯＭであってもよい。また、ＣＤ－ＲＯＭやＤＶＤディスク、光磁気ディスクやＩＣカードであってもよい。更にまた、該プログラムを、ネットワークに接続されたサーバ等からダウンロードするようにしてもよい。

以上説明したように、本発明の車両制御装置及びプログラムによれば、自車両の周囲の交通参加者毎に、分類に応じた顕在リスクを当てはめて、顕在リスクマップを生成し、自車両の複数の経路候補上の位置に対応する状態のうち、顕在リスクマップを用いた報酬関数により求められる報酬が多く得られる状態に遷移又は停止することを、最適な行動として決定することにより、ヒューマンライク挙動により車両を制御することができる、という効果が得られる。

本発明のリスクマップ生成装置及びプログラムによれば、自車両の周囲の交通参加者を、属性及び状態に応じて分類し、分類毎に、顕在リスクを生成して、データベースに格納することにより、ヒューマンライク挙動により車両を制御するための顕在リスクを生成することができる、という効果が得られる。

本発明の第１の実施の形態に係る運転支援制御システムを示すブロック図である。本発明の第１の実施の形態に係る運転支援制御装置を示すブロック図である。歩行者の分類の一例を示す図である。自転車の分類の一例を示す図である。ベイジアンネットワークモデルの一例を示す図である。軌跡誘導ポテンシャルの一例を示す図である。従来手法のポテンシャルの例を示す図である。分類毎の軌跡誘導ポテンシャルの一例を示す図である。分類毎のリスク予防ポテンシャルの一例を示す図である。ＭＤＰモデルの一例を示す図である。決定される最適な一連の行動の例を示す図である。学習された軌跡誘導ポテンシャルを統合して構築された顕在リスクマップの一例を示す図である。学習されたリスク予防ポテンシャルを統合して構築された潜在リスクマップの一例を示す図である。本発明の第１の実施の形態に係る運転支援制御装置のコンピュータにおけるデータ収集処理ルーチンの内容を示すフローチャートである。本発明の第１の実施の形態に係る運転支援制御装置のコンピュータにおけるオンライン処理ルーチンの内容を示すフローチャートである。本発明の第２の実施の形態に係る運転支援制御装置を示すブロック図である。

以下、図面を参照して本発明の実施の形態を詳細に説明する。

＜本実施の形態の概要＞
都市交通の無限の状況を扱うためには、それらのすべてを学習することは不可能であるので、本発明の実施の形態では、道路の複雑さを、すべての動的な交通参加者に関する、分類の異なる個別事象の組み合わせに分解する。具体的には、交通参加者を、自動車、歩行者、バイク、及びその他の移動可能オブジェクトの何れかに分類する。また、自動車は、先行車両、駐車車両、最後尾の車両、流出車両、合流車両、障害になる車両、及びその他の車両に分類される。また、歩行者は、年齢に応じた分類(子供、老人、その他)、状態に応じた分類(停止中、歩行中、ランニング中)に分類される。また、自転車は、年齢に応じた分類(子供、老人、その他)、状態に応じた分類(停止、低速、高速)に分類される。バイクは、先行バイク、駐車中のバイク、最後尾バイク、流出バイク、合流バイク、障害になるバイク、及びその他のバイクに分類される。

また、すべての分類を含むデータベースを作成し、各分類に対する軌跡誘導ポテンシャル及びリスク予防ポテンシャルを学習する。これが、クラウドベースのITSマップ／データベースにおけるナレッジ／セマンテックモデル／情報として役に立つ。

データ／データソースは、路側センサ、車載センサ、通信ユニット、軌跡、位置、画像、ポイントクラウドである。

軌跡誘導ポテンシャルは、所望のローカル軌跡及び目標速度プロファイルを計算するためのものであり、リスク予防ポテンシャルは、安全許容幅（又は衝突までの時間）を増大させるための速度調節のためのものである。複数の事象（連鎖効果を含む）の上記ポテンシャルを統合する際に、ポテンシャルの影響を計算するために、交通参加者間の相互作用を考慮する。

また、報酬関数の学習ポテンシャルを利用して定義したマルコフ決定過程モデルでヒューマンライク挙動を生成する。マルコフ決定過程モデルでは、状態、行動、報酬を定義する。状態は、ルートを追従する経路候補、レーン内で迂回する経路候補、及び衝突を回避する経路候補における各位置を表す。行動は、前進、経路変更、停止である。報酬は、時間と統合リスクマップに応じて定められる。

[第１の実施の形態]
＜システム構成＞
図１に示すように、本発明の第１の実施の形態に係る運転支援制御システム１００は、各車両に搭載された運転支援制御装置１０と、サーバ５０とを備えている。運転支援制御装置１０と、サーバ５０とは、インターネットなどのネットワーク６０を介して接続されている。

図２に示すように、運転支援制御装置１０は、交通参加者軌跡取得部１２と、自車位置情報取得部１４と、車線情報取得部１６と、画像取得部１８と、コンピュータ２０と、車両制御部２２とを備えている。

車両制御部２２は、コンピュータ２０により計算された、ヨー角と、スロットル及びブレーキの何れか一方とを有する命令に基づいて、操舵制御、ブレーキ制御、又はアクセル制御を行う。

交通参加者軌跡取得部１２は、自車両周辺の交通参加者の各々の軌跡を取得する。具体的には、車、歩行者、自転車、バイク及びその他の移動物体を含む、道路環境における交通参加者の軌跡を、次の2つの方法で取得する。１つ目の方法は、データ収集処理中に、自車両がプローブカーとなって、車載センサを用いて、交通参加者を検出して追跡し、得られた軌跡を蓄積する。もう1つの方法は、路側カメラ、ライダ（LIDAR）／レーダ（RADAR）などの路側センサと、自車両との間の通信ユニットを利用して、交通参加者の軌跡を取得するものである。軌跡情報には、位置、速度及び方向が時間スタンプとともに含まれる。

自車位置情報取得部１４は、データ収集処理中に、自車両がプローブカーとなって、自車両の位置と軌跡を取得する。また、自車位置情報取得部１４は、オンライン処理中に、自車両の位置と軌跡を取得する。それらは自車両のセンサ又は路側センサによって取得可能であり、通信を介して自車両に送信される。

より具体的には、本発明の実施の形態で使用される自車両の車両位置は、通常の安価なセンサで非常に高精度の位置が取得可能な、次の非特許文献１に記載の方法で取得される。

[非特許文献１] Kojima. Yoshikoら、「GPSドップラ法による高精度軌跡推定に基づく密結合統合を利用した新測位法の提案」、Vehicle System Dynamics 50, no. 6, pp.: 987-1000, 2012.

車線情報取得部１６は、デジタルマップから走行レーン情報を取得する。より具体的には、本発明の実施の形態で使用されるレーン情報は、通常の安価なセンサで非常に高精度のレーンレベルのデジタルマップが取得可能な、次の非特許文献２に記載の方法で取得される。

[非特許文献２]Guo, Chunzhaoら、「通常の車内センサを用いた低コストの自動レーンレベルマップ作成方法」、IEEE Transactions on Intelligent Transportation Systems 17.8 (2016): 2355-2366

画像取得部１８は、車載カメラを用いて画像を取得する。カメラはステレオカメラでも、単眼カメラであってもよい。画像と自車両位置が同時に取得される。

また、コンピュータ２０を機能ブロックで表すと、上記図２に示すように、交通参加者分類部３０と、交通環境顕在リスクマップ学習部３２と、交通環境潜在リスクマップ学習部３４と、交通参加者相互作用学習部３６と、ヒューマンライク意思決定学習部３８と、通信部４０とを備えている。なお、交通環境顕在リスクマップ学習部３２は、顕在リスク学習部の一例であり、交通環境潜在リスクマップ学習部３４は、潜在リスク学習部の一例であり、交通参加者相互作用学習部３６は、相互作用推定部の一例である。

交通参加者分類部３０は、自車両および交通参加者の軌跡、位置、及び車線情報に基づいて、自車両の周囲の交通参加者を、属性及び状態に応じて分類する。

人間の運転者は、他の交通参加者がどこにいるかばかりでなく、それらがどのような運転／条件／分類であるかも見るものである。分類が異なれば、人間の運転者は異なる扱いをする。本実施の形態では、人間の運転者の運転能力及び方法の模倣を試みる。これが本発明の実施の形態のキーコンポーネントであり、本発明の実施の形態では、道路の複雑さを、すべての動的な交通参加者に対する分類の異なる個別事象の組合せに分解する。具体的には、周辺の交通参加者を以下のように車両、歩行者、バイク、及びその他の移動可能オブジェクトの何れかに分類する。

また、歩行者は、年齢に応じた分類(子供、老人、その他)、状態に応じた分類(停止中、歩行中、ランニング中)に分類される。また、自転車は、年齢に応じた分類(子供、老人、その他)、状態に応じた分類(停止、低速、高速)に分類される。バイクは、先行バイク、駐車中のバイク、最後尾バイク、流出バイク、合流バイク、障害になるバイク、及びその他のバイクに分類される。

車両は、先行車両、駐車車両、最後尾の車両、流出車両、合流車両、障害になる車両、及びその他の車両に分類される。

ここで、先行車両は、自レーンを先行して移動中の車両であり、自車両と類似の軌跡及び進行方向を有している。安全条件下では自車両はそれを追随又は模倣すべきである。

また、駐車車両は、自レーンの路側に駐車している先行の停止車両である。自車両は安全条件下でそれを滑らかに迂回しなければならない。

末尾車両は、自レーンの交通の末尾又は交通信号位置にある、先行する停止／徐行車両である。自車両はその後ろに停止し、それが移動し始めた場合には安全条件下で追跡しなければならない。

流出車両は、ターンして自レーンから出ようとする、自レーン内の先行の停止／徐行車両である。自車両は、追随するか、又は安全条件下で自レーンの近傍の実行可能経路でそれを迂回する十分な余地ができるまで後ろで待たなければならない。

合流車両は、自レーンの自車両の前にまさに入ろうとする、隣接レーンで停止／移動中の車両である。自車両は、減速度の大きさが閾値以下の場合、またその時に限って、徐行してその車の合流動作に十分な余地を与えなければならない。そうでなければ、自車両は正常に走行し、安全条件下で合流車両の次の動作に反応しなければならない。

対向車両は、自レーンの隣のレーンを反対方向から来る移動車両である。自車両は、その車両が自車両に接触しそうな場合、又は自車両に非常に近接して衝突の可能性が高くなりそうな場合、そのような車両を回避する経路を計画しなければならない。

他の車両は、上記の分類のいずれにも入らない車両である。自車両は、それとの物理的衝突を回避しつつ、正常に走行すべきである。

歩行者は、図３に示すように２次元的に分類される。縦軸は歩行者の年齢を、横軸は歩行者の状態を表す。縦軸のリスクポテンシャルの大小関係は、子供＞老人＞その他、である。横軸のリスクポテンシャルの大小関係は、立ち止まり中＜歩行中＜ランニング中、である。さらに、これらの人が自レーンを横断又は跳び込んでくる確率は、その姿勢、顔／目の方向及びその動きの軌跡を検出することで評価される。

自転車は、図４に示すように２次元的に分類される。縦軸は自転車に乗っている人の年齢を、横軸は自転車の状態を表す。縦軸のリスクポテンシャルの大小関係は、子供＞老人＞その他、である。横軸のリスクポテンシャルの大小関係は、停止中＜低速走行＜高速走行、である。さらに、これらの人が自レーンを横断又は跳び込んでくる確率は、その姿勢、顔／目の方向及びその動きの軌跡を検出することで評価される。

バイクは、先行バイク、駐車中のバイク、末尾バイク、流出するバイク、合流するバイク、対向してくるバイク、その他のバイクに分類される。

先行バイクは、自車両の前方を移動中のバイクである。ただし、自車両は先行バイクの模倣はしないで、そこから安全距離を維持するだけである。

駐車中のバイクは、自レーンの路側に駐車している先行のバイクである。駐車車両と同様に、自車両は安全条件下でそれを滑らかに迂回しなければならない。

末尾バイクは、自レーンの交通の末尾又は交通信号位置にある、先行する停止／徐行バイクである。末尾車両と同様に、自車両はその後ろに停止し、それが移動し始めた場合には安全条件下で追跡しなければならない。

流出するバイクは、ターンして自レーンから出ようとする、自レーン内の先行の停止／徐行バイクである。流出車両と同様に、自車両は、追随するか、又は安全条件下で自レーンの近傍の実行可能経路でそれを迂回する十分な余地ができるまで後ろで待たなければならない。

合流するバイクは、自レーンの自車両の前にまさに入ろうとする、隣接レーンで停止／移動中のバイクである。合流車両と同様に、自車両は、減速度の大きさが閾値以下の場合、またその時に限って、徐行してその車の合流動作に十分な余地を与えなければならない。そうでなければ、自車両は正常に走行し、安全条件下で合流バイクの次の動作に反応しなければならない。

対向してくるバイクは、自レーンの隣のレーンを反対方向から来る移動バイクである。対向車両と同様に、自車両は、その車両が自車両に接触しそうな場合、又は自車両に非常に近接して衝突の可能性が高くなりそうな場合、そのようなバイクを回避する経路を計画しなければならない。

その他のバイクは、上記の分類のいずれにも入らないバイクである。自車両は、それとの物理的衝突を回避しつつ、正常に走行すべきである。

また、その他の移動可能オブジェクトは、物理的な衝突やその他の危険を回避するように対処しなければならない、交通環境内のその他のオブジェクトである。

分類器は機械学習に基づいて取得される。本発明の実施の形態において、複数の特徴を有するベイジアンネットワーク（BN）モデルを構築する。例えば図５に示すような車の分類を例にとると、BNモデルにおける特徴変数は、運転速度D、交差点への至近性I、レーン内のオフセットO、軌跡T、信号S、前方自由空間F、レーンL、次のレーンＮ、及び一致度Aを含む。

ここで、運転速度Dは、ガウス分布でモデル化される。交差点への至近性Iの値は｛真、偽｝のいずれかであり、これは車両と最近接交差点との間の距離で判定される。レーン内のオフセットOは、車両と自レーンの中心線との間の横方向距離で判定される。軌跡Tの値は｛長、短｝のいずれかであり、車両の軌跡の長さで判定される。信号Sの値は｛ハザード、ターン、なし｝のうちの１つであり、検出車両においてどのシグナルが点灯しているかで判定される。前方自由空間Fの値は｛真、偽、不明｝のうちの１つであり、検出車両の位置と自レーンに関する自由空間境界を比較して判定される。レーンLの値は｛自レーン、隣接レーン、その他｝のうちの１つであり、検出車両が走行しているレーンで判定される。次のレーンＮの値は｛同じ、異なる｝のいずれかであり、ある時間後に、検出車両が自車両と同じレーンを走行しているか否かで判定される。一致度Aの値は｛高、低｝のいずれかであり、検出車両と自車両の軌跡の相互の一致度で判定される。

したがって、車両分類の、本実施の形態のBNモデルの合同確率関数は次の因子形式で定義可能である。

上記の式における、各種類の交通参加者の各分類に対する各特徴の確率分布は、分類が既知の、同一状況における交通参加者の軌跡データから学習される。

交通参加者分類部３０は、検出された交通参加者のオンライン分類を行う際に、上記の特徴を画像から検出／計算し、それを用いて各分類の学習されたBNモデルよりスコアを計算し、最高スコアを有する分類を、検出された交通参加者の分類として決定する。

交通環境顕在リスクマップ学習部３２は、以下に説明するように、顕在リスクマップを生成するための軌跡誘導ポテンシャルを生成する。

人間の運転者が、交通環境内に駐車中の車などのオブジェクトを見た場合には、それからどれくらい距離を取るべきかということではなく、それを処理するのに何をすべきか又はどの経路を通るべきかということを考える。そのような機構を模倣するために、運転データから、顕在リスクマップを表示するための軌跡誘導ポテンシャルを生成する。検出された（目視できる）各オブジェクト（例えば車両、歩行者、自転車、、、）のそれぞれの分類に対して、軌跡誘導ポテンシャルが生成される。これには、図６に示すように、衝突防止のための反発空間ポテンシャル、所望の軌跡を誘導するための吸引空間ポテンシャル、及び適切な目標速度を誘導するための速度ポテンシャルが含まれる。さらに、プローブカーが各分類の各種の交通参加者に対処するときの、図６の実線で示すような、自然な運転データでのその軌跡を学習する。そのようなポテンシャルは、周辺車両を安全かつ合理的に扱うことができるように、所望の決定、経路、及び速度を符号化する。

従来方法では、反発力Ｕ_v ^repをオブジェクトへ、吸引力Ｕ_r ^attをルート又はレーンへ、そして、フィードバック力Ｕ^sを所望の速度に達するために割り当てる（図７参照）。それに対し本実施の形態では、交通環境顕在リスクマップ学習部３２は、検出車両の全てからその分類に従って合力を生成する。図８に示すように、反発力は衝突しないためであり、吸引力は所望の決定、経路、及び速度を符号化して所望の挙動を誘導するためのものである。これは日々の都市交通において人間の運転者により収集された、同一状況の実際の軌跡から学習される。

オンライン処理においては、軌跡誘導ポテンシャルを使用して、所望のローカル軌跡及び目標速度プロファイルが計算される。

交通環境潜在リスクマップ学習部３４は、以下に説明するように、潜在リスクマップを生成するためのリスク予防ポテンシャルを生成する。

世の中には極めて多数の人間の運転者がおり、これを単純に２つの分類、すなわち良い運転者と悪い運転者に区分することができる。悪い運転者も大部分の場合には安全運転を守ることができるが、良い運転者は衝突を起こす確率がはるかに低い。両者の間のキーとなる違いの１つは、交通環境に潜むリスクを予測して、事前に回避不能の衝突を防止するために早期のアクションを取る能力である。本発明の実施の形態では、どんなリスクが予期されるか、どこで用心すべきか、そしてどうやって衝突を防止するか、ということに関して、各オブジェクト分類に対する主要な潜在リスクのすべてを、複数の熟練した人間の運転者に要請して洗い出した。その例を次の図９に示す。

リスク予防ポテンシャルは、洗い出された潜在（不可視）リスクに対処するために生成される。さらに、生成されたリスク予防ポテンシャルは、オンライン処理において自車両の速度制御の調整にのみ適用される。一方で、オンライン処理において、軌跡は軌跡誘導ポテンシャルのみで決定される。その理由は次の２つである。第１に、交通環境内には非常に多くの潜在リスク又は不確定因子があり、それらをいちいち空間的に回避することはできない。そうでなければ、軌跡は不自然になりすぎて、多くの新たなリスクを生じるであろう。第２に、そしてより重要には、軌跡誘導ポテンシャルは、同一状況下での過去の人間による自然な運転データから学習され、これらは同一状況下での顕在リスクと潜在リスクの両方に直面したときに人間の運転者が取る軌跡である。より具体的には、リスク予防ポテンシャルは、各潜在リスクに対応する複数の速度ポテンシャルからなる。リスク予防ポテンシャルの実効的範囲、強度及び分布（例えば、ガウス分布）は、自然な運転データから学習される。

交通参加者相互作用学習部３６は、以下に説明するように、交通参加者間の相互作用を表すモデルのパラメータを推定する。

自車両が周囲の交通参加者と相互作用するばかりでなく、交通参加者同士も相互に作用しあっている。本実施の形態では、例えば車－車、車－歩行者、車－自転車などの各交通参加者ペアの相互作用が、交通規則、熟練者定義、及び自然交通データ（交通監視カメラデータなど）に基づいてモデル化される。そうしてこのモデルのパラメータが、自然交通データから学習される。これは次の2通りで使用される。第１の使用方法では、各交通参加者のポテンシャルの統合は、単純に合計するのではなく、このモジュールで学習されたポテンシャルの相互作用／影響に基づいて結合される。第２の使用方法では、学習された相互作用は、ヒューマンライクマルコフ決定過程での交通参加者予測に使用される。

ヒューマンライク意思決定学習部３８は、以下に説明するように、行動を決定するためのモデルと報酬関数を学習する。

周辺オブジェクトとのヒューマンライク相互作用は、マルコフ決定過程（MDP）のフレームワークで実行される。ただし、行動を決定するためのモデルと報酬関数の学習は新規の方法で行われる。モデル化されたMDPは、対向車両のある場合に駐車車両を通過するタスクを一例として、 {S, A, P, R, r}で表される。

Ｓは経路候補上の位置に対応する状態を表す。ここで、自車両は、過去の車両軌跡及びオンライン経路計画から複数の経路候補を生成する。複数の経路候補は、ルート追従（RF）、レーン内迂回（IC）、及び障害回避（OA）の3つのグループに区分される。

ルート追従（RF）に区分される経路候補は、自車両を所定のレーンレベルのルートを追従するように導くためのものである。

レーン内迂回（IC）に区分される経路候補は、対向車両を無視して、駐車車両を円滑かつ安全に迂回するように自車両を導くためのものである。

障害回避（OA）に区分される経路候補は、駐車車両と対向車両を含む近隣オブジェクトとの衝突を回避するように自車両を導くためのものである。

MDPの状態（図１０の丸印参照）は、対向車両の位置／速度に応じた、標準的速度での経路候補上の各位置に対応している。

Ａは、決定される行動を表し、現在の経路候補を前進、経路切り替え、停止の何れかである。

Ｓは、状態遷移確率P(s_t+1|s_t, a)を表す。自車両の状態遷移は、現在の決定、経路、及び速度に従う車両運動により計算される。具体的には、対向車両の状態遷移は、過去の自然運転データから学習された車両軌跡と対向車両のモデルによって経路候補として生成される。これは自車両の運動が対向車両に与える影響を考慮するために行われる。それは対向車両の運動が自車両の決定／経路に影響するばかりでなく、自車両の運動も対向車両の運動に影響するからである。

Ｒは、報酬を表し、時間＋満足＋安全の組合せである。すなわち、報酬＝w₁*時間スコア + w₂* 満足スコア + w₃*安全スコアである。

時間スコアは、各ステップに対して－１、停止に対して－３となる。したがって最短／最速の決定が選択される。

満足スコアは、現在の状態遷移にどのスコアを使用するかの判定閾値が与えられているとして、経路切り替えアクション時の進行方向角度の小変化に対して－２、経路切り替えアクション時の進行方向角度の大変化に対して－５となる。

安全スコアは、統合された軌跡誘導ポテンシャルとリスク予防ポテンシャルによって安全スコアが与えられる。

重みｗ_１、ｗ_２、ｗ_３は、Markov Decision Processによる強化学習に従って自然運転データを用いて学習するか、事前にエンジニアが設定しておけばよい。

ｒは、割引因子を表し、更なるステップ（未来）からの報酬を考慮するために、０～１の間の実数として定義される。

オンライン処理においてモデルに従って決定される行動の解は次の２つの方法で得ることができる。１つはQマトリックスが事前に学習されており、Qマトリックスにより行動を決定する。Qマトリックスは自然運転データでの強化学習に基づくすべての状態→アクションマッピングを含む。

もう一つは、ダイナミックプログラミングアルゴリズムを用いて現状況での状態に対してオンラインで行動を決定するものである。本実施の形態では、ダイナミックプログラミングアルゴリズムを用いてオンラインで行動を決定する場合を例に説明する。

こうして図１１に示すように、ヒューマンライク挙動パターンが学習MDPによって生成可能となる。

通信部４０は、交通参加者分類部３０、交通環境顕在リスクマップ学習部３２、交通環境潜在リスクマップ学習部３４、交通参加者相互作用学習部３６、及びヒューマンライク意思決定学習部３８による処理結果を、サーバ５０へ送信する。

サーバ５０は、各運転支援制御装置１０から送信された、すべての学習モデルとポテンシャルを記憶する。すべての学習モデルとポテンシャルはナリッジデータベース／レイヤー生成に使用される。これは、自律運転又はADAS／運転支援操作のときにオンライン処理のためのクラウドベース／サーバベースサービスとして利用可能である。

コンピュータ２０は、更に、交通環境ダイナミック情報生成部４２と、交通環境リスクマップ構築部４４と、ヒューマンライク進路決定部４６とを備えている。なお、交通環境リスクマップ構築部４４は、顕在リスクマップ生成部及び潜在リスクマップ生成部の一例であり、ヒューマンライク進路決定部４６は、行動決定部の一例である。

交通環境ダイナミック情報生成部４２は、オンライン処理時に、サーバ５０から得られる、検出されたオブジェクトとその分類を含む交通シーンの全情報を統合して現状交通シーンの現時点動的マップを生成する。なお、検出されたオブジェクトとその分類を含む交通シーンの情報は、自車両を含む各車両の運転支援制御装置１０によって検出されたものだけでなく、車車間通信又は路側との通信により検出されたものを用いても良い。

交通環境リスクマップ構築部４４は、サーバ５０から得られる、自車両の周囲の交通参加者の分類結果と、分類毎に予め学習された軌跡誘導ポテンシャルとに基づいて、自車両の周囲の交通参加者毎に、分類に応じた軌跡誘導ポテンシャルを当てはめて、顕在リスクマップを生成し、サーバ５０から得られる、自車両の周囲の交通参加者の分類結果と、分類毎に予め学習されたリスク予防ポテンシャルとに基づいて、自車両の周囲の交通参加者毎に、分類に応じたリスク予防ポテンシャルを当てはめて、潜在リスクマップを生成し、顕在リスクマップ及び潜在リスクマップを統合した統合リスクマップを生成する。

具体的には、動的交通シーンのオブジェクトの各々に対して、分類毎に予め学習された軌跡誘導ポテンシャル及びリスク予防ポテンシャルに従って、１つずつ対応する軌跡誘導ポテンシャル及びリスク予防ポテンシャルを当てはめて、意思決定と経路計画のための統合リスクマップに統合する。駐車車両が存在する場合の統合リスクマップの例を図１２～図１３に示す。

また、統合リスクマップに、交通参加者のペア間の相互作用が反映される。

ヒューマンライク進路決定部４６は、現在の状態と、状態遷移確率と、構築された統合リスクマップを用いた報酬関数とに基づいて、自車両の複数の経路候補上の位置に対応する状態のうち、統合リスクマップを用いた報酬関数により求められる報酬が多く得られるように、現在の経路候補に沿って進行するように状態を遷移するか、異なる経路候補上の状態に遷移するか、停止するか、のいずれかを、最適な行動として決定する。このとき、顕在リスクポテンシャル及びリスク予防ポテンシャルに基づいて調整される速度に応じて遷移先となる状態までの距離が決まる。

具体的には、統合リスクマップ上の顕在リスクポテンシャルに基づいて、ルート追従に区分される経路候補、レーン内迂回に区分される経路候補、及び障害回避に区分される経路候補を生成し、統合リスクマップ上の顕在リスクポテンシャル及びリスク予防ポテンシャルに基づいて、車両速度が調整される。そして、調整された速度に応じて、ルート追従に区分される経路候補、レーン内迂回に区分される経路候補、及び障害回避に区分される経路候補の各経路候補上に、各位置に対応する状態を生成し、自車両と対向車両の入力状態と学習MDPモデルによるダイナミックプログラミングを用いて、将来的な報酬を考慮した報酬が得られる最適な行動を決定する。さらに、決定された行動から、ヨー角と、スロットル及びブレーキの何れか一方とを有する命令が計算されて、車両制御部２２へ出力される。なお、学習されたQマトリックスから最適な行動を決定しても良い。

＜運転支援制御装置１０の作用＞
次に、本実施の形態の作用について説明する。

運転支援制御装置１０は、図１４に示すデータ収集処理ルーチンを繰り返し実行する。

まず、ステップＳ１００において、交通参加者軌跡取得部１２は、自車両周辺の交通参加者の各々の軌跡を取得する。

ステップＳ１０２では、自車位置情報取得部１４は、データ収集プロセス中に、自車両がプローブカーとなって、自車両の位置と軌跡を取得する。また、車線情報取得部１６は、デジタルマップから走行レーン情報を取得する。画像取得部１８は、車載カメラを用いて画像を取得する。

ステップＳ１０４では、交通参加者分類部３０は、自車両および交通参加者の軌跡、位置、及び車線情報に基づいて、自車両の周囲の交通参加者を、属性及び状態に応じて分類する。

そして、ステップＳ１０６において、交通環境顕在リスクマップ学習部３２は、検出された交通参加者のそれぞれの分類に対して、顕在リスクマップを生成するための軌跡誘導ポテンシャルを生成する。

ステップＳ１０８では、交通環境潜在リスクマップ学習部３４は、検出された交通参加者のそれぞれの分類に対して、潜在リスクマップを生成するためのリスク予防ポテンシャルを生成する。

そして、ステップＳ１１０では、交通参加者相互作用学習部３６は、交通参加者間の相互作用を表すモデルのパラメータを推定する。

ステップＳ１１２では、通信部４０は、交通参加者分類部３０、交通環境顕在リスクマップ学習部３２、交通環境潜在リスクマップ学習部３４、および交通参加者相互作用学習部３６による処理結果を、サーバ５０へ送信して、データ収集処理ルーチンを終了する。

次に、運転支援制御装置１０は、図１５に示すオンライン処理ルーチンを実行する。

まず、ステップＳ１２０において、車線情報取得部１６は、デジタルマップから走行レーン情報を取得する。画像取得部１８は、車載カメラを用いて画像を取得する。

ステップＳ１２２において、交通環境ダイナミック情報生成部４２は、サーバ５０から得られる、検出されたオブジェクトとその分類を含む交通シーンの全情報を統合して現状交通シーンの現時点動的マップを生成する。

そして、ステップＳ１２４において、交通環境リスクマップ構築部４４は、サーバ５０から得られる、自車両の周囲の交通参加者の分類結果と、分類毎に予め学習された軌跡誘導ポテンシャルとに基づいて、自車両の周囲の交通参加者毎に、分類に応じた軌跡誘導ポテンシャルを当てはめて、顕在リスクマップを生成し、自車両の周囲の交通参加者の分類結果と、分類毎に予め学習されたリスク予防ポテンシャルとに基づいて、自車両の周囲の交通参加者毎に、分類に応じたリスク予防ポテンシャルを当てはめて、潜在リスクマップを生成し、顕在リスクマップ及び前記潜在リスクマップを統合した統合リスクマップを生成する。

ステップＳ１２６では、ヒューマンライク進路決定部４６は、自車両の複数の経路候補上の位置に対応する状態のうち、統合リスクマップを用いた報酬関数により求められる報酬が多く得られる状態に遷移又は停止することを、最適な行動として決定する

そして、ステップＳ１２８において、決定された行動から、ヨー角と、スロットル／ブレーキの１つを有する命令を計算し、車両制御部２２へ出力し、ステップＳ１２０へ戻る。

上記のオンライン処理ルーチンが繰り返し実行されることにより、逐次計算されたヨー角と、スロットル／ブレーキの１つを有する命令が、車両制御部２２へ出力され、車両制御部２２により、車両制御が行われる。

以上説明したように、本発明の第１の実施の形態に係る運転支援制御システムによれば、自車両の周囲の交通参加者毎に、分類に応じた顕在リスクポテンシャルを当てはめて、顕在リスクマップを生成し、分類に応じたリスク予防ポテンシャルを当てはめて、潜在リスクマップを生成し、自車両の複数の経路候補上の位置に対応する状態のうち、顕在リスクマップ及び潜在リスクマップを統合した統合リスクマップを用いた報酬関数により求められる報酬が多く得られる状態に遷移又は停止することを、最適な行動として決定することにより、人間の運転に近い挙動により車両を制御することができる。

また、自車両の周囲の交通参加者を、属性及び状態に応じて分類し、分類毎に、顕在リスクポテンシャル及びリスク予防ポテンシャルを学習して、サーバに送信することにより、ヒューマンライク挙動により車両を制御するための顕在リスク及び潜在リスクを学習することができる。

また、道路の複雑さを、すべての動的な交通参加者に対する異なる分類の個別事象の組合せに分解する。また、交通参加者を分類するモデルを学習し、分類のそれぞれに対する顕在リスクポテンシャル及びリスク予防ポテンシャルを学習する。学習された顕在リスクポテンシャル及びリスク予防ポテンシャルを用いた報酬関数を利用して、ヒューマンライク挙動を説明するマルコフ決定プロセスモデルが学習される。これにより、複雑な交通環境を個々の事象に分解してモデル化することで多様な走行データから人間らしい運転行動を導出することができる

[第２の実施の形態]
次に、第２の実施の形態に係る運転支援制御装置について説明する。なお、第１の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。

第２の実施の形態では、サーバを用いずに、自装置内で得られた学習モデルとポテンシャルを用いてオンライン処理を行っている点が、第１の実施の形態と異なっている。

＜システム構成＞

図１６に示すように、第２の実施の形態に係る運転支援制御装置２１０のコンピュータ２２０は、交通参加者分類部３０と、交通環境顕在リスクマップ学習部３２と、交通環境潜在リスクマップ学習部３４と、交通参加者相互作用学習部３６と、ヒューマンライク意思決定学習部３８と、交通環境ダイナミック情報生成部４２と、交通環境リスクマップ構築部４４と、ヒューマンライク進路決定部４６とを備えている。

交通参加者分類部３０による処理結果が、交通環境ダイナミック情報生成部４２に出力される。

交通環境顕在リスクマップ学習部３２、交通環境潜在リスクマップ学習部３４、及び交通参加者相互作用学習部３６による処理結果が、交通環境リスクマップ構築部４４に出力される。

ヒューマンライク意思決定学習部３８による処理結果が、ヒューマンライク進路決定部４６に出力される。

なお、第２の実施の形態に係る運転支援制御装置２１０の他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。

以上説明したように、第２の実施の形態に係る運転支援制御装置によれば、自車両の周囲の交通参加者毎に、分類に応じた顕在リスクポテンシャルを当てはめて、顕在リスクマップを生成し、分類に応じたリスク予防ポテンシャルを当てはめて、潜在リスクマップを生成し、自車両の複数の経路候補上の位置に対応する状態のうち、顕在リスクマップ及び潜在リスクマップを統合した統合リスクマップを用いた報酬関数により求められる報酬が多く得られる状態に遷移又は停止することを、最適な行動として決定することにより、人間の運転に近い挙動により車両を制御することができる。

なお、上記の第１、第２の実施の形態では、オンライン処理中に、車載カメラによって撮像された画像から交通参加者を検出する場合を例に説明したが、これに限定されるものではなく、レーザレーダによって観測された自車両の周辺に存在する物体情報に基づいて、周辺の交通参加者を検出してもよい。

１０、２１０運転支援制御装置
１２交通参加者軌跡取得部
１４自車位置情報取得部
１６車線情報取得部
１８画像取得部
２０、２２０コンピュータ
２２車両制御部
３０交通参加者分類部
３２交通環境顕在リスクマップ学習部
３４交通環境潜在リスクマップ学習部
３６交通参加者相互作用学習部
３８ヒューマンライク意思決定学習部
４０通信部
４２交通環境ダイナミック情報生成部
４４交通環境リスクマップ構築部
４６ヒューマンライク進路決定部
５０サーバ
１００運転支援制御システム

Claims

自車両および交通参加者の軌跡、位置、及び車線情報に基づいて、自車両の周囲の交通参加者を、属性及び状態に応じて分類する交通参加者分類部と、
自車両の周囲の交通参加者の分類結果と、分類毎に予め学習された顕在リスクとに基づいて、自車両の周囲の交通参加者毎に、分類に応じた顕在リスクを当てはめて、顕在リスクマップを生成する顕在リスクマップ生成部と、
自車両の複数の経路候補上の位置に対応する状態のうち、前記顕在リスクマップを用いた報酬関数により求められる報酬が多く得られる状態に遷移又は停止することを、最適な行動として決定する行動決定部と、
前記決定された行動に従って自車両を制御する車両制御部と、
を含み、
前記報酬関数は、時間に関するスコア、経路候補の切り替えに関するスコア、及び安全に関するスコアを用いて表される車両制御装置。
自車両の周囲の交通参加者の分類結果と、分類毎に予め学習された潜在リスクとに基づいて、自車両の周囲の交通参加者毎に、分類に応じた潜在リスクを当てはめて、潜在リスクマップを生成する潜在リスクマップ生成部を更に含み、
前記行動決定部は、自車両の複数の経路候補上の位置に対応する状態のうち、前記顕在リスクマップ及び前記潜在リスクマップを統合した統合リスクマップを用いた報酬関数により求められる報酬が多く得られる状態に遷移又は停止することを、最適な行動として決定する請求項１記載の車両制御装置。
前記交通参加者の分類結果に基づき、異なる属性及び状態の交通参加者のペア間の影響を推定する相互作用推定部を更に含み、
前記統合リスクマップに、前記推定された交通参加者のペア間の影響が反映される請求項２記載の車両制御装置。
前記報酬関数は、Markov Decision Processによる強化学習を用いて予め学習され、
前記複数の経路候補は、ルートを追従する経路候補、レーン内で回避する経路候補、及び衝突を回避する経路候補を含む請求項１～請求項３の何れか１項記載の車両制御装置。
前記交通参加者の分類は、車両、歩行者、自転車、及びバイクを含む請求項１～請求項４の何れか１項記載の車両制御装置。
コンピュータを、
自車両および交通参加者の軌跡、位置、及び車線情報に基づいて、自車両の周囲の交通参加者を、属性及び状態に応じて分類する交通参加者分類部、
自車両の周囲の交通参加者の分類結果と、分類毎に予め学習された顕在リスクとに基づいて、自車両の周囲の交通参加者毎に、分類に応じた顕在リスクを当てはめて、顕在リスクマップを生成する顕在リスクマップ生成部、
自車両の複数の経路候補上の位置に対応する状態のうち、前記顕在リスクマップを用いた報酬関数により求められる報酬が多く得られる状態に遷移又は停止することを、最適な行動として決定する行動決定部、及び
前記決定された行動に従って自車両を制御する車両制御部
として機能させるためのプログラムであって、
前記報酬関数は、時間に関するスコア、経路候補の切り替えに関するスコア、及び安全に関するスコアを用いて表されるプログラム。