JP6390035B2 - 車両制御システム、車両制御方法、および車両制御プログラム - Google Patents

Description

本発明は、車両制御システム、車両制御方法、および車両制御プログラムに関する。

近年、目的地までの経路に沿って自車両が走行するように、車両の加減速および操舵のうち一方または双方を自動的に制御する技術（以下、「自動運転」という）について研究が進められている。この自動運転では、車両の周辺状況に応じて、行動計画を適宜作成することで、安全に目的地まで自車両を走行させることができる。また、自動運転が実行される際に、運転者は、運転以外の所望の動作、例えば、ナビゲーション装置の操作などを行うこともできる（例えば、特許文献１）。

国際公開第２０１１／１５８３４７号

自動運転が実行される際に、自車両の周辺に注意が必要な状況が生じた場合には、車両乗員が、状況をいち早く察知できることが望ましい。

本発明は、このような事情を考慮してなされたものであり、より迅速に、車両乗員に情報を伝えることができる車両制御システム、車両制御方法、および車両制御プログラムを提供することを目的の一つとする。

請求項１に記載の発明は、車両の周辺の画像を撮像する撮像部と、前記車両の周辺状況を監視する周辺監視部と、前記車両の車室内に存在し、乗員の操作に基づく画像を表示する表示部に、前記乗員の操作に基づく画像の一部に重畳して前記車両の周辺の画像を表示させ、前記周辺監視部による監視結果に基づいて、前記車両の周辺の画像を拡大させる表示制御部とを備え、前記乗員の操作に基づく画像には、前記車両の周辺の画像以外の画像が含まれる、車両制御システムである。

請求項２に記載の発明は、請求項１に記載の発明において、前記乗員の操作に基づく画像には、前記車両の周辺の画像以外の画像が含まれ、前記表示制御部は、前記表示部に前記車両の周辺の画像以外の画像は表示されている場合に、前記車両の周辺の画像以外の画像の一部に重畳して前記車両の周辺の画像を表示させ、前記周辺監視部による監視結果に基づいて、前記車両の周辺の画像を拡大させる、車両制御システムである。

請求項３に記載の発明は、請求項１に記載の発明において、前記表示部は、可搬型の表示部であるものである。

請求項４に記載の発明は、請求項１又は３に記載の発明において、前記車両の乗員の視線を検知する検知部をさらに備え、前記表示制御部は、前記検知部により検知された前記乗員の視線に対応する方向に存在する前記表示部に、前記車両の周辺の画像を表示させるものである。

請求項５に記載の発明は、請求項４に記載の発明において、前記表示制御部は、前記検知部により検知された前記乗員の視線に対応する方向に存在する前記表示部が複数存在する場合、前記複数の表示部に、それぞれ前記周辺の画像を表示させるものである。

請求項６に記載の発明は、請求項１又は請求項３から５の何れか一項に記載の発明において、前記周辺監視部による監視結果に基づいて、前記車両の速度制御と操舵制御とのうち少なくとも一方を自動的に行う自動運転を実行する自動運転制御部をさらに備え、前記表示制御部は、前記自動運転制御部により前記乗員による周辺監視が不要となる前記自動運転が実行されている場合、前記周辺監視部による監視結果に基づいて、前記車両の周辺状況を示す情報を前記表示部に表示させるものである。

請求項７に記載の発明は、車両の周辺の画像を撮像する撮像部と、前記車両の周辺状況を監視する周辺監視部と、前記車両の乗員の視線を検知する検知部と、前記周辺監視部による監視結果と、前記検知部により検知された前記乗員の視線とに基づいて、前記車両に設けられたミラーに合わせて画像を表示する表示部のうち、前記視線に対応する方向に存在する前記表示部に、前記車両の周辺の画像を表示させる表示制御部とを備え、前記表示制御部は、前記検知部により検知された前記乗員の視線に対応する方向に存在する前記表示部が複数存在する場合、前記複数の表示部に、それぞれ前記周辺の画像を表示させる、車両制御システムである。
請求項８に記載の発明は、車両の周辺の画像を撮像し、前記車両の周辺状況を監視し、前記車両の車室内に存在し、乗員の操作に基づく画像を表示する表示部に、前記乗員の操作に基づく画像であり、前記車両の周辺の画像以外の画像を含む画像の一部に重畳して前記車両の周辺の画像を表示させ、前記車両の周辺状況の監視結果に基づいて、前記車両の周辺の画像を拡大する車両制御方法である。

請求項９に記載の発明は、車両の周辺の画像を撮像し、前記車両の周辺状況を監視し、前記車両の乗員の視線を検知し、前記車両の周辺状況の監視結果と、検知された前記乗員の視線とに基づいて、前記車両に設けられたミラーに合わせて画像を表示する表示部のうち、前記視線に対応する方向に存在する前記表示部に、前記車両の周辺の画像を表示させる車両制御方法である。

請求項１０に記載の発明は、車載コンピュータに、車両の周辺の画像を撮像する処理と、前記車両の周辺状況を監視する処理と、前記車両の車室内に存在し、乗員の操作に基づく画像であり、前記車両の周辺の画像以外の画像を含む画像を表示する表示部に、前記乗員の操作に基づく画像の一部に重畳して前記車両の周辺の画像を表示させ、前記車両の周辺状況の監視結果に基づいて、前記車両の周辺の画像を拡大する処理と、を実行させる車両制御プログラムである。

請求項１１に記載の発明は、車載コンピュータに、車両の周辺の画像を撮像する処理と、前記車両の周辺状況を監視する処理と、前記車両の乗員の視線を検知する処理と、前記車両の周辺状況の監視結果と、検知された前記乗員の視線とに基づいて、前記車両に設けられたミラーに合わせて画像を表示する表示部のうち、前記視線に対応する方向に存在する前記表示部に、前記車両の周辺の画像を表示させる処理と、検知された前記乗員の視線に対応する方向に存在する前記表示部が複数存在する場合、前記複数の表示部に、それぞれ前記周辺の画像を表示させる処理と、を実行させる車両制御プログラムである。

請求項１、３、７、９に記載の発明によれば、乗員の操作に基づく画像を表示する表示部に、乗員の操作に基づく画像の一部に重畳して車両の周辺の画像を表示させ、車両の周辺状況の監視結果に基づいて、車両の周辺の画像を拡大するため、乗員は、この表示部を見ることで、車両の周辺に注意が必要な状況が生じたこと、および注意が必要な状況を表示した画像を迅速に確認することができる。

請求項２、８、１０に記載の発明によれば、車両に設けられたミラーに合わせて画像を表示する表示部に、車両の周辺状況の監視結果に基づいて、車両の周辺の画像を表示させるため、乗員は、この表示部を見ることで、車両の周辺に注意が必要な状況が生じたこと、および注意が必要な状況を表示した画像を迅速に確認することができる。

請求項４、５に記載の発明によれば、表示制御部は、検知部により検知された乗員の視線に対応する方向に存在する表示部に、車両の周辺の画像を表示させるため、乗員が見ている可能性のある表示部に注意が必要な周辺の画像を表示することができる。これにより、乗員は、自車両Ｍの周辺に注意が必要な状況が生じたこと、および注意が必要な状況を表示した画像を確実かつ迅速に確認することができる。

請求項６に記載の発明によれば、車両の周辺状況の監視結果に基づいて、車両の速度制御と操舵制御とのうち少なくとも一方を自動的に行う自動運転を実行し、監視結果に基づいて、車両の周辺状況を示す情報を表示部に表示するため、乗員は、この表示部を見ることで、車両の周辺に注意が必要な状況が生じたこと、および注意が必要な状況を表示した画像を迅速に確認することができる。また、乗員は、自動運転が適切に実行されていることを確認することができる。

自車両Ｍの構成要素を示す図である。 第１の実施形態における、自車両Ｍの機能構成図である。 第１の実施形態における、ＨＭＩ７０の構成図である。 第１の実施形態における、自車位置認識部１４０により走行車線Ｌ１に対する自車両Ｍの相対位置が認識される様子を示す図である。 第１の実施形態における、ある区間について生成された行動計画の一例を示す図である。 第１の実施形態における、軌道生成部１４６の構成の一例を示す図である。 第１の実施形態における、軌道候補生成部１４６Ｂにより生成される軌道の候補の一例を示す図である。 第１の実施形態における、軌道候補生成部１４６Ｂにより生成される軌道の候補を軌道点Ｋで表現した図である。 第１の実施形態における、車線変更ターゲット位置ＴＡを示す図である。 第１の実施形態における、３台の周辺車両の速度を一定と仮定した場合の速度生成モデルを示す図である。 第１の実施形態における、モード別操作可否情報１８８の一例を示す図である。 第１の実施形態における、車両乗員の操作に基づく画像を表示している可搬型表示装置９６の表示画面９６−１の一例を示す図である。 第１の実施形態における、自車両Ｍの周辺に注意が必要な状況が発生した場合に、指定画面Ｉ１に対して、周辺画像Ｉ２を重畳表示している可搬型表示装置９６の表示画面９６−１の一例を示す図である。 第１の実施形態における、自車両Ｍの周辺の画像を可搬型表示装置９６に表示する処理の一例を示すフローチャートである。 第１の実施形態における、事故発生位置Ｘと、注意が必要な自車両Ｍの周辺の画像の範囲との関係を示す図である。 第２の実施形態における、運転席に着座した車両乗員から見た自車両Ｍの後方を写すルームミラー９７の一例を示す図である。 第２の実施形態における、自車両Ｍの後方画像に対して、注意が必要な自車両Ｍの周辺の画像を重畳表示しているルームミラー９７の一例を示す図である。 第２の実施形態における、運転席に着座した車両乗員から見た自車両Ｍの左側方を写す左サイドミラー９８Ｌの一例を示す図である。 第２の実施形態における、自車両Ｍの左側方画像に対して、注意が必要な自車両Ｍの周辺の画像を重畳表示している左サイドミラー９８Ｌの一例を示す図である。 第２の実施形態における、自車両Ｍの周辺の画像を各種ミラーに表示する処理の一例を示すフローチャートである。 第３の実施形態における、自車両Ｍの機能構成図である。 第３の実施形態における、運転席に着座した車両乗員の視線と、この視線に対応する方向に存在する表示装置および各種ミラーとの関係を示す図である。 第３の実施形態における、自車両Ｍの周辺の画像を表示装置および各種ミラーに表示する処理の一例を示すフローチャートである。 第４の実施形態における、自車両Ｍの機能構成図である。 第４の実施形態における、各種ミラーに支援情報を表示する処理の一例を示すフローチャートである。 第４の実施形態における、支援情報を表示している左サイドミラー９８Ｌの一例を示す図である。

以下、図面を参照し、本発明の車両制御システム、車両制御方法、および車両制御プログラムの実施形態について説明する。
＜共通構成＞
図１は、各実施形態の車両制御システム１００が搭載される車両（以下、自車両Ｍと称する）の構成要素を示す図である。車両制御システム１００が搭載される車両は、例えば、二輪や三輪、四輪等の自動車であり、ディーゼルエンジンやガソリンエンジン等の内燃機関を動力源とした自動車や、電動機を動力源とした電気自動車、内燃機関および電動機を兼ね備えたハイブリッド自動車等を含む。電気自動車は、例えば、二次電池、水素燃料電池、金属燃料電池、アルコール燃料電池等の電池により放電される電力を使用して駆動される。

図１に示すように、自車両Ｍには、ファインダ２０−１から２０−７、レーダ３０−１から３０−６、およびカメラ４０（撮像部）等のセンサと、ナビゲーション装置５０と、車両制御システム１００とが搭載される。

ファインダ２０−１から２０−７は、例えば、照射光に対する散乱光を測定し、対象までの距離を測定するＬＩＤＡＲ（Light Detection and Ranging、或いはLaser Imaging Detection and Ranging）である。例えば、ファインダ２０−１は、フロントグリル等に取り付けられ、ファインダ２０−２および２０−３は、車体の側面やサイドミラー、前照灯内部、側方灯付近等に取り付けられる。ファインダ２０−４は、トランクリッド等に取り付けられ、ファインダ２０−５および２０−６は、車体の側面や尾灯内部等に取り付けられる。上述したファインダ２０−１から２０−６は、例えば、水平方向に関して１５０度程度の検出領域を有している。また、ファインダ２０−７は、ルーフ等に取り付けられる。ファインダ２０−７は、例えば、水平方向に関して３６０度の検出領域を有している。

レーダ３０−１および３０−４は、例えば、奥行き方向の検出領域が他のレーダよりも広い長距離ミリ波レーダである。また、レーダ３０−２、３０−３、３０−５、３０−６は、レーダ３０−１および３０−４よりも奥行き方向の検出領域が狭い中距離ミリ波レーダである。

以下、ファインダ２０−１から２０−７を特段区別しない場合は、単に「ファインダ２０」と記載し、レーダ３０−１から３０−６を特段区別しない場合は、単に「レーダ３０」と記載する。レーダ３０は、例えば、ＦＭ−ＣＷ（Frequency Modulated Continuous Wave）方式によって物体を検出する。

カメラ４０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を利用したデジタルカメラである。カメラ４０は、例えば、ルーフ等に取り付けられる。カメラ４０は、例えば、周期的に繰り返し自車両Ｍの周辺（前方、後方、左側方、右側方）を撮像する複数のカメラを含んでよい。例えば、カメラ４０は、フロントグリル等に取り付けられた自車両Ｍの前方を撮像する前方カメラと、トランクリッド等に取り付けられた自車両Ｍの後方を撮像する後方カメラと、車体の側面等に取り付けられた自車両Ｍの右側および左側を撮影する右カメラおよび左カメラと、を個別に備えてよい。また、カメラ４０は、複数のカメラによって距離成分を測定可能なステレオカメラであってもよい。

なお、図１に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。

＜第１の実施形態＞
図２は、第１の実施形態に係る車両制御システム１００を中心とした機能構成図である。自車両Ｍには、ファインダ２０、レーダ３０、およびカメラ４０などを含む検知デバイスＤＤと、ナビゲーション装置５０と、通信装置５５と、車両センサ６０と、ＨＭＩ（Human Machine Interface）７０と、車両制御システム１００と、走行駆動力出力装置２００と、ステアリング装置２１０と、ブレーキ装置２２０とが搭載される。これらの装置や機器は、ＣＡＮ（Controller Area Network）通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。なお、特許請求の範囲における車両制御システムは、「車両制御システム１００」のみを指しているのではなく、車両制御システム１００以外の構成（検知デバイスＤＤやＨＭＩ７０など）を含んでもよい。

ナビゲーション装置５０は、ＧＮＳＳ（Global Navigation Satellite System）受信機や地図情報（ナビ地図）、ユーザインターフェースとして機能するタッチパネル式表示装置、スピーカ、マイク等を有する。ナビゲーション装置５０は、ＧＮＳＳ受信機によって自車両Ｍの位置を特定し、その位置からユーザによって指定された目的地までの経路を導出する。ナビゲーション装置５０により導出された経路は、車両制御システム１００の目標車線決定部１１０に提供される。自車両Ｍの位置は、車両センサ６０の出力を利用したＩＮＳ（Inertial Navigation System）によって特定または補完されてもよい。また、ナビゲーション装置５０は、車両制御システム１００が手動運転モードを実行している際に、目的地に至る経路について音声やナビ表示によって案内を行う。なお、自車両Ｍの位置を特定するための構成は、ナビゲーション装置５０とは独立して設けられてもよい。また、ナビゲーション装置５０は、例えば、ユーザの保有するスマートフォンやタブレット端末等の端末装置の機能によって実現されてもよい。この場合、端末装置と車両制御システム１００との間で、無線または有線による通信によって情報の送受信が行われる。

通信装置５５は、例えば、セルラー網やＷｉ−Ｆｉ網、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＤＳＲＣ（Dedicated Short Range Communication）などを利用した無線通信を行う。

車両センサ６０は、車速を検出する車速センサ、加速度を検出する加速度センサ、鉛直軸回りの角速度を検出するヨーレートセンサ、自車両Ｍの向きを検出する方位センサ等を含む。

図３は、ＨＭＩ７０の構成図である。ＨＭＩ７０は、例えば、運転操作系の構成と、非運転操作系の構成とを備える。これらの境界は明確なものでは無く、運転操作系の構成が非運転操作系の機能を備えること（或いはその逆）があってもよい。

ＨＭＩ７０は、運転操作系の構成として、例えば、アクセルペダル７１、アクセル開度センサ７２およびアクセルペダル反力出力装置７３と、ブレーキペダル７４およびブレーキ踏量センサ（或いはマスター圧センサなど）７５と、シフトレバー７６およびシフト位置センサ７７と、ステアリングホイール７８、ステアリング操舵角センサ７９およびステアリングトルクセンサ８０と、その他運転操作デバイス８１とを含む。

アクセルペダル７１は、車両乗員による加速指示（或いは戻し操作による減速指示）を受け付けるための操作子である。アクセル開度センサ７２は、アクセルペダル７１の踏み込み量を検出し、踏み込み量を示すアクセル開度信号を車両制御システム１００に出力する。なお、車両制御システム１００に出力するのに代えて、走行駆動力出力装置２００、ステアリング装置２１０、またはブレーキ装置２２０に直接出力することがあってもよい。以下に説明する他の運転操作系の構成についても同様である。アクセルペダル反力出力装置７３は、例えば車両制御システム１００からの指示に応じて、アクセルペダル７１に対して操作方向と反対向きの力（操作反力）を出力する。

ブレーキペダル７４は、車両乗員による減速指示を受け付けるための操作子である。ブレーキ踏量センサ７５は、ブレーキペダル７４の踏み込み量（或いは踏み込み力）を検出し、検出結果を示すブレーキ信号を車両制御システム１００に出力する。

シフトレバー７６は、車両乗員によるシフト段の変更指示を受け付けるための操作子である。シフト位置センサ７７は、車両乗員により指示されたシフト段を検出し、検出結果を示すシフト位置信号を車両制御システム１００に出力する。

ステアリングホイール７８は、車両乗員による旋回指示を受け付けるための操作子である。ステアリング操舵角センサ７９は、ステアリングホイール７８の操作角を検出し、検出結果を示すステアリング操舵角信号を車両制御システム１００に出力する。ステアリングトルクセンサ８０は、ステアリングホイール７８に加えられたトルクを検出し、検出結果を示すステアリングトルク信号を車両制御システム１００に出力する。

その他運転操作デバイス８１は、例えば、ジョイスティック、ボタン、ダイヤルスイッチ、ＧＵＩ（Graphical User Interface）スイッチなどである。その他運転操作デバイス８１は、加速指示、減速指示、旋回指示などを受け付け、車両制御システム１００に出力する。

ＨＭＩ７０は、非運転操作系の構成として、例えば、表示装置８２、スピーカ８３、接触操作検出装置８４およびコンテンツ再生装置８５と、各種操作スイッチ８６と、シート８８およびシート駆動装置８９と、ウインドウガラス９０およびウインドウ駆動装置９１と、車室内カメラ９５と、可搬型表示装置９６と、ルームミラー９７と、サイドミラー９８とを含む。

表示装置（表示部）８２は、例えば、インストルメントパネルの各部、助手席や後部座席に対向する任意の箇所などに取り付けられる、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electroluminescence）表示装置などである。また、表示装置８２は、フロントウインドシールドやその他のウインドウに画像を投影するＨＵＤ（Head Up Display）であってもよい。スピーカ８３は、音声を出力する。接触操作検出装置８４は、表示装置８２がタッチパネルである場合に、表示装置８２の表示画面における接触位置（タッチ位置）を検出して、車両制御システム１００に出力する。なお、表示装置８２がタッチパネルでない場合、接触操作検出装置８４は省略されてよい。

可搬型表示装置（表示部）９６は、自車両Ｍの車室内に持ち込むことが可能な可搬型の表示装置である。可搬型表示装置９６は、例えば、スマートフォン、タブレット端末、ＶＲ（Virtual Reality）グラス等を含んでよい。可搬型表示装置９６は、Ｂｌｕｅｔｏｏｔｈ（登録商標）などで車両制御システム１００と無線通信を行うことができる。これにより、車両制御システム１００は、可搬型表示装置９６を遠隔制御することができる。

コンテンツ再生装置８５は、例えば、ＤＶＤ（Digital Versatile Disc）再生装置、ＣＤ（Compact Disc）再生装置、テレビジョン受信機、各種案内画像の生成装置などを含む。表示装置８２、スピーカ８３、接触操作検出装置８４およびコンテンツ再生装置８５は、一部または全部がナビゲーション装置５０と共通する構成であってもよい。

各種操作スイッチ８６は、車室内の任意の箇所に配置される。各種操作スイッチ８６には、自動運転の開始（或いは将来の開始）および停止を指示する自動運転切替スイッチ８７を含む。自動運転切替スイッチ８７は、ＧＵＩ（Graphical User Interface）スイッチ、機械式スイッチのいずれであってもよい。また、各種操作スイッチ８６は、シート駆動装置８９やウインドウ駆動装置９１を駆動するためのスイッチを含んでもよい。

シート８８は、車両乗員が着座するシートである。シート駆動装置８９は、シート８８のリクライニング角、前後方向位置、ヨー角などを自在に駆動する。ウインドウガラス９０は、例えば各ドアに設けられる。ウインドウ駆動装置９１は、ウインドウガラス９０を開閉駆動する。

車室内カメラ９５は、ＣＣＤやＣＭＯＳ等の固体撮像素子を利用したデジタルカメラである。車室内カメラ９５は、ルームミラーやステアリングボス部、インストルメントパネルなど、運転操作を行う車両乗員の少なくとも頭部および車両乗員の視線を撮像可能な位置に取り付けられる。車室内カメラ９５は、例えば、周期的に繰り返し車両乗員を撮像する。

ルームミラー９７は、自車両Ｍの車室内に取り付けられ、運転席（ステアリングホイールなどが設けられた席）に着座した車両乗員から見ると自車両Ｍの後方が視認可能なミラーである。また、ルームミラー９７は、その鏡面の一部に所望の画像を表示するための表示部を備えている。この表示部は、例えば、投影およびホログラム等を利用した表示処理を行う装置、非表示時に透明化する液晶／有機ＥＬであってよい。また、ルームミラー９７は、「ミラー」自体が電子化された表示装置であってもよい。この場合、ルームミラー９７は、運転席に着座した車両乗員から見た後方画像を電気的に表示してよい。

サイドミラー９８は、自車両Ｍのドア等に取り付けられ、運転席に着座した車両乗員から見ると自車両Ｍの側方が視認可能なミラーである。サイドミラー９８は、自車両Ｍの左側部に取り付けられた左サイドミラーと、自車両Ｍの右側部に取り付けられた右サイドミラーとを含む。また、サイドミラー９８は、その鏡面の一部に所望の画像を表示するための表示部を備えている。この表示部は、例えば、投影およびホログラム等を利用した表示処理を行う装置、非表示時に透明化する液晶／有機ＥＬであってよい。また、サイドミラー９８は、「ミラー」自体が電子化された表示装置であってもよい。この場合、サイドミラー９８は、運転席に着座した車両乗員から見た側方画像を電気的に表示してよい。

車両制御システム１００の説明に先立って、走行駆動力出力装置２００、ステアリング装置２１０、およびブレーキ装置２２０について説明する。

走行駆動力出力装置２００は、車両が走行するための走行駆動力（トルク）を駆動輪に出力する。走行駆動力出力装置２００は、例えば、自車両Ｍが内燃機関を動力源とした自動車である場合、エンジン、変速機、およびエンジンを制御するエンジンＥＣＵ（Electronic Control Unit）を備え、自車両Ｍが電動機を動力源とした電気自動車である場合、走行用モータおよび走行用モータを制御するモータＥＣＵを備え、自車両Ｍがハイブリッド自動車である場合、エンジン、変速機、およびエンジンＥＣＵと走行用モータおよびモータＥＣＵとを備える。走行駆動力出力装置２００がエンジンのみを含む場合、エンジンＥＣＵは、後述する走行制御部１６０から入力される情報に従って、エンジンのスロットル開度やシフト段等を調整する。走行駆動力出力装置２００が走行用モータのみを含む場合、モータＥＣＵは、走行制御部１６０から入力される情報に従って、走行用モータに与えるＰＷＭ信号のデューティ比を調整する。走行駆動力出力装置２００がエンジンおよび走行用モータを含む場合、エンジンＥＣＵおよびモータＥＣＵは、走行制御部１６０から入力される情報に従って、互いに協調して走行駆動力を制御する。

ステアリング装置２１０は、例えば、ステアリングＥＣＵと、電動モータとを備える。電動モータは、例えば、ラックアンドピニオン機構に力を作用させて転舵輪の向きを変更する。ステアリングＥＣＵは、車両制御システム１００から入力される情報、或いは入力されるステアリング操舵角またはステアリングトルクの情報に従って電動モータを駆動し、転舵輪の向きを変更させる。

ブレーキ装置２２０は、例えば、ブレーキキャリパーと、ブレーキキャリパーに油圧を伝達するシリンダと、シリンダに油圧を発生させる電動モータと、制動制御部とを備える電動サーボブレーキ装置である。電動サーボブレーキ装置の制動制御部は、走行制御部１６０から入力される情報に従って電動モータを制御し、制動操作に応じたブレーキトルクが各車輪に出力されるようにする。電動サーボブレーキ装置は、ブレーキペダルの操作によって発生させた油圧を、マスターシリンダを介してシリンダに伝達する機構をバックアップとして備えてよい。なお、ブレーキ装置２２０は、上記説明した電動サーボブレーキ装置に限らず、電子制御式油圧ブレーキ装置であってもよい。電子制御式油圧ブレーキ装置は、走行制御部１６０から入力される情報に従ってアクチュエータを制御して、マスターシリンダの油圧をシリンダに伝達する。また、ブレーキ装置２２０は、走行駆動力出力装置２００に含まれ得る走行用モータによる回生ブレーキを含んでもよい。

［車両制御システム］
以下、車両制御システム１００について説明する。車両制御システム１００は、例えば、一以上のプロセッサまたは同等の機能を有するハードウェアにより実現される。車両制御システム１００は、ＣＰＵ（Central Processing Unit）などのプロセッサ、記憶装置、および通信インターフェースが内部バスによって接続されたＥＣＵ（Electronic Control Unit）、或いはＭＰＵ（Micro-Processing Unit）などが組み合わされた構成であってよい。

図２に戻り、車両制御システム１００は、例えば、目標車線決定部１１０と、自動運転制御部１２０と、走行制御部１６０と、記憶部１８０とを備える。自動運転制御部１２０は、例えば、自動運転モード制御部１３０と、自車位置認識部１４０と、外界認識部（周辺監視部）１４２と、行動計画生成部１４４と、軌道生成部１４６と、切替制御部１５０とを備える。自動運転制御部１２０は、自車両Ｍの速度制御と操舵制御とのうち少なくとも一方を自動的に行う。目標車線決定部１１０、自動運転制御部１２０の各部、および走行制御部１６０のうち一部または全部は、プロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらのうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェアによって実現されてもよいし、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。

記憶部１８０には、例えば、高精度地図情報１８２、目標車線情報１８４、行動計画情報１８６、モード別操作可否情報１８８などの情報が格納される。記憶部１８０は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ等で実現される。プロセッサが実行するプログラムは、予め記憶部１８０に格納されていてもよいし、車載インターネット設備等を介して外部装置からダウンロードされてもよい。また、プログラムは、そのプログラムを格納した可搬型記憶媒体が図示しないドライブ装置に装着されることで記憶部１８０にインストールされてもよい。また、車両制御システム１００は、複数のコンピュータ装置によって分散化されたものであってもよい。

目標車線決定部１１０は、例えば、ＭＰＵにより実現される。目標車線決定部１１０は、ナビゲーション装置５０から提供された経路を複数のブロックに分割し（例えば、車両進行方向に関して１００［ｍ］毎に分割し）、高精度地図情報１８２を参照してブロックごとに目標車線を決定する。目標車線決定部１１０は、例えば、左から何番目の車線を走行するといった決定を行う。目標車線決定部１１０は、例えば、経路において分岐箇所や合流箇所などが存在する場合、自車両Ｍが、分岐先に進行するための合理的な走行経路を走行できるように、目標車線を決定する。目標車線決定部１１０により決定された目標車線は、目標車線情報１８４として記憶部１８０に記憶される。

高精度地図情報１８２は、ナビゲーション装置５０が有するナビ地図よりも高精度な地図情報である。高精度地図情報１８２は、例えば、車線の中央の情報或いは車線の境界の情報等を含んでいる。また、高精度地図情報１８２には、道路情報、交通規制情報、住所情報（住所・郵便番号）、施設情報、電話番号情報などが含まれてよい。道路情報には、高速道路、有料道路、国道、都道府県道といった道路の種別を表す情報や、道路の車線数、各車線の幅員、道路の勾配、道路の位置（経度、緯度、高さを含む３次元座標）、車線のカーブの曲率、車線の合流および分岐ポイントの位置、道路に設けられた標識等の情報が含まれる。交通規制情報には、工事や交通事故、渋滞等によって車線が封鎖されているといった情報が含まれる。

自動運転モード制御部１３０は、自動運転制御部１２０が実施する自動運転のモードを決定する。本実施形態における自動運転のモードには、以下のモードが含まれる。なお、以下はあくまで一例であり、自動運転のモード数は任意に決定されてよい。
［モードＡ］
モードＡは、最も自動運転の度合が高いモードである。モードＡが実施されている場合、複雑な合流制御など、全ての車両制御が自動的に行われるため、車両乗員は自車両Ｍの周辺や状態を監視する必要が無い。
［モードＢ］
モードＢは、モードＡの次に自動運転の度合が高いモードである。モードＢが実施されている場合、原則として全ての車両制御が自動的に行われるが、場面に応じて自車両Ｍの運転操作が車両乗員に委ねられる。このため、車両乗員は自車両Ｍの周辺や状態を監視している必要がある。
［モードＣ］
モードＣは、モードＢの次に自動運転の度合が高いモードである。モードＣが実施されている場合、車両乗員は、場面に応じた確認操作をＨＭＩ７０に対して行う必要がある。モードＣでは、例えば、車線変更のタイミングが車両乗員に通知され、車両乗員がＨＭＩ７０に対して車線変更を指示する操作を行った場合に、自動的な車線変更が行われる。このため、車両乗員は自車両Ｍの周辺や状態を監視している必要がある。

自動運転モード制御部１３０は、ＨＭＩ７０に対する車両乗員の操作、行動計画生成部１４４により決定されたイベント、軌道生成部１４６により決定された走行態様などに基づいて、自動運転のモードを決定する。自動運転のモードは、ＨＭＩ制御部１７０に通知される。また、自動運転のモードには、自車両Ｍの検知デバイスＤＤの性能等に応じた限界が設定されてもよい。例えば、検知デバイスＤＤの性能が低い場合には、モードＡは実施されないものとしてよい。いずれのモードにおいても、ＨＭＩ７０における運転操作系の構成に対する操作によって、手動運転モードに切り替えること（オーバーライド）は可能である。

自動運転制御部１２０の自車位置認識部１４０は、記憶部１８０に格納された高精度地図情報１８２と、ファインダ２０、レーダ３０、カメラ４０、ナビゲーション装置５０、または車両センサ６０から入力される情報とに基づいて、自車両Ｍが走行している車線（走行車線）、および、走行車線に対する自車両Ｍの相対位置を認識する。

自車位置認識部１４０は、例えば、高精度地図情報１８２から認識される道路区画線のパターン（例えば実線と破線の配列）と、カメラ４０によって撮像された画像から認識される自車両Ｍの周辺の道路区画線のパターンとを比較することで、走行車線を認識する。この認識において、ナビゲーション装置５０から取得される自車両Ｍの位置やＩＮＳによる処理結果が加味されてもよい。

図４は、自車位置認識部１４０により走行車線Ｌ１に対する自車両Ｍの相対位置が認識される様子を示す図である。自車位置認識部１４０は、例えば、自車両Ｍの基準点（例えば重心）の走行車線中央ＣＬからの乖離ＯＳ、および自車両Ｍの進行方向の走行車線中央ＣＬを連ねた線に対してなす角度θを、走行車線Ｌ１に対する自車両Ｍの相対位置として認識する。なお、これに代えて、自車位置認識部１４０は、走行車線Ｌ１のいずれかの側端部に対する自車両Ｍの基準点の位置などを、走行車線に対する自車両Ｍの相対位置として認識してもよい。自車位置認識部１４０により認識される自車両Ｍの相対位置は、目標車線決定部１１０に提供される。

外界認識部１４２は、ファインダ２０、レーダ３０、カメラ４０等から入力される情報に基づいて、周辺車両の位置、および速度、加速度等の状態を認識し、自車両Ｍの周辺状況を監視する。周辺車両とは、例えば、自車両Ｍの周辺を走行する車両であって、自車両Ｍと同じ方向に走行する車両である。周辺車両の位置は、他車両の重心やコーナー等の代表点で表されてもよいし、他車両の輪郭で表現された領域で表されてもよい。周辺車両の「状態」とは、上記各種機器の情報に基づいて把握される、周辺車両の加速度、車線変更をしているか否か（或いは車線変更をしようとしているか否か）を含んでもよい。また、外界認識部１４２は、周辺車両に加えて、ガードレールや電柱、駐車車両、歩行者その他の物体の位置を認識してもよい。

行動計画生成部１４４は、自動運転のスタート地点、および／または自動運転の目的地を設定する。自動運転のスタート地点は、自車両Ｍの現在位置であってもよいし、自動運転を指示する操作がなされた地点でもよい。行動計画生成部１４４は、そのスタート地点と自動運転の目的地との間の区間において、行動計画を生成する。なお、これに限らず、行動計画生成部１４４は、任意の区間について行動計画を生成してもよい。

行動計画は、例えば、順次実行される複数のイベントで構成される。イベントには、例えば、自車両Ｍを減速させる減速イベントや、自車両Ｍを加速させる加速イベント、走行車線を逸脱しないように自車両Ｍを走行させるレーンキープイベント、走行車線を変更させる車線変更イベント、自車両Ｍに前走車両を追い越させる追い越しイベント、分岐ポイントにおいて所望の車線に変更させたり、現在の走行車線を逸脱しないように自車両Ｍを走行させたりする分岐イベント、本線に合流するための合流車線において自車両Ｍを加減速させ、走行車線を変更させる合流イベント、自動運転の開始地点で手動運転モードから自動運転モードに移行させたり、自動運転の終了予定地点で自動運転モードから手動運転モードに移行させたりするハンドオーバイベント等が含まれる。行動計画生成部１４４は、目標車線決定部１１０により決定された目標車線が切り替わる箇所において、車線変更イベント、分岐イベント、または合流イベントを設定する。行動計画生成部１４４によって生成された行動計画を示す情報は、行動計画情報１８６として記憶部１８０に格納される。

図５は、ある区間について生成された行動計画の一例を示す図である。図示するように、行動計画生成部１４４は、目標車線情報１８４が示す目標車線上を自車両Ｍが走行するために必要な行動計画を生成する。なお、行動計画生成部１４４は、自車両Ｍの状況変化に応じて、目標車線情報１８４に拘わらず、動的に行動計画を変更してもよい。例えば、行動計画生成部１４４は、車両走行中に外界認識部１４２によって認識された周辺車両の速度が閾値を超えたり、自車線に隣接する車線を走行する周辺車両の移動方向が自車線方向に向いたりした場合に、自車両Ｍが走行予定の運転区間に設定されたイベントを変更する。例えば、レーンキープイベントの後に車線変更イベントが実行されるようにイベントが設定されている場合において、外界認識部１４２の認識結果によって当該レーンキープイベント中に車線変更先の車線後方から車両が閾値以上の速度で進行してきたことが判明した場合、行動計画生成部１４４は、レーンキープイベントの次のイベントを、車線変更イベントから減速イベントやレーンキープイベント等に変更してよい。この結果、車両制御システム１００は、外界の状態に変化が生じた場合においても、安全に自車両Ｍを自動走行させることができる。

図６は、軌道生成部１４６の構成の一例を示す図である。軌道生成部１４６は、例えば、走行態様決定部１４６Ａと、軌道候補生成部１４６Ｂと、評価・選択部１４６Ｃとを備える。

走行態様決定部１４６Ａは、例えば、レーンキープイベントを実施する際に、定速走行、追従走行、低速追従走行、減速走行、カーブ走行、障害物回避走行などのうちいずれかの走行態様を決定する。この場合、走行態様決定部１４６Ａは、自車両Ｍの前方に他車両が存在しない場合に、走行態様を定速走行に決定する。また、走行態様決定部１４６Ａは、前走車両に対して追従走行するような場合に、走行態様を追従走行に決定する。また、走行態様決定部１４６Ａは、渋滞場面などにおいて、走行態様を低速追従走行に決定する。また、走行態様決定部１４６Ａは、外界認識部１４２により前走車両の減速が認識された場合や、停車や駐車などのイベントを実施する場合に、走行態様を減速走行に決定する。また、走行態様決定部１４６Ａは、外界認識部１４２により自車両Ｍがカーブ路に差し掛かったことが認識された場合に、走行態様をカーブ走行に決定する。また、走行態様決定部１４６Ａは、外界認識部１４２により自車両Ｍの前方に障害物が認識された場合に、走行態様を障害物回避走行に決定する。また、走行態様決定部１４６Ａは、車線変更イベント、追い越しイベント、分岐イベント、合流イベント、ハンドオーバイベントなどを実施する場合に、それぞれのイベントに応じた走行態様を決定する。

軌道候補生成部１４６Ｂは、走行態様決定部１４６Ａにより決定された走行態様に基づいて、軌道の候補を生成する。図７は、軌道候補生成部１４６Ｂにより生成される軌道の候補の一例を示す図である。図７は、自車両Ｍが車線Ｌ１から車線Ｌ２に車線変更する場合に生成される軌道の候補を示している。

軌道候補生成部１４６Ｂは、図７に示すような軌道を、例えば、将来の所定時間ごとに、自車両Ｍの基準位置（例えば重心や後輪軸中心）が到達すべき目標位置（軌道点Ｋ）の集まりとして決定する。図８は、軌道候補生成部１４６Ｂにより生成される軌道の候補を軌道点Ｋで表現した図である。軌道点Ｋの間隔が広いほど、自車両Ｍの速度は速くなり、軌道点Ｋの間隔が狭いほど、自車両Ｍの速度は遅くなる。従って、軌道候補生成部１４６Ｂは、加速したい場合には軌道点Ｋの間隔を徐々に広くし、減速したい場合は軌道点の間隔を徐々に狭くする。

このように、軌道点Ｋは速度成分を含むものであるため、軌道候補生成部１４６Ｂは、軌道点Ｋのそれぞれに対して目標速度を与える必要がある。目標速度は、走行態様決定部１４６Ａにより決定された走行態様に応じて決定される。

ここで、車線変更（分岐を含む）を行う場合の目標速度の決定手法について説明する。軌道候補生成部１４６Ｂは、まず、車線変更ターゲット位置（或いは合流ターゲット位置）を設定する。車線変更ターゲット位置は、周辺車両との相対位置として設定されるものであり、「どの周辺車両の間に車線変更するか」を決定するものである。軌道候補生成部１４６Ｂは、車線変更ターゲット位置を基準として３台の周辺車両に着目し、車線変更を行う場合の目標速度を決定する。図９は、車線変更ターゲット位置ＴＡを示す図である。図中、Ｌ１は自車線を表し、Ｌ２は隣接車線を表している。ここで、自車両Ｍと同じ車線で、自車両Ｍの直前を走行する周辺車両を前走車両ｍＡ、車線変更ターゲット位置ＴＡの直前を走行する周辺車両を前方基準車両ｍＢ、車線変更ターゲット位置ＴＡの直後を走行する周辺車両を後方基準車両ｍＣと定義する。自車両Ｍは、車線変更ターゲット位置ＴＡの側方まで移動するために加減速を行う必要があるが、この際に前走車両ｍＡに追いついてしまうことを回避しなければならない。このため、軌道候補生成部１４６Ｂは、３台の周辺車両の将来の状態を予測し、各周辺車両と干渉しないように目標速度を決定する。

図１０は、３台の周辺車両の速度を一定と仮定した場合の速度生成モデルを示す図である。図中、ｍＡ、ｍＢおよびｍＣから延出する直線は、それぞれの周辺車両が定速走行したと仮定した場合の進行方向における変位を示している。自車両Ｍは、車線変更が完了するポイントＣＰにおいて、前方基準車両ｍＢと後方基準車両ｍＣとの間にあり、且つ、それ以前において前走車両ｍＡよりも後ろにいなければならない。このような制約の下、軌道候補生成部１４６Ｂは、車線変更が完了するまでの目標速度の時系列パターンを、複数導出する。そして、目標速度の時系列パターンをスプライン曲線等のモデルに適用することで、図８に示すような軌道の候補を複数導出する。なお、３台の周辺車両の運動パターンは、図１０に示すような定速度に限らず、定加速度、定ジャーク（躍度）を前提として予測されてもよい。

評価・選択部１４６Ｃは、軌道候補生成部１４６Ｂにより生成された軌道の候補に対して、例えば、計画性と安全性の二つの観点で評価を行い、走行制御部１６０に出力する軌道を選択する。計画性の観点からは、例えば、既に生成されたプラン（例えば行動計画）に対する追従性が高く、軌道の全長が短い場合に軌道が高く評価される。例えば、右方向に車線変更することが望まれる場合に、一旦左方向に車線変更して戻るといった軌道は、低い評価となる。安全性の観点からは、例えば、それぞれの軌道点において、自車両Ｍと物体（周辺車両等）との距離が遠く、加減速度や操舵角の変化量などが小さいほど高く評価される。

切替制御部１５０は、自動運転切替スイッチ８７から入力される信号に基づいて自動運転モードと手動運転モードとを相互に切り替える。また、切替制御部１５０は、ＨＭＩ７０における運転操作系の構成に対する加速、減速または操舵を指示する操作に基づいて、自動運転モードから手動運転モードに切り替える。例えば、切替制御部１５０は、ＨＭＩ７０における運転操作系の構成から入力された信号の示す操作量が閾値を超えた状態が、基準時間以上継続した場合に、自動運転モードから手動運転モードに切り替える（オーバーライド）。また、切替制御部１５０は、オーバーライドによる手動運転モードへの切り替えの後、所定時間の間、ＨＭＩ７０における運転操作系の構成に対する操作が検出されなかった場合に、自動運転モードに復帰させてもよい。

走行制御部１６０は、軌道生成部１４６によって生成された軌道を、予定の時刻通りに自車両Ｍが通過するように、走行駆動力出力装置２００、ステアリング装置２１０、およびブレーキ装置２２０を制御する。

ＨＭＩ制御部１７０は、自動運転制御部１２０により自動運転のモードの情報が通知されると、モード別操作可否情報１８８を参照して、自動運転のモードの種別に応じてＨＭＩ７０を制御する。また、ＨＭＩ制御部１７０は、外界認識部１４２から入力された自車両Ｍの周辺の情報等に応じて、可搬型表示装置９６（これに代えて、或いは加えて表示装置８２）の表示内容を制御する表示制御部１７２を備える。

図１１は、モード別操作可否情報１８８の一例を示す図である。図１１に示すモード別操作可否情報１８８は、運転モードの項目として「手動運転モード」、「自動運転モード」とを有する。また、「自動運転モード」として、上述した「モードＡ」、「モードＢ」、および「モードＣ」等を有する。また、モード別操作可否情報１８８は、非運転操作系の項目として、ナビゲーション装置５０に対する操作である「ナビゲーション操作」、コンテンツ再生装置８５に対する操作である「コンテンツ再生操作」、表示装置８２に対する操作である「インストルメントパネル操作」等を有する。図１１に示すモード別操作可否情報１８８の例では、上述した運転モードごとに非運転操作系に対する車両乗員の操作の可否が設定されているが、対象のインターフェース装置は、これに限定されるものではない。

ＨＭＩ制御部１７０は、自動運転制御部１２０から取得したモードの情報に基づいてモード別操作可否情報１８８を参照することで、使用が許可される装置（ナビゲーション装置５０およびＨＭＩ７０の一部または全部）と、使用が許可されない装置とを判定する。また、ＨＭＩ制御部１７０は、判定結果に基づいて、非運転操作系のＨＭＩ７０、またはナビゲーション装置５０に対する車両乗員からの操作の受け付けの可否を制御する。

例えば、車両制御システム１００が実行する運転モードが手動運転モードの場合、車両乗員は、ＨＭＩ７０の運転操作系（例えば、アクセルペダル７１、ブレーキペダル７４、シフトレバー７６、およびステアリングホイール７８等）を操作する。また、車両制御システム１００が実行する運転モードが自動運転モードのモードＢ、モードＣ等である場合、車両乗員には、自車両Ｍの周辺監視義務が生じる。このような場合、車両乗員の運転以外の行動（例えばＨＭＩ７０の操作等）により注意が散漫になること（ドライバーディストラクション）を防止するため、ＨＭＩ制御部１７０は、ＨＭＩ７０の非運転操作系の一部または全部に対する操作を受け付けないように制御を行う。この際、ＨＭＩ制御部１７０は、自車両Ｍの周辺監視を行わせるために、外界認識部１４２により認識された自車両Ｍの周辺車両の存在やその周辺車両の状態を、表示装置８２に画像などで表示させると共に、自車両Ｍの走行時の場面に応じた確認操作をＨＭＩ７０に受け付けさせてよい。

また、ＨＭＩ制御部１７０は、運転モードが自動運転のモードＡである場合、ドライバーディストラクションの規制を緩和し、操作を受け付けていなかった非運転操作系に対する車両乗員の操作を受け付ける制御を行う。例えば、ＨＭＩ制御部１７０は、表示装置８２に映像を表示させたり、スピーカ８３に音声を出力させたり、コンテンツ再生装置８５にＤＶＤなどからコンテンツを再生させたりする。なお、コンテンツ再生装置８５が再生するコンテンツには、ＤＶＤなどに格納されたコンテンツの他、例えば、テレビ番組等の娯楽、エンターテイメントに関する各種コンテンツが含まれてよい。また、図１１に示す「コンテンツ再生操作」は、このような娯楽、エンターテイメントに関するコンテンツ操作を意味するものであってよい。

［表示制御］
本実施形態における車両制御システム１００は、自車両Ｍの周辺車両の存在やその周辺車両の状態に応じて、可搬型表示装置９６等の各種表示装置に、自車両Ｍの周辺の画像を表示する機能を備えている。

図１２は、自動運転中において、車両乗員の操作に基づく画像（以下「指定画面Ｉ１」）を表示している可搬型表示装置９６の表示画面９６−１の一例を示す図である。この指定画面Ｉ１は、例えば、車両乗員が、可搬型表示装置９６（例えば、スマートフォン）を操作することにより表示されるテレビ番組等の各種コンテンツを表示する画面を含む。また、図１２においては、指定画面Ｉ１に対して、カメラ４０により撮像された自車両Ｍの周辺の画像（以下「周辺画像Ｉ２」）が重畳表示されている。可搬型表示装置９６は、自車両Ｍの周囲の任意の方向の画像を表示画面９６−１に表示してよい。また、可搬型表示装置９６は、異なる方向を撮像した周辺の画像を周期的に変更して表示画面９６−１に表示してもよい。例えば、可搬型表示装置９６は、前方画像、左側方画像、後方画像、および右側方画像を順に表示画面９６−１に表示してよい。

図１３は、自動運転中において、自車両Ｍの周辺に注意が必要な状況が発生した場合に、指定画面Ｉ１に対して、周辺画像Ｉ２を重畳表示している可搬型表示装置９６の表示画面９６−１の一例を示す図である。図１３では、表示画面９６−１において、図１２に示された周辺画像Ｉ２を表示する範囲が、Ｄ１，Ｄ２，およびＤ３方向に拡大されている。このとき、注意が必要な状況の元となった対象物（例えば、他車両）について強調表示をしてもよい。

次に、可搬型表示装置９６に、自車両Ｍの周辺の画像を表示する動作について説明する。図１４は、自車両Ｍの周辺の画像を可搬型表示装置９６に表示する処理の一例を示すフローチャートである。なお、自車両Ｍの周辺の画像を、可搬型表示装置９６に代えて或いは加えて、表示装置８２に表示する処理についても本フローチャートを同様に適用できる。

まず、車両乗員は、可搬型表示装置９６を操作し、可搬型表示装置９６に、図１２に示すような指定画面Ｉ１を表示させる（ステップＳ１０１）。例えば、車両乗員は、可搬型表示装置９６の表示画面にコンテンツ画像（例えば、テレビ映像）を表示させる。また、可搬型表示装置９６の表示画面には、並行して、カメラ４０によって撮像された自車両Ｍの周辺の画像（例えば、自車両Ｍの前方の画像）が、コンテンツ画像に重畳して表示されている。可搬型表示装置９６は、カメラ４０から自車両Ｍの周辺の画像を取得した車両制御システム１００と無線通信を行うことにより、周辺の画像を取得してよい。

次に、外界認識部１４２は、カメラ４０から入力される情報に基づいて、周辺車両の位置、および速度、加速度等の状態を認識して、周辺の状況を監視し、監視結果を表示制御部１７２に出力する（ステップＳ１０３）。

次に、表示制御部１７２は、外界認識部１４２から入力された認識結果に基づいて、自車両Ｍの周辺状況に注意が必要な状況が生じたか否かを判断する（ステップＳ１０５）。ここで、自車両Ｍの周辺状況に注意が必要な状況が生じたか否かの判断は、例えば、図９に示すような場面では、自車両Ｍと、前方車両ｍＡ、前方基準車両ｍＢおよび後方基準車両ｍＣとのＴＴＣ（Time-To Collision）がそれぞれ閾値よりも大きいか否かに基づいて行われる。自車両Ｍと、前方車両ｍＡ、前方基準車両ｍＢおよび後方基準車両ｍＣとのＴＴＣがそれぞれ閾値よりも大きい場合、表示制御部１７２は、自車両Ｍの周辺状況に注意が必要な状況が生じていないと判断する。一方、自車両Ｍと、前方車両ｍＡ、前方基準車両ｍＢおよび後方基準車両ｍＣの少なくとも１つとのＴＴＣが閾値よりも小さい場合、表示制御部１７２は、自車両Ｍの周辺状況に注意が必要な状況が生じていると判断する。また、図１５に示すように、自車両Ｍの周辺で他車両（他車両ｍ２）の事故が発生している場合にも、表示制御部１７２は、自車両Ｍの周辺状況に注意が必要な状況が生じたと判断する。他車両の事故に関する情報は、例えば、記憶部１８０に記憶された高精度地図情報１８２を参照することで入手できる。或いは、他車両の事故に関する情報は、通信装置５５を介した、他車両（他車両ｍ１，ｍ２，およびｍ３）との通信により、他車両から入手してもよい。

表示制御部１７２は、注意が必要な状況が生じていないと判断した場合、自車両Ｍの周辺状況に注意が必要な状況が生じたか否かの判断を継続する。一方、表示制御部１７２は、注意が必要な状況が生じていると判断した場合、無線通信により、注意が必要な状況が生じている周辺の画像を可搬型表示装置９６に送信する（ステップＳ１０７）。例えば、自車両Ｍと、前方車両ｍＡとのＴＴＣが閾値よりも小さい場合、表示制御部１７２は、自車両Ｍの前方の画像を可搬型表示装置９６に送信する。また、図１５に示すように自車両Ｍの周辺で他車両の事故が発生している場合には、事故を起こしている他車両ｍ２の方向の画像（方向Ｄ１と方向Ｄ２の間の画像）を可搬型表示装置９６に送信する。

次に、可搬型表示装置９６は、指定画面Ｉ１に対して、表示制御部１７２から入力された周辺の画像を重畳表示して表示領域を拡大し（例えば、図１２に示すＤ１，Ｄ２，およびＤ３方向に拡大して）、本フローチャートの処理を終了する（ステップＳ１０９）。なお、可搬型表示装置９６は、表示制御部１７２から入力された周辺の画像を表示画面９６−１全体に表示してもよい。

以上の本実施形態によれば、車両乗員は、可搬型表示装置９６に表示された指定画面Ｉ１を見ている場合であっても、自車両Ｍの周辺に注意が必要な状況が生じたこと、および注意が必要な状況を表示した画像を迅速に確認することができる。

＜第２の実施形態＞
以下、第２の実施形態について説明する。第２の実施形態に係る車両制御システムは、注意が必要な状況が生じていると判断した場合、注意が必要な状況が生じている周辺の画像を各種ミラーにあわせて表示する点で、第１の実施形態と異なる。以下の説明において、上記の第１の実施形態と同様の部分には同じ参照番号を付与し、その説明を省略或いは簡略化する。

図１６は、自動運転中において、運転席に着座した車両乗員から見た自車両Ｍの後方（以下「後方画像Ｉ３」）を写すルームミラー９７の一例を示す図である。また、図１７は、自動運転中において、自車両Ｍの周辺に注意が必要な状況が発生した場合に、後方画像Ｉ３に対して、注意が必要な自車両Ｍの周辺画像Ｉ４を重畳表示しているルームミラー９７の一例を示す図である。表示制御部１７２は、外界認識部１４２から入力された自車両Ｍの周辺の情報等に応じて、後方画像Ｉ３に対して、ルームミラー９７に自車両Ｍの周辺画像Ｉ４を重畳表示するか否かを制御する。

図１８は、自動運転中において、運転席に着座した車両乗員から見た自車両Ｍの左側方（以下「左側方画像Ｉ５」）を写す左サイドミラー９８Ｌの一例を示す図である。また、図１９は、自動運転中において、自車両Ｍの周辺に注意が必要な状況が発生した場合に、左側方画像Ｉ５に対して、注意が必要な自車両Ｍの周辺画像Ｉ６を重畳表示している左サイドミラー９８Ｌの一例を示す図である。表示制御部１７２は、外界認識部１４２から入力された自車両Ｍの周辺の情報等に応じて、左側方画像Ｉ５に対して、サイドミラー９８に自車両Ｍの周辺画像Ｉ６を重畳表示するか否かを制御する。なお、右サイドミラー９８Ｒは、上記の左サイドミラー９８Ｌと同様な構成を有している。表示制御部１７２は、外界認識部１４２から入力された自車両Ｍの周辺の情報等に応じて、右サイドミラー９８Ｒに表示された運転席に着座した車両乗員から見た自車両Ｍの右側方の画像に対して、自車両Ｍの周辺の画像を重畳表示するか否かを制御する。以下においては、サイドミラー９８に関して、主に左サイドミラー９８Ｌを例に挙げて説明する。

次に、ルームミラー９７およびサイドミラー９８に、自車両Ｍの周辺の画像を表示する動作について説明する。図２０は、自車両Ｍの周辺の画像をルームミラー９７およびサイドミラー９８に表示する処理の一例を示すフローチャートである。

まず、自動運転中において、運転席に着座した車両乗員から見ると、ルームミラー９７には後方画像Ｉ３が写されている。また、運転席に着座した車両乗員から見ると、左サイドミラー９８Ｌには左側方画像Ｉ５が写されている（ステップＳ２０１）。

次に、外界認識部１４２は、カメラ４０から入力される情報に基づいて、周辺車両の位置、および速度、加速度等の状態を認識し、認識結果を表示制御部１７２に出力する（ステップＳ２０３）。

次に、表示制御部１７２は、外界認識部１４２から入力された認識結果に基づいて、自車両Ｍの周辺状況に注意が必要な状況が生じたか否かを判断する（ステップＳ２０５）。

表示制御部１７２は、注意が必要な状況が生じていないと判断した場合、自車両Ｍの周辺状況に注意が必要な状況が生じたか否かの判断を継続する。一方、表示制御部１７２は、注意が必要な状況が生じていると判断した場合、注意が必要な状況が生じている周辺の画像をルームミラー９７およびサイドミラー９８に送信する（ステップＳ２０７）。

次に、ルームミラー９７の表示部は、後方画像Ｉ３に対して、表示制御部１７２から入力された周辺の画像を重畳表示する。また、左サイドミラー９８Ｌは、左側方画像Ｉ５に対して、表示制御部１７２から入力された周辺の画像を重畳表示する（ステップＳ２０９）。以上により、本フローチャートの処理を終了する。なお、ルームミラー９７およびサイドミラー９８は、表示制御部１７２から入力された周辺の画像をミラー全体に表示してもよい。

以上の本実施形態によれば、車両乗員は、ルームミラー９７およびサイドミラー９８を見ることで、自車両Ｍの周辺に注意が必要な状況が生じたこと、および注意が必要な状況を表示した画像を迅速に確認することができる。

なお、上記においては、ルームミラー９７およびサイドミラー９８の双方に、周辺の画像を重畳表示する例を説明した。しかしながら、ルームミラー９７およびサイドミラー９８の一方のみ、さらには、左サイドミラー９８Ｌおよび右サイドミラー９８Ｒの一方のみに周辺の画像を重畳表示することもできる。

＜第３の実施形態＞
以下、第３の実施形態について説明する。第３の実施形態に係る車両制御システムは、運転席に着座した車両乗員の視線を検知し、この車両乗員の視界に存在しうる表示装置、各種ミラー等に自車両Ｍの周辺の画像を表示する点で、第１の実施形態と異なる。以下の説明において、上記の第１の実施形態と同様の部分には同じ参照番号を付与し、その説明を省略或いは簡略化する。

図２１は、第３の実施形態における、自車両Ｍの機能構成図である。第１の実施形態と比較して、第３の実施形態における自車両Ｍは、ＨＭＩ制御部１７０が、運転席に着座した車両乗員の視線の方向を検知する視線検知部（検知部）１７４をさらに備えている。この視線検知部１７４は、車室内カメラ９５から入力された車両乗員の画像に基づいて、この車両乗員の視線を検知し、この検知結果を表示制御部１７２に出力する。

図２２は、車室内Ｍ１における、運転席に着座した車両乗員Ｈの視線と、この視線に対応する方向に存在する表示装置および各種ミラーとの関係を示す図である。図２２では、車両乗員Ｈが、自車両Ｍの前方左下方向ＬＳを向いている例を示している。視線検知部１７４は、車室内カメラ９５により撮像された車両乗員Ｈの画像に基づいて、車両乗員Ｈの視線の方向が方向ＬＳであることを検知し、この検知結果を表示制御部１７２に出力する。表示制御部１７２は、車両乗員Ｈの視線の方向ＬＳに基づいて、車両乗員Ｈの視界ＲＶを決定し、車両乗員Ｈが見ている可能性のある表示装置、各種ミラー等を選択し、周辺の画像を表示する。図２２に示す例では、この視界ＲＶ内に、表示装置８２および左サイドミラー９８Ｌが含まれているが、ルームミラー９７および右サイドミラー９８Ｒは含まれていない。この場合、表示制御部１７２は、表示装置８２および左サイドミラー９８Ｌに周辺の画像を表示する。このように、表示制御部１７２は、車両乗員Ｈの視線に対応する方向に存在する表示部が複数存在する場合、この複数の表示部に、それぞれ上記の周辺の画像を表示させる。

次に、本実施形態における、表示装置８２、ルームミラー９７、サイドミラー９８に、自車両Ｍの周辺の画像を表示する動作について説明する。図２３は、自車両Ｍの周辺の画像を表示装置８２、ルームミラー９７、およびサイドミラー９８に表示する処理の一例を示すフローチャートである。

まず、車両乗員は、コンテンツ再生装置８５、ナビゲーション装置５０などを操作し、表示装置８２の表示画面に所望の指定画面を表示させる（ステップＳ３０１）。

次に、外界認識部１４２は、カメラ４０から入力される情報に基づいて、周辺車両の位置、および速度、加速度等の状態を認識し、認識結果を表示制御部１７２に出力する（ステップＳ３０３）。

次に、表示制御部１７２は、外界認識部１４２から入力された認識結果に基づいて、自車両Ｍの周辺状況に注意が必要な状況が生じたか否かを判断する（ステップＳ３０５）。

表示制御部１７２は、注意が必要な状況が生じていないと判断した場合、自車両Ｍの周辺状況に注意が必要な状況が生じたか否かの判断を継続する。一方、表示制御部１７２は、注意が必要な状況が生じていると判断した場合、車室内カメラ９５によって撮像された車両乗員Ｈの画像を、視線検知部１７４に出力する。視線検知部１７４は、この車両乗員Ｈの画像に基づいて、車両乗員Ｈの視線を検知し、検知結果を表示制御部１７２に出力する（ステップＳ３０７）。

次に、表示制御部１７２は、視線検知部１７４から入力された車両乗員Ｈの視線に関する情報に基づいて、車両乗員Ｈの視界ＲＶを決定し、車両乗員Ｈが見ている可能性のある表示装置、各種ミラー等を選択する（ステップＳ３０９）。図２２に示す例では、この視界ＲＶ内に、表示装置８２および左サイドミラー９８Ｌが含まれている。

次に、表示制御部１７２は、選択した表示装置および各種ミラーに、注意が必要な状況が生じている周辺の画像を送信する（ステップＳ３１１）。図２２に示す例では、表示装置８２および左サイドミラー９８Ｌに周辺の画像を送信する。

視界ＲＶ内に含まれるものとして表示装置８２が選択されている場合、表示装置８２は、指定画面に対して、表示制御部１７２から入力された周辺の画像を重畳表示する（ステップＳ３１３）。また、視界ＲＶ内に含まれるものとして左サイドミラー９８Ｌが選択されている場合、左サイドミラー９８Ｌは、図１９に示すように、表示制御部１７２から入力された周辺画像Ｉ６を左側方画像Ｉ５上に重畳表示する（ステップＳ３１３）。以上により、本フローチャートの処理を終了する。

以上の本実施形態によれば、自動運転中において、車両乗員Ｈが見ている可能性のある表示装置、各種ミラー等に注意が必要な周辺の画像を表示することができる。これにより、車両乗員Ｈは、自車両Ｍの周辺に注意が必要な状況が生じたこと、および注意が必要な状況を表示した画像を迅速に確認することができる。

＜第４の実施形態＞
以下、第４の実施形態について説明する。第４の実施形態に係る車両制御システムは、自動運転中に、行動計画に含まれるイベントに応じた支援情報を各種ミラーまたは表示装置に表示する機能を備えている。以下の説明において、上記の第１の実施形態と同様の部分には同じ参照番号を付与し、その説明を省略或いは簡略化する。以下においては、支援情報を各種ミラーに表示する例について説明する。

図２４は、本実施形態における、自車両Ｍの機能構成図である。第１の実施形態と比較して、第４の実施形態における自車両Ｍは、ＨＭＩ制御部１７０が、支援情報生成部１７６をさらに備えている。この支援情報生成部１７６は、行動計画生成部１４４から入力された行動計画および外界認識部１４２から入力された周辺の情報に基づいて、車両乗員による自動運転の状態確認を支援する支援情報を生成する。支援情報には、自車両Ｍの周辺の他車両の状況を示す画像等が含まれる。図２５は、この支援情報が表示された左サイドミラー９８Ｌの一例を示す図である。例えば、自動運転中に、自車両Ｍが左車線に車線変更を行う場合、車両乗員は、左サイドミラー９８Ｌに表示された支援情報を確認することで、隣接車線後方に他車両が存在しないことを確認でき、自動運転が適切に実行されていることを確認することができる。

次に、本実施形態における、各種ミラーに、行動計画に含まれる各イベントに応じた支援情報を表示する動作について説明する。図２６は、本実施形態における、各種ミラーに支援情報を表示する処理の一例を示すフローチャートである。

まず、行動計画生成部１４４は、任意の区間について行動計画を生成して、支援情報生成部１７６に出力する（ステップＳ４０１）。

次に、支援情報生成部１７６は、行動計画生成部１４４から入力された行動計画に含まれるイベントに応じて、支援情報を生成し、表示制御部１７２に出力する（ステップＳ４０３）。

次に、表示制御部１７２は、支援情報生成部１７６から入力された支援情報を各種ミラーに送信する（ステップＳ４０５）。例えば、自車両Ｍが、左車線に車線変更を行う場合には、この車線変更の実施に合わせて、左車線の他車両の状況を示す支援情報を左サイドミラー９８Ｌに送信する。

次に、左サイドミラー９８Ｌは、表示制御部１７２から入力された支援情報を示す画面（以下「支援画面Ｉ７」）を左側方画像Ｉ５上に重畳表示し、本フローチャートの処理を終了する（ステップＳ４０７）。これにより、車両乗員は、自動運転中に車線変更を行う際に左サイドミラー９８Ｌを見た場合、支援情報をあわせて確認し、隣接車線後方に他車両がいないことを確認することができる。

以上の本実施形態によれば、自動運転中において、車両乗員は、行動計画に含まれるイベントに応じた支援情報を各種ミラーまたは表示装置上で確認でき、自動運転が適切に実行されていることを確認することができる。

なお、上記の説明では、支援情報を、サイドミラー９８に表示する例を説明したが、自車両Ｍが後方に移動する場合等には、この支援情報をルームミラー９７に表示させてもよい。

上記の実施形態においては、自車両Ｍが、各種ミラーを備える場合を例に説明したが、ミラーを備えないミラーレス車両にも本発明は適用可能である。基本的に、ミラーレス車両においては、俯瞰画像が表示装置に表示されているが、車線変更などの場合に、注意が必要な周辺の画像をこの表示装置に表示させることができる。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

２０…ファインダ、３０…レーダ、４０…カメラ、ＤＤ…検知デバイス、５０…ナビゲーション装置、６０…車両センサ、７０…ＨＭＩ、８２…表示装置、９５…車室内カメラ、９６…可搬型表示装置、９７…ルームミラー、９８…サイドミラー、１００…車両制御システム、１１０…目標車線決定部、１２０…自動運転制御部、１３０…自動運転モード制御部、１４０…自車位置認識部、１４２…外界認識部、１４４…行動計画生成部、１４６…軌道生成部、１４６Ａ…走行態様決定部、１４６Ｂ…軌道候補生成部、１４６Ｃ…評価・選択部、１５０…切替制御部、１６０…走行制御部、１７０…ＨＭＩ制御部、１７２…表示制御部、１７４…視線検知部、１７６…支援情報生成部、１８０…記憶部、２００…走行駆動力出力装置、２１０…ステアリング装置、２２０…ブレーキ装置、Ｍ…自車両

Claims (11)

1. 車両の周辺の画像を撮像する撮像部と、
   前記車両の周辺状況を監視する周辺監視部と、
   前記車両の車室内に存在し、乗員の操作に基づく画像を表示する表示部に、前記乗員の操作に基づく画像の一部に重畳して前記車両の周辺の画像を表示させ、前記周辺監視部による監視結果に基づいて、前記車両の周辺の画像を拡大させる表示制御部と
   を備え、
   前記乗員の操作に基づく画像には、前記車両の周辺の画像以外の画像が含まれる、
   車両制御システム。
2. 前記乗員の操作に基づく画像には、前記車両の周辺の画像以外の画像が含まれ、
   前記表示制御部は、前記表示部に前記車両の周辺の画像以外の画像は表示されている場合に、前記車両の周辺の画像以外の画像の一部に重畳して前記車両の周辺の画像を表示させ、前記周辺監視部による監視結果に基づいて、前記車両の周辺の画像を拡大させる、
   請求項１に記載の車両制御システム。
3. 前記表示部は、可搬型の表示部である、
   請求項１又は２に記載の車両制御システム。
4. 前記車両の乗員の視線を検知する検知部をさらに備え、
   前記表示制御部は、前記検知部により検知された前記乗員の視線に対応する方向に存在する前記表示部に、前記車両の周辺の画像を表示させる、
   請求項１から３のうちいずれか一項に記載の車両制御システム。
5. 前記表示制御部は、前記検知部により検知された前記乗員の視線に対応する方向に存在する前記表示部が複数存在する場合、前記複数の表示部に、それぞれ前記周辺の画像を表示させる、
   請求項４に記載の車両制御システム。
6. 前記周辺監視部による監視結果に基づいて、前記車両の速度制御と操舵制御とのうち少なくとも一方を自動的に行う自動運転を実行する自動運転制御部をさらに備え、
   前記表示制御部は、前記自動運転制御部により前記乗員による周辺監視が不要となる前記自動運転が実行されている場合、前記周辺監視部による監視結果に基づいて、前記車両の周辺状況を示す情報を前記表示部に表示させる、
   請求項１から５のうちいずれか一項に記載の車両制御システム。
7. 車両の周辺の画像を撮像する撮像部と、
   前記車両の周辺状況を監視する周辺監視部と、
   前記車両の乗員の視線を検知する検知部と、
   前記周辺監視部による監視結果と、前記検知部により検知された前記乗員の視線とに基づいて、前記車両に設けられたミラーに合わせて画像を表示する表示部のうち、前記視線に対応する方向に存在する前記表示部に、前記車両の周辺の画像を表示させる表示制御部と、
   を備え、
   前記表示制御部は、前記検知部により検知された前記乗員の視線に対応する方向に存在する前記表示部が複数存在する場合、前記複数の表示部に、それぞれ前記周辺の画像を表示させる、
   車両制御システム。
8. 車両の周辺の画像を撮像し、
   前記車両の周辺状況を監視し、
   前記車両の車室内に存在し、乗員の操作に基づく画像であり、前記車両の周辺の画像以外の画像を含む画像を表示する表示部に、前記乗員の操作に基づく画像の一部に重畳して前記車両の周辺の画像を表示させ、前記車両の周辺状況の監視結果に基づいて、前記車両の周辺の画像を拡大する
   車両制御方法。
9. 車両の周辺の画像を撮像し、
   前記車両の周辺状況を監視し、
   前記車両の乗員の視線を検知し、
   前記車両の周辺状況の監視結果と、検知された前記乗員の視線とに基づいて、前記車両に設けられたミラーに合わせて画像を表示する表示部のうち、前記視線に対応する方向に存在する前記表示部に、前記車両の周辺の画像を表示させ、
   検知された前記乗員の視線に対応する方向に存在する前記表示部が複数存在する場合、前記複数の表示部に、それぞれ前記周辺の画像を表示させる、
   車両制御方法。
10. 車載コンピュータに、
    車両の周辺の画像を撮像する処理と、
    前記車両の周辺状況を監視する処理と、
    前記車両の車室内に存在し、乗員の操作に基づく画像であり、前記車両の周辺の画像以外の画像を含む画像を表示する表示部に、前記乗員の操作に基づく画像の一部に重畳して前記車両の周辺の画像を表示させ、前記車両の周辺状況の監視結果に基づいて、前記車両の周辺の画像を拡大する処理と、を実行させる
    車両制御プログラム。
11. 車載コンピュータに、
    車両の周辺の画像を撮像する処理と、
    前記車両の周辺状況を監視する処理と、
    前記車両の乗員の視線を検知する処理と、
    前記車両の周辺状況の監視結果と、検知された前記乗員の視線とに基づいて、前記車両に設けられたミラーに合わせて画像を表示する表示部のうち、前記視線に対応する方向に存在する前記表示部に、前記車両の周辺の画像を表示させる処理と、
    検知された前記乗員の視線に対応する方向に存在する前記表示部が複数存在する場合、前記複数の表示部に、それぞれ前記周辺の画像を表示させる処理と、を実行させる
    車両制御プログラム。

Images