JP6827378B2 - 車両制御システム、車両制御方法、およびプログラム - Google Patents

Description

本発明は、車両制御システム、車両制御方法、およびプログラムに関する。

近年、目的地までの経路に沿って車両が走行するように、車両の加減速または操舵のうち少なくとも一方を自動的に制御する技術（以下、自動運転）について研究が進められている（例えば、特許文献１参照）。

特開２０１５−２１７７９８号公報

しかしながら、従来の技術では、自動運転が実行中において、周辺に存在する車両のうち、どの車両が自車両の制御に影響を及ぼすのか、乗員が関知できない場合があった。このため、車両の乗員は、車両の制御状態を認識したり、将来の挙動を予測したりすることができず、不安を覚える場合があった。

本発明は、このような事情を考慮してなされたものであり、車両の乗員に安心感を与えることができる車両制御システム、車両制御方法、およびプログラムを提供することを目的の一つとする。

（１）：表示部と、車両の周辺に存在する他車両を認識する認識部と、前記車両の乗員からの操作を受け付ける操作部と、前記車両の運転支援を実行する制御部と、前記制御部により前記運転支援が実行される前に前記操作部により所定の操作が受け付けられた場合、前記認識部により認識された他車両の少なくとも一部を示す情報を前記表示部に表示させると共に、前記他車両のうち前記車両に影響を及ぼす特定車両を前記特定車両でない他車両と区別可能な態様で前記表示部に表示させる表示制御部とを備える車両制御システムである。

（２）：（１）であって、前記表示制御部は、前記特定車両を前記特定車両でない他車両に比して強調させて前記表示部に表示させるものである。

（３）：（１）または（２）であって、前記認識部は、前記特定車両を第１の種別の特定車両と第２の種別の特定車両とに分類し、前記表示制御部は、前記認識部により分類された第１の種別の特定車両と前記第２の種別の特定車両とを区別可能に前記表示部に表示させるものである。

（４）：（１）から（３）のいずれかであって、前記第１の種別の特定車両は、前記第２の種別の特定車両に比して、長期的に前記車両に及ぼす影響度合が高い車両であるものである。

（５）：（１）から（４）のいずれかであって、前記制御部は、前記操作部により所定の操作が受け付けられた場合、前記運転支援を実行し、前記影響は、前記運転支援の実行中において前記車両の加減速の決定、または操舵量の決定の少なくとも一方に対する影響であるものである。

（６）：（１）から（５）のいずれかであって、前記車両に影響を及ぼす特定車両は、車両の追従対象車両を含み、前記表示制御部は、追従対象であることを示す情報を前記追従対象車両に対応付けて前記表示部に表示させるものである。

（７）：車載コンピュータが、車両の周辺に存在する他車両を認識し、前記車両の運転支援を実行する制御部により前記運転支援が実行される前に、前記車両の乗員からの操作を受け付ける操作部により所定の操作が受け付けられた場合、前記認識された他車両の少なくとも一部を示す情報を前記表示部に表示させると共に、前記他車両のうち前記車両に影響を及ぼす特定車両を前記特定車両でない他車両と区別可能な態様で表示部に表示する、車両制御方法である。

（８）：車載コンピュータに、車両の周辺に存在する他車両を認識させ、前記車両の運転支援を実行する制御部により前記運転支援が実行される前に、前記車両の乗員からの操作を受け付ける操作部により所定の操作が受け付けられた場合、前記認識された他車両の少なくとも一部を示す情報を前記表示部に表示させると共に、前記他車両のうち前記車両に影響を及ぼす特定車両を前記特定車両でない他車両と区別可能な態様で表示部に表示させる、プログラムである。

（１）、（２）、（５）、（７）、または（８）によれば、表示制御部は、他車両の少なくとも一部を示す情報を表示部に表示させると共に、他車両のうち車両に影響を及ぼす特定車両を特定車両でない他車両と区別可能な態様で表示部に表示させることにより、車両の乗員に安心感を与えることができる。

（３）または（４）によれば、表示制御部は、第１の種別の特定車両と第２の種別の特定車両とを区別可能に表示部に表示させることにより、特定車両の種別を乗員に認識させることができる。

（６）によれば、表示制御部は、追従対象であることを示す情報を追従対象車両に対応付けて表示部に表示させることにより、乗員は自車両が追従対象としている車両を認識することができ、より車両の乗員に安心感を与えることができる。

実施形態の車両システム１の構成図である。 自車位置認識部３２２により走行車線Ｌ１に対する自車両Ｍの相対位置および姿勢が認識される様子を示す図である。 推奨車線に基づいて目標軌道が生成される様子を示す図である。 車線変更の際の処理について説明するための図である。 車線変更の際の処理について説明するための図である。 自車両ＭにおけるＨＭＩ４００の一例を示す図である。 自車両Ｍが手動運転から自動運転が開始され、自動運転による車線変更が実行されるまでの各種場面を示す図である。 手動運転時に表示される第１画面ＩＭ１−１および第２画面ＩＭ２−１の一例を示す図である。 メインスイッチ４１２が操作されたことで表示される第３画面ＩＭ３−１および第４画面ＩＭ４−１の一例を示す図である。 オートスイッチ４１４が操作されたときに、第１の表示部４５０およびＨＵＤ４７０に表示される画面ＩＭ３−２およびＩＭ４−２の一例を示す図である。 第２の度合の運転支援中において、第１の表示部４５０およびＨＵＤ４７０に表示される画面の一例を示す図である。 自車両Ｍの挙動が変化する前の第１のタイミングにおいて表示される第３画面ＩＭ３−４および第４画面ＩＭ４−４の一例を示す図である。 自車両Ｍに対して第３の度合での運転支援を実行し、その後、第３の度合から第２の度合での運転支援を実行するまでの各種場面を示す図である。 低速追従走行時に表示される第３画面ＩＭ３−５および第４画面ＩＭ４−５の一例を示す図である。 乗員に周辺監視を行わせるために表示される第３画面ＩＭ３−６および第４画面ＩＭ４−６の一例を示す図である。 運転支援に関連する各種機器または制御の切り替えタイミングについて説明するための図である。 自車両Ｍに影響を及ぼす特定車両を強調させて第１の表示部４５０に表示させる処理について説明するための図である。 第１の表示部４５０の周辺検知情報表示領域６００−７に表示される第３画面ＩＭ３−７の一例を示す図である。 他車両ｍ２が、自車両Ｍの走行車線に進入しようとしている場合に表示される第３画面ＩＭ３−８の一例を示す図である。 自車両Ｍが車線変更する場合に第１の表示部４５０に表示される画像ＩＭ３−９の一例を示す図である。 車両システム１により実行される処理の流れを示すフローチャートである。 区画線の補完に影響を及ぼす他車両ｍ２に対応するアイコンＩｍ２に対して、アイコンＩｍ２を強調するアイコンＦＢ５が対応付けられた画像ＩＭ３−１０の一例を示す図である。

以下、図面を参照し、本発明の車両制御システム、車両制御方法、およびプログラムの実施形態について説明する。実施形態では、車両システムが自動運転（自律運転）可能な自動運転車両に適用されたものとする。自動運転は、乗員による操作を原則として必要としない状態で車両が走行することをいい、運転支援の一種であると考えられる。なお、車両は手動運転により走行することもできる。以下の説明において、「乗員」とは、運転席すなわち運転操作子が設けられたシートに着座した乗員を指すものとする。

本実施形態における運転支援の度合には、例えば、第１の度合と、第２の度合と、第３の度合とを含む。第１の度合の運転支援は、ＡＣＣ（Adaptive Cruise Control System）やＬＫＡＳ（Lane Keeping Assistance System）等の運転支援装置が作動することで実行する運転支援である。第２の度合の運転支援は、第１の度合よりも制御度合が高く、乗員が車両の運転操作子に対する操作を行わずに、車両の加減速または操舵のうち少なくとも一方を自動的に制御して自動運転を実行するが、乗員に周辺監視義務を課す運転支援である。第３の度合の運転支援は、第２の度合よりも制御度合が高く、乗員に周辺監視義務を課さない運転支援である。本実施形態において、第２の度合および第３の度合の運転支援が自動運転に相当する。

［全体構成］
図１は、実施形態の車両制御システムを含む車両システム１の構成図である。車両システム１が搭載される車両（以下、自車両Ｍと称する）は、例えば、二輪や三輪、四輪等の車両であり、その駆動源は、ディーゼルエンジンやガソリンエンジン等の内燃機関、電動機、或いはこれらの組み合わせである。電動機は、内燃機関に連結された発電機による発電電力、或いは二次電池や燃料電池の放電電力を使用して動作する。

車両システム１は、例えば、カメラ１０と、レーダ装置１２と、ファインダ１４と、物体認識装置１６と、通信装置２０と、ナビゲーション装置５０と、ＭＰＵ（Map Positioning Unit）６０と、車両センサ７０と、運転操作子８０と、車室内カメラ９０と、マスター制御部１００と、運転支援制御部２００と、自動運転制御ユニット３００と、ＨＭＩ（Human Machine Interface）４００と、走行駆動力出力装置５００と、ブレーキ装置５１０と、ステアリング装置５２０と、とを備える。これらの装置や機器は、ＣＡＮ（Controller Area Network）通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。なお、図１に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。

カメラ１０は、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を利用したデジタルカメラである。カメラ１０は、車両システム１が搭載される自車両Ｍの任意の箇所に一つまたは複数が取り付けられる。前方を撮像する場合、カメラ１０は、フロントウインドシールド上部やルームミラー裏面等に取り付けられる。後方を撮像する場合、カメラ１０は、リアウインドシールド上部やバックドア等に取り付けられる。側方を撮像する場合、カメラ１０は、ドアミラー等に取り付けられる。カメラ１０は、例えば、周期的に繰り返し自車両Ｍの周辺を撮像する。カメラ１０は、ステレオカメラであってもよい。

レーダ装置１２は、自車両Ｍの周辺にミリ波等の電波を放射するとともに、物体によって反射された電波（反射波）を検出して少なくとも物体の位置（距離および方位）を検出する。レーダ装置１２は、自車両Ｍの任意の箇所に一つまたは複数が取り付けられる。レーダ装置１２は、ＦＭＣＷ（Frequency Modulated Continuous Wave）方式によって物体の位置および速度を検出してもよい。

ファインダ１４は、照射光に対する散乱光を測定し、対象までの距離を検出するＬＩＤＡＲ（Light Detection and Ranging、或いはLaser Imaging Detection and Ranging）である。ファインダ１４は、自車両Ｍの任意の箇所に一つまたは複数が取り付けられる。

物体認識装置１６は、カメラ１０、レーダ装置１２、およびファインダ１４のうち一部または全部による検出結果に対してセンサフュージョン処理を行って、物体の位置、種類、速度等を認識する。物体認識装置１６は、認識結果を運転支援制御部２００および自動運転制御ユニット３００に出力する。

通信装置２０は、例えば、セルラー網やＷｉ−Ｆｉ網、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＤＳＲＣ（Dedicated Short Range Communication）等を利用して、自車両Ｍの周辺に存在する他車両と通信し、或いは無線基地局を介して各種サーバ装置と通信する。また、通信装置２０は、車外の人物が所持する端末装置と通信する。

ナビゲーション装置５０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）受信機５１と、ナビＨＭＩ５２と、経路決定部５３とを備え、ＨＤＤ（Hard Disk Drive）やフラッシュメモリ等の記憶装置に第１地図情報５４を保持している。ＧＮＳＳ受信機は、ＧＮＳＳ衛星から受信した信号に基づいて、自車両Ｍの位置を特定する。自車両Ｍの位置は、車両センサ７０の出力を利用したＩＮＳ（Inertial Navigation System）によって特定または補完されてもよい。ナビＨＭＩ５２は、表示装置、スピーカ、タッチパネル、キー等を含む。ナビＨＭＩ５２は、後述するＨＭＩ４００と一部または全部が共通化されてもよい。経路決定部５３は、例えば、ＧＮＳＳ受信機５１により特定された自車両Ｍの位置（或いは入力された任意の位置）から、ナビＨＭＩ５２を用いて乗員により入力された目的地までの経路（例えば、目的地まで走行するときの経由地に関する情報を含む）を、第１地図情報５４を参照して決定する。第１地図情報５４は、例えば、道路を示すリンクと、リンクによって接続されたノードとによって道路形状が表現された情報である。第１地図情報５４は、道路の曲率やＰＯＩ（Point Of Interest）情報等を含んでもよい。経路決定部５３により決定された経路は、ＭＰＵ６０に出力される。また、ナビゲーション装置５０は、経路決定部５３により決定された経路に基づいて、ナビＨＭＩ５２を用いた経路案内を行ってもよい。なお、ナビゲーション装置５０は、例えば、ユーザの保有するスマートフォンやタブレット端末等の端末装置の機能によって実現されてもよい。また、ナビゲーション装置５０は、通信装置２０を介してナビゲーションサーバに現在位置と目的地を送信し、ナビゲーションサーバから返信された経路を取得してもよい。

ＭＰＵ６０は、例えば、推奨車線決定部６１として機能し、ＨＤＤやフラッシュメモリ等の記憶装置に第２地図情報６２を保持している。推奨車線決定部６１は、ナビゲーション装置５０から提供された経路を複数のブロックに分割し（例えば、車両進行方向に関して１００［ｍ］毎に分割し）、第２地図情報６２を参照してブロックごとに推奨車線を決定する。推奨車線決定部６１は、左から何番目の車線を走行するといった決定を行う。推奨車線決定部６１は、経路において分岐箇所や合流箇所等が存在する場合、自車両Ｍが、分岐先に進行するための合理的な走行経路を走行できるように、推奨車線を決定する。

第２地図情報６２は、第１地図情報５４よりも高精度な地図情報である。第２地図情報６２は、例えば、車線の中央の情報あるいは車線の境界の情報等を含んでいる。また、第２地図情報６２には、道路情報、交通規制情報、住所情報（住所・郵便番号）、施設情報、電話番号情報等が含まれてよい。道路情報には、高速道路、有料道路、国道、都道府県道といった道路の種別を表す情報や、道路の車線数、非常駐車帯の領域、各車線の幅員、道路の勾配、道路の位置（経度、緯度、高さを含む３次元座標）、車線のカーブの曲率、車線の合流および分岐ポイントの位置、道路に設けられた標識等の情報が含まれる。第２地図情報６２は、通信装置２０を用いて他装置にアクセスすることにより、随時、アップデートされてよい。

車両センサ７０は、自車両Ｍの速度を検出する車速センサ、加速度を検出する加速度センサ、鉛直軸回りの角速度を検出するヨーレートセンサ、自車両Ｍの向きを検出する方位センサ等を含む。

運転操作子８０は、例えば、アクセルペダル、ブレーキペダル、シフトレバー、ステアリングホイールその他の操作子を含んでよい。運転操作子８０には、操作量あるいは操作の有無を検出するセンサが取り付けられており、その検出結果は、マスター制御部１００、運転支援制御部２００、自動運転制御ユニット３００、もしくは、走行駆動力出力装置５００、ブレーキ装置５１０、およびステアリング装置５２０のうち、何れか一つまたは複数に出力される。

車室内カメラ９０は、例えば、車室内に設置されたシートに着座する乗員（特に、運転席に着座する乗員）の顔を中心に撮像する。車室内カメラ９０は、ＣＣＤやＣＭＯＳ等の固体撮像素子を利用したデジタルカメラである。車室内カメラ９０は、例えば、周期的に乗員を撮像する。車室内カメラ９０の撮像画像は、マスター制御部１００に出力される。

［各種制御装置］
車両システム１は、制御系の構成の一部として、例えば、マスター制御部１００と、運転支援制御部２００と、自動運転制御ユニット３００とを備える。なお、マスター制御部１００は、運転支援制御部２００または自動運転制御ユニット３００のどちらかに統合されてもよい。

［マスター制御部］
マスター制御部１００は、運転支援の度合の切り替えと、それに関連するＨＭＩ４００の制御等を行う。マスター制御部１００は、例えば、切替制御部１１０と、ＨＭＩ制御部１２０と、操作子状態判定部１３０と、乗員状態監視部１４０とを備える。切替制御部１１０、ＨＭＩ制御部１２０、操作子状態判定部１３０、および乗員状態監視部１４０は、それぞれ、ＣＰＵ（Central Processing Unit）等のプロセッサがプログラムを実行することで実現される。また、これらの機能部のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）等のハードウェアによって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。

切替制御部１１０は、例えば、ＨＭＩ４００に含まれる所定のスイッチ（例えば後述するメインスイッチおよびオートスイッチ）から入力される操作信号に基づいて運転支援の度合を切り替える。また、切替制御部１１０は、例えば、アクセスペダルやブレーキペダル、ステアリングホイール等の運転操作子８０に対する加速、減速または操舵を指示する操作に基づいて、運転支援をキャンセルして手動運転に切り替えてもよい。切替制御部１１０の機能の詳細については後述する。

なお、切替制御部１１０は、行動計画生成部３２３により生成される行動計画に基づいて、運転支援の度合を切り替えてもよい。例えば、切替制御部１１０は、行動計画によって規定される自動運転の終了予定地点で、運転支援を終了するようにしてもよい。

ＨＭＩ制御部１２０は、運転支援の度合の切り替えに関連する通知等を、ＨＭＩ４００に出力させる。また、ＨＭＩ制御部１２０は、操作子状態判定部１３０または乗員状態監視部１４０の一方または双方による判定結果に関する情報を、ＨＭＩ４００に出力させてもよい。また、ＨＭＩ制御部１２０は、ＨＭＩ４００により受け付けられた情報を運転支援制御部２００または自動運転制御ユニット３００の一方または双方に出力してもよい。ＨＭＩ制御部１２０の機能の詳細については後述する。

操作子状態判定部１３０は、例えば、運転操作子８０に含まれるステアリングホイールが操作されている状態（具体的には、現に意図的な操作を行っている場合、直ちに操作可能な状態、または把持状態を指すものとする）であるか否かを判定する。操作子状態判定部１３０の機能の詳細については後述する。

乗員状態監視部１４０は、車室内カメラ９０の撮像画像に基づいて、自車両Ｍの少なくとも運転席に着座した乗員の状態を監視する。乗員状態監視部１４０は、例えば、当該乗員が自車両Ｍの周囲を監視しているか否かを判定する。乗員状態監視部１４０の機能の詳細については後述する。

［運転支援制御部］
運転支援制御部２００は、第１の度合の運転支援を実行する。運転支援制御部２００は、例えば、ＡＣＣやＬＫＡＳその他の運転支援制御を実行する。例えば、運転支援制御部２００は、ＡＣＣを実行する際には、カメラ１０、レーダ装置１２、およびファインダ１４から物体認識装置１６を介して入力される情報に基づいて、自車両Ｍと、前走車両との車間距離を一定に保った状態で走行するように走行駆動力出力装置５００およびブレーキ装置５１０を制御する。すなわち、運転支援制御部２００は、前走車両との車間距離に基づく加減速制御（速度制御）を行う。また、運転支援制御部２００は、ＬＫＡＳを実行する際には、自車両Ｍが、現在走行中の走行車線を維持（レーンキープ）しながら走行するようにステアリング装置５２０を制御する。すなわち、運転支援制御部２００は、車線維持のための操舵制御を行う。第１の度合の運転支援の種類に関しては、運転操作子８０への操作を要求しない自動運転（第２の度合および第３の度合）以外の種々の制御を含んでよい。

［自動運転制御ユニット］
自動運転制御ユニット３００は、第２の度合および第３の度合の運転支援を実行する。自動運転制御ユニット３００は、例えば、第１制御部３２０と、第２制御部３４０とを備える。第１制御部３２０と、第２制御部３４０とは、それぞれ、ＣＰＵ等のプロセッサがプログラムを実行することで実現される。また、これらの各機能部のうち一部または全部は、ＬＳＩやＡＳＩＣ、ＦＰＧＡ等のハードウェアによって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。

第１制御部３２０は、例えば、外界認識部３２１と、自車位置認識部３２２と、行動計画生成部３２３とを備える。

外界認識部３２１は、カメラ１０、レーダ装置１２、およびファインダ１４から物体認識装置１６を介して入力される情報に基づいて、他車両（周辺車両）の位置および速度、加速度等の状態を認識する。他車両の位置は、その他車両の重心やコーナー等の代表点で表されてもよいし、他車両の輪郭で表現された領域で表されてもよい。他車両の「状態」とは、他車両の加速度やジャーク、あるいは「行動状態」（例えば車線変更をしている、またはしようとしているか否か）を含んでもよい。

外界認識部３２１は、上述した周辺車両、障害物（例えば、ガードレールや電柱、駐車車両、歩行者等の人物）、道路形状、その他の物体のうち、少なくとも一つを認識してもよい。

自車位置認識部３２２は、例えば、自車両Ｍが走行している車線（走行車線）、並びに走行車線に対する自車両Ｍの相対位置および姿勢を認識する。自車位置認識部３２２は、例えば、第２地図情報６２から得られる道路区画線のパターン（例えば実線と破線の配列）と、カメラ１０によって撮像された画像から認識される自車両Ｍの周辺の道路区画線のパターンとを比較することで、走行車線を認識する。この認識において、ナビゲーション装置５０から取得される自車両Ｍの位置やＩＮＳによる処理結果が加味されてもよい。

そして、自車位置認識部３２２は、例えば、走行車線に対する自車両Ｍの位置や姿勢を認識する。図２は、自車位置認識部３２２により走行車線Ｌ１に対する自車両Ｍの相対位置および姿勢が認識される様子を示す図である。自車位置認識部３２２は、例えば、自車両Ｍの基準点（例えば重心）の走行車線中央ＣＬからの乖離ＯＳ、および自車両Ｍの進行方向の走行車線中央ＣＬを連ねた線に対してなす角度θを、走行車線Ｌ１に対する自車両Ｍの相対位置および姿勢として認識する。なお、これに代えて、自車位置認識部３２２は、走行車線Ｌ１の何れかの側端部に対する自車両Ｍの基準点の位置等を、走行車線に対する自車両Ｍの相対位置として認識してもよい。自車位置認識部３２２により認識される自車両Ｍの相対位置は、推奨車線決定部６１および行動計画生成部３２３に提供される。

行動計画生成部３２３は、自車両Ｍが目的地等に対して自動運転を行うための行動計画を生成する。例えば、行動計画生成部３２３は、推奨車線決定部６１により決定された推奨車線を走行するように、且つ、自車両Ｍの周辺状況に対応できるように、自動運転制御において順次実行されるイベントを決定する。実施形態の自動運転におけるイベントには、例えば、一定速度で同じ走行車線を走行する定速走行イベント、低速度（例えば６０［ｋｍ／ｈ］以下）を条件に、前走車両に追従する低速追従イベント、自車両Ｍの走行車線を変更する車線変更イベント、前走車両を追い越す追い越しイベント、合流地点で車両を合流させる合流イベント、道路の分岐地点で自車両Ｍを目的の方向に走行させる分岐イベント、自車両Ｍを緊急停車させる緊急停車イベント等がある。また、これらのイベントの実行中に、自車両Ｍの周辺状況（他車両や歩行者の存在、道路工事による車線狭窄等）に基づいて、回避のための行動が計画される場合もある。

行動計画生成部１２３は、自車両Ｍが将来走行する目標軌道を生成する。目標軌道は、自車両Ｍの到達すべき地点（軌道点）を順に並べたものとして表現される。軌道点は、所定の走行距離ごとの自車両Ｍの到達すべき地点であり、それとは別に、所定のサンプリング時間（例えば０コンマ数［ｓｅｃ］程度）ごとの目標速度および目標加速度が、目標軌道の一部として生成される。また、軌道点は、所定のサンプリング時間ごとの、そのサンプリング時刻における自車両Ｍの到達すべき位置であってもよい。この場合、目標速度や目標加速度の情報は軌道点の間隔で表現される。

図３は、推奨車線に基づいて目標軌道が生成される様子を示す図である。図示するように、推奨車線は、目的地までの経路に沿って走行するのに都合が良いように設定される。行動計画生成部３２３は、推奨車線の切り替わり地点の所定距離手前（イベントの種類に応じて決定されてよい）に差し掛かると、車線変更イベント、分岐イベント、合流イベント等を起動する。各イベントの実行中に、障害物を回避する必要が生じた場合には、図示するように回避軌道が生成される。

また、行動計画生成部３２３は、車線変更イベントを起動すると、車線変更のための目標軌道を生成する。図４および図５は、車線変更の際の処理について説明するための図である。まず、行動計画生成部３２３は、自車両Ｍが走行する車線（自車線）Ｌ１に対して隣接する隣接車線であって、車線変更先の隣接車線Ｌ２を走行する他車両から２台の他車両を選択し、これらの他車両の間に車線変更ターゲット位置ＴＡｓを設定する。以下、隣接車線において車線変更ターゲット位置ＴＡｓの直前を走行する他車両を前方基準車両ｍＢと称し、隣接車線において車線変更ターゲット位置ＴＡｓの直後を走行する他車両を後方基準車両ｍＣと称して説明する。車線変更ターゲット位置ＴＡｓは、自車両Ｍと前方基準車両ｍＢおよび後方基準車両ｍＣとの位置関係に基づく相対的な位置である。

図４の例では、行動計画生成部３２３が車線変更ターゲット位置ＴＡｓを設定した様子を示している。図中、ｍＡは前走車両を表し、ｍＢは前方基準車両を表し、ｍＣは後方基準車両を表している。また、矢印ｄは自車両Ｍの進行（走行）方向を表している。図４の例の場合、行動計画生成部３２３は、隣接車線Ｌ２上において、前方基準車両ｍＢと後方基準車両ｍＣとの間に車線変更ターゲット位置ＴＡｓを設定する。

次に、行動計画生成部３２３は、車線変更ターゲット位置ＴＡｓに（すなわち前方基準車両ｍＢと後方基準車両ｍＣとの間に）車線変更が可能か否かを判定するための一次条件を満たすか否かを判定する。

一次条件は、例えば、隣接車線に設けた禁止領域ＲＡに他車両が一部でも存在せず、且つ、自車両Ｍと、前方基準車両ｍＢおよび後方基準車両ｍＣとのＴＴＣがそれぞれ閾値よりも大きいことである。なお、この判定条件は、自車両Ｍの側方に車線変更ターゲット位置ＴＡｓを設定した場合の一例である。一次条件を満たさない場合、行動計画生成部３２３は、車線変更ターゲット位置ＴＡｓを再設定する。この際に、一次条件を満たすような車線変更ターゲット位置ＴＡｓが設定できるタイミングまで待機したり、或いは車線変更ターゲット位置ＴＡｓを変更したり、車線変更ターゲット位置ＴＡｓの側方に移動するための速度制御が行われたりしてもよい。

図４に示すように、行動計画生成部３２３は、例えば、自車両Ｍを車線変更先の車線Ｌ２に射影し、前後に若干の余裕距離を持たせた禁止領域ＲＡを設定する。禁止領域ＲＡは、車線Ｌ２の横方向の一端から他端まで延在する領域として設定される。

禁止領域ＲＡ内に他車両が存在しない場合、行動計画生成部３２３は、例えば、自車両Ｍの前端および後端を車線変更先の車線Ｌ２側に仮想的に延出させた延出線ＦＭおよび延出線ＲＭを想定する。行動計画生成部３２３は、延出線ＦＭと前方基準車両ｍＢの衝突余裕時間ＴＴＣ（Ｂ）、および延出線ＲＭと後方基準車両ｍＣの衝突余裕時間ＴＴＣ（Ｃ）を算出する。衝突余裕時間ＴＴＣ（Ｂ）は、延出線ＦＭと前方基準車両ｍＢとの距離を、自車両Ｍおよび前方基準車両ｍＢの相対速度で除算することで導出される時間である。衝突余裕時間ＴＴＣ（Ｃ）は、延出線ＲＭと後方基準車両ｍＣとの距離を、自車両Ｍおよび後方基準車両ｍＣの相対速度で除算することで導出される時間である。軌道生成部１１８は、衝突余裕時間ＴＴＣ（Ｂ）が閾値Ｔｈ（Ｂ）よりも大きく、且つ衝突余裕時間ＴＴＣ（Ｃ）が閾値Ｔｈ（Ｃ）よりも大きい場合に、一次条件を満たすと判定する。閾値Ｔｈ（Ｂ）とＴｈ（Ｃ）は同じ値であってもよいし、異なる値であってもよい。

一次条件を満たす場合、行動計画生成部３２３は、車線変更のための軌道の候補を生成する。図５の例では、行動計画生成部３２３は、前走車両ｍＡ、前方基準車両ｍＢおよび後方基準車両ｍＣが所定の速度モデルで走行するものと仮定し、これら３台の車両の速度モデルと自車両Ｍの速度とに基づいて、自車両Ｍが前走車両ｍＡと干渉せずに、将来のある時刻において前方基準車両ｍＢと後方基準車両ｍＣとの間に位置するように軌道の候補を生成する。例えば、行動計画生成部３２３は、現在の自車両Ｍの位置から、将来のある時刻における前方基準車両ｍＢの位置や、車線変更先の車線の中央、且つ車線変更の終了地点までをスプライン曲線等の多項式曲線を用いて滑らかに繋ぎ、この曲線上に等間隔あるいは不等間隔で軌道点Ｋを所定個数配置する。この際、行動計画生成部３２３は、軌道点Ｋの少なくとも１つが車線変更ターゲット位置ＴＡｓ内に配置されるように軌道を生成する。

各種場面において、行動計画生成部３２３は、複数の目標軌道の候補を生成し、その時点で目的地までの経路に適合する最適な目標軌道を選択する。

第２制御部３４０は、例えば、走行制御部３４２を備える。走行制御部３４２は、行動計画生成部３２３によって生成された目標軌道を、予定の時刻通りに自車両Ｍが通過するように、走行駆動力出力装置５００、ブレーキ装置５１０、およびステアリング装置５２０を制御する。

ＨＭＩ４００は、車内の乗員に対して各種情報を提示するとともに、乗員による入力操作を受け付ける。ＨＭＩ４００は、例えば、各種表示装置、発光部、スピーカ、ブザー、タッチパネル、各種操作スイッチ、キー等のうち一部または全部を含む。また、ＨＭＩ４００には、乗員をシートに着座させた状態でシートベルトによって保持するシートベルト装置の一部が含まれてよい。ＨＭＩ４００の機能の詳細については後述する。

走行駆動力出力装置５００は、車両が走行するための走行駆動力（トルク）を駆動輪に出力する。走行駆動力出力装置５００は、例えば、内燃機関、電動機、および変速機等の組み合わせと、これらを制御するＥＣＵ（Electronic Control Unit）とを備える。ＥＣＵは、走行制御部３４２から入力される情報、或いは運転操作子８０から入力される情報に従って、上記の構成を制御する。

ブレーキ装置５１０は、例えば、ブレーキキャリパーと、ブレーキキャリパーに油圧を伝達するシリンダと、シリンダに油圧を発生させる電動モータと、ブレーキＥＣＵとを備える。ブレーキＥＣＵは、走行制御部３４２から入力される情報、或いは運転操作子８０から入力される情報に従って電動モータを制御し、制動操作に応じたブレーキトルクが各車輪に出力されるようにする。ブレーキ装置５１０は、運転操作子８０に含まれるブレーキペダルの操作によって発生させた油圧を、マスターシリンダを介してシリンダに伝達する機構をバックアップとして備えてよい。なお、ブレーキ装置５１０は、上記説明した構成に限らず、走行制御部３４２から入力される情報、或いは運転操作子８０から入力される情報に従ってアクチュエータを制御して、マスターシリンダの油圧をシリンダに伝達する電子制御式油圧ブレーキ装置であってもよい。また、ブレーキ装置５１０は、油圧や電動等の複数系統のブレーキ装置を備えていてもよい。

ステアリング装置５２０は、例えば、ステアリングＥＣＵと、電動モータとを備える。電動モータは、例えば、ラックアンドピニオン機構に力を作用させて転舵輪の向きを変更する。ステアリングＥＣＵは、走行制御部３４２から入力される情報、或いは運転操作子８０から入力される情報に従って、電動モータを駆動し、転舵輪の向きを変更させる。

なお、手動運転時には、運転操作子８０からの入力情報が、直接的に走行駆動力出力装置５００、ブレーキ装置５１０、およびステアリング装置５２０に出力される。また、運転操作子８０からの入力情報は、自動運転制御ユニット３００を介して走行駆動力出力装置５００、ブレーキ装置５１０、およびステアリング装置５２０に出力されてもよい。走行駆動力出力装置５００、ブレーキ装置５１０、およびステアリング装置５２０の各ＥＣＵは、運転操作子８０等からの入力情報に基づいて、それぞれの動作を行う。

［ＨＭＩ４００の構成］
以下、実施形態のＨＭＩ４００の構成例について説明する。図６は、自車両ＭにおけるＨＭＩ４００の一例を示す図である。ＨＭＩ４００は、例えば、第１の操作部４１０と、第２の操作部４２０と、発光部４３０Ｒ、４３０Ｌと、第３の操作部４４０と、第１の表示部４５０と、第２の表示部４６０と、ＨＵＤ（Head Up Display）４７０とを備える。

第１の操作部４１０、第２の操作部４２０、および発光部４３０Ｒ、４３０Ｌは、運転操作子８０の一つであるステアリングホイール８２に設けられている。また、ステアリングホイール８２には、把持センサ８２Ａが設けられている。把持センサ８２Ａは、例えば、ステアリングホイール８２の周方向に沿うように設けられた静電容量センサである。把持センサ８２Ａは、検出対象の領域に物体が接近または接触したことを、静電容量の変化として検出する。把持センサ８２Ａは、静電容量の変化の度合が閾値以上である場合、所定の検出信号をマスター制御部１００の操作子状態判定部１３０に出力する。この閾値は、例えば、乗員がステアリングホイール８２を把持している場合に生じる静電容量よりも低い値に設定されている。また、把持センサ８２Ａは、閾値以上であるか否かに関わらずに、静電容量を示す検出信号を操作子状態判定部１３０に出力してもよい。

第１の操作部４１０は、例えば、メインスイッチ４１２と、オートスイッチ４１４とを備える。メインスイッチ４１２は、運転支援を開始可能な状態にするためのスイッチである。換言すれば後述する、運転支援を実行する前の準備段階における処理（内部処理）を開始するためのスイッチ、或いは運転支援を開始可能な状態か否かを判定することを可能にするためのスイッチである。

メインスイッチ４１２が操作された場合、自車両Ｍは、運転支援の実行をすぐに開始するのではなく、運転支援を実行する前の準備段階における処理を行う。準備段階における処理とは、例えば、物体認識の処理の開始（具体的にはカルマンフィルタの動作開始等）である。メインスイッチ４１２が操作されて運転支援が開始可能な状態となっている状態で（すなわち操作されてから、ある程度の時間が経過した後）オートスイッチ４１４が操作されると、運転支援のための制御が開始される。すなわち、オートスイッチ４１４は、運転支援が開始可能な状態において、実際に第１の度合の運転支援を開始させるためのスイッチである。

第２の操作部４２０は、画像付電話機能（テレビ電話機能）の提供を開始させるための操作スイッチ４２２を備える。発光部４３０Ｒ、４３０Ｌは、例えば、ステアリングホイール８２の中央のボス部から環状のリム部に向かって延びるスポーク部に配置される。発光部４３０Ｒは、ＨＭＩ制御部１２０の制御により点灯状態が制御される。

第３の操作部４４０は、例えば、乗員から見て手前側に突出する回動操作部４４２と、スイッチ操作部４４４とを備える。回動操作部４４２は、略円筒状に形成され、軸線回りに回転操作可能である。スイッチ操作部４４４は、回動操作部４４２の周辺や、回動操作部４４２の天面に設けられる。第３の操作部４４０は、回動操作部４４２の回転角度と回転速度を検出するエンコーダ等の図示しない回転センサと、スイッチ操作部４４４の変位を検出する図示しない変位センサとを備え、それぞれのセンサから出力される検出値をマスター制御部１００に出力する。マスター制御部１００に出力される検出値は、後述する第２の表示部４６０の画面に出力される矢印や選択ボタン、確定ボタン等の操作や、入力文字の選択や確定等に用いられる。

また、第３の操作部４４０は、表示画面を指先でタッチすることによって選択や確定操作等を行う、いわゆるタッチパネル式の操作部でもよい。また、第３の操作部４４０には、所定の色で発光可能な発光部４４６が設けられている。

第１の表示部４５０は、例えば、インストルメントパネルにおける運転席の正面付近に設けられ、乗員がステアリングホイール８２の間隙から、或いはステアリングホイール８２越しに視認可能な表示装置である。第１の表示部４５０は、例えば、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro Luminescence）表示装置等である。第１の表示部４５０には、自車両Ｍの手動運転時または自動運転時の走行に必要な情報、あるいは乗員への指示に関する情報が表示される。手動運転時の自車両Ｍの走行に必要な情報とは、例えば、自車両Ｍの速度、エンジン回転数、燃料残量、ラジエータ水温、走行距離、その他の情報である。一方、自動運転時における自車両Ｍの走行に必要な情報とは、例えば、自車両Ｍの将来の軌道、運転支援の度合、乗員に対する指示等の情報である。

第２の表示部４６０は、例えば、インストルメントパネルの中央部に取り付けられる。第２の表示部４６０は、例えば、ＬＣＤや有機ＥＬ表示装置等である。第２の表示部４６０は、例えば、ナビゲーション装置５０により実行されるナビゲーション処理に対応する画像、またはテレビ電話における相手の映像等を表示する。また、第２の表示部４６０は、テレビ番組を表示したり、ＤＶＤを再生したり、ダウンロードされた映画等のコンテンツを表示してもよい。

また、第２の表示部４６０には、発光部４６２が設けられる。発光部４６２は、第２表示部４６０の上側であって、バイザー部４６３に設けられている。また、発光部４６２の発光は、バイザー部４６３に遮られずに、乗員により視認可能である。この形態を採用することで、バイザー部４６３が、発光部４６２に差し込む日光等の外光を遮蔽するため、乗員による発光の視認性を向上させることができる。

発光部４６２は、第２の表示部４６０が使用可能である場合に発光するようにＨＭＩ制御部１２０によって制御される。使用可能とは、例えば、第２の操作部４２０が操作されることでテレビ電話機能に関する画面が第２の表示部４６０に表示されたり、第３の操作部４４０の操作によって、映画やテレビ番組に関する画像が第２の表示部４６０に表示されたりすることで、乗員が利用することができる状態である。

ＨＵＤ４７０は、例えば、運転席前方のフロントウインドシールドの一部に画像を投影することで、運転席に着座した乗員の眼に虚像を視認させる。ＨＵＤ４７０により投影される画像の表示領域は、第１の表示部４５０における画像の表示領域に比して小さい。これは、ＨＵＤ４７０により投影された画像によって、その先にある現実の物体を乗員が見逃すことを抑制するためである。

（第１の実施形態）
［自動運転に関連するＨＭＩ４００の表示制御］
次に、自動運転に関連するＨＭＩ４００の表示制御について説明する。なお、以下に示す表示画面におけるレイアウトについては、あくまで一例であり、任意に変更可能である。レイアウトとは、配置、色彩、縮尺、その他をいう。

図７は、自車両Ｍが手動運転から自動運転が開始され、自動運転による車線変更が実行されるまでの各種場面を示す図である。図７の例において、場面（１）は、自車両Ｍが手動運転により一般道路から高速道路に進入する場面である。場面（２）は、自車両Ｍが手動運転から自動運転に切り替わる場面である。場面（３）は、自車両Ｍが自動運転により車線変更を実行する場面である。以下場面（１）〜（３）のそれぞれの場面に対応する表示制御について説明する。

＜場面（１）＞
場面（１）は、例えば、高速道路に進入する前の場面である。この場面では、第１の操作部４１０のメインスイッチ４１２およびオートスイッチ４１４が操作されていないため、運転支援が実行されず、手動運転が行われる。手動運転が行われる場合、ＨＭＩ制御部１２０は、運転席の乗員が運転操作子８０を用いて自車両Ｍを手動運転するために必要な情報を第１の表示部４５０に表示させる。また、ＨＭＩ制御部１２０は、第１の表示部４５０に表示される情報のうち一部の情報をＨＵＤ４７０に表示させる。この場合の画面を図８に示す。

図８は、手動運転時に表示される第１画面ＩＭ１−１および第２画面ＩＭ２−１の一例を示す図である。第１画面ＩＭ１−１は、第１の表示部４５０により表示される画面であり、第２画面ＩＭ２−１は、ＨＵＤ４７０により投影されることで乗員の眼に映る画面である。ＨＭＩ制御部１２０は、第１画面ＩＭ１−１に、手動運転時の自車両Ｍの走行に必要な情報として、例えば、自車両Ｍのバッテリ残量、回転速度、シフトポジション、室内気温、走行距離、走行速度、燃料残量等の情報を表示させる。また、ＨＭＩ制御部１２０は、第２画面ＩＭ２−１に、第１画面ＩＭ１−１に表示された画像のうち、速度の情報を、第１画面ＩＭ１−１よりも小さく表示させる。前述したように、ＨＵＤ４７０により投影されることで乗員の眼に映る画像の認識領域は、第１の表示部４５０による画像の表示領域に比して小さい。このため、ＨＭＩ制御部１２０は、第１の表示部４５０に、自車両Ｍの運転支援に関する比較的詳細な第１の情報（詳細情報）を表示させ、ＨＵＤ４７０には、詳細情報よりも簡易な情報であって、運転支援に関する第２の情報（簡易情報）を表示させる。簡易情報とは、例えば、詳細情報に対して情報量が少ない情報である。また、簡易情報とは、表示する項目の種類や数が、詳細情報として表示する項目の種類や数に比して少ない情報であってもよい。また、簡易情報とは、詳細情報として表示する画像に対し、解像度を低下させたり、単純化あるいはデフォルメさせた画像であってもよい。また、第２の情報は、第１の情報のうち、重要度の高い情報や緊急性の高い情報であってもよい。

＜場面（２）＞
場面（２）では、自車両Ｍが高速道路に進入している。ＨＭＩ制御部１２０は、乗員によりメインスイッチ４１２が操作されたことを受け付けると、第１の表示部４５０およびＨＵＤ４７０に表示させる画面を変更する。変更後の画面を、図９に示す。

図９は、メインスイッチ４１２が操作されたことで表示される第３画面ＩＭ３−１および第４画面ＩＭ４−１の一例を示す図である。第３画面ＩＭ３−１は、第１の表示部４５０により表示される画面であり、第４画面ＩＭ４−１は、ＨＵＤ４７０により投影されることで乗員の眼に映る画面である。以下の図面に示す第３画面ＩＭ３−Ｘ（Ｘは任意の自然数）および第４画面ＩＭ４−Ｘについても同様とする。第３画面ＩＭ３−Ｘおよび第４画面ＩＭ４−Ｘは、運転支援が実行可能な状態および運転支援が実行中の状態において継続的に表示される。

第３画面ＩＭ３−１には、運転支援に関する情報を表示する領域として、周辺検知情報表示領域６００−１、運転支援状態表示領域６２０−１、および運転支援開始操作ガイド領域６４０−１が含まれている。以下、第３画面ＩＭ３−Ｘにおけるそれぞれの領域を周辺検知情報表示領域６００−Ｘ、運転支援状態表示領域６２０−Ｘ、および運転支援開始操作ガイド領域６４０−Ｘと称する。

ＨＭＩ制御部１２０は、周辺検知情報表示領域６００−１に、第２地図情報６２から取得した自車両Ｍの前方の道路形状を示す画像と、自車位置認識部３２２により認識された自車両Ｍを示す画像と、外界認識部３２１により認識された他車両ｍを示す画像とを表示させる。

また、ＨＭＩ制御部１２０は、運転支援状態表示領域６２０−１に、自車両Ｍが実行可能な運転支援（自動運転を含む）の状態の候補を示す情報を全て表示させる。図９の例では、運転支援の状態の候補を示す情報として、「Ａｓｓｉｓｔ」、「Ｈａｎｄｓ Ｏｆｆ」、「Ｅｙｅｓ Ｏｆｆ」の３つのインジケータを示す画像６２１が示されている。例えば、それぞれのインジケータ単体で、または複数のインジケータの組み合わせによって、運転支援の度合が表される。

インジケータ「Ａｓｓｉｓｔ」は、自車両Ｍが、ＡＣＣやＬＫＡＳ等の第１の度合で運転支援を実行している、或いは、第１の度合での運転支援に遷移可能な状態であることを示す。第１の度合で運転支援を実行しているか、或いは、第１の度合での運転支援に遷移可能な状態であるかについては、後述する要求動作通知画像６２２によって把握することができる。

インジケータ「Ｈａｎｄｓ Ｏｆｆ」は、自車両Ｍが、乗員が運転操作子８０に対する操作を行わなくてよいが、乗員に周辺監視義務が課される第２の度合で運転支援を実行している状態、或いは、第２の度合での運転支援に遷移可能な状態であることを示す。第２の度合で運転支援を実行しているか、或いは、第２の度合での運転支援に遷移可能な状態であるかについては、要求動作通知画像６２２によって把握することができる。

インジケータ「Ｅｙｅｓ Ｏｆｆ」は、自車両Ｍが、乗員が運転操作子８０に対する操作を行わなくてよく、且つ乗員に周辺監視義務も課されない第３の度合で運転支援を実行している状態、或いは、第３の度合での運転支援に遷移可能な状態であることを示す。第３の度合で運転支援を実行しているか、或いは、第３の度合での運転支援に遷移可能な状態であるかについては、要求動作通知画像６２２によって把握することができる。なお、図９の例では、自車両Ｍの運転支援が実行されていない状態（手動運転状態）を示している。

また、ＨＭＩ制御部１２０は、運転支援状態表示領域６２０−１に、「Ａｓｓｉｓｔ」、「Ｈａｎｄｓ Ｏｆｆ」、「Ｅｙｅｓ Ｏｆｆ」の３つのインジケータを示す画像６２１に対応する表示位置で、要求動作通知画像６２２を表示させる。「対応する」とは、横並び、縦並び、対応付けを示すガイドラインがある等、人によって対応関係が認識可能な様をいう。要求動作通知画像６２２は、例えば、乗員が運転操作子８０に対して行う所定の動作を示す画像である。要求動作通知画像６２２は、例えば、運転操作子８０を示す画像と、乗員の所定の部位を示す画像とを含む。要求動作通知画像６２２は、例えば、ステアリングホイール８２と乗員の手との位置関係を模式的に示す画像である。

ＨＭＩ制御部１２０は、運転支援開始操作ガイド領域６４０−１に、運転支援を開始させるための乗員の操作について案内する情報を表示させる。図９の例では、運転支援開始操作ガイド領域６４０−１において、乗員がオートスイッチ４１４を操作することで運転支援が開始されることが案内される。

ＨＭＩ制御部１２０は、第３画面ＩＭ３−１に表示された詳細情報に対して、ＨＵＤ４７０の第４画面ＩＭ４−１に、詳細情報の一部を抜粋した簡易情報を表示させる。ＨＵＤ４７０の第４画面ＩＭ４−１には、第１の表示部４５０の表示画面ＩＭ３−１に表示される運転支援に関する情報のうち、自車両Ｍの前方の道路形状に関する情報および自車両Ｍの速度を示す情報が表示される。

図９に示す状態において、乗員によりオートスイッチ４１４が操作されたことを検知すると、マスター制御部１００は、運転支援制御部２００に第１の度合の運転支援を実行させる。また、ＨＭＩ制御部１２０は、第１の表示部４５０およびＨＵＤ４７０に表示させる画面を、例えば図１０に示す画面に変更する。

図１０は、オートスイッチ４１４が操作された場合に、第１の表示部４５０およびＨＵＤ４７０に表示される画面ＩＭ３−２およびＩＭ４−２の一例を示す図である。ＨＭＩ制御部１２０は、実行されている運転支援の度合を示す画像を、他の運転支援の度合を示す画像と識別可能に表示させる。例えば、ＨＭＩ制御部１２０は、第３画面ＩＭ３−２の運転支援状態表示領域６２０−２に、インジゲータ「Ａｓｓｉｓｔ」の画像がハイライト表示させる。これにより、乗員は、第１の度合の運転支援が行われていることを把握することができる。

ここで、ＨＭＩ制御部１２０は、要求動作通知画像６２２として、「Ｈａｎｄｓ Ｏｆｆ」に対応する運転支援の度合（自動運転）に移行するために必要な動作を乗員に要求する動画像を要求動作通知画像６２２として表示させる。動画像とは、例えば、所定の物体が時間経過に伴って動的に移動する動的オブジェクトを含む画像である。また、動画像には、アニメーションが含まれてよい。

ＨＵＤ４７０の第４画面ＩＭ４−２には、第４画面ＩＭ４−１と同様の情報が表示されている。

また、切替制御部１１０は、オートスイッチ４１４が操作された状態において、第２の度合の運転支援に移行するための諸条件を満たし、且つ、乗員によってステアリングホイール８２が把持さされていない状態であると操作子状態判定部１３０により判定された場合に、自動運転制御ユニット３００に第２の度合の運転支援（すなわち自動運転）を実行させる。

また、ＨＭＩ制御部１２０は、自動運転制御ユニット３００が第２の度合の運転支援を実行する場合に、第１の表示部４５０およびＨＵＤ４７０に表示する画面を、例えば図１１に示す画面に変更する。

図１１は、第２の度合の運転支援中において、第１の表示部４５０およびＨＵＤ４７０に表示される画面の一例を示す図である。ＨＭＩ制御部１２０は、第３画面ＩＭ３−３の運転支援状態表示領域６２０−３に、第２の度合の運転支援に対応した「Ｈａｎｄｓ Ｏｆｆ」の画像をハイライト表示させる。これにより、乗員は、第２の度合の運転支援が行われていることを把握することができる。

また、ＨＭＩ制御部１２０は、周辺検知情報表示領域６００−３に、例えば、第２地図情報６２から取得した自車両Ｍの前方の道路形状を示す画像と、自車位置認識部３２２により認識された自車両Ｍを示す画像と、外界認識部３２１により取得した他車両ｍを示す画像と、行動計画生成部３２３により生成された自車両Ｍの将来の軌道を示す将来軌道画像６０２とを表示させる。また、ＨＭＩ制御部１２０は、周辺検知情報表示領域６００−３に、第２の度合における運転支援（図では自動走行）を開始するが、乗員に周辺の交通状況を継続して監視させる旨の情報を表示させる。

マスター制御部１００の乗員状態監視部１４０は、乗員が周辺の交通状況を継続して監視していることを監視する。例えば、乗員状態監視部１４０は、車室内カメラ９０の撮像画像により運転席に着座する乗員の顔画像を取得し、取得した顔画像から視線方向を取得する。例えば、乗員状態監視部１４０は、ニューラルネットワーク等を利用したディープラーニングによって、車室内カメラ９０の撮像画像から乗員の視線方向を取得してもよい。例えば、不特定多数の顔画像を解析することで得られた目や鼻、口等の特徴情報や眼球の黒目の位置を入力として、視線方向を出力するように学習させたニューラルネットワークを予め構築しておく。そして、乗員状態監視部１４０は、このニューラルネットワークに自車両Ｍの乗員の顔画像を入力することで、その乗員の視線方向を取得する。

また、乗員状態監視部１４０は、乗員の視線方向が予め決められた周辺を監視可能な方向の範囲に含まれるか否かにより、乗員が自車両Ｍの周辺監視を行っているか否かを判定する。乗員状態監視部１４０は、乗員の視線方向が予め決められた周辺を監視可能な方向の範囲に含まれていない場合、または乗員の視線方向が取得できなかった場合に、周辺監視を行っていないと判定する。周辺監視を行っていないと判定された場合、ＨＭＩ制御部１２０は、乗員を周辺監視させるために、音声等による警告を行ってもよい。

また、乗員状態監視部１４０は、乗員の視線方向が予め決められた周辺を監視可能な方向の範囲に含まれている場合に、乗員が周辺監視を行っていると判定する。この場合、自動運転制御ユニット３００は、第２の度合の運転支援を継続する。なお、自車両Ｍの運転支援が開始中である場合、運転支援開始操作ガイド領域６４０−３には、何も表示されない。

ＨＭＩ制御部１２０は、ＨＵＤ４７０の第４画面ＩＭ４−３に、第４画面ＩＭ４−２と同様の情報に加えて、自車両Ｍの将来の軌道を示す将来軌道画像６０２を表示させる。

＜場面（３）＞
場面（３）では、自動運転制御ユニット３００は、第２の度合の運転支援による自車両Ｍの車線変更を行う。この場合、ＨＭＩ制御部１２０は、第１の表示部４５０またはＨＵＤ４７０の一方または双方に、運転支援に対応する画面を表示させる。

図１２は、自車両Ｍの挙動が変化する前の第１のタイミングにおいて表示される第３画面ＩＭ３−４および第４画面ＩＭ４−４の一例を示す図である。ＨＭＩ制御部１２０は、第３画面ＩＭ３−４の周辺検知情報表示領域６００−４に、周辺検知情報表示領域６００−３で表示された内容に加えて、例えば、自車両Ｍが車線変更する方向を示す旨を示す画像６０６を表示させる。図１２の例では、自車両Ｍが走行車線に隣接する右車線に車線変更する画像６０６が表示される。

次に、場面（４）〜（６）について説明する。図１３は、自車両Ｍに対して第３の度合での運転支援を実行し、その後、第３の度合から第２の度合での運転支援を実行するまでの各種場面を示す図である。図１３の例において、場面（４）は、自車両Ｍが渋滞中の他車両ｍに追従することで、自車両Ｍの運転支援が第２の度合から第３の度合に切り替わる場面である。場面（５）は、自車両Ｍが第３の度合の運転支援により低速追従走行を実行している場面である。低速追従走行（ＴＪＰ；Traffic Jam Pilot）とは、所定速度以下で前走車両に追従する制御態様である。所定速度とは、（例えば、６０［ｋｍ／ｈ］以下で）である。低速追従走行は、自車両のＭの速度が所定速度以下であり、且つ前走車両との車間距離が所定距離（確認）以内であるときに発動する。低速追従走行では、混雑した道路で追従対象車両（例えば前走車両）に追従するという、比較的容易な制御を継続することで、信頼性の高い自動運転を実現することができる。なお、低速追従走行は、所定速度以下、または前走車両に追従していることを発動条件としてもよい。場面（６）は、自車両Ｍの運転支援が第３の度合から第２の度合に切り替わる場面である。以下場面（４）〜（６）のそれぞれの場面に対応する表示制御について説明する。

＜場面（４）＞
場面（４）では、自動運転制御ユニット３００は、まだ低速追従走行に至らず、自車両Ｍの加速制御を行っている。この場合、ＨＭＩ制御部１２０は、第１の表示部４５０またはＨＵＤ４７０の一方または双方に、運転支援に対応する画面を表示する。
＜場面（５）＞
場面（５）では、低速追従走行を実行する。この場合、ＨＭＩ制御部１２０は、第１の表示部４５０およびＨＵＤ４７０に、低速追従走行に対応する画面を表示する。

図１４は、低速追従走行時に表示される第３画面ＩＭ３−５および第４画面ＩＭ４−５の一例を示す図である。ＨＭＩ制御部１２０は、周辺検知情報表示領域６００−５に、第３の度合の運転支援が実行されていることを示す周辺検知画像６１０Ａを表示させる。

周辺検知画像６１０Ａは、例えば、カメラ１０、レーダ装置１２、ファインダ１４、物体認識装置１６、および外界認識部３２１により、自車両Ｍの周囲の監視が行われていることを示す画像である。周辺検知画像６１０Ａは、例えば、自車両Ｍの中心から外側に向かって波紋が広がっていくようなアニメーションである。

また、ＨＭＩ制御部１２０は、第３画面ＩＭ３−５の運転支援状態表示領域６２０−５に、自車両Ｍが、乗員の周辺監視義務を課していないことを示すインジケータ「Ｅｙｅｓ Ｏｆｆ」と、運転操作子８０の操作を必要としないことを示すインジケータ「Ｈａｎｄｓ ＯＦＦ」の画像をハイライト表示させる。また、ＨＭＩ制御部１２０は、運転支援状態表示領域６２０−５に、カメラ１０、レーダ装置１２、ファインダ１４、物体認識装置１６、および外界認識部３２１により、自車両Ｍの周囲の監視が行われていることを示す画像６２６を表示させる。

また、ＨＭＩ制御部１２０は、ＨＵＤ４７０の第４画面ＩＭ４−５に、第４画面ＩＭ４−４と同様の情報に加えて、第３の度合の運転支援が実行されていることを示す周辺検知画像６１０Ｂを表示させる。周辺検知画像６１０Ｂは、例えば、自車両Ｍの中心から外側に向かって波紋が広がっていくようなアニメーションである。

また、乗員に周辺監視義務が課されていない状態において、ＨＭＩ制御部１２０は、第２の表示部４６０が使用可能となった場合に、第２の表示部４６０に設けられた発光部４６２を所定の色で発光するように制御する。乗員に周辺監視義務が課されていない状態において、利用可能となる機能は、例えば、テレビ電話や、エンターテイメント性を有するコンテンツ（映画、テレビ、ＤＶＤに記憶されたコンテンツ）が第２の表示部４６０に表示される機能である。テレビ電話が利用される場合、第２の表示部４６０に、通話相手の画像が表示される。

例えば、ＨＭＩ制御部１２０は、第２の表示部４６０が使用可能な状態で第３の操作部４４０が操作された場合に、操作内容に対応する画面を第２の表示部４６０に表示させる。また、ＨＭＩ制御部１２０は、第２の表示部４６０が使用可能な状態で、第２の操作部４２０の操作スイッチ４２２が操作された場合に、第２の表示部４６０に通話する相手の画像を表示させる。これにより、乗員は、第２の表示部４６０に表示される相手を見ながら通話を楽しむことができる。すなわち、乗員は、テレビ電話を利用することができる。

＜場面（６）＞
場面（６）では、自動運転制御ユニット３００は、低速追従する前走車両が存在しないため、自車両Ｍを第３の度合から第２の度合の運転支援に切り替える。この場合、ＨＭＩ制御部１２０は、運転支援の度合の変化に基づいて、図１５に示すように、乗員に要求する乗員の監視対象または操作対象を示唆する情報を、第１の表示部４５０またはＨＵＤ４７０の一方または双方に表示させる。

図１５は、乗員に周辺監視を要求するために表示される第３画面ＩＭ３−６および第４画面ＩＭ４−６の一例を示す図である。ＨＭＩ制御部１２０は、周辺検知情報表示領域６００−６に、低速追従走行（図では「渋滞追従自動運転」）が終了する旨の情報と、乗員に周辺の交通状況を確認させる旨を示す情報とを表示させる。

また、ＨＭＩ制御部１２０は、第４画面ＩＭ４−６に、乗員に自車両Ｍの前方を注視させることを要求する前方注視要求画像６５０を表示させる。前方注視要求画像６５０は、自車両Ｍの前方の所定の領域を示す楕円状の領域を含む画像である。また、前方注視要求画像６５０は、円状や矩形状等の所定の形状でもよく、乗員に注意を促すマークや記号文字等の情報でもよい。また、ＨＭＩ制御部１２０は、前方注視要求画像６５０を所定の色で点灯または点滅させる。

乗員状態監視部１４０は、車室内カメラ９０の撮像画像により、乗員が周辺監視を行っているか否かを判定する。乗員が周辺監視を行っていると判定された場合、切替制御部１１０は、自動運転制御ユニット３００に、自車両Ｍの運転支援を第３の度合から第２の度合に切り替えさせる。ＨＭＩ制御部１２０は、第１の表示部４５０またはＨＵＤ４７０の一方または双方に、第２の度合による運転支援に対応する画面を表示させる。

＜運転支援に関連する各種機器または制御の切り替えタイミング＞
ここで、自車両Ｍの運転支援に関連する各種機器または制御の切り替えタイミングについて図を用いて説明する。図１６は、運転支援に関連する各種機器または制御の切り替えタイミングについて説明するための図である。

図１６では、運転支援に関連する切り替えとして、（Ａ）メインスイッチ４１２のオン／オフ、（Ｂ）オートスイッチ４１４のオン／オフ、（Ｃ）手動運転モード表示のオン／オフ、（Ｄ）運転支援モード表示のオン／オフ、（Ｅ）第１の度合の運転支援のオン／オフ、（Ｆ）ステアリングホイール８２を把持している／把持していない、（Ｇ）第２の度合の運転支援のオン／オフ、（Ｈ）第３の度合の運転支援のオン／オフ、（Ｉ）乗員の運転監視の要／不要の時刻の経過に対する切り替えタイミングを示している。

時刻Ｔ０では、乗員の手動運転により自車両Ｍが走行している。この場合、メインスイッチ４１２およびオートスイッチ４１４は操作おらず、第１の表示部４５０およびＨＵＤ４７０には、手動運転モードでの画面（第１画面ＩＭ１、第２画面ＩＭ２）が表示される。また、時刻Ｔ０では、自車両Ｍに対する運転支援（第１の度合〜第３の度合）は、実施されておらず、乗員は、ステアリングホイール８２を把持するとともに、周辺監視を行う必要がある。

時刻Ｔ１では、乗員によりメインスイッチ４１２をオンにする操作が実行されている。この場合、第１の表示部４５０およびＨＵＤ４７０には、運転支援モードでの画面（第３画面ＩＭ３、第４画面ＩＭ４）が表示される。時刻Ｔ１〜Ｔ２までの状態では、運転支援による走行制御は行われておらず、手動運転が継続されている。

時刻Ｔ２では、乗員によりオートスイッチ４１４をオンにする操作が実行されている。
この場合、マスター制御部１００は、運転支援制御部２００に第１の度合の運転支援を実行させる。ＨＭＩ制御部１２０は、運転支援モード表示において、乗員がステアリングホイール８２から手を離すことで、第２の度合の運転支援が実行されることを示す画像を表示する。

時刻Ｔ３では、自車両Ｍが第２の度合の運転支援が可能な状態で、乗員がステアリングホイール８２から手を離している。この場合、切替制御部１１０は、運転支援制御部２００による第１の度合の運転支援から自動運転制御ユニット３００による第２の度合の運転支援を実行させる。

時刻Ｔ４では、例えば、自車両Ｍが低速追従走行を行うことで、第３の度合の運転支援が実行される。この場合、乗員の周辺監視は、不要となる。

時刻Ｔ５では、第３の度合の運転支援が終了し、第２の度合の運転支援に切り替わる。したがって、乗員の周辺監視が必要になる。また、時刻Ｔ５では、第２の度合の運転支援から手動運転に切り替えるための表示を行う。この場合、ＨＭＩ制御部１２０は、運転支援モード表示において、乗員にステアリングホイール８２を把持させるための情報を表示する。

時刻Ｔ６では、乗員がステアリングホイール８２を把持する。この場合、切替制御部１１０は、自動運転制御ユニット３００による第２の度合の運転支援から運転支援制御部２００による第１の度合の運転支援に切り替える。また、切替制御部１１０は、第１の度合の運転支援が所定時間経過された後、手動運転に切り替える。

時刻Ｔ７では、自車両Ｍが手動運転に切り替わっている。この場合、メインスイッチ４１２およびオートスイッチ４１４は、自車両Ｍが手動運転に切り替わるタイミングに対応してオフに切り替わる。

以上説明した第１の実施形態によれば、ＨＭＩ制御部１２０は、車両の状態に応じた画像を表示部に表示させることができるため、利用者の利便性が向上する。

（第２の実施形態）
以下、第２の実施形態について説明する。第２の実施形態では、ＨＭＩ制御部１２０が、外界認識部３２１により認識された周辺に存在する他車両の少なくとも一部を示す情報を第１の表示部４５０に表示させるだけでなく、他車両のうち自車両Ｍに影響を及ぼす特定車両を、特定車両でない他車両と区別可能な態様で第１の表示部４５０に表示させる。以下、この処理について説明する。

第１の表示部４５０に表示される他車両は、例えば、外界認識部３２１により認識された車両の全であってもよいし、一部の車両であってもよい。また、第１の表示部４５０に表示される他車両は、外界認識部３２１により認識された車両のうち、自車両Ｍの（基準位置から）前方に所定距離以内に存在する他車両、または自車両Ｍの（基準位置から）後方に所定距離以内に存在する他車両の少なくとも一方であってもよい。

以下、ある場面を例にとって、他車両のうち自車両Ｍに影響を及ぼす特定車両を、特定車両でない他車両と区別可能な態様で第１の表示部４５０に表示させる処理について説明する。例えば、ＨＭＩ制御部１２０は、特定車両を特定車両でない他車両に比して強調させて第１の表示部４５０に表示させる。

図１７は、自車両Ｍに影響を及ぼす特定車両を強調させて第１の表示部４５０に表示させる処理について説明するための図である。この場面において、車線Ｌ１を自車両Ｍが走行している。また、車線Ｌ１において、自車両Ｍの前方に他車両ｍ１が走行し、車線Ｌ１に隣接する左側の車線Ｌ２において、進行方向に関して自車両Ｍと他車両ｍ１との間に他車両ｍ２が走行している。更に、車両Ｌ１に隣接する右側の車線Ｌ３において、自車両Ｍの前方に他車両ｍ３が走行し、車線Ｌ３において、自車両Ｍの後方に他車両ｍ４が走行している。また、図示する例では、自車両Ｍは、他車両ｍ１を追従対象車両として低速追従走行している。

ＨＭＩ制御部１２０は、運転支援が実行される前に第１の操作部４１０により所定の操作が受け付けられると、外界認識部３２１により認識された他車両ｍ１〜ｍ４のそれぞれを示す情報を第１の表示部４５０に表示する。所定の操作とは、例えば、メインスイッチ４１２が操作されて自車両Ｍが自動運転の開始が可能な状態となっている状態でオートスイッチ４１４が操作されたことである。

図１８は、第１の表示部４５０の周辺検知情報表示領域６００−７に表示される第３画面ＩＭ３−７の一例を示す図である。第３画面ＩＭ３−７は、例えば、自車両Ｍ、他車両ｍ１〜ｍ４、車線Ｌ１〜Ｌ３および区間線を示すアイコン（ＩＭ、Ｉｍ１〜Ｉｍ４、ＩＬ１〜ＬＩ３、左側の区画線を示すＩｄｌ１および左側の区画線を示すＩｄｌ２）等が表示される。また、第３画面ＩＭ３−７における各アイコンの位置や大きさは、自車両Ｍと、他車両ｍ１〜ｍ４、車線Ｌ１〜Ｌ３、および区間線との実際の相対位置関係に対応している。第３画面ＩＭ３−７では、例えば自車両Ｍを基準位置として、実際の相対位置関係に対応する大きさや位置に各アイコンが表示されている。

また、ＨＭＩ制御部１２０は、他車両ｍ１〜ｍ４のうち自車両Ｍに影響を及ぼす特定車両を特定車両でない他車両に比して強調させて第１の表示部４５０に表示させる。自車両Ｍに影響を及ぼすとは、例えば、運転支援の実行中において自車両Ｍの加減速の決定、または操舵量の決定の少なくとも一方に対して影響を及ぼすことである。したがって、他車両ｍ１〜ｍ４のうち、自車両Ｍに影響を及ぼす特定車両は、車両の追従対象車両である他車両ｍ１となる。

ＨＭＩ制御部１２０は、図示するように、他車両ｍ１に対して特定車両を示すアイコンＩｍ１を特定車両でない他車両ｍ２〜ｍ４を示すアイコンＩｍ２〜Ｉｍ４に比して強調させる。強調とは、特定車両を示すアイコンが、他車両を示すアイコンに比して、画像を視認する利用者にとって認識しやすい態様であればよく、図示するように所定の記号のアイコンを対象のアイコンに対応付けることであってもよいし、対象のアイコンを所定の色彩で表すことであってもよい。また、強調とは、特定車両でないアイコンＩｍ２〜Ｉｍに比して、特定車両を示すアイコンＩｍ１自体が認識しやすい態様に表示されることや、特定車両でないアイコンＩｍ２〜Ｉｍ４が、特定車両を示すアイコンＩｍ１に比して、認識しにくい態様に表示されること等であってもよい。

また、強調とは、特定車両を示すアイコンＩｍ１を形成する画素の輝度値が、特定車両でないアイコンＩｍ２〜Ｉｍ４を形成する画素の輝度値に比して大きいことであってもよい。また、強調とは、特定車両を示すアイコンＩｍ１を形成している画素数が、特定車両でない他車両を示すアイコンＩｍ２〜Ｉｍ４を形成する画素数に比して多いことであってもよい。例えば、特定車両でない他車両を示すアイコンＩｍ２〜Ｉｍ４は、枠線に対応する画素のみで表され、特定車両を示すアイコンＩｍ１は、枠線および枠線内に対応する画素で表される。なお、図示する例では特定車両を示すアイコンＩｍ１に対してアイコンＩｍ１を強調するアイコンＦＢ１（例えば枠線）が対応付けられることにより強調されている。

また、ＨＭＩ制御部１２０は、第３画面ＩＭ３−７において、追従対象車両である特定車両（他車両ｍ１）を示すアイコンに対しては、追従対象であることを示すアイコンＩｔａを対応付ける。

なお、自車両Ｍに影響を及ぼす特定車両は、車線変更する車両や、車線変更する可能性が所定の確率以上の車両であってもよい。

また、ＨＭＩ制御部１２０は、第１の種別の特定車両と第２の種別の特定車両とを区別可能に第１の表示部４５０に表示させる。外界認識部３２１は、認識した特定車両を第１の種別の特定車両と第２の種別の特定車両とに分類する。第１の種別の特定車両は、第２の種別の特定車両に比して、長期的に自車両Ｍに及ぼす影響度合が高い車両である。自車両Ｍに及ぼす影響度合が高い車両とは、運転支援の実行中において自車両Ｍの加減速の決定、または操舵量の決定に対して影響を及ぼす度合が所定の度合以上である車両である。

より具体的には、自車両Ｍの加減速、または操舵量を所定の度合以上変化させる車両である。換言すると、第１の種別の特定車両は、第２の種別の特定車両に比して、自車両Ｍの制御において、加減速、または操舵角の制御量の決定に影響を及ぼす時間が長い、または時間が長くなる可能性がある車両（「長期的に自車両Ｍに及ぼす影響度合が高い車両」の一例）である。

例えば、第１の種別の特定車両は、追従対象車両であり、第２の種別の特定車両は、車線変更する車両や、車線変更する可能性が所定の確率以上の車両であってもよい。車線変更する可能性が所定の確率以上とみなされる車両とは、例えば、自車両Ｍが走行する車線の区画線から所定距離Ｄ以内に、隣接車線に（車両の基準点が）存在する車両である（図１９参照）。また、車線変更する可能性が所定の確率以上とみなされる車両とは、方向指示器が自車両Ｍの走行車線に進入することを示している車両であってもよい。

図１９は、他車両ｍ２が、自車両Ｍの走行車線に進入しようとしている場合に表示される第３画面ＩＭ３−８の一例を示す図である。例えば、図１９に示すように、他車両ｍ２の基準位置が自車両Ｍの走行車線の区画線までの距離が所定距離Ｄ以内になったものとする。これにより、他車両ｍ２は、車線Ｌ１に車線変更すると車両であると判定され、自車両Ｍに影響を及ぼす特定車両であるとみなされる。外界認識部３２１は、特定車両とみなされた他車両のうち、他車両ｍ１を第１の種別の特定車両に分類し、他車両ｍ２を第２の種別の特定車両に分類する。例えば、他車両ｍ２は、車線変更に関する動作を所定時間内に行うものとする。この場合の他車両ｍ２の挙動は、短期的な影響を自車両Ｍに及ぼすが、他車両ｍ１のように長期的に自車両Ｍに影響を及ぼさないため、他車両ｍ２は第２の種別の特定車両に分類される。

図示するように、ＨＭＩ制御部１２０は、第１の種別の特定車両（他車両ｍ１）に対しては、第１の種別を示すアイコン（図中、ＦＢ１）を対応付け、第２の種別の特定車両（他車両ｍ２）に対しては、第２の種別を示すアイコン（図中、ＦＢ２）を対応付ける。これにより、第１の種別の特定車両を示すアイコンと第２の種別の特定車両を示すアイコンとは区別可能に第１の表示部４５０に表示される。

このように、第１の種別の特定車両と、第２の種別の特定車両とが区別可能に第１の表示部４５０に表示されるため、乗員は自車両Ｍの制御に対して影響を及ぼす車両の種別を認識することができる。

以下、図２０を用いて、自車両Ｍが車線変更する場合に第１の表示部４５０に表示される第３画面ＩＭ３−９について説明する。図２０において、他車両ｍ１〜ｍ３の位置は、図１７で示した位置と同様であるが、自車両Ｍおよび他車両ｍ４の位置は、図１７で示した位置と異なる。図２０では、他車両ｍ４が車線Ｌ１において自車両Ｍの後方を走行し、且つ、自車両Ｍが車線Ｌ２を走行している。そして、自車両Ｍが、この状態から車線Ｌ２から車線Ｌ１に車線変更して、その後、他車両ｍ１に追従低速走行しようとしている例を示している。

この場合、外界認識部３２１は、他車両ｍ１を第１の種別の特定車両に分類し、他車両ｍ２およびｍ４を第２の種別の特定車両に分類する。自車両Ｍは、短期間で車線変更して車線Ｌ２に車線変更する。他車両ｍ２および他車両ｍ４の挙動や存在は、自車両Ｍに及ぼす影響度合が高くないため、第２の種別の特定車両に分類される。これに対して、他車両ｍ１は、自車両Ｍの追従対象の車両であるため、他車両ｍ１の挙動や存在は、自車両Ｍに及ぼす影響度合が高いことから、他車両ｍ１は第１の種別の特定車両に分類される。

図示するように、ＨＭＩ制御部１２０は、第１の種別の特定車両（他車両ｍ１）に対しては、第１の種別を示すアイコンＦＢ１を対応付け、第２の種別の特定車両（他車両ｍ２および他車両ｍ４）に対しては、それぞれ第２の種別を示すアイコンＦＢ３およびＦＢ４を対応付ける。これにより、第１の種別の特定車両を示すアイコンＩｍ１と、第２の種別の特定車両を示すアイコンＩｍ２およびＩｍ４とが、区別可能に第１の表示部４５０に表示される。

図２１は、車両システム１により実行される処理の流れを示すフローチャートである。本処理は、運転支援が実行される前に第１の操作部４１０により所定の操作が受け付けられた後において、他車両を示す情報を表示部に表示させる処理が開始された後に開始される処理である。また、本処理は、処理が開始された後、第２の実施形態における運転支援が終了するまでの間、あるいは、第１の操作部４１０により処理を終了するための所定の操作（例えば、運転支援の実行中におけるオートスイッチ４１４の操作）がされるまでの間、繰り返し実行される。

まず、外界認識部３２１は、自車両Ｍに影響を及ぼす他車両が存在するか否かを判定する（ステップＳ１００）。自車両Ｍに影響を及ぼす他車両が存在しない場合、本フローチャートの１ルーチンの処理は終了する。自車両Ｍに影響を及ぼす他車両が存在する場合、外界認識部３２１は、自車両Ｍに影響を及ぼす他車両について、第１の種別の特定車両と第２の種別の特定車両とに分類する（ステップＳ１０２）。

次に、ＨＭＩ制御部１２０は、第１の表示部４５０に表示させている第１の種別の特定車両に対して、第１の種別の特定車両であることを示すアイコンを対応付けて画面に表示する（ステップＳ１０４）。

次に、ＨＭＩ制御部１２０は、自動運転制御ユニット３００または運転支援制御部２００から取得した情報に基づいて、第１の種別の特定車両が追従対象の特定車両であるか否かを判定する（ステップＳ１０６）。追従対象の特定車両である場合、ＨＭＩ制御部１２０は、追従車両の特定車両を示すアイコンに対して、追従対象であることを示すアイコンを対応付けて画面に表示する（ステップＳ１０８）。追従対象の特定車両でない場合、ＨＭＩ制御部１２０は、ステップＳ１０８の処理を実行せずに、ステップＳ１１０の処理に進む。

次に、ＨＭＩ制御部１２０は、第１の表示部４５０に表示させている第２の種別の特定車両に対して、第２の種別の特定車両であることを示すアイコンを対応付けて画面に表示する（ステップＳ１１０）。これにより、本フローチャートの１ルーチンの処理は終了する。

上述したように、ＨＭＩ制御部１２０は、車両の乗員に対して認識している他車両を示し、更に他車両のうち自車両Ｍに影響を及ぼす特定車両を特定車両でない他車両に比して強調するように第１の表示部４５０に表示させることにより、自車両Ｍの制御について影響を及ぼす車両を乗員に示すことができるため、乗員に安心感を与えることができる。

［変形例］
また、ＨＭＩ制御部１２０は、以下に説明するように区画線が補完されている場合、図２２に示すように区画線の補完に影響を及ぼす特定車両（他車両ｍ２）に対応するアイコンＩｍ２に対して、アイコンＩｍ２を強調するアイコンＦＢ５を対応付けてもよい。図２２の自車両Ｍおよび特定車両の配置は、図１７と同様の配置である。また、特定車両である他車両ｍ２は、走行車線Ｌ２を直進しているものとする。

例えば、外界認識部３２１は、自車両Ｍの前方左側の所定範囲の区画線を認識できない場合、区画線が認識できない領域付近を走行する他車両ｍ２に基づいて区画線を補完する。例えば、外界認識部３２１は、他車両ｍ２が走行した軌道を導出し、導出した軌道が所定の範囲に収まっている場合、その他車両ｍ２を区画線の補完の処理に利用する車両とする。外界認識部３２１は、他車両ｍ２が走行した軌道のうち、任意の複数の軌道点の各軌道点と認識した車線Ｌ２の区画線（他車両ｍ２の左側の区画線）との最短距離とを導出する。

そして、外界認識部３２１は、導出した複数の最短距離を統計的に処理した値（例えば平均値や中央値）を区画線から車線Ｌ２の幅方向に関する中心位置であると推定する。そして、外界認識部３２１は、推定した中心位置に基づいて、認識していない区画線を導出して、区画線Ｖｃｍを補完する。区画線Ｖｃｍが補完されると、自車両Ｍは、例えば補完された区画線Ｖｃｍや特定車両に基づいて、自車両Ｍを制御する。

また、外界認識部３２１は、区画線Ｖｃｍを補完する場合、更に区画線が認識されていない領域に隣接し、車両Ｍの進行方向に関する認識された区画線の端部同士を繋ぎ合わせて区画線を推定し、推定した区画線に基づいて、上記の導出した区画線を補正してもよい。補正とは、推定した区画線と、導出した区画線Ｖｃｍとを重ね合わせた場合に、ずれが生じる領域について２つの区画線を互いに近づけ、１つの区画線を生成し、生成した区画線が滑らかになるように補正することである。

また、外界認識部３２１は、区画線Ｖｃｍを補完する場合、他車両が走行した軌道を、車線の半分だけ自車両Ｍが走行する車線側にオフセットさせ、オフセットさせた軌道を区間線として補完してもよい。また、外界認識部３２１は、オフセットさせるにあたり、これまでに認識していた区画線と、他車両が走行した軌道とが重なるように、他車両が走行した軌道をオフセットさせる位置を調整してもよい。

上述したように、ＨＭＩ制御部１２０は、区画線の補完に影響を及ぼす特定車両に対応するアイコンを強調するように表示することにより、車両Ｍの乗員に区画線の補完に利用されている特定車両を示すことができる。この結果、車両の乗員に安心感を与えることができる。

なお、外界認識部３２１は、上述した所定範囲の区画線が認識できない場合（または所定の時間の間、区画線を認識できないと推定される場合）において、認識できない区画線の範囲（長さ）が閾値以上（または区画線を認識できない時間が閾値以上）である場合、その区画線を補完する際に用いる他車両を第１の種別の特定車両として分類し、認識できない区画線の範囲が閾値未満である場合、その区画線を補完する際に用いる他車両を第２の種別の特定車両として分類してもよい。

また、上述した例では、追従車両や、区画線を補完する際に用いる他車両を第１の種別の特定車両として分類したが、これに限らず、自車両Ｍの挙動に長期的に影響を与える対象であれば第１の種別の特定車両としてもよい。

以上説明した第２の実施形態によれば、ＨＭＩ制御部１２０は、運転支援制御部２００または自動運転制御ユニット３００により運転支援が実行される前にＨＭＩ４００により所定の操作が受け付けられた場合、外界認識部３２１により認識された他車両の少なくとも一部を示す情報を表示部に表示すると共に、他車両のうち車両に影響を及ぼす特定車両を特定車両でない他車両と区別可能な態様で表示部に表示させることにより、車両の乗員に安心感を与えることができる。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

１…車両システム、１０…カメラ、１２…レーダ装置、１４…ファインダ、１６…物体認識装置、２０…通信装置、５０…ナビゲーション装置、６０…ＭＰＵ、７０…車両センサ、８０…運転操作子、１２０…ＨＭＩ制御部、２００…運転支援制御部、３００…自動運転制御ユニット、３２１…外界認識部、４００…ＨＭＩ、４５０…第１の表示部、４６０…第２の表示部

Claims (8)

1. 表示部と、
   車両の周辺に存在する他車両を認識する認識部と、
   前記車両の乗員からの操作を受け付ける操作部と、
   前記車両の運転支援を実行する制御部と、
   前記制御部により前記運転支援が実行される前に前記操作部により所定の操作が受け付けられた場合、前記認識部により認識された他車両の少なくとも一部を示す情報を前記表示部に表示させると共に、前記他車両のうち前記車両に影響を及ぼす特定車両を前記特定車両でない他車両と区別可能な態様で前記表示部に表示させる表示制御部と、を備え、
   前記表示制御部は、
   前記認識部が認識した所定の他車両に基づいて前記車両の周辺の道路区画線が補完される場合、前記道路区画線の補完に影響を及ぼす前記特定車両であることを示すアイコンを前記所定の他車両に対応付けた態様で前記所定の他車両を前記表示部に表示させる、
   車両制御システム。
2. 前記表示制御部は、前記特定車両を前記特定車両でない他車両に比して強調させて前記表示部に表示させる、
   請求項１に記載の車両制御システム。
3. 前記認識部は、前記特定車両を第１の種別の特定車両と第２の種別の特定車両とに分類し、
   前記表示制御部は、前記認識部により分類された第１の種別の特定車両と前記第２の種別の特定車両とを区別可能に前記表示部に表示させる、
   請求項１または請求項２に記載の車両制御システム。
4. 前記第１の種別の特定車両は、前記第２の種別の特定車両に比して、長期的に前記車両に及ぼす影響度合が高い車両である、
   請求項３に記載の車両制御システム。
5. 前記制御部は、前記操作部により所定の操作が受け付けられた場合、前記運転支援を実行し、
   前記影響は、前記運転支援の実行中において前記車両の加減速の決定、または操舵量の決定の少なくとも一方に対する影響である、
   請求項１から４のうちいずれか１項に記載の車両制御システム。
6. 前記車両に影響を及ぼす特定車両は、前記車両の追従対象車両を含み、
   前記表示制御部は、追従対象であることを示す情報を前記追従対象車両に対応付けて前記表示部に表示させる、
   請求項１から５のうちいずれか１項に記載の車両制御システム。
7. 車載コンピュータが、
   車両の周辺に存在する他車両を認識する処理と、
   前記車両の運転支援を実行する制御部により前記運転支援が実行される前に、前記車両の乗員からの操作を受け付ける操作部により所定の操作が受け付けられた場合、前記認識された他車両の少なくとも一部を示す情報を表示部に表示させると共に、前記他車両のうち前記車両に影響を及ぼす特定車両を前記特定車両でない他車両と区別可能な態様で前記表示部に表示させる処理と、
   前記認識する処理において認識された所定の他車両に基づいて前記車両の周辺の道路区画線が補完される場合、前記道路区画線の補完に影響を及ぼす前記特定車両であることを示すアイコンを前記所定の他車両に対応付けた態様で前記所定の他車両を前記表示部に表示させる処理と、
   を実行する車両制御方法。
8. 車載コンピュータに、
   車両の周辺に存在する他車両を認識する処理と、
   前記車両の運転支援を実行する制御部により前記運転支援が実行される前に、前記車両の乗員からの操作を受け付ける操作部により所定の操作が受け付けられた場合、前記認識された他車両の少なくとも一部を示す情報を表示部に表示させると共に、前記他車両のうち前記車両に影響を及ぼす特定車両を前記特定車両でない他車両と区別可能な態様で前記表示部に表示させる処理と、
   前記認識する処理において認識された所定の他車両に基づいて前記車両の周辺の道路区画線が補完される場合、前記道路区画線の補完に影響を及ぼす前記特定車両であることを示すアイコンを前記所定の他車両に対応付けた態様で前記所定の他車両を前記表示部に表示させる処理と、
   を実行させるプログラム。

Images