以下、図面を参照して、本発明の実施形態について説明する。なお、以下の説明において、同一又は相当要素には同一符号を付し、重複する説明を省略する。
[第1実施形態]
図1は、第1実施形態に係る警報システム1の構成を示すブロック図である。図1に示す警報システム1は、例えば、乗用車などの車両2と、車両2の運転者の携帯端末4とが通信して情報のやり取りを行い、携帯端末4を介して車両2の運転者に対して警報を行うシステムである。
車両2は、自動運転ECU(Electronic Control Unit)20を搭載している。自動運転ECU20は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)などからなる電子制御ユニットである。自動運転ECU20では、ROMに記憶されているプログラムをRAMにロードし、CPUで実行することで、各種の車両制御を実行する。自動運転ECU20は、複数の電子制御ユニットから構成されていてもよい。自動運転ECU20は、後述するセンサ類又はナビゲーションシステムに接続されており、後述するセンサ類又はナビゲーションシステムから取得した情報に基づいて車両2の走行を制御する。
自動運転ECU20は、車両2の運転状態を自動運転と手動運転とに切り換える。自動運転とは、例えば、車両2の走行する道路に沿って自動で車両2を走行させる運転状態である。自動運転には、例えば、運転者が運転操作をすることなく、予め設定された目的地に向かって自動で車両2を走行させる運転状態が含まれる。
自動運転は、自動操舵(操舵の自動運転)及び自動速度調整(速度の自動運転)で実現される。自動操舵は、車両2の操舵を自動で制御する運転状態である。本実施形態において、自動操舵とは、例えば、走行車線から逸脱しないように自動で車両2の操舵を行う制御である。運転者がステアリング操作をしない場合であっても、走行車線に沿って自動で車両2の操舵が行なわれる。自動速度調整は、車両2の速度を自動で制御する運転状態である。自動速度調整は、例えば、車両2の前方に先行車が存在しない場合は予め設定された設定速度で車両2を定速走行させる定速制御を行い、車両2の前方に先行車が存在する場合には先行車との車間距離に応じて車両2の車速を調整する追従制御を行う制御である。
手動運転とは、例えば、運転者の運転操作を主体として車両2を走行させる運転状態である。手動運転には、例えば、運転者の運転操作のみに基づいて車両2を走行させる運転状態が含まれる。ここで、本実施形態に係る手動運転には、運転者の運転操作を主体としながら、運転者の運転操作を支援する運転操作支援制御が行なわれる運転状態も含まれる。運転操作支援制御とは、例えば、車両2のカーブ走行時にカーブの曲率に基づいて運転者の操舵が適切な操舵量となるように操舵トルクをアシストする制御である。運転操作支援制御には、例えばステアリングホイールにトルクを付与することにより、運転者の操舵方向が適切な操舵方向となるように誘導する誘導制御も含まれる。運転操作支援制御は、運転者のアクセル操作(例えばアクセルペダルの操作)又はブレーキ操作(例えばブレーキペダルの操作)を支援してもよい。一方、運転操作支援制御には、運転者の運転操作に強制的に介入して、車両2を自動で走行させる制御は含まれない。
自動運転ECU20は、運転者が自動運転開始の操作を行なった場合に、自動運転を開始する。自動運転開始の操作とは、例えば、ステアリングホイールに設けられた自動運転開始のスイッチを押す操作である。自動運転ECU20は、例えば、運転者が自動運転解除の操作を行なった場合に、自動運転を解除する。自動運転解除の操作とは、例えば、ステアリングホイールに設けられた自動運転キャンセルのスイッチを押す操作である。また、自動運転ECU20は、自動運転中に運転者が急なブレーキ操作を行なった場合など、予め設定された自動運転の許容操作量を超える操作量の運転操作が行なわれた場合に、自動運転を解除してもよい。つまり、運転者は、自身の操作(意思)によって、自動運転から手動運転へ切り換えることができる。
さらに、自動運転ECU20は、自動運転中の車両2が自動運転の終了位置に至ったと判定した場合、車両2の運転状態を自動運転から手動運転へ切り換える。自動運転の終了位置とは、車両2の運転状態を自動運転から手動運転に切り換える基準となる位置である。自動運転の終了位置は、例えば、車両2の進路上において、自動運転を継続できる道路環境と自動運転を継続できない道路環境との境界の位置である。つまり、自動運転ECU20は、自動運転を継続できないときには、自動的に(運転者の許可・不許可を必要とせずに)自動運転から手動運転へ切り換える。なお、自動運転の終了位置は、車両2の進路上において、自動運転を継続できる道路環境と自動運転を継続できない道路環境との境界の位置から、車両2側(手前側)に所定距離だけ離れた位置に設定することもできる。
自動運転を継続できない道路環境とは、自動車専用道路用の自動運転であれば、自動車専用道路以外の道路(例えば一般道路)の環境を意味する。つまり、自動車専用道路用の自動運転の終了位置は、当該自動運転を継続できる自動車専用道路と当該自動運転を継続できない一般道路との境界となる自動車専用道路出口の位置とすることができる。なお、自動車専用道路用の自動運転とは、自動車専用道路の環境下において実行可能な自動運転である。
あるいは、自動運転を継続できない道路環境は、歩行者などの障害物が車両2の進路上に存在する環境でもよい。この場合、自動運転の終了位置は、車両2の進路上において、歩行者などの障害物の手前の位置とすることができる。また、自動運転を継続できない道路環境は、例えば、急カーブ、接続形態の道路(分岐路、合流路など)、車線幅が所定値以下の道路など、自動運転が不可能な道路とすることができる。この場合、自動運転の終了位置は、車両2の進路上において、直線などの自動運転走行が可能な形状の道路と自動運転走行が不可能な形状の道路との境界となる位置とすることができる。また、自動運転を継続できない道路環境は、自動運転が不可能な交通状況又は天候であってもよく、例えば、工事、渋滞、大雨、積雪などの道路環境であってもよい。この場合、自動運転の終了位置は、車両2の進路上において、通常の交通状況又は天候となる道路と、自動運転が不可能な交通状況又は天候となる道路との境界となる位置とすることができる。
さらに、自動運転を継続できない道路環境は、自動運転に必要な情報を取得できない環境であってもよい。自動運転を継続できない道路環境には、例えば、経年劣化又は工事などにより道路の白線がかすれている場合、白線が途切れている場合、トンネル出口などの車両前方を撮像しようとすると逆光となる場合などがある。このような環境では、車両2は、自動運転に必要な情報を取得できない可能性がある。この場合、自動運転の終了位置は、車両2の進路上において、例えば、車両2の走行する道路の白線(車線境界線又は車両通行帯境界線など)を認識できる道路環境と、経年劣化又は工事などにより道路の白線を認識できない道路環境との境界となる位置とすることができる。
自動運転ECU20は、周辺環境情報に基づいて、自動運転を継続できない道路環境を認識し、自動運転の終了位置を導出する。周辺環境情報は、後述する車載センサ、ナビゲーションシステム、車々間通信、路車間通信又はこれらの組合せにより得られた情報である。周辺環境情報の詳細は後述する。例えば、自動運転ECU20は、車載センサにより検出された情報(周辺環境情報)を取得して自動運転の終了位置を導出してもよい。あるいは、自動運転ECU20は、車々間通信又は路車間通信を介して、他車両により判定された自動運転を継続できない道路環境に関する情報(周辺環境情報)を取得して、自動運転の終了位置を導出してもよい。あるいは、自動運転ECU20は、車々間通信又は路車間通信を介して、他車両の自動運転の終了位置(周辺環境情報)を取得して、自動運転の終了位置を導出してもよい。通信から取得した情報には、他車両の自動運転の終了位置の履歴情報が含まれていてもよい。他車両の自動運転の終了位置を通信から取得する場合には、自動運転の終了位置は、例えば車両2の先行車などが何らかの理由で自動運転を終了した位置とすることができる。あるいは、自動運転ECU20は、車両2の履歴情報を取得して、自動運転の終了位置を導出してもよい。なお、自動運転ECU20は、自動運転を継続できない道路環境であるか否かを車両2の走行中に判定してもよい。この場合、判定結果によっては車両2の現在位置が自動運転の終了位置となり得る。
あるいは、自動運転ECU20は、例えば、後述するナビゲーションシステム24の車両2の位置情報、地図情報、案内経路情報に基づいて、自動運転の終了位置を導出(設定)してもよい。自動運転ECU20は、例えば、車両2が自動車専用道路用の自動運転中である場合、ナビゲーションシステム24の車両2の位置情報、地図情報、案内経路情報に基づいて、車両2が通過する予定の自動車専用道路の出口の位置を自動運転の終了位置として導出する。
警報システム1は、警報ECU30(警報装置の一例)及び携帯端末4(携帯端末の一例)を備えている。警報ECU30は、車両2に搭載されている。警報ECU30は、CPU、ROM、RAMなどからなる電子制御ユニットである。警報ECU30は、図示しない記憶装置を参照可能に構成されていてもよい。警報ECU30では、例えば、記憶装置を参照してデータを取得し、ROMに記憶されているプログラムをRAMにロードし、CPUで実行することで、各種の車両制御を実行する。警報ECU30は、複数の電子制御ユニットから構成されていてもよい。警報ECU30は、運転者の携帯端末4と通信可能に構成され、自動運転を行う車両2の運転者に携帯端末4を用いて警報を行う。本実施形態における警報とは、例えば車両2の運転状態に関する注意喚起を行うことを意味する。
携帯端末4は、自動運転を行う車両2の運転者が運転席で使用する携帯端末である。「運転者が運転席で使用する」とは、運転者が運転席に位置するときに携帯端末の機能を発揮させていることをいう。携帯端末の機能には、表示機能が含まれる。例えば、運転者が運転席でWebページ、静止画、動画もしくはメールの閲覧、又は、ゲームなどのアプリケーションを実行させている場合には、「運転者が運転席で使用する」に相当する。また、「運転席で使用する」には、運転席を含む所定空間領域内での使用を意味し、例えば運転席に着座した運転者の手の届く範囲で使用している場合を意味する。つまり、運転者が操作可能な状態であればよく、運転者が携帯端末4を手に持って使用している場合に限られない。
携帯端末4は、持ち運びすることができるコンピュータであり、例えば、携帯電話、PDA(Personal Digital Assistant)、タブレット、ラップトップなどである。携帯端末4は、例えば、CPU(不図示)、記憶部(不図示)、通信部40、表示部41(画面)及び操作部42を備えた装置である。通信部40は、通信を制御するネットワーク回路などの通信デバイスである。通信部40は、例えば無線LAN(Local Area Network)又はBluetooth(登録商標)などを用いて車両2と通信する。表示部41は、ディスプレイなどの表示デバイスである。操作部42は、操作入力を受け付ける入力デバイスである。携帯端末4には、動画アプリケーションやメールアプリケーションなどの種々のアプリケーションをインストールすることができる。携帯端末4は、上述した構成要素を動作させることにより、Webページ、静止画、動画もしくはメールの表示、又は、ゲームなどのアプリケーションを実行することができる。また、携帯端末4は、通信部40を介して警報ECU30と通信を行い、運転者に手動運転を開始させるための警報情報を表示部41に表示する。警報情報の詳細については後述する。携帯端末4は、周知の手法によって警報ECU30により運転者の携帯端末であることの認証がなされてもよい。また、周知の手法によって携帯端末4の位置及び使用状態が把握されてもよい。この場合、警報ECU30は、位置及び使用状態に基づいて、通信中の携帯端末が車両2の運転者が運転席で使用する携帯端末4であることを認識することができる。
図2を用いて、警報ECU30が警報を行う状況について説明する。図2は、本実施形態に係る警報システム1が作動する状況を説明する図である。図2に示す車両2は、自動運転により走行している。自動運転中の車両2の車内では、運転者が車両2の運転状況の監視以外のことをして過ごすことがある。例えば、図2に示す運転者は、運転者の手元の携帯端末4に意識を向けている状況である。つまり、運転者は、自動運転中に、車両2の運転状態、運転状況や周囲環境には注意を払っておらず、Webページ、静止画、動画もしくはメールなどの閲覧、又は、ゲームもしくはメール作成などの操作を行っている状況である。
このような状況において、自動運転を継続できない道路環境に向かって自動運転中の車両2が走行している場合、自動運転ECU20は、自動運転の終了位置を導出し、自動運転中の車両2が自動運転の終了位置に至ったと判定した場合、車両2の運転状態を自動運転から手動運転へ切り換える。つまり、自動運転ECU20は、自動運転の継続が困難であるため、運転者の意思に関わらず、自動運転の終了位置で自動運転から手動運転へ切り換える。この場合、運転者に対して手動運転を開始するように警報する必要がある。警報は、ダッシュボード固定のディスプレイなどに表示させてもよい。しかし、運転者が携帯端末4に意識を向けている場合には、ダッシュボード固定のディスプレイなどを用いた警報は効果的とはいえない。このため、警報ECU30は、運転者に手動運転を開始させるための警報情報を、携帯端末4の表示部41に表示する。これにより、警報情報をダッシュボード固定のディスプレイなどにのみに表示する場合に比べて、携帯端末4に意識を集中させている運転者が手動運転の開始をしなければならない状況であることを気付き易くすることができる。
警報ECU30は、例えば、自動運転ECU20、通信部21、ステレオカメラ22、レーザレーダ23、ナビゲーションシステム24、アクセルペダルセンサ25、ブレーキペダルセンサ26、操舵センサ27、ハンドルタッチセンサ28及びドライバモニタカメラ29と接続され、これらの構成要素と情報のやり取りが可能に構成されている。
自動運転ECU20は、車両2の自動運転を実行中であるか否かを特定することができる情報を、警報ECU30へ出力する。また、自動運転ECU20は、自動運転の終了位置に関する情報を警報ECU30へ出力してもよい。
通信部21は、無線通信網(例えば携帯電話の通信網、VICS(Vehicle Information and Communication System)(登録商標)の通信網など)を介して各種の情報を取得する。通信部21は、例えば、交通情報を管理する情報管理センターなどの施設のコンピュータとの路車間通信により、車両2の進路上の道路環境情報を取得する。路車間通信とは、例えば、道路脇に設けられた路側送受信機(例えば光ビーコン、ITS(Intelligent Transport Systems)スポットなど)を介した情報管理センターなどとの通信である。路車間通信には、上述した無線通信網を通じた情報管理センターなどとの通信も含まれる。
また、通信部21は、車々間通信により他車両の情報を取得してもよい。通信部21は、例えば、車々間通信により、他車両の位置情報、他車両が検出した道路環境情報などを取得する。また、通信部21は、車内の携帯端末4と通信を行う。例えば、通信部21は、無線LAN又はBluetoothなどを用いて携帯端末4と接続され、携帯端末4が受け付けた操作情報を受信したり、携帯端末4へ運転者に手動運転を開始させるための警報情報を送信したりする。警報情報については後述する。
ステレオカメラ22は、例えば、車両2のフロントガラスの裏面に設けられた二つの撮像部を有している。二つの撮像部は、車両2の車幅方向に並んで配置されており、車両2の前方を撮像する。ステレオカメラ22は、車両前方の撮像情報を警報ECU30へ送信する。なお、ステレオカメラ22に代えて単眼カメラを用いてもよい。
レーザレーダ23は、例えば、車両2の前端に設けられ、レーザーを利用して車両前方の障害物を検出する。レーザレーダ23は、例えば、レーザーを車両前方に送信し、他車両などの障害物に反射したレーザーを受信することで障害物を検出する。レーザレーダ23は、検出した障害物に応じた信号を警報ECU30へ出力する。なお、レーザレーダ23に代えて、ミリ波レーダなどを用いてもよい。
ナビゲーションシステム24は、運転者によって設定された目的地まで車両2の運転者の案内を行う。ナビゲーションシステム24は、例えば、車両2の位置情報を測定するためのGPS受信部24aと、地図情報を記憶した地図データベース24bを有している。GPS受信部24aは、例えば、三個以上のGPS衛星からの信号を受信することにより、車両2の位置情報(例えば緯度経度)を測定する。地図データベース24bの地図情報には、例えば、道路の位置情報、道路の種別情報、道路形状の情報などが含まれる。
ナビゲーションシステム24は、GPS受信部24aの測定した車両2の位置情報と地図データベース24bの地図情報とに基づいて、車両2の走行する走行道路及び走行車線を認識する。ナビゲーションシステム24は、車両2の位置から目的地に至るまでの経路を演算し、ナビゲーション用ディスプレイの表示及び車両2のスピーカからの音声出力により運転者に対して当該経路の案内を行う。ナビゲーションシステム24は、例えば、車両2の位置情報、車両2の走行道路の情報、及び車両2の案内経路の情報を警報ECU30へ送信する。
アクセルペダルセンサ25は、例えば、車両2のアクセルペダルのシャフト部分に対して設けられ、アクセルペダルの踏込み量(アクセルペダルの位置)を検出する。アクセルペダルセンサ25は、検出したアクセルペダルの踏込み量に応じた信号を警報ECU30へ出力する。
ブレーキペダルセンサ26は、例えば、ブレーキペダルの部分に対して設けられ、ブレーキペダルの踏込み量(ブレーキペダルの位置)を検出する。ブレーキペダルの操作力(ブレーキペダルに対する踏力やマスタシリンダの圧力など)から検出してもよい。ブレーキペダルセンサ26は、検出したブレーキペダルの踏込み量や操作力に応じた信号を警報ECU30へ出力する。
操舵センサ27は、例えば、車両2のステアリングシャフトに対して設けられ、運転者がステアリングホイールに与える操舵トルクを検出する。ハンドルタッチセンサ28は、例えば、車両2のステアリングホイールに設けられ、ステアリングホイールに対する運転者の接触及び運転者がステアリングホイールを握る圧力を検出する。操舵センサ27及びハンドルタッチセンサ28は、検出結果に基づいて、運転者の操舵に関する操舵情報を警報ECU30へ送信する。
ドライバモニタカメラ29は、例えば、車両2のステアリングコラムのカバー上で運転者の正面の位置に設けられ、運転者の撮像を行う。ドライバモニタカメラ29は、運転者を複数方向から撮像するため、複数設けられていてもよい。ドライバモニタカメラ29は、運転者の撮像情報を警報ECU30へ送信する。
警報ECU30は、自動運転判定部300、警報要否判定部(判定部)301、警報部(警報部)302及び手動運転判定部303を備えている。
自動運転判定部300は、自動運転ECU20から車両2の自動運転を実行中であるか否かを特定することができる情報を取得し、車両2が自動運転中であるか否か判定する。自動運転判定部300は、例えば、自動運転中であれば「1」、自動運転中でない場合には「0」というフラグ情報を自動運転ECU20から取得する。自動運転判定部300は、判定結果を警報要否判定部301に出力する。
警報要否判定部301は、車両2の自動運転中に、警報の要否を判定する。つまり、警報要否判定部301は、自動運転判定部300により車両2が自動運転中であると判定された場合に、警報情報を携帯端末4の表示部41に表示させるか否かを判定する。本実施形態における警報情報とは、運転者に手動運転を開始させるための情報であり、車両2の自動運転の終了に伴う注意喚起を行う情報である。例えば、警報情報は、車両2が自動運転の終了位置に近づいていることを示す情報(距離情報など)である。あるいは、警報情報は、運転者に手動運転を即時又は所定時間後に開始しなければならない状況であることを示す情報(残り時間の情報など)であってもよい。警報情報は、運転者が開始すべき運転操作を示す情報が含まれてもよい。例えば、警報情報は、ステアリング操作、アクセル操作又はブレーキ操作に関する情報を含んでもよい。警報情報は、警報音や音声、携帯端末の振動などと合わせて運転者に提供されてもよい。
具体的には、警報要否判定部301は、自動運転中に、車両2の位置情報及び地図情報に基づいて、車両2から自動運転の終了位置までの距離が所定値以下であるか否かを判定する。まず、警報要否判定部301は、車両2の位置情報を取得する。車両2の位置情報は、例えばナビゲーションシステム24から取得され、車両2の現在位置を含む。そして、警報要否判定部301は、自動運転の終了位置を、例えば自動運転ECU20から取得する。あるいは、警報要否判定部301は、自動運転の終了位置を、ナビゲーションシステム24から取得してもよい。警報要否判定部301は、例えば、自動運転ECU20が自動車専用道路用の自動運転をする場合には、自動車専用道路出口の位置を車両2の案内経路の情報及び地図情報から取得することができる。あるいは、警報要否判定部301は、自動運転ECU20が自動車専用道路用の自動運転をする場合であって車両2の案内経路の情報が無いとき、車両2の位置情報から進行方向を認識し、車両2の進行方向の自動車専用道路出口の位置を地図情報から取得することができる。そして、警報要否判定部301は、例えば、車両2の現在位置と、取得された自動車専用道路出口の位置に基づいて、車両2の現在位置から自動運転の終了位置までの距離を導出する。そして、警報要否判定部301は、導出された距離が所定値以下であるか否かを判定する。所定値は、運転者に対して警報情報を報知すべき距離となったか否かを判断するための閾値であり、例えば50m〜3kmの範囲で設定され得る。
あるいは、警報要否判定部301は、自動運転中に、車両2の周辺環境情報に基づいて、車両2の現在位置から自動運転の終了位置までの距離が所定値以下であるか否かを判定してもよい。この場合の所定値も、上記と同様に設定することができる。周辺環境情報とは、車両2を取り巻く環境の情報であり、警報要否判定部301が車両2の現在位置から自動運転の終了位置までの距離を導出するための情報である。例えば、周辺環境情報には、車両2の周囲において、歩行者などの障害物が存在するか否かの情報、所定値以下の曲率半径となるカーブが存在するか否かの情報、分岐路や合流路が存在するか否かの情報、工事又は渋滞が発生している箇所が存在するか否かの情報、天候が悪化している地域があるか否かの情報などが含まれる。車両2の周囲は、例えば車両の現在位置から車両前方の所定距離までの範囲であり、所定距離は、例えば100m〜5kmの範囲で設定され得る。周辺環境情報は、通信部21、ステレオカメラ22、レーザレーダ23又はナビゲーションシステム24を介して取得される。警報要否判定部301は、周辺環境情報に基づいて自動運転の終了位置を導出してもよい。あるいは、警報要否判定部301は、自動運転ECU20から、自動運転ECU20によって周辺環境情報に基づいて算出された自動運転の終了位置を取得してもよい。何れの場合も、警報要否判定部301は、周辺環境情報に基づいて算出された自動運転の終了位置を用いて、車両2の現在位置から自動運転の終了位置までの距離が所定値以下であるか否かを判定する。
なお、警報要否判定部301は、車両2の現在位置から自動運転の終了位置までの距離を算出し、現在車速が車両2の現在位置から自動運転の終了位置まで等速であるとして、車両2の現在位置から自動運転の終了位置までの到達時間を算出するようにしてもよい。そして、警報要否判定部301は、算出した到達時間が所定値以下であるか否かを判定してもよい。この場合の所定値は、運転者に対して報知を行うべきタイミングとなったか否かを判断するための閾値であり、例えば、5秒〜130秒の範囲で設定され得る。なお、到達時間を用いる場合には、距離を算出する場合と同様に、警報要否判定部301は、自動運転ECU20から自動運転の終了位置を受け取ってもよいし、警報要否判定部301自身が、自動運転の終了位置を演算してもよい。何れの場合も、自動運転の終了位置は、車両2の位置情報及び地図情報、又は、車両の周辺環境情報に基づいて演算される。したがって、自動運転の終了位置を演算する主体が何れの場合であっても、警報要否判定部301は、車両2の位置情報及び地図情報、又は、車両の周辺環境情報に基づいて、自動運転の終了位置までの距離又は到達時間が所定値以下であるか否かを判定することになる。
警報部302は、警報要否判定部301により自動運転の終了位置までの距離又は到達時間が所定値以下であると判定された場合に、運転者に手動運転を開始させるための警報情報を携帯端末4の表示部41に表示させる。警報部302は、例えば、記憶装置に格納された警報情報を参照可能に構成されている。あるいは、警報部302は、警報情報を逐次生成してもよいし、携帯端末4に警報情報を生成させるための情報を送信して、携帯端末4に警報情報を生成させてもよい。
図3は、運転者に手動運転を開始させるための警報情報が表示された画面の一例を示す図である。図3の(A)は、携帯端末4の画面に、車両2の自動運転が終了するまでの時間を示す画像G1を表示した例である。すなわち、画像G1は、本実施形態の警報情報の一例である。画像G1には、「自動運転」「xx秒」という文字情報を含んでいる。「xx秒」は、車両2の自動運転が終了するまでの残り時間を示している。車両2の自動運転が終了するまでの残り時間「xx秒」は、現在の車両2の位置から自動運転の終了位置までの到達時間と同一であってもよいし、到達時間より所定時間だけ短い時間であってもよい。画像G1は、携帯端末4の画面の一部を占有するように表示される。例えば、運転者がWebページや動画などのコンテンツを見ている場合には、画像G1は、運転者が見ているコンテンツに重畳されて携帯端末4の画面の一部を占有するように表示される。つまり、画像G1は、運転者に視認可能な態様で表示される。なお、画像G1の背景は、透明又は半透明にしてもよい。車両2の自動運転が終了するまでの時間「xx秒」は、カウントダウン形式で表示されてもよい。また、車両2の自動運転が終了するまでの距離を表示することもできる。携帯端末4の画面に画像G1が表示されることで、運転者は、自動運転が終了すること、及び、自動運転が終了するタイミングを知ることができるので、即時又は所定時間後に手動運転を開始しなければならない状況であると理解することができる。
図3の(B)〜(D)は、携帯端末4の画面に、運転者が行うべき運転操作を示す画像G2〜G4を表示した例である。図3の(B)は、運転者にステアリング操作を開始させるための画像の一例である。すなわち、画像G2は、本実施形態の警報情報の一例である。図中の矢印はステアリングホイールを手で握ることを促しており、運転者はステアリング操作による手動運転を開始しなければならないことを容易に理解することができる。図3の(C)は、運転者にアクセル操作を開始させるための画像の一例である。すなわち、画像G3は、本実施形態の警報情報の一例である。図中の矢印はアクセルペダルを足で踏むことを促しており、運転者はアクセル操作による手動運転を開始しなければならないことを容易に理解することができる。図3の(D)は、運転者にブレーキ操作を開始させるための画像の一例である。すなわち、画像G3は、本実施形態の警報情報の一例である。図中の矢印はブレーキペダルを足で踏むことを促しており、運転者はブレーキ操作による手動運転を開始しなければならないことを容易に理解することができる。画像G2〜G4は、画像G1と同様に、運転者が見ているコンテンツに重畳されて携帯端末4の画面の一部を占有するように表示される。
警報部302は、図3に示す画像G1〜G4を、車両2の現在位置又は車両2の前方で運転者が行うべき運転操作に基づいて選択し、携帯端末4に表示させてもよい。この場合、画像G1〜G4に関する情報は、運転者が車両2の現在位置又は車両2の前方で行うべき運転操作と関連付けされ、警報部302が参照可能な記憶装置に記憶されていればよい。例えば、警報部302は、車両2の現在位置又は車両2の前方において必要な運転操作を予測する。例えば、警報部302は、車両2の現在位置又は車両2の前方の道路形状に基づいて必要な運転操作を予測する。具体的には、車両2の現在位置又は車両2の前方がカーブである場合には、必要な運転操作はステアリング操作であると予測する。そして、警報部302は、ステアリング操作を促す画像G2を参照可能な記憶装置から選択し、携帯端末4に表示させる。あるいは、警報部302は、ステアリング操作を促す画像G2を生成し、携帯端末4に表示させてもよい。また、車両2の現在位置又は車両2の前方が直線道路上であり、かつ、登り坂である場合には、警報部302はアクセルペダル操作を促す画像G3を選択又は生成し、携帯端末4に表示させる。あるいは、車両2の現在位置又は車両2の前方が直線道路上であり、かつ、下り坂である場合には、警報部302はブレーキペダル操作を促す画像G4を選択又は生成し、携帯端末4に表示させる。警報部302は、例えば、必要な運転操作が複数ある場合、最初に行うべき操作を促す画像を携帯端末4に表示させる。
また、警報部302は、図3に示す画像G1と、画像G2〜G4とを、車両2から自動運転の終了位置までの距離又は到達時間に応じて携帯端末4に表示させてもよい。この場合、画像G1〜G4は、車両2から自動運転の終了位置までの距離又は到達時間と関連付けされ、警報部302が参照可能な記憶装置に記憶されていればよい。
また、警報部302は、車両2から自動運転の終了位置までの距離LXが短くなるほど、画像GXの表示度合いが大きくなるように、携帯端末4の画面に表示させてもよい。表示度合いとは、携帯端末4の画面に表示される画像GXの表示態様の強さの指標である。例えば、画像GXが大きいほど表示度合いは大きい。表示度合いは、画像GXの大きさ以外にも関係してよい。例えば、画像GXの透明度が低いほど画像GXの表示度合いは大きい。あるいは、画像GXの輝度値が大きいほど画像GXの表示度合いは大きい。また、画像GX以外のコンテンツの表示を終了した場合には、コンテンツに画像GXを重畳表示した場合に比べて、画像GXの表示度合いは大きい。さらにまた、画像GXが点滅して表示される場合には、画像GXが点滅して表示されない場合に比べて、画像GXの表示度合いは大きい。なお、警報部302は、車両2から自動運転の終了位置までの距離又は到達時間に関連付けされた係数を用いて、画像G1〜G4の表示度合いを変更してもよい。なお、警報部302は、必ずしも画像G1〜G4の表示度合いを変更する必要はなく、一定の表示度合いとしてもよい。
以下では、一例として、警報部302が車両2から自動運転の終了位置までの距離に応じて警報情報を表示させる場合を説明する。
図4は、車両2から自動運転の終了位置までの距離と、携帯端末4の画面に表示される警報情報との関係を説明するための図である。図4は、車両2の自動運転の終了位置F1が自動車専用道路出口50である場合を一例として示している。そして、図4には、車両2の現在位置PX(Xは整数)から自動車専用道路出口50の位置(自動運転の終了位置F1)までの距離LX(Xは整数)と、携帯端末4の画面に表示される警報情報(画像G1〜G4)との関係が示されている。図4では、車両2は位置P0から自動車専用道路出口50へ向かって自動運転しており、車内では運転者が携帯端末4の動画などのコンテンツを視聴しているものとする。それぞれの位置PXでの時刻tは、TX(Xは整数)で表現されている。また、位置P0と位置P1との間には、自動運転の終了位置F1から所定の距離K(所定値)だけ離れた位置F2が存在するものとする。距離Kは、手動運転を開始させるための警報をするか否かを判定するために、予め設定された距離である。
時刻T0の場合、車両2は位置P0に存在する。位置P0から自動運転の終了位置F1までの距離L0は、位置F2から自動運転の終了位置F1までの距離K以下ではない。このため、警報部302は、携帯端末4の画面に警報情報を表示しない。図中では、猫の動画のコンテンツがそのまま携帯端末4の画面に表示されている。
そして、車両2は、自動運転で自動車専用道路出口50へ向かって走行し続け、時刻T1には位置P1に存在する。位置P1から自動運転の終了位置F1までの距離L1は、距離K以下である。このため、警報部302は、通信を介して携帯端末4の画面に警報情報である画像G1を表示させる。ここでは、警報部302は、距離L1に基づいて定まる画像G1をコンテンツに重畳表示させている。画像G1には、自動運転終了までの時間(ここでは100秒)が表示される。
時刻T2になると、車両2は位置P2に存在する。位置P2から自動運転の終了位置F1までの距離L2は、距離K以下である。このため、警報部302は、継続して、携帯端末4の画面に警報情報である画像G1を表示させる。警報部302は、距離L2に基づいて定まる画像G1をコンテンツに重畳表示させている。画像G1には、自動運転終了までの時間(ここでは10秒)が表示されている。なお、警報部302は、自動運転終了までの時間が所定時間(例えば40秒以下)となった場合や、距離LXが所定距離(例えば90m以下)となった場合には、警報情報の表示だけでなく、バイブやアラーム音といった警報を合わせて行ってもよい。
時刻T3になると、車両2は位置P3に存在する。位置P3から自動運転の終了位置F1までの距離L3は、距離K以下である。このため、警報部302は、継続して、携帯端末4の画面に警報情報を表示させる。警報部302は、距離L3に基づいて定まる画像G2をコンテンツに重畳表示させる。警報部302は、距離LXに基づいて画像の種類を変更してもよい。ここでは、警報部302は、通信を介して、ステアリング操作を開始させるための画像G2を警報情報として携帯端末4に表示させる。
時刻T4になると、車両2は位置P4に存在する。位置P4から自動運転の終了位置F1までの距離L4は、距離K以下である。このため、警報部302は、継続して、携帯端末4の画面に警報情報を表示させる。警報部302は、距離L4に基づいて定まる画像G2をコンテンツに重畳表示させる。例えば、警報部302は、通信を介して、ステアリング操作を開始させるための画像G2を警報情報として携帯端末4の画面に表示させる。警報部302は、距離LXに基づいて画像の大きさを変更してもよい。警報部302は、位置P4にて表示させる画像G2のサイズを、位置P3にて表示させる画像G2のサイズよりも大きくして、携帯端末4の画面に表示させる。警報部302は、画像G2のサイズそのものを大きくして携帯端末4へ送信してもよい。あるいは、警報部302は携帯端末4へ倍率に関する情報を送信し、携帯端末4が倍率を考慮して画像G2のリサイズを行い、画面に表示してもよい。
時刻T5になると、車両2は位置P5に存在する。位置P5から自動運転の終了位置F1までの距離L5は、距離K以下である。このため、警報部302は、継続して、携帯端末4の画面に警報情報を表示させる。警報部302は、自動運転終了までの時間が所定時間(例えば5秒以下)となった場合や、距離LXが所定距離(例えば60m以下)となった場合には、携帯端末4にコンテンツ表示を終了させてもよい。例えば、警報部302は、携帯端末4にコンテンツ表示を終了させるとともに、距離L5に基づいて定まる画像G2を表示させる。例えば、警報部302は、通信を介して、携帯端末4にコンテンツ表示を終了させ、ステアリング操作を開始させるための画像G2を警報情報として携帯端末4の画面に表示させる。ここで、位置P5にて表示される画像G2の大きさは、位置P3及び位置P4にて表示される画像G2の大きさよりも大きくされる。
図4を用いて説明したとおり、警報部302は、車両2から自動運転の終了位置までの距離に応じた警報情報を携帯端末4の画面に表示させることができる。また、位置P3〜P5における携帯端末4の画面で説明したとおり、警報部302は、車両2から自動運転の終了位置F1までの距離LXが短くなるほど、画像GXの表示度合いが大きくなるように、携帯端末4の画面に表示させることができる。このため、この警報部302は、携帯端末4に意識を集中させている運転者が手動運転の開始をしなければならない状況であることを、車両2が自動運転の終了位置F1へ近づくほど気付き易くすることができる。なお、警報部302は、警報情報の表示とともにバイブやアラーム音などの警報を携帯端末4に行わせる場合には、車両2から自動運転の終了位置F1までの距離LXが短くなるほどバイブやアラーム音などの警報を大きくしてもよい。
なお、図4では、車両2から自動運転の終了位置F1までの距離LXに基づいて警報情報を携帯端末4の画面に表示させる例を説明したが、距離LXに替えて到達時間を採用してもよい。つまり、警報部302は、距離LXと車速とを用いて、車両2から自動運転の終了位置F1までの到達時間を算出し、図3に示す画像G1〜G4を、車両2から自動運転の終了位置F1までの到達時間に応じて携帯端末4に表示させてもよい。そして、警報部302は、車両2から自動運転の終了位置までの到達時間が短くなるほど、画像GXの表示度合いが大きくなるように、携帯端末4の画面に表示させてもよい。
警報部302は、手動運転が開始された場合には、携帯端末4に警報情報の表示を終了させてもよい。手動運転が開始されたか否かについては、手動運転判定部303が判定する。手動運転判定部303の詳細は後述する。図5は、手動運転開始時における警報情報の表示終了を説明するための図である。図5に示すように、時刻T6のときに車両2が位置P6に存在する。そして、運転者は位置P6で手動運転を開始したとする。この場合、警報部302は、表示済みの警報情報である画像G2の表示を終了させる。このため、警報部302は、手動運転を開始した運転者にとって不要な警報情報の表示を終了させることができる。なお、警報部302がバイブやアラーム音などの他の警報を同時に行わせている場合には、警報部302はこれらの警報も終了させてもよい。また、警報部302が携帯端末4のコンテンツの表示を終了させている場合には、警報部302は携帯端末4のコンテンツの表示を再開させてもよい。つまり、警報部302は、手動運転が開始された場合には、携帯端末4の表示を、警報情報を表示させる前の状態に戻す。
あるいは、警報部302は、携帯端末4に警報終了を指示する操作ボタンを表示させ、当該操作ボタンが操作された場合には、携帯端末4に警報情報の表示を終了させてもよい。この場合、意識的に警報終了を指示した運転者に対して、不要な警報を継続することを回避することができる。
一方、警報部302は、車両2から自動運転の終了位置F1までの距離が終了閾値以下となった場合において手動運転が開始されないときには、自動運転が終了することを報知する画像を携帯端末4の画面に表示させてもよい。終了閾値は、携帯端末4に画像G2の表示を終了させるか否かを判断するための閾値であり、予め定められた値である。終了閾値は、例えば、50m以下(秒に換算すると数秒以下)の範囲で設定され得る。終了閾値以下において運転者が運転に復帰していない場合には、運転者は携帯端末4に意識を向けていない可能性、運転者の覚醒度が低下している可能性などが考えられる。このため、携帯端末4の画面に警報情報を表示させることを終了させ、自動運転の終了を報知する。警報部302は、自動運転の終了とともに、今後の車両の状況を運転者に報知してもよい。自動運転ECU20は、車両2の停止などの処理を行ってもよい。
図6は、手動運転が開始されない場合における警報情報の表示終了を説明するための図である。図6に示すように、時刻T7のときに車両2が位置P7に存在する。そして、運転者は位置P7においても、手動運転を開始していないとする。さらに、位置P7から自動運転の終了位置F1までの距離L7は、予め設定された終了閾値M以下である。この場合、警報部302は、携帯端末4に画像G2の表示を終了させる。そして、警報部302は、自動運転が終了することを報知する画像G5を携帯端末4の画面に表示させる。なお、自動運転ECU20は、時刻T8において、自動運転の終了位置F1手前の位置P8の周囲の路肩などに車両2を緊急停止させてもよい。あるいは、警報部302は、自動運転が終了することを報知する画像G5に替えて、「運転注意」などの文字が含まれた注意喚起情報を携帯端末4の画面に表示させてもよい。また、携帯端末4のコンテンツの表示を所定期間再開させなくてもよい。
図4〜6では、自動運転の終了位置F1が自動車専用道路出口50である場合、つまり、自動運転の終了位置F1が車両2の位置情報及び地図情報に基づいて決定される場合を説明したが、車両2の周辺環境情報に基づいて自動運転の終了位置F1が決定されてもよい。図7は、車両2から自動運転の終了位置F1までの距離LXと、携帯端末4の画面に表示される警報情報との関係を説明するための図である。図7では、警報部302は、車両2の周辺環境情報に基づいて決定された自動運転の終了位置F1を基準として、携帯端末4の画面に警報情報を表示させる。図7では、時刻T9のときに、車両2が位置P9に存在し、時刻T9において車両2前方の位置P11の白線がかすれていることを検知したとする。つまり、図7には、車両2の現在位置PX(Xは整数)から自動運転の終了位置F1までの距離LX(Xは整数)と、携帯端末4の画面に表示される警報情報(画像G1〜G2)との関係が示されている。図7では、図4と同様に、運転者が携帯端末4の動画などのコンテンツを視聴しているものとする。それぞれの位置PXでの時刻tは、TX(Xは整数)で表現されている。また、位置P9よりも後方に、自動運転の終了位置F1から所定の距離K(所定値)だけ離れた位置F2が存在するものとする。距離Kは、手動運転を開始させるための警報をするか否かを判定するために、予め設定された距離である。
時刻T9の場合、車両2は位置P9に存在する。位置P9から自動運転の終了位置F1までの距離L9は、位置F2から自動運転の終了位置F1までの距離K以下である。このため、警報部302は、通信を介して携帯端末4の画面に警報情報である画像G1を表示させる。ここでは、警報部302は、距離L9に基づいて定まる画像G1をコンテンツに重畳表示させている。画像G1には、自動運転終了までの時間(ここでは10秒)が表示される。
時刻T10になると、車両2は位置P10に存在する。位置P10から自動運転の終了位置F1までの距離L10は、距離K以下である。このため、警報部302は、継続して、携帯端末4の画面に警報情報を表示させる。警報部302は、距離L10に基づいて定まる画像G2をコンテンツに重畳表示させる。警報部302は、距離L10に基づいて画像の種類を変更するだけでなく、距離L10に基づいて画像の大きさを変更することができる。ここでは、警報部302は、通信を介して、ステアリング操作を開始させるための画像G2を警報情報として携帯端末4に表示させる。
警報情報の表示の終了については、図5,6で説明した場合と同様である。つまり、警報部302は、手動運転が開始された場合には、携帯端末4に警報情報の表示を終了させてもよいし、車両2から自動運転の終了位置F1までの距離が所定距離以下となった場合において手動運転が開始されないときには、自動運転が終了することを報知する画像を携帯端末4の画面に表示させてもよい。図7では、手動運転が開始されない場合における警報情報の表示終了を一例として示している。時刻T11のときに車両2が位置P11に存在する。そして、運転者は位置P11においても、手動運転を開始していないとする。この場合、警報部302は、携帯端末4に画像G2の表示を終了させる。そして、警報部302は、自動運転が終了することを報知する画像G5を携帯端末4の画面に表示させる。なお、自動運転ECU20は、時刻T11において車両2を緊急停止させてもよい。
以上のとおり、車両2の周辺環境情報に基づいて自動運転の終了位置F1が決定された場合であっても、警報部302は、図3に示す画像G1〜G4を、車両2から自動運転の終了位置F1までの距離LXに応じて携帯端末4に表示させることができる。なお、距離LXと車速とを用いて、車両2から自動運転の終了位置F1までの到達時間を算出し、図3に示す画像G1〜G4を、車両2から自動運転の終了位置F1までの到達時間に応じて携帯端末4に表示させてもよい。また、車両2の周辺環境情報に基づいて自動運転の終了位置F1が決定する場合には、判定結果によっては車両2の現在位置が自動運転の終了位置となり得る。この場合には、図3に示す画像G1〜G4を携帯端末4に表示させて続けてもよい。なお、画像G2〜G4は、いずれか一つが表示されればよい。
次に、手動運転判定部303の詳細について説明する。手動運転判定部303は、運転者が手動運転を開始したか否かを判定する。手動運転判定部303は、例えば、通信部21により取得された携帯端末4における操作情報、アクセルペダルセンサ25により検知されたアクセルペダルの踏み込み量、ブレーキペダルセンサ26により検知されたブレーキペダルの踏み込み量、操舵センサ27により検知された操舵トルク、ハンドルタッチセンサ28により検知された圧力、ドライバモニタカメラ29により撮像された画像又はこれらの組み合わせの情報を用いて、運転者が手動運転を開始したと判定してもよい。
具体的には、手動運転判定部303は、携帯端末4が受け付けた操作情報により携帯端末4の操作が終了したと判定できる場合には、運転者が手動運転を開始したと判定してもよい。あるいは、手動運転判定部303は、アクセルペダルの踏込み量が所定値以上である場合には、運転者が手動運転を開始したと判定してもよい。あるいは、手動運転判定部303は、ブレーキペダルの踏込み量が所定値以上である場合には、運転者が手動運転を開始したと判定してもよい。あるいは、手動運転判定部303は、操舵トルクが所定値以上である場合には、運転者が手動運転を開始したと判定してもよい。あるいは、手動運転判定部303は、ハンドルタッチ時の圧力が所定値以上である場合には、運転者が手動運転を開始したと判定してもよい。あるいは、手動運転判定部303は、運転者の撮像情報により運転者がハンドルを握り、車両2の前方を向いていると判定できる場合には、手動運転を開始したと判定してもよい。
あるいは、手動運転判定部303は、車両2の周辺環境情報に基づいて演算される規範運転操作と、運転者による運転操作とを比較し、比較結果に基づいて手動運転を開始したか否かを判定してもよい。規範運転操作とは、走行場面に対して運転者が行うべき操作、又は、走行場面に対して運転者が行うであろう操作である。例えば、規範運転操作は、車両2が道なりで走行する範囲内のステアリング操作、急カーブ手前におけるブレーキ操作又はカーブ方向へのステアリング操作、分岐・合流・レーン消失などのレーンチェンジが必要な場面又は障害物回避場面における必要な方向へのステアリング操作、又は、工事・渋滞箇所・自動車専用道路出口の手前におけるブレーキ操作(又はシフトダウン操作)などが含まれる。手動運転判定部303は、車両2の周辺環境情報に基づいて運転者が手動運転を開始した地点の車両前方の走行場面を認識し、規範運転操作を演算する。
そして、手動運転判定部303は、例えば、運転者による運転操作を各種センサより取得するとともに、規範運転操作と運転者による運転操作とを比較し、比較結果に基づいて手動運転を開始したか否かを判定する。手動運転判定部303は、例えば、運転者によるステアリング操作が、車両2が道なりで走行する範囲内のステアリング操作であれば、手動運転を開始したと判定する。また、ステアリング操作、ブレーキペダル操作又はアクセルペダル操作などの運転操作には、操作方向がある。このため、手動運転判定部303は、運転者による運転操作の操作方向が、規範運転操作の操作方向と一致する場合には、手動運転を開始したと判定してもよい。
次に、警報システム1の警報処理を説明する。図8は、第1実施形態に係る警報システムの警報処理を説明するフローチャートである。図8では、車両2の通信部21と携帯端末4の通信部40とが互いに通信可能な状態にされているものとする。
図8に示すように、警報ECU30の自動運転判定部300は、ステップS10として自動運転判定を行う。自動運転判定部300は、例えば、自動運転ECU20が出力したフラグ情報に基づいて、車両2が自動運転を実行中であるか否かを判定する。自動運転判定部300は、フラグ情報が「0」の場合、自動運転を実行中ではないと判定する。この場合、警報ECU30は、図8に示す処理を終了する。一方、自動運転判定部300は、フラグ情報が「1」の場合、自動運転を実行中であると判定する。この場合、警報ECU30は、警報要否判定処理(ステップS12)を行う。
警報ECU30の警報要否判定部301は、ステップS12として警報要否判定を行う。警報要否判定部301は、車両2から自動運転の終了位置までの距離又は到達時間が所定値以下であるか否かを判定する。以下では、図4に示すように、車両2から自動運転の終了位置F1までの距離LXを用いて判定する場合を例に説明する。また、ここでは一例として、所定値が1kmに設定されているとする。警報要否判定部301は、車両2の位置情報及び地図情報、又は、周辺環境情報に基づいて、車両2の現在位置PX、車両2の自動運転の終了位置F1を導出する。ここでは、車両2の現在位置がP3であるとする。そして、警報要否判定部301は、車両2から自動運転の終了位置F1までの距離L3を算出する。そして、警報要否判定部301は、距離L3と所定値とを比較して、判定結果を出力する。例えば距離L3が1.5kmであれば、警報要否判定部301は、車両2から自動運転の終了位置F1までの距離1.5kmが所定値1km以下でないと判定する。そして、図8に示す処理を終了する。一方、例えば距離L3が0.8kmであれば、警報要否判定部301は、車両2から自動運転の終了位置F1までの距離0.8kmが所定値1km以下であると判定する。この場合、警報ECU30は、警報情報の生成処理(ステップS14)を行う。
警報ECU30の警報部302は、ステップS14として警報情報の生成又は取得を行う。警報部302は、例えば、車両2の現在位置又は車両2の前方の道路形状に基づいて、運転者が必要な運転操作を予測し、必要な運転操作に応じた警報情報を生成する。警報部302は、車両2が自動運転の終了位置に十分に近づいた場合には、自動運転の終了位置の道路形状に基づいて、運転者が必要な運転操作を予測し、必要な運転操作に応じた警報情報を生成してもよい。あるいは、警報部302は、例えば、参照可能な記憶装置に格納された警報情報を参照し、必要な運転操作に応じた警報情報を取得する。ここでは、ステアリング操作が必要である旨の警報情報が取得されたものとする。この場合、図3の(B)に示すように、警報部302は、ステアリング操作を促す画像G2を取得する。そして、警報ECU30は、警報情報の送信(ステップS16)を行う。
警報ECU30の警報部302は、ステップS16として警報情報を携帯端末4へ送信する。警報部302は、例えば、通信部21を介して、ステップS14で生成し又は取得した画像G2を携帯端末4へ送信する。そして、警報ECU30は、図8に示す処理を終了する。
携帯端末4の通信部40は、ステップS100として警報情報を受信する。通信部40は、例えば、ステップS16で送信された画像G2を受信する。そして、携帯端末4は、警報情報を受信すると、ステップS102として表示部41に表示する。携帯端末4は、例えば、ステップS100で受信した画像G2を表示する。携帯端末4は、例えば、表示されているコンテンツに重畳させて画像G2を表示する。これにより、位置P3において、警報情報である画像G2が携帯端末4の画面に表示される。携帯端末4は、警報情報を表示すると、図8に示す処理を終了する。
なお、図8では、車両2から自動運転の終了位置までの距離で警報の要否を判定する場合を例に説明したが、車両2から自動運転の終了位置までの到達時間で警報の要否を判定してもよい。
以上、警報ECU30では、警報要否判定部301により自動運転の終了位置F1までの距離LX又は到達時間が所定の距離K以下であると判定された場合に、警報部302により運転者に手動運転を開始させるための画像GXを携帯端末4の画面に表示させる。このため、この警報ECU30は、画像GXをダッシュボード固定のディスプレイなどにのみに表示する場合に比べて、携帯端末4に意識を集中させている運転者が手動運転の開始をしなければならない状況であることを気付き易くすることができる。
次に、警報システム1が警報情報の表示を更新する処理、及び、警報情報の表示を終了する処理を説明する。図9は、第1実施形態に係る警報システムの警報処理を説明するフローチャートである。図9では、図8の処理が完了し、携帯端末4の画面に警報情報が表示されているものとする。ここでは、図4〜図7に示す位置P3において、警報情報である画像G2が携帯端末4の画面に表示されている場合を例にして説明する。
警報ECU30の手動運転判定部303は、ステップS20として、運転者が運転に復帰したか否かを判定する。つまり、手動運転判定部303は、ステップS20として、運転者が手動運転を開始したか否かを判定する。例えば、図5に示す位置P6において、運転者がステアリングを掴んだとする。この場合、手動運転判定部303は、ハンドルタッチセンサ28により検知された圧力が所定値以上でない場合には、運転者が手動運転を開始していないと判定する。あるいは、手動運転判定部303は、車両2の周辺環境情報に基づいて車両2の前方の走行場面を認識し、規範運転操作を演算する。ここでは、車両2の前方の道路がカーブであるとする。この場合、手動運転判定部303は、車両2の周辺環境情報に基づいてカーブの形状を認識し、カーブの形状に沿った規範となるステアリング操作を演算する。そして、手動運転判定部303は、操舵センサ27の検出結果に基づいて、運転者が実際に行っているステアリング操作を取得する。そして、手動運転判定部303は、規範となるステアリング操作と運転者が実際に行っているステアリング操作とを比較し、比較結果に基づいて手動運転を開始したか否かを判定する。手動運転判定部303は、例えば、規範となるステアリング操作の操作方向と運転者によるステアリング操作の操作方向とが、同一であるか否かを判定する。手動運転判定部303は、同一でない場合には、運転者が手動運転を開始していないと判定する。
警報ECU30は、手動運転判定部303により運転者が手動運転を開始していないと判定された場合、警報情報の生成処理(ステップS22)を行う。
警報ECU30の警報部302は、ステップS22として警報情報の生成又は取得を行う。ステップS22では、既に警報情報が携帯端末4の画面に表示されているため、警報部302は、更新用の警報情報を生成又は取得を行う。警報部302は、ステップS14と同様に警報情報を生成する。ここでは、ステップS14で警報部302がステアリング操作の画像を生成しているものとする。例えば、図4の位置P3にて、ステアリング操作の画像G2を生成し、携帯端末4の画面に表示されているとする。さらに、車両2は位置P3から位置P4へ移動したとする。警報部302は、車両2から自動運転の終了位置F1までの距離L4に基づいて、画像G2の大きさを変更する。例えば、警報部302は、距離LXが短くなるほど大きさの大きい画像G2を記憶装置から取得する。あるいは、警報部302は、距離LXが短くなるほど画像の大きさを大きく変更する係数を用いて、画像G2を生成してもよい。このように、警報部302は、位置P4において表示させる画像として、位置P3で表示させた画像G2よりも大きい画像G2を生成又は取得する。そして、警報ECU30は、警報情報の送信(ステップS24)を行う。
警報ECU30の警報部302は、ステップS24として警報情報を携帯端末4へ送信する。警報部302は、例えば、通信部21を介して、ステップS22で生成し又は取得した画像G2を携帯端末4へ送信する。携帯端末4の通信部40は、ステップS104として警報情報を受信する。通信部40は、例えば、ステップS24で送信された画像G2を受信する。そして、携帯端末4は、警報情報を受信すると、ステップS106として表示部41に表示する。携帯端末4は、例えば、ステップS104で受信した画像G2を表示する。携帯端末4は、例えば、表示されているコンテンツに重畳させて画像G2を表示する。これにより、図4に示すように、位置P4において、位置P3で表示された画像G2よりも大きな画像G2が携帯端末4の画面に表示される。このように、警報部302は、携帯端末4に表示される警報情報の表示度合いを変更する。
次に、警報ECU30の警報部302は、ステップS26として警報情報の終了判定を行う。警報部302は、車両2から自動運転の終了位置までの距離又は到達時間が終了閾値以下であるか否かを判定する。警報ECU30は、警報部302が車両2から自動運転の終了位置までの距離又は到達時間が終了閾値以下でないと判定した場合には、ステップS20に戻る。そして、手動運転判定部303は、運転者が運転に復帰したか否かを判定する。警報ECU30は、運転者が運転に復帰していない場合には、ステップS22〜ステップS26を実行する。このように、警報部302は、車両2から自動運転の終了位置までの距離又は到達時間が終了閾値以下でない場合であって、運転者が運転に復帰しない場合には、警報情報の表示度合いを大きくするように更新し、更新した警報情報を携帯端末4へ送信し、携帯端末4の表示部41に表示させる。これにより、携帯端末4の表示部41では、図4の位置P3〜位置P5に示すように、自動運転の終了位置F1に近づくに従って警報情報の表示度合いが大きくなる。
警報部302は、車両2から自動運転の終了位置F1までの距離又は到達時間が終了閾値以下となった場合には、警報表示終了指示の処理(ステップS28)を行う。警報ECU30は、ステップS28として携帯端末4へ警報表示を終了する指示を送信する。携帯端末4は、ステップS108として警報表示終了の指示を受信する。そして、携帯端末4は、ステップS110として表示部41に表示していた警報情報の表示を終了する。これにより、例えば図5の位置P6に示すように、携帯端末4の表示部41に表示されていた画像G2の表示が消える。
そして、警報部302は、ステップS30として自動運転の終了を運転者に報知する。警報部302は、例えば、図6の位置P7に示すように、携帯端末4の画面に自動運転の終了を報知する画像G5を表示させる。そして、警報ECU30は、図8に示す処理を終了する。
一方、警報ECU30は、手動運転判定部303により運転者が手動運転を開始したと判定された場合、警報表示終了指示の処理(ステップS32)を行う。警報ECU30は、ステップS32として携帯端末4へ警報表示を終了する指示を送信する。携帯端末4は、ステップS108として警報表示終了の指示を受信する。そして、携帯端末4は、ステップS110として表示部41に表示していた警報情報の表示を終了する。これにより、例えば図5の位置P6に示すように、携帯端末4の表示部41に表示されていた画像G2の表示が消える。
以上で、警報ECU30は、図9に示す処理を終了する。図9に示す処理が実行されることにより、車両2が自動運転の終了位置F1に近づくに従って警報情報の表示が大きくなる。このため、本実施形態に係る警報ECU30によれば、携帯端末4に意識を集中させている運転者が手動運転の開始をしなければならない状況であることを、車両2が自動運転の終了位置F1へ近づくほど気付き易くすることができる。
また、本実施形態に係る警報部302によれば、手動運転判定部303により運転者が手動運転を開始したと判定された場合には、携帯端末4の警報情報の表示を終了させるため、手動運転を開始した運転者にとって不要な警報情報の表示を終了させることができる。
また、手動運転判定部303は、車両2の周辺環境情報に基づいて演算される規範運転操作と、運転者による運転操作とを比較し、比較結果に基づいて手動運転を開始したか否かを判定する。このため、本実施形態に係る警報ECU30によれば、運転者による手動運転が規範運転操作に照らして適切に行われていることを判定することができるので、例えば誤操作により運転者が手動運転を開始したと判定し、警報情報の表示を終了させることを回避することができる。
[第2実施形態]
次に、第2実施形態に係る警報システム1Aについて説明する。第2実施形態に係る警報システム1Aは、第1実施形態に係る警報システム1と比べて、車両2の警報ECU30の機能が携帯端末4A側にある点で相違する。
最初に、第2実施形態に係る警報システム1Aの構成を説明する。図10は、第2実施形態に係る警報システム1Aの構成を示すブロック図である。図10に示すように、車両2Aは、第1実施形態で説明した車両2Aの構成から警報ECU30を除いた構成である。また、携帯端末4Aは、第1実施形態で説明した携帯端末4の構成に警報ECU30に相当する制御部30Aを追加した構成である。
制御部30Aは、自動運転判定部300A、警報要否判定部(判定部)301A、警報部(警報部)302A及び手動運転判定部303Aを備えている。
自動運転判定部300Aは、車両2Aが自動運転を実行中であるか否かを判定する。具体的には、自動運転判定部300Aは、自動運転を実行中であるか否かを特定することができる情報を、通信部40を介して車両2Aから取得する。その他の機能は、第1実施形態で説明した自動運転判定部300と同一である。自動運転判定部300Aは、判定結果を警報要否判定部301Aに出力する。
警報要否判定部301Aは、車両2Aの自動運転中に、警報の要否を判定する。警報要否判定部301Aは、判定に用いられる情報を、通信部40を介して車両2Aから取得する。その他の機能は、第1実施形態で説明した警報要否判定部301と同一である。
警報部302Aは、警報要否判定部301Aにより自動運転の終了位置までの距離又は到達時間が所定値以下であると判定された場合に、運転者に手動運転を開始させるための警報情報を携帯端末4Aの表示部41(画面)に表示させる。警報部302Aは、警報情報を車両2Aから取得してもよいし、他の記憶装置から取得してもよい。その他の機能は、第1実施形態で説明した警報部302と同一である。
手動運転判定部303Aは、運転者が手動運転を開始したか否かを判定する。手動運転判定部303Aは、判定に用いられる情報を、通信部40を介して車両2Aから取得する。その他の機能は、第1実施形態で説明した手動運転判定部303と同一である。
次に、警報システム1Aの警報処理を説明する。図11は、第2実施形態に係る警報システム1Aの警報処理を説明するフローチャートである。図11では、車両2Aの通信部21と携帯端末4Aの通信部40とが互いに通信可能な状態にされているものとする。
図11に示すように、携帯端末4Aの自動運転判定部300Aは、ステップS110として自動運転判定を行う。自動運転判定部300Aは、例えば、自動運転ECU20が出力したフラグ情報を車両2Aから取得し、車両2Aが自動運転を実行中であるか否かを判定する。判定方法は、ステップS10と同一である。制御部30Aは、自動運転判定部300Aにより自動運転が実行中ではないと判定された場合、図11に示す処理を終了する。一方、制御部30Aは、自動運転判定部300Aにより自動運転が実行中であると判定された場合、警報要否判定処理(ステップS112)を行う。
制御部30Aの警報要否判定部301Aは、ステップS112として警報要否判定を行う。警報要否判定部301Aは、通信部40を介して車両2Aから情報を取得して、車両2Aから自動運転の終了位置までの距離又は到達時間が所定値以下であるか否かを判定する。判定方法は、ステップS12と同一である。制御部30Aは、警報要否判定部301Aにより車両2Aから自動運転の終了位置F1までの距離が所定値以下でないと判定された場合、図11に示す処理を終了する。一方、制御部30Aは、警報要否判定部301Aにより車両2Aから自動運転の終了位置F1までの距離が所定値以下であると判定された場合、警報情報の生成処理(ステップS114)を行う。
制御部30Aの警報部302Aは、ステップS114として警報情報の生成又は取得を行う。生成方法又は取得方法は、ステップS14と同一である。そして、制御部30Aは、警報情報の表示(ステップS116)を行う。
制御部30Aの警報部302Aは、ステップS116として表示部41に警報情報を表示する。携帯端末4Aは、警報情報を表示すると、図11に示す処理を終了する。
以上、制御部30Aでは、警報要否判定部301Aにより自動運転の終了位置までの距離又は到達時間が所定値以下であると判定された場合に、警報部302Aにより運転者に手動運転を開始させるための画像を運転者の携帯端末4Aの画面に表示させる。このため、この制御部30Aは、警報情報をダッシュボード固定のディスプレイなどにのみに表示する場合に比べて、携帯端末4に意識を集中させている運転者が手動運転の開始をしなければならない状況であることを気付き易くすることができる。
次に、警報システム1Aが警報情報の表示を更新する処理、及び、警報情報の表示を終了する処理を説明する。図12は、第2実施形態に係る警報システム1Aの警報処理を説明するフローチャートである。図12では、図11の処理が完了し、携帯端末4Aの画面に警報情報が表示されているものとする。ここでは、図4〜図7に示す位置P3において、警報情報である画像G2が携帯端末4Aの画面に表示されている場合を例にして説明する。
制御部30Aの手動運転判定部303Aは、ステップS120として、運転者が運転に復帰したか否かを判定する。手動運転判定部303Aは、通信部40を介して車両2Aから情報を取得して、運転者が手動運転を開始したか否かを判定する。判定方法は、ステップS20と同一である。制御部30Aは、手動運転判定部303Aにより運転者が手動運転を開始していないと判定された場合、警報情報の生成処理(ステップS122)を行う。
制御部30Aの警報部302Aは、ステップS122として警報情報の生成又は取得を行う。ステップS122では、既に警報情報が携帯端末4Aの画面に表示されているため、警報部302Aは、更新用の警報情報を生成又は取得を行う。警報情報の生成又は取得については、ステップS22と同一である。そして、制御部30Aは、警報情報の表示(ステップS124)を行う。
制御部30Aの警報部302Aは、ステップS124として警報情報を携帯端末4の表示部41に表示させる。携帯端末4Aは、例えば、表示されているコンテンツに重畳させて警報情報である画像を表示する。
次に、制御部30Aの警報部302Aは、ステップS126として警報情報の表示の終了判定を行う。警報部302Aは、通信部40を介して車両2Aから情報を取得して、車両2から自動運転の終了位置までの距離又は到達時間が終了閾値以下であるか否かを判定する。制御部30Aは、警報部302Aが車両2から自動運転の終了位置までの距離又は到達時間が終了閾値以下でないと判定した場合には、ステップS120に戻る。そして、手動運転判定部303Aは、運転者が運転に復帰したか否かを判定する。制御部30Aは、運転者が運転に復帰していない場合には、ステップS122〜ステップS126を実行する。このように、警報部302Aは、車両2Aから自動運転の終了位置までの距離又は到達時間が終了閾値以下でない場合であって、運転者が運転に復帰しない場合には、警報情報の表示度合いを大きくするように更新して携帯端末4Aの表示部41に表示させる。
警報部302Aは、車両2Aから自動運転の終了位置までの距離又は到達時間が終了閾値以下となった場合には、ステップS128として警報情報の表示を終了する。そして、警報部302Aは、ステップS130として自動運転の終了を運転者に報知する。そして、制御部30Aは、図12に示す処理を終了する。
一方、制御部30Aは、手動運転判定部303Aにより運転者が手動運転を開始したと判定された場合、ステップS132として警報情報の表示を終了し、図12に示す処理を終了する。
以上で、制御部30Aは、図12に示す処理を終了する。図12に示す処理が実行されることにより、車両2Aが自動運転の終了位置に近づくに従って警報情報の表示が大きくなる。このため、本実施形態に係る制御部30Aによれば、携帯端末4Aに意識を集中させている運転者が手動運転の開始をしなければならない状況であることを、車両2Aが自動運転の終了位置へ近づくほど気付き易くすることができる。
また、本実施形態に係る警報部302Aによれば、手動運転判定部303Aにより運転者が手動運転を開始したと判定された場合には、携帯端末4Aの警報情報の表示を終了させるため、手動運転を開始した運転者にとって不要な警報情報の表示を終了させることができる。
また、手動運転判定部303Aは、車両2Aの周辺環境情報に基づいて演算される規範運転操作と、運転者による運転操作とを比較し、比較結果に基づいて手動運転を開始したか否かを判定する。このため、本実施形態に係る制御部30Aによれば、運転者による手動運転が規範運転操作に照らして適切に行われていることを判定することができるので、例えば誤操作により運転者が手動運転を開始したと判定し、警報情報の表示を終了させることを回避することができる。
以上、前述した各実施形態は、本発明に係る警報システムの一実施形態であり、本発明に係る警報システムは上記各実施形態に記載された内容に限定されない。
例えば、前述した各実施形態では、自動運転の終了位置までの距離又は到達時間を用いて警報情報の表示度合いを変更する例を説明したが、警報システムは、手動運転を開始しない場合における危険度をさらに考慮して、警報情報の表示度合いを変更してもよい。例えば、警報システムは、危険度が大きい場合には、警報情報の表示度合いを大きくする。これにより、警報システムは、携帯端末4Aに意識を集中させている運転者が手動運転の開始をしなければならない状況であることを、危険度が高い状況ほど気付き易くすることができる。
また、前述した第1実施形態では、警報ECU30は自動運転判定部300及び手動運転判定部303を有する例を説明したが、警報ECU30は、少なくとも警報要否判定部301及び警報部302を備えていればよい。同様に、前述した第2実施形態では、制御部30Aは自動運転判定部300A及び手動運転判定部303Aを有する例を説明したが、制御部30Aは、少なくとも警報要否判定部301A及び警報部302Aを備えていればよい。
また、前述した第2実施形態では、携帯端末4Aが第1実施形態に係る警報ECU30の各機能の全てを実行可能に構成された場合を説明したが、携帯端末4Aが第1実施形態に係る警報ECU30の各機能の一部を実行可能に構成された場合であってもよい。つまり、本発明の警報システムは、車両2及び携帯端末4の何れか一方が、第1実施形態で説明された自動運転判定部300、警報要否判定部301、警報部302及び手動運転判定部303を備えていればよく、これらの構成要素の配置に限定されるものではない。
また、前述した各実施形態では、警報ECU30の取得する車両の周辺環境情報には路車間通信により得られる情報(インフラ情報)が含まれる例を説明したが、車両2の位置情報又は地図情報をインフラ情報から取得してもよい。さらに、前述した第1実施形態では、警報ECU30と携帯端末4とが通信して、携帯端末4の画面に警報情報を表示する例を説明したが、インフラ装置(不図示)と携帯端末4とが通信して、携帯端末4の画面に警報情報を表示してもよい。この場合、インフラ装置及び携帯端末4の何れか一方が、第1実施形態で説明された自動運転判定部300、警報要否判定部301、警報部302及び手動運転判定部303を備えていればよい。
また、前述した各実施形態では、警報情報として、ステアリング操作、アクセル操作及びブレーキ操作に関する情報を含む例を説明したが、運転者が周囲の安全を確認する運転者確認行動に関する情報をさらに含んでもよい。この場合、警報装置は、運転者が運転者確認行動を開始したか否かを判定する行動判定部を備えてもよい。例えば、行動判定部は、運転者を監視するドライバモニタカメラ29により取得された画像などを用いて、運転者が運転者確認行動を開始したか否かを判定してもよい。そして、警報部は、行動判定部により運転者が運転者確認行動を開始したと判定された場合には、携帯端末の警報情報の表示を終了させてもよい。このように構成した場合であっても、携帯端末に意識を集中させている運転者が手動運転の開始をしなければならない状況であることを気付き易くすることができるとともに、運転者が運転を開始した場合には警報を終了させることができる。
また、本開示は、以下の項目に記載の警報装置、警報システム及び携帯端末を含む。
[項目1]
自動運転を行う車両の運転者が運転席で使用する携帯端末と通信可能に構成され、携帯端末を用いて運転者に警報を行う車両の警報装置であって、
自動運転中に、車両の位置情報及び地図情報、又は、車両の周辺環境情報に基づいて、車両から自動運転の終了位置までの距離又は到達時間が所定値以下であるか否かを判定する判定部と、
判定部により、車両から自動運転の終了位置までの距離又は到達時間が所定値以下であると判定された場合に、運転者に手動運転を開始させるための警報情報を携帯端末の画面に表示させる警報部と、を備える警報装置。
[項目2]
警報情報は、ステアリング操作、アクセル操作又はブレーキ操作に関する情報を含む項目1に記載の警報装置。
[項目3]
警報部は、車両から自動運転の終了位置までの距離又は到達時間が短くなるほど表示度合いが大きくなるように警報情報を携帯端末の画面に表示させる項目1又は2に記載の警報装置。
[項目4]
運転者が手動運転を開始したか否かを判定する手動運転判定部を備え、
警報部は、手動運転判定部により運転者が手動運転を開始したと判定された場合には、携帯端末の警報情報の表示を終了させる項目1〜3の何れか一項に記載の警報装置。
[項目5]
手動運転判定部は、車両の周辺環境情報に基づいて演算される規範運転操作と、運転者による運転操作とを比較し、比較結果に基づいて運転者が手動運転を開始したか否かを判定する項目4に記載の警報装置。
[項目6]
自動運転を行う車両の運転者が運転席で使用する携帯端末と、携帯端末と通信可能に構成され、携帯端末を用いて運転者に警報を行う車両の警報装置と、を備える警報システムであって、
自動運転中に、車両の位置情報及び地図情報、又は、車両の周辺環境情報に基づいて、車両から自動運転の終了位置までの距離又は到達時間が所定値以下であるか否かを判定する判定部と、
判定部により、車両から自動運転の終了位置までの距離又は到達時間が所定値以下であると判定された場合に、運転者に手動運転を開始させるための警報情報を携帯端末の画面に表示させる警報部と、を有する警報システム。
[項目7]
自動運転を行う車両と通信可能に構成され、画面を有し、車両の運転者が運転席で使用する携帯端末であって、
自動運転中の車両との通信を介して、車両の位置情報及び地図情報、又は、車両の周辺環境情報に基づいて、車両から自動運転の終了位置までの距離又は到達時間が所定値以下であるか否かを判定する判定部と、
判定部により、車両から自動運転の終了位置までの距離又は到達時間が所定値以下であると判定された場合に、車両の運転者に手動運転を開始させるための警報情報を画面に表示させる警報部と、を備える携帯端末。