JP6299323B2 - 情報呈示装置及び情報呈示方法 - Google Patents

Description

本発明は、車両の走行制御を自動的に行う自動運転制御と運転者による手動運転制御とを切り換え可能な自動走行車両に用いる情報呈示装置及びその方法に関する。

近年では、自動運転システムによって車両の走行制御を自動的に行う自動走行車両が開発されている。このような自動走行車両では、自動運転制御時に運転者の意識をテストして意識レベルを判定することが行われており、従来では自動走行制御可能な車両におけるドライバの意識レベル判定方法として特許文献１が開示されている。

特許文献１に開示されたドライバの意識レベル判定方法では、所定の運転時間が経過すると運転者に対してテスト事項を与え、その応答を評価して運転者の意識レベルを判定していた。

ここで、自動走行車両の運転者は、自動運転制御時には自動運転システムに運転を任せているので、手動運転時では当たり前に行われていた周囲環境への認識や自車両の状態把握を欠いている可能性が高い。ところが、運転者がこのような状態であるにも関わらず、自動走行車両では自動運転制御から手動運転制御へ切り替わることがあるので、運転者は自動運転システムに代わっていつでも運転を引き継げる状態であることが要求されている。

特開平１１−１８５２００号公報

しかしながら、上述した従来のドライバの意識レベル判定方法では、運転者の意識の有無を判定しているだけなので、運転者が自動運転制御から手動運転制御へ引き継ぎ可能な状態であるか否かを確認することはできないという問題点があった。

そこで、本発明は、上述した実情に鑑みて提案されたものであり、運転者が自動運転制御から手動運転制御へ引き継ぎ可能な状態であることを確認することのできる情報呈示装置及びその方法を提供することを目的とする。

上述した課題を解決するために、本発明の一態様に係る情報呈示装置は、自動運転制御と手動運転制御とを切り換え可能な自動走行車両に用いるものである。この情報呈示装置は、運転者が自動運転制御から手動運転制御へ引き継ぎ可能な状態であることを確認するための確認操作行為として、現在実行されている運転操作に合わせたジェスチャーを決定し、決定された確認操作行為のジェスチャーを運転者に実行させるための制御を行い、運転者によって実行されたジェスチャーを検出する。

本発明によれば、運転者が自動運転制御から手動運転制御へ引き継ぎ可能な状態であることを確認できるので、自動走行車両において自動運転制御から手動運転制御へ切り替えられても安全に走行を継続することができる。

図１は、本発明の第１実施形態に係る情報呈示装置の構成を示すブロック図である。 図２は、本発明の第１実施形態に係る情報呈示装置による確認操作行為制御ループの処理手順を示すフローチャートである。 図３は、本発明の第１実施形態に係る情報呈示装置によって運転者に対して確認操作行為を要求する際の表示の一例を示す図である。 図４は、本発明の第１実施形態に係る情報呈示装置によって運転者に対して確認操作行為を要求する際の表示の一例を示す図である。 図５は、本発明の第１実施形態に係る情報呈示装置によって運転者に対して確認操作行為を要求する際の表示の一例を示す図である。 図６は、本発明の第１実施形態に係る情報呈示装置による確認操作行為の実行判定処理の処理手順を示すフローチャートである。 図７は、本発明の第１実施形態に係る情報呈示装置による自動運転制御ループの処理手順を示すフローチャートである。 図８は、本発明の第２実施形態に係る情報呈示装置によって運転者に対してタスクの入力を要求する際の表示の一例を示す図である。 図９は、本発明の第２実施形態に係る情報呈示装置による確認操作行為の実行判定処理の処理手順を示すフローチャートである。 図１０は、本発明の第３実施形態に係る情報呈示装置の構成を示すブロック図である。 図１１は、本発明の第３実施形態に係る情報呈示装置による確認操作行為の実行判定処理の処理手順を示すフローチャートである。

以下、本発明を適用した第１〜第３実施形態について図面を参照して説明する。

［第１実施形態］
［情報呈示装置の構成］
図１は本実施形態に係る情報呈示装置の構成を示すブロック図である。図１に示すように、本実施形態に係る情報呈示装置１は、運転者解析部３と、運転者反応記録部５と、確認操作行為決定部７と、確認操作行為制御部９と、タスク入力部１１と、表示イメージ生成部１３と、警報制御部１５と、音声生成部１７とを備えている。さらに、情報呈示装置１は、周囲環境認識部２１と、旅程制御部２３と、自車挙動生成部２５と、自車挙動決定部２７と、車両挙動制御部２９と、車両状態検出部３１とを備えている。

本実施形態に係る情報呈示装置１は、車両の走行制御を自動的に行う自動運転制御と運転者による手動運転制御とを切り換え可能な自動走行車両（以下、車両という）に搭載されている。また、車両には自動運転システムが搭載されており、この自動運転システムが車両の走行状態及び外部環境に基づいて車両の走行制御を自動的に行っている。そして、自動運転システムは、所定のタイミングや必要に応じて自動運転制御から手動運転制御へ切り替える。例えば、運転者がステアリングに手を添えたり、ペダルに足を置いたりすると、ステアリング及びペダルに設置されたセンサが検出して自動運転システムが直ちに操作権限を運転者に引き渡すように制御する。このとき、自動運転システムは、運転者の操作内容にしたがって、ステアリングとペダルの操作権限をそれぞれ独立に引き渡している。

運転者解析部３は、車両に搭載されている各装置から運転者の状態及び動作を検出するとともに車両の操作状況等の情報を取得して、運転者がどのような状態で、どのような動作や運転操作を行ったかを解析する。特に、本実施形態の運転者解析部３は、車両状態検出部３１に接続されており、車両のステアリングやペダル等の移動量に関する車両情報を取得して、運転者が行った手動運転を解析し、運転者によって実行された確認操作行為を検出する。尚、本実施形態における手動運転には、運転者によるペダル操作とステアリング操作が含まれている。すなわち、ペダル操作かステアリング操作のいずれか、またはその両方を含んでいる。

また、運転者解析部３は、運転者の生体信号を解析して運転者の覚醒水準や疲労度、運転精度、運転安定度等を推定することも可能である。運転者解析部３は、生理情報として脳波のα波、θ波、心拍数、心拍波形の周波数分析、呼吸数、眼球運動頻度、閉眼時間、頭部姿勢、唾液のコルチゾール及びアミラーゼを取得する。また、運転者解析部３は、車両情報として車両横位置変動量と、行動情報として操舵パターン、操舵波形の周波数分析等を取得し、これらの情報に基づいて覚醒水準や疲労度、運転精度、運転安定度を推定する。

運転者反応記録部５は、運転者の状態や運転者が行った動作及び運転操作等の運転者が行った反応を記録する。具体的に、運転者反応記録部５は、運転者解析部３で解析された結果や運転者による手動運転、タスク入力部１１から入力されたタスク、確認操作行為の実行の有無等の情報を記録する。特に、運転者反応記録部５は、確認操作行為として実行された手動運転だけではなく、自発的に実行された手動運転や自動運転システムが対応できない状況における不可避の手動運転等のすべての手動運転を記録する。

確認操作行為決定部７は、車両の運転者が自動運転制御から手動運転制御へ引き継ぎ可能な状態であることを確認するための確認操作行為を決定する。ここで、本実施形態の確認操作行為とは、運転者が手動運転時に行う操作のプロセスを実行できることを確認するためのものである。通常、運転者が手動運転を行う場合には、車両の周囲の状況を「認知」して、どのような操作を行うべきかを「判断」し、その判断に基づいて車両を「操作」するというプロセスが実行されている。そこで、本実施形態では、これらのプロセスのうち「操作」のプロセスを運転者が実行できることを確認するための確認操作行為を設定し、この確認操作行為を運転者に実行させることで、運転者が自動運転制御から手動運転制御へ引き継ぎ可能な状態であることを確認する。ただし、運転者が操作のプロセスを実行できれば、運転者は認知、判断のプロセスについても実行できているので、本実施形態の情報呈示装置１は、運転者が認知と判断と操作のプロセスを実行できることを確認できる。

具体的に、確認操作行為決定部７は、自車挙動生成部２５で生成された自車挙動の候補を複数取得するとともに、自車挙動生成部２５から周囲環境における安全走行可能領域情報と障害物配置情報とを取得する。そして、確認操作行為決定部７は、これらの情報に基づいて、運転者がどのような手動運転をした場合に自動運転制御から手動運転制御へ引き継ぎ可能な状態であるかを判断して確認操作行為を決定する。例えば、確認操作行為決定部７は、障害物配置情報から車両前方の障害物の位置を特定し、障害物を回避する運転操作を確認操作行為として決定する。あるいは、確認操作行為決定部７は、自動運転システムが選択した自車挙動の走行軌道に合わせて車両を右折や左折させる運転操作を確認操作行為として決定してもよい。この他にも、確認操作行為決定部７は車線変更や加減速、停車、発進、一時停止等の運転操作を確認操作行為として決定してもよい。

確認操作行為制御部９は、確認操作行為決定部７で決定された確認操作行為を運転者に実行させるための制御を行う。具体的に、確認操作行為制御部９は、運転者に確認操作行為の実行を要求するタイミングを決定したり、運転者が確認操作行為を実行したか否かを判定して承認フラグを設定したりする。

タスク入力部１１は、自車挙動生成部２５で生成された自車挙動の候補を取得し、この自車挙動の候補を表示装置３３にタスクとして表示する。運転者は、タッチパネル機能を備えた表示装置３３に触れることで、表示されたタスクの中から直後に実行されるタスクを選択して車両を操作する。ここで、タスクとは、直進、右左折、左右への車線変更、停車、発進、加速、減速等の運転操作の最小単位であり、運転者に提供される表示画面には、直進や右左折等のタスクを表すピクトグラムが表示される。尚、タスクを表示する際に、タスク入力部１１は、自動運転システムが選択したタスク、運転者が選択可能なタスク、運転者が選択できないタスクのいずれであるかを識別できるように表示する。したがって、運転者は、選択可能なタスクの中から自動運転システムが選択しなかったタスクを選ぶことによって、タスクを変更することが可能となる。最終的な車両の挙動は自車挙動決定部２７によって決定されるが、タスク入力部１１から入力されたタスクが優先して自車挙動に決定される。

表示イメージ生成部１３は、表示装置３３に接続されており、運転者に確認操作行為の実行を要求する場合やタスクを表示する場合等に、運転者に提示する表示イメージを生成して表示装置３３に出力する。表示装置３３は、液晶ディスプレイ等で構成され、例えば運転者の正面の下方に角度１０度、視距離９０ｃｍの位置に配置されている。また、表示装置３３はタッチパネル機能を備え、運転者からの入力を受け付ける。

警報制御部１５は、警報音発生部３５に接続され、確認操作行為制御部９からの情報を取得して警報が必要と判断した場合には、適切な警報音を設定して警報音発生部３５に信号を出力する。また、警報制御部１５は、警報が必要な場合に、表示イメージ生成部１３に対しても信号を出力して表示装置３３に警報イメージが表示されるようにする。同様に、警報制御部１５は、音声生成部１７に対しても信号を出力してスピーカ３７から警報メッセージが出力されるようにする。

音声生成部１７は、スピーカ３７に接続されており、運転者に確認操作行為の実行を要求する場合等に適切なメッセージを生成してスピーカ３７に出力する。

周囲環境認識部２１は、カメラやレーダー、ＧＰＳ等の自車両に搭載されたセンサ群４１から自車両の周囲環境の情報を取得するとともに、データベース４３から地図データと自車両の現在位置情報を取得する。そして、これらの情報に基づいて、周囲環境認識部２１は自車両の周囲環境を認識して周囲環境情報を生成する。

旅程制御部２３は、データベース４３に格納されている地図データと自車両の現在位置情報を取得して、自車両の現在位置から目的地までの移動経路全体を管理する。また、旅程制御部２３は、自車両の移動経路全体の計画を記録した旅程計画情報を生成する。

自車挙動生成部２５は、周囲環境認識部２１から周囲環境情報を取得して自車両の周囲環境を認識し、旅程制御部２３から旅程計画情報を取得して自車両の移動経路を把握する。そして、これらの情報に基づいて、自車挙動生成部２５は、現時点における自車両の安全走行可能領域情報と障害物配置情報とを求め、自車両が安全走行可能領域内で走行し得る複数の自車挙動の候補（走行軌道と速度プロファイル）を算出する。

自車挙動決定部２７は、周囲環境認識部２１から周囲環境情報を取得して自車両の周囲環境を認識し、旅程制御部２３から旅程計画情報を取得して自車両の移動経路を把握する。そして、これらの情報に基づいて、自車挙動決定部２７は、自車挙動生成部２５で生成された自車挙動の候補の中から自車挙動を決定して車両挙動制御部２９へ出力する。尚、運転者が確認操作行為を実行する場合には、自車挙動決定部２７は、確認操作行為が周囲環境の現状に照らして有効か否かを逐一評価する。さらに、運転者によってタスク入力部１１からタスクが入力されると、自車挙動決定部２７は入力されたタスクを優先して自車挙動に決定する。

車両挙動制御部２９は、自車挙動決定部２７で決定された自車挙動を実行するために、自車両に搭載されている各アクチュエータ４５に対して制御信号を出力する。このとき、車両挙動制御部２９は、制御結果となる自車挙動を運転者解析部３に出力する。

車両状態検出部３１は、車両各部に設置されているセンサからの検出値を取得して車両情報を生成し、生成した車両情報を運転者解析部３に出力する。例えば、車両状態検出部３１は車両のステアリングやアクセルペダル、ブレーキペダル等に設置されたセンサからステアリングやペダルの移動量を取得して車両情報を生成する。

尚、情報呈示装置１は、マイクロコンピュータ、マイクロプロセッサ、ＣＰＵを含む汎用の電子回路と周辺機器から構成されており、特定のプログラムを実行することにより、上述した各部として動作する。

［確認操作行為制御ループの処理手順］
次に、本実施形態に係る情報呈示装置１による確認操作行為制御ループの処理手順を図２のフローチャートを参照して説明する。

図２に示すように、まずステップＳ１０１において、確認操作行為制御部９は、確認操作行為制御ループの処理に必要となるデータを読み込む。具体的に、確認操作行為制御部９は、運転者解析部３から車両状態検出部３１の車両情報を読み込み、周囲環境認識部２１から周囲環境情報を読み込み、旅程制御部２３から旅程計画情報を読み込む。また、確認操作行為制御部９は、運転者反応記録部５に記録されている運転者の反応履歴についても読み込む。

ステップＳ１０２において、確認操作行為制御部９は、読み込んだデータに基づいて、運転者に要求された確認操作行為とその確認操作行為に対する運転者の反応履歴を解析する。

そして、ステップＳ１０３において、確認操作行為制御部９は、確認操作行為の不実行回数が基準値以上であるか否かを判定する。ただし、確認操作行為の不実行には、運転者が確認操作行為の実行要求に対して無反応の場合や不適切な反応をした場合等が含まれている。そして、確認操作行為制御部９は、確認操作行為の不実行回数が基準値以上である場合にはステップＳ１０４に進み、確認操作行為の不実行回数が基準値未満である場合にはステップＳ１０５に進む。

ステップＳ１０４において、確認操作行為制御部９は、確認操作行為の不実行回数が基準値以上なので、承認フラグを「ｆａｌｓｅ」に設定する。これにより、確認操作行為制御部９は、運転者が自動運転制御を承認していないと判定して、自動運転制御を中断するように制御する。また、確認操作行為制御部９は、運転者が自動運転制御から手動運転制御へ引き継ぎ可能な状態ではないと判定する。さらに、確認操作行為制御部９は、承認フラグが「ｆａｌｓｅ」に設定されたことを自車挙動決定部２７に入力する。

こうして、承認フラグが「ｆａｌｓｅ」に設定されると、本実施形態に係る確認操作行為制御ループは終了する。

一方、ステップＳ１０５では、確認操作行為決定部７が、運転者に要求する確認操作行為を決定する。具体的に、確認操作行為決定部７は、自車挙動生成部２５から自車挙動の候補を複数取得するとともに、安全走行可能領域情報と障害物配置情報を取得する。そして、確認操作行為決定部７は、これらの情報に基づいて、運転者が自動運転制御から手動運転制御へ引き継ぎ可能な状態であることを確認するための確認操作行為を決定する。例えば、確認操作行為として運転者に要求される運転操作は、右左折、追越し、左右への車線変更、加減速、合流、停車、発進、一時停止、前車追従等である。これらの運転操作は周囲環境を考慮して実行可能な運転操作である。また、自車両の旅程全体から考えて合理的な運転操作が確認操作行為の選択肢として設定される。

次に、ステップＳ１０６において、確認操作行為制御部９は、確認操作行為を運転者に要求するタイミングを決定する。具体的に、確認操作行為制御部９は、運転者解析部３から運転者の状態の解析結果や車両情報を取得し、運転者反応記録部５から前回の確認操作行為が実行されたタイミングや経過時間の情報を取得する。また、確認操作行為制御部９は、確認操作行為決定部７から安全走行可能領域情報と障害物配置情報を取得し、自車両の自動運転システムから走行制御に関する情報を取得する。そして、これらの情報に基づいて、確認操作行為制御部９は確認操作行為を運転者に要求するタイミングを決定する。

例えば、確認操作行為制御部９は、所定時間の経過毎、あるいは自車両が所定回数の走行制御を行う毎に確認操作行為の実行を運転者に要求する。また、確認操作行為制御部９は、運転者の状態に基づいて確認操作行為を運転者に要求するタイミングを設定してもよい。例えば、確認操作行為制御部９は、運転者が覚醒していないことを検出した場合、あるいは運転者が前方を監視していないことを検出した場合に確認操作行為の実行を運転者に要求する。さらに、運転者の実行した手動運転を解析し、その解析結果に基づいて確認操作行為を運転者に要求するタイミングを設定してもよい。例えば、運転者の実行した手動運転を解析し、運転者の覚醒水準や運転精度、運転安定度が高ければ確認操作行為を要求するまでの時間を長く設定し、運転者の覚醒水準や運転精度、運転安定度が低ければ確認操作行為を要求するまでの時間を短く設定する。同様に、運転者の疲労度が高ければ確認操作行為を要求するまでの時間を短く設定し、運転者の疲労度が低ければ確認操作行為を要求するまでの時間を長く設定する。

さらに、確認操作行為制御部９は、自車両の走行状態及び外部状況に基づいて確認操作行為を運転者に要求するタイミングを設定してもよい。例えば、自車両の速度や渋滞状況、高速道路を走行しているか否か等に応じて確認操作行為を要求するタイミングを設定する。ただし、運転者が自らの判断で手動運転制御を行った場合や自動運転システムからの情報に促されて手動運転を行った場合には、手動運転が安全に実行される限りは確認操作行為に準ずる行為とみなすことができる。そこで、確認操作行為制御部９は、このような手動運転が行われた場合には、確認操作行為を運転者に要求するタイミングを遅らせるように制御したり、確認操作行為を要求する回数を減らしたりする。

尚、確認操作行為制御部９は、自動運転制御から手動運転制御へ引き継ぎが行われるタイミングが予め設定されている場合には、そのタイミングが近づくにしたがって確認操作行為の実行を運転者に要求する間隔を短くする。例えば、自動車専用道路から一般道へ降りるときに自動運転制御から手動運転制御へ引き継ぎが行われる場合には、一般道へ降りるタイミングが近づくにしたがって確認操作行為を運転者に要求する間隔を短くする。

次に、ステップＳ１０７において、確認操作行為制御部９は、ステップＳ１０６で決定した確認操作行為を要求するタイミングであるか否かを判定し、確認操作行為を要求するタイミングになっていない場合には継続して確認操作行為を要求するタイミングであるか否かを判定する。そして、確認操作行為を要求するタイミングになると、ステップＳ１０８に進む。

ステップＳ１０８において、確認操作行為制御部９は、運転者に対して確認操作行為の実行を要求する。このとき、確認操作行為制御部９は、運転者が手動運転を行うように促す情報として、表示装置３３への表示やスピーカ３７からのメッセージを提供する。例えば、「右へ車線変更できます」や「加速できます」等の手動運転を行うように促す情報を提供する。

ここで、運転者に対して確認操作行為の実行を要求する際の具体的な処理の一例として、自車両が現在、前車追従で車間を維持しつつ自動走行を行っているときに、確認操作行為として右への車線変更を運転者に要求する場合の処理について説明する。

図３に示すように、確認操作行為制御部９は「右へ車線変更してください」と表示装置３３に表示すると同時にスピーカ３７から音声で運転者に報知する。ここで、運転者が即座にステアリングを握ると、ステアリングに設置されたセンサが反応して運転者がステアリングを握ったことを検出し、運転権限が運転者に引き継がれる。この後、運転者は、右車線への車線変更を実行してから車両姿勢を車線に平行に戻してステアリングから手を離す。運転者がステアリングから手を離すと、センサが検知して、運転権限が自動運転システムに戻って通常の自動運転制御が再開される。

一方、「右へ車線変更してください」という指示に運転者が従わなかった場合には、確認操作行為制御部９は、右への車線変更が安全に実行可能な間は前車追従を維持しながら自動走行を継続して運転者の応答を待つ。あるいは車線変更を指示した後の所定時間、例えば３０秒が経過するまでの間だけ運転者の応答を待つようにしてもよい。このとき、確認操作行為制御部９は経過時間を表示装置３３に表示する。そして、周囲環境が変化して右への車線変更が安全に実行できなくなった場合、あるいは待ち時間が経過した場合には、確認操作行為制御部９は「確認操作行為は実行されませんでした」と表示装置３３に表示し、スピーカ３７から音声で告知する。この後、確認操作行為の不実施が所定の回数繰り返されると、確認操作行為制御部９は、運転者が確認操作行為を無視している、あるいは、次の運転操作の選択ができない状態にあると判断して、警報音発生部３５から警報を発生させ、表示画面を点滅させるように制御する。

尚、このとき、確認操作行為制御部９は、確認操作行為の実行を要求するための表示として、図４に示すようなピクトグラム表示を行ってもよい。図４に示すピクトグラム表示では、５１が右折、５２が左折、５３が左への車線変更、５４が右への車線変更、５５が直進（発進、前車追従）、５６が停車のピクトグラムを表示している。図４において、点線（左折５２、右車線変更５４）は運転者が選択できない運転操作であり、自動運転システムによって旅程全体のルートや周囲環境から実行不可能と判断された運転操作である。また、白抜き表示（直進５５）は現在実行中の運転操作であり、濃い色の表示（右折５１）は自動運転システムが指示した運転操作、薄い色の表示（左車線変更５３）は周囲環境から実施可能であるが確認操作行為として選択されなかった運転操作を表している。

また、確認操作行為制御部９は、図４に示したピクトグラム画像を、図５に示すように周辺視で認識できるように加工してもよい。この場合の表示は、輝度エッジを有しない空間周波数及び時間周波数のパターンを表示する。例えば、確認操作行為制御部９は、空間周波数が１ＣＰＤ（Ｃｙｃｌｅ Ｐｅｒ Ｄｅｇｒｅｅ）以下で時間周波数が１〜７Ｈｚを主成分とするパターンを表示装置３３に表示する。これにより、運転者は視線を表示装置３３に向けなくても周辺視で確認操作行為を認識することができる。

図５に示すピクトグラム画像は、ピクトグラムを構成する山型の要素が下から上に滑らかに移動して連続した流れを構成する。また、ピクトグラム画像が流れることによって視線を誘導しやすくなるため、高空間周波数成分を取り除くローパス・フィルタリング処理が画像全体に施されている。

図５では、現在実行中の運転操作を表すピクトグラムの流れる速度は、相対的に高く設定され、次に確認操作行為の運転操作、その次にデフォルト設定された運転操作の順でピクトグラムの流れる速度を低くする。このように、ピクトグラムに流れを付与することによって、各ピクトグラムは、色彩、流れの速度や方向、明暗等の複数の属性によって区別される。さらに、ピクトグラムは、画像処理によってぼかされるので、運転者は注視しなくても周辺視で見るだけで、現在実行中の運転操作、確認操作行為の運転操作、デフォルト設定された運転操作を識別することができる。具体的には、特開２００６−１８４８５４、舟川政美視野の時空間周波数特性に基づくアンビエント型情報表示法、自動車技術，４０，５，１１９１−１１９６．を参照すればよい。また、確認操作行為の運転操作を表すピクトグラムは、流れる代わりに点滅を繰り返すようにしてもよい。これにより、速度の違いによって区別する場合よりも弁別しやすくなる。ただし、矩形波状に明暗が変化する点滅では、煩わしくなって運転者の視線を誘導する恐れがあるため、サイン波状に滑らかな明暗変化となる点滅にしたほうがよい。

さらに、確認操作行為制御部９は、表示装置３３の表示に同期させて感覚刺激を運転者に提供してもよい。例えば、ステアリング等を通じて振動刺激を運転者に与えてもよいし、効果音を提供してもよい。これにより、運転者は情報が提供されていることを確実に感じることができる。

ステップＳ１０９において、確認操作行為制御部９は、運転者による手動運転と運転者に要求された確認操作行為とを比較して運転者が確認操作行為を実行したか否かを判定する。具体的な確認操作行為の実行判定処理については、図６を参照して後述する。

尚、運転者が確認操作行為ではなく他の運転操作を実行し、その運転操作が周囲環境を考慮して安全に実行可能である場合には、運転者が確認操作行為を実行したと判断してもよい。これは、確認操作行為が実行されたか否かよりも、運転者が周囲環境を認識し、安全性を判断して手動運転を行うことが、自動運転から手動運転へ引き継ぎ可能な状態であることを判定するために重要だからである。

そして、ステップＳ１０９において、運転者が確認操作行為を実行しなかったと判定された場合にはステップＳ１１０に進む。ステップＳ１１０では、確認操作行為制御部９が確認操作行為の不実行を運転者反応記録部５に入力してステップＳ１０１に戻る。

一方、ステップＳ１０９において、運転者が確認操作行為を実行したと判定された場合にはステップＳ１１１に進む。ステップＳ１１１では、確認操作行為制御部９が確認操作行為の実行を運転者反応記録部５に入力してステップＳ１１２へ進む。

ステップＳ１１２において、確認操作行為制御部９は承認フラグを「ｔｒｕｅ」に設定する。これにより、確認操作行為制御部９は、運転者が自動運転制御を承認していると判定して、自動運転制御を継続するように制御する。また、確認操作行為制御部９は、運転者が自動運転制御から手動運転制御へ引き継ぎ可能な状態であると判定する。さらに、確認操作行為制御部９は、承認フラグが「ｔｒｕｅ」に設定されたことを自車挙動決定部２７に入力する。

こうして、承認フラグが「ｔｒｕｅ」に設定されると、本実施形態に係る確認操作行為制御ループは終了する。

［確認操作行為の実行判定処理の手順］
次に、上述した確認操作行為制御ループのステップＳ１０９で実行される確認操作行為の実行判定処理の処理手順を、図６のフローチャートを参照して説明する。

図６に示すように、まずステップＳ２０１において、確認操作行為制御部９は、車両状態検出部３１によって検出された車両情報のデータを運転者解析部３から読み込む。これにより、確認操作行為制御部９は、運転者によるステアリングとペダルの操作量を認識することができる。

ステップＳ２０２において、確認操作行為制御部９は、車両状態検出部３１によって検出された車両情報から運転者による手動運転の内容を解析する。具体的に、確認操作行為制御部９は、運転者によるステアリングとペダルの操作量から手動運転が右左折であるのか、あるいは追越し、車線変更、加減速、合流、停車、発進、一時停止、前車追従等のいずれであるのかを求める。

ステップＳ２０３において、確認操作行為制御部９は、ステップＳ２０２の解析で求めた手動運転とステップＳ１０５で決定した確認操作行為とを比較して、運転者による手動運転が確認操作行為と整合しているか否かを判定する。そして、確認操作行為制御部９は、運転者による手動運転が確認操作行為と整合している場合にはステップＳ２０４に進む。ステップＳ２０４において、確認操作行為制御部９は、確認操作行為の実行を出力して運転者が自動運転制御から手動運転制御へ引き継ぎ可能な状態であると判定する。

一方、ステップＳ２０３において、運転者による手動運転が確認操作行為と整合していない場合にはステップＳ２０５に進む。ステップＳ２０５において、確認操作行為制御部９は、確認操作行為の不実行を出力して運転者が自動運転制御から手動運転制御へ引き継ぎ可能な状態ではないと判定する。

こうして確認操作行為の実行または不実行が出力されると、確認操作行為の実行判定処理を終了して確認操作行為制御ループへ戻る。

［自動運転制御ループの処理手順］
次に、本実施形態に係る情報呈示装置１による自動運転制御ループの処理手順を図７のフローチャートを参照して説明する。

図７に示すように、まずステップＳ３０１において、自車挙動生成部２５は、周囲環境認識部２１から周囲環境情報を読み込み、旅程制御部２３から旅程計画情報を読み込む。

ステップＳ３０２において、自車挙動生成部２５は、通常の自動運転システムのシステム論理にしたがって自車挙動の候補を生成する。この自車挙動の候補は複数生成され、自車両の走行軌道と速度プロファイルの情報を含んでいる。

ここで、自動運転システムのシステム論理とは、運転効率と安全性を考慮して自車挙動を決定するための論理である。例えば、目的地までの最短ルートを優先して自車挙動を決定したり、渋滞区間では距離よりも時間を優先して自車挙動を決定したりする。また、ルート上では、必要となる車線変更は行うものの安全性を優先して無駄な車線変更は行わないようにする。

このようなシステム論理にしたがって、自車挙動生成部２５は、右折や左折、直進等の走行軌道と、そのときの速度プロファイルを自車挙動の候補として複数生成する。

ステップＳ３０３において、自車挙動決定部２７は、確認操作行為制御部９からの入力に基づいて承認フラグが「ｔｒｕｅ」であるか否かを判定する。そして、自車挙動決定部２７は、承認フラグが「ｔｒｕｅ」である場合には自動運転の継続が承認されているものと判断してステップＳ３０４に進み、承認フラグが「ｔｒｕｅ」でない場合にはステップＳ３０１に戻る。

ステップＳ３０４において、自車挙動決定部２７は、タスク入力部１１を介して運転者からタスクの入力があったか否かを判定し、タスクの入力がない場合にはステップＳ３０５に進み、タスクの入力があった場合にはステップＳ３０６に進む。

ステップＳ３０５において、自車挙動決定部２７は、運転者からのタスク入力がないので、自動運転システムのシステム論理にしたがって自車挙動を決定する。自車挙動決定部２７は、自車挙動生成部２５によって自車挙動の候補が複数生成されているので、これらの候補の中からシステム論理にしたがって自車挙動を決定する。

例えば、自動運転システムのシステム論理では、運転効率と安全性を考慮して自車挙動を決定するので、渋滞がない場合には目的地までの最短ルートを優先して自車挙動を決定する。一方、渋滞がある場合には距離よりも時間を優先して自車挙動を決定する。

このようにして自車挙動決定部２７は、右折や左折、直進等の走行軌道と、そのときの速度プロファイルを自車挙動に決定してステップＳ３０９へ進む。

一方、ステップＳ３０６において、自車挙動決定部２７は、タスク入力部１１を介して運転者から入力されたタスクを自車挙動に決定する。そして、自車挙動決定部２７は、運転者から入力されたタスクを自車挙動に決定したことを、運転者反応記録部５に記録してステップＳ３０７に進む。

ステップＳ３０７において、自車挙動決定部２７は、運転者から入力されたタスクが確認操作行為と一致するか否かを判定し、入力されたタスクと確認操作行為が一致する場合にはステップＳ３０８に進み、一致しない場合にはステップＳ３０９に進む。

ステップＳ３０８において、自車挙動決定部２７は、運転者から入力されたタスクが確認操作行為と一致したため、確認操作行為が実行される旨の連絡を確認操作行為制御部９へ通知してステップＳ３０９に進む。

ステップＳ３０９において、車両挙動制御部２９は、ステップＳ３０５、またはステップＳ３０６で決定された自車挙動を実行する。すなわち、車両挙動制御部２９は、ステップＳ３０５でシステム論理にしたがって決定された自車挙動か、またはステップＳ３０６で決定された運転者からの入力タスクのいずれかを実行する。このとき、車両挙動制御部２９は、自車挙動を実行するために必要となる制御信号をアクチュエータ４５に出力して自車挙動を実行する。また、車両挙動制御部２９は、実行した自車挙動を運転者解析部３に入力する。

こうして自車挙動が実行されると、本実施形態に係る情報呈示装置１は自動運転制御ループを終了する。

［第１実施形態の効果］
以上詳細に説明したように、本実施形態に係る情報呈示装置１では、運転者が自動運転制御から手動運転制御へ引き継ぎ可能な状態であることを確認するために、運転者に確認操作行為を実行させる。これにより、運転者が自動運転制御から手動運転制御へ引き継ぎ可能な状態であることを確認できるので、自動走行車両において自動運転制御から手動運転制御へ切り替えられても安全に走行を継続することができる。

また、本実施形態に係る情報呈示装置１によれば、確認操作行為を手動運転としたので、運転者が自動運転制御から手動運転制御へ引き継ぎ可能な状態であることを確実に確認することができる。

さらに、本実施形態に係る情報呈示装置１では、手動運転をペダル操作とステアリング操作から検出するので、運転者によって行われた手動運転の運転操作を確実に検出することができる。

また、本実施形態に係る情報呈示装置１では、運転者による手動運転と運転者に要求された確認操作行為とを比較して確認操作行為が実行されたか否かを判定する。これにより、運転者が自動運転制御から手動運転制御へ引き継ぎ可能な状態であるか否かを正確に判定することができる。

さらに、本実施形態に係る情報呈示装置１によれば、運転者が確認操作行為を実行しなかった場合には自動運転制御を中断するので、自動走行車両において安全性を確保することができる。

また、本実施形態に係る情報呈示装置１では、所定時間の経過毎、あるいは自動走行車両による所定回数の走行制御が行われる毎に確認操作行為の実行を要求する。これにより、運転者に対して定期的に確認操作行為の実行を要求できるので、自動運転制御において安全性を向上させることができる。

さらに、本実施形態に係る情報呈示装置１では、運転者が覚醒していないことを検出した場合、あるいは運転者が前方を監視していないことを検出した場合に確認操作行為の実行を運転者に要求する。これにより、運転者の意識レベルが低下しているときに運転者に確認操作行為の実行を要求できるので、自動走行車両において安全性を向上させることができる。

また、本実施形態に係る情報呈示装置１では、運転者の状態と自動走行車両の走行状態及び外部状況とに基づいて、確認操作行為の実行を運転者に要求するタイミングを設定する。これにより、運転者の状態や自動走行車両の走行状態及び外部状況に応じて、適切なタイミングで確認操作行為の実行を運転者に要求することができる。

さらに、本実施形態に係る情報呈示装置１では、自動運転制御から手動運転制御へ引き継ぎが行われるタイミングが予め設定されている場合に、そのタイミングが近づくにしたがって確認操作行為の実行を要求する間隔を短くする。これにより、自動運転制御から手動運転制御へ引き継ぎが行われるときに、運転者を確実に引き継ぎ可能な状態にすることができる。

また、本実施形態に係る情報呈示装置１では、運転者が手動運転を行った場合には確認操作行為の実行を運転者に要求するタイミングを遅らせる。これにより、確認操作行為を要求する回数を減らすことができるので、システムの負荷や運転者の煩わしさを低減することができる。

さらに、本実施形態に係る情報呈示装置１では、運転者が実行した手動運転を解析し、その解析結果に基づいて確認操作行為の実行を運転者に要求するタイミングを設定する。これにより、運転者が実行した手動運転に応じて適切なタイミングで確認操作行為の実行を運転者に要求することができる。

また、本実施形態に係る情報呈示装置１では、運転者が実行した手動運転を解析して運転者の覚醒水準を推定し、この覚醒水準に基づいて確認操作行為の実行を運転者に要求するタイミングを設定する。これにより、運転者の覚醒水準に応じた適切なタイミングで確認操作行為の実行を運転者に要求することができる。

さらに、本実施形態に係る情報呈示装置１によれば、運転者が手動運転を行うように促す情報を運転者に提供するので、運転者はスムーズに手動運転へ移行することができる。

また、本実施形態に係る情報呈示装置１によれば、確認操作行為の実行を要求するときに輝度エッジを有しない空間周波数及び時間周波数のパターンを表示させるので、運転者は視線を表示装置３３に向けずに周辺視で確認操作行為の実行要求を認識することができる。

さらに、本実施形態に係る情報呈示装置１によれば、確認操作行為の実行を要求するときに表示の提供に同期させて感覚刺激を運転者に提供するので、運転者は確認操作行為が要求されていることを確実に認識することができる。

［第２実施形態］
次に、本発明の第２実施形態に係る情報呈示装置について図面を参照して説明する。尚、第１実施形態と同一の構成要素には同一の番号を付して詳細な説明は省略する。

［情報呈示装置の構成］
上述した第１実施形態では確認操作行為として運転者による手動運転を要求していたが、本実施形態に係る情報呈示装置では、確認操作行為として運転者による手動運転に準ずる行為を要求する。特に、本実施形態では、手動運転に準ずる行為としてタスク指示運転を運転者に要求する。タスク指示運転とは、運転者がタスク入力部１１からタスクを入力することによって自動運転システムに指示を与えて自車両を走行させる運転のことである。以下、第１実施形態と相違する構成要素について説明する。

運転者解析部３は、運転者が行った手動運転だけではなく、運転者による手動運転に準ずる行為についても解析する。特に、運転者解析部３は、タスク入力部１１から入力されたタスクについて解析する。

運転者反応記録部５は、運転者が行った手動運転だけではなく、運転者による手動運転に準ずる行為についても記録する。特に、運転者反応記録部５は、タスク入力部１１から入力されたタスクについて記録する。

確認操作行為決定部７は、自車挙動生成部２５で生成された自車挙動の候補を複数取得するとともに、自車挙動生成部２５から周囲環境における安全走行可能領域情報と障害物配置情報とを取得する。そして、確認操作行為決定部７は、これらの情報に基づいて、運転者がどのような手動運転に準ずる行為をした場合に自動運転制御から手動運転制御へ引き継ぎ可能な状態であるかを判断して確認操作行為を決定する。例えば、確認操作行為決定部７は、障害物配置情報から車両前方の障害物の位置を特定し、障害物を回避するためのタスクを確認操作行為として決定する。あるいは、確認操作行為決定部７は、自動運転システムが選択した自車挙動の走行軌道に合わせて車両を右折や左折させるタスクを確認操作行為として決定してもよい。この他にも、確認操作行為決定部７は車線変更や加減速、停車、発進、一時停止等のタスクを確認操作行為として決定する。

タスク入力部１１は、自車挙動の候補を取得して表示装置３３にタスクとして表示する。運転者は、タッチパネル機能を備えた表示装置３３に触れることで、表示されたタスクの中から直後に実行されるタスクを選択して車両を操作する。

ここで、タスク入力部１１は、タスクを表示する際に、自動運転システムが選択したタスク（現在実行中のタスク）、運転者が選択可能なタスク、運転者が選択できないタスクを識別できるように表示する。例えば、図８に示すように、直進のタスク８１を現在実行中のタスクとして表示し、右の車線変更８２と左の車線変更８３を運転者が選択可能なタスクとして表示する。そして、一時停止８４と、右折８５と、左折８６を運転者が選択できないタスクとして表示する。そして、タスク入力部１１は、確認操作行為の実行を運転者に要求する場合には、確認操作行為のタスクを運転者が選択可能なタスクとして表示する。したがって、運転者は、選択可能なタスクの中からタスクを選ぶことによって、確認操作行為を実行することができる。

［確認操作行為制御ループの処理手順］
次に、本実施形態に係る情報呈示装置による確認操作行為制御ループの処理手順を説明する。ただし、本実施形態の確認操作行為制御ループは、図２に示した第１実施形態のフローチャートと同一になるので、第１実施形態と異なる処理が行われるステップについてのみ詳細に説明する。

図２のフローチャートにおいて、ステップＳ１０１からステップＳ１０５の処理が実行されて確認操作行為が決定すると、ステップＳ１０６において、確認操作行為制御部９は確認操作行為を要求するタイミングを決定する。確認操作行為を要求するタイミングの決定方法は、第１実施形態とほぼ同一であるが、以下の場合には第１実施形態と相違している。

確認操作行為制御部９は、運転者の実行した手動運転に準ずる行為、すなわちタスク指示運転を解析し、その解析結果に基づいて確認操作行為を運転者に要求するタイミングを設定する。例えば、運転者の実行したタスク指示運転を解析し、運転者の覚醒水準や運転精度、運転安定度が高ければ確認操作行為を要求するまでの時間を長く設定し、運転者の覚醒水準や運転精度、運転安定度が低ければ確認操作行為を要求するまでの時間を短く設定する。同様に、運転者の疲労度が高ければ確認操作行為を要求するまでの時間を短く設定し、運転者の疲労度が低ければ確認操作行為を要求するまでの時間を長く設定する。

また、運転者が自らの判断でタスク指示運転を行った場合や自動運転システムからの情報に促されてタスク指示運転を行った場合には、入力されたタスクが安全に実行される限りは確認操作行為に準ずる行為とみなすことができる。そこで、確認操作行為制御部９は、このようなタスク指示運転が行われた場合には、確認操作行為を運転者に要求するタイミングを遅らせるように制御したり、確認操作行為を要求する回数を減らしたりする。

こうして確認操作行為を要求するタイミングが決定し、ステップＳ１０７において確認操作行為を要求するタイミングであると判定されると、ステップＳ１０８において、確認操作行為制御部９は運転者に対して確認操作行為の実行を要求する。このとき、確認操作行為制御部９は、手動運転に準ずる行為であるタスク指示運転を運転者が行うように促す情報として、表示装置３３への表示やスピーカ３７からのメッセージを提供する。ただし、「右に車線変更して下さい」という指示に対して、運転者が右の車線変更のタスクを選択するだけでは、運転者が自動運転から手動運転に引き継ぎ可能な状態であるか否かを判定することはできない。そこで、確認操作行為制御部９は、タスク指示運転を行うように促す情報として具体的な指示は出さずに、「タスク指示運転を行ってください」というような漠然とした指示を出すようにする。

次に、ステップＳ１０９において、確認操作行為制御部９は、運転者による手動運転に準ずる行為と運転者に要求された確認操作行為とを比較して運転者が確認操作行為を実行したか否かを判定する。具体的な確認操作行為の実行判定処理については、図９を参照して後述する。

この後、ステップＳ１１０〜Ｓ１１２の処理を実行して、本実施形態に係る確認操作行為制御ループは終了する。

［確認操作行為の実行判定処理の手順］
次に、上述した確認操作行為制御ループのステップＳ１０９で実行される確認操作行為の実行判定処理の処理手順を、図９のフローチャートを参照して説明する。

図９に示すように、まずステップＳ４０１において、確認操作行為制御部９は、タスク入力部１１から入力されたタスクのデータを運転者反応記録部５から読み込む。これにより、確認操作行為制御部９は、運転者によって入力されたタスクを認識することができる。

ステップＳ４０２において、確認操作行為制御部９は、運転者によって入力されたタスクと運転者に要求された確認操作行為とを比較して整合しているか否かを判定する。ただし、運転者に確認操作行為を要求するときには、運転者が選択可能なタスクとして表示装置３３に表示されるタスクはすべて確認操作行為となる。したがって、運転者に確認操作行為の実行を要求したときに運転者からタスクの入力があれば、入力されたタスクは確認操作行為と整合していることになる。そこで、確認操作行為制御部９は、運転者からタスクの入力があったか否かを判定し、タスクの入力があった場合にはステップＳ４０３に進む。ステップＳ４０３において、確認操作行為制御部９は、確認操作行為の実行を出力して運転者が自動運転制御から手動運転制御へ引き継ぎ可能な状態であると判定する。

一方、ステップＳ４０２において、運転者からタスクの入力がなかった場合にはステップＳ４０４に進む。ステップＳ４０４では、確認操作行為制御部９は、確認操作行為の不実行を出力して運転者が自動運転制御から手動運転制御へ引き継ぎ可能な状態ではないと判定する。

こうして確認操作行為の実行または不実行が出力されると、確認操作行為の実行判定処理を終了して確認操作行為制御ループへ戻る。

［自動運転制御ループの処理手順］
本実施形態に係る自動運転制御ループは、第１実施形態の自動運転制御ループと同一の処理手順となるので、詳細な説明は省略する。

［第２実施形態の効果］
以上詳細に説明したように、本実施形態に係る情報呈示装置によれば、確認操作行為を手動運転に準ずる行為としたので、運転者が自動運転制御から手動運転制御へ引き継ぎ可能な状態であることを容易に確認することができる。

また、本実施形態に係る情報呈示装置では、運転操作の最小単位であるタスクを運転者が指示して自動走行車両を操作するタスク指示運転を手動運転に準ずる行為とする。これにより、運転者が自動運転制御から手動運転制御へ引き継ぎ可能な状態であることを容易に確認することができる。

さらに、本実施形態に係る情報呈示装置のタスク指示運転では、自動運転システムが現在実行可能なタスクを運転者に提示し、運転者は提示されたタスクの中から選択してタスクを指示する。これにより、運転者は提示されたタスクの中から選択するだけで、自車両の運転操作を行うことができる。

また、本実施形態に係る情報呈示装置では、運転者による手動運転に準ずる行為と運転者に要求された確認操作行為とを比較して確認操作行為が実行されたか否かを判定する。これにより、運転者が自動運転制御から手動運転制御へ引き継ぎ可能な状態であるか否かを正確に判定することができる。

さらに、本実施形態に係る情報呈示装置では、運転者が手動運転に準ずる行為を行った場合には確認操作行為の実行を運転者に要求するタイミングを遅らせる。これにより、確認操作行為を要求する回数を減らすことができるので、システムの負荷や運転者の煩わしさを低減することができる。

また、本実施形態に係る情報呈示装置では、運転者が実行した手動運転に準ずる行為を解析し、その解析結果に基づいて確認操作行為の実行を運転者に要求するタイミングを設定する。これにより、運転者が実行した手動運転に準ずる行為に応じて適切なタイミングで確認操作行為の実行を運転者に要求することができる。

さらに、本実施形態に係る情報呈示装置では、運転者が実行した手動運転に準ずる行為を解析して運転者の覚醒水準を推定し、この覚醒水準に基づいて確認操作行為の実行を運転者に要求するタイミングを設定する。これにより、運転者の覚醒水準に応じた適切なタイミングで確認操作行為の実行を運転者に要求することができる。

また、本実施形態に係る情報呈示装置によれば、運転者が手動運転に準ずる行為を行うように促す情報を運転者に提供するので、運転者はスムーズに手動運転に準ずる行為へ移行することができる。

［第３実施形態］
次に、本発明の第３実施形態に係る情報呈示装置について図面を参照して説明する。尚、第１及び第２実施形態と同一の構成要素には同一の番号を付して詳細な説明は省略する。

［情報呈示装置の構成］
上述した第２実施形態では確認操作行為として運転者による手動運転に準ずる行為を要求し、手動運転に準ずる行為としてタスク指示運転を要求していたが、本実施形態に係る情報呈示装置では、手動運転に準ずる行為としてあてぶり運転を運転者に要求する。

あてぶり運転とは、自動運転システムによって現在実行されている運転操作に合わせて運転者がジェスチャーを行う運転のことである。例えば、自動運転システムが自車両を右折させるためにステアリングを右方向へ回転させた場合に、運転者がステアリングの回転に合わせてステアリングを右に回すジェスチャーをすることが、あてぶり運転である。

図１０は本実施形態に係る情報呈示装置の構成を示すブロック図である。図１０に示すように、本実施形態に係る情報呈示装置６１は、運転者撮像部６３をさらに備えたことが第１及び第２実施形態と相違している。

運転者撮像部６３は、複数のカメラによって構成され、運転席にいる運転者の映像を撮像して運転者の動作を記録した運転者動作情報を運転者解析部３に出力する。

運転者解析部３は、運転者が行った手動運転だけではなく、運転者による手動運転に準ずる行為として、あてぶり運転を検出する。運転者解析部３は、モーションキャプチャ等の技術を用いて運転者撮像部６３で撮像された映像から運転者のジェスチャーを検出する。特に、運転者解析部３は、運転者の手及び腕によるジェスチャーと運転者の足によるジェスチャーのいずれか、あるいは両方からあてぶり運転を検出する。

運転者反応記録部５は、運転者による手動運転に準ずる行為として、運転者解析部３で検出されたあてぶり運転について記録する。

確認操作行為決定部７は、自動運転システムが現在実行している運転操作に合わせて、確認操作行為としてのあてぶり運転を決定する。例えば、自動運転システムが現在実行している運転操作が右折である場合には、ステアリングを右に回転させるジェスチャーを確認操作行為としてのあてぶり運転に決定する。また、このとき右折の前に減速する必要がある場合にはブレーキを踏むジェスチャーも確認操作行為としてのあてぶり運転に追加する。

［確認操作行為制御ループの処理手順］
次に、本実施形態に係る情報呈示装置６１による確認操作行為制御ループの処理手順を説明する。ただし、本実施形態の確認操作行為制御ループは、図２に示した第１実施形態のフローチャートと同一になるので、第１実施形態と異なる処理が行われるステップについてのみ詳細に説明する。

図２のフローチャートにおいて、ステップＳ１０１からステップＳ１０５の処理が実行されて確認操作行為が決定すると、ステップＳ１０６において、確認操作行為制御部９は確認操作行為を要求するタイミングを決定する。確認操作行為を要求するタイミングの決定方法は、第１実施形態とほぼ同一であるが、以下の場合には第１実施形態と相違している。

確認操作行為制御部９は、運転者の実行した手動運転に準ずる行為、すなわちあてぶり運転を解析し、その解析結果に基づいて確認操作行為を運転者に要求するタイミングを設定する。例えば、運転者の実行したあてぶり運転を解析し、運転者の覚醒水準や運転精度、運転安定度が高ければ確認操作行為を要求するまでの時間を長く設定し、運転者の覚醒水準や運転精度、運転安定度が低ければ確認操作行為を要求するまでの時間を短く設定する。同様に、運転者の疲労度が高ければ確認操作行為を要求するまでの時間を短く設定し、運転者の疲労度が低ければ確認操作行為を要求するまでの時間を長く設定する。

また、運転者が自らの判断であてぶり運転を行った場合や自動運転システムからの情報に促されてあてぶり運転を行った場合には、確認操作行為に準ずる行為とみなすことができる。そこで、確認操作行為制御部９は、このようなあてぶり運転が行われた場合には、確認操作行為を運転者に要求するタイミングを遅らせるように制御したり、確認操作行為を要求する回数を減らしたりする。

こうして確認操作行為を要求するタイミングが決定し、ステップＳ１０７において確認操作行為を要求するタイミングであると判定されると、ステップＳ１０８において、確認操作行為制御部９は運転者に対して確認操作行為の実行を要求する。このとき、確認操作行為制御部９は、手動運転に準ずる行為であるあてぶり運転を運転者が行うように促す情報として、表示装置３３への表示やスピーカ３７からのメッセージを提供する。例えば、「右に車線変更します」等の自動運転システムが直後に実行する運転操作の情報を提供して、運転者があてぶり運転を容易に行えるようにする。また、表示装置３３に車両の予定軌道を表示したり、あてぶり運転の成績を表示してもよい。

次に、ステップＳ１０９において、確認操作行為制御部９は、運転者によるあてぶり運転と運転者に要求された確認操作行為とを比較して運転者が確認操作行為を実行したか否かを判定する。具体的な確認操作行為の実行判定処理については、図１１を参照して後述する。

この後、ステップＳ１１０〜Ｓ１１２の処理を実行して、本実施形態に係る確認操作行為制御ループは終了する。

［確認操作行為の実行判定処理の手順］
次に、確認操作行為制御ループのステップＳ１０９で実行される確認操作行為の実行判定処理の処理手順を、図１１のフローチャートを参照して説明する。

図１１に示すように、まずステップＳ５０１において、確認操作行為制御部９は、運転者撮像部６３によって検出された運転者動作情報のデータを運転者解析部３から読み込むとともに、運転者解析部３による解析結果についても取得する。これにより、確認操作行為制御部９は、運転者が行ったジェスチャーを認識することができる。

ステップＳ５０２において、確認操作行為制御部９は、運転者撮像部６３によって検出された運転者動作情報と運転者解析部３による解析結果に基づいて運転者によるあてぶり運転の内容を解析する。具体的に、確認操作行為制御部９は、運転者によるあてぶり運転が右左折であるのか、あるいは追越し、車線変更、加減速、合流、停車、発進、一時停止、前車追従等のいずれであるのかを求める。

ステップＳ５０３において、確認操作行為制御部９は、ステップＳ５０２で求めたあてぶり運転とステップＳ１０５で決定した確認操作行為とを比較して、運転者によるあてぶり運転が確認操作行為と整合しているか否かを判定する。そして、確認操作行為制御部９は、運転者によるあてぶり運転が確認操作行為と整合している場合にはステップＳ５０４に進む。ステップＳ５０４において、確認操作行為制御部９は、確認操作行為の実行を出力して運転者が自動運転制御から手動運転制御へ引き継ぎ可能な状態であると判定する。

一方、ステップＳ５０３において、運転者によるあてぶり運転が確認操作行為と整合していない場合にはステップＳ５０５に進む。ステップＳ５０５では、確認操作行為制御部９は、確認操作行為の不実行を出力して運転者が自動運転制御から手動運転制御へ引き継ぎ可能な状態ではないと判定する。

こうして確認操作行為の実行または不実行が出力されると、確認操作行為の実行判定処理を終了して確認操作行為制御ループへ戻る。

［自動運転制御ループの処理手順］
本実施形態に係る自動運転制御ループは、第１実施形態の自動運転制御ループと同一の処理手順となるので、詳細な説明は省略する。

［第３実施形態の効果］
以上詳細に説明したように、本実施形態に係る情報呈示装置６１では、自動運転システムによって現在実行されている運転操作に合わせて運転者がジェスチャーを行うあてぶり運転を、手動運転に準ずる行為とする。これにより、運転者が自動運転制御から手動運転制御へ引き継ぎ可能な状態であることを容易に確認することができる。

さらに、本実施形態に係る情報呈示装置６１によれば、運転者の手及び腕によるジェスチャーと運転者の足によるジェスチャーのいずれか、あるいは両方からあてぶり運転を検出するので、運転者によるあてぶり運転を正確に検出することができる。

なお、上述の実施形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施形態以外の形態であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計などに応じて種々の変更が可能であることは勿論である。

１、６１ 情報呈示装置
３ 運転者解析部
５ 運転者反応記録部
７ 確認操作行為決定部
９ 確認操作行為制御部
１１ タスク入力部
１３ 表示イメージ生成部
１５ 警報制御部
１７ 音声生成部
２１ 周囲環境認識部
２３ 旅程制御部
２５ 自車挙動生成部
２７ 自車挙動決定部
２９ 車両挙動制御部
３１ 車両状態検出部
３３ 表示装置
３５ 警報音発生部
３７ スピーカ
４１ センサ群
４３ データベース
４５ アクチュエータ
６３ 運転者撮像部

Claims (20)

1. 車両の走行制御を自動的に行う自動運転制御と運転者による手動運転制御とを切り換え可能な自動走行車両に用いる情報呈示装置であって、
   前記自動走行車両の運転者が自動運転制御から手動運転制御へ引き継ぎ可能な状態であることを確認するための確認操作行為を決定する確認操作行為決定部と、
   前記確認操作行為決定部で決定された確認操作行為を運転者に実行させるための制御を行う確認操作行為制御部と、
   運転者によって実行された前記確認操作行為を検出する運転者解析部と、を備え、
   前記確認操作行為は、現在実行されている運転操作に合わせたジェスチャーであることを特徴とする情報呈示装置。
2. 車両の走行制御を自動的に行う自動運転制御と運転者による手動運転制御とを切り換え可能な自動走行車両に用いる情報呈示装置であって、
   前記自動走行車両の運転者が自動運転制御から手動運転制御へ引き継ぎ可能な状態であることを確認するための確認操作行為を決定する確認操作行為決定部と、
   前記確認操作行為決定部で決定された確認操作行為を運転者に実行させるための制御を行う確認操作行為制御部と、
   運転者によって実行された前記確認操作行為を検出する運転者解析部と、を備え、
   前記確認操作行為制御部は、自動運転制御から手動運転制御へ引き継ぎが行われるタイミングが予め設定されている場合には、そのタイミングが近づくにしたがって前記確認操作行為の実行を運転者に要求する間隔を短くすることを特徴とする情報呈示装置。
3. 前記確認操作行為は、手動運転または手動運転に準ずる行為であることを特徴とする請求項２に記載の情報呈示装置。
4. 前記手動運転は、ペダル操作とステアリング操作を含むことを特徴とする請求項３に記載の情報呈示装置。
5. 前記手動運転に準ずる行為は、運転操作の最小単位であるタスクを運転者が指示することで前記自動走行車両を操作するタスク指示運転であることを特徴とする請求項３に記載の情報呈示装置。
6. 前記タスク指示運転は、前記自動走行車両に搭載された自動運転システムが現在実行可能なタスクを運転者に提示し、運転者が提示されたタスクを選択して前記自動走行車両を操作することを特徴とする請求項５に記載の情報呈示装置。
7. 前記ジェスチャーは、運転者の手及び腕によるジェスチャーと運転者の足によるジェスチャーのいずれか、あるいは両方であることを特徴とする請求項１に記載の情報呈示装置。
8. 前記確認操作行為制御部は、前記手動運転または前記手動運転に準ずる行為と前記確認操作行為とを比較して、前記確認操作行為が実行されたか否かを判定することを特徴とする請求項３に記載の情報呈示装置。
9. 前記確認操作行為制御部は、運転者が前記確認操作行為を実行しなかった場合には、前記自動走行車両の自動運転制御を中断することを特徴とする請求項１〜８のいずれか１項に記載の情報呈示装置。
10. 前記確認操作行為制御部は、所定時間の経過毎、あるいは前記自動走行車両による所定回数の走行制御が行われる毎に、前記確認操作行為の実行を運転者に要求することを特徴とする請求項１〜９のいずれか１項に記載の情報呈示装置。
11. 前記確認操作行為制御部は、運転者が覚醒していないことを検出した場合、あるいは運転者が前方を監視していないことを検出した場合に、前記確認操作行為の実行を運転者に要求することを特徴とする請求項１〜１０のいずれか１項に記載の情報呈示装置。
12. 前記確認操作行為制御部は、運転者の状態と前記自動走行車両の走行状態及び外部状況とに基づいて、前記確認操作行為の実行を運転者に要求するタイミングを設定することを特徴とする請求項１〜１１のいずれか１項に記載の情報呈示装置。
13. 前記確認操作行為制御部は、運転者が前記手動運転または前記手動運転に準ずる行為を行った場合には、前記確認操作行為の実行を運転者に要求するタイミングを遅らせることを特徴とする請求項３に記載の情報呈示装置。
14. 前記確認操作行為制御部は、運転者が実行した前記手動運転または前記手動運転に準ずる行為を解析し、その解析結果に基づいて前記確認操作行為の実行を運転者に要求するタイミングを設定することを特徴とする請求項３に記載の情報呈示装置。
15. 前記確認操作行為制御部は、運転者が実行した前記手動運転または前記手動運転に準ずる行為を解析して運転者の覚醒水準を推定し、前記覚醒水準に基づいて前記確認操作行為の実行を運転者に要求するタイミングを設定することを特徴とする請求項１４に記載の情報呈示装置。
16. 前記確認操作行為制御部は、運転者が前記手動運転または前記手動運転に順ずる行為を行うように促す情報を運転者に提供することを特徴とする請求項３に記載の情報呈示装置。
17. 前記確認操作行為制御部は、前記確認操作行為の実行を要求するときに、輝度エッジを有しない空間周波数及び時間周波数のパターンを表示させることを特徴とする請求項１〜１６のいずれか１項に記載の情報呈示装置。
18. 前記確認操作行為制御部は、前記確認操作行為の実行を要求するときに、運転者に表示を提供するのに同期させて感覚刺激を提供することを特徴とする請求項１〜１７のいずれか１項に記載の情報呈示装置。
19. 車両の走行制御を自動的に行う自動運転制御と運転者による手動運転制御とを切り換え可能な自動走行車両に用いる情報呈示装置の情報呈示方法であって、
    前記自動走行車両の運転者が自動運転制御から手動運転制御へ引き継ぎ可能な状態であることを確認するための確認操作行為を決定し、
    前記確認操作行為は、現在実行されている運転操作に合わせたジェスチャーであり、
    決定された前記確認操作行為を運転者に実行させるための制御を行い、
    運転者によって実行された前記確認操作行為を検出することを特徴とする情報呈示方法。
20. 車両の走行制御を自動的に行う自動運転制御と運転者による手動運転制御とを切り換え可能な自動走行車両に用いる情報呈示装置の情報呈示方法であって、
    前記自動走行車両の運転者が自動運転制御から手動運転制御へ引き継ぎ可能な状態であることを確認するための確認操作行為を決定し、
    決定された前記確認操作行為を運転者に実行させるための制御を行い、
    前記確認操作行為は、自動運転制御から手動運転制御へ引き継ぎが行われるタイミングが予め設定されている場合には、そのタイミングが近づくにしたがって前記確認操作行為の実行を運転者に要求する間隔を短くし、
    運転者によって実行された前記確認操作行為を検出することを特徴とする情報呈示方法。