JP6315082B2 - 情報呈示装置及び情報呈示方法 - Google Patents

Description

本発明は、車両の走行制御を自動的に行う自動運転制御と運転者による手動運転制御とを切り換え可能な自動走行車両に用いる情報呈示装置及びその方法に関する。

近年では、自動運転システムによって車両の走行制御を自動的に行う自動走行車両が開発されている。このような自動走行車両では、自動運転制御時に運転者の意識をテストして意識レベルを判定することが行われており、従来では自動走行制御可能な車両におけるドライバの意識レベル判定方法として特許文献１が開示されている。

特許文献１に開示されたドライバの意識レベル判定方法では、所定の運転時間が経過すると運転者に対してテスト事項を与え、その応答を評価して運転者の意識レベルを判定していた。

ここで、自動走行車両の運転者は、自動運転制御時には自動運転システムに運転を任せているので、手動運転時では当たり前に行われていた周囲環境への認識や自車両の状態把握を欠いている可能性が高い。ところが、運転者がこのような状態であるにも関わらず、自動走行車両では自動運転制御から手動運転制御へ切り替わることがあるので、運転者は自動運転システムに代わっていつでも運転を引き継げる状態であることが要求されている。

特開平１１−１８５２００号公報

しかしながら、上述した従来のドライバの意識レベル判定方法では、運転者の意識の有無を判定しているだけなので、運転者が自動運転制御から手動運転制御へ引き継ぎ可能な状態であるか否かを確認することはできないという問題点があった。

そこで、本発明は、上述した実情に鑑みて提案されたものであり、運転者が自動運転制御から手動運転制御へ引き継ぎ可能な状態であることを確認することのできる情報呈示装置及びその方法を提供することを目的とする。

上述した課題を解決するために、本発明の一態様に係る情報呈示装置は、自動運転制御と手動運転制御とを切り換え可能な自動走行車両に用いるものである。この情報呈示装置は、運転者が自動運転制御から手動運転制御へ引き継ぎ可能な状態であることを確認するための運転者による応答行為を決定し、決定された応答行為を運転者に実行させるための制御を行い、運転者によって実行された応答行為を検出する。

図１は、本発明の第１実施形態に係る情報呈示装置の構成を示すブロック図である。 図２は、本発明の第１実施形態に係る情報呈示装置において運転者が操作するボタンの一例を示す図である。 図３は、本発明の第１実施形態に係る情報呈示装置による応答行為制御ループの処理手順を示すフローチャートである。 図４は、本発明の第１実施形態に係る情報呈示装置によって運転者に対して応答行為を要求する際の表示の一例を示す図である。 図５は、本発明の第１実施形態に係る情報呈示装置によって運転者に対して応答行為を要求する際の表示の一例を示す図である。 図６は、本発明の第１実施形態に係る情報呈示装置による応答行為の実行判定処理の処理手順を示すフローチャートである。 図７は、本発明の第１実施形態に係る情報呈示装置による自動運転制御ループの処理手順を示すフローチャートである。 図８は、本発明の第２実施形態に係る情報呈示装置の構成を示すブロック図である。 図９は、本発明の第２実施形態に係る情報呈示装置による応答行為の実行判定処理の処理手順を示すフローチャートである。 図１０は、本発明の第３実施形態に係る情報呈示装置による応答行為の実行判定処理の処理手順を示すフローチャートである。

以下、本発明を適用した第１〜第３実施形態について図面を参照して説明する。

［第１実施形態］
［情報呈示装置の構成］
図１は本実施形態に係る情報呈示装置の構成を示すブロック図である。図１に示すように、本実施形態に係る情報呈示装置１は、運転者解析部３と、運転者反応記録部５と、応答行為決定部７と、応答行為制御部９と、タスク入力部１１と、表示イメージ生成部１３と、警報制御部１５と、音声生成部１７とを備えている。さらに、情報呈示装置１は、周囲環境認識部２１と、旅程制御部２３と、自車挙動生成部２５と、自車挙動決定部２７と、車両挙動制御部２９と、ボタンスイッチ３１とを備えている。

本実施形態に係る情報呈示装置１は、車両の走行制御を自動的に行う自動運転制御と運転者による手動運転制御とを切り換え可能な自動走行車両（以下、車両という）に搭載されている。また、車両には自動運転システムが搭載されており、この自動運転システムが車両の走行状態及び外部環境に基づいて車両の走行制御を自動的に行っている。そして、自動運転システムは、所定のタイミングや必要に応じて自動運転制御から手動運転制御へ切り替える。例えば、運転者がステアリングに手を添えたり、ペダルに足を置いたりすると、ステアリング及びペダルに設置されたセンサが検出して自動運転システムが直ちに操作権限を運転者に引き渡すように制御する。このとき、自動運転システムは、運転者の操作内容にしたがって、ステアリングとペダルの操作権限をそれぞれ独立に引き渡している。

運転者解析部３は、車両に搭載されている各装置から運転者の状態及び動作を検出するとともに車両の操作状況等の情報を取得して、運転者がどのような状態で、どのような動作や運転操作を行ったかを解析する。特に、本実施形態の運転者解析部３は、ボタンスイッチ３１に接続されており、運転者によるボタンスイッチ３１の操作を検出することで、運転者によって実行された応答行為を検出する。

また、運転者解析部３は、運転者の生体信号を解析して運転者の覚醒水準や疲労度、運転精度、運転安定度等を推定することも可能である。運転者解析部３は、生理情報として脳波のα波、θ波、心拍数、心拍波形の周波数分析、呼吸数、眼球運動頻度、閉眼時間、頭部姿勢、唾液のコルチゾール及びアミラーゼを取得する。また、運転者解析部３は、車両情報として車両横位置変動量と、行動情報として操舵パターン、操舵波形の周波数分析等を取得し、これらの情報に基づいて覚醒水準や疲労度、運転精度、運転安定度を推定する。

運転者反応記録部５は、運転者の状態や運転者が行った動作及び運転操作等の運転者が行った反応を記録する。具体的に、運転者反応記録部５は、運転者解析部３で解析された結果や運転者による手動運転、タスク入力部１１から入力されたタスク、応答行為の実行の有無等の情報を記録する。特に、運転者反応記録部５は、応答行為として実行されたボタンスイッチ３１の操作の有無やタイミングを記録する。

応答行為決定部７は、車両の運転者が自動運転制御から手動運転制御へ引き継ぎ可能な状態であることを確認するための応答行為を決定する。ここで、本実施形態の応答行為とは、運転者が手動運転時に行う判断のプロセスを実行できることを確認するためのものであり、自動走行車両の運転操作について運転者に判断を要求し、運転者が応答する行為である。通常、運転者が手動運転を行う場合には、車両の周囲の状況を「認知」して、どのような操作を行うべきかを「判断」し、その判断に基づいて車両を「操作」するというプロセスが実行されている。そこで、本実施形態では、これらのプロセスのうち「判断」のプロセスを運転者が実行できることを確認するための応答行為を設定し、この応答行為を運転者に実行させることで、運転者が自動運転制御から手動運転制御へ引き継ぎ可能な状態であることを確認する。特に、本実施形態では、応答行為として、自車両の運転操作について運転者に判断を要求し、運転者がボタン操作によって応答することを要求する。ただし、運転者が判断のプロセスを実行できれば、運転者は認知のプロセスについても実行できているので、本実施形態の情報呈示装置１は、運転者が認知と判断のプロセスを実行できることを確認できる。

具体的に、応答行為決定部７は、自車挙動生成部２５で生成された自車挙動の候補を複数取得するとともに、自車挙動生成部２５から周囲環境における安全走行可能領域情報と障害物配置情報とを取得する。そして、応答行為決定部７は、取得した複数の自車挙動の候補の中から運転者に要求する応答行為を決定する。

応答行為制御部９は、応答行為決定部７で決定された応答行為を運転者に実行させるための制御を行う。具体的に、応答行為制御部９は、運転者に応答行為の実行を要求するタイミングを決定したり、運転者が応答行為を実行したか否かを判定して承認フラグを設定したりする。

タスク入力部１１は、自車挙動生成部２５で生成された自車挙動の候補を取得し、この自車挙動の候補を表示装置３３にタスクとして表示する。運転者は、タッチパネル機能を備えた表示装置３３に触れることで、表示されたタスクの中から直後に実行されるタスクを選択して車両を操作する。ここで、タスクとは、直進、右左折、左右への車線変更、停車、発進、加速、減速等の運転操作の最小単位であり、運転者に提供される表示画面には、直進や右左折等のタスクを表すピクトグラムが表示される。尚、タスクを表示する際に、タスク入力部１１は、自動運転システムが選択したタスク、運転者が選択可能なタスク、運転者が選択できないタスクのいずれであるかを識別できるように表示する。したがって、運転者は、選択可能なタスクの中から自動運転システムが選択しなかったタスクを選ぶことによって、タスクを変更することが可能となる。最終的な車両の挙動は自車挙動決定部２７によって決定されるが、タスク入力部１１から入力されたタスクが優先して自車挙動に決定される。

表示イメージ生成部１３は、表示装置３３に接続されており、運転者に応答行為の実行を要求する場合やタスクを表示する場合等に、運転者に提示する表示イメージを生成して表示装置３３に出力する。表示装置３３は、液晶ディスプレイ等で構成され、例えば運転者の正面の下方に角度１０度、視距離９０ｃｍの位置に配置されている。また、表示装置３３はタッチパネル機能を備え、運転者からの入力を受け付ける。

警報制御部１５は、警報音発生部３５に接続され、応答行為制御部９からの情報を取得して警報が必要と判断した場合には、適切な警報音を設定して警報音発生部３５に信号を出力する。また、警報制御部１５は、警報が必要な場合に、表示イメージ生成部１３に対しても信号を出力して表示装置３３に警報イメージが表示されるようにする。同様に、警報制御部１５は、音声生成部１７に対しても信号を出力してスピーカ３７から警報メッセージが出力されるようにする。

音声生成部１７は、スピーカ３７に接続されており、運転者に応答行為の実行を要求する場合等に適切なメッセージを生成してスピーカ３７に出力する。

周囲環境認識部２１は、カメラやレーダー、ＧＰＳ等の自車両に搭載されたセンサ群４１から自車両の周囲環境の情報を取得するとともに、データベース４３から地図データと自車両の現在位置情報を取得する。そして、これらの情報に基づいて、周囲環境認識部２１は自車両の周囲環境を認識して周囲環境情報を生成する。

旅程制御部２３は、データベース４３に格納されている地図データと自車両の現在位置情報を取得して、自車両の現在位置から目的地までの移動経路全体を管理する。また、旅程制御部２３は、自車両の移動経路全体の計画を記録した旅程計画情報を生成する。

自車挙動生成部２５は、周囲環境認識部２１から周囲環境情報を取得して自車両の周囲環境を認識し、旅程制御部２３から旅程計画情報を取得して自車両の移動経路を把握する。そして、これらの情報に基づいて、自車挙動生成部２５は、現時点における自車両の安全走行可能領域情報と障害物配置情報とを求め、自車両が安全走行可能領域内で走行し得る複数の自車挙動の候補（走行軌道と速度プロファイル）を算出する。

自車挙動決定部２７は、周囲環境認識部２１から周囲環境情報を取得して自車両の周囲環境を認識し、旅程制御部２３から旅程計画情報を取得して自車両の移動経路を把握する。そして、これらの情報に基づいて、自車挙動決定部２７は、自車挙動生成部２５で生成された自車挙動の候補の中から自車挙動を決定して車両挙動制御部２９へ出力する。尚、運転者が応答行為を実行する場合には、自車挙動決定部２７は、応答行為が周囲環境の現状に照らして有効か否かを逐一評価する。さらに、運転者によってタスク入力部１１からタスクが入力されると、自車挙動決定部２７は入力されたタスクを優先して自車挙動に決定する。

車両挙動制御部２９は、自車挙動決定部２７で決定された自車挙動を実行するために、自車両に搭載されている各アクチュエータ４５に対して制御信号を出力する。このとき、車両挙動制御部２９は、制御結果となる自車挙動を運転者解析部３に出力する。

ボタンスイッチ３１は、運転者に応答行為の実行を要求した際に、運転者からＹＥＳまたはＮＯの入力を受け付ける装置である。具体的に、ボタンスイッチ３１は、図２（ａ）に示すように肯定的な判断を入力するときにのみボタンを操作するようにＹＥＳボタンのみを設けた場合がある。この場合に、応答行為制御部９は運転者による肯定的な応答のみを受け付ける。また、図２（ｂ）に示すように否定的な判断を入力するときにのみボタンを操作するようにＮＯボタンのみを設けた場合もある。この場合では、応答行為制御部９は運転者による否定的な応答のみを受け付ける。さらに、図２（ｃ）に示すように、肯定的な判断を入力するときには肯定的な判断を入力するためのＹＥＳボタンを操作し、否定的な判断を入力するときには否定的な判断を入力するためのＮＯボタンを操作する場合もある。この場合には、応答行為制御部９は運転者による肯定的な応答と、運転者による否定的な応答の両方を受け付ける。そして、これらのボタンを運転者が操作した場合には、ボタンの点滅やボタンの振動、効果音、音声等を出力して、ボタンの操作が行われたことを運転者が確認できるようにする。

また、ボタンスイッチ３１は、図２（ａ）に示すように表示装置３３にボタンの画像を表示して運転者がタッチすることで運転者からの入力を受け付けるようにすれば、新たにスイッチを設置しなくても実現することができる。ただし、図２（ｂ）に示すように自車両のインストルメントパネルに専用のボタンを設けてもよい。また、図２（ｃ）に示すように、ステアリングにスイッチを設置すれば操作性を向上させることができる。ただし、図２はあくまで一例であり、ＹＥＳボタンをインストルメントパネルやステアリングに設けてもよいし、ＮＯボタンを表示装置３３に表示してもよい。

尚、情報呈示装置１は、マイクロコンピュータ、マイクロプロセッサ、ＣＰＵを含む汎用の電子回路と周辺機器から構成されており、特定のプログラムを実行することにより、上述した各部として動作する。

［応答行為制御ループの処理手順］
次に、本実施形態に係る情報呈示装置１による応答行為制御ループの処理手順を図３のフローチャートを参照して説明する。

図３に示すように、まずステップＳ１０１において、応答行為制御部９は、応答行為制御ループの処理に必要となるデータを読み込む。具体的に、応答行為制御部９は、運転者解析部３から運転者の動作や運転操作等の解析結果を読み込み、周囲環境認識部２１から周囲環境情報を読み込み、旅程制御部２３から旅程計画情報を読み込む。また、応答行為制御部９は、運転者反応記録部５に記録されているボタンスイッチ３１の操作履歴や運転者の反応履歴についても読み込む。

ステップＳ１０２において、応答行為制御部９は、読み込んだデータに基づいて、運転者に要求された応答行為とその応答行為に対する運転者の反応履歴を解析する。

そして、ステップＳ１０３において、応答行為制御部９は、応答行為の不実行回数が基準値以上であるか否かを判定する。ただし、応答行為の不実行には、運転者が応答行為の実行要求に対して無反応の場合や不適切な反応をした場合等が含まれている。そして、応答行為制御部９は、応答行為の不実行回数が基準値以上である場合にはステップＳ１０４に進み、応答行為の不実行回数が基準値未満である場合にはステップＳ１０５に進む。

ステップＳ１０４において、応答行為制御部９は、応答行為の不実行回数が基準値以上なので、承認フラグを「ｆａｌｓｅ」に設定する。これにより、応答行為制御部９は、運転者が自動運転制御を承認していないと判定して、自動運転制御を中断するように制御する。また、応答行為制御部９は、運転者が自動運転制御から手動運転制御へ引き継ぎ可能な状態ではないと判定する。さらに、応答行為制御部９は、承認フラグが「ｆａｌｓｅ」に設定されたことを自車挙動決定部２７に入力する。

こうして、承認フラグが「ｆａｌｓｅ」に設定されると、本実施形態に係る応答行為制御ループは終了する。

一方、ステップＳ１０５では、応答行為決定部７が、運転者に要求する応答行為を決定する。具体的に、応答行為決定部７は、自車挙動生成部２５から自車挙動の候補を複数取得するとともに、安全走行可能領域情報と障害物配置情報を取得する。そして、応答行為決定部７は、取得した複数の自車挙動の候補の中から運転者に提供する応答行為を決定する。例えば、応答行為として運転者に要求される運転操作は、右左折、追越し、左右への車線変更、加減速、合流、停車、発進、一時停止、前車追従等である。これらの運転操作は周囲環境を考慮して実行可能な運転操作である。また、自車両の旅程全体から考えて合理的な運転操作が応答行為の選択肢として設定される。

次に、ステップＳ１０６において、応答行為制御部９は、応答行為を運転者に要求するタイミングを決定する。具体的に、応答行為制御部９は、運転者解析部３から運転者の状態の解析結果や車両情報を取得し、運転者反応記録部５から前回の応答行為が実行されたタイミングや経過時間の情報を取得する。また、応答行為制御部９は、応答行為決定部７から安全走行可能領域情報と障害物配置情報を取得し、自車両の自動運転システムから走行制御に関する情報を取得する。そして、これらの情報に基づいて、応答行為制御部９は応答行為を運転者に要求するタイミングを決定する。

例えば、応答行為制御部９は、所定時間の経過毎、あるいは自車両が所定回数の走行制御を行う毎に応答行為の実行を運転者に要求する。また、応答行為制御部９は、運転者の状態に基づいて応答行為を運転者に要求するタイミングを設定してもよい。例えば、応答行為制御部９は、運転者が覚醒していないことを検出した場合、あるいは運転者が前方を監視していないことを検出した場合に応答行為の実行を運転者に要求する。さらに、運転者の実行した手動運転を解析し、その解析結果に基づいて応答行為を運転者に要求するタイミングを設定してもよい。例えば、運転者の実行した手動運転を解析し、運転者の覚醒水準や運転精度、運転安定度が高ければ応答行為を要求するまでの時間を長く設定し、運転者の覚醒水準や運転精度、運転安定度が低ければ応答行為を要求するまでの時間を短く設定する。同様に、運転者の疲労度が高ければ応答行為を要求するまでの時間を短く設定し、運転者の疲労度が低ければ応答行為を要求するまでの時間を長く設定する。

さらに、応答行為制御部９は、自車両の走行状態及び外部状況に基づいて応答行為を運転者に要求するタイミングを設定してもよい。例えば、自車両の速度や渋滞状況、高速道路を走行しているか否か等に応じて応答行為を要求するタイミングを設定する。ただし、運転者が自らの判断で手動運転制御を行った場合や自動運転システムからの情報に促されて手動運転を行った場合には、手動運転が安全に実行される限りは応答行為に準ずる行為とみなすことができる。そこで、応答行為制御部９は、このような手動運転が行われた場合には、応答行為を運転者に要求するタイミングを遅らせるように制御したり、応答行為を要求する回数を減らしたりする。

尚、応答行為制御部９は、自動運転制御から手動運転制御へ引き継ぎが行われるタイミングが予め設定されている場合には、そのタイミングが近づくにしたがって応答行為の実行を運転者に要求する間隔を短くする。例えば、自動車専用道路から一般道へ降りるときに自動運転制御から手動運転制御へ引き継ぎが行われる場合には、一般道へ降りるタイミングが近づくにしたがって応答行為を運転者に要求する間隔を短くする。

次に、ステップＳ１０７において、応答行為制御部９は、ステップＳ１０６で決定した応答行為を要求するタイミングであるか否かを判定し、応答行為を要求するタイミングになっていない場合には継続して応答行為を要求するタイミングであるか否かを判定する。そして、応答行為を要求するタイミングになると、ステップＳ１０８に進む。

ステップＳ１０８において、応答行為制御部９は、運転者に対して応答行為の実行を要求する。このとき、応答行為制御部９は、応答行為決定部７で決定された運転操作を実行するか否かを表示装置３３への表示やスピーカ３７からのメッセージによって運転者に問いかけ、運転者がボタン操作を行うように促す。例えば、「右へ車線変更しますか」や「加速しますか」等の問いかけを運転者に提供する。これに対して、運転者はボタンスイッチ３１を操作して応答行為を実行する。

ここで、運転者に対して応答行為の実行を要求する際の具体的な処理の一例として、自車両が現在、前車追従で車間を維持しつつ自動走行を行っているときに、応答行為として右への車線変更を運転者に要求する場合の処理について説明する。

応答行為制御部９は、「右へ車線変更しますか？」と表示装置３３に表示すると同時にスピーカ３７から音声で運転者に報知する。ここで、ＹＥＳボタンのみの場合には運転者がＹＥＳボタンを操作すれば応答行為を実行したことになる。また、ボタンを操作しない場合には応答行為の不実行と判断してもよいが、デフォルトで設定されている運転操作、例えば前車追従を実行してもよい。

次に、ＹＥＳボタンとＮＯボタンの場合には運転者がＹＥＳボタンを操作すれば応答行為を実行したことになるが、ＮＯボタンを操作すれば応答行為の不実行と判断される。また、ボタンを操作しない場合には応答行為の不実行と判断してもよいが、デフォルトで設定されている運転操作、例えば前車追従を実行してもよい。

さらに、ＮＯボタンのみの場合には運転者がＮＯボタンを操作しなければ応答行為を実行したことになり、ＮＯボタンを操作すれば応答行為の不実行と判断される。

ここで、上述したようにボタン操作なしでも応答行為を実行したことになる場合があるため、ボタン操作がないまま自車両が自動運転を継続してしまう場合があり得る。そこで、応答行為制御部９は、運転者がボタン操作を無視したまま自動運転が継続してしまうことを回避するために、必ずボタンを操作する必要のある問いかけを運転者に対して行うようにする。このような問いかけをトラップ試行と呼ぶ。例えば、所定の頻度、あるいはボタン操作なしが所定回数続いたときに、ＹＥＳボタンのみの場合には、「赤信号ですが、停車しますか」という問いかけを行う。この問いかけに対してはＹＥＳボタンを操作しなければ不適切な対応となるので、必ずボタンを操作することになる。また、ＮＯボタンのみの場合には、例えば「横断歩道上に停車しますか」という問いかけを行う。この問いかけは、明らかに不適切な運転操作を提案するものであり、ＮＯボタンを操作しなければ不適切な対応となるので、必ずボタンを操作することになる。尚、ＹＥＳボタンとＮＯボタンの場合には、ＮＯボタンのみの場合と同様の問いかけを行えばよい。

こうしてトラップ試行が行われても、運転者によるボタン操作がない場合には、運転者が応答行為の実行を無視している、あるいは応答行為を実行できない状態にあると判断して、応答行為制御部９は警報を発生させ、表示画面を点滅させて運転者に警告を行う。

尚、応答行為制御部９は、上述したような問いかけを行って応答行為の実行を要求する際に、図４に示すようなピクトグラム表示を行ってもよい。図４に示すピクトグラム表示では、５１が右折、５２が左折、５３が左への車線変更、５４が右への車線変更、５５が直進（発進、前車追従）、５６が停車のピクトグラムを表示している。図４において、点線（左折５２、右車線変更５４）は運転者が選択できない運転操作であり、自動運転システムによって旅程全体のルートや周囲環境から実行不可能と判断された運転操作である。また、白抜き表示（直進５５）は現在実行中の運転操作であり、濃い色の表示（右折５１）は自動運転システムが指示した運転操作、薄い色の表示（左車線変更５３）は周囲環境から実施可能であるが応答行為として選択されなかった運転操作を表している。

また、応答行為制御部９は、図４に示したピクトグラム画像を、図５に示すように周辺視で認識できるように加工してもよい。この場合の表示は、輝度エッジを有しない空間周波数及び時間周波数のパターンを表示する。例えば、応答行為制御部９は、空間周波数が１ＣＰＤ（Ｃｙｃｌｅ Ｐｅｒ Ｄｅｇｒｅｅ）以下で時間周波数が１〜７Ｈｚを主成分とするパターンを表示装置３３に表示する。これにより、運転者は視線を表示装置３３に向けなくても周辺視で応答行為を認識することができる。

図５に示すピクトグラム画像は、ピクトグラムを構成する山型の要素が下から上に滑らかに移動して連続した流れを構成する。また、ピクトグラム画像が流れることによって視線を誘導しやすくなるため、高空間周波数成分を取り除くローパス・フィルタリング処理が画像全体に施されている。

図５では、現在実行中の運転操作を表すピクトグラムの流れる速度は、相対的に高く設定され、次に応答行為の運転操作、その次にデフォルト設定された運転操作の順でピクトグラムの流れる速度を低くする。このように、ピクトグラムに流れを付与することによって、各ピクトグラムは、色彩、流れの速度や方向、明暗等の複数の属性によって区別される。さらに、ピクトグラムは、画像処理によってぼかされるので、運転者は注視しなくても周辺視で見るだけで、現在実行中の運転操作、応答行為の運転操作、デフォルト設定された運転操作を識別することができる。例えば、特開２００６−１８４８５４、舟川政美視野の時空間周波数特性に基づくアンビエント型情報表示法、自動車技術，４０，５，１１９１−１１９６を参照すればよい。また、応答行為の運転操作を表すピクトグラムは、流れる代わりに点滅を繰り返すようにしてもよい。これにより、速度の違いによって区別する場合よりも弁別しやすくなる。ただし、矩形波状に明暗が変化する点滅では、煩わしくなって運転者の視線を誘導する恐れがあるため、サイン波状に滑らかな明暗変化となる点滅にしたほうがよい。

さらに、応答行為制御部９は、表示装置３３の表示に同期させて感覚刺激を運転者に提供してもよい。例えば、ステアリング等を通じて振動刺激を運転者に与えてもよいし、効果音を提供してもよい。これにより、運転者は情報が提供されていることを確実に感じることができる。

ステップＳ１０９において、応答行為制御部９は、運転者によるボタン操作と運転者に要求された応答行為とを比較して運転者が応答行為を実行したか否かを判定する。具体的な応答行為の実行判定処理については、図６を参照して後述する。

そして、ステップＳ１０９において、運転者が応答行為を実行しなかったと判定された場合にはステップＳ１１０に進む。ステップＳ１１０では、応答行為制御部９が応答行為の不実行を運転者反応記録部５に入力してステップＳ１０１に戻る。

一方、ステップＳ１０９において、運転者が応答行為を実行したと判定された場合にはステップＳ１１１に進む。ステップＳ１１１では、応答行為制御部９が応答行為の実行を運転者反応記録部５に入力してステップＳ１１２へ進む。

ステップＳ１１２において、応答行為制御部９は承認フラグを「ｔｒｕｅ」に設定する。これにより、応答行為制御部９は、運転者が自動運転制御を承認していると判定して、自動運転制御を継続するように制御する。また、応答行為制御部９は、運転者が自動運転制御から手動運転制御へ引き継ぎ可能な状態であると判定する。さらに、応答行為制御部９は、承認フラグが「ｔｒｕｅ」に設定されたことを自車挙動決定部２７に入力する。

こうして、承認フラグが「ｔｒｕｅ」に設定されると、本実施形態に係る応答行為制御ループは終了する。

［応答行為の実行判定処理の手順］
次に、上述した応答行為制御ループのステップＳ１０９で実行される応答行為の実行判定処理の処理手順を、図６のフローチャートを参照して説明する。

図６に示すように、まずステップＳ２０１において、応答行為制御部９は、ボタンスイッチ３１の操作を検出したデータを運転者解析部３から読み込む。これにより、応答行為制御部９は、運転者によるボタンスイッチ３１の操作を認識することができる。

ステップＳ２０２において、応答行為制御部９は、運転者に要求された応答行為がトラップ試行であるか否かを判定し、トラップ試行でない場合にはステップＳ２０３に進み、トラップ試行である場合にはステップＳ２０６に進む。

ステップＳ２０３において、応答行為制御部９は、運転者によるボタンスイッチ３１の操作とステップＳ１０５で決定した応答行為とを比較して、ボタンスイッチ３１の操作が応答行為と整合しているか否かを判定する。そして、応答行為制御部９は、ボタンスイッチ３１の操作が応答行為と整合している場合にはステップＳ２０４に進む。ステップＳ２０４において、応答行為制御部９は、応答行為の実行を出力して運転者が自動運転制御から手動運転制御へ引き継ぎ可能な状態であると判定する。

一方、ステップＳ２０３において、ボタンスイッチ３１の操作が応答行為と整合していない場合にはステップＳ２０５に進む。ステップＳ２０５において、応答行為制御部９は、応答行為の不実行を出力して運転者が自動運転制御から手動運転制御へ引き継ぎ可能な状態ではないと判定する。

また、ステップＳ２０２においてトラップ試行であると判定されてステップＳ２０６に進んだ場合には、応答行為制御部９は、ボタンスイッチ３１の操作があったか否かを判定する。トラップ試行の場合には、必ずボタンスイッチ３１の操作をする必要のある問いかけを行っているので、ボタンスイッチ３１の操作があった場合にはステップＳ２０４に進んで応答行為の実行を出力する。一方、ステップＳ２０６において、ボタンスイッチ３１の操作がないと判定された場合には、トラップ試行であるにもかかわらずボタン操作がないので、ステップＳ２０５に進んで応答行為の不実行を出力する。

こうして応答行為の実行または不実行が出力されると、応答行為の実行判定処理を終了して応答行為制御ループへ戻る。

［自動運転制御ループの処理手順］
次に、本実施形態に係る情報呈示装置１による自動運転制御ループの処理手順を図７のフローチャートを参照して説明する。

図７に示すように、まずステップＳ３０１において、自車挙動生成部２５は、周囲環境認識部２１から周囲環境情報を読み込み、旅程制御部２３から旅程計画情報を読み込む。

ステップＳ３０２において、自車挙動生成部２５は、通常の自動運転システムのシステム論理にしたがって自車挙動の候補を生成する。この自車挙動の候補は複数生成され、自車両の走行軌道と速度プロファイルの情報を含んでいる。

ここで、自動運転システムのシステム論理とは、運転効率と安全性を考慮して自車挙動を決定するための論理である。例えば、目的地までの最短ルートを優先して自車挙動を決定したり、渋滞区間では距離よりも時間を優先して自車挙動を決定したりする。また、ルート上では、必要となる車線変更は行うものの安全性を優先して無駄な車線変更は行わないようにする。

このようなシステム論理にしたがって、自車挙動生成部２５は、右折や左折、直進等の走行軌道と、そのときの速度プロファイルを自車挙動の候補として複数生成する。

ステップＳ３０３において、自車挙動決定部２７は、応答行為制御部９からの入力に基づいて承認フラグが「ｔｒｕｅ」であるか否かを判定する。そして、自車挙動決定部２７は、承認フラグが「ｔｒｕｅ」である場合には自動運転の継続が承認されているものと判断してステップＳ３０４に進み、承認フラグが「ｔｒｕｅ」でない場合にはステップＳ３０１に戻る。

ステップＳ３０４において、自車挙動決定部２７は、タスク入力部１１を介して運転者からタスクの入力があったか否かを判定し、タスクの入力がない場合にはステップＳ３０５に進み、タスクの入力があった場合にはステップＳ３０６に進む。

ステップＳ３０５において、自車挙動決定部２７は、運転者からのタスク入力がないので、自動運転システムのシステム論理にしたがって自車挙動を決定する。自車挙動決定部２７は、自車挙動生成部２５によって自車挙動の候補が複数生成されているので、これらの候補の中からシステム論理にしたがって自車挙動を決定する。

例えば、自動運転システムのシステム論理では、運転効率と安全性を考慮して自車挙動を決定するので、渋滞がない場合には目的地までの最短ルートを優先して自車挙動を決定する。一方、渋滞がある場合には距離よりも時間を優先して自車挙動を決定する。

このようにして自車挙動決定部２７は、右折や左折、直進等の走行軌道と、そのときの速度プロファイルを自車挙動に決定してステップＳ３０７へ進む。

ステップＳ３０６において、自車挙動決定部２７は、タスク入力部１１を介して運転者から入力されたタスクを自車挙動に決定する。そして、自車挙動決定部２７は、運転者から入力されたタスクを自車挙動に決定したことを、運転者反応記録部５に記録してステップＳ３０７に進む。

ステップＳ３０７において、車両挙動制御部２９は、ステップＳ３０５、またはステップＳ３０６で決定された自車挙動を実行する。すなわち、車両挙動制御部２９は、ステップＳ３０５でシステム論理にしたがって決定された自車挙動か、またはステップＳ３０６で決定された運転者からの入力タスクのいずれかを実行する。このとき、車両挙動制御部２９は、自車挙動を実行するために必要となる制御信号をアクチュエータ４５に出力して自車挙動を実行する。また、車両挙動制御部２９は、実行した自車挙動を運転者解析部３に入力する。

こうして自車挙動が実行されると、本実施形態に係る情報呈示装置１は自動運転制御ループを終了する。

［第１実施形態の効果］
以上詳細に説明したように、本実施形態に係る情報呈示装置１では、運転者が自動運転制御から手動運転制御へ引き継ぎ可能な状態であることを確認するために、運転者に応答行為を実行させる。これにより、運転者が自動運転制御から手動運転制御へ引き継ぎ可能な状態であることを確認できるので、自動走行車両において自動運転制御から手動運転制御へ切り替えられても安全に走行を継続することができる。

また、本実施形態に係る情報呈示装置１では、自動走行車両の運転操作について運転者に判断を要求し、運転者が応答する行為を応答行為とする。これにより、運転者が自動運転制御から手動運転制御へ引き継ぎ可能な状態であることを容易に確認することができる。

さらに、本実施形態に係る情報呈示装置１では、運転者による肯定的な応答のみを受け付ける。これにより、肯定的な入力を受け付けるボタンのみを設置すればよいので、ボタンを複数設ける必要がなくなり、構成を簡単にすることができる。

また、本実施形態に係る情報呈示装置１では、運転者による否定的な応答のみを受け付ける。これにより、否定的な入力を受け付けるボタンのみを設置すればよいので、ボタンを複数設ける必要がなくなり、構成を簡単にすることができる。

さらに、本実施形態に係る情報呈示装置１では、運転者による肯定的な応答と、運転者による否定的な応答の両方を受け付ける。これにより、肯定的な場合も否定的な場合も必ず応答を受け付けるので、運転者の意思を確実に把握することができる。

また、本実施形態に係る情報呈示装置１では、応答行為が所定の頻度でなかった場合には、必ず応答する必要のある問いかけを運転者に対して行う。これにより、応答行為がないまま自動運転を継続してしまうことを防止することができ、自動走行車両において安全性を向上させることができる。

また、本実施形態に係る情報呈示装置１によれば、運転者によるボタン操作を応答行為とするので、運転者による判断を簡単な方法で受け付けることができる。

さらに、本実施形態に係る情報呈示装置１によれば、運転者が応答行為を実行しなかった場合には自動運転制御を中断するので、自動走行車両において安全性を確保することができる。

また、本実施形態に係る情報呈示装置１では、所定時間の経過毎、あるいは自動走行車両による所定回数の走行制御が行われる毎に応答行為の実行を要求する。これにより、運転者に対して定期的に応答行為の実行を要求できるので、自動運転制御において安全性を向上させることができる。

さらに、本実施形態に係る情報呈示装置１では、運転者が覚醒していないことを検出した場合、あるいは運転者が前方を監視していないことを検出した場合に応答行為の実行を運転者に要求する。これにより、運転者の意識レベルが低下しているときに運転者に応答行為の実行を要求できるので、自動走行車両において安全性を向上させることができる。

また、本実施形態に係る情報呈示装置１では、運転者の状態と自動走行車両の走行状態及び外部状況とに基づいて、応答行為の実行を運転者に要求するタイミングを設定する。これにより、運転者の状態や自動走行車両の走行状態及び外部状況に応じて、適切なタイミングで応答行為の実行を運転者に要求することができる。

さらに、本実施形態に係る情報呈示装置１では、自動運転制御から手動運転制御へ引き継ぎが行われるタイミングが予め設定されている場合に、そのタイミングが近づくにしたがって応答行為の実行を要求する間隔を短くする。これにより、自動運転制御から手動運転制御へ引き継ぎが行われるときに、運転者を確実に引き継ぎ可能な状態にすることができる。

また、本実施形態に係る情報呈示装置１では、運転者が手動運転を行った場合には応答行為の実行を運転者に要求するタイミングを遅らせる。これにより、応答行為を要求する回数を減らすことができるので、システムの負荷や運転者の煩わしさを低減することができる。

さらに、本実施形態に係る情報呈示装置１によれば、応答行為の実行を要求するときに輝度エッジを有しない空間周波数及び時間周波数のパターンを表示させるので、運転者は視線を表示装置３３に向けずに周辺視で応答行為の実行要求を認識することができる。

さらに、本実施形態に係る情報呈示装置１によれば、応答行為の実行を要求するときに表示の提供に同期させて感覚刺激を運転者に提供するので、運転者は応答行為が要求されていることを確実に認識することができる。

［第２実施形態］
次に、本発明の第２実施形態に係る情報呈示装置について図面を参照して説明する。尚、第１実施形態と同一の構成要素には同一の番号を付して詳細な説明は省略する。

［情報呈示装置の構成］
上述した第１実施形態では応答行為として運転者によるボタン操作を要求していたが、本実施形態に係る情報呈示装置では、応答行為として、自車両の運転操作について運転者に判断を要求し、運転者が発話によって応答することを要求する。

図８は本実施形態に係る情報呈示装置の構成を示すブロック図である。図８に示すように、本実施形態に係る情報呈示装置８１は、ボタンスイッチ３１の代わりに音声解析部８３を備えたことが第１実施形態と相違している。以下、第１実施形態との相違点について説明する。

音声解析部８３は、運転者が発した音声をマイク等で取得して解析し、運転者がどのような言葉を発したのかを検出して音声情報を出力する。また、音声解析部８３は、運転者の発話速度や音声の強弱、ピッチ変動等についても解析する。

運転者解析部３は、音声解析部８３から出力された音声情報に基づいて運転者が発した言葉を検出し、運転者による発話または会話の内容を解析する。

運転者反応記録部５は、音声解析部８３から出力された音声情報を記録するとともに、運転者解析部３の解析結果である運転者の発話または会話の内容を記録する。

応答行為決定部７は、車両の運転者が自動運転制御から手動運転制御へ引き継ぎ可能な状態であることを確認するための応答行為を決定する。特に、本実施形態では、応答行為として、自動走行車両の運転操作について運転者に判断を要求し、運転者が発話によって応答することを要求する。具体的な応答行為の決定方法は、第１実施形態と同一である。

応答行為制御部９は、運転者と会話するための会話システムを備えており、運転者に対して問いかけを行ったり、運転者の発した言葉に対して回答したりして周囲環境や運転操作について運転者との間で会話を行うことができる。また、応答行為制御部９は、応答行為を要求するタイミングを設定する際に、運転者による発話または対話が不適切である場合には、応答行為の実行を運転者に要求する間隔を短くする。

［応答行為制御ループの処理手順］
次に、本実施形態に係る情報呈示装置８１による応答行為制御ループの処理手順を説明する。ただし、本実施形態の応答行為制御ループは、図３に示した第１実施形態のフローチャートと同一なので、第１実施形態と異なる処理が行われるステップについてのみ詳細に説明する。

図３のフローチャートにおいて、ステップＳ１０１からステップＳ１０５の処理が実行されて応答行為が決定すると、ステップＳ１０６において応答行為を要求するタイミングを決定する。そして、ステップＳ１０７において応答行為を要求するタイミングになると、ステップＳ１０８において、応答行為制御部９は運転者に対して応答行為の実行を要求する。このとき、応答行為制御部９は、応答行為決定部７で決定された運転操作を実行するか否かを表示装置３３への表示やスピーカ３７からのメッセージによって運転者に問いかけ、運転者が発話するように促す。例えば、「右へ車線変更しますか」や「加速しますか」等の問いかけを運転者に提供する。これに対して、運転者は発話によって応答することで応答行為を実行する。例えば、運転者は「はい」等の肯定的な発話や「いいえ」等の否定的な発話を行うことで応答行為を実行する。

ここで、応答行為制御部９は、上述した第１実施形態と同様にトラップ試行を行ってもよい。例えば、「横断歩道上に停車しますか」という明らかに不適切な問いかけを行って、運転者が「いいえ」という否定的な発話を必ず行うように提案する。トラップ試行に対して運転者による発話がない場合には、運転者が応答行為の実行を無視している、あるいは応答行為を実行できない状態にあると判断して、応答行為制御部９は警報を発生させ、表示画面を点滅させて運転者に警告を行う。

次に、ステップＳ１０９において、応答行為制御部９は、運転者が応答行為を実行したか否かを判定する。具体的な応答行為の実行判定処理については、図９を参照して後述する。

この後、ステップＳ１１０〜Ｓ１１２の処理を実行して、本実施形態に係る応答行為制御ループは終了する。

［応答行為の実行判定処理の手順］
次に、上述した応答行為制御ループのステップＳ１０９で実行される応答行為の実行判定処理の処理手順を、図９のフローチャートを参照して説明する。

図９に示すように、まずステップＳ４０１において、応答行為制御部９は、音声解析部８３のデータを運転者反応記録部５から読み込む。これにより、応答行為制御部９は、運転者による発話の内容を認識することができる。

ステップＳ４０２において、応答行為制御部９は、運転者が発話したか否かを判定し、発話があった場合にはステップＳ４０３に進み、発話がなかった場合にはステップＳ４０４に進む。

ステップＳ４０３において、応答行為制御部９は、運転者による発話が応答行為について肯定的発話であったか否かを判定し、肯定的発話であった場合にはステップＳ４０５に進み、肯定的発話でない場合にはステップＳ４０６に進む。

ステップＳ４０５において、応答行為制御部９は、応答行為の実行を出力して運転者が自動運転制御から手動運転制御へ引き継ぎ可能な状態であると判定する。

また、ステップＳ４０６において、応答行為制御部９は、肯定的発話ではないので自車挙動決定部２７で決定された自車挙動を実行し、応答行為の不実行を出力して運転者が自動運転制御から手動運転制御へ引き継ぎ可能な状態ではないと判定する。

一方、ステップＳ４０２において発話がないと判定され、ステップＳ４０４に進むと、応答行為制御部９は、運転者に要求された応答行為がトラップ試行であるか否かを判定する。そして、トラップ試行である場合にはステップＳ４０６に進み、トラップ試行でない場合にはステップＳ４０７に進む。

ステップＳ４０６において、応答行為制御部９は、トラップ試行であるのに発話がないので自車挙動決定部２７で決定された自車挙動を実行し、応答行為の不実行を出力して運転者が自動運転制御から手動運転制御へ引き継ぎ可能な状態ではないと判定する。

また、ステップＳ４０７において、応答行為制御部９は、トラップ試行ではなく発話がないのでデフォルトで設定されている全車追従等の運転操作を実行する。

こうして応答行為の実行または不実行が出力されると、応答行為の実行判定処理を終了して応答行為制御ループへ戻る。

［自動運転制御ループの処理手順］
本実施形態に係る自動運転制御ループは、第１実施形態の自動運転制御ループと同一の処理手順となるので、詳細な説明は省略する。

［第２実施形態の効果］
以上詳細に説明したように、本実施形態に係る情報呈示装置８１では、自動走行車両の運転操作について運転者に判断を要求し、運転者が発話によって応答することを応答行為とする。これにより、運転者が自動運転制御から手動運転制御へ引き継ぎ可能な状態であることを容易に確認することができる。

また、本実施形態に係る情報呈示装置８１では、運転者による発話または対話が所定の頻度でなかった場合には、必ず発話または対話する必要のある問いかけを運転者に対して行う。これにより、発話または対話がないまま自動運転を継続してしまうことを防止することができ、自動走行車両において安全性を向上させることができる。

さらに、本実施形態に係る情報呈示装置８１では、運転者による発話または対話が不適切である場合には、応答行為の実行を運転者に要求する間隔を短くする。これにより、運転者が不適切な対話または発話をした場合でも安全性を確保することができる。

［第３実施形態］
次に、本発明の第３実施形態に係る情報呈示装置について図面を参照して説明する。尚、第１及び第２実施形態と同一の構成要素には同一の番号を付して詳細な説明は省略する。

［情報呈示装置の構成］
上述した第２実施形態では応答行為として運転者による発話を要求していたが、本実施形態に係る情報呈示装置では、応答行為として、自動走行車両の運転操作について運転者との間で対話することを要求する。

ただし、本実施形態に係る情報提示装置の構成は、図８に示す第２実施形態の構成と同一なので、詳細な説明は省略する。

［応答行為制御ループの処理手順］
次に、本実施形態に係る情報呈示装置による応答行為制御ループの処理手順を説明する。ただし、本実施形態の応答行為制御ループは、図３に示した第１実施形態のフローチャートと同一なので、第１及び第２実施形態と異なる処理が行われるステップについてのみ詳細に説明する。

図３のフローチャートにおいて、ステップＳ１０１からステップＳ１０５の処理が実行されて応答行為が決定すると、ステップＳ１０６において応答行為を要求するタイミングを決定する。そして、ステップＳ１０７において応答行為を要求するタイミングになると、ステップＳ１０８において、応答行為制御部９は運転者に対して応答行為の実行を要求する。このとき、応答行為制御部９は、応答行為決定部７で決定された運転操作を実行するか否かを表示装置３３への表示やスピーカ３７からのメッセージによって運転者に問いかけ、運転者が対話するように促す。例えば、前方に遅い車両が走行している場合では、応答行為制御部９が「前方に遅い車両がいます」と運転者に問いかける。これに対して、運転者が「はい」等の返事をすると、応答行為制御部９は「右へ車線変更して追い越しますか、それとも減速しますか」等の提案を行い、運転者が「追い越す」や「減速する」等の肯定的な返事をすることで応答行為を実行する。

また、応答行為制御部９は、応答行為の実行を要求する前に、周囲環境についての対話を実行する。例えば、「目的地の天候が悪くなるようです」、「雨が降ってきました」、「渋滞なく順調のようです」等の問いかけを行い、運転者が「雪の予報は出てる？」、「このまま行こう」、「何時頃に着きそう？」等の返事をするような対話を実行する。

さらに、応答行為制御部９は、上述した第１実施形態と同様にトラップ試行を行ってもよい。例えば、「横断歩道上に停車しますか」という明らかに不適切な問いかけを行って、運転者が「いいえ」という否定的な返事を必ず行うように提案する。トラップ試行に対して運転者による返事がない場合には、運転者が応答行為の実行を無視している、あるいは応答行為を実行できない状態にあると判断して、応答行為制御部９は警報を発生させ、表示画面を点滅させて運転者に警告を行う。

次に、ステップＳ１０９において、応答行為制御部９は、運転者が応答行為を実行したか否かを判定する。具体的な応答行為の実行判定処理については、図１０を参照して後述する。

この後、ステップＳ１１０〜Ｓ１１２の処理を実行して、本実施形態に係る応答行為制御ループは終了する。

［応答行為の実行判定処理の手順］
次に、上述した応答行為制御ループのステップＳ１０９で実行される応答行為の実行判定処理の処理手順を、図１０のフローチャートを参照して説明する。

図１０に示すように、まずステップＳ５０１において、応答行為制御部９は、音声解析部８３のデータを運転者反応記録部５から読み込む。これにより、応答行為制御部９は、運転者による対話の内容を認識することができる。

ステップＳ５０２において、応答行為制御部９は、ステップＳ５０１で認識した対話の内容に基づいて、運転者は対話が可能であるか否かを判定し、対話が可能である場合にはステップＳ５０３に進み、対話が可能でない場合にはステップＳ５０７に進む。

ステップＳ５０３において、応答行為制御部９は、ステップＳ５０１で認識した対話の内容から運転者の周囲環境への認識レベルを評価する。例えば、運転者が周囲環境について通常の対話を行うことができていれば、周囲環境への認識レベルは高いと評価する。逆に、運転者が対話に反応しない場合や不適当な対話が行われていた場合には周囲環境への認識レベルは低いと判定する。

ステップＳ５０４において、応答行為制御部９は、運転者の周囲環境への認識レベルが高いか否かを判定する。そして、周囲環境への認識レベルが高い場合にはステップＳ５０５に進み、周囲環境への認識レベルが低い場合にはステップＳ５０１に戻って、運転者と繰り返し対話を行う。

ステップＳ５０５において、応答行為制御部９は、運転者による対話の内容を解析して運転者による対話が応答行為を肯定する肯定的対話であったか否かを判定する。そして、肯定的対話であった場合にはステップＳ５０６に進み、肯定的対話でない場合にはステップＳ５０７に進む。

ステップＳ５０６において、応答行為制御部９は、運転者との対話が肯定的対話である場合に応答行為の実行を出力して運転者が自動運転制御から手動運転制御へ引き継ぎ可能な状態であると判定する。

一方、ステップＳ５０７において、応答行為制御部９は、対話が不可能と判定された場合及び肯定的対話でないと判定された場合に応答行為の不実行を出力して運転者が自動運転制御から手動運転制御へ引き継ぎ可能な状態ではないと判定する。

こうして応答行為の実行または不実行が出力されると、応答行為の実行判定処理を終了して応答行為制御ループへ戻る。

［自動運転制御ループの処理手順］
本実施形態に係る自動運転制御ループは、第１実施形態の自動運転制御ループと同一の処理手順となるので、詳細な説明は省略する。

［第３実施形態の効果］
以上詳細に説明したように、本実施形態に係る情報呈示装置では、自動走行車両の運転操作について運転者との間で対話することを応答行為とする。これにより、運転者が自動運転制御から手動運転制御へ引き継ぎ可能な状態であることを容易に確認することができる。

また、本実施形態に係る情報呈示装置では、運転者との間の対話において、運転者の周囲環境への認識レベルが低い場合には、運転者と繰り返し対話を行う。これにより、運転者の周囲環境への認識レベルを高めて、運転者を自動運転制御から手動運転制御へ引き継ぎ可能な状態にすることができる。

さらに、本実施形態に係る情報呈示装置では、運転者による発話または対話が所定の頻度でなかった場合には、必ず発話または対話する必要のある問いかけを運転者に対して行う。これにより、発話または対話がないまま自動運転を継続してしまうことを防止することができ、自動走行車両において安全性を向上させることができる。

さらに、本実施形態に係る情報呈示装置では、運転者による発話または対話が不適切である場合には、応答行為の実行を運転者に要求する間隔を短くする。これにより、運転者が不適切な対話または発話をした場合でも安全性を確保することができる。

なお、上述の実施形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施形態以外の形態であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計などに応じて種々の変更が可能であることは勿論である。

１、８１ 情報呈示装置
３ 運転者解析部
５ 運転者反応記録部
７ 応答行為決定部
９ 応答行為制御部
１１ タスク入力部
１３ 表示イメージ生成部
１５ 警報制御部
１７ 音声生成部
２１ 周囲環境認識部
２３ 旅程制御部
２５ 自車挙動生成部
２７ 自車挙動決定部
２９ 車両挙動制御部
３１ ボタンスイッチ
３３ 表示装置
３５ 警報音発生部
３７ スピーカ
４１ センサ群
４３ データベース
４５ アクチュエータ
８３ 音声解析部

Claims (20)

1. 車両の走行制御を自動的に行う自動運転制御と運転者による手動運転制御とを切り換え可能な自動走行車両に用いる情報呈示装置であって、
   前記自動走行車両の運転者が自動運転制御を承認していることを判定して自動運転制御を継続するための運転者による応答行為を決定する応答行為決定部と、
   前記応答行為決定部で決定された応答行為を運転者に実行させるための制御を行う応答行為制御部と、
   運転者によって実行された前記応答行為を検出する運転者解析部とを備え、
   前記応答行為は、前記自動走行車両の運転操作について運転者に判断を要求し、運転者が応答する行為であり、
   前記応答行為制御部は、自動運転制御から手動運転制御へ引き継ぎが行われる地点が予め設定されている場合には、その地点が近づくにしたがって前記応答行為の実行を運転者に要求する間隔を短くすることを特徴とする情報呈示装置。
2. 前記応答行為決定部は、自動運転システムのシステム論理にしたがって生成された自車挙動の候補を取得し、前記自車挙動の候補の中から自車両の周囲環境を考慮して実行可能な運転操作を前記応答行為として決定することを特徴とする請求項１に記載の情報呈示装置。
3. 前記応答行為制御部は、運転者による肯定的な応答のみを受け付けることを特徴とする請求項１または２に記載の情報呈示装置。
4. 前記応答行為制御部は、運転者による否定的な応答のみを受け付けることを特徴とする請求項１または２に記載の情報呈示装置。
5. 前記応答行為制御部は、運転者による肯定的な応答と、運転者による否定的な応答の両方を受け付けることを特徴とする請求項１または２に記載の情報呈示装置。
6. 前記応答行為制御部は、前記応答行為が所定の頻度でなかった場合には、必ず応答する必要のある問いかけを運転者に対して行うことを特徴とする請求項１〜５のいずれか１項に記載の情報呈示装置。
7. 前記応答行為は、運転者によるボタン操作であることを特徴とする請求項１〜６のいずれか１項に記載の情報呈示装置。
8. 前記応答行為は、運転者の発話による応答であることを特徴とする請求項１または２に記載の情報呈示装置。
9. 前記応答行為は、運転者との間の対話であることを特徴とする請求項１または２に記載の情報呈示装置。
10. 前記運転者との間の対話において、運転者の周囲環境への認識レベルが低い場合には、運転者と繰り返し対話を行うことを特徴とする請求項９に記載の情報呈示装置。
11. 前記運転者による発話または対話が所定の頻度でなかった場合には、必ず発話または対話する必要のある問いかけを運転者に対して行うことを特徴とする請求項８〜１０のいずれか１項に記載の情報呈示装置。
12. 前記応答行為制御部は、運転者が前記応答行為を実行しなかった場合には、前記自動走行車両の自動運転制御を中断することを特徴とする請求項１〜１１のいずれか１項に記載の情報呈示装置。
13. 前記応答行為制御部は、所定時間の経過毎、あるいは前記自動走行車両による所定回数の走行制御が行われる毎に、前記応答行為の実行を運転者に要求することを特徴とする請求項１〜１２のいずれか１項に記載の情報呈示装置。
14. 前記応答行為制御部は、運転者が覚醒していないことを検出した場合、あるいは運転者が前方を監視していないことを検出した場合に、前記応答行為の実行を運転者に要求することを特徴とする請求項１〜１３のいずれか１項に記載の情報呈示装置。
15. 前記応答行為制御部は、運転者の状態と前記自動走行車両の走行状態及び外部状況とに基づいて、前記応答行為の実行を運転者に要求するタイミングを設定することを特徴とする請求項１〜１４のいずれか１項に記載の情報呈示装置。
16. 前記応答行為制御部は、運転者が手動運転を行った場合には、前記応答行為の実行を運転者に要求するタイミングを遅らせることを特徴とする請求項１〜１５のいずれか１項に記載の情報呈示装置。
17. 前記応答行為制御部は、前記運転者による発話または対話が不適切である場合には、前記応答行為の実行を運転者に要求する間隔を短くすることを特徴とする請求項８〜１６のいずれか１項に記載の情報呈示装置。
18. 前記応答行為制御部は、前記応答行為の実行を要求するときに、輝度エッジを有しない空間周波数及び時間周波数のパターンを表示させることを特徴とする請求項１〜１７のいずれか１項に記載の情報呈示装置。
19. 前記応答行為制御部は、前記応答行為の実行を要求するときに、運転者に表示を提供するのに同期させて感覚刺激を提供することを特徴とする請求項１〜１８のいずれか１項に記載の情報呈示装置。
20. 車両の走行制御を自動的に行う自動運転制御と運転者による手動運転制御とを切り換え可能な自動走行車両に用いる情報呈示装置の情報呈示方法であって、
    前記自動走行車両の運転者が自動運転制御を承認していることを判定して自動運転制御を継続するための応答行為を決定し、
    決定された前記応答行為を運転者に実行させるための制御を行い、
    運転者によって実行された前記応答行為を検出し、
    前記応答行為は、前記自動走行車両の運転操作について運転者に判断を要求し、運転者が応答する行為であり、
    自動運転制御から手動運転制御へ引き継ぎが行われる地点が予め設定されている場合には、その地点が近づくにしたがって前記応答行為の実行を運転者に要求する間隔を短くすることを特徴とする情報呈示方法。