JP7156011B2 - 情報提示装置 - Google Patents

Description

本発明は、車両の運転者に情報を提示する情報提示装置に関する。

例えば、特許文献１には、自動運転と手動運転とを切替可能な車両において、当該車両の運転者に対し、運転者の運転への意識量に基づいて情報を提示する情報提示装置が記載されている。

国際公開第２０１５／１５１２４３号

特許文献１に記載された装置では、例えば、運転者が運転行為と運転外行為とを短時間で交替しながら行った場合、運転行為の合計時間が一定時間以上であるにも関わらず運転者の意識量が低いと判定される。これにより、運転者に対して適切に情報を提示できないことがある。このため、本技術分野では、車両の運転者に対して適切に情報を提示することが望まれている。

本発明の一側面に係る情報提示装置は、運転者による手動運転と自動運転システムによる自動運転とを切替可能な車両における情報提示装置であって、運転者の状態を検出する状態検出センサの検出結果に基づいて、運転者による運転行為及び運転外行為を判別する行為判別部と、予め定められた従事度算出期間内における運転行為の判別結果及び運転外行為の判別結果の少なくともいずれかに基づいて、運転者による運転に関する従事度を算出する従事度算出部と、自動運転システムが車両の自動運転を行うときの自動運転制御のシステム自信度を自動運転システムから取得するシステム自信度取得部と、算出された従事度及び取得されたシステム自信度に基づいて、運転者に対して情報を提示する情報提示部と、を備える。

この情報提示装置では、予め定められた従事度算出期間内における運転行為の判別結果及び運転外行為の判別結果の少なくともいずれかに基づいて従事度が算出される。これにより、情報提示装置は、例えば運転者が運転行為と運転外行為とを短時間で交替しながら行った場合であっても、運転に関する従事度をより適切に算出できる。また、情報提示装置は、自動運転制御のシステム自信度に基づいて運転者への情報の提示を行うことができる。従って、情報提示装置は、従事度及びシステム自信度に基づいて、車両の運転者に対して適切に情報を提示できる。

従事度算出部は、従事度算出期間内において運転行為を行っていると判別された時間と運転外行為を行っていると判別された時間との行為比率に基づいて、従事度を算出してもよい。この場合、情報提示装置は、運転に関する従事度をより適切に算出できる。

情報提示部は、従事度が予め定められた従事度閾値よりも大きいか又は小さいかに基づいて情報を提示すると共に、システム自信度に基づいて従事度閾値を変更してもよい。この場合、情報提示装置は、システム自信度に基づいて、より適切に情報を提示できる。

情報提示装置は、行為判別部の判別結果に基づいて、従事度算出期間内における運転行為と運転外行為との交替頻度を算出する交替頻度算出部を更に備え、情報提示部は、従事度、システム自信度、及び交替頻度に基づいて情報を提示してもよい。ここで、一例として、運転外行為を行っている時間が長く且つ交替頻度が低い場合、運転者は運転外行為に没入していると考えられる。一方、運転外行為を行っている時間が長くても交替頻度が高い場合、運転者は、車両の運転行為にも注意が向いていると考えられる。このため、情報提示装置は、更に交替頻度に基づいて情報を提示することで、運転者に対してより適切に情報を提示できる。

情報提示部は、交替頻度が予め定められた交替頻度閾値よりも大きいか又は小さいかに基づいて情報を提示すると共に、システム自信度に基づいて交替頻度閾値を変更してもよい。この場合、情報提示装置は、システム自信度に基づいて、より適切に情報を提示できる。

行為判別部は、運転外行為として、第１運転外行為と、第１運転外行為とは異なる第２運転外行為とを更に判別し、従事度算出部は、従事度算出期間内において運転行為を行っていると判別された時間と第１運転外行為を行っていると判別された時間との比率である第１行為比率、及び、従事度算出期間内において運転行為を行っていると判別された時間と第２運転外行為を行っていると判別された時間との比率である第２行為比率に基づいて、第１運転外行為及び第２運転外行為毎にそれぞれ従事度を算出してもよい。この場合、情報提示装置は、運転外行為の種類を判別し、第１運転外行為及び第２運転外行為のそれぞれの行為に基づいて運転者に対してより適切に情報を提示できる。

本発明の一側面によれば、車両の運転者に対して適切に情報を提示できる。

図１は、第１実施形態に係る情報提示装置を含む車両の一例の機能ブロック図である。 図２は、運転行為及び運転外行為の時間変化を示す図である。 図３は、システム自信度毎に設定される従事度閾値を示すテーブルである。 図４は、システム自信度毎に設定される交替頻度閾値を示すテーブルである。 図５は、情報提示処理の流れを示すフローチャートである。 図６は、第２実施形態に係る情報提示装置を含む車両の一例の機能ブロック図である。 図７は、運転行為及び運転外行為（映像鑑賞行為及びテクスティング）の時間変化を示す図である。 図８は、システム自信度に基づいて、運転外行為の種類毎に設定される従事度閾値を示すテーブルである。 図９は、第３実施形態に係る情報提示装置を含む車両の一例の機能ブロック図である。 図１０は、運転行為及び運転外行為の時間変化を示す図である。 図１１は、顔の向きによる行為の判別を説明するための図である。

以下、本発明の実施形態について図面を参照しながら説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。

（第１実施形態）
まず、第１実施形態について説明する。図１に示されるように、第１実施形態に係る情報提示装置２００は、手動運転と自動運転とを切替可能な乗用車等の車両Ｖに搭載される。手動運転とは、車両Ｖの運転者が主体となって車両Ｖの運転を行うことを意味する。自動運転とは、予め設定された目的地に向かって自動で車両Ｖを走行させる車両制御である。自動運転では、運転者が運転操作を行う必要が無く、車両Ｖが自動で走行する。ここでは、車両Ｖに搭載された自動運転システム１００によって、車両Ｖの自動運転制御が行われる。

（自動運転システムの詳細）
自動運転システム１００は、ＧＰＳ［Global Positioning System］受信部１、外部センサ２、内部センサ３、地図データベース４、アクチュエータ５、及び自動運転ＥＣＵ［Electronic Control Unit］１０を備える。

ＧＰＳ受信部１は、３個以上のＧＰＳ衛星から信号を受信することにより、車両Ｖの位置を測定する。位置の具体的な一例としては、緯度及び経度である。ＧＰＳ受信部１は、測定した車両Ｖの位置情報を自動運転ＥＣＵ１０へ送信する。

外部センサ２は、車両Ｖの周囲の物体を検出する検出器である。物体には、ガードレール、電柱、駐車車両等の静止物体の他、他車両、歩行者等の移動物体が含まれる。外部センサ２は、カメラ、レーダセンサのうち少なくとも一つを含む。カメラは、車両Ｖの周囲（少なくとも前方）を撮像する撮像機器である。カメラは、車両Ｖの周囲の撮像情報を自動運転ＥＣＵ１０へ送信する。カメラは、単眼カメラであってもよく、ステレオカメラであってもよい。レーダセンサは、電波（例えばミリ波）又は光を利用して車両Ｖの周辺の物体を検出する検出機器である。レーダセンサには、例えば、ミリ波レーダ又はライダー［LIDAR：Light Detection and Ranging］が含まれる。レーダセンサは、電波又は光を車両Ｖの周辺に送信し、物体で反射された電波又は光を受信することで物体を検出する。レーダセンサは、検出した物体情報を自動運転ＥＣＵ１０へ送信する。

内部センサ３は、車両Ｖの走行状態を検出する検出器である。内部センサ３は、車両Ｖの走行状態を検出するために、車速センサ、加速度センサ、及びヨーレートセンサのうち少なくとも一つを含む。

車速センサは、車両Ｖの速度を検出する検出器である。車速センサの一例としては、車両Ｖの車輪又は車輪と一体に回転するドライブシャフト等に対して設けられ、車輪の回転速度を検出する車輪速センサが用いられる。車速センサは、検出した車両Ｖの車速情報を自動運転ＥＣＵ１０へ送信する。加速度センサは、車両Ｖの加速度を検出する検出器である。加速度センサは、車両Ｖの前後方向の加速度を検出する前後加速度センサと、車両Ｖの横加速度を検出する横加速度センサとを含む。加速度センサは、検出した車両Ｖの加速度情報を自動運転ＥＣＵ１０へ送信する。ヨーレートセンサは、車両Ｖの重心の鉛直軸周りのヨーレート（回転角速度）を検出する検出器である。ヨーレートセンサの一例として、ジャイロセンサが用いられる。ヨーレートセンサは、検出した車両Ｖのヨーレート情報を自動運転ＥＣＵ１０へ送信する。

地図データベース４は、地図情報を備えたデータベースである。地図データベース４は、車両Ｖに搭載された記憶部に格納されている。地図情報には、道路の位置情報、道路形状の情報（カーブ、直線部の種別、カーブの曲率等）、交差点及び分岐点の位置情報、並びに建物の位置情報等が含まれる。地図情報には、横断歩道の位置情報、一時停止線の位置情報等が含まれてもよい。地図情報には、物標の位置情報も含まれる。物標とは、地図上の位置が既知であり、車両Ｖの地図上の位置認識の基準として利用される物体である。物標には、一時停止線等の路面標示、電柱、道路の区画線、信号機等を含むことができる。なお、地図データベース４は、車両Ｖと通信可能な情報処理センター等の施設のコンピュータに記憶されていてもよい。物標の位置情報は、地図データベースとは別体のデータベースに記憶されていてもよい。

アクチュエータ５は、車両Ｖの走行制御を実行する装置である。アクチュエータ５は、エンジンアクチュエータ、ブレーキアクチュエータ及び操舵アクチュエータを含む。エンジンアクチュエータは、自動運転ＥＣＵ１０からの制御信号に応じてエンジンに対する空気の供給量を変更することで、車両Ｖの駆動力を制御する。具体的な一例として、エンジンアクチュエータは、スロットル開度を変更することで車両Ｖの駆動力を制御する。なお、エンジンアクチュエータは、車両Ｖがハイブリッド車又は電気自動車である場合には、動力源としてのモータの駆動力を制御する。ブレーキアクチュエータは、自動運転ＥＣＵ１０からの制御信号に応じてブレーキシステムを制御し、車両Ｖの車輪へ付与する制動力を制御する。ブレーキシステムとしては、液圧ブレーキシステムを用いることができる。操舵アクチュエータは、電動パワーステアリングシステムのうち操舵トルクを制御するアシストモータの駆動を、自動運転ＥＣＵ１０からの制御信号に応じて制御する。これにより、操舵アクチュエータは、車両Ｖの操舵トルクを制御する。

自動運転ＥＣＵ１０は、ＣＰＵ［Central Processing Unit]、ＲＯＭ［Read Only Memory］、ＲＡＭ［Random Access Memory］、ＣＡＮ［Controller Area Network］通信回路等を有する電子制御ユニットである。自動運転ＥＣＵ１０は、ＣＰＵが出力する信号に基づいてハードウェアを制御し、後述する各種の機能を実現する。

自動運転ＥＣＵ１０は、車両位置認識部１１、外部環境認識部１２、走行状態認識部１３、進路生成部１４、車両制御部１５、及びシステム自信度算出部１６を有している。

車両位置認識部１１は、ＧＰＳ受信部１の位置情報及び地図データベース４の地図情報に基づいて、車両Ｖの地図上の位置を認識する。また、車両位置認識部１１は、地図データベース４の地図情報に含まれた物標の位置情報及び外部センサ２の検出結果を利用して、ＳＬＡＭ［Simultaneous Localization and Mapping］技術等により車両Ｖの地図上の位置の推定を行ってもよい。車両位置認識部１１は、その他、周知の手法により車両Ｖの地図上の位置を認識してもよい。

外部環境認識部１２は、外部センサ２の検出結果（レーダセンサの物体情報及び／又はカメラの撮像情報）に基づいて、車両Ｖの外部環境を認識する。外部環境には、車両Ｖの周囲の物体の状況が含まれる。物体の状況とは、例えば車両Ｖに対する物体の相対位置及び相対速度である。

外部環境には、車両Ｖの周囲の区画線（車線境界線、中央線等）の認識結果が含まれていてもよい。外部環境認識部１２は、外部センサ２の検出結果に基づいて、周知の白線認識により車両Ｖに対する区画線の相対位置を認識する。

走行状態認識部１３は、内部センサ３の検出結果に基づいて、走行中の車両Ｖの状態を認識する。走行状態には、車両Ｖの車速、車両Ｖの加速度、車両Ｖのヨーレートが含まれる。具体的には、走行状態認識部１３は、車速センサの車速情報に基づいて、車両Ｖの車速を認識する。走行状態認識部１３は、加速度センサの加速度情報に基づいて、車両Ｖの加速度（前後加速度及び横加速度）を認識する。走行状態認識部１３は、ヨーレートセンサのヨーレート情報に基づいて、車両Ｖのヨーレートを認識する。

進路生成部１４は、車両Ｖの自動運転に利用される進路［trajectory］を生成する。進路生成部１４は、予め設定された目的地、地図データベース４の地図情報、車両位置認識部１１の認識した車両Ｖの地図上の位置、外部環境認識部１２の認識した車両Ｖの外部環境、及び走行状態認識部１３の認識した車両Ｖの走行状態（車速、ヨーレート等）に基づいて、自動運転の進路を生成する。目的地は、車両Ｖの乗員によって設定されてもよく、自動運転システム１００又は周知のナビゲーションシステムにより提案された目的地であってもよい。

進路生成部１４は、目的地、地図情報、及び車両Ｖの地図上の位置に基づいて、自動運転の走行ルートを求める。走行ルートとは、自動運転において車両Ｖが走行するルートであり、車両Ｖの地図上の位置（現在位置）から目的地に向かうルートである。走行ルートは、周知のナビゲーションシステムによって設定されてもよい。走行ルートは、例えば車線単位のルートとして表わすことができる。進路生成部１４は、地図情報から走行ルートに沿って車両Ｖを自動運転するための進路を生成する。

進路には、自動運転で車両Ｖが走行する経路［path］と自動運転における車速プロファイルとが含まれる。経路は、走行ルート上において自動運転中の車両Ｖが走行する予定の軌跡である。経路は、例えば走行ルート上の位置に応じた車両Ｖの操舵角変化のデータ（操舵角プロファイル）とすることができる。走行ルート上の位置とは、例えば走行ルートの進行方向において所定間隔（例えば１ｍ）毎に設定された設定縦位置である。操舵角プロファイルとは、設定縦位置毎に目標操舵角が関連付けられたデータとなる。

進路生成部１４は、例えば走行ルート、地図情報、車両Ｖの外部環境、及び車両Ｖの走行状態に基づいて、車両Ｖが走行する経路を生成する。進路生成部１４は、例えば車両Ｖが走行ルートに含まれる車線の中央を通るように経路を生成する。

車速プロファイルは、例えば設定縦位置毎に目標車速が関連付けられたデータである。なお、設定縦位置は、距離ではなく車両Ｖの走行時間を基準として設定されてもよい。設定縦位置は、車両Ｖの１秒後の到達位置、車両Ｖの２秒後の到達位置として設定されていてもよい。

進路生成部１４は、例えば経路と地図情報に含まれる法定速度等の速度関連情報に基づいて車速プロファイルを生成する。法定速度に代えて、地図上の位置又は区間に対して予め設定された設定速度を用いてもよい。進路生成部１４は、経路及び車速プロファイルから自動運転の進路を生成する。なお、進路は上述した内容に限られない。進路は、車両Ｖの自動運転を実現するために必要な情報を有していればよい。

車両制御部１５は、車両Ｖの自動運転を実行する。車両制御部１５は、地図情報、車両Ｖの地図上の位置、車両Ｖの外部環境、車両Ｖの走行状態、及び進路に基づいて、車両Ｖの自動運転を実行する。車両制御部１５は、進路生成部１４の生成した進路に沿って自動運転を実行すると共に、緊急時には自動で緊急回避等を実行する。車両制御部１５は、アクチュエータ５に制御信号を送信することにより車両Ｖの自動運転を実行する。

システム自信度算出部１６は、車両Ｖの地図上の位置、車両Ｖの外部環境、車両Ｖの走行状態、及び車両Ｖの進路のうち少なくとも一つに基づいて、自動運転システム１００の自動運転に関するシステム自信度を算出する。システム自信度とは、自動運転システム１００における自動運転の信頼性（確からしさ）を示す指標である。システム自信度は自動運転の継続可能性に対応する。

システム自信度算出部１６は、例えば外部環境認識部１２の認識した車両Ｖの外部環境に基づいて、システム自信度を算出する。具体的には、システム自信度算出部１６は、車両Ｖの周囲において他車両等の移動物体の数が一定数以上である場合、車両Ｖの周囲の移動物体の数が一定数未満である場合と比べて、システム自信度を低い値として算出してもよい。システム自信度算出部１６は、車両Ｖの前方で一定距離内に先行車が存在する場合、先行車が存在しない場合と比べて、システム自信度を低い値として算出してもよい。

システム自信度算出部１６は、車両Ｖの前方で一定距離内に先行車が存在する場合、車両Ｖと先行車との車間距離が短いほど、システム自信度を低い値として算出してもよい。システム自信度算出部１６は、車両Ｖの後方で一定距離内に後続車が存在する場合、後続車が存在しない場合と比べて、システム自信度を低い値として算出してもよい。システム自信度算出部１６は、車両Ｖに並走する並走車が存在する場合、並走車が存在しない場合と比べて、システム自信度を低い値として算出してもよい。

システム自信度算出部１６は、車両Ｖの前方に衝突余裕時間［TTC：Time To Collision］がＴＴＣ閾値未満の物体が存在する場合、車両Ｖの前方に衝突余裕時間がＴＴＣ閾値未満の物体が存在しない場合と比べて、システム自信度を低い値として算出してもよい。なお、衝突余裕時間に代えて車間時間を用いてもよい。なお、ＴＴＣ閾値とは、予め定められた値の閾値である。以後、本明細書の説明で用いる各種の「閾値」は予め定められた値の閾値を意味する。

システム自信度算出部１６は、車両Ｖの進行方向で車両Ｖから一定距離内に歩行者が存在する場合、歩行者が存在しない場合と比べて、システム自信度を低い値として算出してもよい。システム自信度算出部１６は、車両Ｖの進路を横断する方向に移動している歩行者が存在する場合、当該歩行者が存在しない場合と比べて、システム自信度を低い値として算出してもよい。歩行者ではなく、自転車、パーソナルモビリティ等の場合も同様とすることができる。

システム自信度算出部１６は、車両Ｖの周囲の他車両が異常挙動を行っている場合、他車両が異常挙動を行っていない場合と比べて、システム自信度を低い値として算出してもよい。異常挙動とは、標準的な走行状況において他車両が行うことが予定されない異常な挙動である。異常挙動には、急減速、急加速、急操舵、ハザードランプの点灯等を含むことができる。システム自信度算出部１６は、車両Ｖの周囲の他車両が予め設定された通常挙動を逸脱した場合、異常挙動を行っていると認識してもよい。通常挙動は、例えば加速度または減速度が閾値以下であり、車線の法定最高速度以下の速度で車線に沿った走行とすることができる。

システム自信度算出部１６は、建物、他車両等による外部センサ２の検出範囲の遮蔽割合が遮蔽閾値以上である場合、外部センサ２の検出範囲の遮蔽割合が遮蔽閾値未満である場合と比べて、システム自信度を低い値として算出してもよい。システム自信度算出部１６は、車両Ｖの地図上の位置と地図情報に含まれる物標の位置情報とに基づいて地図上で外部センサ２の検出範囲に含まれる物標を認識し、外部環境認識部１２の認識した物標（静止物体）と照合してもよい。システム自信度算出部１６は、地図上で外部センサ２の検出範囲に含まれる物標の数から外部環境認識部１２の認識した物標の数を減じた差分数が差分閾値以上である場合、差分数が差分閾値未満である場合と比べて、システム自信度を低い値として算出してもよい。システム自信度算出部１６は、建物等による外部センサ２の検出範囲の遮蔽を踏まえて、地図上で外部センサ２の検出範囲に含まれる物標の数を認識してもよい。

システム自信度算出部１６は、車両Ｖの外部環境として他車両等の移動物体のトラッキング状況に基づいて、システム自信度を算出してもよい。システム自信度算出部１６は、外部センサ２の検出範囲内でトラッキングしていた移動物体をロストした場合、移動物体をロストしない場合と比べて、システム自信度を低い値として算出してもよい。システム自信度算出部１６は、トラッキング中の移動物体の形状又は体積が一定割合以上に変化した場合、複数の物体を一つの移動物体と誤認識している可能性が高まることから、移動物体の形状又は体積が変化しない場合と比べて、システム自信度を低い値として算出してもよい。システム自信度算出部１６は、トラッキング中の移動物体の相対速度が急変した場合、速度の異なる複数の物体を誤って一つの物体として誤認識している可能性が高まることから、移動物体の相対速度が急変しない場合と比べて、システム自信度を低い値として算出してもよい。システム自信度算出部１６は、例えば、一定時間内の速度変化が急変閾値以上である場合に相対速度が急変したと認識することができる。

システム自信度算出部１６は、車両Ｖの外部環境に車両前方の信号機の認識結果が含まれる場合、認識された信号機の形状と地図情報に記憶された信号機の形状とが一致しない場合（例えば認識した信号機の灯火の数が三つ＋矢印灯火であり、地図情報における信号機の灯火の数が三つの三灯式である場合）、認識された信号機の形状と地図情報に記憶された信号機の形状とが一致する場合と比べて、システム自信度を低い値として算出してもよい。信号機の形状だけではなく信号機の寸法を考慮してもよい。また、信号機以外の物標の形状又は寸法を用いてもよい。

システム自信度算出部１６は、車両Ｖの外部環境に車両Ｖの周囲の天候が含まれる場合、車両Ｖの周囲の天候が雨天であるとき、車両Ｖの周囲の天候が晴天であるときと比べて、システム自信度を低い値として算出してもよい。車両Ｖの周囲の天候は、カメラの撮像情報又はレーダセンサの検出結果に基づいて判定することができる。車両Ｖの周囲の天候は、車両Ｖのワイパー作動状況等も踏まえて判定してもよい。

システム自信度算出部１６は、車両Ｖの進路に対する移動物体の干渉度に基づいて、システム自信度を算出してもよい。車両Ｖの進路に対する移動物体の干渉度は、例えば特開２００７－２３４５４号公報に記載の手法を用いて算出することができる。システム自信度算出部１６は、例えば車両Ｖの進路に対する移動物体の干渉度が高いほど、システム自信度を低い値として算出する。

システム自信度算出部１６は、車両Ｖの周囲の移動物体の危険度に基づいて、システム自信度を算出してもよい。車両Ｖの周囲の移動体の危険度は、例えば特開２００８－１５８９６９号公報に記載の手法を用いて算出することができる。システム自信度算出部１６は、例えば車両Ｖの進路に対する移動物体の危険度が高いほど、システム自信度を低い値として算出する。

システム自信度算出部１６は、車両位置認識部１１による車両Ｖの地図上の位置に基づいて、システム自信度を算出してもよい。システム自信度算出部１６は、例えば、ＧＰＳ受信部１の位置情報に加えて物標を用いた車両Ｖの位置認識を行っている場合、ＧＰＳ受信部１の位置情報のみから車両Ｖの位置を認識している場合と比べて、システム自信度を低い値として算出する。

システム自信度算出部１６は、地図情報の精度が低い区域に車両Ｖが位置する場合、それ以外の区域に車両Ｖが位置する場合と比べて、システム自信度を低い値として算出してもよい。地図情報の精度が低い区域であるか否かの情報は、例えば地図情報に予め関連付けられている。システム自信度算出部１６は、ＧＰＳ受信部１が信号を受信しているＧＰＳ衛星の数がＧＰＳ閾値以上である場合、ＧＰＳ衛星の数がＧＰＳ閾値未満である場合と比べて、システム自信度を低い値として算出してもよい。システム自信度算出部１６は、ＧＰＳ受信部１が信号を受信しているＧＰＳ衛星の配置が分散している場合、ＧＰＳ衛星の配置が集中している場合と比べて、システム自信度を低い値として算出してもよい。

システム自信度算出部１６は、車両Ｖの周囲に位置する物標の認識数が物標閾値未満である場合、物標の認識数が物標閾値以上である場合と比べて、システム自信度を低い値として算出してもよい。システム自信度算出部１６は、車両Ｖの周囲で認識された複数の物標の位置関係が地図情報における各物標の位置関係と一致していない場合、認識された複数の物標の位置関係が地図情報における各物標の位置関係と一致している場合と比べて、システム自信度を低い値として算出してもよい。システム自信度算出部１６は、認識された複数の物標の位置関係が地図情報における各物標の位置関係と一致しない場合において、各物標の位置誤差の平均が一定距離未満であるとき、各物標の位置誤差の平均が一定距離以上であるときと比べて、システム自信度を低い値として算出してもよい。なお、システム自信度算出部１６は、平均に代えて中央値を用いてもよく、合計値を用いてもよい。

システム自信度算出部１６は、交差点、踏み切り、合流区間、分岐区間等の複雑な道路環境に車両Ｖが位置する場合、車両Ｖが複雑な道路環境に位置しない場合と比べて、システム自信度を低い値として算出してもよい。システム自信度算出部１６は、地図情報に予め設定された見通しの悪い区間に車両Ｖが位置する場合、見通しの悪い区間に車両Ｖが位置しない場合と比べて、システム自信度を低い値として算出してもよい。

システム自信度算出部１６は、走行状態認識部１３による車両Ｖの走行状態に基づいて、システム自信度を算出してもよい。システム自信度算出部１６は、車両Ｖの車速の検出結果が異常値となった場合、車速の検出結果が異常値となっていない場合と比べて、システム自信度を低い値として算出してもよい。システム自信度算出部１６は、例えば１フレーム前に検出された車速と今回検出された車速との差が異常検出閾値以上（例えば２０ｋｍ／ｈ以上）である場合に異常値となっていると認識する。加速度、ヨーレートについても同様とすることができる。

システム自信度算出部１６は、走行状態認識部１３による車両Ｖの走行状態と進路生成部１４の生成した進路とに基づいて、生成された進路によって表される車両Ｖの走行状態と自動運転制御を行った結果として認識された車両Ｖの走行状態との比較結果から、システム自信度を算出してもよい。システム自信度算出部１６は、例えば、生成された進路に含まれる車速と自動運転制御の結果としての車速の履歴との乖離が乖離閾値以上である場合、乖離が乖離閾値未満である場合と比べて、システム自信度を低い値として算出してもよい。加速度、ヨーレートについても同様とすることができる。

その他、システム自信度算出部１６は、車両Ｖの各種センサ（外部センサ２、内部センサ３等）の異常を検出した場合には、各種センサが正常である場合と比べて、システム自信度を低い値として算出してもよい。センサの異常検出については周知の異常検出技術を用いることができる。

（情報提示装置）
情報提示装置２００は、車両Ｖの運転者に対して情報を提示する。情報提示装置２００は、状態検出センサ２１、情報提示デバイス２２、及び情報提示ＥＣＵ２３を備える。

状態検出センサ２１は、運転者の状態を検出する検出器である。本実施形態において、状態検出センサ２１は、一例として、運転者を撮像するドライバモニタカメラである。ドライバモニタカメラは、例えば車両Ｖ両のステアリングコラムのカバー上で運転者の正面の位置に設けられ、運転者を撮像する。ドライバモニタカメラは、運転者を複数方向から撮像するため、複数個設けられていてもよい。

情報提示デバイス２２は、運転者に対して情報を提示する機器である。情報提示デバイス２２は、ディスプレイ２２ａ、及びスピーカ２２ｂを備えている。ディスプレイ２２ａは、車両Ｖ内において運転者から視認可能に設けられた表示器である。ディスプレイ２２ａは、例えば車両Ｖのダッシュボードに設けられている。ディスプレイ２２ａは、情報提示ＥＣＵ２３からの制御信号に応じて各種の画像表示を行う。ディスプレイ２２ａは、車両Ｖのフロントガラスに画像を投影表示するヘッドアップディスプレイであってもよい。

スピーカ２２ｂは、車両Ｖに設けられた音声出力器である。スピーカ２２ｂは、例えば車両Ｖのドアの内側及びインストルメントパネルの裏側に設けられる。スピーカ２２ｂは、情報提示ＥＣＵ２３からの制御信号に応じて各種の音声出力を行う。

情報提示ＥＣＵ２３は、自動運転ＥＣＵ１０と同様に、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＣＡＮ通信回路等を有する電子制御ユニットである。情報提示ＥＣＵ２３は、ＣＰＵが出力する信号に基づいてハードウェアを制御し、後述する各種の機能を実現する。

情報提示ＥＣＵ２３は、行為判別部２４、従事度算出部２５、交替頻度算出部２６、システム自信度取得部２７、及び情報提示部２８を有する。

行為判別部２４は、状態検出センサ２１の検出結果に基づいて、運転者による運転行為及び運転外行為を判別する。行為判別部２４は、運転者による運転行為及び運転外行為を判別する処理を、例えば予め定められた時間毎に繰り返し実行する。

ここでは、行為判別部２４は、状態検出センサ２１としてのドライバモニタカメラの撮像画像に基づいて、運転者による運転行為及び運転外行為を判別する。運転行為とは、運転者が車両Ｖの運転操作を行う行為である。運転外行為とは、運転者による車両Ｖの運転行為以外の行為である。運転外行為としては、例えば、映像鑑賞、メール作成等のテクスティング、読書、居眠り等の行為がある。以下では、運転外行為として、ダッシュボードの中央付近に設けられた映像鑑賞用のセンターディスプレイによって運転者が映像鑑賞を行っている場合を例に説明する。

行為判別部２４は、運転者の撮像画像に基づいて、周知の技術を用いて運転者による運転行為及び運転外行為を判別することができる。例えば、行為判別部２４は、撮像画像に基づいて運転者の頭部（顔）の向きを推定する。運転者の頭部が車両Ｖの前方を向いている場合、行為判別部２４は、運転者が運転行為を行っていると判別することができる。運転者の頭部が映像鑑賞用のセンターディスプレイを向いている場合、行為判別部２４は、運転者が運転外行為を行っていると判別することができる。図２は、行為判別部２４による判別結果を時系列にプロットしたグラフである。

ここで、行為判別部２４は、状態検出センサ２１の検出結果に基づいて運転行為を行っているか否かを判別する。そして、運転行為を行っていると判別されなかった場合、行為判別部２４は、運転者が運転外行為を行っていると判別してもよい。この場合、行為判別部２４は、状態検出センサ２１の検出結果に基づいて運転行為を行っているか否かのみを判別できれば、運転者による運転行為及び運転外行為を判別できる。これにより、行為判別部２４は、様々な運転外行為を判別するための判別情報が無くても、運転行為の判別結果に基づいて運転外行為を判別できる。

また、反対に、行為判別部２４は、状態検出センサ２１の検出結果に基づいて運転外行為を行っているか否かを判別する。そして、運転外行為を行っていると判別されなかった場合、行為判別部２４は、運転者が運転行為を行っていると判別してもよい。この場合、行為判別部２４は、状態検出センサ２１の検出結果に基づいて運転外行為を行っているか否かのみを判別できれば、運転者による運転行為及び運転外行為を判別できる。これにより、行為判別部２４は、様々な運転行為を判別するための判別情報が無くても、運転外行為の判別結果に基づいて運転行為を判別できる。

従事度算出部２５は、予め定められた従事度算出期間内における運転行為の判別結果及び運転外行為の判別結果の少なくともいずれかに基づいて、運転者による運転に関する従事度を算出する。本実施形態において、従事度算出部２５は、予め定められた従事度算出期間内における運転行為の判別結果及び運転外行為の判別結果に基づいて、運転者による運転に関する従事度を算出する。ここでは、従事度算出部２５は、従事度算出期間内において運転行為を行っていると判別された時間（合計時間）と運転外行為を行っていると判別された時間（合計時間）との行為比率に基づいて、従事度を算出する。

具体的には、従事度算出部２５は、図２に示されるように、時刻Ｔ－ｄから現在の時刻Ｔまでの従事度算出期間ｄ分の判別結果に基づいて、行為比率を算出する。ここでの行為比率とは、例えば、従事度算出期間ｄ内において運転行為に従事している時間（合計時間）に対する映像鑑賞（運転外行為）に従事している時間（合計時間）の比率である。例えば、従事度算出期間ｄ内において、運転行為に従事していると判別された時間の合計を２００秒とし、映像鑑賞に従事している時間の合計を５００秒とした場合、行為比率は５００／２００＝２．５となる。行為比率は、比率が小さい方が運転行為に従事している割合が高く、より安全性が高い状態であると考えられる。

本実施形態において、従事度算出部２５は、算出した行為比率を従事度として用いる。但し、従事度算出部２５は、算出した行為比率に係数を乗算する等の調整がされた値を、従事度として用いてもよい。

なお、従事度算出期間ｄは、予め定められた一定の値であってもよく、予め定められた条件に基づいて変化する値であってもよい。例えば、従事度算出期間ｄは、車両Ｖの走行している場所、車両Ｖの状態等の種々の条件に基づいて変更されてもよい。

交替頻度算出部２６は、行為判別部２４の判別結果に基づいて、従事度算出期間ｄ内における運転行為と運転外行為との交替頻度を算出する。一例として、交替頻度算出部２６は、運転行為から映像鑑賞（運転外行為）に行為が映った場合、又は映像鑑賞（運転外行為）から運転行為に行為が映った場合に、１回の交替があったとして交替の数をカウントする。図２に示される例では、時刻Ｔ－ｄから現在の時刻Ｔまでの従事度算出期間ｄ内において６回の交替が行われている。このため、交替頻度算出部２６は、交替頻度を６として算出する。

システム自信度取得部２７は、自動運転システム１００が車両Ｖの自動運転を行うときの自動運転制御のシステム自信度を自動運転システム１００のシステム自信度算出部１６から取得する。

情報提示部２８は、従事度算出部２５で算出された従事度、交替頻度算出部２６で算出された交替頻度、及びシステム自信度取得部２７で取得されたシステム自信度に基づいて、運転者に情報を提示する。ここでは、情報提示部２８は、従事度が予め定められた従事度閾値よりも大きいか又は小さいかに基づいて情報を提示する。また、情報提示部２８は、交替頻度が予め定められた交替頻度閾値よりも大きいか又は小さいかに基づいて情報を提示する。

情報提示部２８は、運転者に提示する情報として、運転行為への従事（運転者による運転操作）を促す情報を情報提示デバイス２２を用いて提示する。情報提示部２８は、情報提示デバイス２２に制御信号を送信することによって、情報提示デバイス２２によって情報を提示させる。情報提示部２８は、運転行為への従事を促す情報として、テキストメッセージ等をディスプレイ２２ａに表示させてもよく、スピーカ２２ｂから音声等を出力させてもよい。

例えば、従事度（行為比率）が高く（すなわち映像鑑賞に従事している時間が長い）、且つ交替頻度が低い場合、運転者は映像鑑賞への没入度合いが高いと考えられる。このような場合、運転者が運転行為に従事する時間を増やし、運転者の運転行為への集中度を上げる必要がある。すなわち、従事度が予め定められた従事度閾値よりも大きく、且つ交替頻度が予め定められた交替頻度閾値よりも小さいこと満たすことが、運転行為への従事を促すための情報を提示する提示条件として採用され得る。このため、情報提示部２８は、算出された従事度及び交替頻度が、上記の提示条件を満たすか否かを判定する。

提示条件を満たす場合、情報提示部２８は、現在の時刻において運転者が運転行為を行っていると判別されているときには、例えば「運転を続けてください」等の運転行為を継続させるメッセージを情報提示デバイス２２によって提示させる。また、提示条件を満たす場合、情報提示部２８は、現在の時刻において運転者が運転外行為を行っていると判別されているときには、例えば「運転に戻ってください」等の運転行為への復帰を促すメッセージを情報提示デバイス２２によって提示させる。これにより、現在の時刻Ｔ以降において、運転者による運転行為の時間を増やす効果が期待される。

また、情報提示部２８は、従事度及び交替頻度が提示条件を満たすか否かを判定する際に、システム自信度に基づいて従事度閾値及び交替頻度閾値を変更する。例えば、システム自信度が高い場合、自動運転システム１００は車両Ｖをより適切に走行させることができるため、運転者による映像鑑賞への没入度が高くてもよい。すなわち、システム自信度が高い場合、従事度（映像鑑賞の行為比率）が高くてもよく、交替頻度が低くてもよい。

具体的には、例えば、情報提示部２８は、図３に示されるように、システム自信度が高い場合には従事度閾値を２．５とし、システム自信度が中の場合には従事度閾値を１．２とし、システム自信度が低い場合には従事度閾値を０．１とすることができる。このように、情報提示部２８は、システム自信度が高い場合には、システム自信度が低い場合に比べて従事度閾値を大きくする。システム自信度が高い場合に従事度閾値が大きくなることで、運転行為への従事を促すための提示条件を満たしにくくなり、不要な情報提示が抑制される。

また、例えば、情報提示部２８は、図４に示されるように、システム自信度が高い場合には交替頻度閾値を２とし、システム自信度が中の場合には交替頻度閾値を５とし、システム自信度が低い場合には交替頻度閾値を８とすることができる。このように、情報提示部２８は、システム自信度が高い場合には、システム自信度が低い場合に比べて交替頻度閾値を小さくする。システム自信度が高い場合に交替頻度閾値が小さくなることで、運転行為への従事を促すための提示条件を満たしにくくなり、不要な情報提示が抑制される。

なお、図３及び図４に示される従事度閾値及び交替頻度閾値は、情報提示装置２００を利用する運転者によって好みの値が設定されてもよい。この場合、従事度閾値及び交替頻度閾値の上限値及び下限値は、予め定められていてもよい。また、従事度閾値及び交替頻度閾値が地点毎に予め定められており、地点毎の従事度閾値及び交替頻度閾値が地図情報に含められていてもよい。そして、従事度閾値及び交替頻度閾値は、当該地点を車両Ｖが通過するときに地図情報から読み出されて設定されてもよい。この場合、例えば、その地点でのオーバーライド率、事故率、地図情報に埋め込まれたシステム自信度等に基づいて、従事度閾値及び交替頻度閾値が設定されてもよい。更に、従事度閾値及び交替頻度閾値は、運転者の属性によって定められてもよい。この運転者の属性とは、性別、年齢、及び運転者の個人認証結果のいずれかを含んでいてもよい。

次に、情報提示装置２００において行われる情報提示処理の流れについて図５のフローチャートを用いて説明する。なお、この情報提示処理は、例えば、車両Ｖの走行の開始と同時に開始される。また、図５に示される処理は、処理がエンドに至った後、例えば予め定められた時間経過後に再びスタートから処理が開始される。

図５に示されるように、行為判別部２４は、状態検出センサ２１の検出結果に基づいて、運転者による運転行為及び運転外行為を判別する（Ｓ１０１）。従事度算出部２５は、現在から過去に従事度算出期間ｄ分の行為判別部２４の判別結果に基づいて、従事度を算出する（Ｓ１０２）。交替頻度算出部２６は、現在から過去に従事度算出期間ｄ分の行為判別部２４の判別結果に基づいて、交替頻度を算出する（Ｓ１０３）。システム自信度取得部２７は、自動運転システム１００からシステム自信度を取得する（Ｓ１０４）。

情報提示部２８は、算出された従事度及び交替頻度が情報の提示条件を満たすか否かを判定する（Ｓ１０５）。なお、情報提示部２８は、この判定を行う際に、取得されたシステム自信度に基づいて従事度閾値及び交替頻度閾値を設定する。提示条件を満たさない場合、（Ｓ１０５：ＮＯ）、情報提示装置２００は、運転行為への従事を促す情報を提示することなく今回の処理を終了し、予め定められた時間の経過後に再びスタートから処理を開始する。

提示条件を満たす場合（Ｓ１０５：ＹＥＳ）、情報提示部２８は、現在の時刻において運転者が運転行為を行っているか否かを判定する（Ｓ１０６）。運転者が運転行為を行っている場合（Ｓ１０６：ＹＥＳ）、情報提示部２８は、運転行為を継続させるメッセージを情報提示デバイス２２によって提示させる（Ｓ１０７）。一方、運転者が運転行為を行っていない場合（Ｓ１０６：ＮＯ）、情報提示部２８は、運転行為への復帰を促すメッセージを情報提示デバイス２２によって提示させる（Ｓ１０８）。

以上のように、情報提示装置２００において従事度算出部２５は、従事度算出期間ｄ内における運転行為の判別結果及び運転外行為の判別結果に基づいて従事度を算出する。これにより、従事度算出部２５は、例えば運転者が運転行為と運転外行為とを短時間で交替しながら行った場合であっても、従事度をより適切に算出できる。また、情報提示装置２００は、自動運転システム１００のシステム自信度に基づいて運転者への情報の提示を行うことができる。従って、情報提示装置２００は、従事度及びシステム自信度に基づいて、車両Ｖの運転者に対して適切に情報を提示できる。

従事度算出部２５は、従事度算出期間ｄ内における運転行為と運転外行為との行為比率に基づいて、従事度を算出する。この場合、情報提示装置２００は、運転に関する従事度をより適切に算出できる。

情報提示部２８は、システム自信度に基づいて従事度閾値を変更する。この場合、情報提示装置２００は、システム自信度に基づいて、より適切に情報を提示できる。

情報提示部２８は、交替頻度算出部２６で算出された交替頻度、従事度、及びシステム自信度に基づいて情報を提示する。ここで、一例として、運転外行為を行っている時間が長く且つ交替頻度が低い場合、運転者は運転外行為に没入していると考えられる。一方、運転外行為を行っている時間が長くても交替頻度が高い場合、運転者は、車両Ｖの運転行為にも注意が向いていると考えられる。このため、情報提示装置２００は、交替頻度に基づいても情報を提示することで、運転者に対してより適切に情報を提示できる。

情報提示部２８は、システム自信度に基づいて交替頻度閾値を変更する。この場合、情報提示装置２００は、システム自信度に基づいて、より適切に情報を提示できる。

なお、第１実施形態では、運転外行為として映像鑑賞を行っている場合を例に説明したが、メール作成等のテクスティング、読書、居眠り等の他の運転外行為であってもよい。また、運転外行為は、映像鑑賞等の特定の運転外行為を用いるのではなく、運転行為以外の全ての行為であってもよい。この場合、行為判別部２４は、運転者が運転行為を行っているか否かを判別できればよく、映像鑑賞及びテクスティング等の運転外行為の種別まで判別しなくてもよい。そして、従事度算出部２５は、運転行為が行われている時間と、それ以外の時間とに基づいて従事度を算出してもよい。

（第２実施形態）
次に、情報提示装置の第２実施形態について説明する。なお、以下では、第１実施形態の情報提示装置２００との相違点を中心に説明し、第１実施形態の情報提示装置２００の各要素と同様の要素については同一符合を付して詳細な説明を省略する。図６に示されるように、第２実施形態に係る情報提示装置２００Ａは、運転外行為の種類を判別し、運転外行為の種類毎に従事度を算出して情報を提示する。

具体的には、情報提示装置２００Ａは、状態検出センサ２１、情報提示デバイス２２、及び情報提示ＥＣＵ２３Ａを備える。情報提示ＥＣＵ２３Ａは、第１実施形態における情報提示ＥＣＵ２３と同様に、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＣＡＮ通信回路等を有する電子制御ユニットである。情報提示ＥＣＵ２３Ａは、行為判別部２４Ａ、従事度算出部２５Ａ、交替頻度算出部２６Ａ、システム自信度取得部２７、及び情報提示部２８Ａを有する。

行為判別部２４Ａは、状態検出センサ２１としてのドライバモニタカメラの撮像画像に基づいて、運転者による運転行為及び運転外行為を判別する。更に、行為判別部２４Ａは、運転外行為として、第１運転外行為と、第１運転外行為とは異なる第２運転外行為とを判別する。すなわち、行為判別部２４Ａは、運転外行為の種類を判別する。以下では、第１運転外行為として運転者が映像鑑賞を行う場合、及び第２運転外行為としてメール作成等のテクスティングを行う場合を例に説明する。行為判別部２４は、運転者の撮像画像に基づいて、周知の技術を用いて運転者による運転行為、映像鑑賞、及びテクスティングを判別することができる。図７は、行為判別部２４による判別結果を時系列にプロットしたグラフである。

従事度算出部２５Ａは、従事度算出期間ｄ内において運転行為を行っていると判別された時間（合計時間）と映像鑑賞（第１運転外行為）を行っていると判別された時間（合計時間）との比率である第１行為比率を算出する。また、従事度算出部２５Ａは、従事度算出期間ｄ内において運転行為を行っていると判別された時間（合計時間）とテクスティング（第２運転外行為）を行っていると判別された時間（合計時間）との比率である第２行為比率とを算出する。従事度算出部２５Ａは、第１行為比率及び第２行為比率に基づいて、映像鑑賞及びテクスティング毎にそれぞれ従事度を算出する。

具体的には、従事度算出部２５Ａは、図７に示されるように、時刻Ｔ－ｄから現在の時刻Ｔまでの従事度算出期間ｄ分の判別結果に基づいて、第１行為比率及び第２行為比率を算出する。ここでの行為比率とは、例えば、運転行為に従事している時間に対する映像鑑賞（運転外行為）に従事している時間の比率である。例えば、従事度算出期間ｄ内において、運転行為に従事していると判別された時間の合計を２００秒とし、映像鑑賞に従事していると判別された時間の合計を４００秒とした場合、第１行為比率は４００／２００＝２．０となる。例えば、従事度算出期間ｄ内において、運転行為に従事していると判別された時間の合計を２００秒とし、テクスティングに従事していると判別された時間の合計を１００秒とした場合、第２行為比率は１００／２００＝０．５となる。

本実施形態において、従事度算出部２５Ａは、算出した第１行為比率を映像鑑賞についての従事度として用い、算出した第２行為比率をテクスティングについての従事度として用いる。但し、従事度算出部２５Ａは、算出した第１行為比率及び第２行為比率に係数を乗算する等の調整がされた値を、それぞれの従事度として用いてもよい。

交替頻度算出部２６Ａは、行為判別部２４Ａの判別結果に基づいて、従事度算出期間ｄ内における運転行為と運転外行為との交替頻度を算出する。ここでは、交替頻度算出部２６Ａは、運転行為から運転外行為（映像鑑賞、テクスティング）に移った場合を１回、運転外行為から運転行為に復帰した場合を１回として交替の数をカウントする。図７に示される例では、時刻Ｔ－ｄから現在の時刻Ｔまでの従事度算出期間ｄ内において５回の交替が行われている。このため、交替頻度算出部２６Ａは、交替頻度を５として算出する。

なお、交替頻度のカウント方法として、交替頻度算出部２６Ａは、運転行為から運転外行為に移り、再び運転行為に復帰した場合に１回の交替があったとして交替の数をカウントしてもよい。このカウント方法の場合、図７に示される例では、時刻Ｔ－ｄから現在の時刻Ｔまでの従事度算出期間ｄ内において２回の交替が行われている。このため、交替頻度算出部２６Ａは、交替頻度を２として算出してもよい。

情報提示部２８Ａは、映像鑑賞及びテクスティングのそれぞれについての従事度、交替頻度、並びにシステム自信度に基づいて、運転者に対して運転行為への従事を促す情報を提示する。ここでは、情報提示部２８Ａは、映像鑑賞及びテクスティングのそれぞれについての従事度、並びに交替頻度が、提示条件を満たすか否かを判定する。ここでの提示条件とは、映像鑑賞及びテクスティングのいずれかの従事度が、各行為について予め定められた従事度閾値よりも大きく、且つ交替頻度が予め定められた交替頻度閾値よりも小さいこととする。

また、情報提示部２８Ａは、第１実施形態と同様に、システム自信度に基づいて映像鑑賞及びテクスティングのそれぞれについて予め定められた従事度閾値を変更し、システム自信度に基づいて交替頻度閾値を変更する。具体的には、例えば、情報提示部２８Ａは、図８に示されるように、運転外行為の種類ごとに、システム自信度に応じた従事度閾値を設定する。情報提示部２８は、システム自信度が高い場合には、システム自信度が低い場合に比べて映像鑑賞についての従事度閾値及びテクスティングについての従事度閾値を大きくする。

また、情報提示部２８Ａは、図４に示されるように、システム自信度が高い場合には、システム自信度が低い場合に比べて交替頻度閾値を小さくする。

提示条件を満たす場合、情報提示部２８Ａは、現在の時刻において運転者が運転行為を行っていると判別されているときには、例えば「運転を続けてください」等の運転行為を継続させるメッセージを情報提示デバイス２２によって提示させる。また、提示条件を満たす場合、情報提示部２８Ａは、現在の時刻において運転者が運転外行為を行っていると判別されているときには、例えば「運転に戻ってください」等の運転行為への復帰を促すメッセージを情報提示デバイス２２によって提示させる。

以上のように、情報提示装置２００Ａにおいても、第１実施形態に係る情報提示装置２００と同様に、従事度及びシステム自信度を用いることにより、車両Ｖの運転者に対して適切に情報を提示できる。また、情報提示装置２００Ａは、運転外行為の種類を判別し、各運転外行為のそれぞれについて従事度を算出する。これにより、情報提示装置２００Ａは、第１運転外行為及び第２運転外行為のそれぞれの行為に基づいて運転者に対してより適切に情報を提示できる。

なお、第２実施形態では、運転外行為として映像鑑賞及びテクスティングを例に説明したが、読書、居眠り等の他の運転外行為であってもよい。また、行為判別部２４Ａは、運転外行為の種類として、３以上の種類の行為を判別してもよい。

（第２実施形態の変形例）
例えば、運転者が映像鑑賞を行っていても、シートの背もたれを倒してリラックスした状態で映像鑑賞をしているか、或いは運転姿勢のまま視線だけ映像鑑賞用のセンターディスプレイを見ているかによって、運転者が運転行為に復帰するまでに要する時間が異なる。このため、情報提示装置２００Ａは、行為判別部２４Ａにおける姿勢の判別結果に基づいて、例えば、姿勢Ａで行われている映像鑑賞行為と、姿勢Ｂで行われている映像鑑賞行為とを別々の行為として扱ってもよい。

この場合、行為判別部２４Ａは、運転外行為の種類を判別することに加え、運転外行為を行っている運転者の姿勢を判別する。行為判別部２４Ａは、例えば、ドライバモニタカメラの撮像画像に基づいて、運転者の姿勢を判別することができる。なお、行為判別部２４Ａは、例えば、運転者が着座するシートの背もたれの角度の検出結果等に基づいて姿勢を判別してもよい。従事度算出部２５Ａは、姿勢Ａで行われる映像鑑賞行為についての従事度と、姿勢Ｂで行われる映像鑑賞行為についての従事度とを別々に算出する。情報提示部２８Ａは、姿勢毎に算出された従事度が、姿勢毎に予め定められた従事度閾値よりも大きいか否かに基づいて提示条件を満たすか否かを判定し、情報の提示を行う。この場合、情報提示装置２００Ａは、運転者の姿勢に応じて、運転者に対してより適切に情報を提示することができる。

なお、本変形例における運転者の姿勢を判別して情報を提示する処理は、第１実施形態の情報提示装置２００に適用されてもよい。

（第３実施形態）
次に、情報提示装置の第３実施形態について説明する。なお、以下では、第２実施形態の情報提示装置２００Ａとの相違点を中心に説明し、第２実施形態の情報提示装置２００Ａの各要素と同様の要素については同一符合を付して詳細な説明を省略する。図９に示されるように、第３実施形態に係る情報提示装置２００Ｂは、運転者の姿勢が運転姿勢から離れている度合いに基づいて、情報を提示する。

具体的には、情報提示装置２００Ｂは、状態検出センサ２１、情報提示デバイス２２、及び情報提示ＥＣＵ２３Ｂを備えている。情報提示ＥＣＵ２３Ｂは、行為判別部２４Ｂ、従事度算出部２５Ａ、交替頻度算出部２６Ａ、システム自信度取得部２７、及び情報提示部２８Ｂを有している。

行為判別部２４Ｂは、運転者の姿勢を判別する。行為判別部２４Ｂは、例えば、ドライバモニタカメラの撮像画像に基づいて、運転者の姿勢を判別することができる。また、行為判別部２４Ｂは、運転者の姿勢が運転姿勢から離れている度合いを算出する。例えば、行為判別部２４Ｂは、運転者が理想的な運転姿勢をしている場合の特定の関節（例えば、肘等）の角度と、現在の運転者の当該関節の角度との差を、運転姿勢から離れている度合いとして用いてもよい。

情報提示部２８Ｂは、算出された運転姿勢から離れている度合いに基づいて、従事度閾値及び交替頻度閾値を変更する。ここでは、情報提示部２８Ｂは、運転姿勢から離れている度合いが大きい場合には、運転姿勢から離れている度合いが小さい場合に比べて従事度閾値を小さくする。例えば、情報提示部２８Ｂは、運転姿勢から離れている度合いが１．５である場合、予め定められた従事度閾値を１．５で割った値を従事度閾値として用いてもい。これにより、運転姿勢から離れている度合いが大きい場合には、運転姿勢から離れている度合いが小さい場合に比べて提示条件を満たしやすくなる。

また、情報提示部２８Ｂは、運転姿勢から離れている度合いが大きい場合には、運転姿勢から離れている度合いが小さい場合に比べて交替頻度閾値を大きくする。例えば、情報提示部２８Ｂは、運転姿勢から離れている度合いが１．５である場合、予め定められた交替頻度閾値を１．５倍した値を交替頻度閾値として用いてもい。これにより、運転姿勢から離れている度合いが大きい場合には、運転姿勢から離れている度合いが小さい場合に比べて提示条件を満たしやすくなる。

情報提示部２８Ｂは、運転姿勢から離れている度合いに応じて変更した従事度閾値及び交替頻度閾値に基づいて提示条件を満たすか否かを判定し、情報の提示を行う。この場合、情報提示装置２００Ｂは、運転者の姿勢に応じて、運転者に対してより適切に情報を提示することができる。

なお、情報提示部２８Ｂは、運転姿勢から離れている度合いに応じて従事度閾値及び交替頻度閾値のいずれか一方のみを変更してもよい。

また、情報提示部２８Ｂは、従事度閾値ではなく、運転姿勢から離れている度合いに応じて従事度を変更してもよい。この場合、情報提示部２８Ｂは、運転姿勢から離れている度合いが大きい場合には、運転姿勢から離れている度合いが小さい場合に比べて従事度を大きくする。例えば、情報提示部２８Ｂは、運転姿勢から離れている度合いが１．５である場合、算出された従事度を１．５倍した値を従事度として用いてもい。これにより、運転姿勢から離れている度合いが大きい場合には、運転姿勢から離れている度合いが小さい場合に比べて提示条件を満たしやすくなる。

同様に、情報提示部２８Ｂは、交替頻度閾値ではなく、運転姿勢から離れている度合いに応じて交替頻度を変更してもよい。この場合、情報提示部２８Ｂは、運転姿勢から離れている度合いが大きい場合には、運転姿勢から離れている度合いが小さい場合に比べて交替頻度を小さく。例えば、情報提示部２８Ｂは、運転姿勢から離れている度合いが１．５である場合、算出された交替頻度を１．５で割った値を交替頻度として用いてもい。これにより、運転姿勢から離れている度合いが大きい場合には、運転姿勢から離れている度合いが小さい場合に比べて提示条件を満たしやすくなる。

なお、第３実施形態における運転姿勢から離れている度合いに応じて従事度閾値等を変更する処理は、第１実施形態の情報提示装置２００に適用されてもよい。

（行為判別部の変形例）
次に、行為判別部の変形例について説明する。ここでは、第１実施形態における行為判別部２４を例に説明するが、上述した他の実施形態及び変形例における行為判別部２４Ａ，２４Ｂにおいても適用され得る。以下、行為判別部２４において、運転行為と運転外行為とを精度よく判別する方法について説明する。

運転行為と運転外行為とを判別する通常の方法として、例えば、判別器が算出する運転行為の尤度に閾値を設け、ある一定の尤度以上であれば、当該行為を運転行為と判定する。同様に、運転外行為においても尤度に閾値を設け、ある一定の尤度以上であれば、当該行為を運転外行為と判定する。しかしながら、図１０に示されるように、運転者の行為には、運転行為及び運転外行為のいずれの閾値よりも低く、運転行為及び運転外行為のいずれにも属さない中間状態が存在する。この中間状態が生じないように、運転者の行為を運転行為及び運転外行為のいずれかに判別すると、判別の精度が低下する。

このため、本変形例における行為判別部２４は、運転行為及び運転外行為の判別において中間状態を除外することによって、判別の精度を向上させることができる。例えば、行為判別部２４は、ドライバモニタカメラによって運転者の顔の角度（顔の向き）を推定する。運転者の顔が正面を向いている時を「運転行為」とし、ダッシュボードの中央付近に設けられた映像鑑賞用のセンターディスプレイに顔が向いている時を「運転外行為」とした場合、センターディスプレイと正面との間に顔が向いている時は中間状態となる。また、多くの状況において、中間状態で顔の向きが静止することはなく、センターディスプレイから正面へ、又は正面からセンターディスプレイへ顔の向きが大きく変化する。この顔の向きの大きな変化を、運転行為及び運転外行為とは異なる中間状態として定義する。そして、行為判別部２４は、運転行為、運転外行為、及び中間状態の３クラスを判別する。これにより、行為判別部２４は、運転行為と運転外行為とを精度よく判別できる。

これは、横方向の顔向き角度ｘ１、縦方向の顔向き角度ｘ２、及び顔向き変化量ｘ３からなる３次元の特徴ベクトルを用いて、運転行為、運転外行為、及び中間状態の３クラスの判別をすることに相当する。

また、図１１に示されるように、例えば、センターディスプレイ（運転外行為）から正面（運転行為）へ顔の向きが移動する際の中間状態をＳｍ＿１とし、正面からセンターディスプレイへ顔の向きが移動する際の中間状態をＳｍ＿２とする。すなわち、中間状態を２つのクラスに分ける。この場合、行為判別部２４は、運転行為、運転外行為、中間状態Ｓｍ＿１、及び中間状態Ｓｍ＿２の４クラスを判別してもよい。

なお、例えば、中間状態Ｓｍ＿１を運転状態への準備段階を捉えると、運転者の注意状態は運転行為に向いているため、中間状態Ｓｍ＿１も運転行為と同じクラスとして扱ってもよい。逆に、中間状態Ｓｍ＿２は、運転者の注意状態が運転行為から逸れ始めていることを示しているため、中間状態Ｓｍ＿２を運転外行為と同じクラスとして扱ってもよい。

以上、本発明の実施形態について説明したが、本発明は、上記実施形態に限定されるものではない。上記各実施形態及び変形例における従事度算出部２５等は、運転行為を行っていると判別された時間と運転外行為を行っていると判別された時間との行為比率に基づいて、従事度を算出したが、比率を用いることに限定されない。従事度算出部２５等は、運転行為の判別結果及び運転外行為の判別結果に基づいていれば、種々の方法によって従事度を算出できる。例えば、従事度算出部２５等は、各行為を行っていると判別されたそれぞれの時間同士を加算、減算、乗算等の種々の計算をした値に基づいて従事度を算出してもよい。

また、従事度算出部２５等は、運転行為の判別結果及び運転外行為の判別結果のいずれか一方のみを用いて従事度を算出してもよい。この場合、例えば、従事度算出部２５等は、運転行為を行っていると判別された時間及び運転外行為を行っていると判別された時間のいずれかに基づいて、従事度を算出してもよい。

また、運転者による運転に関する従事度とは、運転者による運転行為に関する従事度（運転行為の従事度）と、運転者による運転外行為に関する従事度（運転外行為の従事度）とのいずれの意味合いも含む。運転行為に関する従事度とは、運転者が運転行為に従事している度合いである。従事度算出部２５等は、例えば、従事度算出期間ｄ内において運転行為を行っていると判別された時間とそれ以外の時間とに基づいて、運転行為に関する従事度を算出していもよい。一方、運転外行為に関する従事度とは、運転者が運転外行為に従事している度合いである。従事度算出部２５等は、例えば、従事度算出期間ｄ内において運転外行為を行っていると判別された時間とそれ以外の時間とに基づいて、運転外行為に関する従事度を算出していもよい。上記各実施形態及び変形例における情報提示部２８等は、これらの従事度に基づいて情報の提示を行ってもよい。

上記各実施形態及び変形例における状態検出センサ２１は、運転者の状態を検出できれば、ドライバモニタカメラ以外のセンサ等が用いられてもよい。例えば、状態検出センサ２１は、ステアリングハンドルに備えられた接触センサ、アクセルペダル等のペダルに取り付けられた近接センサ等であってもよい。行為判別部２４等は、ドライバモニタカメラの撮像画像に代えて、接触センサ等の検出結果に基づいて運転行為等を判別してもよい。また、行為判別部２４等は、ドライバモニタカメラの撮像画像に加え、接触センサ等の検出結果に基づいて運転状態等の判別を行ってもよい。

上記各実施形態及び変形例における情報提示部２８等は、システム自信度に基づいて従事度閾値及び交替頻度閾値を変更することに限定されず、システム自信度に基づいて従事度閾値及び交替頻度閾値のいずれかのみを変更してもよい。また、情報提示部２８等は、システム自信度に基づいて従事度閾値及び交替頻度閾値を変更しなくてもよい。

上記各実施形態及び変形例における情報提示装置２００等は、情報を提示する際に、交替頻度を用いなくてもよい。すなわち、情報提示装置２００等は、交替頻度を算出する交替頻度算出部２６等を備えていなくてもよい。

また、上述した実施形態及び変形例の少なくとも一部が任意に組み合わせられてもよい。

２１…状態検出センサ、２４，２４Ａ，２４Ｂ…行為判別部、２５，２５Ａ…従事度算出部、２６，２６Ａ…交替頻度算出部、２７…システム自信度取得部、２８，２８Ａ，２８Ｂ…情報提示部、２００，２００Ａ，２００Ｂ…情報提示装置、Ｖ…車両。

Claims (5)

1. 運転者による手動運転と自動運転システムによる自動運転とを切替可能な車両における情報提示装置であって、
   前記運転者の状態を検出する状態検出センサの検出結果に基づいて、前記運転者による運転行為及び運転外行為を判別する行為判別部と、
   予め定められた従事度算出期間内における前記運転行為の判別結果及び前記運転外行為の判別結果の少なくともいずれかに基づいて、前記運転者による運転に関する従事度を算出する従事度算出部と、
   前記自動運転システムが前記車両の自動運転を行うときの自動運転制御のシステム自信度を前記自動運転システムから取得するシステム自信度取得部と、
   算出された前記従事度及び取得された前記システム自信度に基づいて、前記運転者に対して情報を提示する情報提示部と、
   前記行為判別部の判別結果に基づいて、前記従事度算出期間内における前記運転行為と前記運転外行為との交替頻度を算出する交替頻度算出部と、を備え、
   前記情報提示部は、前記従事度、前記システム自信度、及び前記交替頻度に基づいて前記情報を提示する、情報提示装置。
2. 前記従事度算出部は、前記従事度算出期間内において前記運転行為を行っていると判別された時間と前記運転外行為を行っていると判別された時間との行為比率に基づいて、前記従事度を算出する、請求項１に記載の情報提示装置。
3. 前記情報提示部は、前記従事度が予め定められた従事度閾値よりも大きいか又は小さいかに基づいて前記情報を提示すると共に、前記システム自信度に基づいて前記従事度閾値を変更する、請求項１又は２に記載の情報提示装置。
4. 前記情報提示部は、前記交替頻度が予め定められた交替頻度閾値よりも大きいか又は小さいかに基づいて前記情報を提示すると共に、前記システム自信度に基づいて前記交替頻度閾値を変更する、請求項１～３のいずれか一項に記載の情報提示装置。
5. 前記行為判別部は、前記運転外行為として、第１運転外行為と、前記第１運転外行為とは異なる第２運転外行為とを更に判別し、
   前記従事度算出部は、前記従事度算出期間内において前記運転行為を行っていると判別された時間と前記第１運転外行為を行っていると判別された時間との比率である第１行為比率、及び、前記従事度算出期間内において前記運転行為を行っていると判別された時間と前記第２運転外行為を行っていると判別された時間との比率である第２行為比率に基づいて、前記第１運転外行為及び前記第２運転外行為毎にそれぞれ前記従事度を算出する、請求項１に記載の情報提示装置。

Images