JP6631564B2 - 自動運転車両監視装置、方法およびプログラム - Google Patents

Description

この発明は、車両の周辺に存在する自動運転車両を監視する自動運転車両監視装置、方法およびプログラムに関する。

近年、車両の運転モードとして、運転者の運転操作に基づいて車両を走行させる手動運転モード以外に、運転者の運転操作によらず予め設定された経路に沿って車両を走行させる自動運転モードの開発が進められている。自動運転モードは、例えば、ＧＰＳ（Global Positioning System）を利用したナビゲーションシステムの情報や、路車間通信により取得される交通情報、周辺の人や車両の位置と動きを監視する周辺モニタリングシステムの情報をもとに、パワーユニットや操舵装置、ブレーキ等を制御することで、車両の自動運転を可能にするものである（例えば特許文献１を参照）。

特開２０１５−１４１０５３号公報

車両の自動運転を可能にする自動運転制御装置の開発において、実際に自動運転モードで走行している車両（以下では自動運転車両と称する）の走行情報は、自動運転制御装置を改善したり改良したり修正したりする上で貴重な情報である。また、走行情報のほか、自動運転車両が、その周囲の他の車両の運転手にどのように見え、他の車両の運転手がどのように感じているかといった情報も、自動運転制御装置の開発、例えばその制御アルゴリズムの開発にとって貴重な情報である。

しかし、これまで、自動運転車両の周囲の他の車両が自動運転車両を監視し、自動運転車両に関する情報を提供するようなシステムは提供されていない。特に、自動運転車両の周囲の他の車両の運転手が自動運転車両を見てどのように感じているかといった情報を提供するようなシステムは提供されていない。

この発明は、このような現状を考慮して成されたものであり、車両の周辺に存在する自動運転車両を監視する新規な自動運転車両監視装置を提供するものである。

上記課題を解決するため、この発明の第１の態様は、車両の周辺に存在する自動運転車両を監視する自動運転車両監視装置であって、運転者監視センサの運転者監視情報に基づいて、運転者の状態に関する状態情報を取得する運転者状態情報取得部と、前記車両の周辺に存在する周辺車両の情報と、前記周辺車両が自動運転車両であるか否かの情報とを含む、自動運転車両に関する車両情報を取得する自動運転車両情報取得部と、前記状態情報に基づいて前記運転者の危機感情を検知するとともに、前記状態情報と前記車両情報とに基づいて、前記運転者の危機感情の原因が前記周辺車両であるか否かを判定する危機感情判定部と、前記運転者の危機感情の原因が前記周辺車両であると判定され、かつ、前記周辺車両が前記自動運転車両である場合に、前記自動運転車両に関する前記車両情報と前記運転者の危機感情に関する危機感情情報とを含む状況情報の送信を指示する送信情報を生成して送信装置へ出力する送信情報出力部とを備える。

この発明の第２の態様による自動運転車両監視装置は、第１の態様による自動運転車両監視装置に係り、前記状態情報は、前記運転者の視線の方向を表す視線方向情報を含み、前記自動運転車両情報取得部は、車外監視センサにより得られる車外監視情報に基づいて、前記周辺車両の位置を表す車両位置情報を取得し、前記危機感情判定部は、前記運転者の危機感情が検知されたときの前記視線方向情報と前記車両位置情報とに基づいて、前記運転者の危機感情の原因が前記周辺車両であるか否かを判定する。

この発明の第３の態様による自動運転車両監視装置は、第１の態様による自動運転車両監視装置に係り、前記自動運転車両情報取得部は、車外監視センサにより得られる車外監視情報に基づいて、前記周辺車両が前記自動運転車両であるか否かの情報を取得する。

この発明の第４の態様による自動運転車両監視装置は、第１の態様による自動運転車両監視装置に係り、前記周辺車両が前記自動運転車両であるか否かを問い合わせるため、前記送信情報出力部は、サービス提供サーバへの前記周辺車両の情報の送信を指示する送信情報を前記送信装置へ出力し、前記自動運転車両情報取得部は、前記周辺車両が前記自動運転車両であるか否かの情報を前記サービス提供サーバから取得する。

この発明の第５の態様による自動運転車両監視装置は、第１の態様ないし第５の態様のいずれひとつによる自動運転車両監視装置に係り、前記送信情報出力部は、サービス提供サーバへの前記車両情報と前記危機感情情報とを含む前記状況情報の送信を指示する送信情報を前記送信装置へ出力する。

この発明の第１の態様によれば、自動運転車両監視装置は、運転者の危機感情を検知し、危機感情の原因が自動運転車両であるとき、自動運転車両に関する車両情報と運転者の危機感情に関する危機感情情報とを含む送信情報を生成して送信装置へ出力する。これにより、自動運転車両に関する車両情報と運転者の危機感情に関する危機感情情報との関連性に関する情報が提供される。

この発明の第２の態様によれば、自動運転車両監視装置は、運転者の危機感情が検知されたときの運転者の視線方向情報と周辺車両の車両位置情報とに基づいて、運転者の危機感情の原因が周辺車両であるか否かを判定する。これにより、周辺車両が運転者に危機感情を抱かせたことが明確に特定される。

この発明の第３の態様によれば、自動運転車両監視装置は、周辺車両が自動運転車両であるか否かの情報を、車外監視センサにより得られる車外監視情報に基づいて取得する。周辺車両が自動運転車両であるか否かを判定する機能を自動運転車両監視装置自体が有しているため、外部の装置や情報源に依存することなく、周辺車両が自動運転車両であるか否かの判定を行える。

この発明の第４の態様によれば、自動運転車両監視装置は、周辺車両が自動運転車両であるか否かの情報をサービス提供サーバから取得する。このため、自動運転車両監視装置は、周辺車両が自動運転車両であるか否かを判定する機能を必要としないため、その機能構成が簡素化される。

この発明の第５の態様によれば、自動運転車両に関する車両情報と運転者の危機感情に関する危機感情情報とが、サービス提供サーバへ送信される。このため、自動運転車両に関する車両情報と運転者の危機感情に関する危機感情情報とが、例えば自動運転車両の自動運転制御装置の関連業者に提供される。これにより、自動運転制御装置の関連業者が、自動運転車両の実際の自動運転中の貴重な情報を得ることができるようになる。

この発明の一実施形態に係る自動運転車両監視装置を含む運転支援装置を備えた自動運転制御システムの全体構成を示す図である。 この発明の一実施形態に係る自動運転車両監視装置の機能構成を示すブロック図である。 図２に示した自動運転車両監視装置による自動運転車両監視の手順と制御内容を示すフローチャートである。 車両から送信された状況情報がサービス提供サーバを介して自動運転制御装置の関連業者に提供される様子を模式的に示した図である。

以下、図面を参照してこの発明に係わる実施形態を説明する。
［一実施形態］
（構成）
図１は、この発明の一実施形態に係る自動運転制御システムの全体構成を示す図である。この自動運転制御システムは、乗用車等の車両１に搭載される。

車両１は、基本設備として、動力源および変速装置を含むパワーユニット２と、ステアリングホイール３ａが装備された操舵装置３とを備えている。動力源としては、エンジンまたはモータ、あるいはその両方が用いられる。

車両１は、手動運転モードまたは自動運転モードのいずれかの運転モードで走行可能に構成されている。

手動運転モードは、例えば、運転者の手動による運転操作を主体として車両１を走行させるモードである。手動運転モードには、例えば、運転者の運転操作のみに基づいて車両を走行させる動作モードと、運転者の運転操作を主体としながら運転者の運転操作を支援する運転操作支援制御を行う動作モードが含まれる。

運転操作支援制御は、例えば、車両１のカーブ走行時にカーブの曲率に基づいて運転者の操舵が適切な操舵量となるように操舵トルクをアシストする。また運転操作支援制御には、運転者のアクセル操作（例えばアクセルペダルの操作）またはブレーキ操作（例えばブレーキペダルの操作）を支援する制御と、手動操舵（操舵の手動運転）および手動速度調整（速度調整の手動運転）も含まれる。手動操舵は、運転者のステアリングホイール３ａの操作を主体として車両１の操舵を行う。手動速度調整は、運転者のアクセル操作又はブレーキ操作を主体として車両の速度調整を行う。

なお、運転操作支援制御には、運転者の運転操作に強制的に介入して、車両を自動走行させる制御は含まれない。すなわち、手動運転モードには、予め設定された許容範囲において運転者の運転操作を車両の走行に反映させるが、一定条件（例えば車両の車線逸脱等）の下で車両の走行に強制的に介入する制御は含まれない。

一方、自動運転モードは、例えば、車両の走行する道路に沿って自動で車両を走行させる運転状態を実現するモードである。自動運転モードには、例えば、運転者が運転操作をすることなく、予め設定された目的地に向かって自動的に車両を走行させる運転状態が含まれる。自動運転モードは、必ずしも車両の全ての制御を自動で行う必要はなく、予め設定された許容範囲において運転者の運転操作を車両の走行に反映する運転状態も自動運転モードに含まれる。すなわち、自動運転モードには、予め設定された許容範囲において運転者の運転操作を車両の走行に反映させるが、一定条件の下で車両の走行に強制的に介入する制御が含まれる。

図１において、車両１はまた、自動運転モードによる運転制御を実行するための自動運転制御装置５を備えている。自動運転制御装置５は、ステアリングセンサ１１、アクセルペダルセンサ１２、ブレーキペダルセンサ１３、ＧＰＳ受信機１４、ジャイロセンサ１５、および車速センサ１６からそれぞれセンシング情報を取得する。自動運転制御装置５は、これらのセンシング情報と、図示しないナビゲーションシステムで生成される経路情報や、路車間通信により取得される交通情報、周辺の人や車両の位置と動きを監視する周辺監視システムにより得られる情報をもとに、車両１の走行を自動制御する。

自動制御には、例えば、自動操舵（操舵の自動運転）と自動速度調整（速度の自動運転）がある。自動操舵は、操舵装置３を自動で制御する運転状態である。自動操舵にはＬＫＡ（Lane Keeping Assist）が含まれる。ＬＫＡは、例えば、運転者がステアリング操作をしない場合であっても、車両１が走行車線から逸脱しないように自動で操舵装置３を制御する。なお、ＬＫＡの実行中であっても、車両１が走行車線を逸脱しない範囲（許容範囲）において運転者のステアリング操作を車両の操舵に反映してもよい。なお、自動操舵はＬＫＡに限らない。

自動速度調整は、車両１の速度を自動で制御する運転状態である。自動速度調整にはＡＣＣ（Adaptive Cruise Control）が含まれる。ＡＣＣとは、例えば、車両１の前方に先行車が存在しない場合は予め設定された設定速度で車両１を定速走行させる定速制御を行い、車両１の前方に先行車が存在する場合には先行車との車間距離に応じて車両１の車速を調整する追従制御を行うものである。自動運転制御装置５は、ＡＣＣを実行中であっても、運転者のブレーキ操作（例えばブレーキペダルの操作）に応じて車両１を減速させる。また自動運転制御装置５は、ＡＣＣを実行中であっても、予め設定された最大許容速度（例えば走行中の道路において法的に定められた最高速度）まで、運転者のアクセル操作（例えばアクセルペダルの操作）に応じて車両を加速させることもできる。なお、自動速度調整は、ＡＣＣに限らず、ＣＣ（Cruise Control：定速制御）等も含まれる。

図１において、車両１はまた、運転支援装置６を備えている。運転支援装置６は、さまざまな機能を有していてよい。例えば、運転支援装置６は、運転者監視センサと共働して運転者を監視して運転者の状態を把握する運転者監視システムを構成する運転者監視機能、報知装置と共働して運転者の状態に応じて警告を発する警告出力システムを構成する警告出力機能、運転者の状態に応じて運転モードの切り替えを制御する運転モード切替制御システムを構成する運転モード切替制御機能、車外センサおよび報知装置と共働して運転者の状態に基づいて運転者の視認を支援する視認支援システムを構成する視認支援機能、生体情報センサおよび刺激出力装置と共働して運転者の状態に応じて運転者の覚醒を促す覚醒支援システムを構成する覚醒支援機能、車外センサおよび送信装置と共働して車両１の周辺の自動運転車両を監視して自動運転車両に関する情報を送信する自動運転車両監視機能などを有していてよい。

運転者の状態は、例えば、運転者が運転に集中しているか否か、運転者が脇見をしているか否か、運転者が眠気を催しているか否か、運転者が運転以外の作業をしているか否か、運転者がパニックを起こしているか否か、運転者が居眠りをしているか否か、また自動運転中であれば、運転者が手動運転に復帰可能な状態であるか否かなど、さまざまであってよい。

運転者の状態はまた、短時間の内に現れた運転者の状態の変化、言い換えれば、運転者の動きも含んでいる。つまり、運転者の状態は、例えば、運転者の視線の動きであってもよい。運転者の視線の動きは、例えば、運転者の視線の方向と、その方向における運転者の視線の滞留時間で把握され得る。

運転者の状態の把握は、例えば、次のようにして行う。まず、運転者監視センサにより運転者の監視映像を取得する。次に、取得した監視映像に基づいて、運転者の眼の開き具合、瞬きの頻度、眼球運動等を分析する。続いて、分析結果に基づいて、運転者の視線の方向と滞留時間、運転者の覚醒度等を認識する。さらに、運転者の視線の方向と滞留時間、運転者の覚醒度等を、予め設定された閾値と比較することにより、運転者の状態を特定する。

この実施形態では、運転支援装置６は、少なくとも、運転者監視機能を実施する運転者監視部６ａと、自動運転車両監視機能を実施する自動運転車両監視部６ｂとを有している。運転者監視部６ａは、運転者監視センサとしての運転者カメラ７と共働して運転者監視システム８を構成している。また、自動運転車両監視部６ｂは、車外監視センサとしての車外カメラ９Ａと共働して車外監視システム１０を構成している。さらに、車外監視システム１０は、送信装置９Ｂを有しており、運転者監視システム８と共働して、車両１の周辺に存在する自動運転車両を監視し、その自動運転車両の自動運転に関する情報を取得して送信する自動運転車両監視システムを構成している。また、運転者監視部６ａと自動運転車両監視部６ｂは自動運転車両監視装置６Ａを構成している。言い換えれば、運転支援装置６は、自動運転車両監視装置６Ａを内包している。

運転者監視部６ａにおいて把握される運転者の状態は、少なくとも、運転者の感情に起因する生体反応と、運転者の視線の方向とを含んでいる。すなわち、運転者監視部６ａは、運転者の視線の方向に関する情報を取得する。

運転者カメラ７は、例えばダッシュボード上のような運転者の正面となる位置に設置され、車両１を運転する運転者を撮像して、運転者監視情報の一種である運転者監視映像情報を自動運転車両監視装置６Ａへ出力する。

車外カメラ９Ａは、車両１の周辺たとえば前方の所定の範囲を撮像して、その映像情報を車外監視情報として自動運転車両監視装置６Ａへ出力する。

送信装置９Ｂは、自動運転車両監視装置６Ａから出力された送信情報に従って、運転者の危機感情に関する危機感情情報と、その原因となった自動運転車両に関する車両情報とを送信する。

（構成例）
図２は、自動運転車両監視装置６Ａの機能構成を示すブロック図である。自動運転車両監視装置６Ａは、車外カメラ９Ａおよび送信装置９Ｂと共働して、車両の周辺に存在する自動運転車両を監視する装置であり、以下のように構成されている。

自動運転車両監視装置６Ａは、制御ユニット６１と、入出力インタフェースユニット６２と、記憶ユニット６３とを備えている。

入出力インタフェースユニット６２は、入力されたアナログ信号をデジタルデータに変換して制御ユニット６１へ出力し、また、制御ユニット６１から出力されたデジタルデータをアナログ信号に変換して出力する。具体的には、入出力インタフェースユニット６２は、運転者カメラ７から入力された運転者監視映像信号を運転者監視映像データに変換して制御ユニット６１へ出力する。入出力インタフェースユニット６２はまた、車外カメラ９Ａから入力された車外監視映像信号を車外監視映像データに変換して制御ユニット６１へ出力する。入出力インタフェースユニット６２はさらに、制御ユニット６１から出力された送信データを送信信号に変換して送信装置９Ｂへ出力する。

記憶ユニット６３は、記憶媒体として、例えばＳＳＤ（Solid State Drive）やＨＤＤ（Hard Disk Drive）等の随時書き込みおよび読み出しが可能な不揮発性メモリを使用したものである。記憶ユニット６３は、本実施形態を実施するために使用する記憶領域として、運転者監視映像記憶部６３１と、運転者状態情報記憶部６３２と、車外監視映像記憶部６３３と、自動運転車両情報記憶部６３４と、感情情報記憶部６３５と、状況情報記憶部６３６とを備えている。記憶ユニット６３は、不揮発性メモリに限らず、ＲＡＭのような揮発性メモリで構成されてもよい。

感情情報記憶部６３５は、人の感情と生体反応との対応関係を表す感情情報を、例えばテーブルとして、予め記憶している。感情情報は、これに限らないが、例えば、人の感情と顔の表情との対応関係を有する顔表情データベースであってよい。

制御ユニット６１は、コンピュータを構成するＣＰＵ（Central Processing Unit）およびプログラムメモリを有している。制御ユニット６１は、本実施形態を実施するために必要な制御機能として、運転者監視映像取得部６１１と、運転者状態情報取得部６１２と、車外監視映像取得部６１３と、自動運転車両情報取得部６１４と、危機感情判定部６１５と、送信情報出力部６１６とを備えている。なお、これらの制御機能はいずれもプログラムメモリに格納されたプログラムをＣＰＵに実行させることにより実現される。

運転者監視映像取得部６１１は、運転者カメラ７から出力された運転者監視映像情報を、入出力インタフェースユニット６２を介して取り込み、この取り込んだ運転者監視映像情報を記憶ユニット６３の運転者監視映像記憶部６３１に記憶させる。

運転者状態情報取得部６１２は、運転者監視映像記憶部６３１から予め設定された時間間隔で運転者監視映像情報を読み込み、その都度、運転者監視映像情報に基づいて、運転者の状態に関する状態情報を取得する。状態情報は、これに限らないが、この実施形態では、少なくとも、運転者の顔の表情を表す顔表情情報と、運転者の視線の方向を表す視線方向情報とを含んでいる。運転者状態情報取得部６１２は、取得した状態情報を、記憶ユニット６３の運転者状態情報記憶部６３２に記憶させる。

車外監視映像取得部６１３は、車外カメラ９Ａから出力された車外監視映像情報を、入出力インタフェースユニット６２を介して取り込み、この取り込んだ車外監視映像情報を記憶ユニット６３の車外監視映像記憶部６３３に記憶させる。

自動運転車両情報取得部６１４は、車外監視映像記憶部６３３から予め設定された時間間隔で車外監視映像情報を読み込み、その都度、車外監視映像情報に基づいて、車両１の周辺に存在する周辺車両を検知する処理と、検知した周辺車両が自動運転車両であるか否かを判定する処理とを行うことにより、自動運転車両の検知を行う。ここにおいて、自動運転車両とは、自動運転モードで走行している車両を意味している。自動運転車両の検知は、車外カメラ９Ａの撮影範囲内に車両が存在するか否かの判定と、その車両が自動運転車両であるか否かの判定とを含んでいる。つまり、自動運転車両情報取得部６１４は、車両１の周辺に存在する周辺車両の情報と、周辺車両が自動運転車両であるか否かの情報とを含む、自動運転車両に関する車両情報を取得する。自動運転車両情報取得部６１４はまた、自動運転車両を検知した場合、車外監視映像情報に基づいて、自動運転車両を監視する処理を行う。自動運転車両を監視する処理は、自動運転車両の位置を検出する処理を含んでいる。自動運転車両の検知と監視は、例えば、画像処理技術やパターン認識技術を利用して実施される。自動運転車両は、義務づけられているわけではないが、一般に、自動運転モードで走行していることを示す表示を行っている。このような表示は、これに限らないが、例えば、自動運転表示灯を点灯することにより行われる。自動運転車両情報取得部６１４は、例えば、車外監視映像記憶部６３３から読み込んだ車外監視映像情報に基づいて、このような表示の有無を判定することにより、自動運転車両を検知する処理を行う。あるいは、自動運転車両は、自動運転モードで走行していることを示す情報を送信しており、その情報を車々間通信やネットワーク通信等を通じて自動運転車両情報取得部６１４が検知することにより、自動運転車両を検知する処理を行ってもよい。自動運転車両情報取得部６１４は、自動運転車両に関する車両情報を、記憶ユニット６３の自動運転車両情報記憶部６３４に記憶させる。自動運転車両に関する車両情報は、例えば、自動車登録番号標いわゆるナンバープレートに関する情報と、運転者の危機感情が検知されたときの自動運転車両の車両位置情報を含んでいる。

危機感情判定部６１５は、予め設定された時間間隔で、運転者状態情報記憶部６３２と感情情報記憶部６３５から顔表情情報と感情情報をそれぞれ読み込み、その都度、顔表情情報と感情情報に基づいて、運転者の危機感情の検知を行う。危機感情判定部６１５はまた、運転者の危機感情を検知した場合、運転者状態情報記憶部６３２と自動運転車両情報記憶部６３４から視線方向情報と車両位置情報とをそれぞれ読み込み、視線方向情報と車両位置情報に基づいて、運転者の危機感情の原因が自動運転車両であるか否かを判定してもよい。危機感情判定部６１５は、判定結果情報を、運転者の危機感情に関する危機感情情報と自動運転車両に関する車両情報とともに、記憶ユニット６３の状況情報記憶部６３６に記憶させる。

送信情報出力部６１６は、予め設定された時間間隔で、状況情報記憶部６３６から判定結果情報を読み込み、判定結果情報が、運転者が危機感情を抱き、かつ、運転者の危機感情の原因が自動運転車両であることを示す場合、自動運転車両の車両情報と運転者の危機感情情報とを含む状況情報の送信を指示する送信情報を生成して送信装置９Ｂへ出力する。

（動作例）
図３は、前述したように構成された警告装置の全体の制御手順と制御内容を示すフローチャートである。以下、警告装置の動作例を説明する。

（１Ａ）運転者の監視
運転が開始されると、運転者監視システム８は、ステップＳ１において、運転者の監視を開始する。運転者の監視は、例えば、運転の間中、継続される。

運転が開始されると、運転者カメラ７が起動し、運転者の顔を含む所定の範囲を連続的に撮像してその映像信号を出力する。この状態で自動運転車両監視装置６Ａは、運転者監視映像取得部６１１の制御の下、運転者カメラ７から出力された運転者監視映像情報を取り込み、この取り込んだ運転者監視映像情報を記憶ユニット６３の運転者監視映像記憶部６３１に記憶させる。

運転者監視映像情報の取得が開始されると、自動運転車両監視装置６Ａは、次に運転者状態情報取得部６１２の制御の下、一定時間が経過する毎に、運転者の状態を把握する把握処理を行う。この把握処理の時間間隔は、例えば運転者の状態把握を実質的に連続的に行えるような短時間に設定されるとよい。

運転者状態情報取得部６１２は、運転者監視映像記憶部６３１から予め設定された時間間隔で運転者監視映像情報を読み込む。次に、運転者状態情報取得部６１２は、運転者監視映像情報を読み込む毎に、運転者監視映像情報に基づいて、運転者の状態に関する状態情報を取得する。この実施形態では、状態情報は、少なくとも、運転者の顔の表情を表す顔表情情報と、運転者の視線の方向を表す視線方向情報とを含んでいる。運転者状態情報取得部６１２は、顔表情情報と視線方向情報を含む状態情報を、記憶ユニット６３の運転者状態情報記憶部６３２に記憶させる。

（１Ｂ）車外の監視
また、運転が開始されると、車外監視システム１０は、運転者監視システム８による運転者の監視に並行して、ステップＳ１において、車外の監視を開始する。車外の監視は、例えば、運転者の監視と同様、運転の間中、継続される。

運転が開始されると、車外カメラ９Ａが起動し、車両１の周辺の所定の範囲を連続的に撮影して車外監視映像情報を出力する。自動運転車両監視装置６Ａは、車外監視映像取得部６１３の制御の下、車外カメラ９Ａから出力された車外監視映像情報から取り込み、この取り込んだ車外監視映像情報を記憶ユニット６３の車外監視映像記憶部６３３に記憶させる。

（２）自動運転車両の検知
車外監視映像情報の取得が開始されると、自動運転車両監視装置６Ａは、次に自動運転車両情報取得部６１４の制御の下、自動運転車両の検知を行う。このため、自動運転車両情報取得部６１４は、ステップＳ２において、一定時間が経過する毎に、車外監視映像記憶部６３３から車外監視映像情報を読み込み、車両１の周辺に存在する周辺車両を検知する処理と、さらに、周辺車両が自動運転車両であるか否かを判定する処理とを行うことにより、自動運転車両を検知する処理を行う。言い換えれば、自動運転車両情報取得部６１４は、車両１の周辺に存在する周辺車両の情報と、周辺車両が自動運転車両であるか否かの情報とを含む、自動運転車両に関する車両情報を取得する。この処理は、例えば、画像処理技術やパターン認識技術を利用して実施される。自動運転車両情報取得部６１４により、自動運転車両が検知されなかった場合は、運転終了を判定するステップＳ９の処理を行う。反対に、自動運転車両情報取得部６１４により、自動運転車両が検知された場合は、自動運転車両を監視するステップＳ３の処理を行う。

自動運転車両は、義務づけられているわけではないが、一般に、自動運転モードで走行していることを示す表示を行っている。このような表示は、これに限らないが、例えば、自動運転表示灯を点灯することにより行われる。自動運転車両情報取得部６１４は、例えば、車外監視映像記憶部６３３から読み込んだ車外監視映像情報に基づいて、このような表示の有無を判定することにより、自動運転車両を検知する処理を行う。

あるいは、自動運転車両は、自動運転モードで走行していることを示す情報を送信しており、その情報を車々間通信やネットワーク通信等を通じて自動運転車両監視装置６Ａが受信することにより、自動運転車両を検知する処理を行ってもよい。

（３）自動運転車両の監視
自動運転車両を検知するステップＳ２の処理において、自動運転車両が検知された場合、自動運転車両情報取得部６１４はさらに、ステップＳ３において、自動運転車両を監視する処理を開始する。ここで、自動運転車両を監視する処理は、例えば、自動運転車両の位置を検出する処理を含んでいる。この処理は、例えば、画像処理技術やパターン認識技術を利用して実施される。自動運転車両情報取得部６１４は、一定時間が経過する毎に、自動運転車両の車両位置情報を含む車両情報を、自動運転車両の位置検出のタイミングを表すタイムスタンプと関連付けて、記憶ユニット６３の自動運転車両情報記憶部６３４に記憶させる。ここにおいて、自動運転車両の車両位置情報は、車両１に対する自動運転車両の方向、例えば、車両１の運転者の位置に対して自動運転車両が存在する方向を表す車両方向情報であってよい。

（４）危機感情の検知
自動運転車両監視装置６Ａは、危機感情判定部６１５の制御の下、ステップＳ４において、一定時間が経過する毎に、運転者状態情報記憶部６３２と感情情報記憶部６３５から顔表情情報と感情情報をそれぞれ読み込み、運転者の危機感情を検知する処理を行う。この処理は、例えば、画像処理技術やパターン認識技術を利用して実施される。危機感情判定部６１５により、運転者の危機感情が検知されなかった場合は、自動運転車両の監視終了を判定するステップＳ８の処理を行う。反対に、危機感情判定部６１５により運転者の危機感情が検知された場合は、運転者の危機感情の原因が自動運転車両であるか否かを判定するステップＳ５の処理を行う。

感情情報記憶部６３５は、人の感情と、その感情に起因する生体反応との対応関係を表す感情情報を、例えばテーブルとして、予め記憶している。感情情報は、これに限らないが、例えば、人の感情と顔の表情との対応関係を有する顔表情データベースであってよい。

運転者の危機感情を検知するため、危機感情判定部６１５は、まず、運転者の表情を監視し、運転者の表情が変化した場合、その表情に対応する感情を検索する。そのため、危機感情判定部６１５は、顔の表情の情報を感情情報記憶部６３５から順番に読み込み、その都度、検知された変化直後の運転者の表情の情報と比較する。この比較の処理は、検知された変化直後の運転者の顔の表情の情報が、感情情報記憶部６３５から読み込んだ人の顔の情報と合致するまで続ける。ここで、感情情報記憶部６３５に記憶されている感情情報は、膨大な数の顔の表情の情報を含んでおり、運転者の顔の表情の情報に合致する顔の表情の情報があるものとする。

検知された変化直後の運転者の顔の表情の情報が、感情情報記憶部６３５から読み込んだ顔の表情の情報と合致した場合に、危機感情判定部６１５は、その顔の表情の情報に対応する感情の情報を読み込む。続いて、危機感情判定部６１５は、読み込んだ感情の情報が、危機感情に相当するものか否かを判定する。ここで、危機感情は、危険な状況をもたらしかねない突発的な出来事に面したときの感情を意味しており、これに限らないが、例えば、恐怖、驚き、不信感、違和感を含んでいる。例えば、事故には至らなかったが、事故に至ってもおかしくなかった状況、いわゆるヒヤリハットの状況に遭遇した運転者は、通常、恐怖や驚きといったこのような危機感情に対応した表情を浮かべるものである。

運転者の顔の表情の情報に対応した感情情報記憶部６３５から読み込んだ感情の情報が危機感情に相当した場合、危機感情判定部６１５は、運転者が危機感情を抱いたと判定し、運転者の危機感情の原因が自動運転車両であるか否かの判定を行うステップＳ５の処理を行う。反対に、運転者の顔の表情の情報に対応した感情情報記憶部６３５から読み込んだ感情の情報が危機感情に相当しなかった場合、危機感情判定部６１５は、運転者は危機感情を抱かなかったと判定し、自動運転車両の監視終了を判定するステップＳ８の処理を行う。

（４）危機感情の原因の判定
危機感情判定部６１５により運転者の危機感情が検知された場合、自動運転車両監視装置６Ａは、危機感情判定部６１５の制御の下、ステップＳ５において、運転者の危機感情の原因が自動運転車両であるか否かの判定を行う。このため、危機感情判定部６１５は、運転者の状態に関する状態情報を運転者状態情報記憶部６３２から読み込むとともに、自動運転車両に関する車両情報を自動運転車両情報記憶部６３４から読み込む。

運転者の状態情報は、運転者の危機感情が検知されたときの運転者の視線の方向を表す視線方向情報を含んでいる。自動運転車両に関する車両情報は、運転者の危機感情が検知されたときの自動運転車両の車両位置情報を含んでいる。自動運転車両の車両位置情報は、車両１の運転者に対する方向を表す車両方向情報を含んでいる。

次に危機感情判定部６１５は、運転者の視線方向情報と自動運転車両の車両情報とに基づいて、運転者の危機感情の原因が自動運転車両であるか否かを判定する。このため、危機感情判定部６１５は、車両方向情報と視線方向情報を比較し、両者が合致した場合は、運転者の危機感情の原因は自動運転車両であると判定し、両者が合致しなかった場合は、運転者の危機感情の原因は自動運転車両でなかったと判定する。危機感情判定部６１５は、運転者の危機感情の原因が自動運転車両であるか否かを表す判定結果情報を、記憶ユニット６３の状況情報記憶部６３６に記憶させる。

危機感情判定部６１５により、運転者の危機感情の原因が自動運転車両であると判定された場合は、状況を記録するステップＳ６の処理を行う。反対に、危機感情判定部６１５により、運転者の危機感情の原因が自動運転車両でなかったと判定された場合は、自動運転車両の監視終了を判定するステップＳ８の処理を行う。

（６）状況の記録
車両方向情報と視線方向情報の比較の結果、両者が合致した場合、すなわち、運転者の危機感情の原因が自動運転車両であると判定された場合、危機感情判定部６１５は、ステップＳ６において、運転者の危機感情検知のタイミングを表すタイムスタンプと関連付けて、状況を表す状況情報を状況情報記憶部６３６に記憶させる。状況情報は、これに限らないが、例えば、運転者の危機感情に関する危機感情情報と、自動運転車両に関する車両情報、例えば自動車登録番号標いわゆるナンバープレートに関する情報とを含んでいる。車両情報はまた、運転者の危機感情が検知されたときの自動運転車両の車両位置情報を含んでいてもよい。

（７）状況情報の送信
自動運転車両監視装置６Ａは、送信情報出力部６１６の制御の下、ステップＳ７において、状況情報を送信する処理を行う。このため、送信情報出力部６１６は、一定時間が経過する毎に、状況情報記憶部６３６から直近の状況情報を読み込み、読み込んだ状況情報が送信済みのものであるか否かを判定する。この判定は、例えば、前回送信した状況情報のタイムスタンプを記憶しておき、今回読み込んだ状況情報のタイムスタンプと比較することにより行ってよい。

続いて、送信情報出力部６１６は、読み込んだ状況情報が送信済みのものであれば、送信の処理は行わず、反対に、読み込んだ状況情報が送信済みのものでなければ、状況情報の送信を指示する送信情報を送信装置９Ｂへ出力する。

送信装置９Ｂは、入力された送信情報に基づいて、危機感情情報と車両情報を含む状況情報を送信する。図４は、車両から送信された状況情報がサービス提供サーバを介して自動運転車両の関連業者に提供される様子を模式的に示している。図４では、自動運転車両Ｃ_ａｄの周囲の車両Ｃ_ｄｍ１〜Ｃ_ｄｍ４から状況情報が送信されている。ここで、車両Ｃ_ｄｍ１〜Ｃ_ｄｍ４は、手動運転モードで走行していても、自動運転モードで走行していてもよい。車両Ｃ_ｄｍ１〜Ｃ_ｄｍ４から送信された状況情報は、自動運転車両の関連業者Ｍｎにサービスを提供するサービス提供サーバＳｖにより受信される。サービス提供サーバＳｖは、受信した状況情報を、自動運転車両の関連業者Ｍｎ、例えば、自動運転車両の製造や保守を行う事業者、自動運転車両の自動運転制御装置やその制御アルゴリズムを開発しているメーカー等に提供する。

（８）自動運転車両監視終了の判定
続いて、自動運転車両監視装置６Ａは、自動運転車両情報取得部６１４の制御の下、ステップＳ８において、自動運転車両監視を終了するか否かを判定する。自動運転車両情報取得部６１４は、ステップＳ２の処理と同様に、車外監視映像記憶部６３３から車外監視映像情報を読み込み、車両１の周辺に存在する自動運転車両を検知する処理を行う。

自動運転車両情報取得部６１４により、自動運転車両が検知されなかった場合は、自動運転車両の監視を終了し、運転終了を判定するステップＳ９の処理を行う。反対に、自動運転車両情報取得部６１４により、自動運転車両が検知された場合は、自動運転車両の監視を継続し、運転者の危機感情を検知するステップＳ４の処理を行う。

（９）運転終了の判定
続いて、自動運転車両監視装置６Ａは、ステップＳ９において、運転が終了したか否かを判定する。運転が終了していないと判定した場合は、車両１の周辺に存在する自動運転車両を検知するステップＳ２の処理に戻る。反対に、運転が終了したと判定した場合は、視認支援の制御を終了する。

（効果）
以上詳述したように、この発明の実施形態の自動運転車両監視装置６Ａは、車外カメラ９Ａの車外監視情報に基づいて、車両１の周辺に存在する自動運転車両が検知し監視するとともに、自動運転車両に関する車両情報を取得する。自動運転車両監視装置６Ａはまた、運転者カメラ７の運転者監視情報の一種である運転者監視映像情報に基づいて、運転者の危機感情を検知する。運転者の危機感情を検知したとき、自動運転車両監視装置６Ａは、そのときの運転者の視線方向情報と自動運転車両の車両位置情報とに基づいて、運転者の危機感情の原因が自動運転車両であるか否かを判定する。危機感情の原因が自動運転車両であるとき、自動運転車両に関する車両情報と運転者の危機感情に関する危機感情情報とを含む状況情報の送信を指示する送信情報を生成して送信装置９Ｂへ出力する。送信装置９Ｂは、送信情報に従って、自動運転車両に関する車両情報と運転者の危機感情に関する危機感情情報とを送信する。これにより、自動運転車両に関する車両情報と運転者の危機感情情報との関連性に関する情報が提供される。

自動運転車両の車両情報と運転者の危機感情情報は、自動運転車両の関連業者にサービスを提供するサービス提供サーバへ送信される。このため、自動運転車両の車両情報と運転者の危機感情情報とが、自動運転車両の関連業者、例えば、自動運転車両の製造や保守を行う事業者、自動運転車両の自動運転制御装置やその制御アルゴリズムを開発しているメーカー等に提供される。これにより、自動運転車両の関連業者は、自動運転車両の実際の自動運転中の貴重な情報を得ることができるようになる。

自動運転車両監視装置６Ａは、車外監視センサである車外カメラ７により得られる車外監視情報の一種である運転者監視映像情報に基づいて、周辺車両が自動運転車両であるか否かの情報を取得する。このように、周辺車両が自動運転車両であるか否かを判定する機能を自動運転車両監視装置６Ａ自体が有しているため、外部の装置や情報源に依存することなく、周辺車両が自動運転車両であるか否かの判定を行える。

［他の実施形態］
実施形態では、運転者監視センサが運転者カメラ７で構成され、運転者カメラ７により得られる運転者の顔を含む映像情報に基づいて運転者の状態を判定する場合を例にとって説明した。しかし、運転者監視センサは、運転者カメラ７に代えて、または運転者カメラ７と組み合わせて、運転者の生体情報を取得する生体センサで構成し、生体センサにより得られる生体情報に基づいて、運転者の危機感情を検知するようにしてもよい。

例えば、顔の筋肉を動かした際に発生する電流を検出するセンサにより検出される顔表情の情報や、脈波センサまたは心拍センサにより検出される運転者の脈波情報または心拍情報に基づいて、運転者の危機感情を検知するようにしてもよい。脈波センサや心拍センサで運転者監視センサを構成した場合、運転者の危機感情の検知のための処理の負荷が低く済むため、運転者の危機感情の検知を短時間で行えるようになる。また、脈波センサや心拍センサを運転者カメラ７と組み合わせて運転者監視センサを構成した場合には、運転者の危機感情の検知をさらに正確に行えるようになる。

実施形態では、自動運転車両の検知は、自動運転中であることを示す表示を検知することにより、あるいは、自動運転中であることを示す情報を受信することにより行うとして説明した。そのため、自動運転車両監視装置６Ａは、車両１の周辺の車両が自動運転車両であるか否かを判定する機能を有している。しかし、これに限らず、自動運転車両監視装置６Ａ自体は、自動運転車両か否かの判定機能を持たずに、次のようにして自動運転車両の検知を行うようにしてもよい。

運転者の危険感情が検知され、かつ、運転者の危険感情の原因が車両１の周辺に存在する周辺車両であると判定されたときに、自動運転車両監視装置６Ａは、周辺車両の自動車登録番号標の情報を送信装置９Ｂに送信させて、その周辺車両が自動運転車両であるか否かをサービス提供サーバＳｖに問い合わせ、その周辺車両が自動運転車両であるとの情報をサービス提供サーバＳｖから取得することにより、自動運転車両の検知を行ってもよい。

この場合、自動運転車両情報取得部６１４は、ステップＳ２とステップＳ３の処理と同様の処理により、車両１の周辺に存在する周辺車両の検知する処理を行い、周辺車両が検知された場合、周辺車両が自動運転車両であるか否かに関係なく、周辺車両を監視する処理を行う。さらに、危機感情判定部６１５により、ステップＳ４の処理により、運転者の危機感情が検知され、かつ、ステップＳ５の処理と同様の処理により、運転者の危機感情の原因が周辺車両であると判定された場合、自動運転車両監視装置６Ａは、周辺車両が自動運転車両であるか否かをサービス提供サーバＳｖに問い合わせる。このため、送信情報出力部６１６は、周辺車両の自動車登録番号標の情報をサービス提供サーバＳｖへ送信させる送信情報を送信装置９Ｂへ出力する。また、自動運転車両情報取得部６１４は、例えば受信装置（図示せず）を介して、周辺車両が自動運転車両であるか否かの情報をサービス提供サーバＳｖから取得する。

このような構成とした場合、自動運転車両監視装置６Ａは、周辺車両が自動運転車両であるか否かを判定する機能を必要としないため、その機能構成が簡素化される。

ここにおいて、周辺車両は、例えば、常に自動運転モードで走行する車両であり、その車両の自動車登録番号標の情報がサービス提供サーバＳｖに提供されていてよい。あるいは、周辺車両は、運転モードの切り替えの度に、切り替えの後の運転モードの情報をサービス提供サーバＳｖに送信し、その車両の自動車登録番号標と運転モードの情報とをサービス提供サーバＳｖが記憶していてもよい。

その他、車両の種類、自動運転制御装置の機能、自動運転車両監視装置の制御機能と制御手順および制御内容等についても、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。

要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られるものではない。
（付記１）
車両の周辺に存在する自動運転車両を監視する自動運転車両監視装置であって、ハードウェアプロセッサとメモリとを有し、
前記ハードウェアプロセッサが、
運転者監視センサの運転者監視情報に基づいて、運転者の状態に関する状態情報を取得し、取得した前記状態情報を前記メモリに記憶させ、
前記車両の周辺に存在する周辺車両の情報と、前記周辺車両が自動運転車両であるか否かの情報とを含む、前記自動運転車両に関する車両情報を取得し、取得した前記車両情報を前記メモリに記憶させ、
前記状態情報を前記メモリから読み込み、読み込んだ前記状態情報に基づいて前記運転者の危機感情を検知し、検知した前記危機感情に関する危機感情情報を前記メモリに記憶させ、
前記状態情報と前記車両情報に基づいて、前記運転者の危機感情の原因が前記周辺車両であるか否かを判定し、その判定結果情報を前記メモリに記憶させ、
前記メモリから前記判定結果情報を読み込み、前記判定結果情報が、前記運転者の危機感情の原因が前記周辺車両であり、かつ、前記周辺車両が前記自動運転車両であることを示す場合、前記車両情報と前記危機感情情報とを含む状況情報の送信を指示する送信情報を生成して送信装置へ出力する、自動運転車両監視装置。
（付記２）
車両の周辺に存在する自動運転車両を監視する自動運転車両監視方法であって、
ハードウェアプロセッサを用いて、運転者監視センサの運転者監視情報に基づいて、運転者の状態に関する状態情報を取得し、取得した前記状態情報をメモリに記憶させ、
前記ハードウェアプロセッサを用いて、前記車両の周辺に存在する周辺車両の情報と、前記周辺車両が自動運転車両であるか否かの情報とを含む、前記自動運転車両に関する車両情報を取得し、取得した前記車両情報を前記メモリに記憶させ、
前記ハードウェアプロセッサを用いて、前記状態情報を前記メモリから読み込み、読み込んだ前記状態情報に基づいて前記運転者の危機感情を検知し、検知した前記危機感情に関する危機感情情報を前記メモリに記憶させ、
前記ハードウェアプロセッサを用いて、前記状態情報と前記車両情報に基づいて、前記運転者の危機感情の原因が前記周辺車両であるか否かを判定し、その判定結果情報を前記メモリに記憶させ、
前記ハードウェアプロセッサを用いて、前記メモリから前記判定結果情報を読み込み、前記判定結果情報が、前記運転者の危機感情の原因が前記周辺車両であり、かつ、前記周辺車両が前記自動運転車両であるあることを示す場合、前記車両情報と前記危機感情情報とを含む状況情報の送信を指示する送信情報を生成して送信装置へ出力する、自動運転車両監視方法。

１…車両、２…パワーユニット、３…操舵装置、３ａ…ステアリングホイール、５…自動運転制御装置、６…運転支援装置、６Ａ…自動運転車両監視装置、６ａ…運転者監視部、６ｂ…自動運転車両監視部、７…運転者カメラ、８…運転者監視システム、９Ａ…車外カメラ、９Ｂ…送信装置、１０…車外監視システム、１１…ステアリングセンサ、１２…アクセルペダルセンサ、１３…ブレーキペダルセンサ、１４…ＧＰＳ受信機、１５…ジャイロセンサ、１６…車速センサ、６１…制御ユニット、６２…入出力インタフェースユニット、６３…記憶ユニット、６１１…運転者監視映像取得部、６１２…運転者状態情報取得部、６１３…車外監視映像取得部、６１４…自動運転車両情報取得部、６１５…危機感情判定部、６１６…送信情報出力部、６３１…運転者監視映像記憶部、６３２…運転者状態情報記憶部、６３３…車外監視映像記憶部、６３４…自動運転車両情報記憶部、６３５…感情情報記憶部、６３６…状況情報記憶部、Ｃ_ａｄ…自動運転車両、Ｃ_ｄｍ１〜Ｃ_ｄｍ４…車両。

Claims (7)

1. 車両の周辺に存在する自動運転車両を監視する自動運転車両監視装置であって、
   運転者監視センサの運転者監視情報に基づいて、運転者の状態に関する状態情報を取得する運転者状態情報取得部と、
   前記車両の周辺に存在する周辺車両の情報と、前記周辺車両が自動運転車両であるか否かの情報とを含む、前記自動運転車両に関する車両情報を取得する自動運転車両情報取得部と、
   前記状態情報に基づいて前記運転者の危機感情を検知するとともに、前記状態情報と前記車両情報とに基づいて、前記運転者の危機感情の原因が前記周辺車両であるか否かを判定する危機感情判定部と、
   前記運転者の危機感情の原因が前記周辺車両であると判定され、かつ、前記周辺車両が前記自動運転車両である場合に、前記自動運転車両に関する前記車両情報と前記運転者の危機感情に関する危機感情情報とを含む状況情報の送信を指示する送信情報を生成して送信装置へ出力する送信情報出力部と
   を備える、自動運転車両監視装置。
2. 前記状態情報は、前記運転者の視線の方向を表す視線方向情報を含み、前記自動運転車両情報取得部は、車外監視センサにより得られる車外監視情報に基づいて、前記周辺車両の位置を表す車両位置情報を取得し、前記危機感情判定部は、前記運転者の危機感情が検知されたときの前記視線方向情報と前記車両位置情報とに基づいて、前記運転者の危機感情の原因が前記周辺車両であるか否かを判定する、請求項１に記載の自動運転車両監視装置。
3. 前記自動運転車両情報取得部は、車外監視センサにより得られる車外監視情報に基づいて、前記周辺車両が前記自動運転車両であるか否かの情報を取得する、請求項１に記載の自動運転車両監視装置。
4. 前記周辺車両が前記自動運転車両であるか否かを問い合わせるため、前記送信情報出力部は、サービス提供サーバへの前記周辺車両の情報の送信を指示する送信情報を前記送信装置へ出力し、前記自動運転車両情報取得部は、前記周辺車両が前記自動運転車両であるか否かの情報を前記サービス提供サーバから取得する、請求項１に記載の自動運転車両監視装置。
5. 前記送信情報出力部は、サービス提供サーバへの前記車両情報と前記危機感情情報とを含む前記状況情報の送信を指示する送信情報を前記送信装置へ出力する、請求項１ないし請求項４のいずれかひとつに記載の自動運転車両監視装置。
6. 車両の周辺に存在する自動運転車両を監視する監視装置が実行する自動運転車両監視方法であって、
   前記監視装置が、運転者監視センサの運転者監視情報に基づいて、運転者の状態に関する状態情報を取得する運転者状態情報取得ステップと、
   前記監視装置が、前記車両の周辺に存在する周辺車両の情報と、前記周辺車両が自動運転車両であるか否かの情報とを含む、前記自動運転車両に関する車両情報を取得する自動運転車両情報取得ステップと、
   前記監視装置が、前記状態情報に基づいて前記運転者の危機感情を検知する危機感情検知ステップと、
   前記監視装置が、前記状態情報と前記自動運転車両に関する情報とに基づいて、前記運転者の危機感情の原因が前記周辺車両であるか否かを判定する原因判定ステップと、
   前記監視装置が、前記運転者の危機感情の原因が前記周辺車両であると判定され、かつ、前記周辺車両が前記自動運転車両である場合に、前記自動運転車両に関する前記車両情報と前記運転者の危機感情に関する危機感情情報とを含む状況情報の送信を指示する送信情報を生成して送信装置へ出力する送信情報出力ステップと
   を有する、自動運転車両監視方法。
7. 請求項１ないし請求項５のいずれかひとつに記載の自動運転車両監視装置の各部の機能または請求項６に記載の自動運転車両監視方法の各ステップの処理をコンピュータに実行させるプログラム。