JP2017516219A

JP2017516219A - 制御装置および関連方法

Info

Publication number: JP2017516219A
Application number: JP2016565436A
Authority: JP
Inventors: エドゥアルド・ディアス; ロバート・ハーディ; セバスチャン・パシュコヴィッチ; アナ・ガシュチャック; トーマス・ポッパム; ジョージ・アレグザンダー
Original assignee: Jaguar Land Rover Ltd
Current assignee: Jaguar Land Rover Ltd
Priority date: 2014-05-01
Filing date: 2015-04-30
Publication date: 2017-06-15
Anticipated expiration: 2035-04-30
Also published as: GB2525656B; GB201407715D0; US20170120749A1; GB2527655A; GB2525656A; GB2527655B; EP3137334A1; GB201507384D0; JP6339235B2; US10040350B2; WO2015166059A1

Abstract

本願開示内容は、１つまたはそれ以上の車両システムを制御する方法に関する。この方法は、少なくとも１つのセンサ（３−１，３−２）を用いて、ドライバ（Ｄ）をモニタしてドライバ注意散漫状態を認定する。ドライバ注意散漫状態が認定されると、第１の車両システム（７，９，１７）の１つまたはそれ以上の機能は抑制される。本願は、制御装置（１）および車両（Ｖ）に関する。本願開示内容は、車両（Ｖ）内での視覚的通知の出力を制御するための方法および関連装置に関する。

Description

本願開示内容は、制御装置および関連方法に関し、これに限定するものではないが、とりわけ１つまたはそれ以上の車両システムを制御する方法、１つまたはそれ以上の車両システムを制御する制御装置、および車両に関する。

米国特許出願公開第2002/0140562号によれば、車両の運転に対するドライバの注意力をモニタ（監視）するシステムを提供することが開示されている。このシステムは、ドライバの顔が配置される視野を有するカメラを備える。視線／頭部姿勢−特定装置を用いて、ドライバの視線および頭部姿勢が車両の進行方向に向いているか否かを判断する。物体距離−特定装置は、車両から物体監視カメラで視認された物体までの相対的な距離を特定する。ドライバの視線および頭部姿勢が車両の進行方向に向いていないことを、アラームでドライバに警告する。

本発明は、少なくとも特定の態様において、車両システムの改善された制御を提供しようとするものである。

米国特許出願公開第2002/0140562号明細書

本発明に係る態様は、添付クレームに記載された、１つまたはそれ以上の車両システムを制御する方法、１つまたはそれ以上の車両システムを制御する制御装置、および車両に関する。

本発明に係る別の態様によれば、車両キャビン内のドライバへの通知の出力を制御する方法が提供され、この方法は、
少なくとも１つのセンサを用いて、ドライバをモニタしてドライバ注意散漫状態を認定するステップと、
車両キャビン内の複数の関心領域のうち、ドライバが現在見ている関心領域を特定するステップと、
ドライバ注意散漫状態を認定したことに応じて、特定された関心領域に隣接または一致する表示領域で視覚的な通知を表示するステップとを有する。

この視覚的な通知は、特定された関心領域に隣接または一致する表示領域にのみ出力されるものであってもよい。この視覚的な通知は、特定された関心領域に隣接もしくは一致する表示装置に表示されるか、または特定された関心領域に隣接もしくは一致する表面上に投影されるものであってもよい。

車両キャビン内の関心領域を特定するステップは、３次元空間においてドライバの視線を表す仮想投影を生成するステップと、複数の関心領域のうち、仮想投影が交差する関心領域を特定するステップとを含んでもよい。仮想投影を生成するステップは、センサから受信した情報に基づいて、奥行寸法に加えて他の空間寸法を特定するステップを含んでもよい。

少なくとも１つのセンサは、ステレオ撮像センサを含んでもよい。

ドライバ注意散漫状態を認定するステップは、ドライバが特定された関心領域を見ている時間を測定するステップを含んでもよい。ドライバ注意散漫状態を認定するステップは、ドライバが特定された関心領域を見ていた累積的な時間、および／またはドライバが特定された関心領域を反復的に見た頻度を測定するステップを含んでもよい。

複数の関心領域のそれぞれに対して時間閾値が定義され、および／または複数の関心領域のそれぞれに対して頻度閾値が定義されてもよい。時間閾値および／または頻度閾値のそれぞれは、少なくとも１つの動的車両パラメータ、および／または少なくとも１つの外的パラメータ、および／またはドライバが車両キャビン内の見ている場所に基づいて変更されてもよい。

視覚的な通知は、動的車両パラメータおよび／または外的パラメータを文脈上表現するものであってもよい。視覚的な通知は、変更された動的車両パラメータもしくは変則的な動的車両パラメータおよび／または外的パラメータを文脈上表現するものであってもよい。

本発明に係る別の態様によれば、車両キャビン内のドライバへの通知の出力を制御する制御装置が提供され、この制御装置は、
車両のドライバをモニタするための少なくとも１つのセンサと、
少なくとも１つのセンサから出力されたデータを分析してドライバ注意散漫状態を認定するとともに、車両キャビン内の複数の関心領域のうち、ドライバが現在見ている関心領域を特定するように構成された１つまたはそれ以上のプロセッサと、
ドライバ注意散漫状態を認定したことに応じて、特定された関心領域に隣接または一致する表示領域で視覚的な通知を表示させるような制御信号を出力するためのコントローラとを備える。

この制御信号は、視覚的な通知を特定された関心領域に隣接または一致する表示領域にのみ表示させてもよい。

この制御信号は、視覚的な通知を表示するように、特定された関心領域に隣接もしくは一致する表示装置を制御するか、または特定された関心領域に隣接もしくは一致する表面上に投影するプロジェクタを制御するように構成されるものであってもよい。

１つまたはそれ以上のプロセッサは、３次元空間においてドライバの視線を表す仮想投影を生成し、複数の関心領域のうち、仮想投影が交差する関心領域を特定するとともに、ドライバが現在見ている表示領域を特定するように構成されてもよい。仮想投影を生成することは、センサから受信した情報に基づいて、奥行寸法に加えて他の空間寸法を特定することを含んでもよい。

ドライバ注意散漫状態を認定することは、ドライバが特定された関心領域を見ている時間を測定することを含んでもよい。ドライバ注意散漫状態を認定することは、ドライバが特定された関心領域を見ていた累積的な時間、および／またはドライバが特定された関心領域を反復的に見た頻度を測定することを含んでもよい。

本発明に係る別の態様によれば、１つまたはそれ以上の車両システムを制御する方法が提供され、この方法は、
少なくとも１つのセンサを用いて、ドライバをモニタしてドライバ注意散漫状態を認定するステップと、
複数の関心領域のうち、ドライバが現在見ている関心領域を特定するステップと、
ドライバ注意散漫状態を認定したことに応じて、特定された関心領域に関連する少なくとも第１の車両システムの１つまたはそれ以上の機能を抑制するステップとを有する。

ドライバが第１の車両システムを見ていると判断されたとき、第１の車両システムの１つまたはそれ以上の機能が抑制されてもよい。ドライバ注意散漫状態を認定するステップは、ドライバが第１の車両システムを見ていることをモニタするステップを含んでもよい。

ドライバ注意散漫状態を認定するステップは、ドライバが第１の車両システムを見ていた連続的な時間を測定するステップを含んでもよい。ドライバ注意散漫状態を認定するステップは、ドライバが第１の車両システムを見ていた累積的な時間、および／またはドライバが第１の車両システムを反復的に見た頻度を測定するステップを含んでもよい。測定された時間が第１の車両システムに対して定義された第１の時間閾値を超えたとき、ドライバ注意散漫状態であると認定され、および／または測定された頻度が第１の車両システムに対して定義された第１の頻度閾値を超えたとき、ドライバ注意散漫状態であると認定されてもよい。

この方法は、３次元空間においてドライバの視線を表す仮想投影を生成するステップと、複数の関心領域のうち、仮想投影が交差する関心領域を特定して、ドライバが現在見ている車両システムを特定するステップとを有してもよい。仮想投影を生成するステップは、センサから受信した情報に基づいて、奥行寸法に加えて他の空間寸法を特定するステップを含んでもよい。この方法は、仮想投影が第１の車両システムに関連する第１の関心領域と交差するとき、ドライバは第１の車両システムを見ていると判断するステップを有してもよい。

センサは、ステレオ撮像センサを含んでもよい。

複数の関心領域は、それぞれの車両システムに関連してもよい。時間閾値は、それぞれの車両システムに対して定義され、および／または頻度閾値は、それぞれの車両システムに対して定義されるものであってもよい。時間閾値および／または頻度閾値のそれぞれは、少なくとも１つの動的車両パラメータ、および／または少なくとも１つの外的パラメータ、および／またはドライバが車両キャビン内の見ている場所に基づいて変更されてもよい。

この方法は、動的車両パラメータおよび／または外的パラメータを文脈上表現する視覚的な通知を表示するステップをさらに有してもよい。視覚的な通知は、変更された動的車両パラメータもしくは変則的な動的車両パラメータおよび／または外的パラメータを文脈上表現するものであってもよい。

本発明に係るさらに別の態様によれば、１つまたはそれ以上の車両システムを制御する制御装置が提供され、この制御装置は、
車両のドライバをモニタするための少なくとも１つのセンサと、
少なくとも１つのセンサから出力されたデータを分析してドライバ注意散漫状態を認定するとともに、車両キャビン内の複数の関心領域のうち、ドライバが現在見ている関心領域を特定するように構成された１つまたはそれ以上のプロセッサと、
ドライバ注意散漫状態を認定したことに応じて、特定された関心領域に関連する少なくとも第１の車両システムの１つまたはそれ以上の機能を抑制するように構成されたコントローラとを備える。

１つまたはそれ以上のプロセッサが、ドライバが第１の車両システムを見ていると判断したとき、コントローラは、第１の車両システムの１つまたはそれ以上の機能が抑制されるように構成されてもよい。

１つまたはそれ以上のプロセッサは、ドライバが第１の車両システムを見ることをモニタすることにより、ドライバ注意散漫状態を認定するように構成されてもよい。１つまたはそれ以上のプロセッサは、ドライバが第１の車両システムを見ていた累積的な時間、および／またはドライバが第１の車両システムを反復的に見た頻度を測定することにより、ドライバ注意散漫状態を認定するように構成されてもよい。

制御装置は、複数の車両システムのそれぞれに関連する各関心領域の定義を記憶するメモリを有し、１つまたはそれ以上のプロセッサは、３次元空間においてドライバの視線を表す仮想投影を生成するとともに、複数の関心領域のうち、仮想投影が交差する関心領域を特定するものであってもよい。複数の関心領域のうち、仮想投影が交差する関心領域を特定することにより、ドライバが見ている車両システムを特定するように構成されてもよい。仮想投影を生成することは、センサから受信した情報に基づいて、奥行寸法に加えて他の空間寸法を特定することを含んでもよい。

メモリは、複数の関心領域のそれぞれに関連する時間閾値および／または頻度閾値を記憶し、１つまたはそれ以上のプロセッサは、メモリに記憶された時間閾値および／または頻度閾値に基づいて、ドライバ注意散漫状態を認定するように構成されてもよい。

センサは、ステレオ撮像センサを含むものであってもよい。

時間閾値および／または頻度閾値のそれぞれは、少なくとも１つの動的車両パラメータ、および／または少なくとも１つの外的パラメータ、および／またはドライバが車両キャビン内の見ている場所に基づいて変更されてもよい。

制御装置は、動的車両パラメータおよび／または外的パラメータを文脈上表現する視覚的な通知を表示させるように構成されてもよい。視覚的な通知は、変更された動的車両パラメータもしくは変則的な動的車両パラメータおよび／または外的パラメータを文脈上表現するものであってもよい。

本発明に係るさらに別の態様によれば、１つまたはそれ以上の車両システムを制御する方法が提供され、この方法は、
少なくとも１つのセンサを用いて、ドライバをモニタしてドライバ注意散漫状態を認定するステップと、
複数の関心領域のうち、ドライバが現在見ている関心領域を特定するステップと、
ドライバ注意散漫状態を認定したことに応じて、少なくとも第１の車両システムの１つまたはそれ以上の機能を抑制するステップとを有する。少なくとも１つのセンサは、ドライバをモニタしてドライバが車両の運転から注意を逸らしている兆候を示したことを認定してもよい。ドライバ注意散漫状態が認定されると、少なくとも第１の車両システムの１つまたはそれ以上の機能を抑制してもよい。ドライバは、車両の運転に集中するように注意喚起してもよい。

この方法は、ドライバが見ている車両システムを特定するステップと、その車両システムの１つまたはそれ以上の機能を抑制するステップとを有してもよい。この方法は、複数の車両システムの中から第１の車両システムを認定するステップを有してもよい。第１の車両システムは、ドライバが見ている車両システムとして認定されてもよい。ドライバが第１の車両システムを見ていることが特定され、ドライバ注意散漫状態が認定された場合、第１の車両システムの１つまたはそれ以上の機能を抑制してもよい。

ドライバ注意散漫状態を認定するステップは、目が道路に向いていない状況（道路を見ていないとき）を認定するステップを含んでもよい。所定の閾値より長い時間、目が道路に向いていない状況が検知されたとき、ドライバ注意散漫状態を認定してもよい。目が道路に向いていない状況が認定されたとき、複数の車両システムの機能を抑制してもよい。

ドライバ注意散漫状態を認定するステップは、ドライバが第１の車両システムを見ていることを認定するステップを含んでもよい。ドライバ注意散漫状態を認定するステップは、ドライバが第１の車両システムを見ている時間を測定するステップを含んでもよい。この時間は、連続的な（非断続的な）時間または累積的な時間であってもよい。ドライバが所定の時間、道路の前方を見ていたと少なくとも１つのセンサが判断したとき、測定された時間をゼロにリセットしてもよい。択一的または追加的に、ドライバ注意散漫状態を認定するステップは、ドライバが第１の車両システムを見ている頻度を特定するステップを有してもよい。測定された時間が第１の車両システムに対して定義された第１の時間閾値を超えたとき、および／または測定された頻度が第１の車両システムに対して定義された第１の頻度閾値を超えたとき、ドライバ注意散漫状態を認定してもよい。

第１の車両システムは、第１の車両システムに関連する第１の表示スクリーンおよび／または第１の制御パネルを含んでもよい。

この方法は、ドライバの視線を表す仮想投影を生成するステップと、複数の関心領域のうち、仮想投影が交差する関心領域を特定するステップとを有する。複数の関心領域のそれぞれは、各車両システムに関連するものであってもよい。ドライバの注意を逸らす車両システムは、仮想投影が交差する関心領域を特定することにより認定してもよい。認定された車両システムの１つまたはそれ以上の機能を抑制して、ドライバの注意散漫状態を排除または低減しやすくすることができる。この方法は、仮想投影が第１の車両システムに関連する第１の関心領域と交差するとき、ドライバは第１の車両システムを見ていると判断するステップを有してもよい。第１の関心領域は複数の関心領域から特定してもよい。

時間閾値は、それぞれの車両システムに対して定義され、および／または頻度閾値は、それぞれの車両システムに対して定義されてもよい。時間閾値および頻度閾値は、各車両に対して同一であってもよいし、異なっていてもよい。

この方法は、ドライバ注意散漫状態を認定したことに応じて、第２の車両システムの１つまたはそれ以上の機能を抑制するステップを有していてもよい。ドライバが第２の車両システムを見ていると特定されたとき、ドライバ注意散漫状態が認定された場合、第２の車両システムの機能を抑制してもよい。ドライバ注意散漫状態を認定するステップは、ドライバが第２の車両システムに関連する第２の関心領域を見ていると判断するステップを含んでもよい。任意的には、ドライバ注意散漫状態に基づいて、第１および第２の車両システムの両方の１つまたはそれ以上の機能を抑制してもよい。

少なくとも１つのセンサは、撮像センサであり、この方法は、少なくとも１つのセンサから受信した画像データを分析するステップを含んでもよい。撮像センサは、赤外線（または近赤外線）センサであるか、光センサであってもよい。この方法は、画像データを分析して、ドライバ注意散漫状態を認定するステップを含んでもよい。

本発明に係るさらに別の態様によれば、車両キャビン内のドライバへの通知の出力を制御する方法が提供され、この方法は、
少なくとも１つのセンサを用いて、ドライバをモニタしてドライバ注意散漫状態を認定するステップと、
ドライバが現在見ている車両キャビン内の関心領域を特定するステップと、
ドライバ注意散漫状態を認定したことに応じて、特定された関心領域に隣接または一致する表示領域で視覚的な通知を表示するステップとを有する。
ドライバが現在見ている関心領域は、特定されたドライバの視線または視線方向を参照して特定されてもよい。

視覚的な通知は、特定された関心領域に隣接または一致する表示領域にのみ出力されてもよい。視覚的な通知は、特定された関心領域に隣接または一致するスクリーン等の表示装置であってもよい。表示領域は、表示装置の少なくとも一部で画定されてもよい。択一的には、視覚的な通知は、特定された関心領域に隣接または一致する表面上に投影されてもよい。

ドライバが見ている車両キャビン内の関心領域を特定するステップは、ドライバの視線を表す仮想投影を生成するステップと、複数の関心領域のうち、仮想投影が交差する関心領域を特定するステップとを含んでもよい。車両キャビン内の特定された領域は、関心領域に対応するものであってもよい。

本発明に係るさらに別の態様によれば、上記説明した方法を実行するように構成されたプロセッサを備えた制御ユニットが提供される。

本発明に係るさらに別の態様によれば、１つまたはそれ以上の車両システムを制御する制御装置が提供され、この制御装置は、
車両のドライバをモニタするための少なくとも１つのセンサと、
少なくとも１つのセンサから出力されたデータを分析してドライバ注意散漫状態を認定するように構成された１つまたはそれ以上のプロセッサと、
ドライバ注意散漫状態を認定したことに応じて、少なくとも第１の車両システムの１つまたはそれ以上の機能を抑制するように構成されたコントローラとを備えたことを特徴とする制御装置。

１つまたはそれ以上のプロセッサは、複数の車両システムから第１の車両システムを特定するように構成してもよい。第１の車両システムは、ドライバが現在見ている車両システムと特定されてもよい。１つまたはそれ以上のプロセッサが、ドライバが第１の車両システムを見ていると判断したとき、コントローラは、第１の車両システムの１つまたはそれ以上の機能が抑制されるように構成してもよい。

１つまたはそれ以上のプロセッサは、ドライバが第１の車両システムを見ていると判断することにより、ドライバ注意散漫状態を認定してもよい。１つまたはそれ以上のプロセッサは、ドライバが第１の車両システムを見ている時間および／またはドライバが第１の車両システムを見る頻度を測定することにより、ドライバ注意散漫状態を認定してもよい。この時間は、連続的な（非断続的な）時間または累積的な時間であってもよい。

第１の車両システムは、第１の表示スクリーンおよび／または第１の制御パネルを含んでもよい。択一的には、第１の車両システムは、たとえば衛星ナビゲーションシステムまたはインフォテインメントシステムに関する一連の制御部を含んでもよい。

１つまたはそれ以上のプロセッサはメモリに接続され、メモリは複数の関心領域の定義を記憶する。複数の関心領域のそれぞれは、各車両システムに付随するものである。１つまたはそれ以上のプロセッサは、複数の関心領域から第１の関心領域を特定するように構成してもよい。

メモリは、複数の関心領域のそれぞれに関連する時間閾値および／または頻度閾値を記憶してもよい。１つまたはそれ以上のプロセッサは、時間閾値および／または頻度閾値に基づいて、ドライバ注意散漫状態を認定するように構成してもよい。

少なくとも１つのセンサは、画像データを生成するように動作可能な撮像センサであってもよい。撮像センサは、赤外線（または近赤外線）センサであるか、光センサであってもよい。１つまたはそれ以上のプロセッサは、画像データを分析して、ドライバ注意散漫状態を認定してもよい。

１つまたはそれ以上のプロセッサは、ドライバの視線を表す仮想投影を生成し、複数の関心領域のうちドライバが現在見ている関心領域を特定するように構成してもよい。１つまたはそれ以上のプロセッサは、仮想投影が交差する関心領域を特定し、ドライバが見ている場所を特定する。こうして１つまたはそれ以上のプロセッサは、ドライバが見ている車両システムを特定する。仮想投影は、頭部追跡技術および／または眼球追跡技術を用いて生成してもよい。１つまたはそれ以上のプロセッサは、複数の車両システムのうちドライバの注意を逸らす１つの車両システムを特定し、その特定の車両システムの１つまたはそれ以上の機能を抑制してもよい。

１つまたはそれ以上のプロセッサは、ドライバ注意散漫状態を認定したことに応じて、第２の車両システムの１つまたはそれ以上の機能を抑制するステップを有していてもよい。ドライバが第２の車両システムを見ていると特定されたとき、第２の車両システムの機能を抑制してもよい。１つまたはそれ以上のプロセッサは、第２の車両システムに関連する第２の関心領域を見ていると判断することにより、ドライバ注意散漫状態を認定するように構成してもよい。任意的には、ドライバ注意散漫状態を認定したことに応じて、第１の車両システムおよび第２の車両システムの１つまたはそれ以上の機能を抑制してもよい。

本発明に係るさらに別の態様によれば、車両キャビン内のドライバへの通知の出力を制御する制御装置が提供され、この制御装置は、
車両のドライバをモニタするための少なくとも１つのセンサと、
少なくとも１つのセンサから出力されたデータを分析してドライバ注意散漫状態を認定するとともに、ドライバが現在見ている領域を特定するように構成された１つまたはそれ以上のプロセッサと、
ドライバ注意散漫状態を認定したことに応じて、特定された領域に隣接または一致する表示装置で視覚的な通知を表示させるような制御信号を出力するためのコントローラとを備える。

制御信号は、視覚的な通知を特定された領域に隣接または一致するところでのみ表示させるものであってもよい。制御信号は、視覚的な通知を表示するようにスクリーン等の表示装置を制御し、表示装置は特定された関心領域に隣接もしくは一致するところに配置されてもよい。この構成において、表示領域は、表示装置の少なくとも一部により画定されてもよい。択一的には、制御信号は、特定された領域に隣接もしくは一致する表面上に投影するプロジェクタを制御するように構成してもよい。この構成において、表示領域は、表示すべき視覚的な通知を投影できる車両キャビン内の表面により画定される。

視覚的な通知が表示される表示装置は、特定された関心領域に関連するものであってもよい。択一的には、制御信号は、プロジェクタが視覚的な通知を投影するようにプロジェクタを制御可能であってもよい。プロジェクタは、特定された関心領域に関連する表面上に視覚的な通知を投影するように構成してもよい。プロジェクタは、たとえば視覚的な通知を投影する場所を調整するように構成してもよい。

制御信号は、たとえば視覚的な通知を表示すべきスクリーンおよび／または視覚的な通知を表示すべきスクリーン等の視覚的な通知を表示すべき場所を定義するための表示データを含んでもよい。制御信号は、視覚的な通知を投影すべき表面および／または視覚的な通知を投影すべき場所を定義する表示データを含んでもよい。

１つまたはそれ以上のプロセッサは、ドライバの視線を表す仮想投影を生成するとともに、複数の関心領域のうち仮想投影が交差する関心領域を特定して、ドライバが現在見ている関心領域を特定するように構成してもよい。スクリーン等のディスプレイは、特定された関心領域に関連付けてもよい。

本発明に係るさらに別の態様によれば、上記説明した制御装置を備えた車両が提供される。特定の実施形態では、車両は、視覚的な通知を表示するための表示装置および／またはプロジェクタを有してもよい。

上記説明したコントローラは、１つまたはそれ以上のプロセッサに一体化（統合）されるか、たとえば少なくとも１つの電子プロセッサを備えた独立した制御ユニットであってもよい。

計算的指令を実行するように構成された１つまたはそれ以上のマイクロプロセッサを参照するときに、「プロセッサ」の用語を用いる。プロセッサは、これにより上記説明した方法が実施される一連の計算的指令を実行するように構成してもよい。

本願の範疇において、上記段落、クレーム、および／または以下の明細書および図面に記載された、さまざまな態様、実施形態、実施例、および択一例、特に個々の特徴物は、独立してまたは組み合わせて採用することができる。すなわちすべての実施形態および／または任意の実施形態に関する特徴物は、その特徴物が矛盾するものでなければ、組み合わせることができる。出願人は、当初に提出されたクレームを補正し、または当初に提出されなかったクレームの任意の特徴を、他のクレームに従属させ、取り込むように補正する権利を留保する。

添付図面を参照しながら、単なる具体例として、本発明に係る１つまたはそれ以上の実施形態について以下説明する。
本発明の実施形態に係る制御装置を採用した車両キャビンの前方部分を示す斜視図である。本発明の実施形態に係る制御装置の概略的なブロック図である。本発明の実施形態に係る、ドライバをモニタする一対の撮像センサの構成を示す概略図である。所定の複数の関心領域を含む車両キャビンの３次元モデルを示す。本発明の実施形態に係る制御装置の動作を示す。ドライバ通知を出力する図５に示す制御装置の動作を示す。本発明の実施形態に係る制御装置を含む車両の概略図である。

添付図面を参照しながら、本発明の実施形態に係る車両Ｖの制御装置１について以下説明する。制御装置１は、ドライバのドライバ注意散漫状態と判断されたことに基づいて、車載車両システムを制御するように構成されている。とりわけ制御装置１は、車両ＶのドライバＤが注意散漫状態にある（すなわちドライバＤが車両Ｖの運転操作中に相当の（十分な）注意を払っていない）と判断されたとき、１つまたはそれ以上の機能を禁止（抑制）するように構成されている。

図１は、第１および第２の撮像センサ３−１，３−２を含む車両キャビンＣの前方部分の内側斜視図である。典型的に、キャビンＣは、ドライバＤおよび１人またはそれ以上の乗員を収容し、車両システムを操作するためのさまざまなユーザインターフェイスを備える。キャビンＣの前方部分は、ルーフ部、前方ウィンドスクリーン（フロントガラス）Ｗ_Ｆ、後方ウィンドスクリーンＷ_Ｒ、ドライバ側ドアＤ１、乗員側ドアＤ２、車両フロア（図示せず）で包囲された車両Ｖのインテリア（内装）により画定されている。キャビンＣは、ドライバが着座するためのドライバシートＳ１、および乗員が着座するための乗員シートＳ２を含む。すなわちドライバシートＳ１はドライバ側に配置され、乗員シートＳ２は乗員側に配置される。ドライバ側窓Ｗ_Ｄはドライバ側ドアＤ１に設けられ、乗員側窓Ｗ_Ｐは乗員側ドアＤ２に設けられる。理解されるように、本発明は、第１および第２の撮像センサ３−１，３−２の位置を変更することにより右ハンドル車両および左ハンドル車両に適用することができる。

ダッシュボード５は、前方ウィンドスクリーンＷ_Ｆの下方に配置され、ドライバ側ドアＤ１と乗員側ドアＤ２の間に延びるように配設される。ダッシュボード５は、（タコメータ、スピードメータ、および燃料ゲージを含む計器クラスタの形態を有する）計器表示パネル７と、（衛星ナビケーションシステムディスプレイとしても機能し）インフォテインメントシステムに付随するインフォテインメントシステム表示パネル９とを含む。これらの表示パネルは、たとえばタッチスクリーンを含むものであってもよい。操舵ハンドル１１は、車両Ｖを操舵するために、ダッシュボード５よりドライバ側に設けられている。操舵ハンドル１１には、補助的な制御部（図示せず）が設けられ、補助制御部を用いて、インフォテインメントシステムを制御することができ、クルーズコントロール機能の起動／停止等の制御を選択的に実行することができる。キャビンＣのドライバ側と乗員側とは、部分的に中央コンソール１３により分離されている。中央コンソール１３は、車両Ｖのトランスミッションを変更するギアセレクタ１５と、インフォテインメントシステムのための制御部１７とを備える。中央コンソール１３は、保管用コンパートメント（保管用物入れ）１９を有する。

図２は、制御装置１の概略的なブロック図である。制御装置１は、１つまたはそれ以上のプロセッサ２３（説明を簡略化するために１つのみ図示）と、コンピュータコード２７を記憶する１つまたはそれ以上のメモリ２５（説明を簡略化するために１つのみ図示）とを含むドライブモニタ２１を有する。制御装置１は、ドライバモニタ２１に接続される第１および第２の撮像センサ３−１，３−２を有する。車両システムコントローラ２９の形態を有するコントローラは、ドライバモニタ２１に接続されている。車両システムコントローラ２９は、より詳細に以下説明するように、ドライバモニタ２１からの出力信号に基づいて１つまたはそれ以上の車両システムの動作を制御するように構成されている。車両システムコントローラ２９は、計算機能を実行するための１つまたはそれ以上のプロセッサを備えてもよい。択一的な実施形態では、ドライバモニタ２１および車両システムコントローラ２９は、一体的に組み合わせてもよい。

１つまたはそれ以上のメモリ２５は、車両キャビンＣの３次元モデルＣ_ＭＯＤを記憶する。３次元モデルＣ_ＭＯＤは、キャビンＣの内部のキーとなる特徴（重要な構成要素）を定義する。少なくとも特定の実施形態では、３次元モデルＣ_ＭＯＤは、車両Ｖのコンピューター支援設計（ＣＡＤ）モデルで得ることができる。このように、内部キャビンＣの構成部分を、３次元モデルＣ_ＭＯＤで定義される仮想的な車両キャビン上にマッピングすることができる。仮想的な車両内部キャビンは、事前設定された複数の関心領域Ａｎ（ｎは全体数）を含む。

第１および第２の撮像センサ３−１，３−２はそれぞれ、ドライバ対向カメラを有する。第１および第２の撮像センサ３−１，３−２は、眼球追跡機能を実現するために赤外線（近赤外線）を検出する。変形例に係る第１および第２の撮像センサ３−１，３−２は、可視光波長を有する光を検出することができる。しかしながら、可視光スペクトルの光を検出するために第１および第２の撮像センサ３−１，３−２を利用するには、暗がり状況を照明するためのキャビン照明が必要となる。

図３に示すように、第１の撮像センサ３−１は、前方ウィンドスクリーンＷ_Ｆの中心点の下方にあるダッシュボード５内に配置され、第２の撮像センサ３−２は、車両Ｖのドライバ側の前方ウィンドスクリーンＷ_Ｆの底部コーナ部近くに配置されている。第１および第２の撮像センサ３−１，３−２は、ドライバＤをモニタすることができるように、車両ＶのドライバＤに対向するように配置されている。第１および第２の撮像センサ３−１，３−２のそれぞれの視野マトリックスが、図３において斜視的な四角錐ＶＦ１，ＶＦ２として図示されている。動作時、第１および第２の撮像センサ３−１，３−２はそれぞれ、画像プロセッサに出力される画像データを生成する。第１および第２の撮像センサ３−１，３−２は、ドライバを検出するように構成され、ドライバの頭部の位置に基づいて３次元座標空間における原点Ｏを特定することができる。眼球方向（視線方向）をモデル化し、および／または視線追跡機構を用いておおよその眼球位置を特定するために、ドライバの頭部の方向をより正確に特定してもよい。ドライバの頭部の位置および方向を総称して「頭部姿勢（ヘッドポーズ）」と呼ぶ。視線追跡機構は、ドライバの眼球を追跡して、（「視線方向」として知られた）固定した基準に対するドライバの視線の目標ラインの角度方向を特定する。

図４および図５を参照してより詳細に説明するように、３次元モデルＣ_ＭＯＤにおける頭部方向および視線方向を計算する。３次元モデルＣ_ＭＯＤは、キャビンＣ内に配置された車両システムに対応する１つまたはそれ以上の所定の関心領域Ａｎ（ｎは全体数）を含む。関心領域Ａｎは、３次元モデルＣ_ＭＯＤ内の構成要素として定義される。キャビンＣ内の関連する構成要素の参照符号を用いて、３次元モデルＣ_ＭＯＤ上の対応する関心領域Ａｎを認定する。関心領域Ａ_７は計器ディスプレイパネル７に対応し、関心領域Ａ_９はインフォテインメントシステム表示パネル９に対応し、関心領域Ａ_１７はインフォテインメントシステム制御部１７に対応する。さらに３次元モデルＣ_ＭＯＤは、車両システムに関係のない１つまたはそれ以上の事前設定された関心領域Ａｎを含んでもよい。特に、３次元モデルＣ_ＭＯＤは、前方ウィンドスクリーンＷ_Ｆに対応する関心領域Ａ_ＷＦを有してもよい。

特定された原点Ｏおよび視線方向を用いて、仮想投影Ｐ（バーチャル・プロジェクション、「視線ベクトル」ともいう。）が、キャビンＣにおけるドライバの視線ラインを表すように特定される。仮想投影Ｐは、ドライバが視認している場所を特定するために、キャビンＣの３次元モデルＣ_ＭＯＤと一体化（統合）される。ドライバモニタ２１は、ドライバＤがドライバ注意散漫状態にあることを認定するために、得られたデータを分析するように構成されている。とりわけドライバモニタ２１は、ドライバＤが車両Ｖを運転しているときに見ている位置（場所）をモニタするために、仮想投影Ｐを追跡するように構成されている。

ドライバモニタ２１は、タイマ機能を有し、仮想投影ＰがキャビンＣ内の複数の関心領域Ａｎのうちの１つの関心領域Ａｎと交差（横断）する時間を測定する。測定された時間が所定の時間閾値を超えた場合、ドライバモニタ２１は、ドライバＤがドライバ注意散漫状態にあると判断する。タイマは、仮想投影Ｐが１つの関心領域Ａｎに対して一度の（ずっと）連続して交差する時間を測定するように構成され、これはたとえばドライバＤが特定の車両システムに集中している状況を表す。択一的には、タイマは仮想投影Ｐが１つの関心領域Ａｎに対して複数回交差する累積的な時間を測定するように構成される。これはたとえばドライバＤが特定の車両システム反復的に見ている状況を表す。ドライバＤが所定時間、前方ウィンドスクリーンＷ_Ｆを見ていたと判断された場合には、測定時間はゼロにリセットされる。

タイマは、仮想投影Ｐが各関心領域Ａｎに交差している時間を個別に測定することができる。１つの関心領域Ａｎに対して測定した時間が、その特定の関心領域に関する所定の閾値を超えたとき、ドライバモニタ２１は、ドライバＤがドライバ注意散漫状態にあると判断する。択一的または追加的には、タイマは、仮想投影Ｐが任意の関心領域Ａｎに交差している時間を測定してもよい。仮想投影Ｐが任意の関心領域Ａｎに交差しているときの測定時間が最大の所定閾値時間（たとえば４秒間）を超えたとき、ドライバモニタ２１は、ドライバＤがドライバ注意散漫状態にあると認定する。

択一的または追加的には、ドライバモニタ２１は、走行時、仮想投影Ｐが所定の期間中に１つの関心領域Ａｎに交差した回数を計数するカウンタを有していてもよい。ドライバモニタ２１は、仮想投影Ｐが１つの関心領域Ａｎに交差した頻度（一定期間内に交差する回数）を特定することができる。この頻度が所定の頻度閾値を超えたとき、ドライバモニタ２１は、ドライバＤがドライバ注意散漫状態にあると判断する。

ドライバモニタ２１は、仮想投影Ｐが所定時間（たとえば５秒間）、前方ウィンドスクリーンＷ_Ｆに対応する関心領域Ａ_ＷＦに交差しているとき、ドライバモニタ２１は、ドライバＤがもはやドライバ注意散漫状態にないと判断することができる。

ドライバＤがドライバ注意散漫状態にあると認定するために定義された時間閾値は、すべての関心領域Ａｎに対して同一であってもよい。ただし、本実施形態において、異なる関心領域Ａｎに対して異なる時間閾値が定義される。ドライバＤがドライバ注意散漫状態にあるとドライバモニタ２１が判断するまでの時間は、ドライバＤがキャビンＣにおいて見ている場所（位置）に応じて異なる。これは、ドライバが非注意散漫状態に対応する関心領域（たとえば関心領域Ａ_ＷＦ）を見ているところからドライバが視線を戻すために必要な時間が異なることに対応する。計器表示パネル７に対応する関心領域Ａ_７については３秒間の時間閾値が定義され、インフォテインメントシステム表示パネル９に対応する関心領域Ａ_９およびインフォテインメントシステム制御部１７に対応する関心領域Ａ_１７については１秒間の時間閾値が定義される。

時間閾値は一定であってもよい。択一的には、時間閾値は、たとえば車両速度等の動的な車両パラメータに基づいて変更してもよい。所定の時間閾値は、車両速度が増大するにつれて低減させ、車両速度が低減するにつれて増大させてもよい。択一的または追加的に、外部パラメータに基づいて時間閾値を調整してもよい。外部パラメータは、車両Ｖが走行している道路のカテゴリ、道路状況、他の車両との接近度合、および／または交通量等、車両の外的要因に依存するパラメータを含んでもよく、道路カテゴリについては、たとえば車両が主要道路（Ａ）または自動車用道路を走行している場合より２次的道路（Ｂ）を走行している場合に時間閾値を小さくし、道路状況については、道路が乾燥している場合より濡れている場合に時間閾値を小さくし、交通量に関しては、適応型クルーズコントロール（ＡＣＣ）が車両Ｂに接近する１つまたはそれ以上の車両を検出した場合に時間閾値を小さくしてもよい。他の外的要因は、走行レーンの端部への接近であってもよく、たとえば車線から逸脱したことが検知された場合、時間閾値を小さくしてもよい。

ドライバモニタ２１は、ドライバ注意散漫状態を通信エリアネットワーク（ＣＡＮ）バス（または他の通信バス）に送信するように構成されている。車両システムコントローラ２９は、送信された注意散漫レベルに依存して特定の機能を禁止する。とりわけ車両システムコントローラ２９は、仮想投影Ｐが現在交差している関心領域Ａｎに関連する車両システムの少なくとも特定の機能を一時的に禁止（または非動作状態に）するように動作可能である。すなわち使用時、特定の車両システムに固有の所定時間より長い時間、ドライバＤがその車両システムを見ていたとドライバモニタ２１が判断した場合、所与の車両システムの機能を禁止してもよい。車両システムコントローラ２９は、たとえばドライバＤにスクリーン上のメッセージを表示するために、その車両システムに警告または通知を出力する。

ドライバＤが（ドライバモニタ２１が判断した）ドライバ注意散漫状態にあるとき、車両システムコントローラ２９は、ドライバＤが現在見ている車両システムに関連する１つまたはそれ以上の機能を一時的に禁止する。理解されるように、車両Ｖの安全動作に不可欠なすべての機能については、車両システムコントローラ２９により影響されることはなく、ドライバ注意散漫状態と判断されたことに関係なく、維持される。車両システムコントローラ２９が計器表示パネル７またはインフォテインメントシステム表示パネル９の機能を禁止したとき、その機能が禁止されたことをドライバＤに視覚的に表示するために、表示の少なくとも一部がグレー表示される。また、ドライバＤの認定されたドライバ注意散漫状態に起因して、その機能が制限されたことをドライバに通知するために、警告メッセージまたは警報が計器表示パネル７またはインフォテインメントシステム表示パネル９上に表示される。車両システムコントローラ２９がインフォテインメントシステム制御部１７の機能を禁止したとき、所定の期間、またはドライバＤがもはやドライバ注意散漫状態にないとドライバモニタ２１が判断するまで、制御が禁止される。

計器表示パネル７、インフォテインメントシステム表示パネル９、およびインフォテインメントシステム制御部１７に対応する関心領域Ａｎを含むものとして、仮想的な３次元モデルＣ_ＭＯＤについて説明してきた。理解されるように、仮想的な３次元モデルＣ_ＭＯＤは追加的な関心領域Ａｎを定義してもよい。たとえば関心領域Ａｎは、１つまたはそれ以上の保管用コンパートメント１９に対応するものであってもよい。車両システムコントローラ２９は、たとえばドライバＤが保管用コンパートメント１９を見ているとドライバモニタ２１が認定した場合、保管用コンパートメント１９を照明するために設けたランプ（またはＬＥＤ）を暗くするか、スイッチオフしてもよい。択一的または追加的には、車両システムコントローラ２９は、ドライバに通知するためにランプを断続的に明滅させてもよい。択一的または追加的には、車両システムコントローラ２９は、ドライバが現在注視している関心領域に対する警告または通知の表示または投影を制御するように構成してもよい。車両システムコントローラ２９は、ドライバがたとえばグローブボックスおよび乗員側ドア制御部等を見ているとき、その表面上に警告シンボルを投影するように投影デバイスを制御するように構成してもよい。投影デバイスは、車両キャビン内に実装し、たとえばキャビンのルーフ部に実装してもよく、任意的には複数の方向に投影するように構成してもよい。

図４〜図６に示す３次元モデルＣ_ＭＯＤを参照して、図２に示す制御装置１の動作について以下詳細に説明する。

図４は、３次元モデルＣ_ＭＯＤの概略図であり、図１のキャビンＣの仮想表現を示すものである。分かりやすく説明するために、仮想表現を簡略化しているが、仮想表現とは、図１のキャビンＣの外形を擬えるようにキャビンＣの寸法および形状をキャビンＣ上にマッピングすることであると理解される。３次元モデルＣ_ＭＯＤは、複数の所与の関心領域Ａｎを含み、各関心領域は、キャビンＣに関連する複数の視覚帯のうちの１つの異なる視覚帯に付随するものである。３次元モデルＣ_ＭＯＤと車両ＶのキャビンＣの間の関係を強調するために、キャビンＣは図４の幻影として図示されている。本実施形態では、各関心領域Ａｎの位置および方向は、３次元モデルＣ_ＭＯＤ内の３つの寸法で定義されている。

動作時、プロセッサ２３は、撮像センサ３−１，３−２から画像データを受信し、車両ドライバの原点Ｏおよび仮想投影Ｐを特定するために画像処理を行う。原点Ｏが図５に図示され、仮想投影Ｐは原点Ｏからインフォテインメントシステム表示パネル９に向かうように図示されている。原点Ｏは、３次元軸系（Ｘ軸、Ｙ軸、およびＺ軸）で表される３次元座標空間内にある点である。同様に、仮想投影Ｐは、３次元軸において定義されているので、各軸に対する角度のずれがある。図５に示すように、撮像センサ３−１，３−２を用いて、原点Ｏおよび仮想投影Ｐを特定することができる。この情報は、３次元モデルＣ_ＭＯＤに組み合わされて、ドライバが現在見ている関心領域Ａｎを特定することができる。

より詳細には、たとえば当業者に広く知られた顔認識アルゴリズムまたは「顔追跡」アルゴリズムを用いて、車両ドライバの顔を識別するための画像データを最初に用いることにより、原点Ｏを計算する。顔認識を行った後、ドライバの頭部の位置および方向を推定してもよい。その後、画像処理技術を用いて眼球の位置を識別する。頭部および眼球の位置および方向を特定した後、プロセッサ２３は、キャビンＣ内の３次元空間における原点Ｏを計算することができる。原点Ｏは、車両ドライバの眼球の間の中心点として選択することができる。原点Ｏは、キャビンＣの中心原点位置である車両キャビンの原点（図示せず）に対して計算される。特に、２つの撮像センサ３−１，３−２が既知の所定の距離を隔てて存在し、三角測量計算を行い、車両キャビンの原点に対する原点Ｏを決定することができる。２つの撮像センサ３−１，３−２を用いると、他の空間寸法に加えて、奥行寸法を特定することができる。同様に、撮像センサ３−１，３−２に対する固定した基準点を用いて、原点Ｏの特定を支援することができる。そして、撮像センサ３−１，３−２を用いて眼球追跡を行い、３次元空間における仮想投影Ｐを特定する。たとえば赤外線光または近赤外線光を車両ドライバの眼球に向けて照射し、その反射光により、車両ドライバが見ている方向に関する情報を得ることができる。そして仮想投影Ｐを特定するために、画像処理を行う。

プロセッサ２３は、原点Ｏおよび仮想投影Ｐに基づいて車両ドライバＤの視線ベクトルを表す仮想投影Ｐを計算する。仮想投影Ｐが特定された原点Ｏから始まり、特定された方向に延びるように、仮想投影Ｐ_Ｖを３次元モデルＣ_ＭＯＤにプロットする。プロセッサ２３は、仮想投影Ｐが３次元モデルＣ_ＭＯＤ内で定義された複数の関心領域Ａｎのうちの１つの関心領域を横切る（交差する）か否かを判断する。交差した関心領域Ａｎは、車両ドライバが現在見ている視覚帯に対応する。ドライバモニタ２１は、ドライバがキャビンＣ内の複数の関心領域Ａｎのうちの１つの関心領域を見ていることを特定することができる。図５および図６に示す実施例においては、仮想投影Ｐは、インフォテインメントシステム表示パネル９に関連する関心領域Ａ_９と交差している。

ドライバモニタ２１は、仮想投影ＰがキャビンＣ内の関心領域Ａｎと交差する時間および／または頻度に基づいて、ドライバがドライバ注意散漫状態にあると認定する。ドライバモニタ２１は、ドライバがドライバ注意散漫状態にあると判断した場合、ドライバ注意散漫信号をＣＡＮバス等の車両通信ネットワークに出力する。車両システムコントローラ２９に基づいて、当該関心領域Ａｎに関連する車両システムの１つまたはそれ以上の機能を一時的に禁止（抑制）する。図示された構成では、ドライバモニタ２１は、ドライバＤがインフォテインメントシステム表示パネル９を３秒間以上見ていたと判断した。図６に示すように、車両システムコントローラ２９は、インフォテインメントシステム表示パネル９の機能を禁止し、（三角形として図示とした）警告を表示するように指示する。択一的または追加的には、車両システムコントローラ２９は、車両Ｖに搭載された前向きカメラで得られた画像データを表示するように構成することかできる。たとえば車両Ｖに搭載されたカメラで得られたビデオ動画を、特定された関心領域Ａｎに関連する表示パネルに出力することができる。

車両システムコントローラ２９は、動的車両パラメータおよび／または外部パラメータを文脈上表現するような視覚的通知を表示するように構成することができる。視覚的通知は、変更された動的車両パラメータもしくは変則的な動的車両パラメータおよび／または外的パラメータを文脈上表現するものであってもよい。

ドライバ注意散漫期間中、パラメータは、その値が変更されるか、または変則的なものであるときに表示され、そうでなければ、一般的な視覚的通知が表示され、および／または表示の機能が禁止される。たとえばパラメータの値が閾値を超えると、パラメータが変更されるか、もしくは変則的になり、および／または注意散漫期間に関する時間閾値が低減される。

ドライバ注意散漫期間中、たとえば車両速度等の動的車両パラメータが変更され、または変則的なものである場合、視覚的通知は、たとえば車両速度または速度警告を表示することにより、変更された動的車両パラメータまたは変則的な動的車両パラメータを文脈上表現するものであってもよい。外的パラメータが、たとえばドライバ注意散漫期間中、車線レーンが変更され、または変則的である場合、前向きカメラからのビデオ画像またはレーン逸脱警告を表示することにより、変更された外的パラメータまたは変則的な外的パラメータを文脈上表現するものであってもよい。制御装置１を備えた車両Ｖが図７に図示されている。制御装置１は、ドライバＤが所定時間、前方ウィンドスクリーンＷ_Ｆを見ているとき、ドライバモニタをリセットするものとして説明してきた。理解されるように、制御装置１は、サイドの窓Ｗ_Ｄ，Ｗ_Ｐ、および任意的には後方ウィンドスクリーンＷ_Ｒを機能させる。追加的な制御入力として車両Ｖの進行方向を用いて、システムがリセットされる場合を判断してもよい。ドライバＤがバックミラー（図示せず）またはいずれか一方のサイドミラー（図示せず）を見ている場合、さらなる制御手法を判断してもよい。

理解されるように、上記説明した本発明の範疇を逸脱することなく、制御装置１に対するさまざまな変形例および変更例を実現することができる。車両キャビンに対応する３次元モデルＣ_ＭＯＤを参照して、制御装置１について上記説明してきた。たとえば固定した原点を参照して関心領域を定義するように、３次元モデルＣ_ＭＯＤを簡素化してもよい。

制御装置１は、２つの撮像センサ３−１，３−２を有するものとして上記説明してきた。理解されるように、制御装置１は、単一の撮像センサまたはステレオ撮像センサを採用してもよい。ドライバの注意力は、頭部姿勢または視線方向を参照して判断することができる。

ドライバモニタ２１は、ドライバＤの仮想投影Ｐを判断する代わりに、表面上の関心ポイント（関心点）を判断するように構成してもよい。３次元モデルＣ_ＭＯＤは、関心ポイントが道路に目が向いていない状況に対応することを認定するために利用される表面を定義するように構成してもよい。

ドライバモニタ２１は、ドライバ注意散漫状態を認定するものとして上記説明してきた。理解されるように、ドライバモニタ２１は、ドライバ状態を分類分けするように修正してもよい。択一的な実施形態では、ドライバモニタ２１は、たとえば、複数の所与のドライバ注意散漫状態のうちの１つのドライバ注意散漫状態が現在のドライバ状態に相当するかを認定するように構成してもよい。ドライバモニタ２１は、少なくとも高度の注意散漫状態および低度の注意散漫状態を有する。注意散漫状態は、仮想投影ＰがキャビンＣ内の関心領域Ａｎと交差する時間に基づいて認定してもよい。車両システムコントローラ２９により実行される制御は、ドライバＤの認定された注意散漫状態に基づいて修正してもよい。たとえば低度の注意散漫状態に応じて警告または通知を出力し、高度の注意散漫状態に応じて機能を禁止してもよい。

すべての実施形態において、当業者ならば理解されるように、時間閾値の代わりに頻度閾値を定義してもよい。頻度閾値は、ドライバが所定の時間間隔において第１の車両システムを見た回数に関連する。

１…制御装置、３…撮像センサ、５…ダッシュボード、７…計器表示パネル、９…インフォテインメントシステム表示パネル、１１…操舵ハンドル、１３…中央コンソール、１５…ギアセレクタ、１７…インフォテインメントシステム制御部、１９…保管用コンパートメント、２１…ドライブモニタ、２３…プロセッサ、２５…メモリ、２７…コンピュータコード、２９…車両システムコントローラ、Ｖ…車両、Ｄ…ドライバ、Ｃ…キャビン、Ｄ１…ドライバ側ドア、Ｄ２…乗員側ドア、Ｓ１…ドライバシート、Ｓ２…乗員シート、Ｗ_Ｆ…前方ウィンドスクリーン、Ｗ_Ｒ…後方ウィンドスクリーン、Ｗ_Ｄ…ドライバ側窓、Ｗ_Ｐ…乗員側窓、Ｃ_ＭＯＤ…３次元モデル、Ａｎ…関心領域、Ｏ…原点、Ｐ…仮想投影（視線ベクトル）。

Claims

車両キャビン内のドライバへの通知の出力を制御する方法であって、
少なくとも１つのセンサを用いて、ドライバをモニタしてドライバ注意散漫状態を認定するステップと、
車両キャビン内の複数の関心領域のうち、ドライバが現在見ている関心領域を特定するステップと、
ドライバ注意散漫状態を認定したことに応じて、特定された関心領域に隣接または一致する表示領域で視覚的な通知を表示するステップとを有することを特徴とする方法。
視覚的な通知は、特定された関心領域に隣接または一致する表示領域にのみ出力されることを特徴とする請求項１に記載の方法。
視覚的な通知は、特定された関心領域に隣接もしくは一致する表示装置に表示されるか、または特定された関心領域に隣接もしくは一致する表面上に投影されることを特徴とする請求項１または２に記載の方法。
車両キャビン内の関心領域を特定するステップは、
３次元空間においてドライバの視線を表す仮想投影を生成するステップと、
複数の関心領域のうち、仮想投影が交差する関心領域を特定するステップとを含むことを特徴とする請求項１〜３のいずれか１に記載の方法。
仮想投影を生成するステップは、センサから受信した情報に基づいて、奥行寸法に加えて他の空間寸法を特定するステップを含むことを特徴とする請求項４に記載の方法。
少なくとも１つのセンサは、ステレオ撮像センサを含むことを特徴とする請求項１〜５のいずれか１に記載の方法。
ドライバ注意散漫状態を認定するステップは、ドライバが特定された関心領域を見ている時間を測定するステップを含むことを特徴とする請求項１〜６のいずれか１に記載の方法。
ドライバ注意散漫状態を認定するステップは、ドライバが特定された関心領域を見ていた累積的な時間、および／またはドライバが特定された関心領域を反復的に見た頻度を測定するステップを含むことを特徴とする請求項１〜６のいずれか１に記載の方法。
複数の関心領域のそれぞれに対して時間閾値が定義され、および／または
複数の関心領域のそれぞれに対して頻度閾値が定義されることを特徴とする請求項１〜８のいずれか１に記載の方法。
時間閾値および／または頻度閾値のそれぞれは、少なくとも１つの動的車両パラメータ、および／または少なくとも１つの外的パラメータ、および／またはドライバが車両キャビン内の見ている場所に基づいて変更されることを特徴とする請求項９に記載の方法。
視覚的な通知は、動的車両パラメータおよび／または外的パラメータを文脈上表現することを特徴とする請求項１〜１０のいずれか１に記載の方法。
視覚的な通知は、変更された動的車両パラメータもしくは変則的な動的車両パラメータおよび／または外的パラメータを文脈上表現することを特徴とする請求項１１に記載の方法。
車両キャビン内のドライバへの通知の出力を制御する制御装置であって、
車両のドライバをモニタするための少なくとも１つのセンサと、
少なくとも１つのセンサから出力されたデータを分析してドライバ注意散漫状態を認定するとともに、車両キャビン内の複数の関心領域のうち、ドライバが現在見ている関心領域を特定するように構成された１つまたはそれ以上のプロセッサと、
ドライバ注意散漫状態を認定したことに応じて、特定された関心領域に隣接または一致する表示領域で視覚的な通知を表示させるような制御信号を出力するためのコントローラとを備えたことを特徴とする制御装置。
制御信号は、視覚的な通知を特定された関心領域に隣接または一致する表示領域にのみ表示させることを特徴とする請求項１３に記載の制御装置。
制御信号は、視覚的な通知を表示するように、特定された関心領域に隣接もしくは一致する表示装置を制御するか、または特定された関心領域に隣接もしくは一致する表面上に投影するプロジェクタを制御するように構成されたことを特徴とする請求項１３または１４に記載の制御装置。
１つまたはそれ以上のプロセッサは、
３次元空間においてドライバの視線を表す仮想投影を生成し、
複数の関心領域のうち、仮想投影が交差する関心領域を特定するとともに、ドライバが現在見ている表示領域を特定するように構成されたことを特徴とする請求項１３〜１５のいずれか１に記載の制御装置。
仮想投影生成することは、センサから受信した情報に基づいて、奥行寸法に加えて他の空間寸法を特定することを含むことを特徴とする請求項１６に記載の制御装置。
少なくとも１つのセンサは、ステレオ撮像センサを含むことを特徴とする請求項１３〜１７のいずれか１に記載の制御装置。
ドライバ注意散漫状態を認定することは、ドライバが特定された関心領域を見ている時間を測定することを含むことを特徴とする請求項１３〜１８のいずれか１に記載の制御装置。
ドライバ注意散漫状態を認定することは、ドライバが特定された関心領域を見ていた累積的な時間、および／またはドライバが特定された関心領域を反復的に見た頻度を測定することを含むことを特徴とする請求項１３〜１８のいずれか１に記載の制御装置。
複数の関心領域のそれぞれに対して時間閾値が定義され、および／または
複数の関心領域のそれぞれに対して頻度閾値が定義されることを特徴とする請求項１３〜２０のいずれか１に記載の制御装置。
時間閾値および／または頻度閾値のそれぞれは、少なくとも１つの動的車両パラメータ、および／または少なくとも１つの外的パラメータ、および／またはドライバが車両キャビン内の見ている場所に基づいて変更されることを特徴とする請求項２１に記載の制御装置。
視覚的な通知は、動的車両パラメータおよび／または外的パラメータを文脈上表現することを特徴とする請求項１３〜２２のいずれか１に記載の制御装置。
視覚的な通知は、変更された動的車両パラメータもしくは変則的な動的車両パラメータおよび／または外的パラメータを文脈上表現することを特徴とする請求項２３に記載の制御装置。
１つまたはそれ以上の車両システムを制御する方法であって、
少なくとも１つのセンサを用いて、ドライバをモニタしてドライバ注意散漫状態を認定するステップと、
複数の関心領域のうち、ドライバが現在見ている関心領域を特定するステップと、
ドライバ注意散漫状態を認定したことに応じて、特定された関心領域に関連する少なくとも第１の車両システムの１つまたはそれ以上の機能を抑制するステップとを有することを特徴とする方法。
ドライバが第１の車両システムを見ていると判断されたとき、第１の車両システムの１つまたはそれ以上の機能が抑制されることを特徴とする請求項２５に記載の方法。
ドライバ注意散漫状態を認定するステップは、ドライバが第１の車両システムを見ていることをモニタするステップを含むことを特徴とする請求項２５または２６に記載の方法。
ドライバ注意散漫状態を認定するステップは、ドライバが第１の車両システムを見ていた連続的な時間を測定するステップを含むことを特徴とする請求項２５〜２７のいずれか１に記載の方法。
ドライバ注意散漫状態を認定するステップは、ドライバが第１の車両システムを見ていた累積的な時間、および／またはドライバが第１の車両システムを反復的に見た頻度を測定するステップを含むことを特徴とする請求項２５〜２７のいずれか１に記載の方法。
測定された時間が第１の車両システムに対して定義された第１の時間閾値を超えたとき、ドライバ注意散漫状態であると認定され、および／または
測定された頻度が第１の車両システムに対して定義された第１の頻度閾値を超えたとき、ドライバ注意散漫状態であると認定されることを特徴とする請求項２５〜２９のいずれか１に記載の方法。
３次元空間においてドライバの視線を表す仮想投影を生成するステップと、
複数の関心領域のうち、仮想投影が交差する関心領域を特定して、ドライバが現在見ている車両システムを特定するステップとを有することを特徴とする請求項２５〜３０のいずれか１に記載の方法。
仮想投影を生成するステップは、センサから受信した情報に基づいて、奥行寸法に加えて他の空間寸法を特定するステップを含むことを特徴とする請求項３１に記載の方法。
仮想投影が第１の車両システムに関連する第１の関心領域と交差するとき、ドライバは第１の車両システムを見ていると判断するステップを有することを特徴とする請求項３１に記載の方法。
センサは、ステレオ撮像センサを含むことを特徴とする請求項２５〜３３のいずれか１に記載の方法。
複数の関心領域は、それぞれの車両システムに関連することを特徴とする請求項２５〜３４のいずれか１に記載の方法。
時間閾値は、それぞれの車両システムに対して定義され、および／または
頻度閾値は、それぞれの車両システムに対して定義されることを特徴とする請求項３５に記載の方法。
時間閾値および／または頻度閾値のそれぞれは、少なくとも１つの動的車両パラメータ、および／または少なくとも１つの外的パラメータ、および／またはドライバが車両キャビン内の見ている場所に基づいて変更されることを特徴とする請求項３６に記載の方法。
動的車両パラメータおよび／または外的パラメータを文脈上表現する視覚的な通知を表示するステップを有することを特徴とする請求項２５〜３７のいずれか１に記載の方法。
視覚的な通知は、変更された動的車両パラメータもしくは変則的な動的車両パラメータおよび／または外的パラメータを文脈上表現することを特徴とする請求項３８に記載の方法。
１つまたはそれ以上の車両システムを制御する制御装置であって、
車両のドライバをモニタするための少なくとも１つのセンサと、
少なくとも１つのセンサから出力されたデータを分析してドライバ注意散漫状態を認定するとともに、車両キャビン内の複数の関心領域のうち、ドライバが現在見ている関心領域を特定するように構成された１つまたはそれ以上のプロセッサと、
ドライバ注意散漫状態を認定したことに応じて、特定された関心領域に関連する少なくとも第１の車両システムの１つまたはそれ以上の機能を抑制するように構成されたコントローラとを備えたことを特徴とする制御装置。
１つまたはそれ以上のプロセッサが、ドライバが第１の車両システムを見ていると判断したとき、コントローラは、第１の車両システムの１つまたはそれ以上の機能が抑制されるように構成されたことを特徴とする請求項４０に記載の制御装置。
１つまたはそれ以上のプロセッサは、ドライバが第１の車両システムを見ることをモニタすることにより、ドライバ注意散漫状態を認定するように構成されたことを特徴とする請求項４０または４１に記載の制御装置。
１つまたはそれ以上のプロセッサは、ドライバが第１の車両システムを見ていた累積的な時間、および／またはドライバが第１の車両システムを反復的に見た頻度を測定することにより、ドライバ注意散漫状態を認定するように構成されたことを特徴とする請求項４２に記載の制御装置。
複数の車両システムのそれぞれに関連する各関心領域の定義を記憶するメモリを有し、
１つまたはそれ以上のプロセッサは、３次元空間においてドライバの視線を表す仮想投影を生成するとともに、複数の関心領域のうち、仮想投影が交差する関心領域を特定することを特徴とする請求項４０〜４３のいずれか１に記載の制御装置。
複数の関心領域のうち、仮想投影が交差する関心領域を特定することにより、ドライバが見ている車両システムを特定するように構成されたことを特徴とする請求項４４に記載の制御装置。
仮想投影を生成することは、センサから受信した情報に基づいて、奥行寸法に加えて他の空間寸法を特定することを含むことを特徴とする請求項４４に記載の制御装置。
メモリは、複数の関心領域のそれぞれに関連する時間閾値および／または頻度閾値を記憶し、
１つまたはそれ以上のプロセッサは、メモリに記憶された時間閾値および／または頻度閾値に基づいて、ドライバ注意散漫状態を認定するように構成されたことを特徴とする請求項４４〜４６のいずれか１に記載の制御装置。
センサは、ステレオ撮像センサを含むことを特徴とする請求項４０〜４７のいずれか１に記載の制御装置。
時間閾値および／または頻度閾値のそれぞれは、少なくとも１つの動的車両パラメータ、および／または少なくとも１つの外的パラメータ、および／またはドライバが車両キャビン内の見ている場所に基づいて変更されることを特徴とする請求項４８に記載の制御装置。
動的車両パラメータおよび／または外的パラメータを文脈上表現する視覚的な通知を表示させるように構成されたことを特徴とする請求項４０〜４９のいずれか１に記載の制御装置。
視覚的な通知は、変更された動的車両パラメータもしくは変則的な動的車両パラメータおよび／または外的パラメータを文脈上表現することを特徴とする請求項５０に記載の制御装置。
請求項１３〜２４または請求項４０〜５１のいずれか１に記載の制御装置を備えた車両。
添付図面を参照して実質的に上記説明した方法。
添付図面を参照して実質的に上記説明した制御装置。
添付図面を参照して実質的に上記説明した車両。