JP2012003764A - 顔追跡または眼追跡に基づいた表示部の再設定 - Google Patents

Abstract

【課題】ユーザインターフェースの視覚出力部がユーザの視覚特性に基づいて自動的に設定されて、ユーザの焦点の範囲内にある視覚出力部を強調する、適応型ユーザインターフェースシステムの提供。
【解決手段】適応型インターフェースシステムは、視覚出力部を提供するユーザインターフェースと、ユーザの視覚特性を検出し、前記視覚特性を表すセンサ信号を発生させるためのセンサと、前記センサおよび前記ユーザインターフェースと通信するプロセッサとを備えている。ここで、前記プロセッサは、前記センサ信号を受信し、前記ユーザの視覚特性を決定するために前記センサ信号を命令集合に基づいて分析し、前記ユーザの焦点の範囲内にある前記視覚出力部の少なくとも一部を強調するために、前記ユーザの視覚特性に基づいて前記ユーザインターフェースの視覚出力部を再設定する。
【選択図】図３Ａ

Description

本発明は、概して、再設定可能な表示部に関するものである。特に、本発明は、適応型インターフェースシステム、および、ユーザの追跡に基づいた表示部再設定方法に関するものである。

眼追跡装置は、眼の位置や動きを検出する。数種類の眼追跡装置が、米国特許第２，２８８，４３０号、第２，４４５，７８７号、第３，４６２，６０４号、第３，５１４，１９３、３，５３４，２７３号、第３，５８３，７９４号、第３，８０６，７２５号、第３，８６４，０３０号、第３，９９２，０８７号、第４，００３，６４２号、第４，０３４，４０１号、第４，０７５，６５７号、第４，１０２，５６４号、第４，１４５，１２２号、第４，１６９，６６３号、及び第４，３０３，３９４号に開示されている。

近年、眼追跡装置および眼追跡方法は、特定の車両システムを手を使わずに制御できるばかりでなく、車両の運転手の傾眠および奇行を検出するために、車両に導入されている。

しかし、従来の車内ユーザインターフェースおよびインストルメントクラスタは、それらの上に示された多数の視覚出力部を有する、複雑な表示部を含んでいる。さらに、従来の車内ユーザインターフェースは、例えば、ボタン、アイコン、および、メニューなどの視覚出力部の形式をした、ユーザによって作動可能な複数の機能を含んでいる。車両の運転手に示されたこれら様々な視覚出力部は、運転手の気をそらさせてしまい、しばしば、目の前にある第１の仕事（つまり運転）から、運転手の注意を引いてしまう。

ユーザインターフェースの視覚出力部がユーザの視覚特性に基づいて自動的に設定されて、ユーザの焦点の範囲内にある視覚出力部を強調する、適応型ユーザインターフェースを構築することが望ましい。

驚いたことに、本発明と一致し矛盾することなく、ユーザインターフェースの視覚出力部がユーザの視覚特性に基づいて自動的に設定されてユーザの焦点の範囲内にある視覚出力部を強調する適応型ユーザインターフェースが、明らかにされた。

一実施態様では、適応型インターフェースシステムは、視覚出力部を提供するユーザインターフェースと、ユーザの視覚特性を検出し、視覚特性を表すセンサ信号を発生させるためのセンサと、このセンサおよび該ユーザインターフェースと通信するプロセッサとを備えている。ここで、本プロセッサは、センサ信号を受信し、ユーザの視覚特性を決定するためにセンサ信号を命令集合に基づいて分析し、ユーザの焦点の範囲内にある視覚出力部の少なくとも一部を強調するために、ユーザの視覚特性に基づいてユーザインターフェースの視覚出力部を設定する。

他の実施態様では、車両用の適応型インターフェースシステムは、車両の内部に配置されたユーザインターフェースであって、車両システムの状態を表すユーザ向け情報、を通信するための表示部を有するユーザインターフェースと、ユーザの視覚特性を検出し、視覚特性を表すセンサ信号を発生させるためのセンサと、このセンサおよび該ユーザインターフェースと通信するプロセッサとを備えている。ここで、本プロセッサは、センサ信号を受信し、ユーザの視覚特性を決定するためにセンサ信号を命令集合に基づいて分析し、表示部に示された特定の視覚出力部を際立たせるために、ユーザの視覚特性に基づいて表示部を設定する。

本発明はまた、表示部の設定方法を示す。

一方法は、表示部を備えて視覚出力部を提供するステップと、センサを備えてユーザの視覚特性を検出するステップと、ユーザの視覚特性に基づいて表示部の視覚出力部を設定して、ユーザの焦点の範囲内にある視覚出力部の少なくとも一部を強調するステップとを含んでいる。

本発明の上述の利点および他の利点は、添付の図面に照らして検討すれば、好ましい実施態様の以下の詳細な説明から当業者にすぐに明らかになるであろう。

本発明の実施態様に従った適応型インターフェースシステムを含む車内の部分斜視図である。 図１のインターフェースシステムの略ブロック図である。 図１のインターフェースシステムのインストルメントクラスタ表示部の部分正面図である。 図１のインターフェースシステムのインストルメントクラスタ表示部の部分正面図である。

以下の詳細な説明および添付図面は、本発明の様々な実施態様を記載および図示している。これらの説明および図面は、当業者が本発明を実施および使用できるようになっており、いかなる方法によっても本発明の範囲を制限することを意図したものではない。開示した方法に関して、示したステップは事実上模範的なものであり、従って、前記ステップの順序は、必然的でも決定的に重要なものでもない。

図１および図２は、本発明の一実施態様に従った車両１１用の適応型インターフェースシステム１０を示している。図示したように、インターフェースシステム１０は、センサ１２、プロセッサ１４、および、ユーザインターフェース１６を含んでいる。インターフェースシステム１０は、所望であればあらゆる数の構成要素をも含むことができる。インターフェースシステム１０は、あらゆるユーザ環境においても取り入れられることができる。

センサ１２は、ユーザの顔または頭の視覚特性（例えば、頭の格好（姿勢（pose)）、視線ベクトルまたは視線の方向、顔の特徴など）を検出できるユーザ追跡装置である。いくつかの実施態様では、センサ１２は、ユーザの頭（例えば顔または眼）の少なくとも一部の画像を取り込んで該画像を表すセンサ信号を発生させるための、相補型金属酸化膜半導体（ＣＭＯＳ）カメラである。しかし、他のカメラおよび画像取り込み装置を用いることができる。非限定的な例では、放射エネルギー源１８が、ユーザの頭の少なくとも一部を照射するために配置されている。他の非限定的な例では、放射エネルギー源１８は、赤外線発光ダイオードであってもよい。しかし、他の放射エネルギー源も用いることができる。

プロセッサ１４は、入力信号（例えばセンサ信号）を受信し、分析し、前記入力信号の前記分析に応じてユーザインターフェース１６を設定するための、いかなる装置またはいかなるシステムであってもよい。いくつかの実施態様では、プロセッサ１４は、マイクロコンピュータである。図示した実施態様では、プロセッサ１４は、センサ１２、および、ユーザインターフェース１６を介してユーザによって提供された入力のうちの少なくとも１つから、入力信号を受信する。

図示したように、プロセッサ１４は、入力信号を命令集合２０に基づいて分析する。任意のコンピュータ可読媒体内に取り入れられてもよい命令集合２０は、様々なタスクを実行するようにプロセッサ１４を設定するためのプロセッサ実行可能命令を含んでいる。プロセッサ１４は、例えば、センサ１２およびユーザインターフェース１６の動作を制御するといった様々な機能を実行してもよい。当然ながら、様々なアルゴリズムおよびソフトウェア（例えば、スウェーデンのＳｍａｒｔＥｙｅＡＢ社が作り出したソフトウェア「スマートアイ」）を、ユーザの頭、顔、または、眼の視覚特性を決定するために、それらの画像の分析に用いることができる。さらに当然ながら、いかなるソフトウェアまたはアルゴリズムをも、例えば米国特許番号４，６４８，０５２、４，７２０，１８９、４，８３６，６７０、４，９５０，０６９、５，００８，９４６、および、５，３０５，０１２に記載された技術のように、ユーザの頭または顔の視覚特性の検出に用いることができる。

非限定的な例では、命令集合２０は、プロセッサ１４によって（例えばセンサ信号を介して）受信された情報に基づいて、ユーザの頭の格好、視線ベクトル、および、まぶたの追跡のうちの少なくとも１つを決定するように適応されている学習アルゴリズムである。他の非限定的な例では、プロセッサ１４は、ユーザの眼のうちの少なくとも１つの焦点の範囲を決定する。ここで、焦点の範囲とは、ユーザの全視野の所定の部分のことである。いくつかの実施態様では、この焦点の範囲は、命令集合２０に応じて計算された視線ベクトルからの所定の範囲の度（例えば＋／−５度）によって規定されている。当然ながら、計算された視線ベクトルを基準とする全範囲の度が、焦点の範囲の規定に用いられる。

いくつかの実施態様では、プロセッサ１４は記憶装置２２を含んでいる。記憶装置２２は、単一の記憶装置であっても、複数の記憶装置であってもよい。さらに、記憶装置２２は、固体記憶システム、磁気記憶システム、光記憶システム、または、他のあらゆる適切な記憶システムまたは他のあらゆる適切な記憶装置であってもよい。当然ながら、記憶装置２２は、命令集合２０を記憶するように適応されていてもよい。例えばセンサ１２およびユーザインターフェース１６によって収集されたデータなどの他のデータおよび他の情報が、記憶装置２２に記憶およびカタログ化されてもよい。

プロセッサ１４はさらに、プログラム可能素子２４を含んでもよい。当然ながら、プログラム可能素子２４は、例えばセンサ１２およびユーザインターフェース１６といったインターフェースシステム１０の他の全ての素子と通信してもよい。いくつかの実施態様では、プログラム可能素子２４は、プロセッサ１４の処理機能を管理および制御するように適応されている。特に、プログラム可能素子２４は、命令集合２０を変更してプロセッサ１４によって受信された信号および情報の分析を制御するように適応されている。当然ながら、プログラム可能素子２４は、センサ１２およびユーザインターフェース１６を管理および制御するように適応されていてもよい。さらに当然ながら、プログラム可能素子２４は、記憶装置２２のデータおよび情報を記憶して記憶装置２２からのデータおよび情報を検索するように適応されてもよい。

図示したように、ユーザインターフェース１６は、ユーザに可視出力部を示すための複数の表示部２６、２８を含んでいる。当然ながら、１を含めた任意の数の表示部２６、２８を用いることができる。さらに当然ながら、例えば二次元表示部、三次元表示部、タッチスクリーンといったあらゆるタイプの表示部を用いることができる。

図示した実施態様では、表示部２６は、タッチ感応表示部の上にユーザによって作動可能なボタン３０を有するタッチ感応表示部（例えばタッチスクリーン）である。ボタン３０は、例えば、ナビゲーションシステム、ラジオ、インターネットに接続するように適応されている通信装置、および、温度調節システムなどの、車両システム３２の実行可能な機能に関連付けられている。しかし、あらゆる車両システムは、ユーザによって作動可能なボタン３０に関連付けることができる。さらに当然ながら、任意の数のボタン３０を含むことができ、例えばハンドルなどの、車両１１中の様々な位置に配置することができる。

表示部２８は、例えば、燃料計（gas gauge）、速度計、および、回転速度計といった複数の計器（guage）３４のデジタル表現を表示する、デジタル・インストルメント・クラスタ（digital instrument cluster）である。いくつかの実施態様では、ユーザインターフェース１６は、ダッシュボード、センターコンソール、および、車両１１の他の構成要素、と一体化した視覚要素を含んでいる。

運転中、ユーザは、従来どおりの方法でインターフェースシステム１０と対話する。プロセッサ１４は、入力信号（例えばセンサ信号）とユーザの視覚特性に関する情報とを連続的に受信する。プロセッサ１４は、入力信号および情報を命令集合２０に基づいて分析して、ユーザの視覚特性を決定する。ユーザインターフェース１６は、ユーザの視覚特性に基づいて、プロセッサ１４によって自動的に設定される。非限定的な例として、プロセッサ１４は、検出されたユーザの視覚特性に応じて表示部２６、２８の少なくとも１つに示された可視出力部を自動的に設定する。他の非限定的な例として、本プロセッサは、ユーザの視覚特性に基づいて、表示部２６に示された可視出力部（例えばボタン３０）に関連付けられた実行可能な機能を設定する。

いくつかの実施態様では、プロセッサ１４は、ユーザのまぶたの位置を決定するために、入力信号を分析する。ここで、所定の位置（例えば、閉じた状態）が、表示部２６に示されたユーザによって作動可能なボタン３０を起動する。当然ながら、従来から知られているように、注視時間の閾値が、ボタン３０の起動に用いられ得る。

いくつかの実施態様では、表示部２６、２８の少なくとも１つの視覚出力部は、三次元投影図の状態を示すように設定されており、ユーザの頭の位置を追うために画像の投影図を変更するといった現実感を提供する。当然ながら、従来から知られているいかなる三次元技術をも、三次元投影図の形成に用いることができる。

当然ながら、ユーザは、表示部２６、２８およびそれらに関連付けられた実行可能な機能の設定を手動で変更できる。さらに当然ながら、ユーザインターフェース１６は、表示部２６、２８の自動設定に対して選択的制御を提供できる。例えば、ユーザが視覚モードを開始しなければ、表示部２６、２８は常にデフォルト設定に戻ってもよい。ここで、ユーザインターフェース１６は、ユーザの視覚特性に関連付けられた個別設定に自動的に設定される。

個別設定の一例を図３Ａおよび図３Ｂに示す。図３Ａに示したように、ユーザは、右側の計器３４を注視しており、その右側の計器３４はユーザの焦点の範囲内にある。従って、右側の計器３４が焦点計器３４´になり、他の視覚出力部（例えば非焦点計器３４´´）は抑えられる。例えば、焦点計器３４´は、非焦点計器３４´´よりも強く照射され得る。さらなる例として、焦点計器３４´は、表示部２８上において、非焦点計器３４´´よりも拡大されてもよい。

図３Ｂに示したように、ユーザは、左側の計器３４を注視しており、その左側の計器３４はユーザの焦点の範囲内にある。従って、左側の計器３４が焦点計器３４´になり、非焦点計器３４´´が抑えられる。例えば、焦点計器３４´は、非焦点計器３４´´よりも強く照射され得る。さらなる例として、焦点計器３４´は、表示部２８上において、非焦点計器３４´´よりも拡大されてもよい。

いくつかの実施態様では、ユーザの焦点の範囲内にある視覚出力部のみが完全に照射され、一方でユーザの焦点の範囲外にある視覚出力部が、抑制されるか、または、不可視になる。ユーザの視覚特性が変化するにつれて、ユーザインターフェース１６が自動的に設定されて、ユーザの焦点の範囲内にある表示部２６、２８の視覚出力部を強調するか、または、際立たせる。当然ながら、ユーザインターフェース１６のあらゆる視覚出力部が、例えばボタン３０のように、例の計器３４´および計器３４´´と同様に設定され得る。さらに当然ながら、ユーザインターフェース１６の様々な設定が、ユーザの視覚特性に対するあらゆるレベルの変更に基づいて、用いることができる。

インターフェースシステム１０、および、ユーザインターフェース１６の設定方法は、ユーザの視覚特性に基づいて、ユーザインターフェース１６をリアルタイムで個別化し、これにより、重要な視覚出力部に（つまり焦点の範囲内において）ユーザの注意を集中させ、非焦点の視覚出力部に気をとられることを最小限に抑えることができる。

以上の説明から、当業者は、本発明の趣旨および範囲から逸脱することなく本発明の本質的特長を容易に確認でき、本発明を様々に変更および変形して様々に利用および調整することができる。

１０ インターフェースシステム
１１ 車両
１２ センサ
１４ プロセッサ
１６ ユーザインターフェース
１８ 放射エネルギー源
２０ 命令集合
２２ 記憶装置
２４ プログラム可能素子
２６、２８ 表示部
３０ ボタン
３４、３４´、３４´´ 計器

Claims (20)

1. 視覚出力部を提供するユーザインターフェースと、
   ユーザの視覚特性を検出し、前記視覚特性を表すセンサ信号を発生させるためのセンサと、
   前記センサおよび前記ユーザインターフェースと通信するプロセッサとを含み、
   前記プロセッサは、前記センサ信号を受信し、前記ユーザの前記視覚特性を決定するために前記センサ信号を命令集合に基づいて分析し、前記ユーザの焦点の範囲内にある前記視覚出力部の少なくとも一部を強調するために、前記ユーザの前記視覚特性に基づいて前記ユーザインターフェースの前記視覚出力部を設定する、適応型インターフェースシステム。
2. 前記ユーザインターフェースはタッチスクリーンである、請求項１に記載のインターフェースシステム。
3. 前記ユーザインターフェースは、実行可能な機能に関連付けられた、ユーザによって作動可能なボタンを含んでいる、請求項１に記載のインターフェースシステム。
4. 前記ユーザインターフェースが車両の内部に配置されている、請求項１に記載のインターフェースシステム。
5. 前記ユーザインターフェースは、計器を有するデジタル・インストルメント・クラスタである、請求項１に記載のインターフェースシステム。
6. 前記センサは、前記ユーザの画像を捕捉するための追跡装置である、請求項１に記載のインターフェースシステム。
7. 前記命令集合は、前記ユーザの頭の格好、前記ユーザの視線の方向、および、前記ユーザのまぶたの位置のうちの少なくとも１つを決定するための学習アルゴリズムである、請求項１に記載のインターフェースシステム。
8. さらに、前記ユーザの前記視覚特性の検出を容易にするために、前記ユーザの一部を照射する電磁放射線源を含んでいる、請求項１に記載のインターフェースシステム。
9. 車両の内部に配置され、車両システムの状態を表すユーザ向け情報を通信するための表示部を有する、ユーザインターフェースと、
   ユーザの視覚特性を検出し、前記視覚特性を表すセンサ信号を発生させるためのセンサと、
   前記センサおよび前記ユーザインターフェースと通信するプロセッサとを含み、前記プロセッサは、前記センサ信号を受信し、前記ユーザの前記視覚特性を決定するために前記センサ信号を命令集合に基づいて分析し、前記表示部に示された特定の視覚出力部を際立たせるために、前記ユーザの前記視覚特性に基づいて前記表示部を設定する、車両用の適応型インターフェースシステム。
10. 前記ユーザインターフェースの表示部はタッチスクリーンである、請求項９に記載のインターフェースシステム。
11. 前記表示部は、実行可能な機能に関連付けられた、ユーザによって作動可能なボタンを含んでいる、請求項９に記載のインターフェースシステム。
12. 前記センサは、前記ユーザの画像を捕捉することのできるユーザ追跡装置である、請求項９に記載のインターフェースシステム。
13. 前記命令集合は、前記ユーザの頭の格好、前記ユーザの視線の方向、および、前記ユーザのまぶたの位置のうちの少なくとも１つを決定するための学習アルゴリズムである、請求項９に記載のインターフェースシステム。
14. 前記プロセッサは、前記ユーザの焦点の範囲内にある前記視覚出力部の一部を強調するために、前記ユーザの視覚特性に基づいて前記表示部を設定する、請求項９に記載のインターフェースシステム。
15. 視覚出力部を生成する表示部を提供するステップと、
    ユーザの視覚特性を検出するセンサを提供するステップと、
    前記ユーザの視覚特性に基づいて前記表示部の前記視覚出力部を設定して、前記ユーザの焦点の範囲内にある前記視覚出力部の少なくとも一部を強調するステップとを含む、表示部の設定方法。
16. 前記表示部はタッチスクリーンである、請求項１５に記載の方法。
17. 前記表示部は、実行可能な機能に関連付けられた、ユーザによって作動可能なボタンを含んでいる、請求項１５に記載の方法。
18. 前記表示部は車両の内部に配置されている、請求項１５に記載の方法。
19. 前記センサは、前記ユーザの画像を捕捉することのできるユーザ追跡装置である、請求項１５に記載の方法。
20. 前記命令集合は、前記ユーザの頭の格好、前記ユーザの視線の方向、および、前記ユーザのまぶたの位置のうちの少なくとも１つを決定するための学習アルゴリズムである、請求項１５に記載の方法。

Images