JP2012003764A - 顔追跡または眼追跡に基づいた表示部の再設定 - Google Patents
顔追跡または眼追跡に基づいた表示部の再設定 Download PDFInfo
- Publication number
- JP2012003764A JP2012003764A JP2011132407A JP2011132407A JP2012003764A JP 2012003764 A JP2012003764 A JP 2012003764A JP 2011132407 A JP2011132407 A JP 2011132407A JP 2011132407 A JP2011132407 A JP 2011132407A JP 2012003764 A JP2012003764 A JP 2012003764A
- Authority
- JP
- Japan
- Prior art keywords
- user
- interface
- visual
- sensor
- interface system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000000007 visual effect Effects 0.000 claims abstract description 80
- 230000003044 adaptive effect Effects 0.000 claims abstract description 10
- 238000000034 method Methods 0.000 claims description 13
- 210000003128 head Anatomy 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 9
- 210000000744 eyelid Anatomy 0.000 claims description 5
- 238000004891 communication Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims 1
- 230000005670 electromagnetic radiation Effects 0.000 claims 1
- 230000002776 aggregation Effects 0.000 abstract 1
- 238000004220 aggregation Methods 0.000 abstract 1
- 230000008859 change Effects 0.000 description 4
- 208000032140 Sleepiness Diseases 0.000 description 1
- 206010041349 Somnolence Diseases 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
- B60K35/213—Virtual instruments
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
- B60K35/22—Display screens
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/60—Instruments characterised by their location or relative disposition in or on vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/18—Information management
- B60K2360/186—Displaying information according to relevancy
- B60K2360/1868—Displaying information according to relevancy according to driving situations
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/20—Optical features of instruments
- B60K2360/21—Optical features of instruments using cameras
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
【課題】ユーザインターフェースの視覚出力部がユーザの視覚特性に基づいて自動的に設定されて、ユーザの焦点の範囲内にある視覚出力部を強調する、適応型ユーザインターフェースシステムの提供。
【解決手段】適応型インターフェースシステムは、視覚出力部を提供するユーザインターフェースと、ユーザの視覚特性を検出し、前記視覚特性を表すセンサ信号を発生させるためのセンサと、前記センサおよび前記ユーザインターフェースと通信するプロセッサとを備えている。ここで、前記プロセッサは、前記センサ信号を受信し、前記ユーザの視覚特性を決定するために前記センサ信号を命令集合に基づいて分析し、前記ユーザの焦点の範囲内にある前記視覚出力部の少なくとも一部を強調するために、前記ユーザの視覚特性に基づいて前記ユーザインターフェースの視覚出力部を再設定する。
【選択図】図3A
【解決手段】適応型インターフェースシステムは、視覚出力部を提供するユーザインターフェースと、ユーザの視覚特性を検出し、前記視覚特性を表すセンサ信号を発生させるためのセンサと、前記センサおよび前記ユーザインターフェースと通信するプロセッサとを備えている。ここで、前記プロセッサは、前記センサ信号を受信し、前記ユーザの視覚特性を決定するために前記センサ信号を命令集合に基づいて分析し、前記ユーザの焦点の範囲内にある前記視覚出力部の少なくとも一部を強調するために、前記ユーザの視覚特性に基づいて前記ユーザインターフェースの視覚出力部を再設定する。
【選択図】図3A
Description
本発明は、概して、再設定可能な表示部に関するものである。特に、本発明は、適応型インターフェースシステム、および、ユーザの追跡に基づいた表示部再設定方法に関するものである。
眼追跡装置は、眼の位置や動きを検出する。数種類の眼追跡装置が、米国特許第2,288,430号、第2,445,787号、第3,462,604号、第3,514,193、3,534,273号、第3,583,794号、第3,806,725号、第3,864,030号、第3,992,087号、第4,003,642号、第4,034,401号、第4,075,657号、第4,102,564号、第4,145,122号、第4,169,663号、及び第4,303,394号に開示されている。
近年、眼追跡装置および眼追跡方法は、特定の車両システムを手を使わずに制御できるばかりでなく、車両の運転手の傾眠および奇行を検出するために、車両に導入されている。
しかし、従来の車内ユーザインターフェースおよびインストルメントクラスタは、それらの上に示された多数の視覚出力部を有する、複雑な表示部を含んでいる。さらに、従来の車内ユーザインターフェースは、例えば、ボタン、アイコン、および、メニューなどの視覚出力部の形式をした、ユーザによって作動可能な複数の機能を含んでいる。車両の運転手に示されたこれら様々な視覚出力部は、運転手の気をそらさせてしまい、しばしば、目の前にある第1の仕事(つまり運転)から、運転手の注意を引いてしまう。
ユーザインターフェースの視覚出力部がユーザの視覚特性に基づいて自動的に設定されて、ユーザの焦点の範囲内にある視覚出力部を強調する、適応型ユーザインターフェースを構築することが望ましい。
驚いたことに、本発明と一致し矛盾することなく、ユーザインターフェースの視覚出力部がユーザの視覚特性に基づいて自動的に設定されてユーザの焦点の範囲内にある視覚出力部を強調する適応型ユーザインターフェースが、明らかにされた。
一実施態様では、適応型インターフェースシステムは、視覚出力部を提供するユーザインターフェースと、ユーザの視覚特性を検出し、視覚特性を表すセンサ信号を発生させるためのセンサと、このセンサおよび該ユーザインターフェースと通信するプロセッサとを備えている。ここで、本プロセッサは、センサ信号を受信し、ユーザの視覚特性を決定するためにセンサ信号を命令集合に基づいて分析し、ユーザの焦点の範囲内にある視覚出力部の少なくとも一部を強調するために、ユーザの視覚特性に基づいてユーザインターフェースの視覚出力部を設定する。
他の実施態様では、車両用の適応型インターフェースシステムは、車両の内部に配置されたユーザインターフェースであって、車両システムの状態を表すユーザ向け情報、を通信するための表示部を有するユーザインターフェースと、ユーザの視覚特性を検出し、視覚特性を表すセンサ信号を発生させるためのセンサと、このセンサおよび該ユーザインターフェースと通信するプロセッサとを備えている。ここで、本プロセッサは、センサ信号を受信し、ユーザの視覚特性を決定するためにセンサ信号を命令集合に基づいて分析し、表示部に示された特定の視覚出力部を際立たせるために、ユーザの視覚特性に基づいて表示部を設定する。
本発明はまた、表示部の設定方法を示す。
一方法は、表示部を備えて視覚出力部を提供するステップと、センサを備えてユーザの視覚特性を検出するステップと、ユーザの視覚特性に基づいて表示部の視覚出力部を設定して、ユーザの焦点の範囲内にある視覚出力部の少なくとも一部を強調するステップとを含んでいる。
本発明の上述の利点および他の利点は、添付の図面に照らして検討すれば、好ましい実施態様の以下の詳細な説明から当業者にすぐに明らかになるであろう。
以下の詳細な説明および添付図面は、本発明の様々な実施態様を記載および図示している。これらの説明および図面は、当業者が本発明を実施および使用できるようになっており、いかなる方法によっても本発明の範囲を制限することを意図したものではない。開示した方法に関して、示したステップは事実上模範的なものであり、従って、前記ステップの順序は、必然的でも決定的に重要なものでもない。
図1および図2は、本発明の一実施態様に従った車両11用の適応型インターフェースシステム10を示している。図示したように、インターフェースシステム10は、センサ12、プロセッサ14、および、ユーザインターフェース16を含んでいる。インターフェースシステム10は、所望であればあらゆる数の構成要素をも含むことができる。インターフェースシステム10は、あらゆるユーザ環境においても取り入れられることができる。
センサ12は、ユーザの顔または頭の視覚特性(例えば、頭の格好(姿勢(pose))、視線ベクトルまたは視線の方向、顔の特徴など)を検出できるユーザ追跡装置である。いくつかの実施態様では、センサ12は、ユーザの頭(例えば顔または眼)の少なくとも一部の画像を取り込んで該画像を表すセンサ信号を発生させるための、相補型金属酸化膜半導体(CMOS)カメラである。しかし、他のカメラおよび画像取り込み装置を用いることができる。非限定的な例では、放射エネルギー源18が、ユーザの頭の少なくとも一部を照射するために配置されている。他の非限定的な例では、放射エネルギー源18は、赤外線発光ダイオードであってもよい。しかし、他の放射エネルギー源も用いることができる。
プロセッサ14は、入力信号(例えばセンサ信号)を受信し、分析し、前記入力信号の前記分析に応じてユーザインターフェース16を設定するための、いかなる装置またはいかなるシステムであってもよい。いくつかの実施態様では、プロセッサ14は、マイクロコンピュータである。図示した実施態様では、プロセッサ14は、センサ12、および、ユーザインターフェース16を介してユーザによって提供された入力のうちの少なくとも1つから、入力信号を受信する。
図示したように、プロセッサ14は、入力信号を命令集合20に基づいて分析する。任意のコンピュータ可読媒体内に取り入れられてもよい命令集合20は、様々なタスクを実行するようにプロセッサ14を設定するためのプロセッサ実行可能命令を含んでいる。プロセッサ14は、例えば、センサ12およびユーザインターフェース16の動作を制御するといった様々な機能を実行してもよい。当然ながら、様々なアルゴリズムおよびソフトウェア(例えば、スウェーデンのSmartEyeAB社が作り出したソフトウェア「スマートアイ」)を、ユーザの頭、顔、または、眼の視覚特性を決定するために、それらの画像の分析に用いることができる。さらに当然ながら、いかなるソフトウェアまたはアルゴリズムをも、例えば米国特許番号4,648,052、4,720,189、4,836,670、4,950,069、5,008,946、および、5,305,012に記載された技術のように、ユーザの頭または顔の視覚特性の検出に用いることができる。
非限定的な例では、命令集合20は、プロセッサ14によって(例えばセンサ信号を介して)受信された情報に基づいて、ユーザの頭の格好、視線ベクトル、および、まぶたの追跡のうちの少なくとも1つを決定するように適応されている学習アルゴリズムである。他の非限定的な例では、プロセッサ14は、ユーザの眼のうちの少なくとも1つの焦点の範囲を決定する。ここで、焦点の範囲とは、ユーザの全視野の所定の部分のことである。いくつかの実施態様では、この焦点の範囲は、命令集合20に応じて計算された視線ベクトルからの所定の範囲の度(例えば+/−5度)によって規定されている。当然ながら、計算された視線ベクトルを基準とする全範囲の度が、焦点の範囲の規定に用いられる。
いくつかの実施態様では、プロセッサ14は記憶装置22を含んでいる。記憶装置22は、単一の記憶装置であっても、複数の記憶装置であってもよい。さらに、記憶装置22は、固体記憶システム、磁気記憶システム、光記憶システム、または、他のあらゆる適切な記憶システムまたは他のあらゆる適切な記憶装置であってもよい。当然ながら、記憶装置22は、命令集合20を記憶するように適応されていてもよい。例えばセンサ12およびユーザインターフェース16によって収集されたデータなどの他のデータおよび他の情報が、記憶装置22に記憶およびカタログ化されてもよい。
プロセッサ14はさらに、プログラム可能素子24を含んでもよい。当然ながら、プログラム可能素子24は、例えばセンサ12およびユーザインターフェース16といったインターフェースシステム10の他の全ての素子と通信してもよい。いくつかの実施態様では、プログラム可能素子24は、プロセッサ14の処理機能を管理および制御するように適応されている。特に、プログラム可能素子24は、命令集合20を変更してプロセッサ14によって受信された信号および情報の分析を制御するように適応されている。当然ながら、プログラム可能素子24は、センサ12およびユーザインターフェース16を管理および制御するように適応されていてもよい。さらに当然ながら、プログラム可能素子24は、記憶装置22のデータおよび情報を記憶して記憶装置22からのデータおよび情報を検索するように適応されてもよい。
図示したように、ユーザインターフェース16は、ユーザに可視出力部を示すための複数の表示部26、28を含んでいる。当然ながら、1を含めた任意の数の表示部26、28を用いることができる。さらに当然ながら、例えば二次元表示部、三次元表示部、タッチスクリーンといったあらゆるタイプの表示部を用いることができる。
図示した実施態様では、表示部26は、タッチ感応表示部の上にユーザによって作動可能なボタン30を有するタッチ感応表示部(例えばタッチスクリーン)である。ボタン30は、例えば、ナビゲーションシステム、ラジオ、インターネットに接続するように適応されている通信装置、および、温度調節システムなどの、車両システム32の実行可能な機能に関連付けられている。しかし、あらゆる車両システムは、ユーザによって作動可能なボタン30に関連付けることができる。さらに当然ながら、任意の数のボタン30を含むことができ、例えばハンドルなどの、車両11中の様々な位置に配置することができる。
表示部28は、例えば、燃料計(gas gauge)、速度計、および、回転速度計といった複数の計器(guage)34のデジタル表現を表示する、デジタル・インストルメント・クラスタ(digital instrument cluster)である。いくつかの実施態様では、ユーザインターフェース16は、ダッシュボード、センターコンソール、および、車両11の他の構成要素、と一体化した視覚要素を含んでいる。
運転中、ユーザは、従来どおりの方法でインターフェースシステム10と対話する。プロセッサ14は、入力信号(例えばセンサ信号)とユーザの視覚特性に関する情報とを連続的に受信する。プロセッサ14は、入力信号および情報を命令集合20に基づいて分析して、ユーザの視覚特性を決定する。ユーザインターフェース16は、ユーザの視覚特性に基づいて、プロセッサ14によって自動的に設定される。非限定的な例として、プロセッサ14は、検出されたユーザの視覚特性に応じて表示部26、28の少なくとも1つに示された可視出力部を自動的に設定する。他の非限定的な例として、本プロセッサは、ユーザの視覚特性に基づいて、表示部26に示された可視出力部(例えばボタン30)に関連付けられた実行可能な機能を設定する。
いくつかの実施態様では、プロセッサ14は、ユーザのまぶたの位置を決定するために、入力信号を分析する。ここで、所定の位置(例えば、閉じた状態)が、表示部26に示されたユーザによって作動可能なボタン30を起動する。当然ながら、従来から知られているように、注視時間の閾値が、ボタン30の起動に用いられ得る。
いくつかの実施態様では、表示部26、28の少なくとも1つの視覚出力部は、三次元投影図の状態を示すように設定されており、ユーザの頭の位置を追うために画像の投影図を変更するといった現実感を提供する。当然ながら、従来から知られているいかなる三次元技術をも、三次元投影図の形成に用いることができる。
当然ながら、ユーザは、表示部26、28およびそれらに関連付けられた実行可能な機能の設定を手動で変更できる。さらに当然ながら、ユーザインターフェース16は、表示部26、28の自動設定に対して選択的制御を提供できる。例えば、ユーザが視覚モードを開始しなければ、表示部26、28は常にデフォルト設定に戻ってもよい。ここで、ユーザインターフェース16は、ユーザの視覚特性に関連付けられた個別設定に自動的に設定される。
個別設定の一例を図3Aおよび図3Bに示す。図3Aに示したように、ユーザは、右側の計器34を注視しており、その右側の計器34はユーザの焦点の範囲内にある。従って、右側の計器34が焦点計器34´になり、他の視覚出力部(例えば非焦点計器34´´)は抑えられる。例えば、焦点計器34´は、非焦点計器34´´よりも強く照射され得る。さらなる例として、焦点計器34´は、表示部28上において、非焦点計器34´´よりも拡大されてもよい。
図3Bに示したように、ユーザは、左側の計器34を注視しており、その左側の計器34はユーザの焦点の範囲内にある。従って、左側の計器34が焦点計器34´になり、非焦点計器34´´が抑えられる。例えば、焦点計器34´は、非焦点計器34´´よりも強く照射され得る。さらなる例として、焦点計器34´は、表示部28上において、非焦点計器34´´よりも拡大されてもよい。
いくつかの実施態様では、ユーザの焦点の範囲内にある視覚出力部のみが完全に照射され、一方でユーザの焦点の範囲外にある視覚出力部が、抑制されるか、または、不可視になる。ユーザの視覚特性が変化するにつれて、ユーザインターフェース16が自動的に設定されて、ユーザの焦点の範囲内にある表示部26、28の視覚出力部を強調するか、または、際立たせる。当然ながら、ユーザインターフェース16のあらゆる視覚出力部が、例えばボタン30のように、例の計器34´および計器34´´と同様に設定され得る。さらに当然ながら、ユーザインターフェース16の様々な設定が、ユーザの視覚特性に対するあらゆるレベルの変更に基づいて、用いることができる。
インターフェースシステム10、および、ユーザインターフェース16の設定方法は、ユーザの視覚特性に基づいて、ユーザインターフェース16をリアルタイムで個別化し、これにより、重要な視覚出力部に(つまり焦点の範囲内において)ユーザの注意を集中させ、非焦点の視覚出力部に気をとられることを最小限に抑えることができる。
以上の説明から、当業者は、本発明の趣旨および範囲から逸脱することなく本発明の本質的特長を容易に確認でき、本発明を様々に変更および変形して様々に利用および調整することができる。
10 インターフェースシステム
11 車両
12 センサ
14 プロセッサ
16 ユーザインターフェース
18 放射エネルギー源
20 命令集合
22 記憶装置
24 プログラム可能素子
26、28 表示部
30 ボタン
34、34´、34´´ 計器
11 車両
12 センサ
14 プロセッサ
16 ユーザインターフェース
18 放射エネルギー源
20 命令集合
22 記憶装置
24 プログラム可能素子
26、28 表示部
30 ボタン
34、34´、34´´ 計器
Claims (20)
- 視覚出力部を提供するユーザインターフェースと、
ユーザの視覚特性を検出し、前記視覚特性を表すセンサ信号を発生させるためのセンサと、
前記センサおよび前記ユーザインターフェースと通信するプロセッサとを含み、
前記プロセッサは、前記センサ信号を受信し、前記ユーザの前記視覚特性を決定するために前記センサ信号を命令集合に基づいて分析し、前記ユーザの焦点の範囲内にある前記視覚出力部の少なくとも一部を強調するために、前記ユーザの前記視覚特性に基づいて前記ユーザインターフェースの前記視覚出力部を設定する、適応型インターフェースシステム。 - 前記ユーザインターフェースはタッチスクリーンである、請求項1に記載のインターフェースシステム。
- 前記ユーザインターフェースは、実行可能な機能に関連付けられた、ユーザによって作動可能なボタンを含んでいる、請求項1に記載のインターフェースシステム。
- 前記ユーザインターフェースが車両の内部に配置されている、請求項1に記載のインターフェースシステム。
- 前記ユーザインターフェースは、計器を有するデジタル・インストルメント・クラスタである、請求項1に記載のインターフェースシステム。
- 前記センサは、前記ユーザの画像を捕捉するための追跡装置である、請求項1に記載のインターフェースシステム。
- 前記命令集合は、前記ユーザの頭の格好、前記ユーザの視線の方向、および、前記ユーザのまぶたの位置のうちの少なくとも1つを決定するための学習アルゴリズムである、請求項1に記載のインターフェースシステム。
- さらに、前記ユーザの前記視覚特性の検出を容易にするために、前記ユーザの一部を照射する電磁放射線源を含んでいる、請求項1に記載のインターフェースシステム。
- 車両の内部に配置され、車両システムの状態を表すユーザ向け情報を通信するための表示部を有する、ユーザインターフェースと、
ユーザの視覚特性を検出し、前記視覚特性を表すセンサ信号を発生させるためのセンサと、
前記センサおよび前記ユーザインターフェースと通信するプロセッサとを含み、前記プロセッサは、前記センサ信号を受信し、前記ユーザの前記視覚特性を決定するために前記センサ信号を命令集合に基づいて分析し、前記表示部に示された特定の視覚出力部を際立たせるために、前記ユーザの前記視覚特性に基づいて前記表示部を設定する、車両用の適応型インターフェースシステム。 - 前記ユーザインターフェースの表示部はタッチスクリーンである、請求項9に記載のインターフェースシステム。
- 前記表示部は、実行可能な機能に関連付けられた、ユーザによって作動可能なボタンを含んでいる、請求項9に記載のインターフェースシステム。
- 前記センサは、前記ユーザの画像を捕捉することのできるユーザ追跡装置である、請求項9に記載のインターフェースシステム。
- 前記命令集合は、前記ユーザの頭の格好、前記ユーザの視線の方向、および、前記ユーザのまぶたの位置のうちの少なくとも1つを決定するための学習アルゴリズムである、請求項9に記載のインターフェースシステム。
- 前記プロセッサは、前記ユーザの焦点の範囲内にある前記視覚出力部の一部を強調するために、前記ユーザの視覚特性に基づいて前記表示部を設定する、請求項9に記載のインターフェースシステム。
- 視覚出力部を生成する表示部を提供するステップと、
ユーザの視覚特性を検出するセンサを提供するステップと、
前記ユーザの視覚特性に基づいて前記表示部の前記視覚出力部を設定して、前記ユーザの焦点の範囲内にある前記視覚出力部の少なくとも一部を強調するステップとを含む、表示部の設定方法。 - 前記表示部はタッチスクリーンである、請求項15に記載の方法。
- 前記表示部は、実行可能な機能に関連付けられた、ユーザによって作動可能なボタンを含んでいる、請求項15に記載の方法。
- 前記表示部は車両の内部に配置されている、請求項15に記載の方法。
- 前記センサは、前記ユーザの画像を捕捉することのできるユーザ追跡装置である、請求項15に記載の方法。
- 前記命令集合は、前記ユーザの頭の格好、前記ユーザの視線の方向、および、前記ユーザのまぶたの位置のうちの少なくとも1つを決定するための学習アルゴリズムである、請求項15に記載の方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/816748 | 2010-06-16 | ||
US12/816,748 US20110310001A1 (en) | 2010-06-16 | 2010-06-16 | Display reconfiguration based on face/eye tracking |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012003764A true JP2012003764A (ja) | 2012-01-05 |
Family
ID=45328158
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011132407A Pending JP2012003764A (ja) | 2010-06-16 | 2011-06-14 | 顔追跡または眼追跡に基づいた表示部の再設定 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20110310001A1 (ja) |
JP (1) | JP2012003764A (ja) |
DE (1) | DE102011050942A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015511044A (ja) * | 2012-04-12 | 2015-04-13 | インテル コーポレイション | 視線追跡に基づくディスプレイの選択的バックライト |
Families Citing this family (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8902156B2 (en) * | 2011-01-14 | 2014-12-02 | International Business Machines Corporation | Intelligent real-time display selection in a multi-display computer system |
US8766936B2 (en) | 2011-03-25 | 2014-07-01 | Honeywell International Inc. | Touch screen and method for providing stable touches |
US20130152002A1 (en) * | 2011-12-11 | 2013-06-13 | Memphis Technologies Inc. | Data collection and analysis for adaptive user interfaces |
US9733707B2 (en) | 2012-03-22 | 2017-08-15 | Honeywell International Inc. | Touch screen display user interface and method for improving touch interface utility on the same employing a rules-based masking system |
US9626150B2 (en) | 2012-04-27 | 2017-04-18 | Hewlett-Packard Development Company, L.P. | Audio input from user |
DE102012213466A1 (de) | 2012-07-31 | 2014-02-06 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Überwachen eines Fahrzeuginsassens |
US9423871B2 (en) | 2012-08-07 | 2016-08-23 | Honeywell International Inc. | System and method for reducing the effects of inadvertent touch on a touch screen controller |
FR2995120B1 (fr) | 2012-09-05 | 2015-09-18 | Dassault Aviat | Systeme et procede de commande de la position d'un objet deplacable sur un dispositif de visualisation |
US20140092006A1 (en) * | 2012-09-28 | 2014-04-03 | Joshua Boelter | Device and method for modifying rendering based on viewer focus area from eye tracking |
US9128580B2 (en) | 2012-12-07 | 2015-09-08 | Honeywell International Inc. | System and method for interacting with a touch screen interface utilizing an intelligent stencil mask |
KR101382772B1 (ko) * | 2012-12-11 | 2014-04-08 | 현대자동차주식회사 | 디스플레이 시스템 및 방법 |
WO2015019122A1 (en) * | 2013-08-07 | 2015-02-12 | Audi Ag | Visualization system,vehicle and method for operating a visualization system |
JP6265713B2 (ja) * | 2013-12-02 | 2018-01-24 | 矢崎総業株式会社 | グラフィックメータ装置 |
US9530065B2 (en) * | 2014-10-15 | 2016-12-27 | GM Global Technology Operations LLC | Systems and methods for use at a vehicle including an eye tracking device |
US9904362B2 (en) | 2014-10-24 | 2018-02-27 | GM Global Technology Operations LLC | Systems and methods for use at a vehicle including an eye tracking device |
EP3317755B1 (en) * | 2015-07-02 | 2021-10-20 | Volvo Truck Corporation | An information system for a vehicle |
DE102015011365A1 (de) | 2015-08-28 | 2017-03-02 | Audi Ag | Blickwinkelkorrigierte Anzeige |
US10775882B2 (en) * | 2016-01-21 | 2020-09-15 | Microsoft Technology Licensing, Llc | Implicitly adaptive eye-tracking user interface |
WO2018020368A1 (en) * | 2016-07-29 | 2018-02-01 | Semiconductor Energy Laboratory Co., Ltd. | Display method, display device, electronic device, non-temporary memory medium, and program |
US10503529B2 (en) | 2016-11-22 | 2019-12-10 | Sap Se | Localized and personalized application logic |
GB2567164A (en) * | 2017-10-04 | 2019-04-10 | Continental Automotive Gmbh | Display system in a vehicle |
AU2021349382B2 (en) | 2020-09-25 | 2023-06-29 | Apple Inc. | Methods for adjusting and/or controlling immersion associated with user interfaces |
DE102020213770A1 (de) | 2020-11-02 | 2022-05-05 | Continental Automotive Gmbh | Anzeigevorrichtung für ein Fahrzeug |
US11995230B2 (en) | 2021-02-11 | 2024-05-28 | Apple Inc. | Methods for presenting and sharing content in an environment |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10509541A (ja) * | 1994-10-12 | 1998-09-14 | イギリス国 | 遠隔ターゲットの位置感知装置 |
JP2000020196A (ja) * | 1998-07-01 | 2000-01-21 | Shimadzu Corp | 視線入力装置 |
JP2002166787A (ja) * | 2000-11-29 | 2002-06-11 | Nissan Motor Co Ltd | 車両用表示装置 |
JP2002169637A (ja) * | 2000-12-04 | 2002-06-14 | Fuji Xerox Co Ltd | ドキュメント表示態様変換装置、ドキュメント表示態様変換方法、記録媒体 |
JP2002324064A (ja) * | 2001-03-07 | 2002-11-08 | Internatl Business Mach Corp <Ibm> | 漢字等の表意ベース言語のテキスト入力を加速するためのシステムおよび方法 |
JP2007102360A (ja) * | 2005-09-30 | 2007-04-19 | Sharp Corp | 電子書籍装置 |
JP2007249477A (ja) * | 2006-03-15 | 2007-09-27 | Denso Corp | 車載用情報伝達装置 |
US20100121501A1 (en) * | 2008-11-10 | 2010-05-13 | Moritz Neugebauer | Operating device for a motor vehicle |
Family Cites Families (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US2288430A (en) | 1940-07-26 | 1942-06-30 | Sterling Getchell Inc J | Scanning apparatus |
US2445787A (en) | 1945-12-18 | 1948-07-27 | Lilienfeld Julius Edgar | Method of and apparatus for plotting an ordered set of quantities |
US3462604A (en) | 1967-08-23 | 1969-08-19 | Honeywell Inc | Control apparatus sensitive to eye movement |
US3534273A (en) | 1967-12-18 | 1970-10-13 | Bell Telephone Labor Inc | Automatic threshold level selection and eye tracking in digital transmission systems |
US3514193A (en) | 1968-09-30 | 1970-05-26 | Siegfried Himmelmann | Device for recording eye movement |
US3583794A (en) | 1969-03-10 | 1971-06-08 | Biometrics Inc | Direct reading eye movement monitor |
DE2202172C3 (de) | 1972-01-18 | 1982-04-01 | Ernst Leitz Wetzlar Gmbh, 6330 Wetzlar | Anordnung zum automatischen Nachführen |
US3864030A (en) | 1972-07-11 | 1975-02-04 | Acuity Syst | Eye position measuring technique |
US4102564A (en) | 1975-04-18 | 1978-07-25 | Michael Henry L | Portable device for the accurate measurement of eye movements both in light and obscurity |
GB1540992A (en) | 1975-04-22 | 1979-02-21 | Smiths Industries Ltd | Display or other systems and equipment for use in such systems |
US4003642A (en) | 1975-04-22 | 1977-01-18 | Bio-Systems Research Inc. | Optically integrating oculometer |
US3992087A (en) | 1975-09-03 | 1976-11-16 | Optical Sciences Group, Inc. | Visual acuity tester |
US4075657A (en) | 1977-03-03 | 1978-02-21 | Weinblatt Lee S | Eye movement monitoring apparatus |
US4145122A (en) | 1977-05-31 | 1979-03-20 | Colorado Seminary | Method and apparatus for monitoring the position of the eye |
US4169663A (en) | 1978-02-27 | 1979-10-02 | Synemed, Inc. | Eye attention monitor |
US4303394A (en) | 1980-07-10 | 1981-12-01 | The United States Of America As Represented By The Secretary Of The Navy | Computer generated image simulator |
US4648052A (en) | 1983-11-14 | 1987-03-03 | Sentient Systems Technology, Inc. | Eye-tracker communication system |
US4720189A (en) | 1986-01-07 | 1988-01-19 | Northern Telecom Limited | Eye-position sensor |
US4836670A (en) | 1987-08-19 | 1989-06-06 | Center For Innovative Technology | Eye movement detector |
JPH01158579A (ja) | 1987-09-09 | 1989-06-21 | Aisin Seiki Co Ltd | 像認識装置 |
US4897715A (en) * | 1988-10-31 | 1990-01-30 | General Electric Company | Helmet display |
US4950069A (en) | 1988-11-04 | 1990-08-21 | University Of Virginia | Eye movement detector with improved calibration and speed |
US5305012A (en) | 1992-04-15 | 1994-04-19 | Reveo, Inc. | Intelligent electro-optical system and method for automatic glare reduction |
US6668221B2 (en) * | 2002-05-23 | 2003-12-23 | Delphi Technologies, Inc. | User discrimination control of vehicle infotainment system |
JP4349350B2 (ja) * | 2005-09-05 | 2009-10-21 | トヨタ自動車株式会社 | 顔画像撮影カメラの搭載構造 |
US9108513B2 (en) * | 2008-11-10 | 2015-08-18 | Volkswagen Ag | Viewing direction and acoustic command based operating device for a motor vehicle |
US9039419B2 (en) * | 2009-11-06 | 2015-05-26 | International Business Machines Corporation | Method and system for controlling skill acquisition interfaces |
-
2010
- 2010-06-16 US US12/816,748 patent/US20110310001A1/en not_active Abandoned
-
2011
- 2011-06-09 DE DE102011050942A patent/DE102011050942A1/de not_active Ceased
- 2011-06-14 JP JP2011132407A patent/JP2012003764A/ja active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10509541A (ja) * | 1994-10-12 | 1998-09-14 | イギリス国 | 遠隔ターゲットの位置感知装置 |
JP2000020196A (ja) * | 1998-07-01 | 2000-01-21 | Shimadzu Corp | 視線入力装置 |
JP2002166787A (ja) * | 2000-11-29 | 2002-06-11 | Nissan Motor Co Ltd | 車両用表示装置 |
JP2002169637A (ja) * | 2000-12-04 | 2002-06-14 | Fuji Xerox Co Ltd | ドキュメント表示態様変換装置、ドキュメント表示態様変換方法、記録媒体 |
JP2002324064A (ja) * | 2001-03-07 | 2002-11-08 | Internatl Business Mach Corp <Ibm> | 漢字等の表意ベース言語のテキスト入力を加速するためのシステムおよび方法 |
JP2007102360A (ja) * | 2005-09-30 | 2007-04-19 | Sharp Corp | 電子書籍装置 |
JP2007249477A (ja) * | 2006-03-15 | 2007-09-27 | Denso Corp | 車載用情報伝達装置 |
US20100121501A1 (en) * | 2008-11-10 | 2010-05-13 | Moritz Neugebauer | Operating device for a motor vehicle |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015511044A (ja) * | 2012-04-12 | 2015-04-13 | インテル コーポレイション | 視線追跡に基づくディスプレイの選択的バックライト |
Also Published As
Publication number | Publication date |
---|---|
US20110310001A1 (en) | 2011-12-22 |
DE102011050942A1 (de) | 2012-03-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2012003764A (ja) | 顔追跡または眼追跡に基づいた表示部の再設定 | |
US9383579B2 (en) | Method of controlling a display component of an adaptive display system | |
US8760432B2 (en) | Finger pointing, gesture based human-machine interface for vehicles | |
US10635170B2 (en) | Operating device with eye tracker unit and method for calibrating an eye tracker unit of an operating device | |
US10481757B2 (en) | Eye gaze control system | |
US9652047B2 (en) | Visual gestures for a head mounted device | |
US10040352B2 (en) | Vehicle steering control display device | |
JP7052845B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
CN105339868B (zh) | 基于眼睛跟踪的视觉增强 | |
US9030465B2 (en) | Vehicle user interface unit for a vehicle electronic device | |
CN103870802B (zh) | 使用指谷操作车辆内的用户界面的***和方法 | |
US9771083B2 (en) | Cognitive displays | |
US9613459B2 (en) | System and method for in-vehicle interaction | |
EP3046006A1 (en) | Information processing device, gesture detection method, and gesture detection program | |
US20120093358A1 (en) | Control of rear-view and side-view mirrors and camera-coordinated displays via eye gaze | |
US9823735B2 (en) | Method for selecting an information source from a plurality of information sources for display on a display of smart glasses | |
US10896545B1 (en) | Near eye display interface for artificial reality applications | |
JP2021140785A (ja) | 注意に基づいた通知 | |
US20130187845A1 (en) | Adaptive interface system | |
US20180157324A1 (en) | Method and Device for Interacting with a Graphical User Interface | |
JP2021512392A (ja) | バーチャルコンテンツを表示するためのヘッドマウント式電子ディスプレイ装置の操作方法およびバーチャルコンテンツを表示するためのディスプレイシステム | |
JP6371589B2 (ja) | 車載システム、視線入力受付方法及びコンピュータプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121213 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130313 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20130619 |