JP5528476B2 - 電子データ入力システム - Google Patents

電子データ入力システム Download PDF

Info

Publication number
JP5528476B2
JP5528476B2 JP2011548087A JP2011548087A JP5528476B2 JP 5528476 B2 JP5528476 B2 JP 5528476B2 JP 2011548087 A JP2011548087 A JP 2011548087A JP 2011548087 A JP2011548087 A JP 2011548087A JP 5528476 B2 JP5528476 B2 JP 5528476B2
Authority
JP
Japan
Prior art keywords
command
cursor
mouse
visual display
eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011548087A
Other languages
English (en)
Other versions
JP2012515986A (ja
Inventor
ザモイスキ,ナズ,マルタ
Original Assignee
アルカテル−ルーセント ユーエスエー インコーポレーテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アルカテル−ルーセント ユーエスエー インコーポレーテッド filed Critical アルカテル−ルーセント ユーエスエー インコーポレーテッド
Publication of JP2012515986A publication Critical patent/JP2012515986A/ja
Application granted granted Critical
Publication of JP5528476B2 publication Critical patent/JP5528476B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486Drag-and-drop
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0489Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
    • G06F3/04892Arrangements for controlling cursor position based on codes indicative of cursor displacements from one discrete location to another, e.g. using cursor control keys associated to different directions or using the tab key
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Eye Examination Apparatus (AREA)

Description

本発明は、概して電子データを入力するためのシステムおよび方法に関する。
この項では、本発明のよりよい理解を促す助けとなり得る諸態様を紹介する。したがって、この項で述べることは、この観点において読まれるべきであり、何が従来の技術であるか、または何が従来の技術ではないかについて認めるものと理解されるべきではない。
米国特許第6,090,051号 米国特許第6,102,870号 特許公報第2007/0291232(A1)号
電子データを入力するには様々なタイプのシステムがある。キーボード、コンピュータ・マウス・ハードウェア・デバイス、音声認識システム、タッチセンサ式画面、光学式文字認識装置、光学式走査装置、Ethernet、USBもしくは他の配線リンク装置、無線受信機、またはハード・ドライブ、フラッシュドライブ、もしくはテープ・ドライブのようなメモリ装置を利用する、コンピュータデータ入力システムが開発されてきた。こうした開発にもかかわらず、引き続き、電子データを入力するシステムを改善する必要性がある。
実施の一例では、システムが提供される。このシステムは、視覚ディスプレイ、視線追跡装置、およびプロセッサを含む。視線追跡装置は、視覚ディスプレイへの目の向きを検知することができる。プロセッサは、視覚ディスプレイおよび視線追跡装置と通信している。プロセッサは、視覚ディスプレイ上にカーソルを表示させるようにすることができる。プロセッサは、表示されたカーソルのある部分への検知された目の向きに応じて、複数のカーソル・コマンドの中からあるカーソル・コマンドを実行することができる。
実施の別の例としては、方法が提供される。この方法は、視覚ディスプレイ、視線追跡装置、ならびに視覚ディスプレイおよび視線追跡装置と通信しているプロセッサを提供することを含む。またこの方法は、視覚ディスプレイ上にカーソルを表示させることを含む。さらにこの方法は、表示されたカーソルのある部分への目の向きを検知させることを含む。さらにまたこの方法は、複数のカーソル・コマンドの中から、検知された目の向きに応じて、あるカーソル・コマンドを実行させることを含む。
実施のさらなる例では、コンピュータ可読媒体が提供される。このコンピュータ可読媒体は、視覚ディスプレイと、視線追跡装置と、視覚ディスプレイおよび視線追跡装置と通信しているプロセッサとを含むシステムによって実行されるコンピュータ・コードを含む。コンピュータ・コードは、視覚ディスプレイ上にカーソルを表示させるステップと、表示されたカーソルのある部分への目の向きを検知させるステップと、検知された目の向きに応じてカーソル・コマンドを実行させるステップとを含む諸ステップを、システムに実行させるように動作可能である。
次の図および詳細な説明を検討すると、当業者には本発明の他のシステム、方法、特徴、および利点が明らかである、または明らかになるであろう。このような追加的システム、方法、特徴、および利点はすべてこの記載の中に含まれており、本発明の範囲内であって、添付の特許請求の範囲によって保護されるものとする。
本発明は、次の図を参照してよりよく理解することができる。図中の構成要素は、必ずしも縮尺に従っておらず、むしろ本発明の原理を説明するときには強調されることになる。さらに、図中では、同様の参照符合は様々な図を通して対応する部分を示す。
あるシステムの実施例を示す概略図である。 あるシステムの別の例を示す概略図である。 あるシステムのさらなる例を示す概略図である。 あるシステムの追加的例を示す概略図である。 ある方法の実施例を示す流れ図である。
図1は、システム100の一実施例を示す概略図である。システム100は、視覚ディスプレイ102と、視線追跡装置104と、プロセッサ106とを含む。視線追跡装置104は、視覚ディスプレイ102への目Eの向きを検知することができる。プロセッサ106は、略図的に破線108で表すように、視覚ディスプレイ102と通信している。またプロセッサ106は、略図的に破線110で表すように、視線追跡装置104と通信している。プロセッサ106は、視覚ディスプレイ102上にカーソル112を表示させることができる。カーソル112は、例えば、画面上のコンピュータ・マウス・カーソルであることが可能である。例えば画面上のコンピュータ・マウス・カーソル112は、従来のコンピュータ・マウス・ハードウェア・デバイスに取って代わることを含んでもよい複数の機能を果たすことができる。プロセッサ106は、表示されたカーソル112のある部分への検知された目Eの向きに応じて、複数のカーソル・コマンド(図示せず)の中からあるカーソル・コマンドを実行することができる。一例として、カーソル112のような表示されたカーソルのある「部分」は、カーソルの定められた範囲であることが可能であり、これはカーソルの周辺部の部分、またはカーソルの内部の部分、または両方を含むことができる。別の例では、カーソル112のような表示されたカーソルのある「部分」は、カーソル内のある点であることが可能であり、これはカーソルの周辺部に、またはカーソルの内部に位置していることがある。例として、複数のカーソル・コマンドには、マウス・カーソル・ピックアップ(mouse cursor pickup)コマンド、ポイント・マウス・カーソル(point the mouse cursor)コマンド、ドラッグ・カーソル・レフト(drag cursor left)コマンド、ダブル・マウス・レフト・クリック(double mouse left click)コマンド、シングル・マウス・レフト・クリック(single mouse left click)コマンド、ショウ・マウス・カーソル・メニュー(show mouse cursor menu)コマンド、ドラッグ・カーソル・アップ(drag cursor up)コマンド、ドラッグ・カーソル・ダウン(drag cursor down)コマンド、ハイド・マウス・カーソル・メニュー(hide mouse cursor menu)コマンド、シングル・マウス・ライト・クリック(single mouse right click)コマンド、ダブル・マウス・ライト・クリック(double mouse right click)コマンド、ドラッグ・カーソル・ライト(drag cursor right)コマンド、マウス・カーソル・ドロップ(mouse cursor drop)コマンド、マウス・カーソル・ドラッグ−ドロップ(mouse cursor drag−drop)コマンド、クルーズ−コントロール−オン(cruise−control−on)コマンド、およびクルーズ−コントロール−オフ(cruise−control−off)コマンドが含まれてもよい。例えばクルーズ−コントロール−オン(cruise−control−on)コマンドは、あらかじめ決められた速度で、またはユーザ定義の速度で視覚ディスプレイ102全域でカーソル112を移動させることができ、あるいは、視覚ディスプレイ102上に同じく表示されている、Word、Excel、PowerPoint、またはPDF文書のようなデータ入力フィールド(図示せず)を、あらかじめ決められた速度で、またはユーザ定義の速度で、視覚ディスプレイ102上で垂直方向または水平方向にスクロールさせることができる。カーソル112、ならびに本明細書に記載するその他のカーソルは、いかなる選択された形状および外観を有することもできる。例として、カーソル112は、矢印、縦線、十字形、幾何学的図形、または写実的もしくは抽象的画像もしくは記号として、形成されることが可能である。
システム100の動作の一例では、システム100の操作者となる人物(図示せず)が、視覚ディスプレイ102を見るために好適に位置していることが可能である。システム操作者の目Eは、例えば破線矢印114で略図的に表す向きを有することができる。例えば、この目Eの瞳孔Pは、視覚ディスプレイ102上に表示するように、カーソル112内の第1の点116を注視することができる。プロセッサ106は、一例では、視覚ディスプレイ102のピクセルのマトリックス(図示せず)全域にわたる矢印x、yで表す軸に沿った2次元ピクセル座標を割り当てるように構成されることが可能である。第1の点116は、一例として、x軸に沿った水平ピクセル座標Hと、y軸に沿った垂直ピクセル座標Vとを有することができる。視線追跡装置104は、視覚ディスプレイ102への目Eの向きを検知することができる。例えば、システム100は、目Eの向き114に対応する視覚ディスプレイ102上の第1の点116を表すピクセル座標(H,V)として表される注視点の情報を生成する際に、視線追跡装置104によって収集されたデータを利用することができる可能性がある。
操作の別の例では、システム100は、カーソル112の矢印の先端が最初に視覚ディスプレイ102上の点118に位置しているようにすることができる。カーソル112は、例えば前述のように画面上のコンピュータ・マウス・カーソルであることが可能である。さらに、例えばシステム100は、まず、視覚ディスプレイ102上の「マウス・カーソルがドロップされた(mouse cursor dropped)」静止位置にカーソル112を表示することができる。次にシステム操作者が、あらかじめ決められた経過時間を通してカーソル112のある部分への、すなわちカーソル112内の第1の点116への目Eの向き114を維持する場合、プロセッサ106は「マウス・カーソル・ピックアップ(mouse cursor pickup)」コマンドを実行することができる。さらに、例えばシステム100は、その後、第2の点122への破線矢印120で表される別の向きへの目Eの動きを、「ポイント・マウス・カーソル(point the mouse cursor)」コマンドと解釈することができる。次にシステム100は、例えばカーソル112の矢印の先端を、破線矢印123の方向に沿って第2の点122へ移動させることができる。次にシステム操作者が、あらかじめ決められた経過時間を通してカーソル112内の第2の点122への目Eの向き120を維持する場合、プロセッサ106は、「マウス・カーソル・ドロップ(mouse cursor drop)」コマンドを実行することができる。その他の例としては、あらかじめ決められた瞬目動作が、あらかじめ決められた経過時間の代わりに用いられる場合がある。例えば、システム100は、システム100によってあらかじめ決定される、またはシステム操作者によって他の方法で定義されることが可能である、遅い瞬目動作、速く繰り返される瞬目動作、または別の瞬目動作を検知するように構成されることが可能である。あらかじめ決められた瞬目動作は、一例として、システム操作者の通常の瞬目動作とは実質的に異なって、システム100によって区別できるとあらかじめ定義された瞬目動作であることが可能である。次にシステム操作者が、あらかじめ決められた瞬目動作を通してカーソル112のある部分への、すなわちカーソル112内の第1の点116への目Eの向き114を維持する場合、プロセッサ106は、「マウス・カーソル・ピックアップ(mouse cursor pickup)」コマンドを実行することができる。さらに、例えばシステム100は、その後、第2の点122への破線矢印120によって表される別の向きへの目Eの動きを、「ポイント・マウス・カーソル(point the mouse cursor)」コマンドと解釈することができる。次にシステム100は、例えばカーソル112の矢印の先端を、破線矢印123の方向に沿って第2の点122へ移動させることができる。次にシステム操作者が、あらかじめ決められた瞬目動作を通してカーソル112内の第2の点122への目Eの向き120を維持する場合、プロセッサ106は「マウス・カーソル・ドロップ(mouse cursor drop)」コマンドを実行することができる。
別の例として、システム操作者が、あらかじめ決められた経過時間を通して、またはあらかじめ決められた瞬目動作を通して、カーソル112内の第1の点116へのようなカーソル112のある部分への目Eの向き114を維持する場合、プロセッサ106は、検知された目Eの向きに応じて複数のカーソル・コマンド(図示せず)の中からあるカーソル・コマンドに「マウス・クリック」を実行することができる。例として、プロセッサ106は、ドラッグ・カーソル・レフト(drag cursor left)コマンド、ダブル・マウス・レフト・クリック(double mouse left click)コマンド、シングル・マウス・レフト・クリック(single mouse left click)コマンド、ショウ・マウス・カーソル・メニュー(show mouse cursor menu)コマンド、ドラッグ・カーソル・アップ(drag cursor up)コマンド、ドラッグ・カーソル・ダウン(drag cursor down)コマンド、ハイド・マウス・カーソル・メニュー(hide mouse cursor menu)コマンド、シングル・マウス・ライト・クリック(single mouse right click)コマンド、ダブル・メニュー・ライト・クリック(double mouse right click)コマンド、ドラッグ・カーソル・ライト(drag cursor right)コマンド、クルーズ−コントロール−オン(cruise−control−on)コマンド、またはクルーズ−コントロール−オフ(cruise−control−off)コマンドを実行することができる。システム操作者は、例えばプロセッサ106に複数のこのようなカーソル・コマンドを連続的に実行させることができる。例では、様々なカーソル・コマンドの実行は、1つまたは複数の可聴信号、可視信号、または振動信号によって確認されることが可能である。一例では、カーソル112は、上述のように点118への目Eの向きによって「ポイント・マウス・カーソル(point the mouse cursor)」コマンドを実行するために専用の、点118のような部分を含むことができる。さらに、例えばカーソル112の他の点または部分(図示せず)は、上述の点または部分への目Eの向きによって複数の他のカーソル・コマンドのそれぞれに専用とすることができる。
一例では、システム操作者は、システム100を利用して、視覚ディスプレイ102上に表示されているWord、Excel、PDF、またはPowerPoint文書(図示せず)のようなデータ入力フィールドのある部分126の上で、テキスト一掃、および操作の選択を実行することができる。例えば、システム操作者は、前述のようにプロセッサ106に、「マウス・カーソル・ピックアップ(mouse cursor pickup)」および「ポイント・マウス・カーソル(point the mouse cursor)」カーソル・コマンドを連続的に実行させることができ、カーソル112の矢印の先端を点118に配置し、データ入力フィールドのこの部分126を選択位置として、テキスト一掃操作を開始する。次に、例えばシステム操作者は、画面上のコンピュータ・マウス・カーソル112を使用して、プロセッサ106に「シングル・マウス・レフト・クリック(single mouse left click)」および「ドラッグ・カーソル・レフト(drag cursor left)」カーソル・コマンドを連続的に実行させることができる。次にシステム操作者は、一例として第2の点122への向き120に目Eを動かすことができる。例えば次にシステム操作者は、「マウス・カーソル・ドラッグ−ドロップ(mouse cursor drag−drop)」または「マウス・カーソル・ドロップ(mouse cursor drop)」カーソル・コマンドを実行することができる。この時例えば、点118と点122の間のデータ入力フィールドの部分126のテキストは、「選択される」としてプロセッサ106に指定されることが可能である。
次にシステム操作者は、プロセッサ106に選択されたテキストのコピーを生成させ、続いてテキストをペーストする操作を行うことができる。例えば、システム操作者は、カーソル112のある点またはある部分へ目Eを向けることによって、「シングル・マウス・ライト・クリック(single mouse right click)コマンド」を行うことができる。例えばシングル・マウス・ライト・クリック(single mouse right click)コマンドは、右のマウス・コマンド・メニュー128を視覚ディスプレイ102上に表示させることができる。例えば次にシステム操作者は、右のマウス・コマンド・メニュー128上の「copy」コマンド(図示せず)への向きに目Eを動かし、次いで、前述のように「シングル・マウス・レフト・クリック(single mouse left click)」コマンドを実行することができる。この時例えば、点118と点122の間のデータ入力フィールドの部分126の中のテキストが、「コピーされる」としてプロセッサ106に指定されることが可能である。
別の例として、システム操作者は、システム100を利用してプロセッサ106に、視覚ディスプレイ102上にスクロール・ボタン(図示せず)を有するスクロール・バーでドラッグ操作を実行させることができる。例えばまずシステム操作者は、システム100を利用して、「ポイント・マウス・カーソル(point the mouse cursor)」コマンドを実行し、カーソル112をスクロール・ボタンに移動させることができる。次にシステム操作者は、例えばシステム100を利用してプロセッサ106に、必要に応じて「ドラッグ・カーソル・ダウン(drag cursor down)」、「ドラッグ・カーソル・アップ(drag cursor up)」、「ドラッグ・カーソル・レフト(drag cursor left)」、または「ドラッグ・カーソル・ライト(drag cursor right)」カーソル・コマンドを実行させることができる。別の例では、システム操作者は、システム100を利用してプロセッサ106に、Word、Excel、PDF、またはPowerPoint文書など、視覚ディスプレイ102上に表示されたデータ入力フィールド(図示せず)の中をスクロールさせることができる。例えばまずシステム操作者は、システム100を利用して、「ポイント・マウス・カーソル(point the mouse cursor)」コマンドを実行し、カーソル112をデータ入力フィールド上の選択された位置に移動させることができる。次にシステム操作者は、例えばシステム100を利用してプロセッサ106に、「(ドラッグ・カーソル・ダウン(drag cursor down)」、「ドラッグ・カーソル・アップ(drag cursor up)」、「ドラッグ・カーソル・レフト(drag cursor left)」、または「ドラッグ・カーソル・ライト(drag cursor right)」カーソル・コマンドを実行させ、データ入力フィールドを適切な方向にスクロールすることができる。例えば次にシステム操作者は、「マウス・カーソル・ドラッグ−ドロップ(mouse cursor drag−drop)」、または「マウス・カーソル・ドロップ(mouse cursor drop)」カーソル・コマンドを実行することができる。
別の例としてシステム100は、システム100を起動させる、および停止させる際に、すなわち、システム100を「オン」および「オフ」にする際に、視覚ディスプレイ102に対する目Eの向きを利用するように構成されることが可能である。例えば、視線追跡装置104は、視覚ディスプレイ102の方へ目Eを向けていないことを検知できるものとすることができる。一例として、システム操作者が、あらかじめ決められた経過時間を通して視覚ディスプレイ102から操作者の両目Eをそらす場合、システム100はプロセッサ106にシステム100を停止させる、または「オフにする」ことができる。例えばその後、システム操作者が、あらかじめ決められた経過時間を通して視覚ディスプレイ102への目Eの向きを維持する場合、システム100はプロセッサ106に、システム100を起動させる、または「オンにする」ことができる。視線追跡装置104は、例えば、システム100の他の部分は停止されながらも、作動状態が続いて、システム100の再起動を容易にすることができる。一例として、システム100をこのように「オフにする」ためにあらかじめ決められた経過時間は、比較的長い時間とすることができ、したがってシステム操作者は、システム100を早まって「オフにする」ことなく自然な方法で、視覚ディスプレイ102から一時的に両目Eをそらすことができる。さらなる例では、システム100は、視覚ディスプレイ102への他の目Eの向きを同様に利用して、システム100を起動または停止させるように構成されることが可能である。例えば、システム100は、視覚ディスプレイ102へのあらかじめ決められた瞬目動作を同様に利用して、システム100を起動または停止させるように構成されることが可能である。
図2は、システム200の別の例を示す概略図である。システム200は、視覚ディスプレイ202、視線追跡装置204、およびプロセッサ206を含む。視線追跡装置204は、視覚ディスプレイ202への目Eの向きを検知することができる。プロセッサ206は、略図的に破線208で表すように、視覚ディスプレイ202と通信している。またプロセッサ206は、略図的に破線210で表すように、視線追跡装置204と通信している。プロセッサ206は、画像ディスプレイ202上にカーソル212を表示させることができる。一例では、カーソル212は、システム100に関連して上述したように、点218のような、この点218への目Eの向きによって「ポイント・マウス・カーソル(point the mouse cursor)」コマンドを実行するための専用の部分を含むことができる。プロセッサ206は、例えば表示されたカーソル212が、それぞれ視覚ディスプレイ202の異なる部分に表示された複数のカーソル・コマンド・アクチュエータ226、228、230、232、234、236、238、240、242、244、246、248、250、252、254を含むようにすることができ、このカーソル・コマンド・アクチュエータ226〜254のそれぞれが、カーソル・コマンド(図示せず)のうちの1つに対応する。例えば、カーソル・コマンド・アクチュエータ226、228、230、232、234、236、238、240、242、244、246、248、250、252、254は、それぞれ次のカーソル・コマンドに対応することができる:マウス・カーソル・ピックアップ(mouse cursor pickup)コマンド、ポイント・マウス・カーソル(point the mouse cursor)コマンド、ドラッグ・カーソル・レフト(drag cursor left)コマンド、ダブル・マウス・レフト・クリック(double mouse left click)コマンド、シングル・マウス・レフト・クリック(single mouse left click)コマンド、ショウ・マウス・カーソル・メニュー(show mouse cursor menu)コマンド、ドラッグ・カーソル・アップ(drag cursor up)コマンド、ドラッグ・カーソル・ダウン(drag cursor down)コマンド、ハイド・マウス・カーソル・メニュー(hide mouse cursor menu)コマンド、シングル・マウス・ライト・クリック(single mouse right click)コマンド、ダブル・マウス・ライト・クリック(double mouse right click)コマンド、ドラッグ・カーソル・ライト(drag cursor right)コマンド、マウス・カーソル・ドロップ(mouse cursor drop)コマンド、マウス・カーソル・ドラッグ−ドロップ)(mouse cursor drag−drop)コマンド、およびクルーズ−コントロール・オン/オフ・トグル(cruise−control on/off toggle)コマンド。カーソル・コマンド・アクチュエータ226〜254のそれぞれは、例えば、その対応するカーソル・コマンドを識別するラベル(図示せず)を含むことができる。例えば、このようなラベル(図示せず)のそれぞれは、カーソル212上に常に見えていてもよく、または、カーソル・コマンド・アクチュエータ226〜254の対応する1つを含む、カーソル212のある部分の中の第1の点216への目Eの向き214が検知されないとき、表示されなくてもよい。プロセッサ206は、表示されたカーソル212の中の複数のカーソル・コマンド・アクチュエータ226〜254のうちの1つなど、カーソル212のある点またはある部分への検知された目Eの向きに応じて、複数のカーソル・コマンド(図示せず)の中から、あるカーソル・コマンドを実行することができる。
システム200の操作の一例では、システム200の操作者となる人物(図示せず)は、視覚ディスプレイ202を見るために好適に位置していることが可能である。システム操作者の目Eは、例えば破線矢印214で略図的に示す向きを有することができる。例えば、この目Eの瞳孔Pは、視覚ディスプレイ202上に示すように、カーソル212内の第1の点216を見つめることができる。プロセッサ206は、一例では、視覚ディスプレイ202のピクセルのマトリックス(図示せず)全域にわたる矢印x、yで表す軸に沿った2次元のピクセル座標を割り当てるように構成されることが可能である。第1の点216は、一例として、x軸に沿った水平ピクセル座標Hと、y軸に沿った垂直ピクセル座標Vとを有することができる。視線追跡装置204は、視覚ディスプレイ202への目Eの向きを検知することができる。例えば、システム200は、目の向き214に対応する視覚ディスプレイ202上のカーソル212内の第1の点216を表すピクセル座標(H,V)として表示される注視点情報を生成する際に、視線追跡装置204によって収集されたデータを利用できるものとすることができる。視覚ディスプレイ202上の第1の点216は、例えば、それぞれカーソル212の異なる部分に表示される複数のカーソル・コマンド・アクチュエータ226〜254のうちの1つの中に位置していることが可能であり、カーソル・コマンド・アクチュエータ226〜254のそれぞれが、カーソル・コマンド(図示せず)の1つに対応する。プロセッサ206は、一例として、複数のカーソル・コマンド・アクチュエータ226〜254のうちの1つに対応する、複数のカーソル・コマンド(図示せず)の中から選択されたあるカーソル・コマンドを実行できるものとすることができる。図2に示す例ではプロセッサ206は、表示されたカーソル212内の「ショウ・マウス・カーソル・メニュー(show mouse cursor menu)」コマンドを表すカーソル・コマンド・アクチュエータ236上の第1の点216への検知された目Eの向き214に応じて、「ショウ・マウス・カーソル・メニュー(show mouse cursor menu)」コマンドを実行することができる。一例では、プロセッサ206は次に、カーソル・コマンド・アクチュエータ226〜254にそれぞれ対応するカーソル・コマンドを識別する複数のラベル(図示せず)を含むマウス・カーソル・メニュー256を、視覚ディスプレイ202に表示させることができる。別の例として、カーソル・コマンド・アクチュエータ226〜254のそれぞれが、例えば、その対応するカーソル・コマンドを識別するラベル(図示せず)を含むことができる。別の例として、このようなラベル(図示せず)のそれぞれは、カーソル・コマンド・アクチュエータ226〜254のうちの1つの中の第1の点216への目Eの向き214が検知されるとき以外、表示されないことも可能である。別の例として、カーソル・コマンド・アクチュエータ226〜254のそれぞれは、その対応するカーソル・コマンドを識別するために、色分けされることが可能である。
図3は、システム300のさらなる例を示す概略図である。システム300は、視覚ディスプレイ302、視線追跡装置304、およびプロセッサ306を含む。視線追跡装置304は、視覚ディスプレイ302への目Eの向きを検知することができる。プロセッサ306は、略図的に破線308で表すように、視覚ディスプレイ302と通信している。またプロセッサ306は、略図的に破線310で表すように、視線追跡装置304と通信している。プロセッサ306は、視覚ディスプレイ302上にカーソル312を表示させることができる。カーソル312は、一例では、周辺部313を有することができる。一例では、カーソル312は、システム100と関連して上述したように、点318のような、この点318への目Eの向きにより「ポイント・マウス・カーソル(point the mouse cursor)」コマンドを実行するための専用の部分を含むことができる。カーソル312は、例えば、視覚ディスプレイ302上のカーソル312の周辺部313の異なる部分にそれぞれ表示された複数のカーソル・コマンド・アクチュエータ326、328、330、332、334、336、338、340、342、344、346、348、350、352、354を含むことができ、カーソル・コマンド・アクチュエータ326〜354のそれぞれが、カーソル・コマンド(図示せず)のうちの1つに対応する。例えば、カーソル・コマンド・アクチュエータ326、328、330、332、334、336、338、340、342、344、346、348、350、352、354は、それぞれ次のカーソル・コマンドに対応することができる:マウス・カーソル・ピックアップ(mouse cursor pickup)コマンド、ドラッグ・カーソル・レフト(drag cursor left)コマンド、ダブル・マウス・レフト・クリック(double mouse left click)コマンド、シングル・マウス・レフト・クリック(single mouse left click)コマンド、ショウ・マウス・カーソル・メニュー(show mouse cursor menu)コマンド、ドラッグ・カーソル・アップ(drag cursor up)コマンド、ドラッグ・カーソル・ダウン(drag cursor down)コマンド、ハイド・マウス・カーソル・メニュー(hide mouse cursor menu)コマンド、シングル・マウス・ライト・クリック(single mouse right click)コマンド、ダブル・マウス・ライト・クリック(double mouse right click)コマンド、ドラッグ・カーソル・ライト(drag cursor right)コマンド、マウス・カーソル・ドロップ(mouse cursor drop)コマンド、マウス・カーソル・ドラッグ−ドロップ(mouse cursor drag−drop)コマンド、クルーズ−コントロール−オン(cruise−control−on)コマンド、およびクルーズ−コントロール−オフ(cruise−control−off)コマンド。プロセッサ306は、表示されたカーソル312の周辺部313近くのカーソル・コマンド・アクチュエータ326〜354のうちの1つなど、カーソル312のある点またはある部分への検知された目Eの向きに応じて、複数のカーソル・コマンド(図示せず)の中からあるカーソル・コマンドを実行することができる。
カーソル・コマンド・アクチュエータ326〜354のそれぞれは、例えば、その対応するカーソル・コマンドを識別するラベル(図示せず)を含むことができる。一例として、このようなラベル(図示せず)のそれぞれは、カーソル・コマンド・アクチュエータ326〜354の対応する1つを含む、カーソル312の周辺部313のある部分に沿った第1の点316への目Eの向き314が検知されるとき以外見えないことが可能である。さらなる例では、「ショウ・マウス・カーソル・メニュー(show mouse cursor menu)」コマンドを実行して、プロセッサ306にマウス・カーソル・メニュー356を表示させることができる。別の例として、カーソル・コマンド・アクチュエータ326〜354のそれぞれは、その対応するカーソル・コマンドを識別するために、色分けされることが可能である。さらなる例では、複数のカーソル・コマンド・アクチュエータ326〜354のそれぞれは、その位置が対応するカーソル・コマンドを示すのに好適となるよう選択されたカーソル312の周辺部313のある部分に配置されることが可能である。例えば、複数のカーソル・コマンド・アクチュエータ326〜354のそれぞれは、従来のコンピュータ・マウス・ハードウェア・デバイスにおける手動のカーソル・コマンド・アクチュエータのレイアウトと一致する形で、カーソル312の周辺部313のある部分に配置されることが可能である。例えば、「左」コマンド・アクチュエータおよび「右」コマンド・アクチュエータは、それぞれ周辺部313の左側315および右側317に配置されることが可能である。さらに、例えば「ダブル・クリック(double click)」コマンドは、その対応する「シングル・クリック(single click)」コマンドに隣接して配置されることが可能である。また、例えば「アップ(up)」コマンドおよび「ダウン(down)」コマンドは、それぞれ周辺部313の最上部319および最下部321に配置されることが可能である。
システム300の操作の一例では、システム300の操作者となる人物(図示せず)は、視覚ディスプレイ302を見るために好適に位置していることが可能である。システム操作者の目Eは、例えば略図的に破線矢印314で表す向きを有することができる。例えば、この目Eの瞳孔Pは、視覚ディスプレイ302上に示すように、カーソル312の周辺部313にある第1の点316を見つめることができる。プロセッサ306は、一例では、視覚ディスプレイ302のピクセルのマトリックス(図示せず)全域にわたる矢印x、yで表す軸に沿った2次元のピクセル座標を割り当てるように構成されることが可能である。第1の点316は、一例として、x軸に沿った水平ピクセル座標Hと、y軸に沿った垂直ピクセル座標Vとを有することができる。視線追跡装置304は、視覚ディスプレイ302への目Eの向きを検知することができる。例えば、システム300は、目Eの向き314に対応する視覚ディスプレイ302上のカーソル312の周辺部313にある第1の点316を表すピクセル座標(H,V)として表示される注視点情報を生成する際に、視線追跡装置304によって収集されたデータを利用できるものとすることができる。視覚ディスプレイ302上の第1の点316は、例えば、カーソル312の周辺部313の異なる部分にそれぞれ表示された複数のカーソル・コマンド・アクチュエータ326〜354のうちの1つに位置することができ、カーソル・コマンド・アクチュエータ326〜354のそれぞれが、カーソル・コマンド(図示せず)の1つに対応する。プロセッサ306は、一例として、複数のカーソル・コマンド・アクチュエータ326〜354のうちの1つに対応する、複数のカーソル・コマンド(図示せず)の中から選択されたあるカーソル・コマンドを実行できるものとすることができる。図3に示す例では、プロセッサ306は、表示されたカーソル312の周辺部313で、「シングル・マウス・ライト・クリック(single mouse right click)」コマンドを表すカーソル・コマンド・アクチュエータ342上の第1の点316への検知された目Eの向き314に応じて、「シングル・マウス・ライト・クリック(single mouse right click)」コマンドを実行することができる。
図4は、システム400のその他の例を示す概略図である。システム400は、視覚ディスプレイ402、視線追跡装置404、およびプロセッサ406を含む。視線追跡装置404は、視覚ディスプレイ402への目Eの向きを検知することができる。プロセッサ406は、略図的に破線408で表すように、視覚ディスプレイ402と通信している。またプロセッサ406は、略図的に破線410で表すように、視線追跡装置404と通信している。プロセッサ406は、視覚ディスプレイ402上にカーソル412を表示させることができる。一例として、プロセッサ406は、カーソル412のある点またはある部分への検知された目Eの向きに応じて、カーソル412を含み、またそれぞれが複数のカーソル・コマンドの1つに対応する複数のカーソル・コマンド・アクチュエータ426、428、430、432、434、436、438、440、442、444、446、448、450、452を有するマウス・カーソル・メニュー415をさらに含む拡張カーソル413を、視覚ディスプレイ402に表示させることができる場合もある。例えば、カーソル・コマンド・アクチュエータ426、428、430、432、434、436、438、440、442、444、446、448、450、452は、それぞれ次のカーソル・コマンドに対応することができる:マウス・カーソル・ピックアップ(mouse cursor pickup)コマンド、ドラッグ・カーソル・レフト(drag cursor left)コマンド、ダブル・マウス・レフト・クリック(double mouse left click)コマンド、シングル・マウス・レフト・クリック(single mouse left click)コマンド、ドラッグ・カーソル・アップ(drag cursor up)コマンド、ドラッグ・カーソル・ダウン(drag cursor down)コマンド、ハイド・マウス・カーソル・メニュー(hide mouse cursor menu)コマンド、シングル・マウス・ライト・クリック(single mouse right click)コマンド、ダブル・マウス・ライト・クリック(double mouse right click)コマンド、ドラッグ・カーソル・ライト(drag cursor right)コマンド、マウス・カーソル・ドロップ(mouse cursor drop)コマンド、マウス・カーソル・ドラッグ−ドロップ(mouse cursor drag−drop)コマンド、クルーズ−コントロール−オン(cruise−control−on)コマンド、およびクルーズ−コントロール−オフ(cruise−control−off)コマンド。例えば、カーソル・コマンド・アクチュエータ426〜452のメニュー415は、カーソル412への目Eの向き414が検知されるとき以外は、視覚ディスプレイ402上で見えないようにされることが可能である。別の例として、カーソル・コマンド・アクチュエータ426〜452のメニュー415は、カーソル412の第1の部分416への目Eの向き414が検知されるとき以外は、視覚ディスプレイ402上で見えないようにされることが可能である。例として、カーソル412の第1の部分416は、指定の色またはシェーディングによってなど、カーソル412の他の部分とは異なる外観を有することによって特徴付けられることが可能である。さらに、例えばカーソル・コマンド・アクチュエータ426〜452のメニュー415は、カーソル412に隣接して視覚ディスプレイ402上に、または視覚ディスプレイ402上の別の位置(図示せず)に、表示されることが可能である。プロセッサ406は、システム400がカーソル412のある部分への、または拡張カーソル413のある部分への目Eの向きを検知するとき、視覚ディスプレイ402上に表示される複数のカーソル・コマンド・アクチュエータ426〜452のうちの1つへの検知された目Eの向きに応じて、複数のカーソル・コマンド(図示せず)の中から、あるカーソル・コマンドを実行することができる。
システム400の操作の一例では、システム400の操作者となる人物(図示せず)は、視覚ディスプレイ402を見るために好適に位置していることが可能である。システム操作者の目Eは、例えば略図的に破線矢印414で表す向きを有することができる。例えば、目Eの瞳孔Pは、視覚ディスプレイ402上に示すように、カーソル412内の第1の部分416を見つめることができる。プロセッサ406は、一例では、視覚ディスプレイ402のピクセルのマトリックス(図示せず)全域にわたる矢印x、yで表す軸に沿った2次元のピクセル座標を割り当てるように構成されることが可能である。第1の部分416は、一例として、x軸に沿った水平ピクセル座標HからIの領域と、y軸に沿った垂直ピクセル座標VからWの領域とを有することができる。視線追跡装置404は、視覚ディスプレイ402への目Eの向きを検知することができる。例えば、システム400は、目Eの向き414に対応する視覚ディスプレイ402上のカーソル412内で、第1の部分416を表すピクセル座標(H,V)から(I,W)のマトリックス領域として表示される注視点情報を生成する際に、視線追跡装置404によって収集されたデータを利用することができる可能性がある。目Eがカーソル412の第1の部分416への向き414を有することをシステム400が検知するとき、プロセッサ406は、例えば、カーソル・コマンド・アクチュエータ426〜452のメニュー415を含む拡張カーソル413を視覚ディスプレイ402上に表示させることができ、メニュー415はカーソル412に隣接している、または視覚ディスプレイ402上の別の場所ある。次にシステム操作者(図示せず)は、例えば目Eが、表示されたメニュー415の中のカーソル・コマンド・アクチュエータ426〜452のうちの1つを含む、拡張カーソル413の第2の部分419への向き417を有するようにすることができる。次にプロセッサ406は、一例として、複数のカーソル・コマンド・アクチュエータ426〜452のうちの1つに対応する、複数のカーソル・コマンド(図示せず)の中から選択されたあるカーソル・コマンドを実行することができる。この例では、図4に示すように、プロセッサ406は、「マウス・カーソル・ドラッグ−ドロップ(mouse cursor drag−drop)」コマンドを表すカーソル・コマンド・アクチュエータ448を含む、メニュー415の第2の部分419への検知された目Eの向き417に応じて、「マウス・カーソル・ドラッグ−ドロップ(mouse cursor drag−drop)」コマンドを実行することができる。
システム100、200、300、400は、例えば、視覚ディスプレイ102、202、302、402上のカーソル112、212、312、412の点または部分116、216、316、416、419に向かって維持されている目Eの向き114、214、314、414、417の時間長を検知することができる。例えば、視線追跡装置104、204、304、404は、視覚ディスプレイ102、202、302、402への目Eの向きに関して、また、カーソル112、212、312、412へ向かっているか、もしくは視覚ディスプレイ102、202、302、402の別の部分へ向かっているか、もしくは視覚ディスプレイ102、202、302、402から外れているかに関して、注視点データを連続的にサンプリングすることができる。さらに、例えばプロセッサ106、206、306、406は、あらかじめ決められた時間値を、視覚ディスプレイ102、202、302、402上の点または部分116、216、316、416、419への検知された目Eの向き114、214、314、414、417の時間長と比較できるものとすることができる。次にプロセッサ106、206、306、406は、例えば、検知された時間長があらかじめ決められた時間値に達するとき、カーソル・コマンドを実行できるものとすることができる。あらかじめ決められた時間値は、例えば、システム操作者が定義し、システム100、200、300、400にプログラムされた期間とすることができる。またシステム100、200、300、400は、例えば、対応する異なる関数を有する複数のあらかじめ決められた異なる時間値を格納することもできる。一例として、あらかじめ決められる最短の時間値が、「マウス・カーソル・ピックアップ(mouse cursor pickup)」コマンドおよび「マウス・カーソル・ドロップ(mouse cursor drop)」コマンドのそれぞれに対してプロセッサ106、206、306、406によって定義され、格納されることが可能である。システム100、200、300、400は、別の例として、システム100、200、300、400を「オンにする」ためのあらかじめ決められた時間値、およびシステム100、200、300、400を「オフにする」ためにあらかじめ決められた時間値を格納することができる。
さらにシステム100、200、300、400は、例えば、視覚ディスプレイ102、202、302、402の第1の点または部分116、216、316、416への向き114、214、314、414で、目Eの最初の位置を検知できるものとすることができる。さらなる例ではシステム100、200、300、400は、視覚ディスプレイ102、202、302、402の第2の点または部分122、222、322、422への略図的に破線矢印120、220、320、420で表す別の向きで、次の位置へ目Eが動いたことを検知できるものとすることができる。別の例として、プロセッサ106、206、306、406は、視覚ディスプレイ102、202、302、402の第1の点または部分116、216、316、416への向き114、214、314、414から、視覚ディスプレイ102、202、302、402の第2の点または部分122、222、322、422への目Eの別の向き120、220、320、420へ、目Eが動いたことを検知することに応じて、カーソル112、212、312、412を視覚ディスプレイ102、202、302、402全体で移動させることができる場合がある。さらに、一例として、プロセッサ106、206、306、406は、視覚ディスプレイ102、202、302、402にデータ・フィールド入力カーソル124、224、324、424を表示させることができる場合があり、またプロセッサ106、206、306、406は、データ・フィールド入力カーソル124、224、324、424を破線矢印123、223、323、423の方向に沿って視覚ディスプレイ102、202、302、402の第2の点または部分122、222、322、422まで移動させることができる場合がある。その上システム100、200、300、400は、例えば、閾値角度シータ(θ)より大きい、目Eの向き114、214、314、414の変化を検知できるものとすることができる。操作の一例では、システム100、200、300、400は、閾値角度θより大きい目Eの向き114、214、314、414の変化が検知されると、プロセッサ106、206、306、406にカーソル112、212、312、412を視覚ディスプレイ102、202、302、402全体にわたって、視覚ディスプレイ102、202、302、402に対する目Eの向き114、214、314、414の変化の方向および大きさに対応する方向に、および比例距離にわたって、移動させることができる。
図5は、方法500の実行の例を示す流れ図である。この方法は、ステップ505から始まり、次にステップ510が、視覚ディスプレイ102、202、302、402と、視線追跡装置104、204、304、404と、視覚ディスプレイ102、202、302、402および視線追跡装置104、204、304、404と通信するプロセッサ106、206、306、406とを提供することを含む。ステップ510は、一例では、視覚ディスプレイ102、202、302、402のピクセルのマトリックス(図示せず)全域にわたる矢印x、yで表す軸に沿った2次元のピクセル座標を割り当てるように、プロセッサ106、206,306、406を構成することを含むことができる。ステップ515は、視覚ディスプレイ102、202、302、402上にカーソル112、212、312、412を表示させることを含む。
一例では、システム操作者(図示せず)は、視覚ディスプレイ102、202、302、402を見るために好適に位置していることが可能である。システム操作者の目Eは、例えば、略図的に破線矢印114、214、314、414で表す向きを有することができる。この目Eの瞳孔Pは、視覚ディスプレイ102、202、302、402上のカーソル112、212、312、412の第1の点または部分116、216、316、416を見つめていることが可能である。第1の点または部分116、216、316、416は、一例として、x軸に沿った水平ピクセル座標Hと、y軸に沿った垂直ピクセル座標Vとを有する注視点を含むことができる。ステップ520では、この目Eの向きが、視覚ディスプレイ102、202、302、402上のカーソル112、212、312、412の第1の点または部分116、216、316、416に向かっていることが検知されることが可能である。例えば、視線追跡装置104、204、304、404は、目Eの向きを検出するようにされることが可能である。さらにステップ520では、例えば、視線追跡装置104、204、304、404によってデータが収集されることが可能であり、このデータは、目Eの向き114、214、314、414に対応する、視覚ディスプレイ102、202、302、402上の第1の点または部分116、216、316、416を表すピクセル座標(H,V)として表示される注視点情報を生成する際に利用されることが可能である。
ステップ530では、表示されたカーソル112、212、312、412のある点またはある部分への検知された目Eの向きに応じて、複数のカーソル・コマンド(図示せず)の中から、あるカーソル・コマンドが実行される。例えば、プロセッサ106、206、306、406は、カーソル・コマンドを実行することができる。例として、複数のカーソル・コマンドには、マウス・カーソル・ピックアップ(mouse cursor pickup)コマンド、ポイント・マウス・カーソル(point the mouse cursor)コマンド、ドラッグ・カーソル・レフト(drag cursor left)コマンド、ダブル・マウス・レフト・クリック(double mouse left click)コマンド、シングル・マウス・レフト・クリック(single mouse left click)コマンド、ショウ・マウス・カーソル・メニュー(show mouse cursor menu)コマンド、ドラッグ・カーソル・アップ(drag cursor up)コマンド、ドラッグ・カーソル・ダウン(drag cursor down)コマンド、ハイド・マウス・カーソル・メニュー(hide mouse cursor menu)コマンド、シングル・マウス・ライト・クリック(single mouse right click)コマンド、ダブル・マウス・ライト・クリック(double mouse right click)コマンド、ドラッグ・カーソル・ライト(drag cursor right)コマンド、マウス・カーソル・ドロップ(mouse cursor drop)コマンド、マウス・カーソル・ドラッグ−ドロップ(mouse cursor drag−drop)コマンド、クルーズ−コントロール−オン(cruise−control−on)コマンド、およびクルーズ−コントロール−オフ(cruise−control−off)コマンドが含まれる。次に方法500は、例えばステップ540で終了することができる。
別の例では、ステップ515が、視覚ディスプレイ202上にカーソル212を表示させることを含むことができ、このカーソル212は、それぞれ視覚ディスプレイ202の異なる部分に表示された、複数のカーソル・コマンド・アクチュエータ226、228、230、232、234、236、238、240、242、244、246、248、250、252、254を含み、このカーソル・コマンド・アクチュエータ226〜254のそれぞれが、カーソル・コマンド(図示せず)のうちの1つに対応する。さらにこの例では、ステップ515は、カーソル・コマンド・アクチュエータ226、228、230、232、234、236、238、240、242、244、246、248、250、252、254がそれぞれ次のカーソル・コマンドに対応することができるように、プロセッサ206をプログラミングすることを含むことができる:マウス・カーソル・ピックアップ(mouse cursor pickup)コマンド、ポイント・マウス・カーソル(point the mouse cursor)コマンド、ドラッグ・カーソル・レフト(drag cursor left)コマンド、ダブル・マウス・レフト・クリック(double mouse left click)コマンド、シングル・マウス・レフト・クリック(single mouse left click)コマンド、ショウ・マウス・カーソル・メニュー(show mouse cursor menu)コマンド、ドラッグ・カーソル・アップ(drag cursor up)コマンド、ドラッグ・カーソル・ダウン(drag cursor down)コマンド、ハイド・マウス・カーソル・メニュー(hide mouse cursor menu)コマンド、シングル・マウス・ライト・クリック(single mouse right click)コマンド、ダブル・マウス・ライト・クリック(double mouse right click)コマンド、ドラッグ・カーソル・ライト(drag cursor right)コマンド、マウス・カーソル・ドロップ(mouse cursor drop)コマンド、マウス・カーソル・ドラッグ−ドロップ(mouse cursor drag−drop)コマンド、クルーズ−コントロール−オン(cruise−control on)コマンド、およびクルーズ−コントロール−オフ(cruise−control off)コマンド。また、例えばステップ515は、視覚ディスプレイ202にカーソル・コマンド・アクチュエータ226〜254のそれぞれを、その対応するカーソル・コマンドを識別するのに好適な方法で表示させるように、プロセッサ206をプログラミングすることを含むことができる。一例としてステップ515は、視覚ディスプレイ202にカーソル・コマンド・アクチュエータ226〜254のそれぞれに対応するカーソル・コマンドを識別するラベルを表示させるように、プロセッサ206をプログラミングすることを含むことができる。一例としてステップ515は、このようなラベルをカーソル212上に常に表示するようにプロセッサ206をプログラミングすることを含むことができる。別の例としてステップ515は、カーソル・コマンド・アクチュエータ226〜254の対応する1つを含むカーソル212の第1の点または部分216への目Eの向き214が検知されるとき以外、このようなラベルが見えないようにプロセッサ206をプログラミングすることを含むことができる。さらに、例えばステップ530は、表示されたカーソル212の複数のカーソル・コマンド・アクチュエータ226〜254の1つへの検知された目Eの向きに応じて、複数のカーソル・コマンド(図示せず)の中からあるカーソル・コマンドを、プロセッサ206に実行させることを含むことができる。
別の例として、ステップ515が、カーソル周辺部313を有するカーソル312を、視覚ディスプレイ302上に表示させることを含むことがあり、カーソル312は、それぞれ視覚ディスプレイ302上カーソル312の周辺部313の異なる部分に表示された、複数のカーソル・コマンド・アクチュエータ326、328、330、332、334、336、338、340、342、344、346、348、350、352、354を含み、このカーソル・コマンド・アクチュエータ326〜354のそれぞれが、カーソル・コマンド(図示せず)の1つに対応する。さらにまたこの例では、ステップ515は、カーソル・コマンド・アクチュエータ326、328、330、332、334、336、338、340、342、344、346、348、350、352、354がそれぞれ次のカーソル・コマンドに対応することができるように、プロセッサ306をプログラミングすることを含むことができる:マウス・カーソル・ピックアップ(mouse cursor pickup)コマンド、ドラッグ・カーソル・レフト(drag cursor left)コマンド、ダブル・マウス・レフト・クリック(double mouse left click)コマンド、シングル・マウス・レフト・クリック(single mouse left click)コマンド、ショウ・マウス・カーソル・メニュー(show mouse cursor menu)コマンド、ドラッグ・カーソル・アップ(drag cursor up)コマンド、ドラッグ・カーソル・ダウン(drag cursor down)コマンド、ハイド・マウス・カーソル・メニュー(hide mouse cursor menu)コマンド、シングル・マウス・ライト・クリック(single mouse right click)コマンド、ダブル・マウス・ライト・クリック(double mouse right click)コマンド、ドラッグ・カーソル・ライト(drag cursor right)コマンド、マウス・カーソル・ドロップ(mouse cursor drop)コマンド、マウス・カーソル・ドラッグ−ドロップ(mouse cursor drag−drop)コマンド、クルーズ−コントロール−オン(cruise−control−on)コマンド、およびクルーズ−コントロール−オフ(cruise−control−off)コマンド。さらに、例えばステップ515は、視覚ディスプレイ302にカーソル・コマンド・アクチュエータ326〜354のそれぞれを、その対応するカーソル・コマンドを識別するのに好適な方法で表示させるように、プロセッサ306をプログラミングすることを含むことができる。一例として、ステップ515は、視覚ディスプレイ302にカーソル・コマンド・アクチュエータ326〜354のそれぞれに対応するカーソル・コマンドを識別するラベルを表示させるように、プロセッサ306をプログラミングすることを含むことができる。別の例として、ステップ515は、カーソル・コマンド・アクチュエータ326〜354の対応する1つを含むカーソル312の周辺部313のある部分において第1の点316へ向かう目Eの向き314が検知されるとき以外、このようなラベルが見えないようにプロセッサ306をプログラミングすることを含むことができる。別の例として、ステップ515は、カーソル・コマンド・アクチュエータ326〜354のそれぞれを対応するカーソル・コマンドを識別するために色分けして視覚ディスプレイ302上に表示させるように、プロセッサ306をプログラミングすることを含むことができる。さらなる例では、ステップ515は、複数のカーソル・コマンド・アクチュエータ326〜354のそれぞれを視覚ディスプレイ302上で、対応するカーソル・コマンドを示すのに好適であるように選択されたカーソル312の周辺部313のある部分の上の位置に表示させるように、プロセッサ306をプログラミングすることを含むことができる。例えば、「左」コマンド・アクチュエータおよび「右」コマンド・アクチュエータは、それぞれ周辺部313の左側315および右側317に配置されることが可能である。さらに、例えば「ダブル・クリック(double click)」コマンドは、その対応する「シングル・クリック(single click)」コマンドに隣接して配置されることが可能である。また例えば、「アップ(up)」コマンドおよび「ダウン(down)」コマンドは、それぞれ周辺部313の最上部319および最下部321に配置されることが可能である。さらに、例えばステップ530は、表示されたカーソル312の周辺部313近くの複数のカーソル・コマンド・アクチュエータ326〜354の1つへ向かう検知された目Eの向きに応じて、複数のカーソル・コマンド(図示せず)の中からあるカーソル・コマンドを、プロセッサ306に実行させることを含むことができる。
その他の例では、ステップ515が、カーソル412を表示することができるように、また、カーソル412のある部分へ向かう検知された目Eの向きに応じて、それぞれ複数のカーソル・コマンドのうちの1つに対応する複数のカーソル・コマンド・アクチュエータ426、428、430、432、434、436、438、440、442、444、446、448、450、452を含むメニュー415をさらに表示することができるように、プロセッサ406をプログラミングすることを含むことができる。さらにこの例ではステップ515は、カーソル412を視覚ディスプレイ402上に表示させ、最初にメニュー415は表示されずに、見えないようにされることを含むことができる。ステップ515はさらに、例えば目Eがカーソル412への向き414を有するときを検知すること、次に、視覚ディスプレイ402上に、複数のカーソル・コマンド・アクチュエータ426〜452を含むメニュー415を表示することを含むことができる。ステップ515は、別の例として、目Eがカーソル412の第1の部分416への向き414を有するときを検知すること、次に、視覚ディスプレイ402上に、複数のカーソル・コマンド・アクチュエータ426〜452を含むメニュー415を表示することを含むことができる。例として、ステップ515は、カーソル412の他の部分とは異なる外観を有することによって特徴付けるように、カーソル412の第1の部分416を表示することを含むことができる。さらに、例えばステップ515は、視覚ディスプレイ402上にカーソル412に隣接して、または視覚ディスプレイ402上の別の場所(図示せず)に、カーソル・コマンド・アクチュエータ426〜452のメニュー415を表示することを含むことができる。例えば、ステップ515は、カーソル・コマンド・アクチュエータ426、428、430、432、434、436、438、440、442、444、446、448、450、452が、それぞれ次のカーソル・コマンドに対応することができるように、プロセッサ406をプログラミングすることを含むことができる:マウス・カーソル・ピックアップ(mouse cursor pickup)コマンド、ドラッグ・カーソル・レフト(drag cursor left)コマンド、ダブル・マウス・レフト・クリック(double mouse left click)コマンド、シングル・マウス・レフト・クリック(single mouse left click)コマンド、ドラッグ・カーソル・アップ(drag cursor up)コマンド、ドラッグ・カーソル・ダウン(drag cursor down)コマンド、ハイド・マウス・カーソル・メニュー(hide mouse cursor menu)コマンド、シングル・マウス・ライト・クリック(single mouse right click)コマンド、ダブル・マウス・ライト・クリック(double mouse right click)コマンド、ドラッグ・カーソル・ライト(drag cursor right)コマンド、マウス・カーソル・ドロップ(mouse cursor drop)コマンド、マウス・カーソル・ドラッグ−ドロップ(mouse cursor drag−drop)コマンド、クルーズ−コントロール−オン(cruise−control−on)コマンド、およびクルーズ−コントロール−オフ(cruise−control−off)コマンド。ステップ520では、視線追跡装置404は、視覚ディスプレイ402上のカーソル412の第1の点または部分416への目Eの向きを検知するようにされることが可能である。ステップ525では、視線追跡装置404は、視覚ディスプレイ402上のカーソル・メニュー415の複数のカーソル・コマンド・アクチュエータ426〜452の1つの上の第2の点または部分419へ向かう目Eの向きを検知するようにされることが可能である。さらに、例えばステップ530は、表示されたカーソル412の複数のカーソル・コマンド・アクチュエータ426〜452の1つへの検知された目Eの向きに応じて、複数のカーソル・コマンド(図示せず)の中からそのカーソル・コマンドを、プロセッサ406に実行させることを含むことができる。
一例では、ステップ520、525は、視覚ディスプレイ102、202、302、402のカーソル112、212、312、412の第1の点または部分116、216、316、416に向かって維持される目Eの向き114、214、314、414の時間長を検知することを含むことができる。さらに、例えばステップ520、525は、あらかじめ決められた時間値を、視覚ディスプレイ102、202、302、402上の第1の点または部分116、216、316、416への目Eの向き114、214、314、414の検知された時間長と比較することを含むことができる。またさらにこの例では、ステップ530は、検知された時間長があらかじめ決められた時間値に達するとき、プロセッサ106、206、306、406にカーソル・コマンドを実行させることを含むことができる。またステップ510は、例えば、システム操作者定義の時間として、あらかじめ決められた時間値をプロセッサ106、206、306、406にプログラミングすることを含むことができる。
一例では、ステップ520、525は、視覚ディスプレイ102、202、302、402の第1の点または部分116、216、316、416へ向かっている、破線矢印114、214、314、414の方向の向きで、目Eの最初の位置を検知することを含むことができる。さらにこの例では、ステップ520、525は、視覚ディスプレイ102、202、302、402の第2の点または部分122、220、320、420へ向かっている、破線矢印120、222、322、422の方向の別の向きで、次の位置への目Eの動きを検知することを含むことができる。またこの例では、方法500は、ステップ530において、視覚ディスプレイ102、202、302、402の第1の点または部分116、216、316、416への向きから、視覚ディスプレイ102、202、302、402の第2の点122、222、322、422へ向かう別の向きへの目Eの動きを検知することに応じて、視覚ディスプレイ102、202、302、402全体にわたってカーソル112、212、312、412を動かすことを含むことができる。例えば、カーソル112、212、312、412の矢印の先端は、このように視覚ディスプレイ102、202、302、402上で第1の点118、218、318、418から第2の点122、222、322、422へ移動されることが可能である。またこの例では、方法500は、ステップ515においてデータ・フィールド入力カーソル124、224、324、424を表示することを含むことができ、ステップ535において、プロセッサ106、206、306、406のデータ・フィールド入力カーソル124、224、324、424が、第1の点または部分118、218、318、418に位置していることから、第2の点または部分122、222、322、422に位置していることへ再配置されるようにする。
別の例では、ステップ520、525は、閾値角度θより大きい、視覚ディスプレイ102、202、302、402への目Eの向き114、214、314、414の変化を検知することを含むことができる。さらにこの例では、方法500は、ステップ530において、プロセッサ106、206、306、406にカーソル112、212、312、412を視覚ディスプレイ102、202、302、402全体にわたって、視覚ディスプレイ102、202、302、402に対する目の向き114、214、314、414の変化の方向に対応した、および変化の大きさに比例した方向および距離にわたって、移動させることを含むことができる。
システム100、200、300、400に含まれるように選択される視覚ディスプレイ102、202、302、402は、例えば、液晶ディスプレイ(「LCD」)、プラズマ・ディスプレイ、光投影装置、またはブラウン管など、グラフィカル・ユーザ・インタフェースとして利用するのに好適ないかなるモニタ装置によって実現されることも可能である。システム100、200、300、400は、1つまたは複数の視覚ディスプレイ102、202、302、402を含むことができる。
システム100、200、300、400に含まれるように選択される視線追跡装置104、204、304、404は、例えば、視覚ディスプレイ102、202、302、402への目Eの向き114、214、314、414を検知することができるように選択された視線追跡装置によって実現されることが可能である。例えば、視線追跡装置104、204、304、404は、1つまたは複数のカメラ(図示せず)を含むことができる。さらに、一例としてカメラ(図示せず)は、視覚ディスプレイ102、202、302、402に取り付けられることが可能である。視線追跡装置104、204、304、404は、例えば、視覚ディスプレイ102、202、302、402へ向かう人の目Eの瞳孔Pの位置に対して(H,V)座標として表示される注視点情報を生成することができる。システム100、200、300、400は、例えば、この(H,V)座標データを利用して、視覚ディスプレイ102、202、302、402上のカーソル112、212、312、412の位置を設定することができる。視線追跡装置104、204、304、404は、例えば(1つまたは複数の)人の目Eの(1つまたは複数の)瞳孔Pに(1つまたは複数の)カメラの焦点を合わせることによって、また視覚ディスプレイ102、202、302、404全体にわたって知られている座標(H,V)を有する、異なる間隔の位置にある一連の点を見ている間、人に静止していてもらうことによって、較正されることが可能である。視線追跡装置104、204、304、404は、前述のようにあらかじめ決められる経過時間またはあらかじめ決められる瞬目動作に関してプロセッサ106、206、306、406をプログラミングする際に使用されることが可能である。例えば、システム100、200、300、400においてプロセッサ106、206、306、406に操作を実行させるために、視覚ディスプレイ102、202、302、402のある点またはある部分へのEの向きを「マウス・クリック(mouse click)」コマンドに変換するための(1つまたは複数の)時間は、その後プロセッサ106、206、306、406によってあらかじめ決められた経過時間として格納されることが可能であるユーザ定義の時間の長さの間、目Eの向き114、214、314、414を維持するように人に促すことによって、設定されることが可能である。別の例として、視覚ディスプレイ102、202、302、402のある点またはある部分へのEの向きを「マウス・クリック(mouse click)」コマンドに変換するための、またはシステム100、200、300、400においてプロセッサ106、206、306、406に別の操作を実行させるための、あらかじめ決められた(1つまたは複数の)瞬目動作は、その後システム100、200、300、400のある定義された操作を実行させるためのあらかじめ決められた瞬目動作としてプロセッサ106、206、306、406によって格納されることが可能である、ユーザが定義した瞬目動作を通して目Eの向き114、214、314、414を維持するよう人に促すことによって設定されることが可能である。
別の例では、視線追跡装置104、204、304、404は、ヘッドマウント光学装置、カメラ、反射単眼鏡、およびコントローラを含む(図示せず)ことができる。例えば、電荷結合素子を含むカメラを使用することができる。プロセッサ106、206、306、406は、視線追跡装置104、204、304、404のコントローラとして機能することができ、または別個のコントローラ(図示せず)が提供されることも可能である。ヘッドマウント光学装置は、例えば、フットボールまたは自転車のヘルメットの内側に見られることがある内部支持構造と同様のヘッドバンドを含むことができる。カメラは、例えば近赤外線発光体を有することができる。一例として、小型カメラが選択されて、ヘッドバンドを装着したとき人の目Eの上方になるよう適切に配置されてヘッドバンドに取り付けられる。単眼鏡は、例えば約3インチ×2インチの大きさを有し、ヘッドバンドを装着した人の目Eの下方にあるように位置づけられることが可能である。一例として、視線追跡装置104、204、304、404は、磁気ヘッド追跡ユニット(図示せず)を含むこともできる。磁気ヘッド追跡ユニットは、例えば磁気トランスミッタ、ジンバル付きポインティング・デバイス、およびセンサを含むことができる。一例では、磁気トランスミッタおよびジンバル付きポインティング・デバイスは、視線追跡装置104、204、304、404が使用されるとき、人の頭部の位置のすぐ後ろの固定支持体上に設置されることが可能であり、ヘッドバンドに小型センサが設置されることが可能である。視線追跡装置104、204、304、404の操作では、操作者の目Eは、ヘッドバンド上の近赤外線ビームで照射されることが可能である。次に、単眼鏡に目Eの画像が反射されることが可能である。次にカメラは、例えば、反射された像を受け取り、この画像をプロセッサ106、206、306、406に送る。さらに、例えば磁気ヘッド追跡ユニットは、ヘッド位置(x,y)座標データをプロセッサ106、206、306、406に送ることができる。次にプロセッサ106、206、306、406は、カメラおよび磁気ヘッド追跡ユニットから受け取ったデータを、(H,V)注視点座標データに組み込むことができる。人の注視点の厳密な較正は、例えば、視覚ディスプレイ102、202、302、402から人の目Eまで、および磁気ヘッド追跡ユニットまでの距離に依存する可能性がある。このような視線追跡装置104、204、304、404は、例えばApplied Science Laboratories、Bedford、Massachusetts USAから、商品名CU4000またはSU4000で市販されている。
さらなる例では、視線追跡装置104、204、304、404は、1つまたは複数のカメラを取り付けることができるヘッドバンド(図示せず)を含むことができる。例えば、2つのカメラが、ヘッドバンドを装着する人の両目Eの下方に位置するように、ヘッドバンドに配置されることが可能である。この例では、この人物の左目と右目の両方Eについて、視線追跡(x,y)座標データが記録されることが可能である。一例では、2つのカメラは、約60ヘルツ(「Hz」)と約250Hzの間の範囲内のサンプリング・レートで、視線追跡データを収集することができる。第3のカメラが、例えば、ヘッドバンドに配置されて、ヘッドバンドを装着している間、人の額のほぼ中央に位置していることが可能である。一例として、第3のカメラの向きは、視覚ディスプレイ102、202、302、402上に配置された近赤外線センサによって検知されることが可能である。さらに例えば第3のカメラは、視覚ディスプレイ102、202、302、402に対する人の頭部の動きを記録することができる。一例として、視線追跡装置104、204、304、404は、カメラのそれぞれの焦点を(1つまたは複数の)人の目Eの(1つまたは複数の)瞳孔Pに合わせることによって、および、視覚ディスプレイ102、202、302、402全体にわたって知られている座標(H,V)を有する異なる間隔の位置にある一連の点を見ている間、人を静止させておくことによって、較正されることが可能である。このような視線追跡装置104、204、304、404は、例えば、SensoriMotorics Instrumentation (SMI)、Germany)から、商品名「EyeLink System」で市販されている。
他の視線追跡装置104、204、304、404を使用することができることを理解されたい。例えば、視線追跡装置104、204、304、404は、人の目Eに近接した皮膚の表面上の電極電位を生理学的に測定することから目Eの向きを推測することによって機能するように構成されることが可能である。その他の視線追跡装置104、204、304、404は、さらなる例として、EyeTracking、Inc.、6475 Alvarado Road、Suite 132、San Diego、California 92120 USAから市販されている。システム100、200、300、400は、1つまたは複数の視線追跡装置104、204、304、404を含むことができる。視線追跡装置104、204、304、404に関するさらなる背景情報は、次の文書に含まれており、ここにこれらすべてを完全に、参照により、システム100、200、300、400のそれぞれに関する、および方法500に関する、本明細書での説明に組み込む:2000年7月18日に発行されたMarshallの米国特許第6,090,051号、2000年8月15日に発行されたEdwardsの米国特許第6,102,870号、および、2007年12月20日に公開されたMarshallの特許公報第2007/0291232(A1)号。
システム100、200、300、400に含まれるように選択されるプロセッサ106、206、306、406は、例えば、視線追跡装置104、204、304、404からデータを受け取るのに好適な、および視覚ディスプレイ102、202、302、402を制御するのに好適ないかなる電子プロセッサであることも可能である。プロセッサ106、206、306、406はまた、例えば、視線追跡装置104、204、304、404の操作を制御するのに好適に選択されることが可能である。システム100、200、300、400および方法500に関連して説明する1つまたは複数の機能または方法の諸ステップは、ハードウェアおよび/またはソフトウェアで実装されたプロセッサ106、206、306、406によって実行されることが可能であることを理解されたい。また、方法500の諸ステップは、プロセッサ106、206、306、406内で実行されるソフトウェアにおいて完全に実施されることが可能である。さらに、例えばプロセッサ106、206、306、406は、システム100、200、300、400または方法500を構成するのに好適なアルゴリズムを実行することができる。プロセッサ106、206、306、406の例には、マイクロプロセッサ、汎用プロセッサ、デジタル信号プロセッサ、または特定用途向けデジタル集積回路が含まれる。プロセッサ106、206、306、406はまた、例えば、アクティブ・メモリ素子、ハード・ドライブ、バス、および入力/出力インタフェースなど、追加の構成要素を含むことができる。例えば、システム100、200、300、400の視覚ディスプレイ102、202、302、402およびプロセッサ106、206、306、406は、パーソナル・コンピュータによって集合的に実装されることが可能である。方法500がソフトウェアによって実行される場合、ソフトウェアは、ソフトウェア・メモリ(図示せず)に、および/またはソフトウェアを実行するために使用されるプロセッサ106、206、306、406にあることが可能である。ソフトウェア・メモリの中のソフトウェアは、論理関数を実行するために実行可能な命令を順序付きでリスト化することを含むことができ、プロセッサを含むシステムなどの命令実行システムによって、またはこれに関連して使用するために、いかなるデジタル機械可読媒体および/またはコンピュータ可読媒体で具体化されることも可能である。システム100、200、300、400は、1つまたは複数のプロセッサ106、206、306、406を含むことができる。
実施のさらなる例では、コンピュータ可読媒体(図示せず)が提供される。コンピュータ可読媒体は、視覚ディスプレイ102、202、302、402と、視線追跡装置104、204、304、404と、視覚ディスプレイ102、202、302、402および視線追跡装置104、204、304、404と通信しているプロセッサ106、206、306、406とを含むシステム100、200、300、400によって実行されるコンピュータ・コードを収容している。コンピュータ・コードは、カーソル112、212、312、412を視覚ディスプレイ102、202、302、402上に表示させるステップと、表示されたカーソル112、212、312、412のある部分への目Eの向きを検知させるステップと、検知された目Eの向きに応じて複数のカーソル・コマンドの中からあるカーソル・コマンドを実行させるステップとを含む方法500の諸ステップを、システム100、200、300、400に実行させるように動作可能である。さらなる例では、コンピュータ可読媒体は、システム100、200、300、400によって実行されるとき、他の種類の前述の方法500を行うことができるコンピュータ・コードを収容することができる。コンピュータ可読媒体の例には、次のものが含まれる:1つまたは複数の線を有する電気接続(電子)、持ち運び可能なコンピュータ・ディスケット(磁気)、ランダム・アクセス・メモリ(RAM、電子)、読出し専用メモリ「ROM」(電子)、消去書込み可能読出し専用メモリ(EPROMまたはFlashメモリ)(電子)、光ファイバ(光)、および持ち運び可能なコンパクト・ディスク読出し専用メモリ「CDROM」、「DVD」(光)。コンピュータ可読媒体は、さらなる例として、プログラムが印刷される紙または他の好適な媒体であることも可能であり、プログラムは、例えば、この紙または他の媒体を光学走査することによって、電子的に取り込まれ、次にコンパイルされ、解釈され、または必要に応じて好適な方法で他の処理をされ、次にコンピュータ・メモリに格納される。
例えば、従来のコンピュータ・マウス・ハードウェア・デバイスの代わりに、システム100、200、300、400を利用することができる。この例では、システム100、200、300、400は、視覚ディスプレイ102、202、302、402上に画面上のコンピュータ・マウス・カーソル112、212、312、412を生成する。システム100、200、300、400は、一例として、従来のコンピュータ・マウス・ハードウェア・デバイスで使用されているものと同じハードウェア・インタフェースおよびソフトウェア・インタフェースを利用することができる。例えば、システム100、200、300、400は、視覚ディスプレイ102、202、302、402上において画面上のコンピュータ・マウス・カーソル112、212、312、412のハンズフリー制御を容易にすることができる。画面上のコンピュータ・マウス・カーソル112、212、312、412のこのようなハンズフリー制御は、例として、身体障害者、または手および腕の反復動作による損傷を防ごうとする人々、またはカーソル112、212、312、412のハンズフリー制御が別の方法で役立つ可能性がある活動に従事する人々に役立つ可能性がある。さらに、例えば画面上のコンピュータ・マウス・カーソル112、212、312、412のこのようなハンズフリー制御は、従来のコンピュータ・マウス・ハードウェア・デバイスを使用するよりも速い、あるいはより効率的であることが可能である。またシステム100、200、300、400は、例として、ハンズフリー・キーボードと共に、または従来のコンピュータ・マウス・ハードウェア・デバイスと共に、利用されることが可能である。さらなる例では、システム100、200、300、400は、従来のコンピュータ・マウス・ハードウェア・デバイスの一部の機能または選択した機能に置き換えて利用されることが可能である。例えば、システム100、200、300、400は、従来のコンピュータ・マウス・ハードウェア・デバイスまたはキーボードによって行われることが可能であるいくつかの操作に利用されることが可能であるが、他の操作は、このような従来のコンピュータ・マウス・ハードウェア・デバイスまたはキーボードによって行われることが可能である。方法500およびコンピュータ可読媒体は、例えば、システム100、200、300、400に関連して説明した方法と類似した方法で実装されることが可能である。システム100、200、300、400の様々な例の特徴のそれぞれは、システム100、200、300、400のそれぞれ、およびすべてに関する本明細書での教示と一致して、所与の最終用途に選択されるように、特定のシステム100、200、300、400に含まれる、またはこれらから除外される可能性があることを理解されたい。システム100、200、300、400の様々な例は、方法500の変形物の類似例を示すこと、したがってシステム100、200、300、400のすべての説明全体は、方法500の説明およびコンピュータ可読媒体の説明に組み込まれると考えられることを理解されたい。同様に、方法500の様々な例は、本明細書で提供されるシステム100、200、300、400の変形物およびコンピュータ可読媒体の変形物の類似例を示し、したがって方法500の説明全体は、システム100、200、300、400の説明およびこのようなコンピュータ可読媒体の説明に組み込まれると考えられることを理解されたい。
なお、前述の数多くの例の説明を例示および説明の目的で提示したことは、理解されるであろう。この説明は網羅的ではなく、請求する発明を開示した正確な形態に限定しない。変更形態および変形形態が、上記の説明に照らして考えられる、または本発明を実践することから得られる可能性がある。特許請求の範囲およびその等価物が、本発明の範囲を定義する。

Claims (15)

  1. 視覚ディスプレイと、
    前記視覚ディスプレイへの目の向きを検知するよう構成された視線追跡装置と、
    前記視覚ディスプレイおよび前記視線追跡装置と通信するよう構成されたプロセッサと
    を含み、
    前記プロセッサが、前記視覚ディスプレイ上に画面上マウス・カーソルを表示させるよう構成され、前記画面上マウス・カーソルは周辺部を有し、前記周辺部内の前記画面上マウス・カーソルの一部分は、1つのカーソル・コマンドを実行するのに専用とされ、前記周辺部内の前記画面上マウス・カーソルの別の部分は、前記1つのカーソル・コマンドとは異なる別のカーソル・コマンドを実行するのに専用とされており、さらに、
    前記プロセッサが、前記視覚ディスプレイ上の前記画面上マウス・カーソルの前記一部分への検知された目の向きに応じて、前記1つのカーソル・コマンドを実行するよう構成される、システム。
  2. 前記プロセッサが、マウス・カーソル・ピックアップ・コマンド、ポイント・マウス・カーソル・コマンド、ドラッグ・カーソル・レフト・コマンド・コマンド、ダブル・マウス・レフト・クリック・コマンド、シングル・マウス・レフト・クリック・コマンド、ショウ・マウス・カーソル・メニュー・コマンド、ドラッグ・カーソル・アップ・コマンド、ドラッグ・カーソル・ダウン・コマンド、ハイド・マウス・カーソル・メニュー・コマンド、シングル・マウス・ライト・クリック・コマンド、ダブル・マウス・ライト・クリック・コマンド、ドラッグ・カーソル・ライト・コマンド、マウス・カーソル・ドロップ・コマンド、マウス・カーソル・ドラッグ−ドロップ・コマンド、クルーズ−コントロール−オン・コマンド、又は、クルーズ−コントロール−オフ・コマンドとして前記1つのカーソル・コマンドを実行するのに専用とされるカーソル・コマンド・アクチュエータとして、前記画面上マウス・カーソルの一部分を表示させるように構成される、請求項1に記載のシステム。
  3. 前記プロセッサが、マウス・カーソル・ピックアップ・コマンド、ポイント・マウス・カーソル・コマンド、ドラッグ・カーソル・レフト・コマンド・コマンド、ダブル・マウス・レフト・クリック・コマンド、シングル・マウス・レフト・クリック・コマンド、ショウ・マウス・カーソル・メニュー・コマンド、ドラッグ・カーソル・アップ・コマンド、ドラッグ・カーソル・ダウン・コマンド、ハイド・マウス・カーソル・メニュー・コマンド、シングル・マウス・ライト・クリック・コマンド、ダブル・マウス・ライト・クリック・コマンド、ドラッグ・カーソル・ライト・コマンド、マウス・カーソル・ドロップ・コマンド、マウス・カーソル・ドラッグ−ドロップ・コマンド、クルーズ−コントロール−オン・コマンド、又は、クルーズ−コントロール−オフ・コマンドとして前記別のカーソル・コマンドを実行するのに専用とされるカーソル・コマンド・アクチュエータとして、前記画面上マウス・カーソルの別の部分を表示させるように構成され、請求項に記載のシステム。
  4. 前記プロセッサが、前記視覚ディスプレイ上前記画面上マウス・カーソルの一部分の向きから、前記視覚ディスプレイの異なる部分への前記目の別の向きを有する目の動きを検知することに応じて、前記画面上マウス・カーソルを前記視覚ディスプレイ上で移動させるよう構成される、請求項1に記載のシステム。
  5. 前記プロセッサが、あらかじめ決められた時間値を、前記視覚ディスプレイ上前記画面上マウス・カーソルの前記一部分への前記目の向きの検知された時間長と比較するよう構成され、そして、前記プロセッサが、前記検知された時間が前記あらかじめ決められた時間値に達するとき、前1つのカーソル・コマンドを実行するよう構成される、請求項1に記載のシステム。
  6. 視覚ディスプレイ、視線追跡装置、ならびに前記視覚ディスプレイおよび前記視線追跡装置と通信しているプロセッサを提供するステップと、
    前記視覚ディスプレイ上に画面上マウス・カーソルを表示させるステップとを含み、前記画面上マウス・カーソルは周辺部を有し、前記周辺部内の前記画面上マウス・カーソルの一部分は、1つのカーソル・コマンドを実行するのに専用とされ、前記周辺部内の前記画面上マウス・カーソルの別の部分は、前記1つのカーソル・コマンドとは異なる別のカーソル・コマンドを実行するのに専用とされており、さらに
    前記視覚ディスプレイ上前記画面上マウス・カーソルの前記一部分への目の向きを検知させるステップと、
    前記画面上マウス・カーソルの前記一部分への検出された前記目の向きに応じて、前記1つのカーソル・コマンドを実行させるステップと
    を含む、方法。
  7. 前記画面上マウス・カーソルを表示させるステップが、マウス・カーソル・ピックアップ・コマンド、ポイント・マウス・カーソル・コマンド、ドラッグ・カーソル・レフト・コマンド、ダブル・マウス・レフト・クリック・コマンド、シングル・マウス・レフト・クリック・コマンド、ショウ・マウス・カーソルメニュー・コマンド、ドラッグ・カーソル・アップ・コマンド、ドラッグ・カーソル・ダウン・コマンド、ハイド・マウス・カーソル・メニュー・コマンド、シングル・マウス・ライト・クリック・コマンド、ダブル・マウス・ライト・クリック・コマンド、ドラッグ・カーソル・ライト・コマンド、マウス・カーソル・ドロップ・コマンド、マウス・カーソル・ドラッグ−ドロップ・コマンド、クルーズ−コントロール−オン・コマンド、又は、クルーズ−コントロール−オフ・コマンドとして前記1つのカーソル・コマンドを実行するのに専用とされるカーソル・コマンド・アクチュエータとして、前記画面上マウス・カーソルの一部分を表示させるステップを含む、請求項に記載の方法。
  8. 非一時的なコンピュータ可読媒体であって、視覚ディスプレイ、視線追跡装置、ならびに前記視覚ディスプレイおよび前記視線追跡装置と通信するよう構成されたプロセッサを含むシステムによって実行されるとき、
    前記視覚ディスプレイ上に画面上・マウスカーソルを表示させるステップを含み、前記画面上マウス・カーソルは周辺部を有し、前記周辺部内の前記画面上マウス・カーソルの一部分は、1つのカーソル・コマンドを実行するのに専用とされ、前記周辺部内の前記画面上マウス・カーソルの別の部分は、前記1つのカーソル・コマンドとは異なる別のカーソル・コマンドを実行するのに専用とされており、さらに
    前記視覚ディスプレイ上前記画面上マウス・カーソルの一部分への目の向きを検知させるステップと、
    前記画面上マウス・カーソルの前記一部分への検知された前記目の向きに応じて、前記1つのカーソル・コマンドを実行させるステップと
    を含むステップを前記システムに実行させるように動作可能であるコンピュータ・コードを含む、コンピュータ可読媒体。
  9. マウス・カーソル・ピックアップ・コマンド、ポイント・マウス・カーソルコマンド、ドラッグ・カーソル・レフト・コマンド、ダブル・マウス・レフト・クリック・コマンド、シングル・マウス・レフト・クリック・コマンド、ショウ・マウス・カーソル・メニュー・コマンド、ドラッグ・カーソル・アップ・コマンド、ドラッグ・カーソル・ダウン・コマンド、ハイド・マウス・カーソル・メニュー・コマンド、シングル・マウス・ライト・クリック・コマンド、ダブル・マウス・ライト・クリック・コマンド、ドラッグ・カーソル・ライト・コマンド、マウス・カーソル・ドロップ・コマンド、マウス・カーソル・ドラッグ−ドロップ・コマンド、クルーズ−コントロール−オン・コマンド、又は、クルーズ−コントロール−オフ・コマンドとして前記1つのカーソル・コマンドを実行するのに専用とされるカーソル・コマンド・アクチュエータとして、前記画面上マウス・カーソルの前記一部分を表示させるステップを含むステップを前記システムに実行させるように動作可能であるコンピュータ・コードをさらに含む、請求項に記載のコンピュータ可読媒体。
  10. 前記プロセッサは、あらかじめ決められた期間について前記視覚ディスプレイ上の前記画面上マウス・カーソルの前記一部分への目の向きを維持する、前記視覚ディスプレイ上の前記画面上マウス・カーソルの前記一部分への目の向きが閾値角度よりも変化する、前記視覚ディスプレイ上の前記画面上マウス・カーソルの前記一部分への向きから前記視覚ディスプレイの別の部分への向きに目が動く、または、あらかじめ決められた瞬目動作、として前記視覚ディスプレイ上の前記画面上マウス・カーソルの前記一部分への検出された目の動きを決定するように構成される、請求項1に記載のシステム。
  11. 前記プロセッサは、前記1つのカーソル・コマンドを実行するのに専用とされる前記カーソル・コマンド・アクチュエータと前記別のカーソル・コマンドを実行するのに専用とされる前記カーソル・コマンド・アクチュエータとを、前記画面上マウス・カーソルの前記周辺部の異なる位置に各々表示させるように構成される、請求項3に記載のシステム。
  12. 前記視覚ディスプレイ上の前記画面上マウス・カーソルの前記一部分への向きから、前記視覚ディスプレイの異なる部分への前記目の別の向きを有する目の動きを検知することに応じて、前記画面上マウス・カーソルを前記視覚ディスプレイ上で移動させるステップを含むステップを前記システムに実行させるように動作可能であるコンピュータ・コードをさらに含む、請求項8に記載のコンピュータ可読媒体。
  13. あらかじめ決められた期間について前記視覚ディスプレイ上の前記画面上マウス・カーソルの前記一部分への目の向きを維持する、前記視覚ディスプレイ上の前記画面上マウス・カーソルの前記一部分への目の向きが閾値角度よりも変化する、前記視覚ディスプレイ上の前記画面上マウス・カーソルの前記一部分への向きから前記視覚ディスプレイの別の部分への向きに目が動く、または、あらかじめ決められた瞬目動作、として前記視覚ディスプレイ上の前記画面上マウス・カーソルの前記一部分への目の向きを決定するステップを含むステップを前記システムに実行させるように動作可能であるコンピュータ・コードをさらに含む、請求項8に記載のコンピュータ可読媒体。
  14. マウス・カーソル・ピックアップ・コマンド、ポイント・マウス・カーソルコマンド、ドラッグ・カーソル・レフト・コマンド、ダブル・マウス・レフト・クリック・コマンド、シングル・マウス・レフト・クリック・コマンド、ショウ・マウス・カーソル・メニュー・コマンド、ドラッグ・カーソル・アップ・コマンド、ドラッグ・カーソル・ダウン・コマンド、ハイド・マウス・カーソル・メニュー・コマンド、シングル・マウス・ライト・クリック・コマンド、ダブル・マウス・ライト・クリック・コマンド、ドラッグ・カーソル・ライト・コマンド、マウス・カーソル・ドロップ・コマンド、マウス・カーソル・ドラッグ−ドロップ・コマンド、クルーズ−コントロール−オン・コマンド、又は、クルーズ−コントロール−オフ・コマンドとして前記別のカーソル・コマンドを実行するのに専用とされるカーソル・コマンド・アクチュエータとして、前記画面上マウス・カーソルの別の部分を表示させるステップを含むステップを前記システムに実行させるように動作可能であるコンピュータ・コードをさらに含む、請求項9に記載のコンピュータ可読媒体。
  15. 前記1つのカーソル・コマンドを実行するのに専用とされる前記カーソル・コマンド・アクチュエータと前記別のカーソル・コマンドを実行するのに専用とされる前記カーソル・コマンド・アクチュエータとを、前記画面上マウス・カーソルの前記周辺部の異なる位置に各々表示させるステップを含むステップを前記システムに実行させるように動作可能であるコンピュータ・コードをさらに含む、請求項14に記載のコンピュータ可読媒体。
JP2011548087A 2009-01-22 2010-01-21 電子データ入力システム Expired - Fee Related JP5528476B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/321,545 US20100182232A1 (en) 2009-01-22 2009-01-22 Electronic Data Input System
US12/321,545 2009-01-22
PCT/US2010/021585 WO2010085527A2 (en) 2009-01-22 2010-01-21 Electronic data input system

Publications (2)

Publication Number Publication Date
JP2012515986A JP2012515986A (ja) 2012-07-12
JP5528476B2 true JP5528476B2 (ja) 2014-06-25

Family

ID=42336540

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011548087A Expired - Fee Related JP5528476B2 (ja) 2009-01-22 2010-01-21 電子データ入力システム

Country Status (6)

Country Link
US (1) US20100182232A1 (ja)
EP (1) EP2389619A4 (ja)
JP (1) JP5528476B2 (ja)
KR (1) KR101331655B1 (ja)
CN (1) CN102292690B (ja)
WO (1) WO2010085527A2 (ja)

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IT1399456B1 (it) * 2009-09-11 2013-04-19 Sr Labs S R L Metodo e apparato per l'utilizzo di generiche applicazioni software attraverso controllo oculare e opportune metodologie di interazione.
US8922493B2 (en) * 2010-09-19 2014-12-30 Christine Hana Kim Apparatus and method for automatic enablement of a rear-face entry in a mobile device
JP5278461B2 (ja) * 2011-02-03 2013-09-04 株式会社デンソー 視線検出装置および視線検出方法
US8643680B2 (en) * 2011-04-08 2014-02-04 Amazon Technologies, Inc. Gaze-based content display
KR101773845B1 (ko) * 2011-05-16 2017-09-01 삼성전자주식회사 휴대용 단말기에서 입력 처리 방법 및 장치
US10120438B2 (en) * 2011-05-25 2018-11-06 Sony Interactive Entertainment Inc. Eye gaze to alter device behavior
KR20140041570A (ko) 2011-06-24 2014-04-04 톰슨 라이센싱 사용자의 눈 이동으로 동작가능한 컴퓨터 장치 및 컴퓨터 장치를 동작하는 방법
JP2013069211A (ja) * 2011-09-26 2013-04-18 Nec Casio Mobile Communications Ltd 表示装置、表示方法およびプログラム
EP2791790B1 (en) * 2011-12-14 2019-08-14 Intel Corporation Gaze activated content transfer system
KR101919010B1 (ko) * 2012-03-08 2018-11-16 삼성전자주식회사 안구 동작에 기초한 디바이스의 제어 방법 및 이를 위한 디바이스
HK1160574A2 (en) * 2012-04-13 2012-07-13 King Hei Francis Kwong Secure electronic payment system and process
JP2013225226A (ja) * 2012-04-23 2013-10-31 Kyocera Corp 情報端末、表示制御プログラムおよび表示制御方法
KR101850035B1 (ko) * 2012-05-02 2018-04-20 엘지전자 주식회사 이동 단말기 및 그 제어방법
US9317113B1 (en) 2012-05-31 2016-04-19 Amazon Technologies, Inc. Gaze assisted object recognition
US20140009395A1 (en) * 2012-07-05 2014-01-09 Asustek Computer Inc. Method and system for controlling eye tracking
TW201403454A (zh) * 2012-07-05 2014-01-16 Asustek Comp Inc 顯示畫面旋轉的方法及系統
CN102842301B (zh) * 2012-08-21 2015-05-20 京东方科技集团股份有限公司 显示画面调节装置、显示装置及显示方法
FR2995120B1 (fr) * 2012-09-05 2015-09-18 Dassault Aviat Systeme et procede de commande de la position d'un objet deplacable sur un dispositif de visualisation
CN103699210A (zh) * 2012-09-27 2014-04-02 北京三星通信技术研究有限公司 移动终端及其操控方法
US9746915B1 (en) * 2012-10-22 2017-08-29 Google Inc. Methods and systems for calibrating a device
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
TWI488070B (zh) * 2012-12-07 2015-06-11 Pixart Imaging Inc 電子裝置控制方法以及使用此電子裝置控制方法的電子裝置
DE102013003047A1 (de) 2013-02-22 2014-08-28 Audi Ag Verfahren und System zum blickrichtungsabhängigen Steuern einer Funktionseinheit
US20140247208A1 (en) * 2013-03-01 2014-09-04 Tobii Technology Ab Invoking and waking a computing device from stand-by mode based on gaze detection
US9864498B2 (en) 2013-03-13 2018-01-09 Tobii Ab Automatic scrolling based on gaze detection
CN105339866B (zh) 2013-03-01 2018-09-07 托比股份公司 延迟扭曲凝视交互
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
CN103257707B (zh) * 2013-04-12 2016-01-20 中国科学院电子学研究所 利用视线跟踪技术和常规鼠标控制设备的三维漫游方法
KR101540358B1 (ko) * 2013-06-27 2015-07-29 정인애 안구마우스 구현을 위한 키보드 유저 인터페이스 화면 제공 방법 및 제공 시스템
US9251333B2 (en) * 2013-08-29 2016-02-02 Paypal, Inc. Wearable user device authentication system
US10055016B2 (en) 2013-09-16 2018-08-21 Lg Electronics Inc. Image display apparatus and method for operating the same
US20150127505A1 (en) * 2013-10-11 2015-05-07 Capital One Financial Corporation System and method for generating and transforming data presentation
TWI489320B (zh) * 2013-10-25 2015-06-21 Utechzone Co Ltd 電子文件標記方法及裝置
US10558262B2 (en) 2013-11-18 2020-02-11 Tobii Ab Component determination and gaze provoked interaction
US10317995B2 (en) 2013-11-18 2019-06-11 Tobii Ab Component determination and gaze provoked interaction
EP3077867B1 (en) * 2013-12-06 2018-02-14 Telefonaktiebolaget LM Ericsson (publ) Optical head mounted display, television portal module and methods for controlling graphical user interface
JP6260255B2 (ja) * 2013-12-18 2018-01-17 株式会社デンソー 表示制御装置およびプログラム
CN103885592B (zh) * 2014-03-13 2017-05-17 宇龙计算机通信科技(深圳)有限公司 一种在屏幕上显示信息的方法及装置
WO2016003100A1 (en) * 2014-06-30 2016-01-07 Alticast Corporation Method for displaying information and displaying device thereof
US9952883B2 (en) 2014-08-05 2018-04-24 Tobii Ab Dynamic determination of hardware
JP6367673B2 (ja) * 2014-09-29 2018-08-01 京セラ株式会社 電子機器
CN104391567B (zh) * 2014-09-30 2017-10-31 深圳市魔眼科技有限公司 一种基于人眼跟踪的三维全息虚拟物体显示控制方法
CN104391572B (zh) * 2014-11-10 2017-08-22 苏州佳世达电通有限公司 具有眼球追踪功能的电子装置及其控制方法
US20180239442A1 (en) * 2015-03-17 2018-08-23 Sony Corporation Information processing apparatus, information processing method, and program
US20160331592A1 (en) * 2015-05-11 2016-11-17 Lincoln Global, Inc. Interactive helmet with display of welding parameters
CN105630148A (zh) * 2015-08-07 2016-06-01 宇龙计算机通信科技(深圳)有限公司 终端的显示方法、终端的显示装置和终端
CN105078404B (zh) * 2015-09-02 2017-05-10 北京津发科技股份有限公司 基于激光算法的全自动眼动追踪测距定标仪及其使用方法
CN106095111A (zh) * 2016-06-24 2016-11-09 北京奇思信息技术有限公司 根据用户眼部动作控制虚拟现实交互的方法
SK289010B6 (sk) 2016-10-17 2022-11-24 Ústav experimentálnej fyziky SAV, v. v. i. Spôsob interaktívnej kvantifikácie digitalizovaných 3D objektov pomocou kamery snímajúcej pohľad
CN107066085B (zh) * 2017-01-12 2020-07-10 惠州Tcl移动通信有限公司 一种基于眼球追踪控制终端的方法及装置
KR102518404B1 (ko) 2017-09-29 2023-04-06 삼성전자주식회사 전자 장치 및 그의 시선 정보를 이용한 컨텐트 실행 방법
TWI644260B (zh) * 2017-11-07 2018-12-11 佳世達科技股份有限公司 顯示裝置
CN109646784A (zh) * 2018-12-21 2019-04-19 华东计算技术研究所(中国电子科技集团公司第三十二研究所) 基于沉浸式vr的失眠障碍心理治疗***和方法
CN110489026A (zh) * 2019-07-05 2019-11-22 深圳市格上格创新科技有限公司 一种手持输入设备及其指示图标的消隐控制方法和装置
US20210132689A1 (en) * 2019-11-05 2021-05-06 Micron Technology, Inc. User interface based in part on eye movement
US20230015224A1 (en) * 2020-01-14 2023-01-19 Hewlett-Packard Development Company, L.P. Face orientation-based cursor positioning on display screens
CN113326849B (zh) * 2021-07-20 2022-01-11 广东魅视科技股份有限公司 一种可视化数据采集方法及***

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5360971A (en) * 1992-03-31 1994-11-01 The Research Foundation State University Of New York Apparatus and method for eye tracking interface
CA2126142A1 (en) * 1994-06-17 1995-12-18 David Alexander Kahn Visual communications apparatus
US6437758B1 (en) * 1996-06-25 2002-08-20 Sun Microsystems, Inc. Method and apparatus for eyetrack—mediated downloading
WO1999018842A1 (en) * 1997-10-16 1999-04-22 The Board Of Trustees Of The Leland Stanford Junior University Method for inferring mental states from eye movements
US6090051A (en) * 1999-03-03 2000-07-18 Marshall; Sandra P. Method and apparatus for eye tracking and monitoring pupil dilation to evaluate cognitive activity
JP2001100903A (ja) * 1999-09-28 2001-04-13 Sanyo Electric Co Ltd 視線検出機能搭載装置
US6456262B1 (en) * 2000-05-09 2002-09-24 Intel Corporation Microdisplay with eye gaze detection
US6637883B1 (en) * 2003-01-23 2003-10-28 Vishwas V. Tengshe Gaze tracking system and method
JP3810012B2 (ja) * 2003-08-11 2006-08-16 株式会社日立ケーイーシステムズ 障害者用パソコン入力装置
JP3673834B2 (ja) * 2003-08-18 2005-07-20 国立大学法人山口大学 眼球運動を用いた視線入力コミュニケーション方法
US7438418B2 (en) * 2005-02-23 2008-10-21 Eyetracking, Inc. Mental alertness and mental proficiency level determination
WO2007050029A2 (en) * 2005-10-28 2007-05-03 Tobii Technology Ab Eye tracker with visual feedback
GB0618979D0 (en) * 2006-09-27 2006-11-08 Malvern Scient Solutions Ltd Cursor control method
US8245156B2 (en) * 2008-06-28 2012-08-14 Apple Inc. Radial menu selection

Also Published As

Publication number Publication date
EP2389619A4 (en) 2014-07-16
WO2010085527A3 (en) 2010-11-04
CN102292690A (zh) 2011-12-21
KR101331655B1 (ko) 2013-11-20
EP2389619A2 (en) 2011-11-30
CN102292690B (zh) 2017-07-14
US20100182232A1 (en) 2010-07-22
KR20110098966A (ko) 2011-09-02
JP2012515986A (ja) 2012-07-12
WO2010085527A2 (en) 2010-07-29

Similar Documents

Publication Publication Date Title
JP5528476B2 (ja) 電子データ入力システム
JP7465952B2 (ja) 三次元環境と相互作用するためのデバイス、方法、及びグラフィカルユーザインタフェース
US10627900B2 (en) Eye-signal augmented control
ES2731560T3 (es) Interacción de mirada con deformación retardada
JP5807989B2 (ja) 注視支援コンピュータインターフェース
JP5900393B2 (ja) 情報処理装置、操作制御方法及びプログラム
ES2657948T3 (es) Acción contextual basada en oculómetro
EP1943583B1 (en) Eye tracker with visual feedback
US9864498B2 (en) Automatic scrolling based on gaze detection
US20150205351A1 (en) External user interface for head worn computing
US20160062118A1 (en) External user interface for head worn computing
US20160025980A1 (en) External user interface for head worn computing
KR101919009B1 (ko) 안구 동작에 의한 제어 방법 및 이를 위한 디바이스
US20140092015A1 (en) Method and apparatus for manipulating a graphical user interface using camera
JP5977808B2 (ja) 動作に関するバイオメトリックデータを使用して直近の既知のブラウジング位置の手がかりを提供すること
JP6524589B2 (ja) クリック動作検出装置,方法およびプログラム
WO2015170520A1 (ja) 情報処理システムおよび情報処理方法
KR102326489B1 (ko) 디스플레이를 제어하는 전자 장치 및 방법
KR20160109443A (ko) 시선 추적을 이용한 디스플레이 장치 및 방법
WO2017104272A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US10222866B2 (en) Information processing method and electronic device
CN117784926A (zh) 控制装置、控制方法和计算机可读存储介质
US9940900B2 (en) Peripheral electronic device and method for using same
JP7428390B2 (ja) 表示面内の表示位置移動指示システム
WO2015167531A2 (en) Cursor grip

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120423

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20120713

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130221

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130521

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130528

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130821

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140318

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140415

R150 Certificate of patent or registration of utility model

Ref document number: 5528476

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees