JP2016529635A - 凝視制御インターフェース方法およびシステム - Google Patents

凝視制御インターフェース方法およびシステム Download PDF

Info

Publication number
JP2016529635A
JP2016529635A JP2016538887A JP2016538887A JP2016529635A JP 2016529635 A JP2016529635 A JP 2016529635A JP 2016538887 A JP2016538887 A JP 2016538887A JP 2016538887 A JP2016538887 A JP 2016538887A JP 2016529635 A JP2016529635 A JP 2016529635A
Authority
JP
Japan
Prior art keywords
electronic
activatable
gaze
visual
button
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016538887A
Other languages
English (en)
Inventor
ジェラルド アルトゥル ノルベルト ウェーバー
ジェラルド アルトゥル ノルベルト ウェーバー
クリストフ ルッテロス
クリストフ ルッテロス
アブドル モイズ ペンカー
アブドル モイズ ペンカー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Auckland Uniservices Ltd
Original Assignee
Auckland Uniservices Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from AU2013903250A external-priority patent/AU2013903250A0/en
Application filed by Auckland Uniservices Ltd filed Critical Auckland Uniservices Ltd
Publication of JP2016529635A publication Critical patent/JP2016529635A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

ユーザが電子的表示画面に提示された電子的可視物と相互作用できるようにする凝視制御インターフェースシステム。本システムは、電子的可視物を提示するように構成された電子的表示画面と、表示画面上のユーザの凝視位置を感知し代表的な凝視信号を生成するように構成された視線追跡器とを有する。プロセッサは、ユーザが視線に基づき電子的可視物と相互作用できるようにするために凝視信号を受信し処理する。【選択図】図1

Description

本発明は、ユーザが視線を介し電子的可視物と相互作用できるようにする凝視制御インターフェースに関する。
日常的計算のための入力装置または計算装置として使用するために様々な凝視制御インターフェースが提案されてきた。視線追跡により指示することは比較的単純明快であるが、クリックなどの行為を行うために視線追跡を利用することは挑戦的課題である。不正確性と不注意なクリッキングが、計算装置の入力装置として視線追跡を利用する際に遭遇する主問題である。不正確性は、視線追跡器誤差により引き起こされ得る、または、ジッタとドリフト(および画素を指示する精度の欠如)を含む不随意眼球運動などの基本的制限から生じ得る。眼は、知覚(入力)器官であるのでコンピュータへ意図を伝える手段としてこれを利用する際に食い違いを生じるので、不注意なクリッキング(別名Midas touch problem)が発生する。
例えばハイパーリンク、ボタン、フィールドなどの活性化可能な要素または「活性化可能要素」に対して行為(または疑似マウスクリック)を行うために考案された技術は「クリック代替法」と呼ばれる。視線により行為を符号化するための様々なクリック代替法が提案されてきた。1つのクリック代替法は、滞留または固定と呼ばれ、視線が規定時間の間表示画面の同じ領域上に留まる(または固定する)と行為をトリガする。滞留クリック代替法は第1に、特に凝視領域内に多くの活性化可能要素が存在する場合不注意なクリッキングに悩まされる。このような問題に対処するために、滞留クリック代替法に対する改善は、複数の活性化可能要素が存在する場合、凝視されている領域を自動的に拡大することによりなされ得る。しかし、拡大は、画面上で見ることができる内容を低減することと視覚散漫などそれ自身の問題をもたらす。これに加えて、意識的な眼の制御は一般的には不自然であり疲れさせる。その結果、瞬き、ウィンク、または眼のジェスチャを利用するクリック代替法は一般的には好ましくない。
他の改善された滞留クリック代替法は確認ボタンと組み合わせて滞留を利用する。この設計は、確認工程を提供することにより不注意なクリッキングを制御しようとする。公知の一形式では、活性化可能要素上に留まれば単一確認ボタンがユーザへ一時的に提示される。確認ボタンは、活性化可能要素の近く、またはその隣に、またはそうでなければ画面の余白部内に提示され得る。活性化可能要素上に留まる際、ユーザは、活性化可能要素を「クリック」するためには確認ボタンを見てそしてそこに留まらなければならない。別の公知の形式では、それぞれが画面上のユーザの凝視領域内のそれぞれの活性化可能要素に対応する複数の確認ボタンが一時的に提示され得る。再び、複数の確認ボタンは、凝視領域の近くまたはその周囲に、またはそうでなければ主表示画面とは別の余白部内に提示され得る。単一確認ボタンを上回る複数確認ボタンの利点は、拡大と同様なやり方で視線追跡器の不正確性を補償することである。複数の確認ボタンを使用する際、ユーザは、どの確認ボタンがどの活性化可能要素に属するかを通知されなければならない。公知の一形式では、確認ボタン上の文字ラベルが活性化可能要素と一致する。別の公知の形式では、接続線が、活性化可能要素と関連付けられた確認ボタンとの間に引かれる。これらの形式では、一時的確認ボタンが電子的可視物を閉塞し、一時的な確認ボタンは視線が活性化可能要素間で移動するにつれてその位置を変更する。
滞留だけを利用することと比較して不注意クリックを低減するが、上記単一および複数の確認クリック代替法はユーザの気を散らし疲れさせ得る。第1に、このような手法は、ユーザが活性化可能要素上に留まると画面内容上にまたは余白内に出現しユーザが新しい活性化可能要素または一群の活性化可能要素上に留まると変化する一時的出現確認ボタンを利用する。ユーザが様々な領域内で凝視すると確認ボタンが絶え間なく出現しそして消え、非常に気が散る。加えて、確認ボタン上に留まることにより確認ボタンを作動させる前に、ユーザは、文字ラベルまたは接続線を介しクリックしようとした確認ボタンが活性化可能要素に対応するということを照査しなければならない。これにより、ユーザはその関連性を照合する(例えば、確認ボタン上の文字ラベルと活性化可能要素の文字とを照合する)ために、意図する活性化可能要素と確認ボタンとの間で視線を行ったり来たりするまたは接続線を追跡する必要があり得る。これは、ユーザが任意に提示された様々な確認ボタンを横断して正しいものを選択しなければならないので、複数確認ボタン手法の場合、非常に疲れ、時間がかかり得る。加えて、滞留時間閾値に依存して、確認ボタンは、ユーザが当該活性化可能領域から余白内に提示され得る確認ボタンまで視線を移動するにつれて変わり得る。凝視領域近くに提示されれば、確認ボタンは画面内容を閉塞し、散漫を引き起こし得る。
本明細書では、特許文書、他の外部文書または他の情報源が参照される場合、これは通常、本発明の特徴を論述するための文脈を提供することを目的とする。特記しない限り、このような外部文書への参照は、このような文献またはこのような情報源がいかなる法的意味においても従来技術であるまたは当該技術領域における一般的知識の一部をなすということを認めるものとして解釈されてはならない。
本発明は、ユーザが電子的可視物と相互作用できるようにするまたは少なくとも大衆に有益な選択肢を提供する改善された凝視制御インターフェース方法およびシステムを提供することを目的とする。
第1の態様では、本発明は概して、電子表示装置画面上に提示される電子的可視物とユーザが相互作用するための凝視制御インターフェースを提供する方法にある。本方法は、表示画面の近傍の既知の固定位置にそれぞれが異なる固定されたそれぞれのボタン視覚的識別子を有する多くの確認ボタンを設ける工程と、少なくとも1つのタイプの活性化可能要素を識別するために電子的可視物を処理する工程と、識別された活性化可能要素のそれぞれへ要素視覚的識別子を割り当てる工程であって、各要素視覚的識別子はボタン視覚的識別子の1つに対応する工程と、表示された活性化可能要素の少なくとも一部に割り当てられた要素視覚的識別子を提示するために電子的可視物の表示を修正する工程と、表示画面上のユーザの凝視位置を表す凝視信号を視線追跡器から受信する工程と、表示された電子的可視物の活性化可能要素上またはその近くに留まるユーザの視線を凝視信号に基づき感知する工程と、活性化された確認ボタンの作動が凝視された活性化可能要素の活性化を引き起こすように、確認ボタンが凝視された活性化可能要素へ一時的にリンクされるように、凝視された活性化可能要素へ割り当てられた要素視覚的識別子に対応するボタン視覚的識別子を有する確認ボタンを活性化する工程と、凝視信号に基づき、ユーザの視線が活性化された確認ボタン上に留まることに応じて、活性化された確認ボタンの作動を感知する工程と、活性化された確認ボタンの作動を感知することに応じて活性化可能要素を活性化する工程とを含む。
一実施形態では、本方法は、表示画面の近傍の既知の固定位置にそれぞれが異なる固定されたそれぞれのボタン視覚的識別子を有する所定数の確認ボタンを設ける工程を含む。
一実施形態では、確認ボタンは電子的表示画面上に提示される電子的に生成されたグラフィック確認ボタンである。
一実施形態では、本方法は、表示された電子的可視物に対して余白内に確認ボタンを設ける工程を含む。
一実施形態では、確認ボタンは、電子的可視物が表示されている間それぞれの固定位置に恒久的に提示されるという意味で静的である。
一実施形態では、確認ボタンは、電子的表示画面に隣接してまたはその周辺に設けられた物理的マーカまたは標的または指標の形式の物理的確認ボタンである。一形式では、確認ボタンは、電子的表示画面の1つまたは複数の枠部縁または境界、または電子的表示画面を提供する電子装置の筐体またはケースに沿って設けられる。別の形式では、物理的確認ボタンは、電子的表示画面または電子的表示画面を提供する電子装置へ後付け可能なパネルまたは枠上に設けられる。一実施形態では、物理的確認ボタンは印刷、マーキングまたはステッカにより提供される。
一実施形態では、ボタン視覚的識別子は色ベースであり、各確認ボタンには異なる色が関連付けられ、各要素視覚的識別子は確認ボタンの色のうちの1つに対応する。
一実施形態では、ボタン視覚的識別子はパターンベースであり、各確認ボタンには異なるパターンが関連付けられ、各要素視覚的識別子は確認ボタンのパターンのうちの1つに対応する。
一実施形態では、ボタン視覚的識別子は形状ベースであり、各確認ボタンには異なる形状が関連付けられ、各要素視覚的識別子は確認ボタンの形状のうちの1つに対応する。
一実施形態では、ボタン視覚的識別子は色、パターン、および/または形状のうちの任意の2つ以上の組み合わせに基づき、各確認ボタンには任意の2つ以上の色、パターン、および/または形状の組み合わせが関連付けられ、各要素視覚的識別子は確認ボタンに関連付けられた組み合わせの1つに対応する。
一実施形態では、本方法は、単一タイプの活性化可能要素を識別するために電子的可視物を処理する工程を含む。別の実施形態では、本方法は、複数のタイプの活性化可能要素を識別するために電子的可視物を処理する工程を含む。
一実施形態では、活性化可能要素は以下のタイプのうちの任意の1つまたは複数である:アイコン、ウィジェット、領域、メニュー、ボタン、フィールド、ハイパーリンク。
一実施形態では、各識別された活性化可能要素へ要素視覚的識別子を割り当てる工程は、同じまたは同様な要素視覚的識別子を有する活性化可能要素間の最小距離が最大化されるように要素視覚的識別子を割り当てる工程を含む。
一実施形態では、各識別された活性化可能要素へ要素視覚的識別子を割り当てる工程は、隣接活性化可能要素に関して、隣接活性化可能要素の割り当てられた要素視覚的識別子に対応するボタン視覚的識別子を有する確認ボタン間の距離が最大化されるように要素視覚的識別子を割り当てる工程を含む。
一実施形態では、割り当てられた要素視覚的識別子を提示するために電子的可視物の表示を修正する工程は、すべての表示された活性化可能要素の割り当てられた要素視覚的識別子を提示する工程を含む。別の実施形態では、割り当てられた要素視覚的識別子を提示するために電子的可視物の表示を修正する工程は、表示画面上のユーザの凝視位置を中心とした所定領域内で捕捉された表示された活性化可能要素の一部の割り当てられた要素視覚的識別子を動的に提示する工程を含む。
一実施形態では、割り当てられた要素視覚的識別子を提示するために電子的可視物の表示を修正する工程は、提示された電子的可視物の少なくとも一部の上に電子マスキングオーバーレイを設ける工程を含む。
一実施形態では、ボタンと要素視覚的識別子が色に対応する場合、マスキングオーバーレイは、ハイライトする、境界をつける、輪郭を描く、下線を引く、またはそうでなければ、表示のために、要素視覚的識別子の割り当てられた色を電子的可視物のそれぞれの活性化可能要素へ適用する。
一実施形態では、ボタンと要素視覚的識別子がパターンに対応する場合、マスキングオーバーレイは、ハイライトする、境界をつける、輪郭を描く、下線を引く、またはそうでなければ、表示のために、要素視覚的識別子の割り当てられたパターンを電子的可視物のそれぞれの活性化可能要素へ適用する。
一実施形態では、ボタンと要素視覚的識別子が形状に対応する場合、マスキングオーバーレイは、ハイライトする、境界をつける、輪郭を描く、下線を引く、またはそうでなければ、表示のために、要素視覚的識別子の割り当てられた形状を電子的可視物のそれぞれの活性化可能要素へ適用する。
別の実施形態では、割り当てられた要素視覚的識別子を提示するために電子的可視物の表示を修正する工程は、表示を修正するために、または電子的可視物内の活性化可能要素の描画を制御してそれぞれの割り当てられた要素視覚的識別子を表示するために電子的可視物のデータファイルを修正する工程を含む。
一実施形態では、電子的可視物の表示を修正する工程は、同じ割り当てられた要素視覚的識別子を有する活性化可能要素の距離間隔を増加するために活性化可能要素の相対位置を修正するために電子的可視物のレイアウトを修正する工程を含む。
一実施形態では、凝視信号に基づき活性化可能要素上またはその近くに留まるユーザの視線を感知する工程は、ユーザの視線が第1の時間閾値に対応する時間の間ほぼ静止していることを感知する工程を含む。一形式では、ユーザの視線は、第1の時間閾値に対応する時間の間、ユーザの凝視位置を表す各連続凝視信号サンプルが所定距離閾値またはパラメータにより規定された以前のサンプルの所定距離内に存在すればほぼ静止したと考えられる。一形式では、連続凝視位置サンプルは、サンプル位置の1つが他の凝視位置サンプルを中心とした所定の半径の円形の凝視領域内に入れば所定距離内に存在すると考えられる。
一実施形態では、本方法は、凝視されている活性化可能要素の割り当てられた要素視覚的識別子に対応するボタン視覚的識別子を有する確認ボタンだけを活性化する工程を含む。
別の実施形態では、本方法は、凝視信号により規定される、凝視されている凝視領域に対して所定の活性化区域の範囲に入る任意の活性化可能要素の割り当てられた要素視覚的識別子に対応するボタン視覚的識別子を有する任意の確認ボタンを活性化する工程を含む。一形式では、所定の活性化区域は、凝視領域の近傍の最大数の活性化可能要素を捕捉するが同じ割り当てられた要素視覚的識別子を有する活性化可能要素を捕捉しないサイズのものであるように構成される。
一実施形態では、活性化された確認ボタン上に留まるユーザの視線を感知する工程は、ユーザの視線が第2の時間閾値に対応する時間の間確認ボタン上にほぼ静止していることを感知する工程を含む。
一実施形態では、電子的可視物はウェブページ、文書またはグラフィックユーザインターフェースのうちの任意の1つである。
第2の態様では、本発明は広義には、電子表示装置画面上に提示される電子的可視物とユーザが相互作用するための凝視制御インターフェースを提供する方法にある。本方法は、表示画面の近傍の既知の固定位置にそれぞれが異なる固定されたそれぞれのボタン視覚的識別子を有する多くの確認ボタンを設ける工程と、少なくとも1つのタイプの活性化可能要素を識別するために電子的可視物を処理する工程と、識別された活性化可能要素のそれぞれへ要素視覚的識別子を割り当てる工程であって、各要素視覚的識別子はボタン視覚的識別子の1つに対応する工程と、表示された活性化可能要素の少なくとも一部に割り当てられた要素視覚的識別子を提示するために電子的可視物の表示を修正する工程と、表示画面上のユーザの凝視位置を表す凝視信号を視線追跡器から受信する工程と、ユーザが表示された電子的可視物を凝視すると、受信された凝視信号を表す凝視データを記録する工程と、確認ボタン上に留まるユーザの視線を凝視信号に基づき感知する工程と、凝視されている確認ボタンのボタン視覚的識別子に対応する割り当てられた要素視覚的識別子を有するどの活性化可能要素がユーザにより活性化されようとしているのかを判断するために、確認ボタンが凝視される前に記録された凝視データを解析する工程と、判断された活性化可能要素を活性化する工程とを含む。
一実施形態では、本方法は、表示された電子的可視物の活性化可能要素上またはその近くにユーザの視線があると感知された場合に凝視データを記録する工程を含む。
一実施形態では、凝視データを記録する工程はさらに、凝視信号と凝視信号に対して所定の区域の範囲に入る任意の近隣活性化可能要素を示すデータとを再びコード化する工程を含む。
一実施形態では、ユーザにより活性化される活性化可能要素を判断するために、記録された凝視データを解析する工程は、ユーザが所定時間閾値の間その上またはその近傍に極最近留まった活性化可能要素を選択する工程を含む。
一実施形態では、ユーザにより活性化される活性化可能要素を判断するために、記録された凝視データを解析する工程は、確認ボタンが凝視される前に一定の期間内で最長時間の間ユーザがその上またはその近傍に留まった活性化可能要素を選択する工程を含む。
一実施形態では、ユーザにより活性化される活性化可能要素を判断するために、記録された凝視データを解析する工程は、確認ボタンが凝視される前に凝視データにより表された凝視経路に基づき活性化可能要素を選択する工程を含む。この実施形態では、本方法はさらに、選択から、ユーザにより活性化される可能性が最も高い活性化可能要素と凝視された確認ボタン間の凝視経路上に偶然の一致だけで存在すると判断された活性化可能要素を排除する工程を含む。
一実施形態では、ユーザにより活性化される活性化可能要素を判断するために、記録された凝視データを解析する工程は、判定基準の組み合わせに基づき活性化可能要素を選択する工程を含む。
一実施形態では、判断された活性化可能要素を活性化する工程は、ユーザの視線が所定時間閾値に対応する時間の間確認ボタン上に留まったということが凝視信号に基づき感知された場合だけ、判断された活性化可能要素を活性化する工程を含む。
本発明の第2の態様は、本発明の第1の態様に関する上記特徴の任意の1つまたは複数を有し得る。
第3の態様では、本発明は概して、電子的表示画面上に提示される電子的可視物とユーザが相互作用できるようにするための凝視制御インターフェースシステムにある。本凝視制御インターフェースシステムは、電子的可視物を提示するように構成された電子的表示画面と、表示画面上のユーザの凝視位置を感知するとともに代表的凝視信号を生成するように構成された視線追跡器と、表示画面と視線追跡器に作動可能に接続されたプロセッサであって、本発明の第1または第2の態様の任意の1つの方法を実行するようにプログラムされるプロセッサとを含む。
第4の態様では、本発明は概して、1つまたは複数の処理装置上で実行されると1つまたは複数の処理装置に本発明の第1または第2の態様の方法の任意の1つを実行させるコンピュータ実行可能命令を格納した非一時的コンピュータ可読媒体にある。
また説明するのは、電子表示装置画面上に提示される電子的可視物とユーザが相互作用するための凝視制御インターフェースを提供する方法を含む第5の態様である。本方法は、表示画面の近傍の既知の固定位置にそれぞれが異なる固定されたそれぞれのボタン視覚的識別子を有する多くの確認ボタンを設ける工程と、少なくとも1つのタイプの活性化可能要素を識別するために電子的可視物を処理する工程と、識別された活性化可能要素のそれぞれへ要素視覚的識別子を割り当てる工程であって、各要素視覚的識別子はボタン視覚的識別子の1つに対応する工程と、表示された活性化可能要素の少なくとも一部に割り当てられた要素視覚的識別子を提示するために電子的可視物の表示を修正する工程と、表示画面上のユーザの凝視位置を表す凝視信号を視線追跡器から受信する工程と、表示された電子的可視物の活性化可能要素上またはその近くの凝視領域内に留まるユーザの視線を凝視信号と第1の時間閾値とに基づき感知する工程と、凝視された凝視領域に最も近い活性化可能要素の要素視覚的識別子に対応するボタン視覚的識別子を有する確認ボタンを少なくとも活性化する工程と、凝視信号と第2の時間閾値とに基づき、活性化された確認ボタン上の凝視領域内に留まるユーザの視線を感知する工程と、活性化された確認ボタンが凝視されることに応じて活性化可能要素を活性化する工程とを含む。
一実施形態では、本方法は、表示画面の近傍の既知の固定位置にそれぞれが異なる固定されたそれぞれのボタン視覚的識別子を有する所定数の確認ボタンを設ける工程を含む。
一実施形態では、確認ボタンは、電子的表示画面上に提示される電子的に生成されたグラフィック確認ボタンである。一形式では、確認ボタンは、電子的可視物を表示する主画面部の外部にある余白領域内に提示される。この実施形態では、確認ボタンは、電子的可視物が表示されている間それぞれの固定位置に恒久的に提示されるという意味で静的である。
別の実施形態では、確認ボタンは、電子的表示画面に隣接してまたはその周辺に設けられた物理的マーカまたは標的または指標の形式の物理的確認ボタンである。一形式では、確認ボタンは、電子的表示画面の1つまたは複数の枠部縁または境界、または電子的表示画面を提供する電子装置の筐体またはケースに沿って設けられ得る。例えば、物理的確認ボタンは印刷されてもよいし、マーカ、ステッカであってもよいし、またはそうでなければ電子的表示画面を囲む筐体またはケースの表面へ形成または固定されてもよい。
一実施形態では、ボタン視覚的識別子は、各確認ボタンに関連付けられた異なる色などの色ベースである。このような実施形態では、各要素視覚的識別子は確認ボタンの色の1つに対応する。別の実施形態では、ボタン視覚的識別子は各確認ボタンに関連付けられた異なるパターンなどのパターンベースである。このような実施形態では、各要素視覚的識別子は確認ボタンのパターンの1つに対応する。別の実施形態では、ボタン視覚的識別子は、方向を指示するような形状であり、例えば、時計の文字盤メタファ(例えば、3時方向)または羅針盤または矢印などの方向を示すための周知の記法である。このような実施形態では、各要素視覚的識別子は確認ボタンの形状の1つに対応する。
一実施形態では、電子的可視物は、単一タイプの活性化可能要素または複数のタイプの活性化可能要素を含み得る。一形式では、電子的可視物は、以下の形式の任意の1つまたは複数の活性化可能要素を含み得る:ハイパーリンク、ボタン、フィールド、または電子的可視物の文脈では任意の他の形式の相互作用可能、クリック可能、または作動可能要素。
一実施形態では、各識別された活性化可能要素へ要素視覚的識別子を割り当てる工程は、同じ要素視覚的識別子または同様な要素視覚的識別子を有する活性化可能要素間の距離が最大化されるように要素視覚的識別子を割り当てる工程を含む。別の実施形態では、電子的可視物内の同じまたは同様な要素視覚的識別子間の最小距離が最大化される。さらに別の実施形態では、隣接活性化可能要素に対応する確認ボタン間の距離が最大化される。
一実施形態では、割り当てられた要素視覚的識別子を提示するために電子的可視物の表示を修正する工程は、すべての表示された活性化可能要素の割り当てられた要素視覚的識別子を提示する工程を含む。別の実施形態では、割り当てられた要素視覚的識別子を提示するために電子的可視物の表示を修正する工程は、表示画面上のユーザの凝視位置を中心とした所定領域内で捕捉された表示された活性化可能要素の一部の割り当てられた要素視覚的識別子を動的に提示する工程を含む。
一実施形態では、割り当てられた要素視覚的識別子を提示するために電子的可視物の表示を修正する工程は、提示された電子的可視物の少なくとも一部の上にスクリーンまたはマスキングオーバーレイを設ける工程を含む。一形式では、ボタンと要素視覚的識別子が色に対応する場合、マスキングオーバーレイは、ハイライトする、境界をつける、輪郭を描く、下線を引く、またはそうでなければ要素視覚的識別子の割り当てられた色を電子的可視物のそれぞれの活性化可能要素へ適用する。別の形式では、ボタンと要素視覚的識別子がパターンに対応する場合、マスキングオーバーレイは、ハイライトする、境界をつける、輪郭を描く、下線を引く、またはそうでなければ、要素視覚的識別子の割り当てられたパターンをそれぞれの活性化可能要素へ適用する。別の形式では、ボタンと要素視覚的識別子が形状に対応する場合マスキングオーバーレイは、ハイライトする、境界をつける、輪郭を描く、下線を引く、またはそうでなければ、要素視覚的識別子の割り当てられた形状をそれぞれの活性化可能要素へ適用する。
別の実施形態では、割り当てられた要素視覚的識別子を提示するために電子的可視物の表示を修正する方法は、表示を修正するために、または電子的可視物内の活性化可能要素の描画を制御してそれぞれの割り当てられた要素視覚的識別子の色またはパターンまたは形状を有するために電子的可視物のデータファイルを修正する工程を含む。別の形式では、電子的可視物のレイアウトは、活性化可能要素の相対位置を変更するために、例えば、特には、同じ要素視覚的識別子が割り当てられる場合に活性化可能要素の距離間隔を増加するために修正される。
一実施形態では、凝視信号と第1の時間閾値とに基づき活性化可能要素上またはその近くに留まるユーザの視線を感知する工程は、ユーザの視線が第1の時間閾値に対応する時間の間ほぼ静止していることを感知する工程を含む。一形式では、ユーザの視線は、第1の時間閾値に対応する時間の間ユーザの凝視位置を表す各連続凝視信号サンプルが以前のサンプルの近くにあればほぼ静止したと考えられる。一形式では、凝視点サンプルは、所定距離閾値またはパラメータにより規定された所定距離内に存在すれば、互いに近くにあると考えられる。一例では、連続凝視位置サンプルは、サンプル位置の1つが他の凝視位置サンプルを中心とした所定の半径の円形の凝視領域内に入れば、互いに近くにあると考えられる。
一実施形態では、本方法は、凝視されている活性化可能要素の割り当てられた要素視覚的識別子に対応するボタン視覚的識別子を有する確認ボタンだけを活性化する工程を含む。
別の実施形態では、本方法は、凝視領域に対して所定の活性化区域の範囲に入る任意の活性化可能要素の割り当てられた要素視覚的識別子に対応するボタン視覚的識別子を有する任意の確認ボタンを活性化する工程を含む。一形式では、所定の活性化区域は、凝視領域の近傍の最大数の活性化可能要素を捕捉するが同じ要素視覚的識別子を有する活性化可能要素を捕捉しないサイズのものであるように構成される。
一実施形態では、活性化可能要素の確認ボタンを活性化する工程は、確認ボタンの作動が対応するまたはリンクされた活性化可能要素の活性化を引き起こすように、すなわち、あたかも活性化可能要素がマウスによりクリックされたまたはタッチ入力された(タッチスクリーンディスプレイインターフェースの文脈では)かのように、活性化された確認ボタンの作動が同じ結果を生じるように、確認ボタンを活性化可能要素へ一時的にリンクするまたは割り当てる工程を含む。
一実施形態では、活性化された確認ボタン上に留まるユーザの視線を感知する工程は、ユーザの視線が第2の時間閾値に対応する時間の間確認ボタン上にほぼ静止していることを感知する工程を含む。
一実施形態では、電子的可視物はウェブページであり、活性化可能要素は少なくともハイパーリンクを含む。この実施形態では、本方法はウェブブラウザの文脈で行われるので、凝視制御インターフェースはユーザが表示ウェブページと相互作用できるようにするウェブブラウザへのユーザ入力である。
また説明するのは、電子表示装置画面上に提示される活性化可能要素とユーザが相互作用するための凝視制御インターフェースを提供する方法を含む第6の態様である。本方法は、表示画面の近傍の既知の固定位置にそれぞれが他の確認ボタンから視覚的に識別可能な多くの確認ボタンを設ける工程と、活性化された確認ボタンの作動が、その一時的にリンクされた活性化可能要素の活性化を引き起こすように、所定の割り当て構成に基づきユーザの視線内の活性化可能要素に一時的にリンクされる確認ボタンを動的に活性化する工程とを含む。
また説明するのは、電子表示装置画面上に提示される活性化可能要素とユーザが相互作用するための凝視制御インターフェースを提供する方法を含む第7の態様である。本方法は、表示画面の近傍の既知の固定位置にそれぞれが他の確認ボタンから視覚的に識別可能な多くの確認ボタンを設ける工程と、活性化された確認ボタンの作動が、その一時的にリンクされた活性化可能要素の活性化を引き起こすように、所定の割り当て構成に少なくとも部分的に基づき活性化可能要素に一時的にリンクされる確認ボタンを動的に活性化する工程とを含む。
また説明するのは、マルチ確認ボタン凝視制御インターフェースにおいて確認ボタンと電子的表示画面上に表示される活性化可能要素とをリンクする方法を含む第8の態様である。本方法は、表示画面上のまたはそれに対する固定位置に設けられる複数の確認ボタンのうちの1つの外観に対応する外観を有するように表示活性化可能要素を修正する工程と、表示画面上のユーザの視線内の活性化可能要素と一時的にリンクするために確認ボタンを活性化する工程であって、凝視中の活性化可能要素に対応する外観を有する確認ボタンが活性化される工程とを含む。
また説明するのは、確認ボタンとマルチ確認ボタン凝視制御インターフェース内の電子的表示画面上に表示される活性化可能要素とをリンクする方法を含む第9の態様である。本方法は、表示画面上のまたはそれに対する固定位置に設けられる複数の確認ボタンのうちの1つの外観に対応する外観を有するように表示活性化可能要素を修正する工程と、確認ボタンの作動が一時的にリンクされた活性化可能要素の活性化を引き起こすように、現在または以前のユーザの視線を表す凝視データに少なくとも部分的に基づき、確認ボタンに対応する外観を有する表示画面上の活性化可能要素と一時的にリンクするために確認ボタンを活性化する工程とを含む。
また説明するのは、電子表示装置画面上に提示される電子的可視物とユーザが相互作用するための凝視制御インターフェースを提供する方法を含む第10の態様である。本方法は、表示画面の近傍の既知の固定位置にそれぞれが異なる固定されたそれぞれのボタン視覚的識別子を有する多くの確認ボタンを設ける工程と、少なくとも1つのタイプの活性化可能要素を識別するために電子的可視物を処理する工程と、識別された活性化可能要素のそれぞれへ要素視覚的識別子を割り当てる工程であって、各要素視覚的識別子はボタン視覚的識別子の1つに対応する工程と、表示された活性化可能要素の少なくとも一部に割り当てられた要素視覚的識別子を提示するために電子的可視物の表示を修正する工程と、表示画面上のユーザの凝視位置を表す凝視信号を視線追跡器から受信する工程と、表示された電子的表示画面の活性化可能要素上またはその近くに留まるユーザの視線を凝視信号に基づき感知する工程と、活性化された確認ボタンの作動が凝視された活性化可能要素の活性化を引き起こすように、凝視された活性化可能要素へ割り当てられた要素視覚的識別子に対応するボタン視覚的識別子を有する確認ボタンを活性化する工程と、凝視信号に基づきユーザの視線が活性化された確認ボタン上に留まることに応じて、活性化された確認ボタンの作動を感知する工程と、活性化された確認ボタンの作動を感知することに応じて活性化可能要素を活性化する工程とを含む。
また説明するのは、ユーザが電子表示装置画面上に提示された電子的可視物と相互作用できるようにするための凝視制御インターフェースを含む第11の態様である。本凝視制御インターフェースは、電子的可視物を提示するように構成された電子的表示画面と、表示画面上のユーザの凝視位置を感知するとともに代表的凝視信号を生成するように構成された視線追跡器と、表示画面と視線追跡器に作動可能に接続されたプロセッサであって、前述の態様のうちの任意の1つの方法を実行するようにプログラムされるプロセッサとを含む。
また説明するのは、前述の態様のうちの任意の1つの方法を実行するように構成されるハードウェアシステムまたはプロセッサを含む第12の態様である。
また説明するのは、処理装置上で実行されると処理装置に前述の方法のうちの任意の1つを実行させるコンピュータ実行可能命令を格納した非一時的コンピュータ可読媒体を含む第13の態様である。
第5〜第13の態様は第1〜第4の態様に関し述べた任意の1つまたは複数の特徴を有し得る。
本明細書と特許請求の範囲に使用される語句「確認ボタン」は、文脈が別途示唆しない限り、電子的表示画面または物理的ボタン表示上に主として2次元形式で表された電子的に生成されたグラフィックボタン、例えば、ステッカの形式またはボタンを表す他の物理的構成などで恒久的に張り付けられるか一時的に張り付けられるかに関わらず、設けられる周囲面に対して3次元で浮き彫りにされるまたは突出するものを含む印刷されたボタンマーカまたは標的または指標など、および触覚的に作動されるボタンとは対照的に視線標的または視線標的位置を表すボタンを意味することを意図している。
本明細書と特許請求の範囲において交換可能に使用される語句「活性化可能な要素」または用語「活性化可能要素」は、文脈が別途示唆しない限り、通常はクリック可能、選択可能、または作動可能であろう電子的可視物またはグラフィックユーザインターフェース(GUI)内の任意の形式の活性化可能、作動可能、または相互作用可能要素またはオブジェクト、または、従来の電子的入力インターフェースにより活性化される任意の他のやり方であろうキーボード、マウスポインタまたはタッチスクリーンディスプレイ上のタッチ入力などを意味するように意図され、例えば、文字または画像ハイパーリンク、ボタンまたは選択可能フィールドの形式の活性化可能要素を含むウェブページの形式の電子的可視物を含み、またはアプリケーションプログラムと活性化可能要素とを制御するためのグラフィックユーザインターフェース(GUI)の形式の電子的可視物の文脈では、動作可能なグラフィックアイコン、ウィジェット、エリア、メニュー、ボタン、フィールド、他のユーザインターフェース要素などを含み得る。ここで、用語「クリックする」、「選択する」または「作動する」は、活性化可能要素に対して行為を行ういくつかのやり方を示すために同義的に使用される例である。
本明細書と特許請求の範囲において使用される語句「電子的可視物」は、文脈が別途示唆しない限り、ウェブページ、ワープロ文書、ウェブブラウザにより描画されるインターラクティブメディア文書、ワープロアプリケーションまたは他の文書アプリケーションなどの電子メディアコンテンツを含む電子的表示画面上に提示されるまたは提示可能な電子的可視表示物の任意の形式、またはそうでなければアプリケーションプログラムまたはソフトウェアのユーザ相互作用または操作または制御に関連するグラフィックユーザインターフェース(GUI)の形式の電子的可視物を意味するように意図されている。
本明細書と特許請求の範囲において使用される用語「余白」は、文脈が別途示唆しない限り、どのように電子物が表示されるかに依存して、余白が、動作可能表示画面領域の動的に変化する部分または部分群のいずれかであると考えられるように、提示される電子的可視物のコンテンツの外部またはその周囲の辺りの表示画面上の領域、またはスタンドアロン装置か電子装置の一部の部品かに関わらず余白が表示画面の動作可能領域を囲むまたはそれと境界をなす筐体、枠または本体の専用部分または部分群であると考えられ得るように、表示画面の動作可能領域の外側またはその周囲の辺りの領域のいずれかを意味するように意図されている。
本明細書と特許請求の範囲において使用される用語「含む」は「から少なくとも部分的に構成される」を意味する。用語「含む」を含む本明細書と特許請求の範囲内の各記述を解釈する際、その用語に先行する特徴または特徴群以外の特徴もまた存在し得る。「含む」の関連文法的活用語も同様に解釈されるものとする。
数の範囲
本明細書において開示される数の範囲(例えば、1〜10)への参照はまた、その範囲内のすべての有理数(例えば、1、1.1、2、3、3.9、4、5、6、6.5、7、8、9および10)とその範囲内の任意の範囲の有理数(例えば、2〜8、1.5〜5.5および3.1〜4.7)への参照を含むように意図されており、したがって、本明細書では明示的に開示されるすべての範囲のすべての下位範囲がこれにより明示的に開示される。これらは特に意図されたものの単に一例であり、列挙された最小値と最高値間の数値の全ての可能な組み合わせが同様なやり方で本出願において明示的に述べられたと考えるべきである。
本明細書で使用されるように、用語「および/または」は「および」または「または」またはその両方を意味する。
本明細書で使用されるように、英語名詞に続く「s」は名詞の複数形および/または単数形を意味する。
本発明は、前述のものからなり、また以下ではその単なる例を与える構築を目論む。
本発明の好ましい実施形態について単に一例として、添付図面を参照して説明する。
本発明の実施形態による凝視制御インターフェースを実現するシステムの典型的ハードウェア部品および構成の概要図である。 「活性化閾値」アルゴリズムを使用して実施される本発明の第1の実施形態による凝視制御インターフェース方法の状態図である。 「帰納的解析」アルゴリズムを使用して実施される本発明の第2の実施形態による凝視制御インターフェース方法の状態図である。 図2A、2Bの実施形態に使用される凝視制御インターフェース方法の視覚的識別子割り当て下位アルゴリズムの第1の形式の流れ図である。 図2A、2Bの実施形態に使用される凝視制御インターフェース方法の視覚的識別子割り当て下位アルゴリズムの第2の形式である。 図2A、2Bの実施形態に使用される凝視制御インターフェース方法の活性化可能滞留下位アルゴリズムの流れ図である。 デスクトップコンピュータの電子的表示画面の概略図であり、表示画面の右側の余白内に電子的に生成されたグラフィック確認ボタンを示す。 ウェブページを描画することによる図6のデスクトップコンピュータによる実施の例を示す。 電子的表示画面を囲む筐体またはケースの一部分上に設けられる物理的確認ボタン表現を利用することにより凝視制御インターフェースを実現するタブレットコンピュータの概略図を示す。 電子的表示画面を囲む筐体またはケースの一部分上に設けられる物理的制御ボタン表現を利用することにより凝視制御インターフェースを実現するスマートフォンの概略図を示す。
以下の説明では、実施形態を完全に理解するためにいくつかの具体的詳細が説明される。しかし、実施形態がこれらの特定の詳細無しに実行され得るということは当業者により理解されることになる。例えば、ソフトウェアモジュール、機能、回路などは、実施形態を不必要な詳細で不明瞭にしないためにブロック図で示され得る。別の事例では、周知のモジュール、構造および技術は、実施形態を不明瞭にしないために、詳細には示されないかもしれない。
また、実施形態は、フローチャート、流れ図、構造図、またはブロック図として描写される処理として説明され得るということに注意すべきである。フローチャートは動作を逐次処理として説明し得るが、動作の多くは並列にまたは同時に行われ得る。加えて、動作の順序は再配置され得る。処理は、その動作が完了すると終了する。処理は、コンピュータプログラムまたはハードウェア内の方法、機能、手順、サブルーチン、サブプログラムなどに対応し得る。処理が機能に対応する場合、その終了は、呼び出し機能または主機能へ機能が戻ることに対応する。
以下に述べられるシステムと方法の態様は、限定しないがデスクトップ、ラップトップ、ノート、タブレットまたは携帯デバイスを含む任意のタイプの汎用コンピュータシステムまたは計算装置上で動作可能かもしれない。用語「携帯装置」は、限定しないが、無線装置、スマートフォン、携帯電話、モバイル通信装置、ユーザ通信装置、個人用デジタル情報処理端末、モバイルハンドヘルドコンピュータ、ラップトップコンピュータ、ウエアラブルコンピュータ(眼鏡を含む)、電子的コンテンツを読むことができる電子ブックリーダおよびリーダ装置、および/または個人により通常持ち運ばれる他のタイプの携帯装置を含む。
1.概要
本発明は、限定しないが計算または処理装置により電子的表示画面上に提示されるウェブページまたはグラフィックユーザインターフェースなどの電子的可視物とユーザが相互作用できるようにする凝視制御インターフェース方法およびシステムに関する。凝視制御インターフェース方法は、滞留と所定の固定位置に設けられる複数の静的確認ボタンとに基づく。さらに説明するように、複数の確認ボタンは、色および/またはパターンおよび/または形状などそれぞれのボタン視覚的識別子を介し視覚的に互いに区別可能である。
動作中、凝視制御インターフェース方法は、特定タイプまたは多くのタイプの活性化可能要素の電子的可視物表示画面を解析し、要素視覚的識別子を、ボタン視覚的識別子のうちの1つに対応する各活性化可能要素(例えば、ウェブページの文脈ではハイパーリンク、ボタン、フィールドまたは任意の他のクリック可能または相互作用可能アイテムまたはオブジェクト)へ割り当てる。この割り当て後、電子的可視物は、割り当てられた要素視覚的識別子をそれぞれの活性化可能要素へ提示または貼り付けるオーバーレイにより修正またはマスクされる。ユーザが凝視している表示画面の一部分の要素視覚的識別子が順次かつ動的に露呈または提示され得る。代替的に、表示画面上で捕捉されたすべての活性化可能要素の割り当てられた要素視覚的識別子が提示または露呈され得る。この割り当て処理により、各活性化可能要素は、色関連性、パターン関連性および/または形状関連性を介し複数の確認ボタンのうちの1つと視覚的に関連付けまたはリンクされ得る割り当てられた要素視覚的識別子を有する。色ベースの可視関連性の文脈では、例えば赤色を割り当てられたハイパーリンクは赤色確認ボタンにより活性化可能であろう、青色を割り当てられたハイパーリンクは青色確認ボタンにより活性化可能であろう、緑色を割り当てられたハイパーリンクは緑色確認ボタンにより活性化可能であろう、等々である。
確認ボタンは、いかなる特定の個々の活性化可能要素にもリンクされないので確認ボタン上に留まることによる作動がいかなる行為も生じないように、当初不活性であるすなわち生きていない。凝視制御インターフェース方法は、一実施形態ではユーザが電子的可視物内のどこで凝視しているかに基づきまたはそうでなければ第2の実施形態ではユーザが電子的可視物内のどこで凝視してきたかに基づき、確認ボタンを動的に活性化するまたはそれらの関連活性化可能要素のうちの1つへ割り当てるように構成される。
一例として、第1の実施形態では、ユーザが留まっていれば、すなわち視線が電子的可視物の特定の凝視領域内でほぼ静止してれば、インターフェースアルゴリズムは、凝視領域内の最も近い活性化可能要素に少なくとも対応する確認ボタンと、通常はまた、凝視領域内またはその近くの任意の他の近い活性化可能要素に関連付けられた他の確認ボタンとを活性化する。確認ボタンの活性化は、確認ボタンがそのボタン視覚的識別子に対応する要素視覚的識別子を有する活性化可能要素へ一時的に関連付けられるまたはリンクされるということを意味する。ユーザが活性化された確認ボタン上に留まれば、インターフェースアルゴリズムは関連付けられた活性化可能要素を作動する(すなわち、これは活性化可能要素上のタッチ入力またはマウスクリックと等価である)。ユーザの視線が活性化された確認ボタンのうちのいかなるものも作動しないが活性化可能要素の新しい領域を横切るまたは凝視すれば、確認ボタンは、凝視された任意の新しい活性化可能要素に対し動的に非活性化および/または再活性化される。この「活性化閾値」実施形態については後でさらに説明する。
一例として、第2の実施形態では、インターフェースアルゴリズムは、ユーザが電子的可視物内の活性化可能要素近くに留まると、凝視信号に基づきユーザの視線を表す凝視データを記録または格納するように構成される。何時でもユーザが確認ボタンに留まれば、インターフェースアルゴリズムは、ユーザが作動させる可能性が最も高い活性化可能要素を発見するために、記録された凝視データを解析するように構成される。ユーザが作動させる可能性が高い活性化可能要素が識別されれば、記録された凝視データと凝視された確認ボタンとに基づき、この活性化可能要素が作動される。特に、凝視された確認ボタンが、活性化される、すなわち識別された活性化可能要素と一時的に関連付けまたはリンクされ、関連付けられた識別された活性化可能要素が作動される。本質的に、この第2の実施形態では確認ボタンの活性化工程と確認ボタンの作動工程は同時に発生する。または確認ボタンの活性化工程と確認ボタンの作動工程は単一工程と見なされ得る。この「帰納的解析」実施形態については後でさらに説明する。
いずれの実施形態においても、確認ボタンは、静的であり位置が固定されるので、ユーザの周辺視野の妨げとならなく、それらの静的位置の熟知度は使用頻度とともに増加し、その結果、確認工程の速度は使用頻度とともに増加する。加えて、確認ボタンは、可視物の表示画面の外側にあるので、すなわちグラフィック確認ボタンとして分離された窓余白内に存在するので、またはそうでなければ電子表示装置の動作可能領域を囲むケースまたは筐体上に設けられた物理的確認ボタンであるので、画面内容を閉塞しない。また、確認ボタンは、色、パターンおよび/または形状関連性を介し活性化可能要素に視覚的に関連付けられるので、所望確認ボタン上に留まる際の確認および/または作動工程中に速い対応がユーザによりなされ得る。また、確認ボタンの位置、各色、パターンおよび/または形状は変化しないので、頻繁な使用にともない確認および/または作動工程の速度をさらに改善する。この構成では、活性化可能要素は同じ確認ボタンに割り当てられたままであり、これにより、インターフェースを、活性化可能要素の後続の確認ボタン活性化および/または作動の際により予測可能および便利なものにする。
加えて、第1の実施形態により、本アルゴリズムは複数の確認ボタンを一度に活性化し得、これは、画面内容のいかなる視覚的拡大も必要とすることなく、密集した活性化可能要素の正確さおよび精度のいかなる不足も補償する。
2.システム構成
凝視制御インターフェース方法は、デスクトップコンピュータ、またはタブレットまたはスマートフォンなどの携帯デバイス、または同様なものかに関わらず、一体化されたまたは関連付けられた電子表示装置を有する任意のハードウェアシステム上で実施され得る。図1を参照すると、典型的ハードウェアシステムまたは装置10は、凝視制御インターフェースアルゴリズムを実行するプロセッサ12および関連メモリ14を含む。ハードウェアシステム10は、表示信号18を介し電子的可視物を提示するようにプロセッサ12により制御される表示画面16上のユーザの凝視位置を感知するように構成された眼または視線追跡器システムを含む。通常は、視線追跡器システムは非侵入性であり、表示画面16に対向するユーザの眼を見るように構成される赤外線カメラなどの1つまたは複数の光学的センサ20を含む。光センサまたはセンサ群20は、ハードウェア装置と一体化(例えば、表示画面の周辺または枠の周囲に一体化されたウェッブカメラのように表示画面と一体化)されてもよいし、またはそうでなければ、ある場所に位置する別個の光学的センサ(ユーザの眼を見ることができ、ハードワイヤードか無線かに関わらずハードウェア装置またはシステムへ接続される)であってもよいということが理解される。光学的センサは、例えば瞳孔中心角膜反射(PCCR:pupil−centre−corneal−reflection)方法または当業者に公知の任意の他の好適な視線追跡アルゴリズムまたは眼または視線追跡のための画像処理を使用することによりユーザの視線方向を判断し得るプロセッサ上で実行する視線追跡器アルゴリズムまたはソフトウェア24により処理されるセンサ信号22を生成する。視線追跡器24は、表示画面上のまたはそれに対するユーザの凝視位置を表す凝視信号または信号群26を生成する。例えば、凝視信号は画素座標または注視方向などであり得る。凝視信号26は凝視制御インターフェースアルゴリズム28により連続的に受信され処理される。さらに説明するように、凝視制御インターフェースは、プロセッサにより表示画面16上に提示された電子的可視物を処理し、視線追跡器24からの凝視信号26の処理に基づき電子的可視物とのユーザ相互作用を可能にする。
いくつかの実施形態では、凝視制御インターフェースはさらに、インターフェースの1つまたは複数の視覚的特徴を利用して視線追跡器24を自動的に校正するように構成される視線追跡器自動校正アルゴリズムを含み得る。一例として、視覚的特徴は、確認ボタンおよびそれらのアンカポイントまたは電子的可視物の座標または活性化可能要素の任意の1つまたは複数を含み得る。例えば、凝視信号により表されるような確認ボタンに関連付けられその上に留まる報告された凝視点が、凝視される確認ボタンのアンカポイントまたは座標から一貫してずらされると、インターフェースアルゴリズムは視線追跡器24の較正を動的に補正または改善し得る。
3.凝視制御ウェブブラウザ
単に一例として、凝視制御インターフェース方法およびシステムは凝視制御ウェブブラウザのその実施形態の文脈で説明される。特に、凝視制御インターフェース方法は、ウェブブラウザを介し描画されるウェブページの形式の電子的可視物をナビゲートしそれと相互作用するユーザを参照して説明される。しかし、凝視制御インターフェースアルゴリズムは、ユーザが相互作用し得る活性化可能要素を有する相互作用型電子的可視物(アプリケーションプログラムまたはGUIまたはアプリケーションプログラムのGUIのメニューおよび/またはボタンなどの制御要素により描画される電子的可視物を含む)の任意の他の形式に対し、実施され得るということが理解される。どのようにしてインターフェースのアルゴリズムが様々なタイプの電子的可視物に適応化され得るかは当業者により理解されるだろう。
主凝視制御インターフェースアルゴリズム
図2A、2Bは主凝視制御インターフェースアルゴリズム30、47の2つの実施形態を示す。同様な参照符号は同様な工程を指す。第1に、インターフェースは、ウェブブラウザ例の文脈ではウェブページであり得る電子的可視物をロードしそれをハードウェア装置の表示画面上に描画する(状態32で示される)ように構成される。電子的可視物をロードすると、凝視インターフェースアルゴリズムは、ユーザが割り当て段階34で相互作用し得る任意の活性化可能要素を識別するために電子的可視物のデータファイル(ウェブページ例の文脈ではHTMLまたは同様なものなど)を処理し解析するように構成される。活性化可能要素は、任意の従来のマウスクリック可能相互作用要素またはタッチ入力相互作用要素(ウェブページ例の文脈ではハイパーリンク、フィールド、ボタン、または同様なものなど)であり得る。割り当て段階34は、必要とされる凝視制御のレベルに依存して1つまたは複数のタイプの活性化可能要素を識別するように構成され得る。例えば、凝視制御を介した完全なユーザ相互作用の一例では、すべてのタイプのすべての活性化可能要素が識別され得る、またはそうでなければ電子的可視物とのより制限されたまたは部分的凝視制御相互作用のためには単一タイプだけの活性化可能要素が識別され得る。
所望タイプまたはタイプ群の活性化可能要素が電子的可視物内で識別されると、割り当て段階34は、識別された活性化可能要素のそれぞれへ要素視覚的識別子を割り当てる。各要素視覚的識別子は、それぞれが複数の確認ボタンのうちの1つのボタン視覚的識別子と視覚的に対応するまたはそれとの視覚的関連性を有する所定数の識別子のうちの1つから選択される。
確認ボタン
先に説明したように、凝視インターフェースアルゴリズムの実施形態は確認工程または作動ボタン(「確認ボタン)と組み合わせた滞留に基づく。インターフェースは、表示画面の近傍の既知の固定位置に(例えば、表示される電子的可視物に対し余白内に)静的に表示される所定数の複数確認ボタンを使用する。図6は、電子的可視物(この例ではウェブページなど)がウェブブラウザ内に表示される主表示窓51と表示画面50の右側の余白内に延伸する別の凝視制御窓53とを有する表示画面50の例を示す。凝視制御窓53内には、それぞれが個別ボタン視覚的識別子を有する複数の確認ボタン52が設けられる。この例では、ボタン視覚的識別子は別個の異なるパターンとして示されるが、その代りに、異なる色、パターン、形状、または色、パターンおよび/または形状の組み合わせである可能性がある。
この形式では、確認ボタン52は、凝視制御インターフェースアルゴリズムにより生成される電子的に生成されたグラフィック確認ボタンである。しかし、他の形式では、凝視制御インターフェースアルゴリズムにより使用される確認ボタンは、動作可能表示画面領域と境界をなすケースおよび筐体の少なくとも一部の周囲に設けられる物理的確認ボタンであり得る。例えば、図8は、タッチスクリーンディスプレイ61を有するタブレット60の形式のハードウェア装置を示す。図示のように、上側の一組の確認ボタン62は、タブレットのケース64の上部枠上に設けられ、確認ボタンの下側の一組63はケースの下部枠上に設けられる。これらの組の確認ボタン62、63は、再び特徴的なボタン視覚的識別子を備えており、印刷される(レーザなどで)、ステッカである、またはそうでなければケース上に形成されるまたは設けられる(例えば、ケースまたは表示画面に後付け可能な後付け枠または制御パネル上に設けられる)のいずれかである。物理的確認ボタン62、63は、平坦であってもよいし、ケースと同一平面であってもよいし、またはわずかに浮き彫りにされてもよいし、3次元態様を有してもよい。別の例では、図9は、タッチスクリーンディスプレイ71と、表示画面を囲むケースまたは筐体74上に設けられる上側の一組の確認ボタン72および下側の一組の確認ボタン73とを有するスマートフォン装置70を示す。
上記実施形態のいずれにおいても、電子的に生成されたグラフィック確認ボタンかまたは物理的確認ボタンかに関わらず、確認ボタンにより覆われた画素位置および/または領域は、固定であり、インターフェースアルゴリズムには知らされている。グラフィック確認ボタンの文脈では、それらの画面上の画素位置は知られており、物理的ボタンの文脈では、表示画面に対するそれらの「仮想」画素位置は知られている。例えば、この文脈では、表示画面を囲む枠またはケースは動作可能表示画面の延伸部と考えられ、したがって物理的ボタンはあたかも表示画面上にグラフィック的に提示されるかのように仮想画素位置を有する。視線追跡器システムはまた、電子的表示画面を囲むケースまたは枠上のユーザの凝視位置を感知し得る。
使用される確認ボタンの数は、インターフェースアルゴリズムの使用目的に依存して変更され得る。電子的に生成されたグラフィック確認ボタンに関し、インターフェースアルゴリズムは初めに、電子的可視物内の活性化可能要素の密度および/または数および/または利用可能画面領域を含む様々な要因に依存して提示される数の確認ボタンを構成し得る。余りに多い確認ボタンと十分でない数の確認ボタンとの間に平衡点がある。物理的に設けられる確認ボタンに関し、その数は、表示画面を囲むケース上の表面領域の寸法により規定または制限され得る。余りに多い確認ボタンは迅速な視覚的関連性を困難にし得る。一方、十分でない数の確認ボタンは、「アルゴリズムが、密集した活性化可能要素を有する文書とユーザとが正確に相互作用できるようにする」のを困難にし得る。
確認ボタンの提示はまた、インターフェースアルゴリズムの使用目的に依存して変更され得る。ボタンは、垂直方向または水平方向線アレイ、2Dアレイまたはランダム配置で提示され得る。
要素視覚的識別子の割り当て
図2A、2Bに戻ると、要素視覚的識別子の割り当て段階34は、同じ要素視覚的識別子を有する活性化可能要素間の画面上距離が最大にされるようにされる。特に、一定数の確認ボタンに対応する所定数の要素視覚的識別子だけが存在するので、電子的可視物内の複数の活性化可能要素には同じ要素視覚的識別子が割り当てられているかもしれない。例えば、電子的可視物は多数の活性化可能要素を含み得る。所定数の利用可能な要素視覚的識別子は、電子的可視物には同じまたは同様な視覚的識別子を有する活性化可能要素間の距離が最大化されるように割り当てられる。いくつかの実施形態では、隣接活性化可能要素に対応する確認ボタン間の距離の最大化などの追加または代替判定基準がまた、不注意クリックの機会を低減するために採用され得る。
以下の例では、要素視覚的識別子は色ベースであり、各色は確認ボタンのうちの1つのボタン視覚的識別子を表す色に対応する。同じ原理は、パターンおよび/または形状に対応する要素およびボタン視覚的識別子に当てはまり得る。可能視覚的識別子割り当て下位アルゴリズムの例について図3と図4を参照して説明する。例示的下位アルゴリズムは、ウェブページ内のハイパーリンクである活性化可能要素の文脈で説明されるが、同アルゴリズムは任意の電子的可視物内の任意の1つまたは複数のタイプの活性化可能要素へ適用され得るということが理解される。
図3を参照すると、電子的可視物の処理のための視覚的識別子割り当て下位アルゴリズム80の第1の例が示される。開始(工程81)後、視覚的識別子割り当て下位アルゴリズム80は、予め定義された一組の利用可能な識別子(例えば、この例では色)から任意に選択された現在の視覚的識別子を設定する。例えば、赤、緑、青および橙で色付けられた4つの確認ボタンが存在すれば、赤、緑、青および橙色に対応する4つの要素視覚的識別子が存在する。下位アルゴリズム80は、活性化可能要素(例えば、この例ではハイパーリンク)が判断(工程83)時に存在するかどうかを判断するために電子的可視物を精査する。さらなる活性化可能要素(例えば、ハイパーリンク)が存在しなければ、アルゴリズムは停止する(工程84)。
別の活性化可能要素が判断(工程83)において識別されれば、次の活性化可能要素が工程85において現在の活性化可能要素として設定される。工程85における次の活性化可能要素の選択は、以前処理された活性化可能要素に次に最も近い未割り当て活性化可能要素に基づく、または次の未割り当て活性化可能要素を順次選択するための任意の他の所与の順番またはパターンに基づく。次に、同じ選択された現在の視覚的識別子(工程82)(例えば、この例では色)が任意の以前の活性化可能要素へ割り当てられているかどうかについての判断(工程86)がなされる。選択された現在の視覚的識別子(工程82)が別の活性化可能要素へ既に割り当てられていなければ、選択された視覚的識別子(工程82)が工程87において現在の活性化可能要素へ割り当てられ、この要素視覚的識別子の活性化可能要素への割り当てはデータ構造またはデータファイルまたはメモリ内に格納される(工程88)。この後、アルゴリズムは判断(工程83)へ戻り、電子可視物内に要素視覚的識別子の割り当てを必要とする活性化可能要素(例えば、この例ではハイパーリンク)が存在するかどうかを判断する。
選択された現在の視覚的識別子(工程82)が以前の活性化可能要素へ割り当てられていれば、現在の視覚的識別子の最も近い以前の活性化可能要素が取り出される(工程89)。次に、取り出された活性化可能要素が現在の活性化可能要素に近いか(すなわち、この例では、取り出されたハイパーリンクが現在のハイパーリンクにどれくらい近いか)どうかについての判断(工程90)がなされる。例えば、既に割り当てられた活性化可能要素および現在の活性化可能要素の画素座標が所定区域(例えば、互いに対する画素半径)内に存在すれば、既に割り当てられた活性化可能要素と現在の活性化可能要素は近いと考えられる。近ければ、現在の活性化可能要素に関してすべての視覚的識別子(例えば、この例ではすべての色)が照査されたかどうかの判断(工程91)がなされる。すべての視覚的識別子が照査されていれば、現在の活性化可能要素から最も遠い視覚的識別子が現在の活性化可能要素へ割り当てられる(工程93)。次に、これはデータ構造またはデータファイルまたはメモリ88内に格納される。対照的に、すべての視覚的識別子が照査されていれば(工程91)、未だ照査されていない次の視覚的識別子が現在の視覚的識別子として選択され(工程82)、アルゴリズムは以前と同様に判断(工程86)へ戻る。判断(工程90)において照査されるように、現在の視覚的識別子(工程82)(または再選択された識別子(工程92))の先の活性化可能要素(工程89)が現在の活性化可能要素(工程85)に近くなければ、現在の視覚的識別子(工程82)(または再選択された識別子(工程92))が現在の活性化可能要素へ割り当てられ(工程85)、データ構造またはファイルまたはメモリ内に格納される(工程88)。
上記視覚的識別子割り当て下位アルゴリズム80により、活性化可能要素(例えば、この例ではハイパーリンク)のそれぞれへの要素視覚的識別子(例えば、この例では色)の割り当ては、同じ割り当てられた視覚的識別子を有する活性化可能要素間の表示画面上の距離が最大化されるようにされる、または同距離が所定距離閾値または割り当て区域を越えるように設定される。一形式では、現在の活性化可能要素が選択された現在の識別子と同じ視覚的識別子の既に割り当てられた活性化可能要素の近くのあるかどうかを判断することは、それぞれの活性化可能要素の画素位置に対応する画素座標がそれぞれの活性化可能要素を中心とした所定の画素半径の円形域内に入るかどうかにより判断される。
図4を参照して、視覚的識別子(例えば、この例では色)を電子的可視物の活性化可能要素(例えば、ウェブページ内のハイパーリンク)へ順次割り当てるための視覚的識別子割り当て下位アルゴリズムの第2の例94について説明する。このアルゴリズム94では、工程95で開始した後、電子的可視物は、別の活性化可能要素(例えば、ハイパーリンク)が存在するかどうかを判断する判断(工程96)において処理される。活性化可能要素が最早存在しなければ、アルゴリズムは停止する(工程97)。別の活性化可能要素が存在すれば、次の未割り当て活性化可能要素が工程98において現在の活性化可能要素として選択される。選択工程98では、選択された次の未割り当て活性化可能要素(a)は、既に割り当てられた活性化可能要素からの距離に、または次の未割り当て活性化可能要素を順次選択するための任意の他の所与の順番またはパターンに基づき得る。次に、一組の利用可能な視覚的識別子内のいずれかの視覚的識別子が未割り当てのままであるかどうかについての判断がなされる(工程99)。視覚的識別子のうちの1つが未だ割り当てられていなければ、その視覚的識別子は工程100において、選択された活性化可能要素aへ割り当てられる。次に、アルゴリズムは工程96に戻って、割り当てられた視覚的識別子を必要とする任意の別の未割り当て活性化可能要素が存在するかどうか電子的可視物を照査する。
しかし、判断(工程99)において、予め定義された一組内のすべての利用可能な識別子(例えば、この例ではすべての色)が既に割り当てられていれば、工程101において、隣の組の活性化可能要素を集めるために解析を行う。特に、予め定義された一組内の利用可能視覚的識別子(i)毎に、現在の活性化可能要素aに最も近い視覚的識別子iを有する活性化可能隣接要素(i,a)が見つけられて隣の組の活性化可能要素内に格納される。次に、未割り当ての現在の活性化可能要素aから隣の組の活性化可能要素内の最も遠い活性化可能隣接要素が工程102において識別される。その最も遠い活性化可能隣接要素の視覚的識別子は、存在すれば視覚的識別子を次の未割り当て活性化可能要素へ割り当てるために判断(工程96)へアルゴリズムが戻る前に、未割り当ての現在の活性化可能要素aへ割り当てられる。
第1の例示的視覚的識別子割り当て下位アルゴリズムと同様に、リンクのための視覚的識別子割り当てはデータファイルまたはメモリ内に格納される。
視覚的識別子割り当て後の電子的可視物の修正
視覚的識別子割り当て段階34後、電子的可視物(例えば、この例ではウェブページ)は、それらの割り当てられた要素視覚的識別子(この例では、着色確認ボタンのうちの1つに対応する割り当てられた色)を有する活性化可能要素(例えば、この例ではハイパーリンク)を提示するように割り当てデータファイルに基づき修正される。ユーザには、活性化可能要素(例えば、この例ではハイパーリンク)がすべて着色、ハイライト、または下線表示される、またはそうでなければそれらの割り当てられた視覚的識別子(例えば、それらの割り当てられた色)に対応する関連視覚的識別子(例えば、この例では色)を有する表示画面が提示され得る。一形式では、視覚的識別子割り当ては、ユーザが画面の様々な領域を凝視するにつれユーザへ順次または動的に提示され得る。別の形式では、画面上のすべての活性化可能要素は、常に提示されるそれらの割り当てられた視覚的識別子を有し得る。この形式では、アルゴリズムはさらに、追加の下線、境界ハイライト、またはそれらの追跡される視線上のユーザフィードバックとして任意の他の補足的な視覚的指示子を使用することによりユーザの視線近くの活性化可能要素を識別するように構成され得る。
一形式では、視覚的識別子割り当ては、それらの割り当てられた視覚的識別子を有する活性化可能要素をハイライトするために電子的可視物の従来の表示をオーバーレイするマスキングオーバーレイ窓または画面を介しユーザへ提示され得る。別の形式では、凝視制御インターフェースは電子的可視物のコードまたはファイル(このウェブページ例の文脈ではHTMLファイルなど)を修正し得るので、表示画面は、別個のオーバーレイ表示を必要とすることなくそれらの割り当てられた視覚的識別子とのリンクを描写する。
第1の実施形態−確認ボタン活性化および作動
図2Aに戻ると、要素視覚的識別子割り当て段階34と、それらの割り当てられた視覚的識別子(例えば、この例では色)を有する活性化可能要素(例えば、この例ではハイパーリンク)を提示または描写するために電子的可視物(例えば、この例ではウェブページ)の提示の修正後、主凝視制御インターフェースアルゴリズム36が始まる。この第1の実施形態では、主凝視制御インターフェースアルゴリズム36は「活性化閾値」アルゴリズムである。当初、すべての確認ボタンは、ユーザの視線が静止していないまたはいかなる活性化可能要素の近くにも存在しない不活性状態38にある。不活性状態中、確認ボタンは、ユーザにより凝視された際にいかなる行為もトリガまたは実行しない。
ユーザの視線が活性化可能要素近傍でほぼ静止している(段階39)と感知されれば、アルゴリズムは、ユーザが活性化可能要素上またはその近くに留まるということに対応する状態40へジャンプする。ユーザが第1の時間閾値に対応する時間の間活性化可能要素上またはその近くの凝視領域内で凝視していると感知されれば、確認ボタンのうちの1つまたは複数が活性化される。ユーザが活性化可能要素上に留まっているかどうかおよび確認ボタンが活性化されるべきかどうかを検知するための副アルゴリズムを図5に示す。
図5の活性化可能滞留下位アルゴリズム120はユーザの視線が第1の時間閾値に対応する時間の間ほぼ静止しているかどうかを判断する。活性化可能滞留状態40に入った後に工程121で開始後、タイマが開始され、視線追跡器からの凝視信号により判断された凝視位置が格納される(工程122)。次に、次の凝視位置サンプルが、取り出され(工程123)、以前の凝視サンプルに近いまたは近接しているかどうかに関する判断(124)において解析される。そうでない場合(工程125)、アルゴリズムは状態122へ戻り、タイマを再開する。一例示的実施形態では、凝視点サンプルは、所定距離閾値またはパラメータにより規定された所定距離内に存在すれば、互いに近くにあると考えられる。この例では、連続凝視位置サンプルはサンプル位置のうちの1つが凝視位置サンプルを中心とした所定半径の円形凝視領域内に入れば、互いに近いと考えられる。例えば、半径は30個の画素であり得るが、他の実施形態では視線追跡器の精度に依存して変更される可能性がある。連続凝視サンプル位置が互いに近いと考えられれば、工程126においてタイマはタイマ閾値と比較される。閾値を越えなければ、アルゴリズムは点線127で示すように次の凝視点サンプルを求めて工程123へ戻る。しかし、タイマが第1の閾値を越えれば、視線は凝視領域内に静止していると考えられ、下位アルゴリズムは、確認ボタンの活性化が必要である工程128へ移動する。この実施形態では、第1の時間閾値は100msであるが、これは他の実施形態では必要に応じ変更または調整され得るということが理解される。
一実施形態では、主インターフェースアルゴリズム36は最後の凝視サンプルの近くの活性化可能要素に対応する確認ボタンだけを活性化すると考えられ得る、またはそうでなければ、最後の凝視サンプルに対する所定の活性化区域の範囲に入るすべての活性化可能要素が、活性化されたそれらの確認ボタンを有し得る。このような実施形態では、所定の活性化区域は、割り当て工程において使用される割り当て区域より小さくなるように構成され得るので、活性化が同じ割り当てられた色を有する2つの活性化可能要素を捕捉する可能性は低い。しかし、同じ割り当てられた色を有する2つ以上の活性化可能要素が活性化区域内に入れば、最後の凝視位置サンプルに最も近い活性化可能要素が、その対応する活性化された確認ボタンに関連付けられように選択される。いくつかの実施形態では、アルゴリズムは、ユーザ視線の近くの(例えば活性化区域の範囲に入る)活性化可能要素に関連付けられた確認ボタンの活性化を、それらの関連確認ボタンが活性化されると下線または境界ハイライト表示または任意の他の補足的な視覚的指示子を活性化可能要素へ動的に表示することにより、視覚的に指示するように構成され得る。次に、活性化可能滞留下位アルゴリズムは工程129で停止する。
一例として、図7を参照すると、例示的ウェブページ110が多くのハイパーリンク112(この例では、説明の明確化のために境界により描写される)とともに示される。この例では、最後の凝視位置サンプルは画素113において示され、活性化区域は最後の凝視位置113を中心する点線境界116により示される。この例では、リンク112a、112bは活性化区域内に入る。確認ボタン114は、所定固定位置で凝視制御ウィンドウ内にグラフィック的に示され、この例では、要素(ハイパーリンク)とボタン視覚的識別子は説明の明確化のために色ではなくパターンとして描写される。示されるように、活性化可能要素112a、112bの要素視覚的識別子はボタン114a、114bのボタン視覚的識別子に対応し、したがって、これらの確認ボタンは活性化され、一方下側の確認ボタン114c、114dは不活性状態のままである。確認ボタン114a、114bの活性化は、ユーザの視線によるこれらの確認ボタン上のいかなる滞留も、ボタンの作動であると考えられ、以下にさらに説明するように、一時的に関連付けられた活性化可能要素112a、112bの活性化をそれぞれ引き起こすということを意味する。
図2Aに再び戻ると、1つまたは複数の確認ボタンの活性化後、主インターフェースアルゴリズム36は活性化された確認ボタン状態41へ移動する。確認ボタン活性状態41では、凝視信号は、ユーザの視線が同じ活性化可能要素または任意の新しい活性化可能要素上に静止しているかどうかまたは同視線が確認ボタンの任意のものの上に静止しているかどうかを判断するために解析される。
視線が静止しており、新しい活性化可能要素上に留まっていると検知されれば、図5を参照して先に説明した活性化可能滞留下位アルゴリズム120が状態42で適用される。任意の新しい活性化可能要素が、所定時間閾値に対応する時間(例えば、100ms)の間新しいまたは修正された凝視領域内に留まれば、確認ボタン活性化は、必要な確認ボタンが任意のこのような新たに凝視された活性化可能要素に対して活性化または再起動されるように更新される。
活性化された可能要素の任意のものが、状態43において所定の第2の時間閾値に対応する時間(例えば400ms、これは所望により他の実施形態では変更またはカスタマイズされ得るが)の間新しいまたは修正された凝視領域内に留まれば、確認ボタンは凝視作動を介し作動されると考えられる。確認ボタン上に留まっていることは、先に説明したように仮想画素座標における表示画面の外にグラフィック的に提示されたかまたは物理的に提示されたに関わらず、関連付けられた確認ボタンの標的領域、境界または表面領域内にほぼ静止した凝視位置サンプルを提供する凝視信号により検知され得る。作動されれば、確認ボタンに一時的に関連付けられた活性化可能要素(例えば、この例ではハイパーリンク)がクリックまたは作動されると考えられる。一例として、凝視制御ウェブブラウザでは、ブラウザは、あたかもハイパーリンクがクリックまたはタッチ入力によりクリックまたは活性化されたかのように、ハイパーリンクにより指定された新しい位置、ファイルまたはウェブページへジャンプするまたはそれをロードする(点線44)。次に、凝視制御インターフェースアルゴリズムは、ユーザが上記と同様なやり方で新しいウェブページと相互作用および/またはそれをナビゲートできるようにするために、工程32において新しいウェブページ、位置またはファイルを描写した後もう一度視覚的識別子割り当て段階を開始する。
状態45に示すように、すべての確認ボタンは、スクロールがアルゴリズムに対する割り込みとして働くようにユーザが段階38において主表示ウィンドウを更新しアルゴリズムを再開するためにスクロールすれば、グローバルに非活性化され得る。ユーザが表示ウィンドウのサイズ変更(点線46)をトリガすることで、状態32を再度開始するまたはそれへ遷移するためにアルゴリズムをトリガし得る。
第2の実施形態−確認ボタン活性化および作動
図2Bに戻ると、要素視覚的識別子割り当て段階34と、それらの割り当てられた視覚的識別子を有する活性化可能要素を提示または描写するために電子的可視物の提示の修正後、主凝視制御インターフェースアルゴリズム47が始まる。この第2の実施形態では、主凝視制御アルゴリズム47は「帰納的解析」アルゴリズムである。当初、第1の実施形態のように、すべての確認ボタンは不活性状態である(状態48)。
この第2の実施形態では、ユーザが電子的可視物を凝視するとアルゴリズムは凝視記録状態に入る(状態49)。この凝視記録状態では、アルゴリズムは、視線追跡器24から受信された凝視信号26を表す凝視データをメモリ内へ一時的または恒久的に記録し格納する。第1の形式では、凝視記録状態49は、連続的に受信されたすべての凝視信号を記録するように構成され得る。第2の形式では、凝視記録状態49は、ユーザの視線が静止していると検知された時間を表す受信された凝視信号の期間だけを記録するように(例えば、図5のアルゴリズムまたは同様なものを使用することにより)構成され得る。この第2の形式では、凝視記録状態は、静止視線の極最近の期間から凝視データだけを格納するように、すなわち全ての以前の凝視データを消去するように構成され得る。いずれの場合も、記録される凝視データは凝視信号と任意の関連付けられた近傍の活性化可能要素(例えば、第1の実施形態に説明したように所定の活性化区域の範囲に入るもの)とを含む。アルゴリズムは、ユーザの視線が電子的可視物(例えば、この例ではウェブページ)上に留まると検知される限り、凝視記録状態49のままであるかまたはそれは繰り返す。
ユーザが確認ボタンを見ると、アルゴリズムは状態54へ移動する。状態54では、アルゴリズムは、ユーザが作動させる可能性が最も高い活性化可能要素を判断するために、記録または格納された凝視データの事後分析を行う。アルゴリズムは様々なやり方で活性化可能要素を判断するように構成され得る。一実施形態では、凝視されている確認ボタンと同じ視覚的識別子を有する最も可能性の高い活性化可能要素が、ユーザが一定の時間閾値の間その上にまたはその近傍に極最近留まったものとして選択される。別の実施形態では、確認ボタンと同じ視覚的識別子を有する最も可能性の高い活性化可能要素が、ユーザが一定の時間内で最も長い時間その上にまたはその近傍に留まったものとして選択される。別の実施形態では、確認ボタンと同じ視覚的識別子を有する最も可能性の高い活性化可能要素が、例えば最も可能性の高い活性化可能要素と確認ボタン間の経路上に偶然の一致だけで存在する可能性のあるいかなる活性化可能要素も無視することにより、凝視経路に基づき選択される。別の実施形態では、最も可能性の高い活性化可能要素が判定基準の組み合わせに基づき選択される。最も可能性の高い活性化可能要素はさらに、ユーザが実際に、異なる確認ボタン上に留まる可能性が高ければ、凝視された確認ボタンとは異なる視覚的識別子を有し得る。
最も可能性の高い活性化可能要素が識別されると、確認ボタンはその識別された活性化可能要素に一時的にリンクまたは関連付けられるように活性化される。次に、状態54においてアルゴリズムは、ユーザが所定時間閾値(例えば、この例では400ms、但しこれは所望により別の実施形態では修正または変更され得る)に対応する時間の間確認ボタン上に留まったかどうかを判断するために凝視信号を解析する。ユーザが所定閾値の間、活性化された確認ボタン上に留まったと検知されれば、確認ボタンへ一時的にリンクされた識別された活性化可能要素が作動される。
4.一般的事項
さらに、実施形態は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、またはその任意の組合せにより実施され得る。ソフトウェア、ファームウェア、ミドルウェア、またはマイクロコードで実施される場合、必要なタスクを行うプログラムコードまたはコードセグメントは記憶媒体または他の記憶装置などの機械可読媒体に格納され得る。プロセッサが必要なタスクを行い得る。コードセグメントは、手順、機能、サブプログラム、プログラム、ルーチン、サブルーチン、モジュール、ソフトウェアパッケージ、クラス、または命令、データ構造またはプログラム文の任意の組み合わせを表し得る。コードセグメントは、情報、データ、引数、パラメータまたはメモリ内容を渡すおよび/または受け取ることにより別のコードセグメントまたはハードウェア回路へ結合され得る。情報、引数、パラメータ、データなどは、メモリ共有、メッセージ受け渡し、トークン受け渡し、ネットワーク送信などを含む任意の好適な手段を介し渡され、転送され、または送信され得る。
以上では、記憶媒体は、読み取り専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、磁気ディスク記憶装置媒体、光記憶媒体、フラッシュメモリ装置、および/または情報を格納するための他の機械可読媒体を含むデータを格納するための1つまたは複数の装置を表し得る。用語「機械可読媒体」および「コンピュータ可読媒体」は、限定するものではないが携帯可能または固定型記憶装置、光記憶装置、および/または命令および/またはデータを格納、含む、運ぶことができる様々な他の媒体を含む。
本明細書で開示された例に関連して説明した様々な例示的論理ブロック、モジュール、回路、要素、および/または部品は、汎用プロセッサ、デジタルシグナルプロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)または他のプログラマブルロジック部品、個別ゲートまたはトランジスタロジック、個別ハードウェア部品、または本明細書において説明された機能を実行するように設計されたそれらの任意の組み合せにより実装または実行され得る。汎用プロセッサはマイクロプロセッサであり得るが、別の方法では、プロセッサは任意の従来のプロセッサ、コントローラ、マイクロコントローラ、回路、および/またはステートマシンであり得る。プロセッサはまた、計算部品の組み合わせ(例えば、DSPとマイクロプロセッサの組み合わせ、多くのマイクロプロセッサ、DSPコアと併用した1つまたは複数のマイクロプロセッサ、または任意の他のこのような構成)として実装され得る。
本明細書で開示された例に関連して説明した方法またはアルゴリズムは、ハードウェアで、プロセッサにより実行可能なソフトウェアモジュールで、または両方の組み合わせで、処理ユニット、プログラム命令または他の指示の形式で、直接具現化され得、単一装置内に含まれてもよいし複数の装置全体にわたって分散されてもよい。ソフトウェアモジュールは、RAMメモリ、フラッシュメモリ、ROMメモリ、EPROMメモリ、EEPROMメモリ、レジスタ、ハードディスク、着脱可能ディスク、CD−ROM、または当該技術分野で知られた記憶媒体の任意の他の形式内に存在し得る。記憶媒体は、プロセッサが記憶媒体から情報を読み出し、および記憶媒体へ情報を書き込めるようにプロセッサへ結合され得る。別の方法では、記憶媒体はプロセッサと一体的であり得る。
添付図面に示した部品と機能の1つまたは複数は、本発明から逸脱することなく、単一部品内に再配置および/または組み込まれてもよいし、いくつかの部品内に具現化されてもよい。追加要素または部品もまた本発明から逸脱することなく追加され得る。加えて、本明細書において説明した特徴は、ビジネス方法としてソフトウェア、ハードウェアでおよび/またはそれらの組み合せで実現され得る。
その様々な態様では、本発明は、コンピュータ実施処理、マシン(電子装置、または汎用コンピュータ、またはコンピュータプログラムが実行され得るプラットホームを提供する他の装置など)、これらのマシンにより実行される処理、または製造部品において具現化され得る。このような物品としては、コンピュータプログラム命令またはコンピュータ可読データを含むコンピュータ可読記憶媒体が格納されたコンピュータプログラム製品またはデジタル情報製品、およびこれらの製品を生成し使用する処理およびマシンが挙げられる。
本発明の前述の説明はそれの好ましい形式を含む。添付の特許請求範囲により定義される本発明の範囲から逸脱することなく本発明に対し修正がなされ得る。

Claims (71)

  1. 電子表示装置画面上に提示される電子的可視物とユーザが相互作用するための凝視制御インターフェースを提供する方法であって、
    前記表示画面の近傍の既知の固定位置にそれぞれが異なる固定されたそれぞれのボタン視覚的識別子を有する多くの確認ボタンを設ける工程と、
    少なくとも1つのタイプの活性化可能要素を識別するために前記電子的可視物を処理する工程と、
    前記識別された活性化可能要素のそれぞれへ要素視覚的識別子を割り当てる工程であって、各要素視覚的識別子は前記ボタン視覚的識別子の1つに対応する、工程と、
    前記表示された活性化可能要素の少なくとも一部に割り当てられた要素視覚的識別子を提示するために前記電子的可視物の表示を修正する工程と、
    前記表示画面上のユーザの凝視位置を表す凝視信号を視線追跡器から受信する工程と、
    前記表示された電子的可視物の活性化可能要素上またはその近くに留まる前記ユーザの視線を前記凝視信号に基づき感知する工程と、
    前記活性化された確認ボタンの作動が前記凝視された活性化可能素子の活性化を引き起こすように前記確認ボタンが前記凝視された活性化可能素子へ一時的にリンクされるように、前記凝視された活性化可能要素へ割り当てられた要素視覚的識別子に対応する前記ボタン視覚的識別子を有する前記確認ボタンを活性化する工程と、
    前記凝視信号に基づき前記活性化された確認ボタン上に留まる前記ユーザの視線に応じて、前記活性化された確認ボタンの作動を感知する工程と、
    前記活性化された確認ボタンの作動を感知することに応じて前記活性化可能要素を活性化する工程とを含む方法。
  2. 前記表示画面の近傍の既知の固定位置にそれぞれが異なる固定されたそれぞれのボタン視覚的識別子を有する所定数の確認ボタンを設ける工程を含む、請求項1に記載の方法。
  3. 前記確認ボタンは前記電子的表示画面上に提示される電子的に生成されたグラフィック確認ボタンである、請求項1または2に記載の方法。
  4. 前記表示電子的可視物に対して余白内に前記確認ボタンを設ける工程を含む、請求項1乃至3のいずれか一項に記載の方法。
  5. 前記確認ボタンは、前記電子的可視物が表示されている間それぞれの固定位置に恒久的に提示されるという意味で静的である、請求項1乃至4のいずれか一項に記載の方法。
  6. 前記確認ボタンは、前記電子的表示画面に隣接してまたはその周辺に設けられた物理的マーカまたは標的または指標の形式の物理的確認ボタンである、請求項1または2に記載の方法。
  7. 前記確認ボタンは、前記電子的表示画面の1つまたは複数の枠部縁または境界または前記電子的表示画面を提供する電子装置の筐体またはケースに沿って設けられる、請求項6に記載の方法。
  8. 前記物理的確認ボタンは、前記電子的表示画面または前記電子的表示画面を提供する電子装置へ後付け可能なパネルまたは枠上に設けられる、請求項6に記載の方法。
  9. 前記物理的確認ボタンは印刷、マーキングまたはステッカにより提供される、請求項6乃至8のいずれか一項に記載の方法。
  10. 前記ボタン視覚的識別子は色ベースであり、各確認ボタンには異なる色が関連付けられ、各要素視覚的識別子は前記確認ボタンの前記色のうちの1つに対応する、請求項1乃至9のいずれか一項に記載の方法。
  11. 前記ボタン視覚的識別子はパターンベースであり、各確認ボタンには異なるパターンが関連付けられ、各要素視覚的識別子は前記確認ボタンの前記パターンのうちの1つに対応する、請求項1乃至9のいずれか一項に記載の方法。
  12. 前記ボタン視覚的識別子は形状ベースであり、各確認ボタンには異なる形状が関連付けられ、各要素視覚的識別子は前記確認ボタンの前記形状のうちの1つに対応する、請求項1乃至9のいずれか一項に記載の方法。
  13. 前記ボタン視覚的識別子は色、パターン、および/または形状のうちの任意の2つ以上の組み合わせに基づき、各確認ボタンには任意の2つ以上の色、パターン、および/または形状の組み合わせが関連付けられ、各要素視覚的識別子は前記確認ボタンに関連付けられた前記組み合わせの1つに対応する、請求項1乃至9のいずれか一項に記載の方法。
  14. 単一タイプの活性化可能要素を識別するために前記電子的可視物を処理する工程を含む、請求項1乃至13のいずれか一項に記載の方法。
  15. 複数のタイプの活性化可能要素を識別するために前記電子的可視物を処理する工程を含む、請求項1乃至13のいずれか一項に記載の方法。
  16. 前記活性化可能要素は以下のタイプのうちの任意の1つまたは複数である:アイコン、ウィジェット、領域、メニュー、ボタン、フィールド、ハイパーリンク、請求項1乃至15のいずれか一項に記載の方法。
  17. 各識別された活性化可能要素へ要素視覚的識別子を割り当てる前記工程は、同じまたは同様な要素視覚的識別子を有する活性化可能要素間の最小距離が最大化されるように要素視覚的識別子を割り当てる工程を含む、請求項1乃至16のいずれか一項に記載の方法。
  18. 各識別された活性化可能要素へ要素視覚的識別子を割り当てる前記工程は、隣接活性化可能要素に関して、前記隣接活性化可能要素の前記割り当てられた要素視覚的識別子に対応するボタン視覚的識別子を有する前記確認ボタン間の距離が最大化されるように要素視覚的識別子を割り当てる工程を含む、請求項1乃至17のいずれか一項に記載の方法。
  19. 前記割り当てられた要素視覚的識別子を提示するために前記電子的可視物の前記表示を修正する前記工程は、すべての表示された活性化可能要素の前記割り当てられた要素視覚的識別子を提示する工程を含む、請求項1乃至18のいずれか一項に記載の方法。
  20. 前記割り当てられた要素視覚的識別子を提示するために前記電子的可視物の前記表示を修正する前記工程は、前記表示画面上の前記ユーザの凝視位置を中心とした所定領域内で捕捉された前記表示された活性化可能要素の一部の前記割り当てられた要素視覚的識別子を動的に提示する工程を含む、請求項1乃至18のいずれか一項に記載の方法。
  21. 前記割り当てられた要素視覚的識別子を提示するために前記電子的可視物の前記表示を修正する前記工程は、前記提示された電子的可視物の少なくとも一部の上に電子マスキングオーバーレイを設ける工程を含む、請求項1乃至20のいずれか一項に記載の方法。
  22. 前記ボタンと前記要素視覚的識別子が色に対応する場合、前記マスキングオーバーレイは、ハイライトする、境界をつける、輪郭を描く、下線を引く、またはそうでなければ、表示のために、前記要素視覚的識別子の前記割り当てられた色を前記電子的可視物のそれぞれの活性化可能要素へ適用する、請求項21に記載の方法。
  23. 前記ボタンと前記要素視覚的識別子がパターンに対応する場合、前記マスキングオーバーレイは、ハイライトする、境界をつける、輪郭を描く、下線を引く、またはそうでなければ、表示のために、前記要素視覚的識別子の前記割り当てられたパターンを前記電子的可視物のそれぞれの活性化可能要素へ適用する、請求項21に記載の方法。
  24. 前記ボタンと前記要素視覚的識別子が形状に対応する場合、前記マスキングオーバーレイは、ハイライトする、境界をつける、輪郭を描く、下線を引く、またはそうでなければ、表示のために、前記要素視覚的識別子の前記割り当てられた形状を前記電子的可視物のそれぞれの活性化可能要素へ適用する、請求項21に記載の方法。
  25. 前記割り当てられた要素視覚的識別子を提示するために前記電子的可視物の前記表示を修正する工程は、前記表示を修正するために、または前記電子的可視物内の前記活性化可能要素の前記描画を制御してそれぞれの割り当てられた要素視覚的識別子を表示するために前記電子的可視物のデータファイルを修正する工程を含む、請求項1乃至20のいずれか一項に記載の方法。
  26. 前記電子的可視物の前記表示を修正する前記工程は、同じ割り当てられた要素視覚的識別子を有する活性化可能要素の距離間隔を増加するために活性化可能要素の相対位置を修正するために前記電子的可視物のレイアウトを修正する工程を含む、請求項1乃至25のいずれか一項に記載の方法。
  27. 活性化可能要素上またはその近くに留まる前記ユーザの視線を前記凝視信号に基づき感知する前記工程は、前記ユーザの視線が第1の時間閾値に対応する時間の間ほぼ静止していることを感知する工程を含む、請求項1乃至26のいずれか一項に記載の方法。
  28. 前記ユーザの視線は、前記第1の時間閾値に対応する時間の間前記ユーザの凝視位置を表す各連続凝視信号サンプルが所定距離閾値またはパラメータにより規定された以前のサンプルの所定距離内に存在すればほぼ静止したと考えられる、請求項27に記載の方法。
  29. 連続凝視位置サンプルは、前記サンプル位置の1つが他の凝視位置サンプルを中心とした所定の半径の円形の凝視領域内に入れば所定距離内に存在すると考えられる、請求項28に記載の方法。
  30. 前記凝視されている前記活性化可能要素の前記割り当てられた要素視覚的識別子に対応する前記ボタン視覚的識別子を有する前記確認ボタンだけを活性化する工程を含む、請求項1乃至29のいずれか一項に記載の方法。
  31. 前記凝視信号により規定される凝視されている凝視領域に対して所定の活性化区域の範囲に入る任意の活性化可能要素の割り当てられた要素視覚的識別子に対応するボタン視覚的識別子を有する任意の確認ボタンを活性化する工程を含む、請求項1乃至29のいずれか一項に記載の方法。
  32. 前記所定の活性化区域は、前記凝視領域の近傍の最大数の活性化可能要素を捕捉するが同じ割り当てられた要素視覚的識別子を有する活性化可能要素を捕捉しないサイズのものであるように構成される、請求項31に記載の方法。
  33. 活性化された確認ボタン上に留まる前記ユーザの視線を感知する前記工程は、前記ユーザの視線が第2の時間閾値に対応する時間の間確認ボタン上にほぼ静止していることを感知する工程を含む、請求項1乃至32のいずれか一項に記載の方法。
  34. 電子的可視物はウェブページ、文書またはグラフィックユーザインターフェースのうちの任意の1つである、請求項1乃至33のいずれか一項に記載の方法。
  35. 電子表示装置画面上に提示される電子的可視物とユーザが相互作用するための凝視制御インターフェースを提供する方法であって、
    前記表示画面の近傍の既知の固定位置にそれぞれが異なる固定されたそれぞれのボタン視覚的識別子を有する多くの確認ボタンを設ける工程と、
    少なくとも1つのタイプの活性化可能要素を識別するために前記電子的可視物を処理する工程と、
    前記識別された活性化可能要素のそれぞれへ要素視覚的識別子を割り当てる工程であって、各要素視覚的識別子は前記ボタン視覚的識別子の1つに対応する、工程と、
    前記表示された活性化可能要素の少なくとも一部に割り当てられた要素視覚的識別子を提示するために前記電子的可視物の表示を修正する工程と、
    前記表示画面上のユーザの凝視位置を表す凝視信号を視線追跡器から受信する工程と、
    前記ユーザが前記表示された電子的可視物を凝視すると前記受信された凝視信号を表す凝視データを記録する工程と、
    前記確認ボタン上に留まる前記ユーザの視線を前記凝視信号に基づき感知する工程と、
    凝視されている前記確認ボタンの前記ボタン視覚的識別子に対応する割り当てられた要素視覚的識別子を有するどの活性化可能要素が前記ユーザにより活性化されようとしているのかを判断するために、前記確認ボタンが凝視される前に前記記録された凝視データを解析する工程と、
    前記判断された活性化可能要素を活性化する工程とを含む方法。
  36. 前記ユーザの視線が前記表示された電子的可視物の活性化可能要素上またはその近くにあると感知された場合に前記凝視データを記録する工程を含む、請求項35に記載の方法。
  37. 前記凝視データを記録する工程はさらに、前記凝視信号と前記凝視信号に対して所定の区域の範囲に入る任意の近傍の活性化可能要素を示すデータとを再びコード化する工程を含む、請求項35または36に記載の方法。
  38. 前記ユーザにより活性化される活性化可能要素を判断するために前記記録された凝視データを解析する工程は、前記ユーザが所定時間閾値の間その上またはその近傍に極最近留まった活性化可能要素を選択する工程を含む、請求項35乃至37のいずれか一項に記載の方法。
  39. 前記ユーザにより活性化される活性化可能要素を判断するために前記記録された凝視データを解析する工程は、前記確認ボタンが凝視される前に一定の期間内で最長時間の間前記ユーザがその上またはその近傍に留まった活性化可能要素を選択する工程を含む、請求項35乃至37のいずれか一項に記載の方法。
  40. 前記ユーザにより活性化される活性化可能要素を判断するために前記記録された凝視データを解析する工程は、前記確認ボタンが凝視される前に前記凝視データにより表された凝視経路に基づき前記活性化可能要素を選択する工程を含む、請求項35乃至37のいずれか一項に記載の方法。
  41. 選択から、前記ユーザにより活性化される可能性が最も高い活性化可能要素と前記凝視された確認ボタン間の凝視経路上に偶然の一致だけで存在すると判断された活性化可能要素を除外する工程を含む請求項40に記載の方法。
  42. 前記ユーザにより活性化される活性化可能要素を判断するために前記記録された凝視データを解析する工程は、判定基準の組み合わせに基づき前記活性化可能要素を選択する工程を含む、請求項35乃至37のいずれか一項に記載の方法。
  43. 前記判断された活性化可能要素を活性化する工程は、前記ユーザの視線が所定時間閾値に対応する時間の間前記確認ボタン上に留まったということが前記凝視信号に基づき感知された場合だけ前記判断された活性化可能要素を活性化する工程を含む、請求項35乃至42のいずれか一項に記載の方法。
  44. 前記表示画面の近傍の既知の固定位置にそれぞれが異なる固定されたそれぞれのボタン視覚的識別子を有する所定数の確認ボタンを設ける工程を含む、請求項35乃至43のいずれか一項に記載の方法。
  45. 前記確認ボタンは前記電子的表示画面上に提示される電子的に生成されたグラフィック確認ボタンである、請求項35乃至44のいずれか一項に記載の方法。
  46. 前記表示電子的可視物に対して余白内に前記確認ボタンを設ける工程を含む、請求項35乃至45のいずれか一項に記載の方法。
  47. 前記確認ボタンは、前記電子的可視物が表示されている間それぞれの固定位置に恒久的に提示されるという意味で静的である、請求項35乃至46のいずれか一項に記載の方法。
  48. 前記確認ボタンは、前記電子的表示画面に隣接してまたはその周辺に設けられた物理的マーカまたは標的または指標の形式の物理的確認ボタンである、請求項35乃至45のいずれか一項に記載の方法。
  49. 前記確認ボタンは、前記電子的表示画面の1つまたは複数の枠部縁または境界または前記電子的表示画面を提供する電子装置の筐体またはケースに沿って設けられる、請求項48に記載の方法。
  50. 前記物理的確認ボタンは前記電子的表示画面または前記電子的表示画面を提供する電子装置へ後付け可能なパネルまたは枠上に設けられる、請求項48に記載の方法。
  51. 前記物理的確認ボタンは印刷、マーキングまたはステッカにより提供される、請求項48乃至50のいずれか一項に記載の方法。
  52. 前記ボタン視覚的識別子は色ベースであり、各確認ボタンには異なる色が関連付けられ、各要素視覚的識別子は前記確認ボタンの前記色のうちの1つに対応する、請求項35乃至51のいずれか一項に記載の方法。
  53. 前記ボタン視覚的識別子はパターンベースであり、各確認ボタンには異なるパターンが関連付けられ、各要素視覚的識別子は前記確認ボタンの前記パターンのうちの1つに対応する、請求項35乃至51のいずれか一項に記載の方法。
  54. 前記ボタン視覚的識別子は形状ベースであり、各確認ボタンには異なる形状が関連付けられ、各要素視覚的識別子は前記確認ボタンの前記形状のうちの1つに対応する、請求項35乃至51のいずれか一項に記載の方法。
  55. 前記ボタン視覚的識別子は、色、パターン、および/または形状のうちの任意の2つ以上の組み合わせに基づき、各確認ボタンには任意の2つ以上の色、パターン、および/または形状の組み合わせが関連付けられ、各要素視覚的識別子は前記確認ボタンに関連付けられた前記組み合わせの1つに対応する、請求項35乃至51のいずれか一項に記載の方法。
  56. 単一タイプの活性化可能要素を識別する前記電子的可視物を処理する工程を含む、請求項35乃至55のいずれか一項に記載の方法。
  57. 複数のタイプの活性化可能要素を識別する前記電子的可視物を処理する工程を含む、請求項35乃至55のいずれか一項に記載の方法。
  58. 前記活性化可能要素は以下のタイプのうちの任意の1つまたは複数である:アイコン、ウィジェット、領域、メニュー、ボタン、フィールド、ハイパーリンク、請求項35乃至57のいずれか一項に記載の方法。
  59. 各識別された活性化可能要素へ要素視覚的識別子を割り当てる前記工程は、同じまたは同様な要素視覚的識別子を有する活性化可能要素間の最小距離が最大化されるように要素視覚的識別子を割り当てる工程を含む、請求項35乃至58のいずれか一項に記載の方法。
  60. 各識別された活性化可能要素へ要素視覚的識別子を割り当てる前記工程は、隣接活性化可能要素に関して、前記隣接活性化可能要素の前記割り当てられた要素視覚的識別子に対応するボタン視覚的識別子を有する前記確認ボタン間の距離が最大化されるように要素視覚的識別子を割り当てる工程を含む、請求項35乃至59のいずれか一項に記載の方法。
  61. 前記割り当てられた要素視覚的識別子を提示するために前記電子的可視物の前記表示を修正する前記工程は、すべての表示された活性化可能要素の前記割り当てられた要素視覚的識別子を提示する工程を含む、請求項35乃至60のいずれか一項に記載の方法。
  62. 前記割り当てられた要素視覚的識別子を提示するために前記電子的可視物の前記表示を修正する前記工程は、前記表示画面上の前記ユーザの凝視位置を中心とした所定領域内で捕捉された前記表示された活性化可能要素の一部の前記割り当てられた要素視覚的識別子を動的に提示する工程を含む、請求項35乃至60のいずれか一項に記載の方法。
  63. 前記割り当てられた要素視覚的識別子を提示するために前記電子的可視物の前記表示を修正する前記工程は、前記提示された電子的可視物の少なくとも一部の上に電子マスキングオーバーレイを設ける工程を含む、請求項35乃至62のいずれか一項に記載の方法。
  64. 前記ボタンと要素視覚的識別子が色に対応する場合、前記マスキングオーバーレイは、ハイライトする、境界をつける、輪郭を描く、下線を引く、またはそうでなければ、表示のために、前記要素視覚的識別子の前記割り当てられた色を前記電子的可視物のそれぞれの活性化可能要素へ適用する、請求項63に記載の方法。
  65. 前記ボタンと前記要素視覚的識別子がパターンに対応する場合、前記マスキングオーバーレイは、ハイライトする、境界をつける、輪郭を描く、下線を引く、またはそうでなければ、表示のために、前記要素視覚的識別子の前記割り当てられたパターンを前記電子的可視物のそれぞれの活性化可能要素へ適用する、請求項63に記載の方法。
  66. 前記ボタンと前記要素視覚的識別子が形状に対応する場合、前記マスキングオーバーレイは、ハイライトする、境界をつける、輪郭を描く、下線を引く、またはそうでなければ、表示のために、前記要素視覚的識別子の前記割り当てられた形状を前記電子的可視物のそれぞれの活性化可能要素へ適用する、請求項63に記載の方法。
  67. 前記割り当てられた要素視覚的識別子を提示するために前記電子的可視物の表示を修正する前記工程は、前記表示を修正するために、または前記電子的可視物内の前記活性化可能要素の描画を制御してそれぞれの割り当てられた要素視覚的識別子を表示するために前記電子的可視物のデータファイルを修正する工程を含む、請求項35乃至62のいずれか一項に記載の方法。
  68. 前記電子的可視物の前記表示を修正する前記工程は、同じ割り当てられた要素視覚的識別子を有する活性化可能要素の距離間隔を増加するために活性化可能要素の相対位置を修正するために前記電子的可視物のレイアウトを修正する工程を含む、請求項35乃至67のいずれか一項に記載の方法。
  69. 電子的可視物はウェブページ、文書またはグラフィックユーザインターフェースのうちの任意の1つである、請求項35乃至68のいずれか一項に記載の方法。
  70. ユーザが電子表示装置画面上に提示された電子的可視物と相互作用できるようにするための凝視制御インターフェースシステムであって、
    前記電子的可視物を提示するように構成された電子的表示画面と、
    前記表示画面上の前記ユーザの凝視位置を感知するとともに代表的な凝視信号を生成するように構成された視線追跡器と、
    前記表示画面と視線追跡器に作動可能に接続され、請求項1乃至69のいずれか一項に記載の方法を実行するようにプログラムされるプロセッサとを含む凝視制御インターフェースシステム。
  71. 1つまたは複数の処理装置上で実行されると前記1つまたは複数の処理装置に請求項1乃至69のいずれか一項に記載の方法を実行させるコンピュータ実行可能命令を格納した非一時的コンピュータ可読媒体。
JP2016538887A 2013-08-27 2014-08-27 凝視制御インターフェース方法およびシステム Pending JP2016529635A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
AU2013903250 2013-08-27
AU2013903250A AU2013903250A0 (en) 2013-08-27 Gaze-Controlled Interface Method and System
PCT/NZ2014/000178 WO2015030607A1 (en) 2013-08-27 2014-08-27 Gaze-controlled interface method and system

Publications (1)

Publication Number Publication Date
JP2016529635A true JP2016529635A (ja) 2016-09-23

Family

ID=52587017

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016538887A Pending JP2016529635A (ja) 2013-08-27 2014-08-27 凝視制御インターフェース方法およびシステム

Country Status (5)

Country Link
US (1) US9829975B2 (ja)
JP (1) JP2016529635A (ja)
KR (1) KR20160046885A (ja)
GB (1) GB2533520B (ja)
WO (1) WO2015030607A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6277567B1 (ja) * 2016-11-21 2018-02-14 株式会社コナミデジタルエンタテインメント 端末装置、及びプログラム
JP2018085125A (ja) * 2017-12-28 2018-05-31 株式会社コナミデジタルエンタテインメント 端末装置、及びプログラム
JP2018085124A (ja) * 2017-12-28 2018-05-31 株式会社コナミデジタルエンタテインメント 端末装置、及びプログラム

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016529635A (ja) 2013-08-27 2016-09-23 オークランド ユニサービシズ リミテッド 凝視制御インターフェース方法およびシステム
US10372204B2 (en) * 2013-10-30 2019-08-06 Technology Against Als Communication and control system and method
EP3093738A4 (en) * 2014-01-08 2017-06-21 Sony Corporation Information processing system, information processing method, and program
US9886598B2 (en) * 2014-12-29 2018-02-06 Paypal, Inc. Automatic adjustment of a display to obscure data
JP6463849B2 (ja) * 2015-03-13 2019-02-06 華為技術有限公司Huawei Technologies Co.,Ltd. 電子デバイス、撮影方法、および撮影装置
WO2016147499A1 (ja) * 2015-03-17 2016-09-22 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP6304144B2 (ja) * 2015-06-30 2018-04-04 京セラドキュメントソリューションズ株式会社 操作システム
US10732784B2 (en) * 2016-09-01 2020-08-04 University Of Massachusetts System and methods for cuing visual attention
IL252056A (en) * 2017-05-01 2018-04-30 Elbit Systems Ltd Head-up display device, system and method
US11079899B2 (en) * 2017-07-26 2021-08-03 Microsoft Technology Licensing, Llc Dynamic eye-gaze dwell times
US10496162B2 (en) * 2017-07-26 2019-12-03 Microsoft Technology Licensing, Llc Controlling a computer using eyegaze and dwell
KR102518404B1 (ko) 2017-09-29 2023-04-06 삼성전자주식회사 전자 장치 및 그의 시선 정보를 이용한 컨텐트 실행 방법
PL3654148T3 (pl) * 2017-10-16 2023-11-06 Tobii Dynavox Ab Ulepszony dostęp do urządzeń obliczeniowych za pomocą śledzenia wzroku
US20190146742A1 (en) * 2017-11-15 2019-05-16 Futurewei Technologies, Inc. Providing enriched e-reading experience in multi-display environments
EP3521977B1 (en) * 2018-02-06 2020-08-12 Smart Eye AB A method and a system for visual human-machine interaction
US11726559B2 (en) * 2018-04-24 2023-08-15 Intuitive Surgical Operations, Inc. Gaze-initiated communications
US10928900B2 (en) 2018-04-27 2021-02-23 Technology Against Als Communication systems and methods
US11462215B2 (en) * 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
GB2577711A (en) * 2018-10-03 2020-04-08 Lumen Res Ltd Eye-tracking methods, apparatuses and systems
US10948965B2 (en) * 2018-12-31 2021-03-16 Ecolink Intelligent Technology, Inc. User-configurable person detection system, method and apparatus
JP7446913B2 (ja) * 2020-05-21 2024-03-11 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム
WO2022159630A1 (en) * 2021-01-22 2022-07-28 Zinn Labs, Inc. Gaze sensors and display elements for detection of gaze vectors and user control at headset
US11762458B2 (en) * 2021-02-15 2023-09-19 Sony Group Corporation Media display device control based on eye gaze
US11592899B1 (en) * 2021-10-28 2023-02-28 Tectus Corporation Button activation within an eye-controlled user interface
US11619994B1 (en) 2022-01-14 2023-04-04 Tectus Corporation Control of an electronic contact lens using pitch-based eye gestures
US20230324680A1 (en) * 2022-04-08 2023-10-12 Mirza Faizan Apparatus to enable differently abled users to communicate and a method thereof
US11874961B2 (en) 2022-05-09 2024-01-16 Tectus Corporation Managing display of an icon in an eye tracking augmented reality device

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5859642A (en) * 1996-09-26 1999-01-12 Sandia Corporation Virtual button interface
US6243076B1 (en) * 1998-09-01 2001-06-05 Synthetic Environments, Inc. System and method for controlling host system interface with point-of-interest data
DK1607840T3 (da) 2004-06-18 2015-02-16 Tobii Technology Ab Øjenstyring af et computerapparat
IT1399456B1 (it) 2009-09-11 2013-04-19 Sr Labs S R L Metodo e apparato per l'utilizzo di generiche applicazioni software attraverso controllo oculare e opportune metodologie di interazione.
US20120086645A1 (en) * 2010-10-11 2012-04-12 Siemens Corporation Eye typing system using a three-layer user interface
EP2587342A1 (en) 2011-10-28 2013-05-01 Tobii Technology AB Method and system for user initiated query searches based on gaze data
ITFI20120165A1 (it) 2012-08-08 2014-02-09 Sr Labs S R L Sistema multimediale interattivo a controllo oculare per il tracciamento attivo e passivo
US20140055337A1 (en) * 2012-08-22 2014-02-27 Mobitv, Inc. Device eye tracking calibration
US20140247232A1 (en) * 2013-03-01 2014-09-04 Tobii Technology Ab Two step gaze interaction
JP2016529635A (ja) 2013-08-27 2016-09-23 オークランド ユニサービシズ リミテッド 凝視制御インターフェース方法およびシステム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6277567B1 (ja) * 2016-11-21 2018-02-14 株式会社コナミデジタルエンタテインメント 端末装置、及びプログラム
JP2018084875A (ja) * 2016-11-21 2018-05-31 株式会社コナミデジタルエンタテインメント 端末装置、及びプログラム
JP2018085125A (ja) * 2017-12-28 2018-05-31 株式会社コナミデジタルエンタテインメント 端末装置、及びプログラム
JP2018085124A (ja) * 2017-12-28 2018-05-31 株式会社コナミデジタルエンタテインメント 端末装置、及びプログラム

Also Published As

Publication number Publication date
GB201605053D0 (en) 2016-05-11
WO2015030607A1 (en) 2015-03-05
WO2015030607A9 (en) 2015-09-17
GB2533520B (en) 2021-02-10
KR20160046885A (ko) 2016-04-29
US20160195924A1 (en) 2016-07-07
US9829975B2 (en) 2017-11-28
GB2533520A (en) 2016-06-22

Similar Documents

Publication Publication Date Title
JP2016529635A (ja) 凝視制御インターフェース方法およびシステム
EP2699998B1 (en) Compact control menu for touch-enabled command execution
EP2715499B1 (en) Invisible control
US9098942B2 (en) Legend indicator for selecting an active graph series
US8042044B2 (en) User interface with displaced representation of touch area
KR102549529B1 (ko) 전자 장치에서 제 1 애플리케이션 아이콘을 이용하여 제 2 애플리케이션을 실행하기 위한 방법
JP5882492B2 (ja) キーボードにマップされたキーボード・ショートカットを提供すること
US20140351758A1 (en) Object selecting device
US20110199386A1 (en) Overlay feature to provide user assistance in a multi-touch interactive display environment
US10019134B2 (en) Edit processing apparatus and storage medium
EP2860622A1 (en) Electronic device and controlling method and program therefor
KR20140051228A (ko) 컨텍스트 기반 메뉴 시스템에 대한 서브메뉴
US11150797B2 (en) Method and device for gesture control and interaction based on touch-sensitive surface to display
KR20140078629A (ko) 인플레이스 방식으로 값을 편집하는 사용자 인터페이스
US20140082559A1 (en) Control area for facilitating user input
WO2011157527A1 (en) Contextual hierarchical menu system on touch screens
KR102205283B1 (ko) 적어도 하나의 어플리케이션을 실행하는 전자 장치 및 그 제어 방법
MX2014002955A (es) Entrada de formula para dispositivos de presentacion limitada.
US20120179963A1 (en) Multi-touch electronic device, graphic display interface thereof and object selection method of multi-touch display
JP5835240B2 (ja) 情報処理装置、情報処理方法及びプログラム
US9501206B2 (en) Information processing apparatus
US11237699B2 (en) Proximal menu generation
US9501210B2 (en) Information processing apparatus
JP2015022675A (ja) 電子機器、インターフェース制御方法、および、プログラム
JP6467889B2 (ja) 携帯端末、及びその制御方法、プログラム

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170420