JP5777023B2 - 視線追跡型ユーザインターフェイス - Google Patents

Description

本発明は、一般にグラフィカルユーザインターフェイスに関し、より詳細には、グラフィカルユーザインターフェイスとの視線追跡型対話を提供することに関する。

グラフィカルユーザインターフェイスは、画像を用いてユーザが電子デバイスと対話できるようにするタイプのユーザインターフェイスである。ほとんどのグラフィカルユーザインターフェイスは、ユーザが操作できるコンピュータアプリケーション及び制御の様々なグラフィック表現を表示する。ユーザインターフェイスの設計は、多くのオペレーティングシステム及びコンピュータアプリケーションの重要な要素であり、デバイス及び／又はアプリケーションを用いたユーザの全般的な体験に影響を及ぼすことがある。

本発明のいくつかの実施形態は、ユーザインターフェイスとの視線追跡型対話を提供することにより、上記の及びその他のニーズに有利に対処するものである。

１つの実施形態では、本発明を、グラフィックインターフェイスを提供する方法として特徴付けることができる。この方法は、ディスプレイデバイス上にインターフェイスタイルの組を表示するステップと、ユーザの凝視位置を検出するステップと、インターフェイスタイルの組のうちの１つのタイルをユーザが一定時間にわたって見ていることを識別するステップと、インターフェイスタイルの組のうちのユーザが見ている識別されたインターフェイスタイルに関連する追加コンテンツを含む拡張タイルを、インターフェイスタイルの組と共に表示するステップとを含む。

別の実施形態では、本発明を、グラフィックインターフェイスを提供する装置として特徴付けることができる。この装置は、視線追跡デバイスと、ディスプレイデバイスと、プロセッサベースのシステムとを含む。プロセッサベースのシステムは、ディスプレイデバイスに、ディスプレイデバイス上にインターフェイスタイルの組を表示させ、視線追跡デバイスからの信号を使用してユーザの凝視位置を検出し、インターフェイスタイルの組のうちの１つのタイルをユーザが一定時間にわたって見ていることを識別し、ディスプレイデバイスに、インターフェイスタイルの組のうちのユーザが見ている１つのタイルに関連する追加コンテンツを含む拡張タイルを、インターフェイスタイルの組と共に表示させるように構成される。

さらなる実施形態では、本発明を、コンピュータ可読記憶媒体に記憶されたコンピュータ実行可能コードを含むコンピュータソフトウェア製品として特徴付けることができる。コンピュータ実行可能コードは、プロセッサベースのシステムに、ディスプレイデバイス上にインターフェイスタイルの組を表示するステップと、ユーザの凝視位置を検出するステップと、インターフェイスタイルの組のうちの１つのインターフェイスタイルをユーザが一定時間にわたって見ていることを識別するステップと、インターフェイスタイルの組のうちのユーザが見ている識別されたインターフェイスタイルに関連する追加コンテンツを含む拡張タイルを、インターフェイスタイルの組と共に表示するステップとを実行させるように構成される。

以下の図面と共に示す以下の本発明のより詳細な説明から、本発明のいくつかの実施形態の上記の及びその他の態様、特徴及び利点がより明らかになるであろう。

本発明のいくつかの実施形態による、ユーザインターフェイスとの視線追跡型対話を提供する方法を示すフロー図である。 本発明のいくつかの実施形態によるユーザインターフェイスを示す図である。 本発明のいくつかの実施形態によるユーザインターフェイスを示す図である。 本発明のいくつかの実施形態によるユーザインターフェイスを示す図である。 本発明のいくつかの実施形態によるシステムの簡略ブロック図である。

図面の複数の図を通じて、対応する参照文字は対応する構成要素を示す。当業者であれば、図中の要素は単純さ及び明確さを目的として示したものであり、必ずしも縮尺通りではないと理解するであろう。例えば、本発明の様々な実施形態をより良く理解できるように、図中の要素の中には、他の要素に対して寸法を誇張しているものもある。また、本発明のこれらの様々な実施形態をより分かり易く示すために、商業的に実現可能な実施形態において有用又は必要な、一般的なものではあるが良く理解されている要素については示していないことが多い。

以下の説明は、限定的な意味で捉えるべきでなく、例示的な実施形態の一般的原理を説明するためのものにすぎない。本発明の範囲は、特許請求の範囲に基づいて決定すべきものである。

本明細書を通じて、「１つの実施形態」、「ある実施形態」、又は同様の表現に言及する場合、これらは、実施形態に関連して説明する特定の特徴、構造又は特性が本発明の少なくとも１つの実施形態に含まれることを意味する。従って、本明細書を通じて「１つの実施形態では」、「ある実施形態では」という表現、及び同様の表現が出現した場合、これらは、必ずというわけではないが、全て同じ実施形態を指すことができる。

さらに、説明する本発明の特徴、構造又は特性を、１又はそれ以上の実施形態においてあらゆる好適な態様で組み合わせることもできる。以下の説明では、本発明の実施形態を完全に理解できるように、プログラム、ソフトウェアモジュール、ユーザ選択、ネットワークトランザクション、ハードウェアモジュール、ハードウェア回路の例などの数多くの特定の詳細を記載している。しかしながら、当業者であれば、これらの特定の詳細の１又はそれ以上を伴わずに、或いはその他の方法、構成要素及び材料などを用いて本発明を実施できると認識するであろう。その他の場合、本発明の態様を曖昧にしないように、周知の構造、材料又は動作については示しておらず、或いは詳細に説明していない。

まず図１を参照すると、いくつかの実施形態によるユーザインターフェイスとの視線追跡型対話を提供する方法を示している。図１に示す方法は、プロセッサベースのシステムにより実行することができる。ステップ１０１において、ユーザインターフェイスを表示する。このユーザインターフェイスは、テレビ、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、ゲーム機、携帯電話機、スマートフォン、ポータブルメディアプレーヤ、セットトップボックス及び携帯情報端末などの電子デバイスのディスプレイデバイス上に表示することができる。このインターフェイスは、オペレーティングシステム又はアプリケーションのユーザインターフェイス、及び／又はオペレーティングシステムユーザインターフェイスへのプラグインであってもよい。このインターフェイスは、ウェブベースの及び／又はクラウドベースの遠隔アプリケーションのユーザインターフェイスであってもよい。いくつかの実施形態では、視線追跡ユーザインターフェイスが、音声コマンド、タッチ画面入力、ポインタデバイス入力、キーボード入力、動きセンサ信号、遠隔制御装置入力などを介した視線追跡以外の手段を通じてユーザと対話するように構成される。ユーザインターフェイスは、視線追跡技術の精度の低さを考慮するように設計することができる。例えば、識別エラーを低減するために、インターフェイスアイコン又はタイルのサイズを十分に大きく設計することができる。

ユーザインターフェイスは、グリッド状に配置された複数のインターフェイスタイルを含むことができる。インターフェイスタイルのいくつかは、グリッドの２又はそれ以上のセルを占めることができる。インターフェイスタイルのいくつかは、プログラム又はアプリケーションに関連付けることができ、このタイルを選択することにより、これらのプログラム又はアプリケーションを起動することができる。いくつかの実施形態では、タイルを、テキスト、グラフィクス、写真、ビデオのうちの１つ又はそれ以上とすることができる。インターフェイスタイルの中には、プログラムに関連する情報を表示する、カラー背景上のテキスト上に存在できるものもある。いくつかの実施形態では、プログラムに関連するグラフィック画像がタイル全体を占める。いくつかの実施形態では、一度に全てのインターフェイスタイルの一部しか表示されず、ユーザは、スクロールして残りのタイルを見ることができる。本開示では、一般にこれらのアイコンを「タイル」として説明するが、「タイル」は正方形又は長方形のアイコンに限定されるものではなく、複数の構成で配置されたいずれの数のサイズ及び形状のアイコンであってもよいと理解されたい。ユーザインターフェイスの外観及びタイルの内容のより詳細な説明については、図２〜図４を参照しながら後述する。

ステップ１０３において、ユーザの凝視位置を検出する。ユーザの凝視位置とは、ユーザが見ている位置のことであり、ディスプレイ画面上の位置に対応することができる。ユーザの凝視位置の検出は、カメラ、光センサ及び動きセンサなどの視線追跡デバイスにより実行することができる。いくつかの実施形態では、視線追跡メガネを用いて凝視を検出する。ユーザの凝視の検出は、ユーザの眼、頭及び／又は顔の特徴の位置及び／又は動きを追跡することに基づくことができる。いくつかの実施形態では、カメラが取り込んだビデオ画像を分析してユーザの凝視位置を検出することができる。いくつかの実施形態では、検出されたユーザの凝視位置に対応する位置又は範囲がディスプレイ画面上に示される。例えば、カーソルにより、又は特定された凝視位置に存在するタイルを強調表示又はその他の方法で強調することにより、対応する画面上の位置を示すことができる。

ステップ１０５において、ユーザが見ているインターフェイスタイルを識別する。インターフェイスタイルは、検出されたユーザの凝視位置に基づいて識別することができる。例えば、ユーザの凝視がディスプレイ画面の位置（ｘ、ｙ）に存在することが検出された場合、ディスプレイのその範囲を占めているタイルを識別する。ユーザが見ているインターフェイスタイルの識別は、ユーザが長く凝視していたかどうかに基づくことができる。すなわち、ユーザが所定の時間にわたってタイルを見ていたかどうかに基づくことができる。いくつかの実施形態では、この所定の時間が、ユーザ設定可能な変数である。いくつかの実施形態では、ユーザが１秒間にわたってほぼ同じ位置を見ていた場合にのみタイルを識別することができる。タイルの識別は、その時間中におけるユーザの凝視のわずかな動きを考慮することができる。いくつかの実施形態では、ユーザがタイル上を長く凝視して音声コマンドを与えた時にのみ拡張タイルを表示する。

ステップ１０７において、拡張タイルを表示する。いくつかの実施形態では、グリッド上のインターフェイスタイルが、ユーザが見ているタイルとして識別された時に拡張タイルを表示する。いくつかの実施形態では、拡張タイルを、関連するインターフェイスタイルに隣接して表示することができる。拡張タイルの表示は、インターフェイスタイルグリッド上のインターフェイスタイルのいくつかを再配置することを含むことができる。いくつかの実施形態では、ステップ１０１中に表示されたあらゆるインターフェイスタイルへのユーザの視界が拡張タイルによって遮られることはない。いくつかの実施形態では、インターフェイスタイルの再配置により、タイルのいくつかをディスプレイのフレーム外に出すことができる。いくつかの実施形態では、拡張タイルの表示のためのスペースを設けるために、拡張タイルの一方の側に対するインターフェイスタイルを、識別されたインターフェイスタイルから離して再配置して、識別されたインターフェイスタイルの列と、このインターフェイスタイルに隣接するインターフェイスタイルの列との間に拡張タイルを挿入する。

いくつかの実施形態では、拡張タイルが、識別されたインターフェイスタイルに関連する情報又はコンテンツを表示する。いくつかの実施形態では、拡張タイル内に表示される情報又はコンテンツを、ニュースフィード、ブログの投稿、ウェブサイトのスナップショット、気象情報及び天気予報、ソーシャルメディアステータスアップデート、ゲームスコアボード、ビデオクリップ、写真、カレンダー、予約スケジュール、地図、オーディオ再生リスト及び株式相場表示器のうちの１又はそれ以上とすることができる。拡張タイルの構成及びコンテンツのより詳細な例については、図２〜図４を参照しながら後述する。

いくつかの実施形態では、ユーザが、眼の動き、凝視位置、音声コメント、タッチ入力、ポインタ／カーソル入力及びキーボード入力などの１又はそれ以上のユーザ入力法を用いて拡張タイルのコンテンツと対話することができる。追加のユーザ入力により、拡張タイルが、追加コンテンツの表示、異なる種類のコンテンツの表示、制御又はオプションメニューの表示、又はプログラムの起動などを行うようにすることができる。例えば、ユーザは、眼の動きで拡張タイルのコンテンツをスクロールすることができる。別の例では、音声コマンドにより、拡張タイル及び／又はメインアプリケーション内の動作が起動するようにすることができる。例えば、ユーザは、拡張タイルのコンテンツを見ながら、「ｏｐｅｎ（開け）」と言って関連プログラム又はアプリケーションを起動することができる。いくつかの実施形態では、この動作が、検出されたユーザの凝視位置とその他の入力の１つとの組み合わせに基づく。

ステップ１０７の後、いくつかの実施形態では、システムが、拡張タイルが占める範囲からユーザの凝視が離れたことを検出することができる。ユーザの凝視が、もはや拡張タイル及び／又は以前に識別されたインターフェイスタイルに向けられていない場合、拡張タイルの表示を終えることができる。例えば、ユーザインターフェイスは、拡張タイルが表示される前の状態に戻ることができる。その後、ユーザは、一定時間にわたり別のタイルを見て、この第２のインターフェイスタイルに関連する別の拡張タイルを表示させることができる。或いは、いくつかの実施形態では、ユーザの凝視が拡張タイルから離れた場合にも拡張タイルを表示し、ユーザが第２の拡張タイルを表示させた時にのみ削除する。

次に図２を参照すると、いくつかの実施形態による視線追跡ユーザインターフェイスを示している。図２は、図１のステップ１０１において表示されるインターフェイスの一例とすることができる。図２に示すユーザインターフェイスは、タイルグリッド２００及び２８０を含む。タイルグリッド２００は１１個のインターフェイスタイルを含む。図２に示すタイルの数は、例示のためのものにすぎない。ユーザインターフェイスは、あらゆる数の列及び行で配置された任意の数のタイルを含むことができる。他の構成では、ユーザインターフェイスがアイコンを含むこともできる。図２に示すグリッド２００は、とりわけソーシャルメディアインターフェイスタイル２１０及び気象インターフェイスタイル２２０を含む。各インターフェイスタイルは、カラー背景及び／又はピクチャ上のテキスト及びアイコン、アニメーション画像、及びビデオクリップなどを含むことができる。図２に示すように、タイルグリッド２００上のタイルは、全て同じサイズでなくてもよい。タイルには、グリッド２００上の１つのセルを占めることができるものもあれば、インターフェイスタイル２１０及び２２０などのように２つのセルを占めるものもある。いくつかの実施形態では、グリッドが、半分、３つ又は４つのセルなどを占めるタイルのような、これよりも大きな又は小さなタイルを含むことができる。

いくつかの実施形態では、ユーザが、タイルグリッド２８０が見えるようにスクロールさせるために、画面の右側を見ることによってタイルグリッド２８０上のタイルと対話することができる。いくつかの実施形態では、インターフェイスの左側、上側又は下側を見ることにより、オプションメニュー、開始メニュー、ショートカットメニュー、仮想キーボードを表示することなどの他の動作が引き起こされる。

いくつかの実施形態では、インターフェイスタイルの少なくともいくつかがプログラム又はアプリケーションに関連付けられる。例えば、ソーシャルメディアインターフェイスタイル２１０を、ソーシャルメディアアプリケーション又はウェブブラウザブックマークに関連付けることができる。気象インターフェイスタイル２２０は、気象情報アプリケーション又はウェブサイトブックマークに関連付けることができる。いくつかの実施形態では、ユーザが、インターフェイスタイルを選択することにより、関連するプログラム又はアプリケーションを起動することができる。例えば、ユーザは、タイルを見ながら音声コマンドを使用して、関連するプログラム又はアプリケーションを実行することができる。いくつかの実施形態では、ユーザが、タッチ画面入力デバイス、ポインタデバイス、音声コマンド、遠隔制御装置、ゲームコントローラ及びキーボードなどを使用することにより、タイルを選択してプログラムを起動することができる。いくつかの実施形態では、インターフェイスタイルの少なくともいくつかが、プログラム又はアプリケーションに関連付けられない。

次に図３を参照すると、いくつかの実施形態による、拡張タイルを表示している例示的なユーザインターフェイスを示している。いくつかの実施形態では、図３に示すものが、ステップ１０７において表示されるインターフェイスの例である。例えば、システムがユーザの凝視を追跡し、ユーザが図２に示すようなソーシャルメディアインターフェイスタイル２１０を所定の時間にわたって見ていたことを検出した後に、拡張タイル２１５が表示される。図３に示すように、ソーシャルメディアインターフェイスタイル２１０を見ることにより、ソーシャルメディアアップデートを示すコンテンツを含む拡張タイル（２１５）が表示される。図３では、拡張タイル２１５が、その関連するインターフェイスタイル２１０の列と別のタイルの列との間に挿入されている。拡張タイルを表示する場合、他の複数の方法でインターフェイスタイルを再配置することができる。例えば、拡張タイルを表示する場合、インターフェイスタイルの一部又は全部を上下左右のいずれかに動かすことができる。いくつかの実施形態では、インターフェイスタイルのいくつかの位置が互いに変化することができる。いくつかの実施形態では、拡張タイルが画面のグリッド２００上のインターフェイスタイルを遮らないようにインターフェイスタイルが再配置される。

いくつかの実施形態では、ユーザが、上下のいずれかを見て拡張タイル２１５のコンテンツをスクロールすることができる。視線追跡は、ユーザが拡張タイルのコンテンツを見ている最中のユーザの凝視の動き及び／又は位置を追跡することを含むことができる。この結果、システムは、追跡されたユーザの眼の動き又は位置に基づいてコンテンツをスクロールすることができる。いくつかの実施形態では、拡張タイル２１５と共にスクロールアイコン２１７及び２１９が表示される。ユーザは、スクロールアイコン２１９を見て、拡張タイル２１５内のソーシャルメディアアップデートフィードのコンテンツを下向きにスクロールし、さらに多くのコンテンツを見ることができる。ユーザは、スクロールアイコン２１７を見てコンテンツを上向きにスクロールすることもできる。

いくつかの実施形態では、ユーザが、他の入力デバイスを使用して拡張タイルのコンテンツとさらに対話することができる。例えば、タッチ画面入力、ポインタデバイス、マイク、キーボード、遠隔制御装置及びゲームコントローラなどを使用して拡張タイルの項目を選択し、動作を実行することができる。拡張タイル２１５内にソーシャルメディアフィードが示される例では、ユーザが、入力デバイスを使用してアップデートの１つを選択し、関連するソーシャルメディアアプリケーションの完全なアップデートを見ることができる。別の例では、ユーザが、入力デバイスを使用して写真アップデートの１つを選択し、完全なソーシャルメディアアプリケーションを起動することなく、画像が見えるように拡大することができる。上記の例は例示として示したものにすぎず、拡張タイルのコンテンツとの対話は、識別されたインターフェイスタイル及び拡張タイルに関連するプログラム又はアプリケーションを実行するものであっても又はそうでなくてもよい複数の方法で行うことができる。

次に図４を参照すると、いくつかの実施形態による、拡張タイルを表示している別の例示的なユーザインターフェイスを示している。いくつかの実施形態では、図４に示すものが、ステップ１０７において表示されるインターフェイスの例である。例えば、システムがユーザの凝視を追跡し、ユーザが図２に示すようなインターフェイスタイル２２０を所定の時間にわたって見ていたことを検出した後に、拡張タイル２２５を表示することができる。いくつかの実施形態では、図３の拡張タイル２１５を見ているユーザの凝視が拡張タイル２１５から離れてインターフェイスタイル２２０に動いた後に図４が示される。

図４に示すように、気象情報インターフェイスタイル２２０は、現在の気象状態及びある日の天気予報を表示することができる。設定時間にわたって気象インターフェイスタイル２２０を見ることにより、数日間の天気予報を示す拡張タイル２２５が表示される。図４には、拡張タイル２２５が表示された時に複数のインターフェイスセルが再配置されていることも示している。いくつかの実施形態では、ユーザが、拡張タイル２２５のコンテンツとさらに対話することができる。例えば、ユーザは、上及び下を見て、拡張タイル内に示されている日付の前日及び翌日の気象情報を見ることができる。いくつかの実施形態では、ユーザが、入力デバイスを使用して日付を１つ選択し、選択した日付の詳細な予報を表示することができる。例えば、この詳細な情報は、１時間毎の予報、降水量、風速、湿度、露点、花粉指数などを含むことができる。

図２〜図４に示すユーザインターフェイス、インターフェイスタイル及び拡張タイルは、本明細書で説明する視線追跡ユーザインターフェイスの実施形態のほんの一例である。本開示の思想から逸脱することなく他の構成も可能である。本明細書では、インターフェイスタイル及び拡張タイルの追加例を例示として示す。

いくつかの実施形態では、インターフェイスタイルをニュースチャンネル又はウェブサイトなどのニュースプログラムに関連付けることができる。このインターフェイスタイルは、ニュース画像、ビデオクリップ、見出し、及び／又はユーザが選択したニュースフィードを表示することができる。このインターフェイスタイルは、選択時に、ニュースチャンネル又はサイトにアクセスするためのアプリケーションを開くことができる。ニュースインターフェイスタイルに関連する拡張タイルは、新たなビデオ、見出しのリスト、新たな概要及び新たな記事全体などを表示することができる。

いくつかの実施形態では、インターフェイスタイルをカレンダープログラムに関連付けることができる。このインターフェイスタイルは、現在の日付及び１又はそれ以上のカレンダー入力を表示することができる。カレンダーインターフェイスタイルは、選択時に、カレンダーを見て編集できるように開くことができる。カレンダーインターフェイスタイルに関連する拡張タイルは、追加のカレンダー入力、及び／又は１週間のカレンダービュー又は１カ月のカレンダービューを表示することができる。

いくつかの実施形態では、インターフェイスタイルを交通情報タイルとすることができる。このインターフェイスタイルは、目的地までの推定移動時間、及び／又は所定のルート上の現在の交通状態の指標を表示することができる。交通情報タイルは、選択時に、方向を示すとともに目的地を設定するために地図を開くことができる。交通情報タイルに関連する拡張タイルは、交通情報のオーバーレイや方向リストを含む地域の地図を表示すること、又は目的地のリストを含むことができる。

いくつかの実施形態では、インターフェイスタイルをソーシャル写真共有インターフェイスタイルとすることができる。このインターフェイスタイルは、ソーシャル写真共有サービスからの写真を表示することができる。ソーシャル写真共有タイルは、選択時に、写真共有ウェブサイト又はアプリケーションを開くことができる。ソーシャル写真共有タイルに関連する拡張タイルは、共有する写真のフィードを表示することができる。

いくつかの実施形態では、インターフェイスタイルを音楽プレーヤタイルとすることができる。音楽プレーヤタイルは、音楽ライブラリ内の楽曲及び／又は現在再生中の楽曲のアルバムカバーを表示することができる。音楽プレーヤタイルは、選択時に、ローカル又はストリーミング音楽プレーヤアプリケーションを開くことができる。音楽プレーヤタイルに関連する拡張タイルは、再生リスト、及び／又は曲名、アーティスト名、歌詞などの現在再生中の楽曲の詳細情報を表示することができる。

いくつかの実施形態では、１つのインターフェイスタイルを写真アルバムタイルとすることができる。写真アルバムタイルは、写真アルバム内の１又はそれ以上の写真を表示することができる。写真アルバムは、選択時に、写真表示アプリケーションを開くことができる。写真アルバムタイルに関連する拡張タイルは、アルバム内の写真のスライドショー又はサムネイルを表示することができる。

いくつかの実施形態では、１つのインターフェイスタイルを株式情報タイルとすることができる。株式情報タイルは、選択した株式の組の株式相場表示器を表示することができる。株式情報タイルは、選択時に、株式追跡及び／又は取引プログラム又はウェブサイトを開くことができる。株式情報タイルに関連する拡張タイルは、さらなる株式相場表示器、株価を追跡するグラフィクス、株式関連のニュースフィードなどを表示することができる。

いくつかの実施形態では、１つのインターフェイスタイルをスポーツスコアタイルとすることができる。スポーツスコアタイルは、選択した試合又はチームの組のゲームスコアを表示することができる。スポーツスコアタイルは、選択時に、スポーツレポートアプリケーション又はウェブサイトを開くことができる。スポーツスコアタイルに関連する拡張タイルは、さらなるゲームスコア、ゲームレポート、ゲームのハイライト、プレーヤの統計値、トーナメント表、次のゲームスケジュールなどを表示することができる。

上記の説明は、一例として示したものにすぎず、限定的であることを意図したものではない。いくつかの実施形態では、拡張タイルのコンテンツを、関連するプログラム又はアプリケーションにより決定することができる。いくつかの実施形態では、オペレーティングシステム又はローカルプログラムが、拡張のコンテンツを生成することができる。例えば、ローカルプログラムにより、アプリケーションに関連するウェブサービスから情報を取り出して、拡張タイルのコンテンツを生成することができる。いくつかの実施形態では、拡張タイルのコンテンツを、ユーザが構成した設定でカスタマイズすることができる。

次に図５を参照すると、いくつかの実施形態によるシステムの簡略ブロック図を示している。視線追跡インターフェイスを提供するシステム５００は、プロセッサ５０１、メモリ５０３、ディスプレイ５０５、視線追跡デバイス５０７、及び入力デバイス５０９を含むことができる。

システム５００は、テレビ、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、ゲーム機、携帯電話機、スマートフォン、ポータブルメディアプレーヤ、セットトップボックス、携帯情報端末及びスマートメガネなどとすることができる。メモリ５０３は、デバイス上のＲＡＭ及び／又はハードドライブメモリとすることができる。ディスプレイ５０５は、システム５００に一体化されたディスプレイ又は別個のデバイスとすることができる。視線追跡器５０７は、ユーザの凝視を単独で追跡できる、及び／又はプロセッサ５０１に信号を供給するカメラ、光センサなどとすることができる。入力デバイス５０９は、ユーザがシステム５００と対話できるようにする、マイク、キーボード、マウス、タッチパッド、タッチ画面、動きセンサ、遠隔制御装置などの１又はそれ以上のデバイスとすることができる。いくつかの実施形態では、プロセッサ５０１、メモリ５０３、ディスプレイ５０５、視線追跡デバイス５０７及びその他の入力デバイス５０９のうちの２又はそれ以上を１つのデバイス内で統合することができる。

いくつかの実施形態では、視線追跡ユーザインターフェイスがメモリ５０３に記憶される。プロセッサ５０１は、メモリ５０３に記憶されたコードを実行して、ディスプレイデバイス５０５上にユーザインターフェイスを表示する。プロセッサ５０１は、視線追跡デバイス５０７から受け取った信号を使用して、ユーザがユーザインターフェイス内のインターフェイスタイルを所定の時間にわたって見ているかどうかを判断することができる。見ていると判断した場合、プロセッサ５０１は、ディスプレイデバイス５０５に、識別されたインターフェイスタイルに関連する拡張タイルを表示させる。いくつかの実施形態では、プロセッサ５０１が、もはやユーザが拡張タイルを見ていないと判断した場合、ディスプレイから拡張タイルを削除することができる。いくつかの実施形態では、ユーザが、１又はそれ以上の追加の入力デバイス５０９を使用してユーザインターフェイス、インターフェイスタイル及び拡張タイルと対話することもできる。いくつかの実施形態では、プロセッサ５０１が、追跡される凝視信号と他の入力デバイスとを区別する。例えば、ポインタデバイスを使用したポインタのホバリングと長い凝視とを区別することができる。いくつかの実施形態では、システム５００が、インターフェイスタイル、拡張タイル、アプリケーション、プログラム、及び／又はインターフェイスタイルに関連するウェブサイトに情報を提供するために、インターネット接続、Ｗｉ−Ｆｉ接続、モバイルネットワーク接続、有線ネットワーク接続などの外部接続をさらに含む。いくつかの実施形態では、視線追跡ユーザインターフェイスが、システム５００のオペレーティングシステムである。いくつかの実施形態では、視線追跡ユーザインターフェイスが、システム５００上で実行されるプログラムのインターフェイスである。

上述した方法及び装置は、ユーザが凝視によって電子デバイスと対話できるようにするための効率的な方法を提供するものである。デバイスが完全なアプリケーションを実行する必要なく、拡張タイルを利用して所望の情報をユーザに素早く提供することができる。ユーザは、メインインターフェイスから離れずに、１つの拡張タイルから別の拡張タイルに容易に切り換えを行うこともできる。この拡張タイルにより、メインインターフェイス上の余分なスペースを恒久的に占めることなく、当初のインターフェイスタイルに収容できるよりも多くの情報を表示できるようにもなる。さらに、ユーザは、タッチ画面、マウス、キーボード、遠隔制御装置などの別の入力デバイスを使用せずに、眼の動きだけでユーザインターフェイスと対話して所望の情報を取得することができる。

本明細書で説明した機能ユニットの多くは、その実装の独立性をより強調するためにステップとして示している。例えば、あるステップは、カスタムＶＬＳＩ回路又はゲートアレイを含むハードウェア回路、論理チップなどの既成半導体、トランジスタ、又はその他の個別部品として実装することができる。あるステップは、フィールドプログラマブルゲートアレイ、プログラマブルアレイ論理又はプログラマブル論理デバイスなどのプログラマブルハードウェアデバイスの形で実装することもできる。

これらのステップを、様々な種類のプロセッサにより実行されるソフトウェアの形で実装することもできる。実行可能コードの識別されるモジュールは、例えばオブジェクト、手順又は機能として体系化できる、例えばコンピュータ命令の１又はそれ以上の物理的又は論理的ブロックを含むことができる。これにも関わらず、識別されるモジュールの実行可能ファイルを共に物理的に位置付ける必要はないが、これらは、論理的に結合された場合、ステップを含むとともにステップのための定められた目的を達成する、異なる場所に記憶された異なる命令を含むことができる。

本明細書で開示する発明を、特定の実施形態、実施例及びその用途を通じて説明したが、当業者であれば、特許請求の範囲に示す本発明の範囲から逸脱することなく、本発明に数多くの修正及び変更を行うことができるであろう。

Claims (20)

1. グラフィックインターフェイスを提供する方法であって、
   ディスプレイデバイス上にインターフェイスタイルの組を表示するステップと、
   ユーザの凝視位置を検出するステップと、
   前記インターフェイスタイルの組から、前記ユーザが一定時間にわたって見ているインターフェイスタイルを識別するステップと、
   前記インターフェイスタイルの組のうちの識別されたインターフェイスタイルに関連する追加コンテンツを含む拡張タイルを、前記インターフェイスタイルの組と共に表示するステップと、
   を含み、
   前記識別されたインターフェイスタイルは、実行可能アプリケーションに関連付けられており、前記拡張タイルは、前記実行可能アプリケーションを開くことなく表示されることを特徴とする方法。
2. 前記インターフェイスタイルの組は、１又はそれ以上の実行可能アプリケーションに関連する１又はそれ以上のインターフェイスタイルを含む、
   ことを特徴とする請求項１に記載の方法。
3. 前記拡張タイルは、前記識別されたインターフェイスタイルに隣接して表示される、
   ことを特徴とする請求項１に記載の方法。
4. 前記拡張タイルを表示するステップは、前記インターフェイスタイルの組の１又はそれ以上のタイルを再配置するステップをさらに含む、
   ことを特徴とする請求項１に記載の方法。
5. 音声コマンドを受け取るステップと、
   検出されたユーザの凝視位置と前記音声コマンドとの組み合わせに基づいて動作を実行するステップと、
   をさらに含むことを特徴とする請求項１に記載の方法。
6. ユーザの凝視の動きに基づいて、前記拡張タイル内の前記追加コンテンツをスクロールするステップをさらに含む、
   ことを特徴とする請求項１に記載の方法。
7. 前記インターフェイスタイルの組はグリッド状に配置され、前記インターフェイスタイルの組の少なくとも１つは、前記グリッドの２又はそれ以上のセルを占める、
   ことを特徴とする請求項１に記載の方法。
8. 前記インターフェイスタイルの組からのタイルを強調表示して、検出されたユーザの凝視位置を示すステップをさらに含む、
   ことを特徴とする請求項１に記載の方法。
9. 前記ユーザが前記拡張タイルを見ていないことを検出するステップと、
   前記拡張タイルの表示を終了するステップと、
   をさらに含むことを特徴とする請求項１に記載の方法。
10. 前記追加コンテンツは、ニュースフィード、ブログ投稿、ウェブサイトのスナップショット、気象情報及び天気予報、ソーシャルメディアステータスアップデート、ゲームスコアボード、ビデオクリップ、写真、カレンダー、予約スケジュール、地図、オーディオ再生リスト、及び株式相場表示器からなる群から選択される少なくとも１つを含む、
    ことを特徴とする請求項１に記載の方法。
11. グラフィックインターフェイスを提供する装置であって、
    視線追跡デバイスと、
    ディスプレイデバイスと、
    プロセッサベースのシステムと、
    を備え、前記プロセッサベースのシステムは、
    前記ディスプレイデバイスに、該ディスプレイデバイス上にインターフェイスタイルの組を表示させ、
    前記視線追跡デバイスからの信号を使用してユーザの凝視位置を検出し、
    前記インターフェイスタイルの組から、前記ユーザが一定時間にわたって見ているインターフェイスタイルを識別し、
    前記ディスプレイデバイスに、前記インターフェイスタイルの組のうちの識別されたインターフェイスタイルに関連する追加コンテンツを含む拡張タイルを、前記インターフェイスタイルの組と共に表示させる、
    ように構成され、
    前記識別されたインターフェイスタイルは、実行可能アプリケーションに関連付けられており、前記拡張タイルは、前記実行可能アプリケーションを開くことなく表示されることを特徴とする装置。
12. 前記インターフェイスタイルの組は、１又はそれ以上の実行可能アプリケーションに関連する１又はそれ以上のインターフェイスタイルを含む、
    ことを特徴とする請求項１１に記載の装置。
13. 前記拡張タイルは、前記識別されたインターフェイスタイルに隣接して表示される、
    ことを特徴とする請求項１１に記載の装置。
14. 前記拡張タイルを表示することは、前記インターフェイスタイルの組の他のタイルを再配置することをさらに含む、
    ことを特徴とする請求項１１に記載の装置。
15. 音声コマンドを受け取ることと、
    検出されたユーザの凝視位置と前記音声コマンドとの組み合わせに基づいて動作を実行することと、
    をさらに含むことを特徴とする請求項１１に記載の装置。
16. ユーザの眼の動きに基づいて、前記拡張タイルの前記追加コンテンツをスクロールするステップをさらに含む、
    ことを特徴とする請求項１１に記載の装置。
17. 前記インターフェイスタイルの組はグリッド状に配置され、前記インターフェイスタイルの組のうちの少なくとも１つのタイルは、前記グリッドの２又はそれ以上のセルを占める、
    ことを特徴とする請求項１１に記載の装置。
18. 前記インターフェイスタイルの組からのタイルを強調表示して、検出されたユーザの凝視位置を示すことをさらに含む、
    ことを特徴とする請求項１１に記載の装置。
19. 前記ユーザが前記拡張タイルを見ていないことを検出することと、
    前記拡張タイルの表示を終了することと、
    をさらに含むことを特徴とする請求項１１に記載の装置。
20. プロセッサベースのシステムに、
    ディスプレイデバイス上にインターフェイスタイルの組を表示するステップと、
    ユーザの凝視位置を検出するステップと、
    前記インターフェイスタイルの組から、前記ユーザが一定時間にわたって見ているインターフェイスタイルを識別するステップと、
    前記インターフェイスタイルの組のうちの識別されたインターフェイスタイルに関連する追加コンテンツを含む拡張タイルを、前記インターフェイスタイルの組と共に表示するステップと、
    を実行させるように構成され、ここで、前記識別されたインターフェイスタイルは、実行可能アプリケーションに関連付けられており、前記拡張タイルは、前記実行可能アプリケーションを開くことなく表示されることを特徴とするコンピュータ・プログラム。