JP2015207290A - 自動ゲイズ・キャリブレーション - Google Patents

Abstract

【課題】ゲイズ・トラッキング（視線追跡）入力装置において、自動ゲイズ・キャリブレーション機能を提供する。
【解決手段】デバイスのプロセッサを使用して、デバイスのタッチ入力イベントの発生を判定する工程３０１と、デバイスのセンサを使用して、ユーザの画像データをキャプチャーする工程３０２と、プロセッサを使用してタッチ入力イベントに対応するスクリーン位置を特定する工程３０３と、プロセッサを用いてタッチ入力イベントの発生、ユーザの画像データ及びタッチ入力イベントに対応するスクリーン位置を使用して、デバイスのゲイズ・トラッキングシステムをキャリブレーションする工程３０４、３０５、３０６と、を含む。
【選択図】図３

Description

本発明は、自動ゲイズ・キャリブレーションに関する。

ゲイズ・トラッキング（gaze tracking：視線追跡）やアイ・トラッキング（eye tracking：目追跡）のテクノロジーは、単独又は他の電子デバイス（例えば、タブレット、ラップトップ・コンピュータ、スマートテレビジョン、ゲームコンソール等）に接続しての使用が増加している。ゲイズ・トラッキングシステムは、入力デバイスとして使用することができ、例えば、あるアクション（例えば、スクリーン上のコンテンツのスクロール、スクリーンのエレメント上でのハイライト／選択等）を実行するための入力手方法として、ユーザの目のフォーカスや視線（gaze）のフォーカスのトラッキングを使用することができる。

従来、ゲイズ・トラッキングシステムは使用のためにキャリブレーションする必要があった。そのため、システムをキャリブレーションするために、ユーザが共通して初期の処理やエクササイズを行って、サンプルデータやトレイニングデータが取得される。この処理は、スクリーン上に配置される所定のターゲットを見るユーザの目の画像キャプチャーを使用して、システムをキャリブレートすることが不可欠であることを意味している。これにより、システムはスクリーンに対してユーザのゲイズを計算するのに使用するパラメータを決定することが可能となる。例えば、ユーザがスクリーンに近づいたり離れたりした場合、又は、デバイスに対して向きを変えたりして、パラメータが変化すると、キャリブレーション処理はゲイズ・トラッキングシステムの正確さや精密さを維持するために、再稼働が必要となる場合がある

本発明は、自動ゲイズ・キャリブレーションを提供することを目的とする。

要約すると、１つの態様では、デバイスのプロセッサを使用して、前記デバイスのタッチ入力イベントの発生を判定する工程と、前記デバイスのセンサを使用して、ユーザの画像データをキャプチャーする工程と、プロセッサを使用して、前記タッチ入力イベントに対応するスクリーン位置を特定する工程と、プロセッサを用いて、前記タッチ入力イベントの発生、前記ユーザの画像データ、及び前記タッチ入力イベントに対応するスクリーン位置を使用する、前記デバイスのゲイズ・トラッキングシステムをキャリブレーションする工程とを含む方法を提供する。

別の態様では、タッチ入力デバイスと、タッチ入力デバイスと、情報を表示するスクリーンと、前記タッチ入力デバイスのユーザの画像データをキャプチャーするセンサと、前記タッチ入力デバイス、前記スクリーン、及び前記センサと動作可能に接続されたプロセッサと、プロセッサにより実行可能な指令を格納したメモリと、を備え、プロセッサは、前記メモリに格納された指令を実行することにより、前記タッチ入力デバイスでのタッチ入力イベントの発生を判定し、前記センサを用いてユーザの画像データをキャプチャーし、前記タッチ入力イベントに対応するスクリーン位置を特定し、前記タッチ入力イベントの発生、前記ユーザの画像データ、及び前記スクリーン位置を用いて、装置のゲイズ・トラッキングシステムをキャリブレートする装置を提供する。

さらに別の態様では、プロセッサにより実行可能なコードを格納するストレージデバイスを備え、前記コードは、デバイスのプロセッサを使用して、タッチ入力デバイスでのタッチ入力イベントの発生を判定し、デバイスのセンサを使用してユーザの画像データをキャプチャーし、プロセッサを使用して前記タッチ入力イベントに対応するスクリーン位置を特定し、前記タッチ入力イベントの発生、前記ユーザの画像データ、及び前記スクリーン位置を用いて、前記デバイスのゲイズ・トラッキングシステムをキャリブレートするコンピュータプログラムプロダクトを提供する。

上述した内容は、要約であり、そのため、簡素化、一般化、詳細の省略を行ってもよい。当業者は、この要約は、単に説明であってその態様を制限する意図ではないことを理解できる。

より実施の態様を理解するために、そのさらなる特徴と利点は、以下の記載と添付した図面を一緒に参照することで理解できる。発明の範囲は、特許請求の範囲において指摘されている。

図１は、情報処理デバイスの一例を説明するための図である。 図２は、情報処理デバイスの他の例を説明するための図である。 図３は、自動ゲイズ・キャリブレーション方法の一例を説明するための図である。

図面で一般的に説明しているような実施の形態のコンポーネントは、ここで記載する実施の形態に加えて、広く異なる各種構成として構成及び設計してもよい。従って、図面に記載されているような以下の実施の形態の詳細な記載は、特許請求の範囲の制限を意図するものではなく、単なる実施例である。

明細書を通じて、実施の形態に関連して記載された特定の図、構成、特徴を意味する１つの実施の形態又はある実施の形態等の参照は、少なくとも１つの実施の形態である。従って、いろいろな場所において、１つの実施の形態又はある実施の形態等という用語は、明細書を通じて、必ずしも全て同じ実施の形態を参照しているわけではない。

さらに、記載される特徴、構成、又は特性は、１又は複数の実施の形態において、好ましい態様で組み合わせることができる。以下の記載において、多数の詳細な説明が、実施の形態の理解を通じて提供される。関連する技術の当業者は、各種の実施の形態を、詳細な説明がなくても、他の方法や、コンポーネント、材料を用いて実施することができる。換言すると、公知の構成、材料、オペレーションは、難解となるのを避けるため詳細には記載していない。以下の記載は、単に実施例の態様を意図するものであり、簡単に特定の実施例について説明している。

ここで記載されるように、アイ・トラッキング（また、ここでは「ゲイズ・トラッキング」と称する）は、最初のキャリブレーションが必要である。アイ・トラッキングは、例えば、ユーザのヘッドが動いた場合などには、再キャリブレーションが必要となる。キャリブレーョンでは、一般に、ユーザがスクリーン上の様々な位置に移動するオブジェクトを目で追う（follow）必要がある。現在の手法では、ユーザがアイ・トラッキングのキャリブレーションを実行できるようになっているが、ユーザにとって不便である。さらに、ユーザがヘッド（head）を動かすと、現在の手法では、システムが正確さ及び精密さを維持するために、再キャリブレーションが必要となる。

実施の形態では、ゲイズ・トラッキングシステム外（outside of the gaze tracking system）のコンポーネントから利用可能なシステムの情報（knowledge）を使用して、ユーザが見ているものを推測することによって、ユーザがスクリーン上で見ている公知の位置を用いてアイ・トラッキングをキャリブレートする。以下は、ユーザが特定のスクリーン位置を見ているかを判定することを可能とするシステム情報の複数の非制限的な例である。

実施の形態では、ユーザがデバイスのスクリーンにタッチしたという事実（例えば、ホバーリング（hovering）や近接検出（close proximity sensing）等のタッチスクリーンへの入力）を活用して、ユーザが特定のタッチスクリーンの位置を見ていると推定してもよい。実施の形態では、ユーザが特定のタッチスクリーンの位置を見ていることを推定するために、ユーザが他の非光学的入力デバイスを用いて、マウスボタンのクリック又は何かを選択した事実を使用してもよい。実施の形態では、例えば、ユーザがテキストをタイプ又は入力した場合に、ユーザがスクリーン上に表示されるカーソル位置又はワード位置を見ている又はフォーカシングしていると推定することができる。実施の形態では、ユーザが選択可能なエレメント（例えば、ウエブページのリンク）をクリックする前に、非光学的な入力デバイスを介したマウス又はカーソル位置のスクリーン位置の移動が発生したという事実を活用して、ユーザが特定のタッチスクリーンの位置を見ていると推定してもよい。実施の形態では、ユーザがマウス又はカーソルの位置ボタン（例えば、コントロールキー）を押したという事実を活用して、ユーザが特定のタッチスクリーンの位置を見ていると推定してもよい。実施の形態では、ユーザが、アクションを実行するコントロール（例えば、メニューオープン、リストドロップダウンと等）に対してカーソル又は他の選択エレメントをハーバーした（例えば、ペン、スタイラス、指先等を用いて）という事実を活用して、ユーザが特定のタッチスクリーンの位置を見ていると推定してもよい。同様に、実施の形態では、ユーザはその目がカーソルの位置や移動に追従する（目で追いかける）と推定してもよい。アイ・トラッキングシステム又はゲイズ・トラッキングシステムの各々は、実施の形態によれば、ユーザが見ている既知のスクリーン位置（the known screen location）をマッチングすることによって、自己キャリブレートすることができる。これにより、ユーザが、キャリブレーションのエクササイズ（calibration exercise）を実行しないで、普通にデバイスを使用することができる。

実施の形態において、タイミング情報（timing information）は、例えば、ユーザの目が、特定の非光学的入力等の位置をフォーカスしている又はフォーカスしていた等の所定の状況（given the context）を考慮したものとしてもよい。いくつかの実施の形態では、タイミング情報は、ある使用ケースのシナリオを好適に調整する（accommodate）ために、補正（offset）を実行してもよい。例えば、目の位置（目の画像データ）は、マウスの選択をする前の瞬間に巻き戻される（rewound）必要があるかもしれない。例えば、ユーザは、マウスの選択をする前に、キーボード／マウスに視線を落とすためである。同様に、実施の形態では、例えば、ユーザがカーソル位置入力の後にカーソルの位置を見るので、アクション（例えば、カーソルの位置入力）後にキャプチャーされるユーザの目のフォーカスに対応する画像データを使用してもよい。

アイ・トラッキングは、例えば、アイ・トラッキングの記録、ユーザの特定の所定の位置データ点はキャリブレーション用に正確であるか又は捨てる／使用できないといった信頼性レベルを判定してもよい。一旦、十分なスクリーン位置が集められると、アイ・トラッキングの特徴では、初期のキャリブレーションは必要なく、自動的に行うことが可能となる。従って、実施の形態では、ゲイズ・トラッキングシステムの初期化／キャリブレーションのステップの全体をスキップして、ゲイズ・トラッキングシステムを使用している間に、キャリブレーションが実行されていると（例えば、バックグラウンド・タスクとしてキャリブレーションが実行されていると）、単にユーザに通知することにしてもよい。

キャリブレーションは、ポリシーによって維持又はアップデートすること（例えば、アイ・トラッキングの正確性を維持するために、未来のイベントを比較することにより）が可能である。最初のキャリブレーションをスキップするために十分なスクリーンデータを特定できない場合は、従来のアイ・トラッキングキャリブレーションでは、集めたデータ点を用いて少なくともキャリブレーションを縮小するかも知れない。この点において、実施の形態では、ゲイズ・トラッキングシステムの必要なキャリブレーションを簡素化して、よりユーザ・フレンドリーなエクスペリエンスを提供する。

説明する実施の形態では、図面を参照することによってよく理解することができる。以下の記載は、単なる一例であり、単に実施例を説明することを意図している。

図１は、スマートフォン及び／又はタブレット（smart phone and/or tablet）の回路（circuitry）又はシステム（systems）１００に関する情報処理デバイス（また、ここでは、装置、電子デバイス、又は、単にデバイスと称する）に利用できる各種の回路又はコンポーネントであり、タブレット又は他のモバイルコンピューティングプラットフォームの一例と見ることができる回路デザイン上のシステムを含んでいる。ソフトウェア及びプロセッサ（Software and processor(s)）は、単一の回路（single circuit）１１０に組み込まれている。プロセッサは、この分野の公知である、内部アーキテクチャユニット、レジスタ、キャッシュメモリ、バス、Ｉ／Ｏポート等を備えている。内部バス等は、異なるベンダーに依拠したものであるが、本質的に全ての周辺デバイス（peripheral(Additional) devices）１２０は、単一の回路１１０に接続することができる。回路１００では、プロセッサ、メモリコントロール、及びＩ／Ｏコントローラハブの全てが単一の回路１１０に組み込まれている。また、このタイプのシステム１００は、典型的には、ＳＡＴＡ、ＰＣＩ、又はＬＰＣを使用していない。共通のインターフェイスは、ＳＤＩＯ及びＩ２Ｃを備えている。

電力管理チップ（power management chip(s)）１３０は、例えば、電源（不図示）に接続されることによってリチャージすることができるリチャージ可能な（rechargeable）バッテリ（battery）１４０を介して供給される電力を管理するバッテリ管理ユニット（ＢＭＵ：battery management unit）１４０を備えている。少なくとも１つのデザイン、１１０のようなシングル回路において、ＢＩＯＳのような機能やＤＲＡＭメモリを提供するのに使用されてもよい。

システム１００は、典型的には、電話回線、無線インターネットデバイス（例えば、アクセスポイント）のような各種のネットワークと接続するための、１または複数のＷＷＡＮトランシーバ（WWAN transceiver）１５０やＷＬＡＮトランシーバ（WLAN transceiver）１６０を備えている。周辺デバイス１２０は、一般的に、例えば、ゲイズ・トラッキングシステムに渡すことができる画像データをキャプチャーするカメラを含んでいる。システム１００は、データ入力及び表示／レンダリング用のタッチスクリーン（touch screen）１７０を備えている。システム１００は、また、典型的には、例えば、フラッシュメモリ（flash memory）１８０，ＳＤＲＡＭ１９０のような各種メモリデバイスを備えている。

図２は、情報処理デバイスの回路やコンポーネントの一例を示すブロック図である。これに限られるものではなく、他の回路やコンポーネントを使用してもよい。図２に示す例は、例えば、Lenovo(US) Inc. of Morrisvilleで販売されているパーソナルコンピュータのTHINKPADシリーズ、ＮＣ、又は他のデバイスのようなコンピューティングシステムとすることができる。ここでの記載から明らかなように、実施の形態では、図２に示す構成以外の構成を含んでもよく、また、図２に示す構成のうちの一部だけを含んでいてもよい。

図２の例では、製造業者（例えば、ＩＮＴＥＬ（登録商標）、ＡＭＤ（登録商標）、ＡＲＭ等）に応じて変更できるアーキテクチャを有するいわゆるチップセット（chipset）２１０（集積回路、チップ、又はチップセットのグループ等）を備えている。チップセット２１０のアーキテクチャは、ＤＭＩ（direct management interface）２４２又はリンクコントローラ（link controller）２４４を介して情報（例えば、データ、信号、及びコマンド等）を交換するコア・メモリコントロールグループ（core and memory control group）２２０及びＩ／Ｏコントローラハブ（I/Ｏ controller hub）２５０を備えている。図２において、ＤＭＩ２４２は、chip-to-chipインターフェイスである（ノースブリッジ（north-bridge）とサウスブリッジ（south-bridge）間のリンクとして参照する場合がある）。コア・メモリコントロールグループ２２０は、ＦＳＢ（front side bus）２２４を介して情報を交換する１又は複数のプロセッサ（processors）２２２（例えば、シングル又はマルチコア）及びメモリコントローラハブ（memory controller hub）２２６を備えている。コア・メモリコントロールグループ２２０は、従来のノースブリッジ（north-bridge）式のアーキテクチャに取って代わるチップがインテグレィトされてもよい。１又は複数のプロセッサ２２２は、内部アーキテクチャユニット、レジスタ、キャッシュメモリ、バス、Ｉ／Ｏポート等の当該分野で公知のものを備えている。

図２において、メモリコントローラハブ２２６は、メモリ（memory）２４０とのインターフェイスを行う（例えば、システムメモリまたはメモリとして参照できるＲＡＭ形式としてサポートを提供する）。メモリコントローラハブ２２６は、さらに、ディスプレイデバイス（例えば、ＣＲＴ、フラットパネル、プロジェクタ等）２９２用のＬＶＤＳインターフェイス（LVDS interface）２３２を備えている。ブロック（block）２３８はＬＶＤＳインターフェイス２３２を介してサポートされるテクノロジー（例えば、ＳＤＶＯ(serial digital video)、 ＨＤＭＩ（登録商標）／ＤＶＩ、ディスプレイポート（display port)）を備えている。メモリコントローラハブ２２６は、また、ディスクリートグラフィックス（discrete graphics）２３６をサポートするＰＣＩｅ−Ｅ（PCI-express interface）２３４を備えている。

図２において、Ｉ／Ｏコントローラハブ２５０は、ＳＡＴＡインターフェイス２５１（例えば、ＨＤＤ／ＳＤＤ２８０用等）、ＰＣＩ−Ｅインターフェイス２５２（例えば、無線接続２８２用等）、ＵＳＢインターフェイス２５３（例えば、デジタイザ、キーボード、マウス、カメラ、電話、ストレージ、他の接続デバイス等の入力デバイス（input devices）２８４用）、ネットワークインターフェイス２５４ (例えば、ＬＡＮ）、ＧＰＩＯインターフェイス２５５、ＬＰＣインターフェイス２７０（ＡＳＩＣｓ２７１、ＴＰＭ２７２、ｓｕｐｅｒＩ／Ｏ２７３、ファームウェアハブ２７４、ＢＩＯＳサポート２７５、ＲＯＭ２７７、Ｆｌａｓｈ２７８、及びＮＶＲＡＭ２７９のような各種タイプのメモリ２７６用)、パワーマネージメントインターフェイス（power management interface）２６１、クロックジェネレータインターフェイス（clock generator interface）２６２、オーディオインターフェイス（audio interface）２６３(例えば、スピーカ２９４用)、ＴＣＯインターフェイス（TCO interface）２６４、システムマネージメントバスインターフェイス（system management bus interface）２６５、 ＢＩＯＳ２６５及びブートコード２９０を含むことができるＳＰＩ Ｆｌａｓｈ２６６等を備えている。Ｉ／Ｏコントローラハブ２５０は、ギガビット・イーサネット（登録商標）サポートを含んでいてもよい。

コンピュータシステムは、パワーオン後にＳＰＩ Ｆｌａｓｈ２６６に格納されているＢＩＯＳ２６８がブートコード２９０を実行し、その後、１又は複数のオペレーティングシステム及びアプリケーションソフトウェア（例えば、メモリ２４０に格納されている）のコントロール下でデータを処理するように構成してもよい。オペレーティングシステムは、各種の記憶場所に格納でき、例えば、ＢＩＯＳ２６８の指令に応じてアクセスされるようにしてもよい。ここで記載したように、デバイスは図２のコンピュータシステムに示されるよりも少なくまたは多くの構成を含んでいてもよい。

回路、例えば、概説した図１又は図２は、ゲイズ・トラッキングを実行するデバイスと接続して使用することにしてもよい。従って、概説した図１及び／又は図２の回路（又はそれらのいくつかの組み合わせ）は、ゲイズ・トラッキングシステム又はゲイズ・トラッキングサブシステムを備えたシステムにおいて使用されることにしてもよい。

図３を参照して、自動ゲイズ・キャリブレーション方法の一例を説明する。ここで説明するように、実施の形態では、ブロック３０１において、デバイスでの非光学的な入力イベントの発生（例えば、ある意味において特定のスクリーン位置に対応するユーザによる、タッチスクリーンやマウス等の使用）を判定する。実施の形態では、ブロック３０２において、内蔵カメラのようなセンサを使用して、ユーザの画像データをキャプチャーしてもよい。以下のように、このユーザの画像データは、ブロック３０１で判定された非光学的入力イベントの発生と関連させて使用してもよい。

実施の形態では、ブロック３０３において、非光学的な入力イベントに対応するスクリーン位置（例えば、タッチ入力イベントの特定の位置、スクリーン上のカーソルの特定の位置、ウエブページリンク又はドロップダウンメニューのような選択可能なアイテムの特定の位置等）を特定してもよい。この情報が与えられると、実施の形態では、非光学的な入力イベントの発生、ユーザの画像データ、それらと対応するスクリーン位置を使用して、デバイスのゲイズ・トラッキングシステムをキャリブレートすることにしてもよい。実施の形態では、他のシステムのイベントを使用してクリーン上の位置を推測することで、このようなデータを収集することを目的とした専用のエクササイズにユーザを参加させなくても、スタンダードなキャリブレーション処理を実行することが可能となる。換言すると、ユーザを、特定のスクリーン上のアニメーションを使用した、スクリーン上の位置を判定するキャリブレーションのエクササイズに参加させる代わりに、実施の形態では、ここで記載するように、非光学的な入力イベントを使用してスクリーン上の位置を推測する。

実施の形態では、ブロック３０４において、キャリブレーション情報が収集されると、ゲイズ・トラッキングの設定（gaze tracking setting(s)）のキャリブレーションが必要か否かを判定する。必要な場合は、ブロック３０５において、ゲイズ・トラッキングの設定をアップロードしてもよい。必要でない場合は、ブロック３０６において、ゲイズ・トラッキングの設定を維持してもよい。

さらに、実施の形態では、この処理を様々なタイミングで実行してもよく、例えば、デバイス又はゲイズ・トラッキングシステム自体のスタートアップ時、キャリブレーションが要求された場合、デバイス及び／又はゲイズ・トラッキングシステム自体の使用中に定期的に、ゲイズ・トラッキングの設定のキャリブレーションが必要な場合や必要無い場合に（例えば、現在の利用可能な情報が与えられた場合にブロック３０４で判定されたゲイズ・トラッキングシステムの正確性に応じて）等に実行してもよい。

キャリブレーションはポリシーに従って実行してもよい。ポリシーは、デバイスのスタートアップ、ゲイズ・トラッキングシステムのスタートアップ、ゲイズ・トラッキングエラーのイベント、及びユーザの開始トリガーのグループから選択されるトリガーに応じてキャリブレーションを開始してもよい。ユーザの開始トリガーは、デバイスに対するヘッド（head）の移動が所定の閾値を超えること、及び／又は、キャリブレーションを要求するユーザから提供される入力を含むことにしてもよい。ポリシーは、デバイスのユーザに気づかれることなく（transparently）キャリブレーションを実行するように、デバイスが使用されている間にバックグランドタスクとして繰り返しキャリブレーションを開始（initiate）してもよい。

キャリブレーションは、推定されたスクリーン位置の情報を用いて、ユーザがスクリーンに対して自身を再ポジショニングするような所定のイベントを調整するように、スクリーンに対するユーザの視線（gaze）のフォーカスの判定を含む。非光学的な入力イベントは、スクリーン位置に対して論理的（logical）な関係を有する入力イベント（例えば、タッチスクリーン、マウス、タッチパッド、スタイラス、及び物理キーボードのグループから選ばれる入力デバイスを用いたスクリーン位置の入力）を含むユーザのフォーカスのスクリーン上の位置の便利な（convenient）判定を可能とする。

ここで記載したように、非光学的な入力イベントに対応するスクリーン位置の特定では、例えば、非光学的な入力イベントの発生及びユーザの画像データのキャプチャリングのタイミング情報を調整すること（coordinating）を含んでいてもよい。タイミング情報の調整では、そのため、特定の共通の使用ケースについての、ユーザの画像データ及び非光学的な入力イベントの時間を補正（例えば、カーソルの位置を特定するキー入力を提供した後にカーソルを探す等）すること（offsetting）を含んでいてもよい。

従って、実施の形態では、よりユーザフレンドリーなゲイズ・トラッキングシステムのキャリブレーションを提供し、ゲイズ・トラッキングシステムのスタート時のキャリブレーションのエクササイズを実施する必要性を完全に又は部分的に取り除くことができる。さらに、実施の形態では、ゲイズ・トラッキングシステムのテクノロジーを改善するために、容易にシステムの情報を利用することが可能である。すなわち、キャリブレーションの代わりに、ゲイズ・トラッキングシステムの正確性又は精密性が失われた場合でも、例えば、ユーザの再ポジショニングにより、ユーザの再ゲイズ・トラッキングシステム自体の外で利用できるシステムの入力を用いて（すなわち、特定のキャリブレーションエクササイズを実行しないでも）直ぐに再取得することができる。

当業者が理解するように、各種態様は、システム、方法、コンピュータプロダクト（コンピュータプログラム）として実装してもよい。従って、ここでは全てを一般的に「回路」、「モジュール」、「システム」として説明したように、ある局面では、全体としてハードウェアの形態、ソフトウェア及び／又はハードウェアを含む形態を取ることができる。さらに、ある局面では、ここで具体化されたコンピュータ読み取り可能なプログラムコードを格納した１つ以上のコンピュータ読み取り可能な記録媒体を実装したコンピュータプログラムプロダクトの形態を取ることができる。

ここで説明した各種機能は、プロセッサによって実行される非信号ストレージデバイス（non-signal storage device）のようなデバイスが読み取り可能なストレージ媒体（storage medium）に格納された指令を使用して、実行してもよい。ストレージデバイスは、例えば、電気・磁気・光学・電磁気・赤外線・半導体のシステム、装置（apparatus）、デバイス、又はこれらの好適な組み合わせとしてもよい。ストレージ媒体の特定の例としては、ポータブルコンピューターディスケット（portable computer diskette）、ハードディスク、ＲＡＭ、ＲＯＭ、ＥＰＲＯＭ、Ｆｌａｓｈメモリ、光ファイバー、ＣＤ−ＲＯＭ、光学ストレージデバイス、磁気ストレージデバイス、又はこれらの好適な組み合わせである。この明細書のコンテキストでは、ストレージデバイスは、信号（signal）ではなく、信号媒体（signal media)を除く全ての媒体を含むノン・トランジトリ（non-transitory）なものである。

ストレージ媒体に格納されるプログラムコードは、これらには限定されないが、無線、有線、光ファイバーケーブル、ＲＦ、又はこれらの好適な組み合わせを含む好適な媒体を用いて転送することができる。

オペレーションを実行するためのコンピュータプログラムコードは、１又は複数のプログラミング言語の組み合わせで記述してもよい。コンピュータプログラムコードは、スタンドアロンソフトウェアパッケージとして単一のデバイスで全体又は一部を、単一のデバイスで一部を及び他のデバイスで一部を、又は、他のデバイスで全体を実行することにしてもよい。ある場合は、デバイスは、ＬＡＮやＷＡＮを含む各種ネットワークを介して接続されてもよく、この接続は他のデバイスを介して（例えば、インターネットサービスプロバイダを用いたインターネットを介して）、無線接続を介して（例えば、ＮＦＣ（Near Field Communication））、又は、ＵＳＢ接続のようなハードワイヤー接続を介してなされてもよい。

各種の態様を、各種実施の形態にしたがって、「方法」、「デバイス」、「プログラムプロダクト」を例示して、図面を参照して説明した。説明した動作及び機能は、少なくとも一部をプログラム指令によって実現することができる。プログラム指令は、汎用目的の情報処理デバイス、特定目的の情報処理デバイス、又は、他のプログラマブルデータ処理デバイスのプロセッサに、そのプロセッサが特定の機能や作用を実行するマシンを生成するように提供されてもよい。

図面では、特定のブロック、ブロックの特定の順序が使用されているが、これらは非制限的な例であることに留意すべきある。状況（context）により、必要に応じて、２又はそれ以上のブロックを結合してもよく、１つのブロックを２又はそれ以上のブロックに分割してもよく、また、あるブロックの順番の変更や再構成してもよく、記載した例は、単に説明を目的としたものであり、構成を制限するものではない。

本明細書において、数を規定しない場合（"a" and "an"）は、明確に他のことを意味する場合を除き、１又は複数であることを意味する。

この開示は、説明や記述を目的として提供されており、消尽や制限を意図していない。多くの変更や変形が可能であることは当業者にとって明らかである。ここでの実施の形態は原理や実用的な用途を説明するために選択して記述したものであって、さまざまな実施のため、考えられる特定の使用に適するようにこの開示に各種の変更を加えることが可能であることを当業者は理解できる。

従って、本実施の形態を、図面を参照して説明してきたが、ここでの記載は制限的なものではなく、この開示の範囲及び精神を逸脱することなく、当業者によって各種の変形や変更が可能であることが理解されるべきである。

１００ 回路（circuitry）又はシステム（systems）
１１０ 単一の回路（single circuit）
１２０ 周辺デバイス（peripheral(Additional) devices）
１３０ 電力管理チップ（power management chip(s)）
１４０ バッテリ（battery）
１５０ ＷＡＮトランシーバ（WWAN transceiver）
１６０ ＷＬＡＮトランシーバ（WLAN transceiver）
１７０ タッチスクリーン（touch screen）
１８０ フラッシュメモリ（flash memory）
１９０ ＳＤＲＡＭ

Claims (20)

1. デバイスのプロセッサを使用して、前記デバイスのタッチ入力イベントの発生を判定する工程と、
   前記デバイスのセンサを使用して、ユーザの画像データをキャプチャーする工程と、
   プロセッサを使用して、前記タッチ入力イベントに対応するスクリーン位置を特定する工程と、
   プロセッサを用いて、前記タッチ入力イベントの発生、前記ユーザの画像データ、及び前記タッチ入力イベントに対応するスクリーン位置を使用して、前記デバイスのゲイズ・トラッキングシステムをキャリブレーションする工程と、
   を含む方法。
2. 前記キャリブレーションする工程は、前記スクリーンに対してユーザの視線のフォーカスを判定することを含む請求項１に記載の方法。
3. 前記タッチ入力イベントは、タッチスクリーン、マウス、タッチパッド、スタイラス、物理キーボードのグループから選択される入力デバイスを使用したタッチスクリーン入力に対応する入力イベントを含む請求項１に記載の方法。
4. 前記タッチ入力イベントに対応するスクリーン位置を特定する工程は、前記タッチ入力イベントの発生の判定及び前記ユーザの画像データのキャプチャーのタイミング情報を調整することを含む請求項１に記載の方法。
5. 前記タイミング情報を調整することは、前記ユーザの画像データ及び前記タッチ入力イベントの発生のタイミングを補正することを含む請求項４に記載の方法。
6. 前記キャリブレーションは、ポリシーに従って行われる請求項１に記載の方法。
7. 前記ポリシーは、前記デバイスのスタートアップ、前記ゲイズ・トラッキングシステムのスタートアップ、ゲイズ・トラッキングエラーのイベント、及びユーザの開始トリガーのグループから選択されるトリガーに応じて前記キャリブレーションを開始する請求項６に記載の方法。
8. 前記ユーザの開始トリガーは、前記デバイスに対するヘッドの移動が所定の閾値を超えることを含む請求項７に記載の方法。
9. 前記ポリシーは、前記デバイスが使用されている間にバックグランドタスクとして前記キャリブレーションを繰り返して開始することを含む請求項８に記載の方法。
10. 前記ポリシーは、前記デバイスのユーザに気づかれることなく前記キャリブレーションを開始することを含む請求項８に記載の方法。
11. タッチ入力デバイスと、
    情報を表示するスクリーンと、
    前記タッチ入力デバイスのユーザの画像データをキャプチャーするセンサと、
    前記タッチ入力デバイス、前記スクリーン、及び前記センサと動作可能に接続されたプロセッサと、
    前記プロセッサにより実行可能な指令を格納したメモリと、を備え、
    前記プロセッサは、前記メモリに格納された指令を実行することにより、
    前記タッチ入力デバイスでのタッチ入力イベントの発生を判定し、
    前記センサを使用して、ユーザの画像データをキャプチャーし、
    前記タッチ入力イベントに対応するスクリーン位置を特定し、
    前記タッチ入力イベントの発生、前記ユーザの画像データ、及び前記スクリーン位置を用いて、装置のゲイズ・トラッキングシステムをキャリブレーションする装置。
12. 前記キャリブレーションは、前記スクリーンに対するユーザの視線のフォーカスを判定することを含む請求項１１に記載の装置。
13. 前記タッチ入力イベントは、タッチスクリーン、マウス、タッチパッド、スタイラス、物理キーボードのグループから選択されるタッチ入力デバイスを使用したスクリーン位置入力に対応する入力イベントを含む請求項１１に記載の装置。
14. 前記タッチ入力イベントに対応するスクリーン位置の特定は、前記タッチ入力イベントの発生の判定及び前記ユーザの画像データのキャプチャーのタイミング情報を調整することを含む請求項１１に記載の装置。
15. 前記タイミング情報を調整することは、前記タッチ入力イベントの発生の判定及び前記ユーザの画像データのキャプチャーのタイミングを補正することを含む請求項１４に記載の装置。
16. 前記キャリブレーションは、ポリシーに従って実行される請求項１１に記載の装置。
17. 前記ポリシーは、前記装置のスタートアップ、前記ゲイズ・トラッキングシステムのスタートアップ、ゲイズ・トラッキングエラーのイベント、及びユーザの開始トリガーのグループから選択されるトリガーに応じて前記キャリブレーションを開始する請求項１６に記載の装置。
18. 前記ユーザの開始トリガーは、前記タッチ入力デバイスに対するヘッドの移動が所定の閾値を超えることを含む請求項１７に記載の装置。
19. 前記ポリシーは、前記装置が使用されている間にバックグランドタスクとして繰り返し前記キャリブレーションすることを含む請求項１８に記載の装置。
20. コンピュータが実行可能なプログラムであって、
    デバイスのタッチ入力イベントの発生を判定する工程と、
    前記デバイスのセンサを使用して、ユーザの画像データをキャプチャーする工程と、
    前記タッチ入力イベントに対応するスクリーン位置を特定する工程と、
    前記タッチ入力イベントの発生、前記ユーザの画像データ、及び前記タッチ入力イベントに対応するスクリーン位置を使用して、前記デバイスのゲイズ・トラッキングシステムをキャリブレーションする工程と、
    をコンピュータに実行させることを特徴とするコンピュータが実行可能なプログラム。

Images