JP2020513253A - 認識能力の分析のために、画像取得デバイスを人間のユーザーに関連付けるための方法およびシステム - Google Patents

Abstract

認識異常の検出のために、眼球運動データを取得する方法は、ディスプレイ上にフレームを表示し、ユーザーが顔をフレームと並べている間に、ユーザーの顔および眼球のビデオイメージを取得および表示し、顔画像を取得および処理することにより、画像眼球運動取得処理を開始し、ディスプレイ上に表示を出力し、複数の画像の１つに対する表示を空間的に動かし、強膜部分、虹彩部分、および瞳孔部分を含むユーザーの眼球のそれぞれのビデオを取得することにより、ディスプレイの表示の位置を追跡し、ビデオを解析することにより、眼球位置に対応する参照画像を判別し、ユーザーが熟知画像および新しい画像を見ている間に、ユーザーの眼球を捕捉し、参照画像を用いて、ユーザーの眼球の画像を、熟知画像または新しい画像に関連付けるコンピューターアプリケーションを含む。

Description

関連出願への相互参照
本出願は、２０１６年１１月１０日付けで出願された米国特許出願第６２／４２０，５２１号に基づく優先権の利益を主張し、本明細書において、該出願は、参照によりここに援用される。

本発明は、対象者の認識異常を診断するための方法および装置に関する。より具体的には、本発明は、眼球運動データの取得のための方法および装置に関する。

本発明の実施形態によれば、ウェブベースの画像取得デバイスを用いた、眼球運動に関する情報を処理するための技術が開示される。単なる一例にすぎないが、本発明は、対象者の認識能力を判別するための情報の分析に適用可能である。

歴史的に、対象者の認識記憶は、従来の紙−鉛筆ベースのタスクパラダイムによって評価されてきた。このようなテストは、典型的には、制御された環境（例えば、研究室、医者のオフィス等）において、高価な（例えば、＄１０ｋ〜＄８０Ｋの）システムを用いたテスト管理者の指導下で、実行される。また、このようなテストは、対象者に研究室まで来てもらう必要があり、さらに、このようなテストを準備および実行するために１時間を超える時間を費やさせてしまう。典型的には、テスト管理者は、所定の周期および速度で、一連の視覚刺激を対象者に示す。対象者が刺激に触れるフェーズの後、テスト管理者が視覚刺激の対象者の思い出しをテストする前に、ユーザーは、２５分間超のタイムディレイを待機する。テスト管理者および視覚刺激に加えて、視覚認識記憶パラダイムは、管理者による採点を容易にするための応答シートを必要とする。従来のパラダイムは、効果的であるが、高コスト、煩雑、かつ主観的である。

このようなことから、眼球運動データの取得を改善するための技術が切実に望まれていることがわかる。

本発明によれば、ウェブベースの画像取得デバイスを用いた、眼球運動に関する情報を処理するための技術が開示される。単なる一例にすぎないが、本発明は、対象者の認識能力を判別するための情報の分析に適用可能である。

本発明の１つの態様によれば、認識異常の検出のために、画像取得デバイスを用いて眼球運動を位置調整する工程を含む、情報を処理するための方法が記述される。１つの方法は、プロセッサーの制御下において、ユーザーに対して、表示デバイス上にフレームの画像を出力するために、アプリケーションを起動する工程であって、表示デバイスは、プロセッサーに接続されており、プロセッサーは、コンピューターネットワークに接続された通信デバイスに接続されており、コンピューターネットワークは、サーバーデバイスに接続されている、アプリケーションを起動する工程と、アプリケーションに接続されたカメラを起動し、ユーザーの顔のビデオ画像を取得する工程であって、ユーザーの顔は、ユーザーが表示デバイスを見ることによって位置調整される、ユーザーの顔のビデオ画像を取得する工程と、ディプスレイ上において、表示されているフレームの周辺に、ユーザーの顔（例えば、眼、瞳孔等を含む）の画像のビデオを表示する工程と、を含む。処理は、フレーム内のユーザーの顔の位置合わせを行い、顔をフレームに並べ、さらに、ユーザーの顔の画像を取得する工程と、顔の画像に関する取得された情報を処理し、ユーザーの眼球運動の画像取得処理を開始する工程と、画像取得プロセスの開始の後に、ディスプレイ上に表示を出力し、さらに、表示デバイス上に表示されている複数の画像の１つに対する表示を空間的に移動させる工程と、を含む。技術は、ユーザーの頭／顔が、デバイスの表示ディスプレイ内にあるよう（すなわち、カメラから見えるよう）維持されている間に、人間のユーザーの少なくとも１つの眼球のビデオを取得する工程であって、ユーザーの１つまたは双方の眼球はディスプレイの表示の位置を追跡するよう動き、各眼球の画像は、強膜部分、虹彩部分、および瞳孔部分を含む、人間のユーザーの少なくとも１つの眼球のビデオを取得する工程と、ビデオを解析し、表示の第１の空間位置のための第１の眼球位置に対応する第１の参照画像と、表示の第２の空間位置のための第２の眼球位置に対応する第２の参照画像とを判別する工程と、複数の他の画像のそれぞれを、第１の参照画像または第２の参照画像の一方に関連付ける工程と、を含む。様々な実施形態において、解析する工程は、ユーザーの演算デバイスにおいて、または、遠隔サーバーによって実行され得る。

本発明の別の態様によれば、演算システムに接続されているウェブカメラを用いて情報を処理するための方法が開示される。１つの技術は、演算システムに接続された表示デバイスの前にユーザーを位置させる工程であって、演算システムは、コンピューターの世界規模ネットワークに接続されている、表示デバイスの前にユーザーを位置させる工程と、演算システムの記憶デバイス上に保存されているニューロトラック（Neurotrack）アプリケーションを起動する工程と、ニューロトラックアプリケーションから選択されたコマンドを送信することにより、ウェブカメラを起動する工程と、を含む。処理は、表示デバイスの前に位置しているユーザーの顔領域の画像を取得する工程と、演算システムに接続されたメモリーデバイスから、複数のテスト画像を読み出す工程であって、複数のテスト画像は、画像の第１のペアと、画像の第２のペアと、画像の第３のペア等（例えば、画像の第１２のペア）を含み、画像のペアのそれぞれは、互いに関連している、複数のテスト画像を読み出す工程と、ユーザーに視認される表示デバイス上にテスト画像の第１のペアを表示する工程と、を含み得る。方法は、ユーザーがテスト画像の第１のペアを見ている間に、第１の眼球位置に関連付けられた複数の第１の画像を取得する工程と、画像の前のペアの１つを置き換えている間に、画像のペアの表示を繰り返し、さらに、画像の第２のペアから画像の第１２のペアまでの複数のために、複数の画像を取得する工程であって、複数の画像のそれぞれは、ユーザーが表示デバイスを見ている間に取得される、複数の画像を取得する工程と、画像の前のペアを置き換えている間に、その周辺において４つの領域を有する、画像のペアの表示の間の初期位置からの固視および固視に関連するサッカード（衝動性運動）を取得する工程であって、４つの領域のそれぞれは、初期位置から約１度の視角内に存在する、初期位置での固視および固視に関連するサッカードを取得する工程と、を含み得る。処理は、情報を処理し、サッカードをフィルタリングする工程と、複数の画像のうち、置き換えられた画像での固視を用いて、視覚選好を判別する工程と、視覚選好情報を用いて、ユーザーにフィードバックを提供する工程と、を含み得る。

本発明の別の態様によれば、ホストコンピューター上においてマッチングゲームをプレイするための方法が提供される。１つの技術は、ホストコンピューターから遠隔コンピューターシステムに、複数の静的画像のコンピューターネットワークアドレスをアップデートする工程であって、複数の静的画像は、第１の複数の静的画像と、第２の複数の静的画像とを含む、複数の静的画像のコンピューターネットワークアドレスをアップデートする工程を含む。方法は、ホストコンピューターから遠隔コンピューターシステムに、遠隔コンピューターシステム実行可能ソフトウェアコードをアップデートする工程を含み、遠隔コンピューターシステム実行可能ソフトウェアコードは、遠隔コンピューターシステムに、遠隔コンピューターシステムのディスプレイ上に、第２の複数の静的画像のうちの静的画像ではない、第１の複数の静的画像のうちの静的画像のみをプレイヤーに対して表示させるよう指示する第１の遠隔コンピューターシステム実行可能ソフトウェアコードであって、第１の複数の静的画像のうちの静的画像のそれぞれは、第１の所定時間の間、ディスプレイの半分の大部分上に表示される第１の遠隔コンピューターシステム実行可能ソフトウェアコードと、遠隔コンピューターシステムに、遠隔コンピューターシステムのディスプレイ上に、第２の所定時間の間、第１の複数の静的画像の少なくとも１つの静的画像をプレイヤーに対して表示しないよう指示する第２の遠隔コンピューターシステム実行可能ソフトウェアコードと、遠隔コンピューターシステムに、遠隔コンピューターシステムのディスプレイ上に、第１の複数の静的画像のうちの第１の静的画像および第２の複数の静的画像のうちの第２の静的画像を、プレイヤーに対して同時に表示させるよう指示する第３の遠隔コンピューターシステム実行可能ソフトウェアコードであって、第１の静的画像および第２の静的画像は、第３の所定時間の間、ディスプレイの半分の大部分上に表示される第３の遠隔コンピューターシステム実行可能ソフトウェアコードと、遠隔コンピューターシステムに、遠隔コンピューターシステムのウェブカメラを用いて、プレイヤーのビデオデータを取得するよう指示する第４の遠隔コンピューターシステム実行可能ソフトウェアコードであって、ビデオデータは、遠隔コンピューターシステムのディスプレイが、プレイヤーに対して、第１の静的画像および第２の静的画像を表示している間に、プレイヤーの眼球運動を取得する第４の遠隔コンピューターシステム実行可能ソフトウェアコードと、遠隔コンピューターシステムに、ビデオデータの興味のある所定の２次元領域に対応するビデオデータのサブセットから、編集済みビデオデータを生成するよう指示する第５の遠隔コンピューターシステム実行可能ソフトウェアコードであって、編集済みビデオデータは、ビデオデータよりも低い解像度を有する第５の遠隔コンピューターシステム実行可能ソフトウェアコードと、遠隔コンピューターシステムに、編集済みビデオデータをホストコンピューターに提供するよう指示する第６の遠隔コンピューターシステム実行可能ソフトウェアコードと、を含む。処理は、ホストコンピューターを用いて、編集済みビデオデータに対応して、プレイヤーが第１の静的画像を見ている時間の量を表す第１の時間量と、プレイヤーが第２の静的画像を見ている時間の量を表す第２の時間量とを判別する工程と、ホストコンピューターを用いて、第１の時間量と第２の時間量とに対応して、第１の時間量と第２の時間量との間のプレイヤーの視認関係を判別する工程と、ホストコンピューターを用いて、第１の時間量と第２の時間量との間のプレイヤーの視認関係が第１のしきい値を超えたか否かを判別し、これに対応して、成功フラグを生成する工程と、を含み得る。技術は、成功フラグに応答して、ホストコンピューターから遠隔コンピューターシステムへ、プレイヤーが成功したことを示す表示を提供する。

上述の実施形態および実施は、必ずしも、互いの包括または排他ではなく、これらが同じ、または異なる実施形態または実施に関連していても、矛盾が生じず、可能である任意の方法によって、組み合わせることができる。１つの実施形態または実施の記述は、他の実施形態および／または実施に対する限定となる意図はない。また、本明細書において他の部分で記述される技術１つ以上の任意の機能、工程、動作、または技術が、代替的な実施において、概要において記述された１つ以上の任意の機能、工程、動作、または技術と組み合わされてもよい。よって、上述の実施形態および実施は、限定ではなく、説明のためのものである。

図１Ａ−Ｅは、本発明の実施形態に係るフロー図を示している。

図２は、本発明の実施形態に係る処理の簡略化された図である。

図３は、本発明の様々な実施形態に係る典型的なコンピューターシステムのブロック図である。

図４は、本発明の実施形態のグラフィカルユーザーインターフェースである。

本発明によれば、ウェブベースの画像取得デバイスを用いて、眼球運動に関する情報を処理するための技術が開示される。単なる一例にすぎないが、本発明は、認識異常を判別するための情報の分析に適用可能である。

特許請求の範囲中の如何なる解釈を限定することなく、以下の項目が規定される。

脈絡膜：網膜（内側の光感知層）と強膜（外側の白眼壁）との間に位置し、眼球の裏側に並んでいる血管を含む層。

毛様体：虹彩の後ろに位置し、筋肉を含む構造であり、水晶体のピント合わせを実行する。

角膜：眼球内へ光を透過させ、光のピント動作を実行する（すなわち、鮮明さまたは明瞭さを調整する）眼球の透き通っている前側の窓。矯正レーザー手術では、角膜の形を整え、ピントを変更する。

窩：黄斑の中心であって、鮮明な映像を提供する。
虹彩：眼球の色付き部分であり、眼球に入ってくる光の量を規制する機能を有する。明るい光が来たとき、虹彩が瞳孔を閉じ、より少なく光が入ってくるようにする。また、光が弱いとき、虹彩が瞳孔を開けて、より多くの光が入ってくるようにする。

水晶体：網膜上へ光線の焦点を合わせる。水晶体は、透明であり、かつ、必要に応じて、交換される。我々の水晶体は、加齢とともに変性し、その結果、老眼鏡が必要となる。眼球内の水晶体は、白内障によって、濁った水晶体になってしまう。

黄斑：特別な光感知細胞を含む網膜内の領域。黄斑内において、これら光感知細胞は、我々が、我々の視野の中心において、細部を詳細に見ることを可能とする。黄斑の変性は、一般的に、加齢とともに発生する（加齢性黄斑変性またはＡＲＭＤ）。

視神経：百万以上の神経線維の束であり、網膜から脳へ視覚メッセージを運ぶ（視認のため、我々は光を必要とし、さらに、我々の眼球が、脳に接続されていなければならない）。貴方の脳は、実際に、あなたが見ているものを制御し、見ているものを画像と結び付ける。網膜は、上下反転の画像を見るが、脳は、画像を正しい向きに反転させる。我々が見ている画像のこの反転は、カメラ内の鏡によく似ている。緑内障は、視神経障害に関連するもっとも一般的な眼球状態の１つである。

瞳孔：虹彩の中央に開口する暗色中心。瞳孔は、光の量を可変とするために、サイズを変更する（明るい光にはサイズを小さく、暗い光にはサイズを大きく）。この眼球内への光の開放および絞りは、状況に応じて光を多くまたは少なくする大部分の３５ｍｍカメラの絞りによく似ている。

網膜：眼球の後ろに並んでいる神経層。網膜は、光を感知し、視神経から脳へ送られる電気信号を生成する。

強膜：眼球の白色の外側の被膜であり、虹彩を取り囲んでいる。

硝子体液：透明で、ゲル状の物質であり、眼球の中央空洞を満たしている。

新しさへの選好（Novelty preference）：本発明の実施形態は、個々人が以前に見ていた絵柄と比較して、新しい絵柄を見た個々人が費やす時間の一部の比較、すなわち、新しさへの選好を用いて、認識記憶を評価する。新しさへの選好、または、新しい絵柄を見るのに費やされるより多くの時間は、通常の記憶機能を有するユーザー（例えば、個人、テスト対象者、患者）において予期されるものである。対照的に、記憶困難（認識障害）を有するユーザーは、新しい絵柄と、熟知している絵柄との間で、視認時間がより等しく分配されることに特徴がある。新しさへ選好の欠如は、対象者が既に見たことのあるものに対する認識機能障害を示唆するものである。

画像／ビデオを取得するカメラ（すなわち、ウェブカメラ）は、益々、スマートフォン、タブレット、ラップトップコンピューターの標準的なハードウェアの一部となりつつある。これらデバイスの質およびコストは、それらの世界的な使用の増加を可能とし、さらに、現在、これらデバイスは、デスクトップコンピューター、ラップトップコンピューター、タブレット、スマートフォンを含む大部分のスマートデバイスにおける標準的な機能となっている。本発明の発明者は、このようなウェブカメラの使用を、視覚認識タスクのために組み入れることが可能であることを認識している。特に、本発明者は、このようなウェブカメラを用いることにより、現在、視覚認識タスクのウェブベースの管理を提供可能なことを認識している。

本発明の実施形態の利点は、このような視覚認識タスクが対象者にとって非常に利便性の高いものとなることを含む。対象者は、管理施設（例えば、研究室、医者のオフィス等）への往復を行う必要がなくなり、対象者は、自宅において、そのようなタスクを実行することができる。他の利点は、視覚認識タスクがユーザーから遠隔の技術者によって管理可能となること、または、タスクがプログラムされたコンピューターによって管理可能となることを含む。

本発明の実施形態のさらに他の利点は、そのようなタスクにおける対象者の能力を、管理者によって、または、いくつかの例では、解析ソフトウェアによってプログラムされたコンピューターによって遠隔的に評価することができるということを含む。他の利点は、対象者のテストデータが記録され、管理者によって評価されたか、コンピューター上において実施されたソフトウェアアルゴリズムによって評価されたテスト結果に対して疑問があるときには、研究者によって後に検証可能となることを含む。

図１は、本発明の実施形態に係るフロー図を示している。最初に、工程１００において、対象者／ユーザーは、自身の演算デバイス上の自身のウェブブラウザーに、本発明の実施形態に関するウェブページへ飛ぶよう指示する。様々な実施形態において、ユーザーは、ＵＲＬを入力するか、リンクまたはアイコンを選択するか、ＱＲコードをスキャンするか等により、この機能を実行可能である。次に、いくつかの実施形態において、ユーザーは、自身の接続情報を登録し、自身の結果等を受信してもよい。

次に、工程１１０において、ユーザーリクエストに応答して、ウェブサーバーが、ユーザーのデバイスに対してデータを提供する。様々な実施形態において、データは、以下に述べるような、認識タスク中に使用するための複数の画像と、認識タスクを進めるためのプログラムコードとを含み得る。いくつかの例において、プログラムコードは、ブラウザを介して実行可能なコード、例えば、アドビフラッシュコード、Ｊａｖａコード、ＡＪＡＸ、ＨＴＭＬ５等を含み得る。他の例において、プログラムコードは、ユーザーのコンピューター（ＭＡＣまたはＰＣ）上において実行されるスタンドアローン実行可能アプリケーションであってもよい。

最初に、較正機能を提供する一連の工程が実行される。より具体的には、いくつかの実施形態において、工程１２０において、ユーザーの演算システム（例えば、コンピューター、スマートデバイス等）の前面のカメラがオンされ、ユーザーの複数の画像が取得される。工程１３０において、複数の生画像が演算システムのディスプレイ上において、ユーザーに対して表示される。いくつかの実施形態において、工程１４０において、マスクまたは他のオーバーレイもディスプレイ上に表示され、ユーザーは、自身の頭、カメラ、演算デバイス等のいずれかを動かすよう指示され、これにより、ユーザーの頭が特定の領域内に収まる。いくつかの例において、マスクは、一般的にカメラの視野の中心にある矩形、卵型、円形領域等であってもよい。

図４は、本発明の実施形態の例を示している。より具体的には、図４は、図１Ａ中の工程１３０−１５０において言及された、ユーザーに対して表示される典型的なグラフィカルユーザーインターフェース７００を示している。ＧＵＩ７００内において見て取れるように、ユーザーに対して、一連の命令７１０と、オーバーレイフレーム７２０が表示される。複数の命令７１０は、ユーザーに、オーバーレイフレーム７２０に対して、自身の頭７３０をどのように位置させるかを指示する。この例において、ユーザーは、較正プロセスが始まる前に、自身の頭がオーバーレイフレーム７２０内に収まるように、自身の頭７３０を移動させる。

次に、工程１５０において、いくつかの実施例において、眼球、より具体的には、ユーザーの瞳孔がビデオ画像内において明確に見えるか否かの判別が行われる。この処理は、演算デバイスおよびユーザーによる、多数の試行、エラー、および調整フィードバックを含み得る。例えば、調整は、ゲイン、ＩＳＯ、明るさ等のようなビデオカメラの設定に対して行われてもよく、調整は、照明等を増加または減少させるようユーザーに指示する命令を含んでいてもよい。様々な実施形態において、この処理は、ユーザーの眼球の白目部分に対して、ユーザーの瞳孔のために、画像認識技術を用い、ビデオ内において、瞳孔位置が眼球の白目部分から区別可能であるかを判別する工程を含んでいてもよい。システムが、眼球が十分にトラッキング可能であると判別すると、ユーザーは、可視化タスクの間、これらの画像状態を維持するよう指示される。

図１に示すように、その後、処理は、工程１６０において、小さな画像（例えば、ドット、アイコン等）をディスプレイ上に表示する工程と、画像をディスプレイ上で動き回るよう移動させる工程と、を含み、ユーザーは、画像を、自身の眼球で追跡するよう指示される。様々な実施形態において、ディスプレイ上でのドットの位置は、事前にプログラムされており、典型的には、複数の離散点、または、ディスプレイの中心近辺とディスプレイの四隅に沿った連続的な経路を含む。この表示プロセスの間、工程１７０において、ユーザーの眼球のビデオがカメラによって記録される。いくつかの実施形態において、ビデオは、カメラによって取得されたフルフレームビデオであってもよく、または、ビデオは、フルフレームビデオのより小さな領域であってもよい。例えば、より小さな領域は、工程１４０において言及した特定の領域（例えば、卵型、円形、正方形、矩形等）と略一致していてもよく、より小さな領域は、ユーザーの眼球が位置する特定の領域（例えば、小さな矩形等）であってもよく、より小さな領域は、ユーザーの顔を取得する領域（例えば、境界矩形等）等であってもよい。このような実施形態は、ユーザーのコンピューターシステムまたは遠隔演算システムによって実行される演算および分析を容易にするまたは低減することによる、演算的な利点を提供する。さらに、このような実施形態は、遠隔サーバーによる演算および遠隔サーバーのデータ記憶のための通信を大幅に低減することによって、利点を提供する。１つの例において、ＨＤＦＶＲと呼ばれるビデオ取得プログラムを用いて、ビデオが取得されるが、任意の他のプログラム（例えば、Ｗｏｗｚａ ＧｏＣｏｄｅｒ等）が他の実施において用いられてもよい。

次に、様々な実施形態において、工程１６０におけるディスプレイに基づいて、工程１７０においてビデオが取得された際に、工程１８０において、分析が実行され、凝視モデル（gaze model）が判別される。より具体的には、眼球の白目部分に対するユーザーの瞳孔の位置がディスプレイ上のドットの位置に対して分析される。例えば、ドットがディスプレイの上右手側に表示されているとき、その時のユーザーの瞳孔の位置が記録される。この記録された位置は、ユーザー用の凝視モデルを判別するために用いることができる。１つの特定の例において、ドットは、ディスプレイの四隅と中心に表示されており、ユーザーの瞳孔のこれらに対応する位置が、ユーザーの凝視モデルのための主成分、例えば、固有ベクトルとして用いられる。別の例において、凝視モデルは、より多くの、または、より少ない主成分（例えば、左と右を示す２つ）を含んでいてもよい。他の実施形態において、凝視モデルのための他の表現が用いられてもよい。

様々な実施形態において、工程１９０において、ビデオ（またはより小さなビデオ領域）がメタデータと組み合わされ、さらに、遠隔サーバー（例えば、分析サーバー）に送信される。いくつかの例において、フレーム基底（frame basis）（例えば、インターリーブ型）によってフレーム上においてビデオ内に埋め込まれたメタデータ、および他の例において、メタデータは、個別に、または、ビデオの最後に送信される。本発明者は、メタデータファイルおよびビデオ画像ファイルが別々の状態と比較して、それぞれビデオ画像を伴うインターリービングメタデータ（interleaving metadata）の演算的な利点があるものと確信している。例えば、いくつかの実施形態において、特定のビデオ画像における眼球の凝視位置データは、そのフレームに隣接するメタデータから、容易に取得することができる。対照的に、単一のメタデータファイルの場合、コンピューターは、ビデオ画像とメタデータ内のインデックスを保持しなければならず、インデックスの同期が正しいことを期待するしかない。

いくつかの実施形態において、メタデータは、カメラの設定データ、ユーザーに関するデータ（例えば、アカウント名、ｅメールアドレス）、ブラウザ設定データ、ディスプレイ上のドットのためのタイミングデータ、凝視モデル、判別された凝視位置等のようなデータの全てである必要は必ずしもないが、これらのいくつかの組み合わせを含み得る。例として、データは、ドットがディスプレイの右上隅に位置しているときと、略同じときに、ビデオ内においてユーザーの眼球がどのように表れたかの画像との間の対応を提供してもよく、メタデータは、タイミングまたは一連のフレーム数等を含み得る。１つの例において、組み合わせられたファイルまたはデータストリームは、フラッシュビデオファイル、例えば、ＦＬＶ、ウェブリアルタイム通信ファイル（ＷｅｂＲＴＣ）等であってもよい。さらに、遠隔サーバーは、Ｗｏｗｚａアマゾンウェブサービスのようなクラウドベースビデオサーバー等であってもよい。１つの実施形態において、Ｗｏｗｚａのインスタンスを、ここで議論された統合されたビデオおよびメタデータのアップロードされた全てを保存するために用いることができる。いくつかの実施形態において、遠隔サーバーによる演算およびデータ記憶のための通信を低減するために、転送されるビデオのフレームレートは、例えば、２５フレーム毎秒、６０フレーム毎秒等の記憶フレームレートである。しかしながら、別の実施形態において、遠隔サーバーは、記録フレームレートよりも低いレートでビデオを記録してもよく、遠隔サーバーに転送されるビデオのフレームレートは、より低くてもよく、例えば、約２〜３フレーム毎秒から最大で記録フレームレートまでの間である。

次に、様々な実施形態において、凝視モデルが使用可能か否かを判別するため一連の工程が実行される。具体的には、工程２００において、処理は、上で述べたものと同様な小さなドットをディスプレイ上の特定の位置に表示する工程を含み、ユーザーは、ドットを凝視するよう指示される。工程２１０において、ユーザーがドットを見ている間、ビデオカメラは、ユーザーの眼球を捕捉する。次に、工程２２０において、フルフレームビデオまたはビデオのより小さな領域を用いて、ユーザーの眼球の瞳孔を表す画像が判別される。

様々な実施形態において、主成分分析を用いて、瞳孔の複数の画像が凝視モデル（例えば、固有ベクトル）にマッチングされ、時間に対する瞳孔の主成分（例えば、高次の固有値）が判別される。例示にすぎないが、ユーザーが特定の時間に、ディスプレイの中央左側を見た場合、凝視モデルから、判別された主成分がディスプレイの左上および左下に関連付けられ、ユーザーが異なる時間に、ディスプレイの上側中央を見た場合、凝視モデルから、判別された主成分がディスプレイの右上および左上に関連付けられる等である。主成分分析とは異なる他の種類マッチングアルゴリズム、例えば、最小二乗、回帰分析等が、本発明の他の実施形態において実施されてもよい。さらに別の実施形態において、この処理は、ユーザーの顔の１つ以上の視覚目印を判別する工程を含んでいてもよく、パターンマッチング技術が幾何学的特徴、例えば、ユーザーの眼球の位置や形状、瞳孔の位置、瞳孔凝視の方向等を判別する。様々な実施形態において、設定されたディスプレイ位置に対応する瞳孔の画像が凝視モデルとマッチングしなかった場合には、工程２３０において、上述の処理が繰り返される。

様々な実施形態において、工程２４０において、上述の工程１９０と同様に、ビデオ（または、より小さなビデオ領域）が、メタデータ（例えば、タイミングまたは同期データ、ユーザーの眼球の画像が取得されたときのスクリーン上のどこにドットがあるかの表示等）と組み合わされ、遠隔サーバーに送信され得る。

凝視モデルが有効化されると、熟知フェーズを提供する一連の工程が実行される。より具体的には、いくつかの実施形態において、工程２５０において、１つ以上の画像がディスプレイ上に表示されて、ユーザーに対して表示される。いくつかの例において、複数の画像は、工程１１０において、ユーザーの演算システムに提供されたものであり、他の例において（例えば、ＡＪＡＸを用いた例）、複数の画像は、オンデンマンドでダンロード、例えば、工程１１０の後でダウンロードされる。

様々な実施形態において、複数の画像が、特別に、この可視化タスクのためにデザインされる。１つの例において、複数の画像は、白色の背景色の上の黒色のオブジェクトを含む全て２値の画像であるが、他の例において、異なるオブジェクトと異なる背景色を有していてもよい。いくつかの実施形態において、複数の画像は、グレースケール画像（例えば、４ビット、８ビット等）であってもよく、カラー画像（例えば、４ビットカラーまたはそれ以上）であってもよい。さらに、いくつかの実施形態において、複数の画像は、静的であるが、一方、他の実施例において、複数の画像は、アニメーションまたは動いてもよい。さらに、いくつかの実施形態において、この可視化タスクのためにデザインされた画像は、特別に、制御された数の興味のある幾何学的領域（例えば、視覚的特徴）を有するよう、デザインされている。

興味のある幾何学的領域の数は、実験データに基づいて決定されてもよいし、手動での判断で決定されてもよいし、またはソフトウェアを介して決定されてもよい。例えば、実験データを判別するために、複数の画像が、多くのテスト対象者に表示されてもよく、さらに、時間のしきい値を超えて複数のテスト対象者の眼球が留まる画像内の場所が、興味のある幾何学的領域とされてもよい。このような実験を実行した後、興味のある幾何学的領域の数から、複数のテスト画像が特定可能となってもよい。例として、三角形の画像が、興味のある３つの領域（例えば、角）によって特徴づけられてもよく、笑顔の画像が、興味のある４つの領域（例えば、２つの眼、口の２つの角）によって特徴づけられてもよい。他の実施形態において、興味のある幾何学的領域は、フーリエ解析、形態分析等のような画像処理技術を用いて判別されてもよい。いくつかの実施形態において、ユーザーに提供される複数の画像は、特定のエンジニアリングまたは研究の目的に基づいて、以下に述べるように、それぞれ、同じ数の興味のある領域を有していてもよく、または、それぞれ異なる数の興味のある領域を有していてもよい。

いくつかの実施形態において、事前に設定された時間だけ、ディスプレイの左側半分に画像が表示され、さらに、ディスプレイの右側半分に画像が表示される。この時間の量は、約２秒から約１０秒の範囲であってもよく、例えば、５秒である。他の実施形態において、この熟知フェーズ試験の間、ユーザーに対して、画像の複数の異なるペアが表示され得る。

複数の画像の表示の間、工程２６０において、ビデオカメラが、ユーザーの眼球を捕捉する。次に、フルフレームビデオまたはビデオのより小さな領域を用いて、ユーザーの眼球の瞳孔を表す画像が判別される。いくつかの実施形態において、工程２８０において、凝視モデルの主成分分析等を用いて、時間に対するユーザーの眼球の凝視位置が判別される。様々な実施形態において、工程２９０において、上述の工程１９０と同様に、ビデオ（またはより小さなビデオ領域）が、メタデータ（例えば、ユーザーの眼球の特定の画像が取得された際にスクリーン上に何が表示されたかの表示等を含む）と組み合わされてもよく、データまたはデータの位置が遠隔サーバーに送信される。別の実施形態において、ビデオ（またはより小さなビデオ領域）が、メタデータ（ユーザーの眼球の特定の画像が取得された際にスクリーン上に何が表示されたかの表示）と組み合わされてもよく、ユーザーのデバイス（例えば、コンピューター、電話）上において処理される。

様々な実施形態において、工程３００において、この処理は、その後、所定の数の異なる絵柄の繰り返し（または反復）を実行してもよい。いくつかの例において、処理は、画像の所定の数のセットが表示されるまで繰り返しを実行する。いくつかの実施形態において、所定の数は、１０〜２０の異なるセット、２０〜３０の異なるセット、３０〜９０の異なるセットの範囲内であるが、異なる数の試行も考えられる。いくつかの実施形態において、熟知フェーズは、約１〜３分の時間を費やすが、所望の設定に応じて、他の時間間隔も使用可能である。

熟知フェーズに続いて、テストフェーズを提供する一連の工程が実行される。より具体的には、いくつかの実施形態において、工程３１０において、熟知フェーズにおいて表示された１つの画像が、新しい画像（熟知フェーズにおいて表示されていないもの）と共に、ディスプレイ上において、ユーザーに対して表示される。上述と同様に、いくつかの例において、新しい画像は、工程１１０においてユーザーの演算システムに提供されたものであり、一方、他の例において（例えば、ＡＪＡＸを用いた例において）、複数の画像がオンデマンドで、例えば、工程１１０の後にダウンロードされる。いくつかの実施形態において、新しい画像は、熟知フェーズの間に事前に提供された熟知画像の変形画像、または、熟知画像に関連する画像であってもよい。これら変形または関連画像は、熟知画像の視覚的に操作されたバージョンである。いくつかの例において、新しい画像は、熟知画像を、回転させたもの、歪ませたもの（例えば、引き延ばしたもの、針刺しされたもの）、サイズ変更したもの、フィルターをかけたもの、反転させたもの等であってもよく、他の例において、新しい画像は、幾何学的形状の削除（例えば、穴の追加）、熟知画像の一部の削除（例えば、テーブルの絵柄の足の除去）、さらなる幾何学的特徴の追加（例えば、三角形を画像に追加）等のようなわずかな変更を加えた熟知画像であってもよい。様々な実施形態において、信号操作は、サーバー上において実行されてもよいし、ユーザーの演算システムに提供されてもよいし、また、信号操作は、（サーバーからの命令に応じて）ユーザーの演算システムによって実行されてもよい。様々な実施形態において、

また、様々な実施形態において、新しい画像は、熟知フェーズの間の画像に外見が似るように特別にデザインされ（例えば、白の上に黒等）、さらに、制御された数の興味のある幾何学的領域を有するようデザインされる。例として、新しい画像は、同じ数の興味のある幾何学的領域、より多くの興味ある幾何学的領域等を有していてもよい。

新しい画像と熟知画像が表示されている間、工程３２０において、ビデオカメラは、ユーザーの眼球を捕捉する。次に、フルフレームビデオまたはビデオのより小さな領域を用いて、ユーザーの眼球の瞳孔を表す複数の画像が、選択的に判別される。様々な実施形態において、工程３４０において、凝視モデルの主成分分析等を用いて、時間に対するユーザーの眼球の凝視部分が判別される。

いくつかの実施形態において、工程３５０において、新しい画像と熟知画像が表示されている間のユーザーの眼球の凝視部分（典型的には、時間に対する凝視部分）に基づいて、ユーザーが、熟知画像と比較して、より長い時間、新しい画像を凝視しているか否かの判別がなされる。いくつかの実施形態において、熟知画像と比較した新しい画像の選好は、凝視時間（新しい画像５１％対熟知画像４９％）、しきい値凝視時間（例えば、新しい画像６０％対熟知画像４０％等）に基づいて判別されてもよいし、興味のある幾何学的領域の数（例えば、新しい画像４ｖｓ熟知画像３）と凝視時間との組み合わせに基づいてもよいし、複数の興味のある幾何学的領域間の凝視速度（例えば、新しい画像３０ピクセル／秒ｖｓ熟知画像５０ピクセル／秒）等に基づいてもよい。本発明の開示を参照すると、凝視ファクターの他の種類、および、新しい画像ｖｓ熟知画像の他の部分が算出されてもよい。様々な実施形態において、工程３６０において、新しい画像または熟知画像の選好がメタデータとして保存される。様々な実施形態において、上述の工程１９０と同様に、工程３７０において、ビデオ（またはより小さなビデオ領域）が、メタデータ（例えば、ディスプレイの右側または左側にどの画像が表示されたかの表示）と組み合わされ、遠隔サーバーに送信されてもよい。

様々な実施形態において、工程３８０において、この処理は、その後、所定の数の新しい画像および熟知画像の異なるセットのための繰り返しを実行してもよい。いくつかの例において、テストフェーズの処理は、１０〜２０の画像の異なるセット（例えば、反復）がユーザーに対して表示されるまで繰り返しを実行するが、異なる数の試行（例えば、２０〜３０回の反復等）も考えられる。いくつかの実施形態において、表示される新しい画像は、ユーザーの能力に応じて、テストフェーズが繰り返されるにつれて、興味のある幾何学的領域の数を増加または減少させてもよい。例えば、ユーザーの凝視が、熟知画像よりも新しい画像に対して選好していない場合には、ユーザーに対して表示される次の新しい画像は、より多くの興味のある幾何学的領域を有していてもよい等である。ユーザー能力のフィードバックに応じて、テストフェーズ間の動的な変形の他の種類がなされてもよい。

いくつかの実施形態において、テストフェーズの後に、工程３８５において、凝視位置データがレビューされ、スコアが有効化される。いくつかの実施形態において、時間に対する凝視位置データがレビューおよび／またはフィルタリングされ、外れ値およびノイズデータが除去される。例えば、凝視位置データが、ユーザーがスクリーンの右側を一度も見なかったことを示している場合には、凝視モデルは、おそらく不正確に較正されているため、凝視モデルおよび凝視データが無効化されてもよく、凝視位置データが、スクリーンの左右を絶えず見ていることを示している場合には、取得された画像が、凝視モデルが左と右との間の区別をつけるのにはノイズが多すぎるため、凝視位置データが無効化される等である。様々な実施形態において、凝視位置データは、右および左の選好を追跡することが可能なだけではなく、いくつかの例において、ディスプレイ上における９以上の異なる凝視位置を追跡することを可能であってもよい。このような場合、凝視位置データ（例えば、一連の（ｘ，ｙ）座標のペア）は、時間でフィルタリングされ、そのようなフィルタリングされた凝視位置データがスムーズかつ連続的にディスプレイ上に表示される。このような凝視位置データの有効化は、自動で実行されてもよいし、いくつかの場合において、準最適に、人間によって実行されてもよい。

様々な実施形態において、データの有効化の後、工程３９０において、上述の工程３５０または工程３８５において判別された選好データが、ユーザーの認識能力スコアを判別するために用いられてもよい。例えば、ユーザーが、熟知画像を超える、約７０％の時間（例えば、６７％）の新しい画像への選好を示した場合、ユーザーに、合格または成功スコアが与えられてもよく、ユーザーが、約５０％（例えば、４５％）を超えるが、約７０％（例えば、６７％）未満の選好を有している場合、ユーザーに、限定的合格スコアが与えられてもよく、ユーザーが、選好を有さない、例えば、約５０％（例えば、４５％）未満の選好を有する場合、ユーザーに、リスクスコアまたは非成功スコアが与えられてもよい。いくつかの実施形態において、リスクスコアに基づいて、事前診断指標（例えば、認識機能障害を有しているかもしれないという表示）がユーザーに与えられる。選好の範囲および分類の数は、本発明の様々な実施形態の特定の要求に応じて変化してもよい。工程３９０がユーザーのコンピューターにおいて実行されるいくつかの実施形態において、このデータもまた、遠隔サーバーに送信されてもよく、一方、工程３９０が遠隔サーバーにおいて実行される場合には、このデータは、ユーザーのコンピューターに提供されてもよい。いくつかの実施形態において、アップデートされたデータが、遠隔サーバー内においてユーザーに関連付けられる。ユーザーは、能力データを、ユーザーのヘルスケア記録を追加する領域を介して、または、ソーシャルネットワーク上でヘルスケア施設と共有するよう要求することが考えられる。

本発明のいくつかの実施形態において、ユーザーのコンピューターシステムは、上述の演算（例えば、較正フェーズ、有効化フェーズ、熟知フェーズ、および／またはテストフェーズ）を実行しない、または、演算のいくつか、若しくは、全てを実行するようプログラムされていてもよい。ユーザーのコンピューターシステムによって全ての演算が実行されない場合、遠隔サーバーは、ビデオ画像およびメタデータ、例えば、タイミング、同期データ、ユーザーの眼球の画像が取得された際にディスプレイの右側および左側にどの画像が表示されているかの表示等に基づいて、アプデートされたデータを処理してもよい。いくつかの実施形態において、遠隔サーバーは、演算済みデータ、例えば、凝視モデルおよび主成分分析結果を、ユーザーのコンピューターシステムに返信し、一方、他の実施形態において、そのような演算済みデータは、遠隔サーバーによって保存のみされる。

また、様々な実施形態において、テストフェーズにおいて、熟知画像と比較した新しい画像の選好を判別するために実行される演算は、部分的または全て、ユーザーのコンピューターおよび／または遠隔サーバーにおいて実行されてもよい。いくつかの実施形態において、選好の判別は、熟知画像の主成分（または他のアルゴリズム）を有するフレームの数と比較した新しい画像の主成分（または他のアルゴリズム）を有するフレームの数を判別することによりなされてもよい。例えば、ユーザーの凝視位置に基づく、テストフェーズ中のフレームのパーセンテージにおいて、ユーザーがしきい値を超えて新しい画像を見ている場合には、ユーザーは、テストを成功裏に通過したものと考えられる。

別の実施形態において、ユーザーが新しい画像または熟知画像を見ているか否かの判断は、遠隔サーバーに接続された１人以上の個人によって実行されてもよい。例えば、管理者にユーザーの眼球のビデオ画像が提供され、自身の人間による判断に基づいて、管理者は、ユーザーがディスプレイの左または右を見ているか否か、ユーザーがまばたきをしているか否か、画質が悪いか否か等を判別してもよい。この判別は、その後、遠隔サーバーによって、ディスプレイの左または右に新しい画像が表示されているか否かの表示と組み合わされ、人間によるフレーム判断の間、どの画像をユーザーが見ているのかが判別される。いくつかの初期テストにおいて、投票の過半数を取得するために３人以上の管理者が用いられる。本発明者は、人手による介入が、テストを行うユーザーの判断と同様に、画像を判断する個々人の主観性（例えば、疲労、判断、先入観、感情状態等）によって、結果の通常変動の問題を引き起こし得ることに気づいている。このような人間の判断は、人間がユーザーの感情を読み、考慮に入れることにより、いくつかの点において、より正確になり得る。そのため、遠隔サーバーにおいて実行されるアルゴリズムによってなされる自動化された判断は、人間の感情を考慮するよう試みるアルゴリズムがこれをよく理解していないと、この点において、信頼性が低くなる。

いくつかの実施形態において、上述の処理は、ユーザーが画像またはテストの重要性を知らされないゲームとして実施されてもよい。このような実施形態において、工程４１０において、新しい画像への選好を有するとの自身の成功に基づいて、フィードバックがユーザーに与えられてもよい。ユーザーフィードバックの例として、成功のファンファーレ、拍手等のような音声が再生されたり、特定のスコアが達成されたときに、実行スコアの合計が増加したり、褒賞が（メールを介して）ユーザーに送られたり、ビデオが再生されたり、賞金がユーザーに与えられたり、ユーザーに対して、ソフトウェアプログラムがロック解除されたり、ダウンロードが利用可能となったり、無広告のストリーミング音楽が与えられたり、イベントのチケットが与えられたり、ＶＩＰルームへのアクセスが与えられたり、といったものが挙げられる。本発明の開示を参照すれば、本分野における当業者であれば、多くの他の種類のフィードバックが、本発明の他の実施形態において、ユーザーに提供され得ることを理解できるであろう。

本発明の他の実施形態において、工程４２０において、ユーザーが成功していない、またはリスクがあると特定された場合には、ユーザーは、さらなるテストの候補者として特定される。様々な実施形態において、ユーザーは、テストを繰り返すよう招待されてもよいし、ユーザーは、さらなるテストに参加するよう招待されてもよいし（例えば、テスト施設、オフィス、研究室におけるテスト）、ユーザーは、テスト能力を向上させるための実行可能な方法についての情報を与えられてもよいし、ユーザーは、薬または生活習慣研究へ参加するよう招待されてもよいし、ユーザーは、ケアパッケージを与えられてもよい等である。本発明の開示を参照すれば、本分野における当業者であれば、本発明の他の実施形態において、ユーザーに他の種類のフィードバックが与えられ得ることを理解できるであろう。このようなユーザーに対する提供は、工程４３０において、電気的通信、例えば、ｅメール、テキスト、電話呼び出し、ビデオコール、物理的メール、ソーシャルメディア等を介して実行されてもよい。他の実施形態において、工程４１０において提供される褒賞、ギフト、ボーナス等も、工程４３０において、ユーザーに提供されてもよい。

１つの実施形態において、工程４４０において、認識低下の研究に、ユーザーが自動的に登録させられる。このような研究の一部として、工程４５０において、ユーザーは、実験薬またはプラシーボ（偽薬）を摂取する。追加的または代替的に、このような研究の一部として、ユーザーは、エクササイズの量を多くすることや、食事習慣を変更することや、認識ゲーム（例えば、クロスワードパズル、脳トレーニングゲーム、ブリッジ等）を遊ぶことや、ストレスを軽減すること、睡眠パターンを調整する等のような生活習慣の変更を行ってもよい。また、いくつかの実施形態において、ユーザーは、費用の弁済、消費時間分の支払い、外来医療の無料化および研究活動等によって、このような研究における自身の参加の補償を受けてもよい。

様々な実施形態において、工程４６０において、ユーザーは、一定の周期で、上述の動作を実行し、長期間における自身の認識状態をモニタリングしてもよい。例えば、いくつかの実施形態において、ユーザーは、上述のテストを３ヶ月から６ヶ月毎に実行してもよく（第１回目がベースラインとなる）、ユーザーの能力の変化を、上述の工程３９０および４００において用いることができる。より具体的には、新しい画像に対するユーザーのパーセンテージ選好が、テスト間において、所定の量（例えば、５％、１０％等）低下している場合、工程４００の条件が満たされず、ユーザーがさらなるテストのために特定されてもよい。

本発明の他の実施形態において、図１Ａ−１Ｅの上述の様々な工程が、ユーザーのコンピューター（例えば、クライアント）ではなく、遠隔サーバーによって実行されてもよい。例として、工程１８０は、工程１９０の後に、遠隔サーバーにおいて実行されてもよいし、工程２２０および２３０は、工程２４０の後に、遠隔サーバーにおいて実行されてもよいし、工程２８０は、工程２９０の後に、遠隔サーバーにおいて実行されてもよいし、工程３４０−３６０は、工程３７０の後に、遠隔サーバーにおいて実行されてもよいし、工程３９０−４００は、遠隔サーバーにおいて実行されてもよいし、工程４１０−４４０は、その一部が、遠隔サーバーにおいて実行されてもよい等が挙げられる。処理の分割は、エンジニアリング上の必要性または優先度等に基づいて、ユーザーのコンピューターと、遠隔サーバーとの間で実行されてもよい。

図２は、本発明の実施形態に係る処理の簡略化された図である。より具体的には、図２は、較正フェーズにおいて対象者に表示され得る画像５００の例と、有効化フェーズにおいて対象者に表示され得る画像５１０の例と、熟知フェーズにおいて対象者に表示され得る熟知画像５２０の例と、熟知画像５４０および新しい画像５５０を含む、テストフェーズにおいて対象者に表示され得る画像５３０の例と、を示している。さらに、図２に示すように、ユーザーに対して与えられるフィードバックの例５６０が示されている。いくつかの実施形態において、フィードバックは、電気的または物理的メッセージ等の様態で、即座に、または、後に提供される。

本発明の別の実施形態において、上述のものとは異なる他の種類の眼球追跡タスクパラダイムおよび研究が実行されてもよく、例えば、注意および優先順序付けタスク、セットシフトタスク、視覚区別タスク、感情認識、バイアスタスク等が実行されてもよい。追加的な研究は、血流、心拍数、瞳孔直径、瞳孔拡張、瞳孔収縮、サッカードメトリクス等を含む追加的な生物学的情報の処理を含んでいてもよい。生物学的データおよび認識タスク能力が収集される処理は、上述の実施形態の１つと同様であってもよい。さらに、スコア付け手順は、参加者の顔の様々な特徴（例えば、瞳孔直径、瞳孔拡張）の位置および時間変化を判別することができる。また、これらの手順は、各ビデオフレームの眼球凝視位置を推定することができる。

図３は、本発明の様々な実施形態の機能ブロック図を示している。コンピューターシステム６００は、デスクトップまたはラップトップコンピューター、サーバー、スマートデバイス、タブレット、スマートフォン、または他の演算デバイスを表している。図３中において、演算デバイス６００は、アプリケーションプロセッサー６１０、メモリー６２０、タッチスクリーンディスプレイ６３０およびドライバー６４０、画像取得デバイス（例えば、ビデオカメラ）６５０、音声入力／出力デバイス６６０等を含み得る。演算デバイスからの、または、演算デバイスへの追加的な通信が、典型的には、有線インターフェース６７０、ＧＰＳ／Ｗｉ−Ｆｉ／Ｂｌｕｅｔｏｏｔｈインターフェース６８０、ＲＦインターフェース６９０およびドライバー７００等によって提供されている。また、いくつかの実施形態では、物理センサー７１０が含まれている。

様々な実施形態において、演算デバイス６００は、携帯型演算デバイス（例えば、アップルｉＰａｄ、アマゾンＦｉｒｅ、マイクロソフトＳｕｒｆａｃｅ、サムソンＧａｌａｘｙ Ｎｏｅ、アンドロイドタブレット）、スマートフォン（例えば、アップルｉＰｈｏｎｅ、モトローラＭｏｔｏシリーズ、グーグルＰｉｘｅｌ、サムソンＧａｌａｘｙ Ｓ）、ポータブルコンピューター（例えば、マイクロソフトＳｕｒｆａｃｅ、レノボＴｈｉｎｋＰａｄ等）、読書デバイス（例えば、アマゾンＫｉｎｄｌｅ、バーンズ・アンド・ノーブルＮｏｏｋ）、またはヘッドセット（例えば、オクルスＲｉｆｔ、ＨＴＣ Ｖｉｖｅ、ソニープレイステーションＶＲ）（このような実施形態では、頭のモーション追跡が眼球追跡に変えて、または、付け加えて、用いられる）等であってもよい。

典型的には、演算デバイス６００は、１つ以上のプロセッサー６１０を含み得る。このようなプロセッサー６１０は、アプリケーションプロセッサーと呼ばれていてもよいし、プロセッサーコア、ビデオ／グラフィックコア、および他のコアを含んでいてもよい。プロセッサー６１０は、アップルのプロセッサー（例えば、Ａ９、Ａ１０）、ＮＶｉｄｉａのプロセッサー（例えば、Ｔｅｇｒａ）、インテルのプロセッサー（Ｃｏｒｅ、Ｘｅｏｎ）、Ｍａｒｖｅｌｌのプロセッサー（Ａｒｍａｄａ）、クアルコムのプロセッサー（Ｓｎａｐｄｒａｇｏｎ）、サムソンのプロセッサー（Ｅｘｖｎｏｓ）、ＴＩ、ＮＸＰ、またはＡＭＤ Ｏｐｔｅｒｏｎ等であってもよい。様々な実施形態において、プロセッサーコアは、ＣｏｒｔｅｘまたはＡＲＭシリーズプロセッサーのようなＡＲＭ社のプロセッサー等に基づいていてもよい。さらに、様々な実施形態において、ＡＭＤ Ｒａｄｅｏｎプロセッサー、Ｎｖｉｄｉａ ＧｅＦｏｒｃｅプロセッサー、インテグレーテッドグラフィックス（例えば、インテル）等のようなビデオ／グラフィックス処理ユニットが含まれていてもよい。他の処理能力は、音声プロセッサー、インターフェースコントローラー等を含む。他の既存および／または将来開発されるプロセッサーが、本発明の様々な実施形態において用いられていてもよいことが考えられる。

様々な実施形態において、メモリー６２０は、フラッシュメモリー（例えば、ＮＯＲ、ＮＡＮＤ）、疑似ＳＲＡＭ、ＤＤＲ ＳＤＲＡＭ等のような複数の異なる種類のメモリー（メモリーコントローラーを含む）を含んでいてもよい。メモリー６２０は、演算デバイス６００内に固定されていてもよいし、取り外し可能であってもよい（例えば、ＳＤ、ＳＤＨＣ、ＭＭＣ、ＭＩＮＩ ＳＤ、ＭＩＣＲＯ ＳＤ、ＣＦ、ＳＩＭ）。上述のものは、コンピューター実行可能ソフトウェアコード（例えば、ファームウェア、アプリケーションプログラム）、アプリケーションデータ、オペレーティングシステムデータ、対象者に対して表示される画像等のような本発明の実施形態を保存するために使用可能なコンピューター可読有体媒体の例である。他の既存および／または将来開発されるメモリーおよびメモリー技術を、本発明の様々な実施形態において用いられていてもよいことが考えられる。

様々な実施形態において、タッチスクリーンディスプレイ６３０およびドライバー６４０は、抵抗型ディスプレイ、容量性ディスプレイ、光学センサーディスプレイ、電磁共鳴等を含む様々な現在のタッチスクリーン技術または様々な将来開発されるタッチスクリーン技術に基づいていてもよい。さらに、タッチスクリーンディスプレイ６３０は、単一タッチまたは複数タッチ感知能力を備えていてもよい。任意の将来開発される、または、従来の出力ディスプレイ技術が、ＩＰＳ−ＬＣＤ、ＯＬＥＤ、プラズマ等の出力ディスプレイのために用いられてもよい。様々な実施形態において、そのようなディスプレイの解像度、および、そのようなタッチセンサーの分解能は、エンジニアリング上または非エンジニアリング上のファクター（例えば、セールス、マーケティング）に基づいて、設定されてもよい。本発明のいくつかの実施形態において、ディスプレイ出力ポートは、ＨＤＭＩ、ＤＶＩ、ＵＳＢ３．Ｘ、ＤｉｓｐｌａｙＰｏｒｔ等に基づいて、提供されていてもよい。

本発明のいくつかの実施形態において、画像取得デバイス６５０は、センサー、ドライバー、レンズ等を含んでいてもよい。センサーは、ＣＭＯＳ、ＣＣＤ等のような従来のセンサー技術または任意の将来開発されるセンサー技術に基づいていてもよい。いくつかの実施形態において、複数の画像取得デバイス６５０が用いられる。例えば、スマートフォンは、典型的には、後面のカメラおよび前面のカメラ（スマートフォンを見ている人がディスプレイを見るときに、ユーザー側に向いているもの）を有している。本発明の様々な実施形態において、画像認識ソフトウェアプログラムが、画像データを処理するために提供される。例えば、そのようなソフトウェアは、顔認識、頭追跡、カメラパラメーター制御、眼球追跡等の機能を提供することができ、これらは、オペレーティングシステム、本発明の実施形態、または、これらの組み合わせによって提供される。

様々な実施形態において、音声入力／出力６６０は、１つまたは複数の従来のマイク／スピーカーを含んでいてもよい。本発明のいくつかの実施形態において、三線または四線音声コネクターポートが含まれており、ユーザーが、外部スピーカー、ヘッドホン、ヘッドホン／マイクの組み合わせのような外部音声デバイスを使用可能となっている。いくつかの実施形態において、これは、無線で実行されてもよい。様々な実施形態において、声処理および／または認識ソフトウェアがアプリケーションプロセッサー６１０に提供され、ユーザーが、声によるコマンドを述べることにより、演算デバイス６００を操作可能とされていてもよい。さらに、スピーチエンジンが、様々な実施形態において提供されており、演算デバイス６００が、音声状態メッセージ、音声応答メッセージ等を提供可能とされていてもよい。

様々な実施形態において、有線インターフェース６７０が、演算デバイス６００と、コンピューター、遠隔サーバー、ストレージネットワーク、他の演算デバイス６００等のような外部ソースとの間のデータ転送を提供するために用いられてもよい。このようなデータは、アプリケーションデータ、オペレーティングシステムデータ、ファームウェア、本発明の実施形態等を含み得る。実施形態は、ＵＳＢ２．ｘまたは３．ｘ、マイクロＵＳＢ、ミニＵＳＢ、Ｆｉｒｅｗｉｒｅ、アップルＬｉｇｈｔｎｉｎｇコネクター、イーサネット、ＰＯＴＳ等の従来の物理インターフェース／プロトコルまたは任意の将来開発される物理インターフェース／プロトコルを含んでいてもよい。さらに、典型的には、そのようなネットワーク間の通信を可能とするソフトウェアが、提供されている。

また、様々な実施形態において、無線インターフェース６８０が、演算デバイス６００と、遠隔コンピューター、ストレージネットワーク、ヘッドホン、マイク、カメラ等のような外部ソースとの間のデータ転送を提供するために提供されている。図３に示されているように、無線プロトコルは、Ｗｉ−Ｆｉ（例えば、ＩＥＥＥ８０２．１１ｘ、ＷｉＭａｘ）、Ｂｌｕｅｔｏｏｔｈ、ＩＲ、近距離無線通信（ＮＦＣ）、ＺｉｇＢｅｅ等を含んでいてもよい。

また、本発明の様々な実施形態において、ＧＰＳ受信機能が含まれていてもよいが、これは必須ではない。図３に示されているように、ＧＰＳ機能は、単に利便性の目的で、無線インターフェース６８０の一部として含まれているが、実施において、そのような機能は、Ｗｉ−Ｆｉ回路とは異なる回路およびＢｌｕｅｔｏｏｔｈ回路とは異なる回路によって実行されていてもよい。

様々な実施形態において、追加的な無線通信が、追加的なＲＦインターフェース６９０およびドライバー７００を介して提供されていてもよい。様々な実施形態において、ＲＦインターフェース６９０は、ＣＤＭＡベースのプロトコル（例えば、ＷＣＤＭＡ）、Ｇ４、ＧＳＭベースのプロトコル、ＨＳＵＰＡベースのプロトコル等のような従来の無線通信プロトコルまたは任意の将来開発される無線通信プロトコルをサポートしていてもよい。図示の実施形態において、ドライバー７００は、アプリケーションプロセッサー６１０と区別可能に示されている。しかしながら、いくつかの実施形態において、これらの機能は、単一のＩＣパッケージ、例えば、Ｍａｒｖｅｌ ＰＸＡ３３０プロセッサー等において提供される。演算デバイス６００のいくつかの実施形態は、ＲＦインターフェース６９０およびドライバー７００によって提供されるＲＦ機能を含んでいる必要はないことが考えられる。

また、図３は、演算デバイス６００の様々な実施形態が、物理センサー７１０を含み得ることを示している。本発明の様々な実施形態において、物理センサー７１０は、多軸マイクロ・エレクトロ・メカニカルシステム（ＭＥＭＳ）である。物理センサー７１０は、３軸センサー（線形、ジャイロ、または磁気）、３軸センサー（線形、ジャイロ、または磁気）、６軸モーションセンサー（線形、ジャイロ、および／または磁気の組み合わせ）、１０軸センサー（線形、ジャイロ、磁気、圧力）、およびこれらの様々な組み合わせを含み得る。本発明の様々な実施形態において、Ｂｏｓｃｈ、ＳＴＭｉｃｒｏｅｌｅｃｔｒｏｎｉｃｓ、Ａｎａｌｏｇ Ｄｅｖｉｃｅｓ、Ｋｉｏｎｉｘ、Ｉｎｖｅｎｓｅｎｓｅ、ｍＣｕｂｅ等による従来の物理センサー７１０が使用されていてもよい。

いくつかの実施形態において、演算デバイス６００は、印刷済み媒体をユーザーに提供するためのプリンター７４０を含んでいてもよい。典型的な種類のプリンターは、インクジェットプリンター、レーザープリンター、写真焼き付けプリンター（例えば、ポラロイド式インスタントカメラ）等を含み得る。様々な実施形態において、プリンター７４０は、例えば、命令のようなテキストデータをユーザーにプリントアウトするために用いられてもよいし、自撮り写真のような写真をユーザーにプリントアウトするために用いられてもよいし、顧客バーコード、例えば、ＱＲコード、ＵＲＬ等を含むチケットまたはレシートをプリントアウトするため等に用いられてもよい。

様々な実施形態において、ｉＰｈｏｎｅ ＯＳ（例えば、ｉＯＳ）、Ｗｉｎｄｏｗｓ、グーグルアンドロイド等のような現在のオペレーティングシステムまたは将来開発されるオペレーティングシステムの任意の数がサポートされていてもよい。本発明の様々な実施形態において、オペレーティングシステムは、マルチスレッド・マルチタスクオペレーティングシステムであってもよい。さらに、タッチスクリーンディスプレイ６３０およびドライバー６４０への入力および／またはタッチスクリーンディスプレイ６３０およびドライバー６４０からの出力、並びに、物理センサー７１０への入力および／または物理センサー７１０からの出力は、並列処理スレッドで処理されてもよい。他の実施形態において、このようなイベントまたは出力は、直列等で処理されてもよい。また、本発明の他の実施形態において、画像取得デバイス６５０および物理センサー７１０のような他の機能ブロックからの入力および出力は、並列または直列で処理されてもよい。

キオクス式演算デバイス６００のような、いくつかの実施形態において、払い出し機構７２０と、払い出す品物７３０の一覧表とが提供されていてもよい。様々な実施形態において、ガムボール式機構（例えば、回転テンプレート）、スナック食品自動販売機式機構（例えば、回転螺旋、スライド式ドア等）、缶またはボトルソフトドリンク販売機構等のような、任意の数の機構が、品物７３０を払い出すために用いられてもよい。このような、払い出し機構は、プロセッサー６１０の制御化にある。このような実施形態によれば、ユーザーは、キオスクを起動し、図１Ａ−１Ｅに記載の処理と情報交換を行う。テスト結果に基づいて、プロセッサーは、払い出し機構７２０をアクティブにし、図１Ｅの工程４１０、４３０、４４０または４５０において、１つ以上の品物７３０をユーザーに払い出す。

図３は、本発明を具体化可能な１つの演算デバイス６００を表している。本分野における当業者であれば、多くの異なるハードウェアおよびソフトウェア構成が本発明における使用に適していることはすぐに分かるであろう。本発明の実施形態は、図３において図示された機能ブロックの全てを含んでいる必要はなく、少なくともいくつかを含んでいてもよい。例えば、様々な実施形態において、演算デバイス６００は、タッチスクリーンディスプレイ１１３０およびタッチスクリーンドライバー１１４０、または、ＲＦインターフェース６９０および／またはドライバー７００、またはＧＰＳ機能等を欠いていてもよい。また、物理キーボード、追加的な画像取得デバイス、トラックボールまたはトラックパッド、ジョイスティック、内部電源（例えば、バッテリー）等の追加的な機能が、演算デバイス６００の様々な実施形態に追加されていてもよい。さらに、複数の機能ブロックが単一の物理パッケージまたはデバイスに実装されていてもよいし、複数の機能ブロックが分割され、さらに、別々の物理パッケージまたはデバイス間で実行されてもよいことは理解されるべきである。

本発明のいくつかの実施形態において、演算デバイス６００は、キオクス構造であってもよい。さらに、いくつかの例において、キオクスは、プラシーボ薬、薬剤研究投薬、複数の異なる種類の食品（例えば、スナック、ガム、キャンディー）、複数の異なる種類の飲み物（例えば、プラシーボドリンク、薬剤研究ドリンク）等のような品物を払い出してもよい。いくつかの例において、品物は、ユーザーの能力に関し、プリンター７４０によって印刷された情報データ（例えば、生活習慣アドバイス、正しい食事の情報等）であってもよい。追加的な例では、品物（例えば、チケットまたは半券）は、ユーザーのテスト結果にアクセスできるウェブサイトへリンクするカスタムＵＲＬ、バーコード（例えば、２Ｄバーコード、ＱＲコード）等を含んでいてもよい。リンクされたサイトは、テストを行う組織、製薬会社と関連する薬研究サイト、旅行ウェブサイト、電子商取引ウェブサイト等に関するものであってもよいことが考えられる。このような場合、プライバシー保護のため、ユーザーが自身の情報を登録するよう選択するまで、ユーザーは、リンクされたサイトへの匿名性を保持することとなることが考えられる。さらに他の例において、品物は、ユーザーの写真（例えば、記念写真、一連のスナップ写真等）であってもよく、いくつかの例において、上述の情報データまたはリンクデータと連動している。さらに別の実施形態において、キオクスは、移動可能なものであってもよく、さらに、キオクスは、ユーザー、例えば、歩行ができないユーザーに向かって、車輪で移動可能なものであってもよい。

様々な実施形態および実施を説明したが、関連分野における当業者であれば、前述のものが説明のためのみのものであって、限定ではなく、例示だけのために提供されていることを理解できるであろう。例えば、いくつかの実施形態において、ユーザー演算デバイスは、タブレットまたはスマートフォンであってもよく、そのようなデバイスの前面のカメラが、本明細書で記述されたビデオ取得デバイスとして用いられてもよい。さらに、本明細書で記述される様々な演算は、タブレット若しくはスマートフォンによって実施、または、遠隔サーバーと協働して実施されてもよい。図示された実施例の様々な機能要素のうちの機能を分配する多くの他のスキームが利用可能である。任意の要素の機能は、代替的な実施形態において、様々な方法で実行されてもよい。

また、いくつかの要素の機能は、代替的な実施形態において、少数または単一の要素によって実行されてもよい。同様に、いくつかの実施形態において、任意の機能要素が、図示の実施形態に対して記述されたものよりも、少数またはそれと異なる動作を実行してもよい。また、説明の目的で区別されて示された機能要素は、特定の実施において、他の機能要素内に組み込まれてもよい。また、機能のシーケンスまたは機能の部分は、一般的に、変更されてもよい。特定の機能要素、ファイル、データ構造等は、図示の実施形態において、特定のコンピューターのシステムメモリー内に位置するものとして記述されている。しかしながら、他の実施形態において、これらは、互いに同一の場所に配置および／または離れて配置された複数のコンピューターシステムまたは他のプラットフォームに位置、または、これらに分配されていてもよい。例えば、同一箇所に配置され、サーバーまたは他のコンピューターに対して「ローカル」であるものとして記述された任意の１つ以上のデータファイルまたはデータ構造は、サーバーから離れたコンピューターシステムまたは複数のシステム内に位置していてもよい。さらに、関連分野における当業者であれば、複数の機能要素および様々なデータ構造間での制御およびデータフローが、上述または本明細書において参照により援用された文献において記述された制御およびデータフローから、多くの方法で変化し得ることを理解するであろう。より具体的には、中間的な機能要素が、制御またはデータフローを方向付けし、さらに、並列処理を可能とするため、または、他の理由のために、様々な要素の機能が、組み合わされ、分割され、または再配置されてもよい。また、ファイルの中間データ構造が用いられてもよく、ファイルの様々な記述されたデータ構造が組み合わされ、または、配置されてもよい。

さらに、本開示を読んだ後、本分野における通常の技術の１つにおいて、実施形態を想定することができる。例えば、いくつかの実施形態は、常駐ソフトウェアを実行可能なラップトップまたはキオスクのようなターンキー式システムとして具体化することができる。ソフトウェアは、ラップトップのプロセッサーによって実行され、上の図１Ａ−１Ｅにおいて記述された機能（対象者の顔および／または眼球へのウェブカメラの較正、凝視モデルの判別、適切なタイミングでの熟知およびテスト画像の出力、凝視モデルを用いたテストの間の時間に対する熟知およびテスト画像にたいする対象者の凝視の判別等）の全部とは言わないが、いくつかを提供することができる。対象者のテストデータは、ラップトップ上にローカルに保存され、および／または、遠隔サーバーにアップロードされる。

様々な実施形態において、ユーザーの凝視位置とは全く異なる特徴が用いられてもよい。例えば、ユーザーの認識能力を判別する際に、顔つき（例えば、眉毛、唇の位置等）およびユーザーの手の配置やジェスチャーも考慮されてもよい（例えば、驚き、困惑、怒り、混乱等）。他の実施形態において、ユーザーの瞬き率、瞳孔拡張、瞳孔応答性（例えば、ディスプレイ上での点滅に応答してどれだけ早く瞳孔が開くか）、サッカード運動、速度等の追加的な眼球関連ファクターも検出され、使用されてもよい。

さらに別の実施形態において、方法は、上述の分析および／または診断方法からの情報を用いて、処理またはさらなる分析を実行してもよい。１つの例において、処理またはさらなる分析は、ＭＲＩスキャン、ＣＡＴスキャン、ｘ線分析、ＰＥＴスキャン、脊椎穿刺（脳脊髄液）テスト（アミロイド斑、タウたんぱく質）、ベータアミロイドテスト、ＭＲＴ血液テスト等を含み得る。任意の分析および／または診断方法を開始するために、分析および／または診断方法を開始するためのロックまたはインターロックを開けるための情報を用いることが含まれる。１つの例において、処置は、自動で実行、または、薬の管理者または治療士によって人手で実行されるものを含み得る。

上述の例として、キオスクでの実施形態において、処置は、ユーザーの認識能力情報を用いて、ロックされた、または、安全性が保証された容器内にある薬にアクセスし、薬を払い出すことを含む。別の例では、アミロイド斑用にＰＥＴ／ＭＲＩスキャンが提供される。１つの例において、処理は、脳脊髄液のための脊椎穿刺を含み、アミロイド斑およびタウ（アルツハイマー病に関与すると思われているたんぱく質）を測定する。もちろん、他の変更、変形、および代替が可能である。さらに別の例において、処置は、医師が、特に、ＮａｍｅｎｄａＴＭ、ＥｘｅｌｏｎＴＭのようなアルツハイマー病の薬を患者に与えることを含み得る。１つの例において、患者は、エクササイズ、運動および睡眠活動を追跡するＦｉｔｂｉｔＴＭのようなウェアラブルデバイスを用いて、処理されてもよい。

１つの例において、方法は、好ましくは、特権がなければアクセスできず、機密が保たれた状態で保存および保護されている結果を提供する。１つの例において、結果および／または情報が保護されており、情報に関するファイルのロック解除によってのみ開示される。１つの例において、医者またはヘルスケア専門家は、セキュリティが外された後に、結果にアクセスすることができる。

１つの例において、画像も、他の顔の要素を取得可能なように構成されていてもよい。顔の要素は、動くことができる、または、特定の形状である、および／または、特定の位置にある口、鼻、頬、眉毛、耳、または他の特徴、またはこれら特徴のそれぞれの任意の関係を含み、ユーザーの顔つきまたは他の表示に関する他の特徴要素を特定することができる。もちろん、他の変更、変形、代替が存在し得る。

１つの例において、画像も、参照点のような、既知の形状およびサイズの他の要素を取得可能なように構成されていてもよい。１つの例において、要素は、固定され、有体の固定ハードウェア要素、一枚の紙、コード、または他のオブジェクトであり得る。例として、医者、薬剤師等は、ユーザーに、ユニークなＱＲコードが印刷された名刺または他の有体の品物を提供する。様々な実施形態において、ユーザーは、例えば、図１Ａ中の工程１２０において、ＱＲコードをカメラに写させる。他の実施形態において、遠隔サーバーは、ＱＲコードを用いて、本明細書で記述された認識テストの特定のバージョンを判別し、特定の褒賞、ギフト、および情報をユーザーに与えてもよい。例として、調剤士Ａは、カラー画像に基づく６分間の視覚テストを有しており、一方、研究者Ｂは、白黒画像に基づく５分間の視覚テストを有している等が挙げられる。多くの他の調整が上述の処理に対して行われてもよいこと、および、これらの異なる処理が一般的な遠隔サーバーによって実行されてもよいことは、理解されるべきである。もちろん、他の変更、変形、および代替が存在し得る。

別の例において、本技術は、複数回実行されることができる。１つの例において、ベースラインスコアを生成するよう、複数回実行されてもよい。ベースラインスコアが保存されると、他のテストが他の機会において実行され、ベースラインスコアに対して比較されることができる。１つの例において、ベースラインスコアは、安全なサーバーまたはクライアント位置のメモリー内に保存される。ベースラインスコアは、ユーザーによって読み出されることができ、その後、新しいテストスコアと共に処理され、追加的なスコアを生成する。もちろん、他の変更、変形、および代替が存在し得る。

代替的な例において、他の認識疾患、または、不安神経症、ストレス、鬱病、自殺傾向、幼児期の発達等のユーザーの他の特徴を特定するために、本技術を用いることができる。１つの例において、技術は、他の病気用のプラットフォーム上において提供されることができる。他の病気は、様々なモジュールにおいて提供可能であり、上述のものに含まれる。さらに別の実施形態において、開示の技術は、他のユーザーメトリクス、例えば、ユーザーモーションまたは歩行取得および分析、ユーザー姿勢または姿勢分析のためのプラットフォームとして用いられてもよい。実施形態は、病院内に位置してもよく、ユーザーがテストを実行し、十分な新しさへの選好を示すことができない場合に、特定の医師または部署からの指示書が、ユーザーに対してロック解除されてもよい。十分な新しさへの選好を示したユーザーは、そのような提供者へのアクセスができない。

いくつかの実施形態において、異なる絵柄に対するユーザー応答が、セキュリティ目的（例えば、ＴＳＡ、ＣＩＡ、ＦＢＩ、警察）等のために用いられてもよい。例として、テストフェーズの間、ユーザーに、花や停止マークのような中立の熟知画像が表示され、ＡＫ−４７銃、爆弾、９−１１（アメリカ同時多発テロ事件）関連画像等のような暴力を示す新しい画像がユーザーに表示される。いくつかの場合において、新しい画像を見ることを意図的に避けることは、セキュリティリスクと見なされる。他の実施形態は、年の取った運転手が、車両を安全に取り扱うことができるだけの十分な認識能力を有しているか否かを判断するために、自動車部門において用いられてもよい。

いくつかの例において、ユーザーがシステムを欺こうとしているか否かを判断するために、アルゴリズムが用いられてもよい。例えば、凝視分析は、ユーザーが認識欠陥を隠そうと試みているか否かを判断するために用いられてもよい。
１つの例において、本技術は、スタンドアローンキオスクで実施することができる。１つの例において、カメラおよび他のハードウェア特徴は、指定のエリア内に戦略的に配置されたキオクス内において設けることができる。キオスクは、特に、薬局、アクティビティ、セキュリティーゾーンの近辺に置かれ得る。１つの例において、技術の適切な実行の後に、技術は、払い出し機のロックを解除し、薬を提供し、技術は、回転ドアまたはセキュリティーゲート等のロックを解除する。もちろん、他の変更、変形、および代替が存在し得る。

１つの例において、技術は、眼球のそれぞれ内への点滅または他の照明技術と共に提供されることができる。

他の実施形態において、上に開示された発明の組み合わせまたは準組み合わせを、有利に行うことができる。アーキテクチャーのブロック図およびフロー図は、理解を容易にするためにグループ化されている。しかしながら、ブロックの組み合わせ、新しいブロックの追加、ブロックの再配置等が、本発明の代替的な実施形態において考えられることは理解されるべきである。さらに、本発明の実施形態の例は、添付の付録において提供されている。

適切には、本明細書および図面は、限定の意味というよりも、説明と見なされるものである。しかしながら、様々な変形および変更が、特許請求の範囲に記載の本発明のより広い原理および範囲から逸脱することなく可能であることは明らかであろう。

Claims (20)

1. 認識異常の検出のために、画像取得デバイスを用いて、眼球運動の位置調整をする工程を含む情報を処理する方法であって、
   プロセッサーの制御下において、ユーザーに対して、表示デバイス上にフレームの画像を出力するために、アプリケーションを起動する工程であって、前記表示デバイスは、前記プロセッサーに接続されており、前記プロセッサーは、コンピューターネットワークに接続された通信デバイスに接続されており、前記コンピューターネットワークは、サーバーデバイスに接続されている、前記アプリケーションを起動する工程と、
   前記アプリケーションに接続されたカメラを起動し、ユーザーの頭のビデオ画像を取得する工程であって、前記ユーザーの前記頭は、前記ユーザーが前記表示デバイスを見ることによって位置合わせされる、前記ユーザーの前記頭の前記ビデオ画像を取得する工程と、
   前記表示デバイス上において、表示されている前記フレームの周辺に、前記ユーザーの前記頭の前記画像の前記ビデオを表示する工程と、
   前記フレーム内の前記ユーザーの前記頭の位置合わせを行い、前記頭を前記フレームに並べ、さらに、前記ユーザーの前記頭の画像を取得する工程と、
   取得された前記頭の前記画像に関する情報を処理し、前記ユーザーの眼球運動の画像取得処理を開始する工程と、
   前記画像取得プロセスの開始の後に、ディスプレイ上に表示を出力し、さらに、前記表示デバイス上に表示されている複数の画像の１つに対する前記表示を空間的に移動させる工程と、
   前記頭が、前記カメラに対して、ほぼ一定の空間位置で維持されている間に、前記人間のユーザーの前記眼球のそれぞれのビデオを取得する工程であって、前記眼球のそれぞれは、前記ディスプレイの前記表示の位置を追跡するよう動き、前記眼球のそれぞれの前記画像は、強膜部分、虹彩部分、および瞳孔部分を含む、前記人間のユーザーの前記眼球のそれぞれの前記ビデオを取得する工程と、
   前記ビデオを解析し、前記表示の第１の空間位置のための第１の眼球位置に対応する第１の参照画像と、前記表示の第２の空間位置のための第２の眼球位置に対応する第２の参照画像を判別する工程と、
   前記複数の他の画像のそれぞれを、前記第１の参照画像または前記第２の参照画像の一方に関連付ける工程と、を含むことを特徴とする方法。
2. 前記ビデオの前記解析は、前記サーバーデバイスにおいて行われ、
   前記方法は、前記人間のユーザーの前記眼球のそれぞれの前記ビデオを、前記ネットワークを介して、前記サーバーデバイスに送信する工程をさらに含む請求項１に記載の方法。
3. 前記ビデオの前記解析は、ユーザーのデバイスにおいて実行される請求項１に記載の方法。
4. 前記眼球のそれぞれに光を当て、それぞれの前記強膜部分に対するそれぞれの前記虹彩部分の位置を強調する工程をさらに含む請求項１に記載の方法。
5. 前記眼球のそれぞれに光を当て、それぞれの前記強膜部分に対するそれぞれの前記虹彩部分の位置を強調し、それぞれの前記虹彩部分の虹彩ピクセル画像およびそれぞれの前記強膜部分の強膜ピクセル画像が、約１：１〜約１：１０のコントラスト比を有するようにする工程をさらに含む請求項１に記載の方法。
6. 前記カメラは、サブメガピクセル解像度によって特徴付けられる請求項１に記載の方法。
7. 前記処理デバイスに接続された記憶デバイスから、前記複数の画像を送信する工程であって、前記複数の画像のそれぞれは、識別情報を含む、前記複数の画像を送信する工程をさらに含む請求項１に記載の方法。
8. 前記識別情報を含むよう、前記取得されたビデオを処理する工程と、前記識別情報を含む前記取得されたビデオを、前記コンピューターネットワークを介して、前記サーバーデバイスに送信する工程と、をさらに含む請求項１に記載の方法。
9. 前記取得されたビデオを解析し、参照画像を特定する工程と、前記参照画像を処理し、虹彩ピクセル画像および前記関連する強膜ピクセル画像が、選択されたコントラスト比内にあるか否かを判別する工程と、をさらに含む請求項１に記載の方法。
10. 前記虹彩ピクセル画像および前記関連する強膜ピクセル画像が、前記選択されたコントラスト比内にない場合に応答して、前記ユーザーに、ビデオ取得状態の改善に関するフィードバックを提供する工程をさらに含む請求項９に記載の方法。
11. 演算システムに接続されているウェブカメラを用いて、情報を処理するための方法であって、
    前記演算システムに接続された表示デバイスの前にユーザーを位置させる工程であって、前記演算システムは、コンピューターの世界規模ネットワークに接続されている、前記表示デバイスの前に前記ユーザーを位置させる工程と、
    前記演算システムのメモリーデバイス上に保存されているニューロトラックアプリケーションを起動する工程と、
    前記ニューロトラックアプリケーションから選択されたコマンドを送信することにより、前記ウェブカメラを起動する工程と、
    前記表示デバイスの前に位置している前記ユーザーの顔領域の画像を取得する工程と、
    前記演算システムに接続された前記メモリーデバイスから、複数のテスト画像を読み出す工程であって、前記複数のテスト画像は、画像の第１のペア、画像の第２のペア、画像の第３のペア、および、画像の第１２のペアに至るまでの画像のペアを含み、前記画像のペアのそれぞれは、互いに関連している、前記複数のテスト画像を読み出す工程と、
    前記ユーザーに視認される前記表示デバイス上に前記テスト画像の前記第１のペアを表示する工程と、
    前記ユーザーが前記テスト画像の前記第１のペアを見ている間に、第１の眼球位置に関連付けられた複数の第１の画像を取得する工程と、
    前記画像の前のペアの１つを置き換えている間に、前記画像のペアの表示を繰り返し、さらに、前記画像の第２のペアから前記画像の第１２のペアまでの複数のために、複数の画像を取得する工程であって、前記複数の画像のそれぞれは、前記ユーザーが前記表示デバイスを見ている間に取得される、前記複数の画像を取得する工程と、
    前記画像の前のペアを置き換えている間に、その周辺において４つの領域を有する初期位置からの前記画像のペアが表示されている間の固視および前記固視に関連するサッカードを取得する工程であって、前記４つの領域のそれぞれは、前記初期位置から約１度の視角内に存在する、前記初期位置での前記固視および前記固視に関連する前記サッカードを取得する工程と、
    情報を処理し、前記サッカードをフィルタリングする工程と、
    前記複数の画像のうち、前記置き換えられた画像での前記固視を用いて、視覚選好を判別する工程と、
    視覚選好情報を用いる工程と、を含むことを特徴とする方法。
12. ホストコンピューター上でマッチングゲームをプレイするための方法であって、
    前記ホストコンピューターから遠隔コンピューターシステムに、複数の静的画像のコンピューターネットワークアドレスをアップデートする工程であって、前記複数の静的画像は、第１の複数の静的画像と、第２の複数の静的画像とを含む、前記複数の静的画像の前記コンピューターネットワークアドレスをアップデートする工程と、
    前記ホストコンピューターから前記遠隔コンピューターシステムをアップデートする工程であって、前記遠隔コンピューターシステムは、ソフトウェアコードを実行可能であり、前記ソフトウェアコードは、
    前記遠隔コンピューターシステムに、前記遠隔コンピューターシステムのディスプレイ上に、前記第２の複数の静的画像のうちの静的画像ではない、前記第１の複数の静的画像のうちの静的画像のみをプレイヤーに対して表示させるよう指示する第１の遠隔コンピューターシステム実行可能ソフトウェアコードであって、前記第１の複数の静的画像のうちの前記静的画像のそれぞれは、第１の所定時間の間、前記ディスプレイの半分の大部分上に表示される、前記第１の遠隔コンピューターシステム実行可能ソフトウェアコードと、
    前記遠隔コンピューターシステムに、前記遠隔コンピューターシステムの前記ディスプレイ上に、第２の所定時間の間、前記プレイヤーに対する前記第１の複数の静的画像の少なくとも１つの静的画像を、前記プレイヤーに対して表示しないよう指示する第２の遠隔コンピューターシステム実行可能ソフトウェアコードと、
    前記遠隔コンピューターシステムに、前記遠隔コンピューターシステムの前記ディスプレイ上に、前記第１の複数の静的画像のうちの第１の静的画像および前記第２の複数の静的画像のうちの第２の静的画像を、前記プレイヤーに対して同時に表示させるよう指示する第３の遠隔コンピューターシステム実行可能ソフトウェアコードであって、前記第１の静的画像および前記第２の静的画像は、第３の所定時間の間、前記ディスプレイの半分の大部分上に表示される、第３の遠隔コンピューターシステム実行可能ソフトウェアコードと、
    前記遠隔コンピューターシステムに、前記遠隔コンピューターシステムのウェブカメラを用いて、前記プレイヤーのビデオデータを取得するよう指示する第４の遠隔コンピューターシステム実行可能ソフトウェアコードであって、前記ビデオデータは、前記遠隔コンピューターシステムの前記ディスプレイが、前記プレイヤーに対して、前記第１の静的画像および前記第２の静的画像を表示している間に、前記プレイヤーの眼球運動を捕捉する、第４の遠隔コンピューターシステム実行可能ソフトウェアコードと、
    前記遠隔コンピューターシステムに、前記ビデオデータの興味のある所定の２次元領域に対応する前記ビデオデータのサブセットから、編集済みビデオデータを生成するよう指示する第５の遠隔コンピューターシステム実行可能ソフトウェアコードであって、前記編集済みビデオデータは、前記ビデオデータよりも低い解像度を有する、第５の遠隔コンピューターシステム実行可能ソフトウェアコードと、
    前記遠隔コンピューターシステムに、前記編集済みビデオデータを前記ホストコンピューターに提供するよう指示する第６の遠隔コンピューターシステム実行可能ソフトウェアコードと、を含む、前記ホストコンピューターから前記遠隔コンピューターシステムをアップデートする工程と、
    前記ホストコンピューターを用いて、前記編集済みビデオデータに対応して、前記プレイヤーが前記第１の静的画像を見ている時間の量を表す第１の時間量と、前記プレイヤーが前記第２の静的画像を見ている時間の量を表す第２の時間量とを判別する工程と、
    前記第１の時間量および前記第２の時間量に応答して、前記第１の時間量と前記第２の時間量の間の前記プレイヤーの視認関係を判別する工程と、
    前記ホストコンピューターを用いて、前記第１の時間量と前記第２の時間量との間の前記プレイヤーの前記視認関係が第１のしきい値を超えたか否かを判別し、さらに、これに対応して、成功フラグを生成する工程と、
    前記成功フラグに応答して、前記ホストコンピューターから前記遠隔コンピューターシステムへ、前記プレイヤーが成功したことを示す表示を提供する工程と、を含む方法。
13. 前記ホストコンピューターを用いて、前記プレイヤーの前記視認関係と、複数のプレイヤーの複数の可能性のある物理的状態に関連付けられた複数の視認関係との間の複数の比較を実行し、前記プレイヤーの１つ以上の可能性のある状態を判別する工程と、
    前記ホストコンピューターを用いて、判別された前記プレイヤーの前記１つ以上の可能性のある状態に応答して、前記プレイヤーの１つ以上の治療措置を判別する工程と、
    前記ホストコンピューターから前記遠隔コンピューターシステムへ、前記プレイヤーの前記１つ以上の可能性のある状態および前記プレイヤーの前記１つ以上の治療措置の表示を提供する工程と、をさらに含む請求項１２に記載の方法。
14. 前記プレイヤーの前記視認関係は、前記プレイヤーが前記第２の画像を見ている時間のパーセンテージを含み、
    前記第１のしきい値は、約５０％より大きい請求項１２に記載の方法。
15. 前記成功フラグがないことに応答して、前記ホストコンピューターから前記遠隔コンピューターシステムへ、前記プレイヤーが成功しなかったことを示す表示を提供する工程をさらに含む請求項１４に記載の方法。
16. 前記成功フラグが存在しないことに応答して、前記プレイヤーにギフトを郵送する工程をさらに含む請求項１４に記載の方法。
17. 前記ギフトは、１つ以上の実験薬研究への参加の招待を含む請求項１６に記載の方法。
18. 前記ギフトは、１つ以上のソーシャルグループまたはオンラインのソーシャルネットワークへの参加の招待を含む請求項１６に記載の方法。
19. 前記ギフトは、生活習慣変更についての情報および資金計画情報を含む請求項１６に記載の方法。
20. 前記ギフトは、フィットネストラッカー、血圧計、および血中グルコース計からなるグループから選択される請求項１６に記載の方法。
    
    

Images