JP6329635B2 - 視線追跡 - Google Patents

Description

本願は、“Ｅｙｅｐｒｉｎｔ Ｇａｚｅ Ｔｒａｃｋｉｎｇ”と題された、２０１４年２月２５日に出願された、米国仮特許出願第６１／９４４，４３８号に対する優先権および利益を主張するものであり、該仮出願の全体は、参照により本明細書中に援用される。

本開示は、概して、画像分析に関し、より具体的には、リアルタイム視線追跡のためのシステムおよび方法に関する。

眼追跡とは、眼の視線または移動を識別するプロセスを指す。最近、眼追跡技術のアクセス可能性は、ユーザインターフェース制御、ウェブ設計、広告、自動車工学、および多くの他の分野等の種々の分野において、その使用の急増をもたらしている。眼追跡技術の現在および潜在的用途の数を考慮して、眼追跡技法の正確度および効率の改良が、眼追跡機能性がウェアラブルおよび他のモバイルデバイス等の種々のタイプのデバイスの中に容易に組み込まれ得ることを確実にするためには、必須である。

白眼領域上の可視血管系の位置に基づく、視線追跡のためのシステムおよび方法が、説明される。追跡のために使用されるデジタル画像は、ウェアラブルコンピューティングデバイスまたはスマートフォンもしくはラップトップ等の他のデバイスの一部である、画像センサハードウェアから入手されることができる。

一側面では、コンピュータ実装方法は、少なくとも片方の眼の複数の画像を受信するステップと、少なくとも片方の眼の受信された画像毎に、少なくとも片方の眼の血管系と関連付けられた複数の安定血管点を識別するステップと、少なくとも片方の眼の受信された画像内で識別された安定血管点に基づいて、少なくとも片方の眼の凝視角を判定するステップとを含む。本側面の他の実施形態は、対応するシステムおよびコンピュータプログラムを含む。

一実装では、本方法はさらに、識別された安定血管点の周囲の複数の特徴記述子を抽出するステップと、特徴記述子および識別された安定血管点に基づいて、複数のテンプレートを作成するステップとを含む。本方法はさらに、テンプレートのうちの１つまたはそれを上回るものと１つまたはそれを上回る登録テンプレートをマッチングさせ、凝視角を判定することによって、凝視角を判定するステップを含むことができる。

別の実装では、本方法はさらに、眼の受信された画像のうちの１つまたはそれを上回るものに基づいて、１つまたはそれを上回る安定眼周囲アンカ点を識別するステップを含む。凝視角を判定するステップは、識別された安定血管点のうちの１つまたはそれを上回るものを経時的に追跡するステップと、安定眼周囲アンカ点のうちの１つまたはそれを上回るものに対する識別された安定血管点のうちの１つまたはそれを上回るものの変位に基づいて、凝視角を判定するステップとを含むことができる。特定の安定眼周囲アンカ点は、眼角および／または鼻柱等の眼球外部の他の目印を含むことができる。

さらなる実装では、本方法は、眼の特定の受信された画像内の白眼部分のコントラストを向上させるステップ、および／または眼の特定の受信された画像内の白眼部分から雑音（例えば、睫毛）を除去するステップを含む。本方法はさらに、眼の特定の受信された画像に基づいて、眼の虹彩の近似場所を判定するステップを含むことができる。

本明細書に説明される主題の１つまたはそれを上回る実装の詳細は、付随の図面および以下の説明に記載される。本主題の他の特徴、側面、および利点は、説明、図面、および請求項から明白となるであろう。
本願明細書は、例えば、以下の項目も提供する。
（項目１）
コンピュータ実装方法であって、
少なくとも片方の眼の複数の画像を受信するステップと、
前記少なくとも片方の眼の受信された画像毎に、前記少なくとも片方の眼の血管系と関連付けられた複数の安定血管点を識別するステップと、
前記少なくとも片方の眼の前記受信された画像内の前記識別された安定血管点に基づいて、前記少なくとも片方の眼の凝視角を判定するステップと、
を含む、方法。
（項目２）
前記識別された安定血管点の周囲の複数の特徴記述子を抽出するステップと、
前記特徴記述子および識別された安定血管点に基づいて、複数のテンプレートを作成するステップと、
をさらに含む、項目１に記載の方法。
（項目３）
前記凝視角を判定するステップは、前記テンプレートのうちの１つまたはそれを上回るものと１つまたはそれを上回る登録テンプレートとをマッチングさせ、前記凝視角を判定するステップを含む、項目２に記載の方法。
（項目４）
前記少なくとも片方の眼の前記受信された画像のうちの１つまたはそれを上回るものに基づいて、１つまたはそれを上回る安定眼周囲アンカ点を識別するステップをさらに含む、項目１に記載の方法。
（項目５）
前記凝視角を判定するステップは、
前記識別された安定血管点のうちの１つまたはそれを上回るものを経時的に追跡するステップと、
前記安定眼周囲アンカ点のうちの１つまたはそれを上回るものに対する前記識別された安定血管点のうちの１つまたはそれを上回るものの変位に基づいて、前記凝視角を判定するステップと、
を含む、項目４に記載の方法。
（項目６）
特定の安定眼周囲アンカ点は、前記少なくとも片方の眼の眼角を含む、項目５に記載の方法。
（項目７）
前記識別された安定血管点は、左眼および右眼上の安定血管点を含み、前記安定眼周囲アンカ点は、前記左眼および前記右眼に対する安定眼周囲アンカ点を含む、項目５に記載の方法。
（項目８）
前記少なくとも片方の眼の特定の受信された画像内の前記少なくとも片方の眼の白眼部分のコントラストを向上させるステップと、
前記少なくとも片方の眼の特定の受信された画像内の前記少なくとも片方の眼の白眼部分から雑音を除去するステップと、
をさらに含む、項目１に記載の方法。
（項目９）
前記雑音は、睫毛を含む、項目８に記載の方法。
（項目１０）
前記少なくとも片方の眼の特定の受信された画像に基づいて、前記少なくとも片方の眼の虹彩の近似場所を判定するステップをさらに含む、項目１に記載の方法。
（項目１１）
システムであって、
少なくとも片方の眼の複数の画像を受信するステップと、
前記少なくとも片方の眼の受信された画像毎に、前記少なくとも片方の眼の血管系と関連付けられた複数の安定血管点を識別するステップと、
前記少なくとも片方の眼の前記受信された画像内の前記識別された安定血管点に基づいて、前記少なくとも片方の眼の凝視角を判定するステップと、
を含む、動作を行うようにプログラムされる１つまたはそれを上回るコンピュータを備える、システム。
（項目１２）
前記動作はさらに、
前記識別された安定血管点の周囲の複数の特徴記述子を抽出するステップと、
前記特徴記述子および識別された安定血管点に基づいて、複数のテンプレートを作成するステップと、
を含む、項目１１に記載のシステム。
（項目１３）
前記凝視角を判定するステップは、前記テンプレートのうちの１つまたはそれを上回るものと１つまたはそれを上回る登録テンプレートとをマッチングさせ、前記凝視角を判定するステップを含む、項目１２に記載のシステム。
（項目１４）
前記動作はさらに、前記少なくとも片方の眼の前記受信された画像のうちの１つまたはそれを上回るものに基づいて、１つまたはそれを上回る安定眼周囲アンカ点を識別するステップを含む、項目１１に記載のシステム。
（項目１５）
前記凝視角を判定するステップは、
前記識別された安定血管点のうちの１つまたはそれを上回るものを経時的に追跡するステップと、
前記安定眼周囲アンカ点のうちの１つまたはそれを上回るものに対する前記識別された安定血管点のうちの１つまたはそれを上回るものの変位に基づいて、前記凝視角を判定するステップと、
を含む、項目１４に記載のシステム。
（項目１６）
特定の安定眼周囲アンカ点は、前記少なくとも片方の眼の眼角を含む、項目１５に記載のシステム。
（項目１７）
前記識別された安定血管点は、左眼および右眼上の安定血管点を含み、前記安定眼周囲アンカ点は、前記左眼および前記右眼に対する安定眼周囲アンカ点を含む、項目１５に記載のシステム。
（項目１８）
前記動作はさらに、
前記少なくとも片方の眼の特定の受信された画像内の前記少なくとも片方の眼の白眼部分のコントラストを向上させるステップと、
前記少なくとも片方の眼の特定の受信された画像内の前記少なくとも片方の眼の白眼部分から雑音を除去するステップと、
を含む、項目１１に記載のシステム。
（項目１９）
前記雑音は、睫毛を含む、項目１８に記載のシステム。
（項目２０）
前記動作はさらに、前記少なくとも片方の眼の特定の受信された画像に基づいて、前記少なくとも片方の眼の虹彩の近似場所を判定するステップを含む、項目１１に記載のシステム。

図面中、同様の参照文字は、概して、異なる図全体を通して、同一部分を指す。また、図面は、必ずしも、正確な縮尺ではなく、代わりに、概して実装の原理の例証に強調が置かれる。以下の説明では、種々の実装は、以下の図面を参照して説明される。

図１は、ある実装による、視線追跡のためのシステムの例示的アーキテクチャを描写する、略図である。 図２−４は、種々の実装による、視線追跡のための例示的方法を描写する、フロー図である。 図２−４は、種々の実装による、視線追跡のための例示的方法を描写する、フロー図である。 図２−４は、種々の実装による、視線追跡のための例示的方法を描写する、フロー図である。 図５−６は、それぞれ、左および右眼の測定された視野角を描写する、略図である。 図５−６は、それぞれ、左および右眼の測定された視野角を描写する、略図である。 図７は、眼の画像上で行われる画像処理技法の例示的結果を描写する。

白眼内の可視血管系の固有の特徴は、眼の移動を追跡し、および／または視線（すなわち、方向点）を判定するために使用されることができる。例えば、個人の眼の白眼の画像が、複数の時間インスタンスにわたって得られ、着目血管点および他の眼特徴を識別するために分析されることができる。これらの特徴における経時的な移動または変化は、個人が特定の時間点に見ていた場所を判定するために使用されることができる。

可視血管系は、白眼内に見られる血管系に対応する。白眼は、いくつかの層を有する。強膜は、コラーゲンおよび弾性線維を含有する、主として不透明で線維性の眼の保護層である。強膜は、特に、それを通して、かつそれを覆って及ぶ、多数の血管および静脈を有する、結膜によって被覆される。上強膜は、瞼または瞼が開放されると環境と界面接触する薄い透明の膜である、眼球結膜によって被覆される。血管（一般に、血管系）、特に、眼球結膜および上強膜内のもののうちのいくつかは、可視であって、眼の画像内で検出されることができる。

図１は、視線追跡のための局在システムの一実装を図示する。ユーザデバイス１００は、画像センサ１３０と、プロセッサ１４０と、メモリ１５０と、眼追跡構成要素１６０と、メモリ１５０を含む種々のシステム構成要素をプロセッサ１４０に結合する、システムバスとを含む。眼追跡構成要素１６０は、画像センサ１３０によって捕捉された画像上で動作を行う、ハードウェアおよび／またはソフトウェアモジュールを含むことができる。例えば、眼追跡構成要素１６０は、眼画像を処理および分析し、血管点を識別し、着目点周囲の特徴記述子を抽出し、血管点および特徴に基づいて、テンプレートを作成し、経時的にテンプレートに基づいて、眼移動を判定することができる。眼追跡構成要素１６０によって提供される機能性は、以下にさらに説明される視線追跡のための種々の方法を含むことができる。

ユーザの眼または複数の眼の画像は、画像センサ１３０、例えば、ユーザデバイス１００と関連付けられたカメラを使用して捕捉される。ユーザデバイス１００は、例えば、ウェアラブルデバイスおよび／またはモバイルデバイスを含むことができる。ユーザデバイス１００の実施例として、限定ではないが、スマートフォン、スマートウォッチ、スマートグラス、タブレットコンピュータ、ラップトップ、ゲームデバイス、パームトップ、ポータブルコンピュータ、テレビ、携帯情報端末、ワイヤレスデバイス、ワークステーション、または本明細書に説明される機能性を実行することができる、汎用コンピュータもしくは特殊目的ハードウェアデバイスとして動作される、他のコンピューティングデバイスが挙げられ得る。

例証として、カメラは、デジタルカメラ、３次元（３Ｄ）カメラ、またはライトフィールドセンサであることができる。いくつかの実装では、カメラは、眼鏡の形状因子を伴うウェアラブルデバイス内の内向きモジュールであって、白眼の画像を捕捉するために使用されることができる。いくつかの実装では、ウェアラブルデバイス上の種々の場所における複数のカメラが、両方の眼の白眼を捕捉するためにともに使用されることができる。画像は、静止モードまたはビデオモードのいずれかで捕捉されることができる。ユーザが左または右を見ると、データ捕捉のために、白眼のより大きい面積が虹彩の右または左に暴露され得る一方、ユーザがカメラを真っ直ぐに見ると、白眼の２つのより小さい区画を各眼内の虹彩の左および右にもたらし得る。いくつかの実装では、取得された画像は、一方または両方の眼のＲＧＢ画像を得るためにクロップされる。したがって、本明細書で使用されるように、「画像」または「捕捉された画像」はまた、眼のクロップされたＲＧＢ画像も指し得る。

眼の画像に基づいて特徴を識別するために非常に好適な技術は、２０１３年２月５日に発行され、「Ｔｅｘｔｕｒｅ Ｆｅａｔｕｒｅｓ ｆｏｒ Ｂｉｏｍｅｔｒｉｃ Ａｕｔｈｅｎｔｉｃａｔｉｏｎ」と題された米国特許第８，３６９，５９５号と、２０１４年５月９日に出願され、「Ｆｅａｔｕｒｅ Ｅｘｔｒａｃｔｉｏｎ ａｎｄ Ｍａｔｃｈｉｎｇ ｆｏｒ Ｂｉｏｍｅｔｒｉｃ Ａｕｔｈｅｎｔｉｃａｔｉｏｎ」と題された米国特許出願第１４／２７４，３８５号とに見出され得る（それらの全体が、参照することによって本明細書に組み込まれる）。例えば、画像鮮鋭化技法は、効率的特徴検出を補助することができる。血管点検出（ＶＰＤ）技法は、眼の可視血管系から着目点を検出することができ、拡張多半径ローカルバイナリパターンのパターンヒストグラム（ＰＨ−ＥＭＲ−ＬＢＰ）、拡張多半径ローカルバイナリパターン（ＥＭＲ−ＬＢＰ）、拡張多半径中心対称ローカルバイナリパターン（ＥＭＲ−ＣＳ−ＬＢＰ）、および／または拡張多半径中心対称ローカルバイナリパターンのパターンヒストグラム（ＰＨ−ＥＭＲ−ＣＳ−ＬＢＰ）は、血管系の着目点を囲繞する画像の部分の特徴記述を効率的に提供することができる。可視血管系は、白眼を含むバイナリ画像マスクであって、眼球画像から白眼を囲繞する画像部分を除外することができる、強膜マスク内に封入される。マッチング技法は、外れ値検出を使用することによって、距離または相関ベースのマッチングの効率および／または正確度を改善することができる。組み込まれる参考文献に説明される技法もまた、参照画像（例えば、多くの場合、バイオメトリック認証のために使用される、登録および検証テンプレートを含む）から導出される、テンプレートの作成、更新、およびマッチングを可能にする。特定のテンプレートは、血管点等の着目点の集合ならびに対応する特徴記述子を含むことができる。

本明細書に説明されるシステムの実装は、適切なハードウェアまたはソフトウェアを使用することができる。例えば、システムは、Ｍｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ（登録商標）オペレーティングシステム、Ａｐｐｌｅ ＯＳＸ（登録商標）オペレーティングシステム、Ａｐｐｌｅ ｉＯＳ（登録商標）プラットフォーム、Ｇｏｏｇｌｅ Ａｎｄｒｏｉｄ（ＴＭ）プラットフォーム、Ｌｉｎｕｘ（登録商標）オペレーティングシステム、およびＵＮＩＸ（登録商標）オペレーティングシステムの他のバリアント、ならびに同等物等のオペレーティングシステムを起動可能なソフトウェア上で実行することができる。システムは、メモリ１５０内に記憶され、プロセッサ１４０上で実行される、複数のソフトウェア処理モジュールを含むことができる。例証として、プログラムモジュールは、機械言語またはオブジェクトコードに変換され、プロセッサまたは複数のプロセッサが命令を実行することを可能にする、１つまたはそれを上回る好適なプログラミング言語の形態であることができる。ソフトウェアは、好適なプログラミング言語またはフレームワークで実装される、スタンドアロンアプリケーションの形態であることができる。

加えて、または代替として、機能性の一部または全部は、遠隔で、クラウド内で、またはサービスとしてのソフトウェア（Ｓｏｆｔｗａｒｅ−ａｓ−ａ−Ｓｅｒｖｉｃｅ）を介して、行われることができる。例えば、ある機能（例えば、画像処理、テンプレート作成、テンプレートマッチング等）は、１つまたはそれを上回る遠隔サーバまたはユーザデバイス１００と通信する他のデバイス上で行われることができる。遠隔機能性は、十分なメモリ、データ記憶、および処理能力を有し、サーバクラスオペレーティングシステム（例えば、Ｏｒａｃｌｅ（登録商標） Ｓｏｌａｒｉｓ（登録商標）、ＧＮＵ／Ｌｉｎｕｘ（登録商標）、およびＭｉｃｒｏｓｏｆｔ（登録商標） Ｗｉｎｄｏｗｓ（登録商標）系のオペレーティングシステム）を起動させる、サーバクラスコンピュータ上で実行することができる。サーバとユーザデバイスとの間の通信は、例えば、標準的電話回線、ＬＡＮまたはＷＡＮリンク（例えば、Ｔｌ、Ｔ３、５６ｋｂ、Ｘ．２５）、ブロードバンド接続（ＩＳＤＮ、フレームリレー、ＡＴＭ）、ワイヤレスリンク（８０２．１１（Ｗｉ−Ｆｉ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＧＳＭ（登録商標）、ＣＤＭＡ等）等の媒体を経由して生じることができる。他の通信媒体も、検討される。ネットワークは、ＴＣＰ／ＩＰプロトコル通信およびウェブブラウザによって行われるＨＴＴＰ／ＨＴＴＰＳ要求を搬送することができ、ユーザデバイスとサーバとの間の接続は、そのようなＴＣＰ／ＩＰネットワークを経由して通信されることができる。他の通信プロトコルも、検討される。

本明細書に説明される技法の方法ステップは、１つまたはそれを上回るコンピュータプログラムを実行し、入力データを操作し、出力を生成することによって、機能を果たす、１つまたはそれを上回るプログラマブルプロセッサによって行われることができる。方法ステップはまた、特殊目的論理回路、例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路）によって行われることができ、モジュールは、そのようなものとして実装されることができる。モジュールは、コンピュータプログラムおよび／またはその機能性を実装するプロセッサ／特殊回路の一部を指すことができる。

コンピュータプログラムの実行のために好適なプロセッサは、一例として、汎用および特殊目的マイクロプロセッサの両方を含む。概して、プロセッサは、読取専用メモリまたはランダムアクセスメモリもしくは両方から命令およびデータを受信するであろう。コンピュータの必須要素は、命令を実行するためのプロセッサと、命令およびデータを記憶するための１つまたはそれを上回るメモリデバイスである。コンピュータプログラム命令およびデータを具現化するために好適な情報担体は、一例として、半導体メモリデバイス、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、およびフラッシュメモリデバイス、磁気ディスク、例えば、内部ハードディスクまたは可撤性ディスク、光磁気ディスク、ならびにＣＤ−ＲＯＭおよびＤＶＤ−ＲＯＭディスクを含む、あらゆる形態の不揮発性メモリを含む。１つまたはそれを上回るメモリは、プロセッサによって実行されると、モジュールおよび本明細書に説明される他の構成要素を形成し、構成要素と関連付けられた機能性を果たす、命令を記憶することができる。プロセッサおよびメモリは、特殊目的論理回路によって補完される、またはその中に組み込まれることができる。

システムはまた、分散型コンピューティング環境において実践されることができ、タスクは、通信ネットワークを通してリンクされる遠隔処理デバイスによって行われる。分散型コンピューティング環境では、プログラムモジュールは、メモリ記憶デバイスを含む、ローカルおよび遠隔両方のコンピュータ記憶媒体内に位置することができる。本明細書に説明されるもの以外のタイプのシステムハードウェアおよびソフトウェアもまた、デバイスの容量および要求されるデータ処理能力の量に応じて、使用されることができる。システムはまた、前述のもの等の仮想化されたオペレーティングシステムを実行し、本明細書に説明されるもの等のハードウェアを有する１つまたはそれを上回るコンピュータ上で動作する、１つまたはそれを上回る仮想機械上に実装されることができる。

また、システムおよび方法の実装は、１つまたはそれを上回る製造品上もしくはその中に具現化される１つまたはそれを上回るコンピュータ可読プログラムとして提供されることができることに留意されたい。プログラム命令は、データ処理装置による実行のために好適な受信機装置への伝送のために、情報をエンコードするために生成される、人工的に生成される伝搬信号、例えば、機械生成電気、光学、または電磁信号上にエンコードされることができる。コンピュータ記憶媒体は、コンピュータ可読記憶デバイス、コンピュータ可読記憶基板、ランダムまたはシリアルアクセスメモリアレイもしくはデバイス、またはそれらのうちの１つまたはそれを上回るものの組み合わせである、またはその中に含まれることができる。さらに、コンピュータ記憶媒体は、伝搬信号ではないが、コンピュータ記憶媒体は、人工的に生成される伝搬信号内にエンコードされるコンピュータプログラム命令源またはその宛先であることができる。コンピュータ記憶媒体はまた、１つまたはそれを上回る別個の物理的構成要素もしくは媒体（例えば、複数のＣＤ、ディスク、または他の記憶デバイス）である、またはその中に含まれることができる。

図２は、視線追跡のための方法の一実装を描写する。ステップ２０２では、眼追跡構成要素１６０は、眼の画像を受信する。画像は、例えば、ユーザデバイス１００の画像センサ１３０から受信されることができる。画像は、カラーまたはグレースケールであることができる。ステップ２０６では、眼追跡構成要素１６０は、コンピュータ視覚アルゴリズムを実行し、１つまたはそれを上回る安定眼周囲アンカ点（例えば、下瞼、眼角、鼻柱等上の点）を検出し、画像をレジスタする。眼角の検出は、例えば、テンプレート相関または眼形状検出方法を使用して達成されることができる。画像処理アルゴリズムが、実行され、画像内の白眼部分のコントラストを向上させ（ステップ２１０）、例えば、所定のＧａｂｏｒフィルタを使用して、白眼部分から睫毛等の雑音要素を除去する（ステップ２１４）ことができる。

ステップ２１８では、眼追跡構成要素１６０は、虹彩を含む画像内の白眼部分の垂直投影を計算する。垂直投影は、強膜および虹彩マスク内の領域を利用したグレースケールまたはカラー画像のいずれかにおける強度画素の列平均である。マスクは、画像の虹彩構造の瞳孔領域および他の部分を除外する、バイナリマスクであることができる。強膜および虹彩マスク内の画像領域の投影は、強膜マスク幅に基づいてある長さを伴う、単次元ベクトルをもたらす。信号の長さをＮとする。一実装では、スライディングウィンドウ技法が、垂直投影（Ｍ＝ｍ１、ｍ２、ｍ３、．．．、ｍＮ）の平均値を計算するために、単次元ベクトルの長さの１／１０に等しいウィンドウサイズと併用される。結果として生じる信号は、ある閾値を上回って留保され、信号内の平均値の残りは、抑制される。閾値は、閾値＝最大値（Ｍ）＝範囲（Ｍ）として計算されることができる。閾値化後に留保された平均値内のピークは、虹彩辺縁境界の近似場所および虹彩の長軸と短軸等の他の情報を提供する。

虹彩の周囲の辺縁境界および虹彩自体の中心もまた、付加的補助点として使用され、例えば、十分なＶＰＤ点が利用可能ではないとき、凝視角検出を向上させることができる。余剰眼球参照点は、瞼下または鼻柱上の肌質等の眼角または他の安定構造等の眼周囲目印から生成されることができる。一実装では、ユーザの眼周囲着目領域からの画像テンプレートは、アンカ点テンプレートとしてレジスタおよび記憶されることができる。視線追跡の間、これらのテンプレートは、頭部の移動にかかわらず、視線情報を入手するために、それらの余剰眼球参照点の場所を正確に復元するためにマッチングされることができる。種々の方法が、次いで、可視血管系上にラッチされた血管着目点を識別し（ステップ２２４）、視線を判定する（ステップ２２６）ために使用されることができる。例えば、安定かつ確実な血管系点を識別するために、血管点検出器（ＶＰＤ）または加速セグメントテストに基づく特徴抽出（ＦＡＳＴ）等の着目点検出器が、使用されることができる。

図３は、ステップ２２６における視線を判定するステップの一実装を描写する。眼追跡構成要素１６０は、検出された着目点の周囲の１つまたはそれを上回る特徴記述子を抽出する（ステップ３０２）。一実施例では、使用される特徴記述子は、ＰＨ−ＥＭＲ−ＬＢＰおよび／またはＰＨ−ＥＭＲ−ＣＳ−ＬＢＰである。これらの記述子は、白眼上の血管系の可視性が一貫しておらず環境およびセンサ雑音が予期されることを考慮して使用される。ステップ３０６では、１つまたはそれを上回るテンプレートが、視線毎に作成され、各テンプレートは、着目点場所および対応する局所特徴を含む。登録プロセスでは、ユーザは、視覚的キューによって補助されながら、種々の角度で凝視するように求められる。一実施例では、これらの視覚的キューは、ウェアラブルデバイスのレンズ上に投影される。視線毎に、可視白眼の面積が変化し、可視血管系の異なるパターンをもたらす。可視血管系の情報の変化に起因して、テンプレートまたは複数のテンプレートが、各視線に付随する。作成されたテンプレートは、眼周囲参照点の前述のテンプレートとともに、次いで、対応する検証テンプレートとマッチングされ、凝視角を判定することができる（ステップ３１０）。

図４は、ステップ２２６における視線を判定するステップの別の実装を描写する。眼追跡構成要素１６０は、着目点検出器を使用して識別された安定血管系点を経時的に追跡する（ステップ４０２）。血管系点は、リアルタイムで継続的に、または測定間に遅延を伴って周期的ベースで追跡されることができる。ステップ４０６では、視線は、安定眼周囲点に対する複数の点の変位（オプティカルフロー）に基づいて判定される。例えば、視線は、前述のように、眼角（アンカ点）と１つまたはそれを上回る安定血管系点との間の相対的な距離および角度の測定値に基づいて、追跡されることができる。

眼角は、種々の技法を使用して測定されることができる。一実装では、目頭および目尻（内側眼角および外側眼角）の近似場所が、Ｇａｂｏｒカーネルによってフィルタ処理された前処理画像上の上瞼および下瞼に適合された放物線の交差点を使用して推定されることができる。別の実装では、前述のプロセスから計算される内側眼角および外側眼角の場所は、以下の技法を使用して改善されることができる。ユーザを登録する際、眼角の（マルチスケール）テンプレートを見出す（例えば、ローカルバイナリパターン（ＬＢＰ）、指向性ＬＢＰ（ＯＬＢＰ）、ＰＨ−ＥＭＲ−ＣＳ−ＬＢＰ、またはＰＨ−ＥＭＲ−ＬＢＰを使用して）。検証時、マルチスケールスライディング相関を介してそれらをその登録テンプレートとマッチングすることにより、検証眼角場所を調整することによって、登録の際の眼角テンプレートを使用して放物線適合から導出されたアンカ点の場所を微調整する。辺縁境界、虹彩中心、鼻、肌質等の他の安定場所も、アンカ点として、類似方式で使用されることができる。他の実装では、これらのアンカ点は、オプティカルフロー等の方法を使用して、リアルタイムで追跡されることができる。

一実装では、はっきりとした血管点は、識別された血管点の周囲の局所記述子（例えば、ＰＨ−ＥＭＲ−ＬＢＰ、ＰＨ−ＥＭＲ−ＣＳ−ＬＢＰ、加速ロバスト特徴（ＳＵＲＦ）、ＬＢＰ、および勾配方向ヒストグラム（ＨｏＧ））からの情報（例えば、ＦＡＳＴ、ＶＰＤ等を使用して得られた）を使用して識別されることができる。別の実装では、辺縁境界近傍の単一安定点の代わりに、着目領域からの複数の安定点が、１つまたはそれを上回るアンカ点からの変位および角度に基づいて、視線を判定するために使用されることができる。

（例示的実装）
（較正およびデータ収集）
一実装では、システムを較正するために、標的が、眼の照準線から５度間隔で置かれた。対象は、その際、他方の眼を閉じて、片眼を使用して標的を見るように求められた。左眼の可動範囲は、−４５度〜＋３０度（図５参照）であって、右眼の可動範囲は、−３０度〜＋４５度（図６参照）であることが観察された。

ビデオモードにおいて１２０フレーム／秒（ｆｐｓ）のＡｐｐｌｅ（登録商標）ｉＰｈｏｎｅ（登録商標）５Ｓからの裏面内蔵カメラが、データを収集するために使用された（しかしながら、異なるｆｐｓでビデオモードにおいて種々の分解能を伴うビデオカメラもまた、使用されることができることに留意されたい）。眼領域が、フルフレームから手動でクロップされた。代替として、ＨａａｒまたはＨａａｒ様フィルタを使用した眼クロップ方法も、眼領域を自動的に検出するように訓練されることができる。楕円形の推定に基づく、セグメント化アルゴリズムが、白眼（着目領域（ＲＯＩ））を抽出するために使用された。図７に示されるように、睫毛が、検出され、Ｇａｂｏｒベースのフィルタ処理方法を使用して、抽出されたＲＯＩから除去された。Ｇａｂｏｒフィルタ後に、ヒストグラムクリッピングもさらに、ＲＯＩ内の雑音画素（睫毛）を排除するために使用された。ｘおよびｙ方向に調節可能波長ならびに拡散を伴う、種々の配向における一式の複合Ｇａｂｏｒフィルタが、ＲＯＩ内の線および曲線構造を検出するために使用されることができる。さらに、検出された画素は、クリッピングされたある閾値を上回るヒストグラムおよび値に群化されることができる。

（着目点検出および特徴抽出）
種々の点検出アルゴリズムが、潜在的に、ＲＯＩ内の血管系点近傍として識別する、突出点を識別するために使用されることができる。一実施例は、ＲＯＩ内の血管構造および安定血管点を識別することができる画像構文解析アルゴリズムである、ＶＰＤアルゴリズムである。ＳＵＲＦアルゴリズムは、Ｈｅｓｓｉａｎマトリクスの行列式を使用して、着目点を識別するために使用されることができる、別の点検出アルゴリズムである。ＦＡＳＴアルゴリズムは、所定の画素近傍内のある数の連続的画素が中心点より明るいまたは暗い場合、画素を「角（ｃｏｒｎｅｒ）」点として標識する、別の着目点ファインダである。Ｈａｒｒｉｓ ａｎｄ Ｓｔｅｐｈｅｎｓ（ＨＳ）アルゴリズムは、それらに小規模ウィンドウを合わせ、異なる方向にウィンドウを移動させ、局所近傍内の自己相関を計算することによって、着目点を見出す、別の角検出アルゴリズムである。前述の近傍自己相関マトリクスの固有値に基づいて、着目点が、角に割り当てられる。

着目点が、前述のもの等の１つまたはそれを上回る点検出アルゴリズムを使用して識別された後、一式の局所画像記述子が、各候補点を囲繞するＲＯＩ位置関係から得られる。これらの局所画像パッチ記述子は、種々のアルゴリズムを使用して生成されることができる。ＨｏＧは、勾配方向のヒストグラムを計算する、そのようなアルゴリズムの１つである。ＳＵＲＦは、スケール不変特徴変換（ＳＩＦＴ）記述子を構築するが、Ｈａａｒウェーブレットおよび積分画像を使用して、より優れた算出効率を伴う。ローカルバイナリパターン（ＬＢＰ）および指向性ローカルバイナリパターン（ＤＬＢＰ）は、２つの他のバイナリ画像特徴抽出器である。一実装では、ＬＢＰヒストグラム（ＨＬＢＰ）およびＤＬＢＰヒストグラム（ＨＤＬＢＰ）が、以下にさらに詳細に説明される、特徴記述子アルゴリズムとして使用される。他の特徴記述子アルゴリズムまたはそのようなアルゴリズムの組み合わせも、ＲＯＩの着目点周辺の画像記述子を生成するために使用されることができる。

ＬＢＰ記述子は、以下のように、着目点の周囲で計算されることができる。現在の着目点が画素場所（ｘ０，ｙ０）にあると仮定する。中心点（ｘ０，ｙ０）の直近の８つの近傍｛（ｘｉ，ｙｉ）｝（ｉ＝１，２，．．．，８）の強度値が、中心点のものと比較され、結果（０または１）が、Ｋｉ内に記憶される。最終的に、（ｘ０，ｙ０）のＬＢＰ８（８ビットコード）が、以下のように求められる。

一実装では、同一プロセスが、ＬＢＰ８の外側正方形内の画素に対して繰り返され、同一の所与の着目点に対して１６ビット（２バイト）ＬＢＰ１６コードを作成することができる。したがって、着目点毎に合計３バイトのＬＢＰコードを生成する。プロセスは、（ｘ０，ｙ０）の５×５画素近傍に繰り返され、所与の中心点の周囲に前述のＬＢＰ８（１バイト）＋ＬＢＰ１６（２バイト）計算の合計５×５＝２５反復をもたらし、（ｘ０，ｙ０）等の着目点毎に３ｘ２５＝７５バイトバイナリ記述子を生じさせる。

前述のように、ＤＬＢＰは、ＬＢＰに類似するが、しかしながら、対の画素比較毎の参照点は、中心点の強度値の代わりに、着目中心点の８または１６近傍内の対角線上に対向する画素であって、ＬＢＰ特徴と比較して半分のビット数をもたらす。ＬＢＰおよびＤＬＢＰ記述子は両方とも、バイナリ数である。

前述のように、ＨｏＧは、着目点の周囲に定義されたあるサイズ（画素単位）の近傍を使用して計算される。その近傍は、所定の数のサブ領域に分割され、ある角度におけるエッジ配向のヒストグラムが、作成され、集合的に、その着目点に対するローカル記述子として使用される。これらのヒストグラムベースの記述子は、実数ベクトルである。一実装では、サイズ４×４画素の近傍は、それぞれ３０度離れた６つにビン化された配向のヒストグラムを伴う、２×２のサブ領域にタイル化され、特徴記述子として使用される。一実装では、６つのビン（それぞれ３０度離れている）にビン化された配向のヒストグラムを伴う、３×３サブ領域にタイル化されたサイズ４×４画素の近傍が、特徴記述子として使用されることができる。

前述のように、ＨｏＧに類似する、ＨＬＢＰ記述子は、着目点の周囲のあるサイズ（画素単位）の近傍を使用して計算される。その近傍は、所定の数のサブ領域に分割され、その中で、ＬＢＰコードが、上記につき作成される。次に、ヒストグラムを作成するために、各ビット位置の発生に関するカウントが、生成される。ＬＢＰコードのこれらのヒストグラムの連結は、ＨＬＢＰ特徴を作成する。これらの記述子は、実数ベクトルである。サイズｍ×ｍ（ｍ＝４，５，…，１１）画素の近傍が、ｎ×ｎ（ｎ＝２，３，…，７）の重複サブ領域（タイル）にタイル化され、各ＬＢＰビット位置の発生のヒストグラムは、特徴記述子として使用される。

一実装では、サイズ９×９画素（そのＬＢＰ８およびＬＢＰ１６コードは、すでに生成されている）の近傍は、それぞれ１画素重複して、１６の３×３サブ領域にタイル化される。ＬＢＰ８およびＬＢＰ１６の各サブ領域のストリングは、長さ９の符号なし８ビット数に変換される。これらの符号なし８ビット数は、符号なし１６ビット数のストリングに変換され、さらに、各ビット位置の発生のヒストグラムが、計算される（長さ１６ビットのベクトルをもたらす）。最後に、各サブ領域は、１６サブ領域を使用して５１２の最終ＨＬＢＰ長さをもたらすように連結される、ＬＢＰ８およびＬＢＰ１６からの長さ１６の２つのベクトルを有するであろう。

ＰＨ−ＥＭＲ−ＬＢＰ記述子は、着目点の周囲のあるサイズ（画素単位）の近傍を使用して計算される。近傍内の画素毎に、ＬＢＰが、３×３および５×５ブロック等の複数の半径にわたって計算され、単一特徴を得るために連結される（ＥＭＲ−ＬＢＰ）。定義された近傍はさらに、重複サブ領域に分割される。サブ領域内の各ビット位置の発生に関するカウントが、計算され、ヒストグラムを生成する。全サブ領域を横断するＥＭＲ−ＬＢＰコードのこれらのヒストグラムの連結は、ＰＨ−ＥＭＲ−ＬＢＰ特徴として定義される。

ＰＨ−ＥＭＲ−ＣＳ−ＬＢＰは、着目点周囲の固定近隣内で計算される。最初に、本実装では、対の画素比較毎の参照点は、中心点の強度値の代わりに、着目中心点の８画素または１６画素近傍内の対角線上に対向する画素を含み、それによって、ＥＭＲ−ＬＢＰ特徴と比較して半分のビット数をもたらす（ＥＭＲ−ＣＳ−ＬＢＰ）。次に、定義された近傍は、所定の数の重複サブ領域に分割される。サブ領域内の各ビット位置の発生に関するカウントが、生成される。ＥＭＲ−ＣＳ−ＬＢＰコードのこれらのヒストグラムの連結は、ＰＨ−ＥＭＲ−ＣＳ−ＬＢＰ特徴を提供することができる。

いくつかの実装では、着目点の周囲の画像パッチに関する特徴記述子は、前述のように、単一特徴記述子アルゴリズムまたは複数の異なる特徴記述子アルゴリズムから導出されることができる。他の実装では、特徴記述子は、複数の画像スケールにおいて、候補点の周囲で導出されることができる（マルチスケール特徴抽出）。例えば、３段階ガウス画像ピラミッドを使用して、着目点およびその対応するローカル画像記述子を検出してもよい。

（テンプレートマッチング）
テンプレートマッチングは、ユーザに対する（１つまたはそれを上回る）保存された登録テンプレートと（１つまたはそれを上回る）検証テンプレートとの間の類似性を見出すプロセスである。検証テンプレートと登録テンプレートの類似性（マッチスコアとして表される）が、閾値を超える場合、検証は、成功である。そうでなければ、検証は、失敗である。ハミング距離（短いほど良好である）が、登録テンプレートと検証テンプレートとの間の最良マッチング点対を見出すために、バイナリ記述子（高速網膜キーポイント（ＦＲＥＡＫ）、ＤＬＢＰ、ＬＢＰ）に対して計算される。実数値記述子ベクトルのために、登録テンプレートのＳＵＲＦ、ＨｏＧ、ＰＨ−ＥＭＲ−ＬＢＰ、および／またはＰＨ−ＥＭＲ−ＣＳ−ＬＢＰ記述子間のユークリッド、マンハッタン、相関、またはマハラノビス距離が、検証テンプレートの個別のＳＵＲＦ、ＨｏＧ、ＰＨ−ＥＭＲ−ＬＢＰ、および／またはＰＨ−ＥＭＲ−ＣＳ−ＬＢＰ記述子と比較され、所与の閾値を満たすかどうかを判定することができる。他の距離測定も、検討される。視線が、次いで、一部または全部の視線方向に関して記憶されたテンプレートに対して得られた最高マッチスコアに基づいて判定されることができる。

本明細書に採用される用語および表現は、限定ではなく、説明の用語および表現として使用され、そのような用語および表現の使用において、図示および説明される特徴またはその一部の任意の均等物を除外することを意図するものではない。加えて、本開示においてある実装が説明されたが、本明細書に開示される概念を組み込む他の実装も、本発明の精神および範囲から逸脱することなく、使用されることができることが当業者に明白となるであろう。種々の実装の特徴および機能は、種々の組み合わせおよび順列において配列されることができ、全て、開示される発明の範囲内にあると見なされるべきである。故に、説明される実装は、あらゆる点において、制限ではなく、例証であると見なされるものとする。本明細書に説明される構成、材料、および寸法もまた、いかようにも限定として意図されず、例証として意図される。同様に、物理的説明が、説明目的のために提供されたが、任意の特定の理論またはメカニズムによって制限されることは意図されておらず、または、そのような理論またはメカニズムそれに従って請求項を限定することは意図されていない。

Claims (18)

1. コンピュータ実装方法であって、
   複数の定義された角度で凝視するようにユーザに指示することと、
   第１の期間中に、前記複数の定義された角度内の各角度に対して、前記角度で凝視する前記ユーザの少なくとも片方の眼の少なくとも１つの画像を受信することと、
   前記複数の定義された角度内の各角度に対して、前記角度で凝視する前記ユーザの少なくとも片方の眼の少なくとも１つの画像に基づいて、眼血管の着目点場所と、対応する局在特徴とを備える少なくとも１つの登録テンプレートを作成することと、
   第２の、後の期間中に、前記ユーザの少なくとも片方の眼の少なくとも１つの画像を受信することと、
   前記第２の、後の期間中に受信された前記少なくとも片方の眼の少なくとも１つの画像に対して、前記少なくとも片方の眼の血管系と関連付けられた複数の安定血管点を識別することと、
   前記第２の、後の期間中に受信された前記少なくとも１つの画像において識別された前記安定血管点に基づいて、少なくとも１つの検証テンプレートを作成することと、
   前記少なくとも１つの検証テンプレートを前記少なくとも１つの登録テンプレートにマッチングさせることに基づいて、前記少なくとも片方の眼の凝視角を判定することと
   を含む、方法。
2. 前記識別された安定血管点の周囲の複数の特徴記述子を抽出することをさらに含み、前記少なくとも１つの検証テンプレートを作成することは、前記特徴記述子および識別された安定血管点に基づいて、複数のテンプレートを作成することを含む、請求項１に記載の方法。
3. 前記少なくとも片方の眼の前記受信された画像のうちの１つ以上に基づいて、１つ以上の安定眼周囲アンカ点を識別することをさらに含む、請求項１に記載の方法。
4. 前記識別された安定血管点のうちの１つ以上を経時的に追跡することと、
   前記安定眼周囲アンカ点のうちの１つ以上に対する前記識別された安定血管点のうちの１つ以上の変位に基づいて、前記少なくとも片方の眼の凝視角を判定することと
   をさらに含む、請求項３に記載の方法。
5. 特定の安定眼周囲アンカ点は、前記少なくとも片方の眼の眼角を含む、請求項４に記載の方法。
6. 前記識別された安定血管点は、左眼および右眼上の安定血管点を含み、前記安定眼周囲アンカ点は、前記左眼および前記右眼に対する安定眼周囲アンカ点を含む、請求項４に記載の方法。
7. 前記少なくとも片方の眼の特定の受信された画像内の前記少なくとも片方の眼の白眼部分のコントラストを向上させることと、
   前記少なくとも片方の眼の特定の受信された画像内の前記少なくとも片方の眼の白眼部分から雑音を除去することと
   をさらに含む、請求項１に記載の方法。
8. 前記雑音は、睫毛を含む、請求項７に記載の方法。
9. 前記少なくとも片方の眼の特定の受信された画像に基づいて、前記少なくとも片方の眼の虹彩の近似場所を判定することをさらに含む、請求項１に記載の方法。
10. システムであって、
    複数の定義された角度で凝視するようにユーザに指示することと、
    第１の期間中に、前記複数の定義された角度内の各角度に対して、前記角度で凝視する前記ユーザの少なくとも片方の眼の少なくとも１つの画像を受信することと、
    前記複数の定義された角度内の各角度に対して、前記角度で凝視する前記ユーザの少なくとも片方の眼の少なくとも１つの画像に基づいて、眼血管の着目点場所と、対応する局在特徴とを備える少なくとも１つの登録テンプレートを作成することと、
    第２の、後の期間中に、前記ユーザの少なくとも片方の眼の少なくとも１つの画像を受信することと、
    前記第２の、後の期間中に受信された前記少なくとも片方の眼の少なくとも１つの画像に対して、前記少なくとも片方の眼の血管系と関連付けられた複数の安定血管点を識別することと、
    前記第２の、後の期間中に受信された前記少なくとも１つの画像において識別された前記安定血管点に基づいて、少なくとも１つの検証テンプレートを作成することと、
    前記少なくとも１つの検証テンプレートを前記少なくとも１つの登録テンプレートにマッチングさせることに基づいて、前記少なくとも片方の眼の凝視角を判定することと
    を含む動作を行うようにプログラムされた１つ以上のコンピュータを備える、システム。
11. 前記動作はさらに、前記識別された安定血管点の周囲の複数の特徴記述子を抽出することを含み、前記少なくとも１つの検証テンプレートを作成することは、前記特徴記述子および識別された安定血管点に基づいて、複数のテンプレートを作成することを含む、請求項１０に記載のシステム。
12. 前記動作はさらに、前記少なくとも片方の眼の前記受信された画像のうちの１つ以上に基づいて、１つ以上の安定眼周囲アンカ点を識別することを含む、請求項１０に記載のシステム。
13. 前記動作はさらに、
    前記識別された安定血管点のうちの１つ以上を経時的に追跡することと、
    前記安定眼周囲アンカ点のうちの１つ以上に対する前記識別された安定血管点のうちの１つ以上の変位に基づいて、前記少なくとも片方の眼の凝視角を判定することと
    を含む、請求項１２に記載のシステム。
14. 特定の安定眼周囲アンカ点は、前記少なくとも片方の眼の眼角を含む、請求項１３に記載のシステム。
15. 前記識別された安定血管点は、左眼および右眼上の安定血管点を含み、前記安定眼周囲アンカ点は、前記左眼および前記右眼に対する安定眼周囲アンカ点を含む、請求項１３に記載のシステム。
16. 前記動作はさらに、
    前記少なくとも片方の眼の特定の受信された画像内の前記少なくとも片方の眼の白眼部分のコントラストを向上させることと、
    前記少なくとも片方の眼の特定の受信された画像内の前記少なくとも片方の眼の白眼部分から雑音を除去することと
    を含む、請求項１０に記載のシステム。
17. 前記雑音は、睫毛を含む、請求項１６に記載のシステム。
18. 前記動作はさらに、前記少なくとも片方の眼の特定の受信された画像に基づいて、前記少なくとも片方の眼の虹彩の近似場所を判定することを含む、請求項１０に記載のシステム。