JP2019531782A

JP2019531782A - アイトラッキング用途のためのセンサフュージョンのシステムおよび方法

Info

Publication number: JP2019531782A
Application number: JP2019511537A
Authority: JP
Inventors: マライカ、ヤシャー; ニューウェル、ダン
Original assignee: バルブコーポレーション
Priority date: 2016-09-07
Filing date: 2017-08-23
Publication date: 2019-11-07
Also published as: CN109715047B; WO2018048626A1; EP3490434A1; KR20190072519A; EP3490434A4; US20180068449A1; CN109715047A

Abstract

数ある使用の中で特に、コンシューマクラスの仮想現実（ＶＲ）／拡張現実（ＡＲ）用途における使用のための、アイトラッキングシステムおよび方法が記載される。特定の実施形態は、カメラベースの瞳および角膜の反射検出を使用する光学的アイトラッキングを、より高い周波数で動作するオプティカルフローハードウェアと組み合わせる。この組み合わせは、前者によって達成され得る精度を提供し、同時に、後者の望ましい精度およびレイテンシ特性が追加され、比較的少ないコストで全体的なシステムのより高度な実行をもたらす。視野上の異なる目標に向けられたオプティカルフローセンサのアレイによってカメラ追跡装置を拡張することによって、センサフュージョンを実行して精度を改善することができる。カメラ画像は眼球位置の全体像を提供し、その情報は、遮蔽されたオプティカルフローセンサを間引くように使用されるので、したがって、まばたきおよび他の同様の現象が原因のドリフトおよびエラーを軽減する。

Description

［関連出願の相互参照］
本出願は、２０１６年９月７日に出願された米国特許出願第１５／２５８，５５１号の利益を主張する。本出願の内容は、あらゆる目的のために参照によって本明細書に組み込まれる。

１．本開示の分野

本開示は、概して、コンピュータ化された画像処理に関し、より詳細には、改善された特徴および特性を有する仮想現実および／または拡張現実システムのためのヘッドマウントディスプレイなどにおける、コンピュータ化されたアイトラッキング用途におけるセンサフュージョン技術を実装するためのシステムおよび方法に関する。

２．一般的な背景技術

１つの現世代の仮想現実（"ＶＲ"）エクスペリエンスは、ヘッドマウントディスプレイ（"ＨＭＤ"）を用いて生成され、それは、据え付け型のコンピュータ（パーソナルコンピュータ（ＰＣ）、ラップトップ、またはゲームコンソールなど）にテザリングされることができ、スマートフォンおよび／またはそれと関連付けられたディスプレイと組み合わされ、および／または、統合されることができ、または自己完結型であることができる。ＶＲエクスペリエンスは、概して、没入させることを目的とし、ユーザの感覚を彼らの周囲から遮断する。

概して、ＨＭＤはユーザの頭に装着されるディスプレイデバイスであり、それは片目（単眼ＨＭＤ）または両目（双眼ＨＭＤ）の前に小さいディスプレイデバイスを有する。

双眼ＨＭＤは、各目に異なる画像を表示する可能性を有する。この機能は、立体画像を表示するために使用される。

用語"アイトラッキング"は、注視点（すなわち、人が見ているところ）、人が見ているもの、または人の頭に対するその人の目の運動または位置の、いずれかを計測するプロセスを意味する。当業者は容易に認識するであろうように、様々なコンピュータ化されたされたアイトラッキング技術が、ＨＭＤおよび他の用途において実装されている。

アイトラッカーは、いくつかのやり方のうち１つで目の回転を計測する。１つの広いカテゴリのアイトラッキング技術は、非接触式の、目の位置または注視の角度を計測する光学的方法を使用する。例えば、１つの既知の種類の光学的アイトラッキング技術において、一般的に赤外線領域にある光が、目で反射され、ビデオカメラによって感知される。ビデオカメラによって感知される情報は、その後、分析され、反射の変化から瞳の注視方向または位置を抽出する。動画ベースのアイトラッカーは、経時的に追跡する特徴として、瞳の中心の角膜反射を使用することがある。

ＨＭＤ実装の環境において、カメラベースのアイトラッキングシステムは、ＨＭＤの筐体に取りつけられ、ユーザの眼球位置を検出する手段として、ユーザの目に（直接的または間接的に）向けられる、後ろ向きのカメラを含み得る。カメラによって生成されたデジタルデータは、有線または無線の手段により、処理および分析のためにコンピュータ（代替的に、ＨＭＤ自体に位置するコンピュータリソース）などの外部デバイスに送信される。そのようなシステムにおけるコンピュータソフトウェアは、当業者に既知のアイトラッキングアルゴリズムを実行して、ユーザの目の一方または両方の位置を検出する。

視標追跡機能を含む、ある種のＨＭＤは、ヘルメット、眼鏡（データグラスとしてもまた既知である）、またはバイザーなど多くのフォームファクタに組み込まれる、レンズおよび半透明（すなわち、"ホット"）ミラーを有する１または２のいずれか小さいディスプレイを含む。ディスプレイユニットは一般的に小型化され、ＣＲＴ、ＬＣＤ、反射型液晶方式（ＬｉｑｕｉｄＣｒｙｓｔａｌｏｎｓｉｌｉｃｏｎ）（ＬＣｏｓ）、またはＯＬＥＤテクノロジを含み得る。ホットミラーは、アイトラッキングのための１つの可能な設計手法を提供し、カメラまたは他のアイトラッキングセンサが、追跡している目を良い視野で見ることを可能にする。ある種のホットミラーは、赤外線（"ＩＲ"）放射を反射し、可視光に対しては透明である。ある種のアイトラッキングＨＭＤ用途におけるホットミラーは、目の前に傾けられ、目がディスプレイスクリーン上に透明な視野を有しながら、ＩＲカメラまたは他のアイトラッキングセンサが、目で反射された画像を取得することを可能にする。

このような光学的アイトラッキング方法は、注視追跡のために広く使用されている。ある種の実装におけるこのような追跡器は、画像処理と共に高フレームレートで撮像する比較的高解像度のカメラと、反射された光、または虹彩もしくは瞳などの既知の眼球構造を追跡するパターン認識デバイスとを必要とすることがある。非侵襲的であるべく、コストを低くとどめるべく、当技術分野において現在既知であるコンシューマ向けのアイトラッキング手法は、性能に関する大きな制約を有し、システムがフォービエイテッドレンダリングの場合に最大限の利点を得るように、システムが被写体の瞳および注視方向の位置を厳密にまたは低レイテンシで知ることができないようになっており、コストのかかる高解像度で高フレームレートのカメラが提供し得る利点は限定されたもののみとなる。

しかしながら、ある種の現在市販されており比較的安価の、ＨＭＤ用途のためのカメラ画像ベースのアイトラッカーは、高周波数で十分に低レイテンシで作動することが難しく、ある種の実装においてノイズが多く遮蔽の傾向がある結果を生成することがある。そのようなシステムは必ずしも、低解像度または低フレームレートが理由で、ノイズが多いわけではないが、それらは、サンプル間で発生するアクティビティを見逃すか、衝動性眼球運動（以下でさらに述べる、急激な目の動き）の開始または終了を間違って判断するので、目の実際の動きを特徴づけるのに十分に高いレートでサンプリングしないことがあり、したがって、予測にエラーを生じさせる低品質の速度および加速度データを生成することがある。

予測の使用を始めて、ＶＲにとっては重要な、結果にエラーを生じさせるであろう衝動性眼球運動の見逃しもまた回避するために、そのようなシステムは、ヒトの眼の動きまたは向きの変化のための既知である速度が、特に衝動性運動として既知であるものに関する速度が、比較的高いことに起因して、一般的に少なくとも２４０Ｈｚのレートで動作する必要がある。衝動性運動とは、人の目が焦点面の間で動くときの、気づかれない、時には不随意な運動を指す。

概して、衝動性眼球運動は随意または不随意であり得る。人が、あることに注目するように自身の注視線を向け直すとき、それが随意衝動性眼球運動である。人の目は、事実上知覚されないわずかな不随意衝動性眼球運動を絶えず実行している。わずかな衝動性眼球運動は、人が人の網膜上で見ている画像および縁部をリフレッシュすることに役立ち得る。画像が網膜上で動かない場合、人の網膜上の桿体細胞／錐体細胞は画像に対して非感光性になることがあり、人は事実上それが見えなくなる。

アイトラッキングシステムにおいて、わずかな衝動性眼球運動を検出および計測することには、概して最小で２４０Ｈｚのサンプリングレートを必要とする。計測が、注視の変化がわずかな衝動性眼球運動であり注視はすでに焦点の物体の上へに戻っているかどうか、または、そうではなく目が随意衝動性眼球運動から離れて加速しているかどうかを決めるために十分良好に行われることができない限り、目の運動を厳密に判断することは、概して可能ではない。性能を改善するために、より頻繁で正確なデータが必要である。

したがって、現在利用可能なＶＲカメラベースのアイトラッキングの手法は、一般的に、コンシューマクラスのＨＭＤデバイスの用途におけるアイトラッキングのあらゆる潜在的価値を理解するために十分な応答性、精度、またはロバスト性で実行されるものではない。このことは、フレームレートおよび／または解像度が高くなりつつあるアイトラッキングカメラが、複雑で高価であるためである。たとえ可能であっても、このような改善は、一般的により多くのデータを生成し、それは帯域幅を増加させ、したがって、送信がより難しくなり、追加の中央処理ユニット（"ＣＰＵ"）および／またはグラフィックス処理ユニット（"ＧＰＵ"）に、注視方向を算出させる負荷を生じる。さらなる負荷は、システムのコストを増加させるか、またはディスプレイ上へのレンダリング用途から離れた限定された演算時間を取るかのいずれかの可能性がある。

別の制限は、極端な目の角度に関する。極端な目の角度は、瞳または角膜反射がある種のカメラベースのアイトラッキングシステムにおけるカメラの視野から消えることを強いることがある。

比較的安価で容易に商業的に利用可能なオプティカルフローセンサによって補完されるアイトラッキングの手法は、カメラベースのシステムを改善する可能性がある。概して、オプティカルフローは、観察者（目またはカメラ）と場面との間の相対運動によって生じる視覚的な場面における、物体、表面、および縁部の明らかな運動のパターンである。オプティカルフローセンサは、オプティカルフローまたは視覚動作の計測およびオプティカルフローに基づく計測値の出力が可能な、視覚センサである。

相対位置に付随するデータを提供するシステムとは対照的に、オプティカルフローセンサは概して、相対運動に付随するデータを生成する。相対運動データは、エラーが累積すると経時的にドリフトを生じさせる、わずかなエラーを含むことがある。相対位置データに関するエラーも同様にあるが、それは概して経時的にドリフトを起こさない。

オプティカルフローセンサの様々な構成が存在する。１つの構成は、オプティカルフローアルゴリズムを実行するようにプログラミングされたプロセッサに接続されたイメージセンサチップを含む。別の構成は視覚チップを使用し、視覚チップは、同じダイにイメージセンサとプロセッサの両方を有し、コンパクトな実装を可能にする集積回路である。これの例は、コンピュータ光学マウスで広く使用されるタイプのセンサである。

オプティカルフローセンサは安価であり、非常に正確であり、１ｋＨｚまたはより高いレートで動作することができる。しかしながら、それらは一般的に、経時的にドリフトを起こすというそれらの既知の傾向に起因して、低い位置精度を呈す。マウスが短い時間間隔で表面のどれくらいの距離を移動したかについて、それらは良好な相対的情報を提供できるが、小さいエラーが累積して大きな相違を生じさせるので、それらは、マウスが表面上のどこにあるか、またはその出発位置に対してどこにあるかを知ることができない。それらの低い解像度と、ユーザの目全体を"参照"することができない、または目が注視している何らかの点を判断することができないこととが相まって、それらは一般的に、目の十分に正確な位置を独力で提供することができない。

この技術水準における現在の制約に対処することが望ましい。

例として、原寸に比例しない添付図面がここで参照されるであろう。

本発明の複数の特定の実施形態の態様を実装するために使用され得る、コンピューティングデバイスの例示的な図である。

本発明の複数の特定の実施形態の態様を実装するために使用され得る、ＨＭＤ用途のためのアイトラッキングシステム構成の態様を示す例示的な図である。本発明の複数の特定の実施形態の態様を実装するために使用され得る、ＨＭＤ用途のためのアイトラッキングシステム構成の態様を示す例示的な図である。本発明の複数の特定の実施形態の態様を実装するために使用され得る、ＨＭＤ用途のためのアイトラッキングシステム構成の態様を示す例示的な図である。本発明の複数の特定の実施形態の態様を実装するために使用され得る、ＨＭＤ用途のためのアイトラッキングシステム構成の態様を示す例示的な図である。

本発明の複数の特定の実施形態の態様を実装するために使用され得る、ＨＭＤ用途のためのアイトラッキングシステム設計の例示的な図である。

本発明の複数の特定の実施形態の態様を実装するために使用され得る、ＨＭＤ用途のためのアイトラッキング方法の例示的なフロー図である。

当業者は、本発明の以下の説明が例示のみであり、いかなる形でも限定ではないことを理解するであろう。このような当業者自身には、本開示の利点を有する本発明の他の実施形態が容易に示唆されるであろう。本明細書に定義された一般的原則は、本発明の主旨および範囲から逸脱せずに、他の実施形態および用途に適用され得る。したがって、本発明は示された実施形態に限定されると意図されるものではなく、本明細書に開示されされた原理および特徴と整合する最も広い範囲で一致するべきである。ここで、添付図面に示されるように、本発明の特定の実装が詳細に参照されるであろう。同じ参照番号は、同じ、または同様の部分を指すために、図面および以下の説明の全体にわたって使用されるであろう。

この詳細な説明に記載されるデータ構造体およびコードは、一般的にコンピュータ可読格納媒体に格納され、コンピュータ可読格納媒体は、コンピュータシステムによる使用のためにコードおよび／またはデータを格納可能な任意のデバイスまたは媒体であり得る。これは、限定されないが、ディスクドライブ、磁気テープ、ＣＤ（コンパクトディスク）およびＤＶＤ（デジタル多用途ディスクまたはデジタルビデオディスク）、および伝送媒体において具現化されたコンピュータ命令信号（信号が変調される搬送波を伴うかまたは伴わない）などの、磁気および光学による格納デバイスを含む。例えば、伝送媒体は、インターネットなどの、通信ネットワークを含み得る。

図１は、本発明の複数の特定の実施形態の態様を実装するために使用され得るコンピューティングデバイス１００の例示的な図である。コンピューティングデバイス１００は、バス１０１、１または複数のプロセッサ１０５、メインメモリ１１０、リードオンリーメモリ（ＲＯＭ）１１５、格納デバイス１２０、１または複数の入力デバイス１２５、１または複数の出力デバイス１３０、および通信インタフェース１３５を含み得る。バス１０１は、コンピューティングデバイス１００のコンポーネントの間での通信を可能にする１または複数の導体を含み得る。プロセッサ１０５は、任意のタイプの、従来のプロセッサ、マイクロプロセッサ、または命令を解釈して実行する処理ロジックを含み得る。メインメモリ１１０は、プロセッサ１０５による実行のための情報および命令を格納する、ランダムアクセスメモリ（ＲＡＭ）または別のタイプのダイナミック格納デバイスを含み得る。ＲＯＭ１１５は、プロセッサ１０５による使用のためのスタティックな情報および命令を格納する、従来のＲＯＭデバイスまたは別のタイプのスタティック格納デバイスを含み得る。格納デバイス１２０は、磁気および／または光記録媒体およびそれに対応するドライブを含み得る。入力デバイス１２５は、ユーザがコンピューティングデバイス１００に情報を入力することを可能にする、キーボード、マウス、ペン、スタイラス、手書き認識機、音声認識機、バイオメトリック機構、および同様のものなどの、１または複数の従来の機構を含み得る。出力デバイス１３０は、ディスプレイを含む、ユーザに情報を出力する１または複数の従来の機構を含み得る。通信インタフェース１３５は、コンピューティングデバイス／サーバ１００に、他のデバイスおよび／またはシステムとの通信を可能にする、トランシーバに類似の任意の機構を含み得る。コンピューティングデバイス１００は、データ格納デバイス１２０などの別のコンピュータ可読媒体から、または、通信インタフェース１３５により別のデバイスから、メモリ１１０に読み込まれ得るソフトウェア命令に基づく動作を実行し得る。メモリ１１０に含まれるソフトウェア命令は、プロセッサ１０５に、後に記載されるであろうプロセスを実行させる。代替的に、本発明と整合するプロセスを実装するソフトウェア命令の代わりに、またはそれとの組み合わせで、ハードワイヤード回路が使用され得る。したがって、様々な実装は、ハードウェア回路およびソフトウェアの任意の特定の組み合わせに限定されない。

特定の実施形態において、メモリ１１０は、限定するものではないが、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲＲＡＭまたは他のランダムアクセスソリッドステートメモリデバイスなどの高速度ランダムアクセスメモリを含み得、限定するものではないが、１または複数の磁気ディスク格納デバイス、光ディスク格納デバイス、フラッシュメモリデバイス、または他の不揮発性ソリッドステート格納デバイスなどの、不揮発性メモリを含み得る。メモリ１１０は、任意で、プロセッサ１０５から離れた位置にある１または複数の格納デバイスを含み得る。メモリ１１０、またはメモリ１１０内の１または複数の格納デバイス（例えば、１または複数の不揮発性格納デバイス）は，コンピュータ可読格納媒体を含み得る。特定の実施形態において、メモリ１１０またはメモリ１１０のコンピュータ可読格納媒体は、以下のプログラム、モジュール、およびデータ構造体を格納し得る。様々な基本システムを扱い、ハードウェアに依存するタスクを実行するための手順を含むオペレーティングシステム、１または複数の通信ネットワークインタフェースと、インターネット、他のワイドエリアネットワーク、ローカルエリアネットワーク、メトロポリタンエリアネットワークなどの１または複数の通信ネットワークとにより、コンピューティングデバイス１１０を他のコンピュータと接続するために使用されるネットワーク通信モジュール、ユーザがコンピューティングデバイス１００と情報を送受することを可能にし得るクライアントアプリケーション、のうち１または複数である。

この明細書におけるいくつかの図は、方法およびシステムを示すフローチャートである。これらのフローチャートの各ブロック、およびこれらのフローチャートの複数のブロックの組み合わは、コンピュータプログラム命令によって実装され得ることが理解されるであろう。これらのコンピュータプログラム命令は、コンピュータまたは他のプログラム可能な装置上で実行される命令が、１または複数のフローチャートブロックに特定された機能を実装するための構造体を作り出すように、機械を生成するコンピュータまたは他のプログラム可能な装置にロードされ得る。これらのコンピュータプログラム命令はまた、コンピュータ可読メモリに格納された命令が、１または複数のフローチャートブロックに特定された機能を実装する命令構造体を含む製品を生成するように、コンピュータまたは他のプログラム可能な装置を特定のやり方で機能するように指示することができるコンピュータ可読メモリに格納され得る。コンピュータプログラム命令はまた、コンピュータまたは他のプログラム可能な装置上で実行される命令が、１または複数のフローチャートブロックに特定された機能を実装するための段階を提供するように、コンピュータで実装されるプロセスを生成するコンピュータまたは他のプログラム可能な装置上で、連続した動作段階が行われることが生じるように、コンピュータまたは他のプログラム可能な装置にロードされ得る。

したがって、フローチャートのブロックは、特定される機能を実行するための構造体の組み合わせ、または特定される機能を実行するための段階の組み合わせをサポートする。フローチャートの各ブロック、およびフローチャートの複数のブロックの組み合わせが、特定される機能または段階を実行する専用ハードウェアベースのコンピュータシステム、または専用ハードウェアとコンピュータ命令との組み合わせによって実装されることができることが、また理解されるであろう。

例えば、Ｃ、Ｃ＋＋、Ｃ＃（ＣＳｈａｒｐ）、Ｐｅｒｌ、Ａｄａ、Ｐｙｔｈｏｎ、Ｐａｓｃａｌ、ＳｍａｌｌＴａｌｋ、ＦＯＲＴＲＡＮ、アセンブリ言語、および同様のものなどの、任意の数のコンピュータプログラミング言語が、本発明の態様を実装するために使用され得る。さらに、手続型、オブジェクト指向、または人工知能技術などの様々なプログラミング手法が、各特定の実装例の要求に依存して、使用され得る。コンピュータシステムによって実行される、コンパイラプログラムおよび／またはバーチャルマシンプログラムは概して、より高いレベルのプログラミング言語を翻訳して、プログラミングされた機能または機能の組を実行する１または複数のプロセッサによって実行され得る機械命令のセットを生成する。

用語"機械可読媒体"は、コンピュータシステムの要素によって読み込まれ得るデータを提供することに関与する任意の構造体を含むと、理解されるべきである。このような媒体は、限定されないが、不揮発性媒体、揮発性媒体、および伝送媒体を含む多くの形式を取り得る。不揮発性媒体は、例えば、光または磁気ディスク、および、フラッシュメモリに基づくデバイス（ソリッドステートドライブ、またはＳＳＤなど）などの他の恒久メモリを含む。揮発性媒体は、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、および／またはスタティックランダムアクセスメモリ（ＳＲＡＭ）を含む。伝送媒体は、プロセッサに結合されたシステムバスを備えるワイヤを含む、ケーブル、ワイヤ、および複数のファイバを含む。機械可読媒体の共通の形態は、例えば、限定するものではないが、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ、任意の他の磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤ、または任意の他の光媒体を含む。

限定するものではないが、本発明の複数の特定の実施形態の態様を実装するために使用され得るヘッドマウント型ディスプレイ（"ＨＭＤ"）は、据え付け型のコンピュータ（パーソナルコンピュータ（"ＰＣ"）、ラップトップ、またはゲームコンソールなど）にテザリングされ得、または代替的に、自己完結型（すなわち、単独のヘッドマウント型デバイスにいくつかまたはすべての知覚型入力、コントローラ／コンピュータ、および出力がすべて収容される）であり得る。

特定の実施形態での本発明の態様は、カメラベースの瞳および角膜の反射検出を使用する光学的アイトラッキングと、より高い周波数で動作するオプティカルフローハードウェアとを組み合わせる。この組み合わは、前者で達成されることができる精度を提供し、同時に、カメラベースのサンプリング間の期間において、後者の望ましい精度およびレイテンシ特性を追加し、比較的少ないコストで、システム全体により高い性能をもたらす。

視野上の異なる目標（虹彩または強膜など、例えば、ユーザの目の表面の異なる点）に向けられた１または複数のオプティカルフローセンサのカメラ追跡装置を拡張することによって、センサフュージョンを実行して精度を改善することができる。同様に、カメラ画像は眼球位置の全体像を提供するので、その情報は遮蔽されたオプティカルフローセンサを間引くように使用されることができ、したがって、アイトラッキングプロセスの妨げとなるまばたき、まつ毛、および他の構造または現象が原因のドリフトおよびエラーを軽減する。

したがって、それらはコモディティなマウス周辺機器を用いることに起因して、比較的安価であるが、オプティカルフローセンサを追加することは、より高い周波数での入力によって時間的なギャップを埋めることに役立つ。それらはまた、例えばまぶたによる遮蔽が理由で、カメラベースの追跡がデータを提供していない期間にも追跡を拡張すべきであってよく、冗長なデータソースを提供することによって、カメラベースのデータの質および有効性の改善に役立つべきであってよい。

位置カメラベースのシステムとオプティカルフローセンサとを配置する、多くの可能な構成がある。図２Ａから２Ｄは、本発明の複数の特定の実施形態の態様を実装するように使用され得る、ＨＭＤ用途のためのアイトラッキングシステムの例示的な機能的ブロック図である。図２Ａから２Ｄに示されるように、例示的実装は、（１）ＨＭＤと一体化された、カメラ＋ホットミラーベースのアイトラッキングシステム（例えば、２００−３００画素の解像度の、ＳＭＩまたはＴＯＢＩＩから市販の、グローバルシャッタ赤外線ユニット）、（２）観察視野の異なる領域（ユーザの目の内の強膜、虹彩および瞳を含み得る）に向けられた１または複数のオプティカルフローセンサのアレイ、ここで、オプティカルフローセンサは、高性能光学マウスセンサＡｖａｇｏ／ＰｉｘａｒｔＡＤＮＳ−３０８０などの市販のデバイスのレンズを、観測されている目の表面上に焦点を結ぶことができるレンズに交換したもので実装され得る、（３）２つのシステムからの入力を統合するセンサフュージョンモジュール、および、任意で、（４）任意の与えられた時点において、どのオプティカルフローセンサが無視しているかを判断するノイズスケルチングシステムを備える。

フローセンサは、例示的実装における、視野が狭く被写界深度が広い光学要素を通って向けられる。例えば、光学系は強膜の詳細な血管にチューニングされ得る。具体的には、センサによって観測される領域が余りにも小さい場合、視野には詳細な血管が十分ではないことがある。一方、領域が余りにも大きい場合、詳細を解像することは難しいか不可能であり得、ユーザのまぶたが余りにも長い時間の間視野にあり得、検出されるデータの質と値を損なうことがある。特定の実施形態において、まばたきの検出、および、ユーザの虹彩および／または強膜に向けられたセンサが目の回転とは対照的にまぶたの動きを観察しているときの検出の助けとなるように、オプティカルフローセンサは意図的にユーザのまぶたに向けられ得る。

特定の実施形態において、オプティカルフローセンサは、画像カメラを使用する同じホットミラーで反射することができる。他の実施形態において、導波管がレンズの前に位置して、ユーザの目の各々の撮像を容易にする。ヒトの眼はかなりの程度で動きまわり、まぶたはまばたき中または目と共に動くときにオプティカルフローの妨げとなり得るので、特定の実施形態は、同時に動作する複数のオプティカルフローセンサを利用し、それぞれが目の異なる一部に向く。センサの数は、各実装の特定の要件によって異なり、コストおよび性能の考えに基づく。

サンプルごとにスケルチングされる必要があるセンサは、低周波数カメラベースの画像追跡コンポーネントによって判断されてよく、カメラ画像は眼球位置の全体像を提供し、その情報は遮蔽されたオプティカルフローセンサを間引くように使用されることができるので、システムの他のオプティカルフローセンサからの情報もまた、このスケルチング機能のために使用され得る。オプティカルフローセンサからの情報は、また、カメラベースのサンプルデータの有効性の改善を支援するために、まばたきの識別を支援するように使用され得る。

図２Ａから２Ｄは、本発明の複数の特定の実施形態の態様を実装するように使用され得る、ＨＭＤ用途のためのアイトラッキングシステム構成の態様を示す例示的な図である。これらの図は、汎用の幾何学的構成および空間関係を示すことを意図するものであり、実際の物理的物体の描写と解釈されるべきではない。

図２Ａから２Ｄに示されるように、ユーザの目２３０は、本発明の特徴によるアイトラッキングシステムによって観測されている。レンズ２１０は、ユーザの目２３０をディスプレイ２２０に合焦づけることが可能である。ホットミラー２４０は、レンズ２１０とディスプレイ２２０の間に置かれ得る。ホットミラー２４０は、可視光においてディスプレイ２２０の見え方を妨げない。各特定の実装例の要求に依存して、カメラベースのアイトラッキングサブシステム３２５およびオプティカルフローセンササブシステム３３５（１または複数のオプティカルフローセンサを含むものとして実装され得る）が配置されることにより、それらの反射位置が追跡を目的としてユーザの目２３０を監視する。例えば、図２Ａに示される構成において、カメラベースのアイトラッキングサブシステム３２５が、反射されて位置３２５ｒに現れ、オプティカルフローセンササブシステム３３５が、反射されて位置３３５ｒに現れる。ＩＲ照明機２５０は、カメラベースのアイトラッキングサブシステム３２５およびオプティカルフローセンササブシステム３３５によって必要とされる光源を生成する。ＩＲ光は、概してホットミラー２４０によって反射されるが、これに対して、ヒトの眼２３０に可視な光は概してホットミラー２４０によって反射されない。フレーム２６０は、描写される様々なコンポーネントに関して機械的なサポートを提供し、外部光源からユーザの目２３０を保護する。

したがって、赤外線光を反射するホットミラーの能力に起因して、アイトラッキングセンサ（３２５、３３５）は、目の反射された像を検出する。ホットミラーおよびセンサの位置は、各特定の実装例の要求に依存して、レンズの前方および後方の様々な位置をとることができ、または、直接的に、または１または複数のミラーを通して間接的に目に向けられることができるので、図２Ａから２Ｄは例示的なものである。

図２Ｂは、概してユーザの目の斜め後方から左へ見た、図２Ａに示された構成の三次元バージョンを示す。

図２Ｃおよび２Ｄは、２つのオプティカルフローセンサ（３３５ａ、３３５ｂ）およびそれらのそれぞれの反射位置（３３５ａ−ｒ、３３５ｂ−ｒ）を含む、２つの異なる角度から見た別の例示的構成を示す。（オプティカルフローセンサ３３５ａは、図２Ｄにおいて可視ではない）

図３は、本発明の複数の特定の実施形態の態様を実装するように使用され得る、ＨＭＤ用途のためのアイトラッキングシステム設計の例示的な図である。図３は、第１の解像度レベルおよび第１のサンプルレートで観察視野（３３０）に画像を表すシーケンシャルな二次元サンプルを撮像するアイトラッキングカメラサブシステム（３２５）を含む、例示的なアイトラッキング装置（３００）を示す。ここで、観察視野は人の目のうち、瞳を含む一部を有し、カメラベースの推定眼球位置を生成する。図３はさらに、観察視野の異なる部分領域にそれぞれ向けられた、１または複数のオプティカルフローセンサ（３３５）のアレイを示す。特定の実施形態において、これらのオプティカルフローセンサの各々は、第１の解像度レベルより低い解像度レベル（すなわち、カメラベースのサブシステム（３２５）の解像度レベル）で、および、第１のサンプルレートより速いサンプルレートで、対応する部分領域内でオプティカルフローを表すシーケンシャルなサンプルを撮像し、オプティカルフローベースの推定眼球位置を生成する。例えば、特定の実施形態において、第１の解像度レベルが各次元に関して１００から２００画素であり、第２の解像度レベルが、各次元に関して１６から３２画素であり、第１のサンプルレートが４０から６０Ｈｚであり、第２のサンプルレートが５００から６４００Ｈｚである。図３はまた、アイトラッキングカメラサブシステム（３２５）からのカメラベースの推定眼球位置と、オプティカルフローセンサ（３３５）のアレイからのオプティカルフローベースの推定眼球位置とを組み合わせて、最終的な推定眼球位置を生成するセンサフュージョンモジュール（３０５）を示す。特定の実施形態において、センサフュージョンモジュールは、この種類のセンサフュージョンの課題に関して有用なカルマンフィルタとして既知の種類のアルゴリズムを集合的に利用するが、いくつかの他のセンサフュージョン技術が、当業者には明らかであろう。

特定の実施形態において、アイトラッキングカメラサブシステム（３２５）は、赤外光周波数範囲において動作する。ある種のさらなる実施形態において、本発明に記載のアイトラッキング装置３００はまた、アイトラッキングカメラサブシステムからのカメラベースの推定眼球位置に基づいて、任意の与えられた時点において無視する上記の１または複数のオプティカルフローセンサの部分集合を判断する、ノイズスケルチングシステムを含む。

各実装の特定の要件に依存して、アイトラッキングカメラサブシステムおよびオプティカルフローセンサのアレイは、ヘッドマウントディスプレイ内に収容され得る。

図４は、本発明の複数の特定の実施形態の態様を実装するように使用され得る、ＨＭＤ用途（４００）のアイトラッキング方法の例示的なフロー図である。図４に示されるように、例示的な方法は、アイトラッキングカメラサブシステムによって、第１の解像度レベルおよび第１のサンプルレートで観察視野の画像を表すシーケンシャルな二次元サンプルを撮像して、カメラベースの推定眼球位置（４２５）を生成することを含み、ここで、観察視野は人の目の、瞳を含んだ一部を有する。方法はまた、１または複数のオプティカルフローセンサによって、上記第１の解像度レベルより低い解像度レベルおよび上記第１のサンプルレートより速いサンプルレートで観察視野の複数の部分領域内でオプティカルフローを表すシーケンシャルなサンプルを撮像して、複数のオプティカルフローベースの推定眼球位置（４３５）を生成する段階を含む。最後に、方法は、カメラベースの推定眼球位置とオプティカルフローベースの推定眼球位置とを組み合わせて、センサフュージョン機能を用いて最終的な推定眼球位置（４０５）を生成する段階を含む。

したがって、本発明の態様に従ったセンサフュージョン技法は、２つの相補的な追跡システムの組み合わせが、比較的低いコストで高フレームレート、低レイテンシ、正確なアイトラッキングを有する、両方のシステムの利点を有するシステムとなることを可能にする。これに対して、ある種の既存のカメラベースのアイトラッキングシステムは、瞳の位置に関する一定の絶対的な位置決め情報を提供するが、アイトラッキングを使用し得るある種の用途に関して必要な程度には、この情報を提供しないことがある。一方で、オプティカルフローセンサは、比較的高いデータレートで相対的なデータを生成できるが、不正確な位置データを提供することがある。本発明の態様に従ったセンサフュージョン技法は、システムが、遅いシステムの位置精度と速いシステムの相対的なデータとを組み合わせて、両方の世界の最良のものを取得し、非常に低レイテンシで正確なデータを提供することを可能にする。

本発明の態様は、フィールドプログラマブルゲートアレイ（"ＦＰＧＡ"）マイクロコントローラを用いて、特定の実施形態において実装され得る。そのような複数の実施形態において、１または複数のマイクロコントローラは、高速度ＦＰＧＡフロントエンドを管理し、さらなる処理のために適切なインタフェースバス（例えばＵＳＢ）を通じてホストコンピュータに戻すためのデータストリームをパッケージングする。

前述の説明において、ある種の実施形態が、特定のデータ構造体、好ましく選択的な論点、好ましい制御フロー、および例に関して記載される。当業者が本出願を検討した後に理解されるであろう、記載の方法の他のさらなる用途は、本発明の範囲内にある。

上の説明は多くの特定事項を含み、ある種の例示的な実施形態は添付図面に記載および示されているが、様々な他の修正が、上に言及されたように、当業者に思い当たり得るので、そのような複数の実施形態は、広い発明を単に例示するにすぎず、限定的なものではないこと、および、この発明は示されて記載された特定の構築および構成に限定されるべきではないことが、理解されるべきである。本発明は、本明細書に開示された異なる実施例および／または実施形態からの要素の、任意の組み合わせまたは部分的組み合わせを含む。

Claims

第１の解像度レベルおよび第１のサンプルレートで観察視野の画像を表すシーケンシャルな二次元サンプルを撮像し、カメラベースの推定眼球位置を生成する、アイトラッキングカメラサブシステムであって、前記観察視野は人の目のうち、瞳を含む一部を有する、アイトラッキングカメラサブシステムと、
それぞれが前記観察視野の異なる部分領域に向けられる、複数のオプティカルフローセンサであって、前記複数のオプティカルフローセンサの各々は、前記第１の解像度レベルより低い解像度レベルおよび前記第１のサンプルレートより速いサンプルレートで、対応する部分領域内でオプティカルフローを表すシーケンシャルなサンプルを撮像し、オプティカルフローベースの推定眼球位置を生成する、複数のオプティカルフローセンサと、
前記アイトラッキングカメラサブシステムからの前記カメラベースの推定眼球位置と、前記複数のオプティカルフローセンサの各々からの前記オプティカルフローベースの推定眼球位置とを組み合わせて、最終的な推定眼球位置を生成するセンサフュージョンモジュールと、
を備える、アイトラッキング装置。
前記アイトラッキングカメラサブシステムが、赤外光周波数範囲で動作する、請求項１に記載のアイトラッキング装置。
前記アイトラッキングカメラサブシステムからの前記カメラベースの推定眼球位置に基づいて、任意の与えられた時点において無視する前記複数のオプティカルフローセンサの部分集合を判断するノイズスケルチングシステムをさらに備える、
請求項１または２に記載のアイトラッキング装置。
前記アイトラッキングカメラサブシステムおよび前記複数のオプティカルフローセンサが、ヘッドマウントディスプレイ内に収容される、請求項１から３のいずれか一項に記載のアイトラッキング装置。
前記センサフュージョンモジュールがカルマンフィルタを含む、請求項１から４のいずれか一項に記載のアイトラッキング装置。
アイトラッキングカメラサブシステムによって、第１の解像度レベルおよび第１のサンプルレートで観察視野の画像を表すシーケンシャルな二次元サンプルを撮像して、カメラベースの推定眼球位置を生成する段階であって、前記観察視野は人の目のうち、瞳を含む一部を有する、段階と、
複数のオプティカルフローセンサによって、前記第１の解像度レベルより低い解像度レベルおよび前記第１のサンプルレートより速いサンプルレートで、前記観察視野の複数の部分領域内でオプティカルフローを表すシーケンシャルなサンプルを撮像して、複数のオプティカルフローベースの推定眼球位置を生成する段階と、
前記カメラベースの推定眼球位置と、前記複数のオプティカルフローベースの推定眼球位置とを組み合わせて、センサフュージョン機能を用いて最終的な推定眼球位置を生成する段階と、
を備える、アイトラッキング方法。
前記アイトラッキングカメラサブシステムが、赤外光周波数範囲で動作する、請求項６に記載のアイトラッキング方法。
前記アイトラッキングカメラサブシステムからの前記カメラベースの推定眼球位置に基づいて、任意の与えられた時点において無視する前記複数のオプティカルフローセンサの部分集合を判断する段階をさらに備える、請求項６または７に記載のアイトラッキング方法。
前記アイトラッキングカメラサブシステムおよび前記複数のオプティカルフローセンサが、ヘッドマウントディスプレイ内に収容される、請求項６から８のいずれか一項に記載のアイトラッキング方法。
前記センサフュージョン機能がカルマンフィルタを含む、請求項６から９のいずれか一項に記載のアイトラッキング方法。
第１の解像度レベルおよび第１のサンプルレートで観察視野の画像を表すシーケンシャルな二次元サンプルを撮像し、カメラベースの推定眼球位置を生成する、アイトラッキングカメラサブシステムであって、前記観察視野は人の目のうち、瞳を含む一部を有する、アイトラッキングカメラサブシステムと、
それぞれが前記観察視野の異なる部分領域に向けられる、１または複数のオプティカルフローセンサであって、前記１または複数のオプティカルフローセンサの各々は、前記第１の解像度レベルより低い解像度レベルおよび前記第１のサンプルレートより速いサンプルレートで、対応する部分領域内でオプティカルフローを表すシーケンシャルなサンプルを撮像し、オプティカルフローベースの推定眼球位置を生成する、１または複数のオプティカルフローセンサと、
前記アイトラッキングカメラサブシステムからの前記カメラベースの推定眼球位置と、前記１または複数のオプティカルフローセンサの各々からの前記オプティカルフローベースの推定眼球位置とを組み合わせて、最終的な推定眼球位置を生成するセンサフュージョンモジュールと、
を備える、アイトラッキング装置。
前記アイトラッキングカメラサブシステムが、赤外光周波数範囲で動作する、請求項１１に記載のアイトラッキング装置。
前記アイトラッキングカメラサブシステムおよび前記１または複数のオプティカルフローセンサが、ヘッドマウントディスプレイ内に収容される、請求項１１または１２に記載のアイトラッキング装置。
前記センサフュージョンモジュールがカルマンフィルタを含む、請求項１１から１３のいずれか一項に記載のアイトラッキング装置。
アイトラッキングカメラサブシステムによって、第１の解像度レベルおよび第１のサンプルレートで観察視野の画像を表すシーケンシャルな二次元サンプルを撮像して、カメラベースの推定眼球位置を生成する段階であって、前記観察視野は人の目のうち、瞳を含む一部を有する、段階と、
１または複数のオプティカルフローセンサによって、前記第１の解像度レベルより低い解像度レベルおよび前記第１のサンプルレートより速いサンプルレートで、前記観察視野の１または複数の部分領域内でオプティカルフローを表すシーケンシャルなサンプルを撮像して、複数のオプティカルフローベースの推定眼球位置を生成する段階と、
前記カメラベースの推定眼球位置と、前記複数のオプティカルフローベースの推定眼球位置とを組み合わせて、センサフュージョン機能を用いて最終的な推定眼球位置を生成する段階と、
を備える、アイトラッキング方法。
前記アイトラッキングカメラサブシステムが、赤外光周波数範囲で動作する、請求項１５に記載のアイトラッキング方法。
前記アイトラッキングカメラサブシステムおよび前記複数のオプティカルフローセンサが、ヘッドマウントディスプレイ内に収容される、請求項１５または１６に記載のアイトラッキング方法。
前記センサフュージョン機能がカルマンフィルタを含む、請求項１５から１７のいずれか一項に記載のアイトラッキング方法。