JP2019531782A - アイトラッキング用途のためのセンサフュージョンのシステムおよび方法 - Google Patents
アイトラッキング用途のためのセンサフュージョンのシステムおよび方法 Download PDFInfo
- Publication number
- JP2019531782A JP2019531782A JP2019511537A JP2019511537A JP2019531782A JP 2019531782 A JP2019531782 A JP 2019531782A JP 2019511537 A JP2019511537 A JP 2019511537A JP 2019511537 A JP2019511537 A JP 2019511537A JP 2019531782 A JP2019531782 A JP 2019531782A
- Authority
- JP
- Japan
- Prior art keywords
- eye tracking
- optical flow
- eye
- camera
- flow sensors
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/251—Fusion techniques of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
- G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Optics & Photonics (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Signal Processing (AREA)
- Ophthalmology & Optometry (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Eye Examination Apparatus (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
数ある使用の中で特に、コンシューマクラスの仮想現実(VR)/拡張現実(AR)用途における使用のための、アイトラッキングシステムおよび方法が記載される。特定の実施形態は、カメラベースの瞳および角膜の反射検出を使用する光学的アイトラッキングを、より高い周波数で動作するオプティカルフローハードウェアと組み合わせる。この組み合わせは、前者によって達成され得る精度を提供し、同時に、後者の望ましい精度およびレイテンシ特性が追加され、比較的少ないコストで全体的なシステムのより高度な実行をもたらす。視野上の異なる目標に向けられたオプティカルフローセンサのアレイによってカメラ追跡装置を拡張することによって、センサフュージョンを実行して精度を改善することができる。カメラ画像は眼球位置の全体像を提供し、その情報は、遮蔽されたオプティカルフローセンサを間引くように使用されるので、したがって、まばたきおよび他の同様の現象が原因のドリフトおよびエラーを軽減する。
Description
[関連出願の相互参照]
本出願は、2016年9月7日に出願された米国特許出願第15/258,551号の利益を主張する。本出願の内容は、あらゆる目的のために参照によって本明細書に組み込まれる。
本出願は、2016年9月7日に出願された米国特許出願第15/258,551号の利益を主張する。本出願の内容は、あらゆる目的のために参照によって本明細書に組み込まれる。
1.本開示の分野
本開示は、概して、コンピュータ化された画像処理に関し、より詳細には、改善された特徴および特性を有する仮想現実および/または拡張現実システムのためのヘッドマウントディスプレイなどにおける、コンピュータ化されたアイトラッキング用途におけるセンサフュージョン技術を実装するためのシステムおよび方法に関する。
2.一般的な背景技術
1つの現世代の仮想現実("VR")エクスペリエンスは、ヘッドマウントディスプレイ("HMD")を用いて生成され、それは、据え付け型のコンピュータ(パーソナルコンピュータ(PC)、ラップトップ、またはゲームコンソールなど)にテザリングされることができ、スマートフォンおよび/またはそれと関連付けられたディスプレイと組み合わされ、および/または、統合されることができ、または自己完結型であることができる。VRエクスペリエンスは、概して、没入させることを目的とし、ユーザの感覚を彼らの周囲から遮断する。
概して、HMDはユーザの頭に装着されるディスプレイデバイスであり、それは片目(単眼HMD)または両目(双眼HMD)の前に小さいディスプレイデバイスを有する。
双眼HMDは、各目に異なる画像を表示する可能性を有する。この機能は、立体画像を表示するために使用される。
用語"アイトラッキング"は、注視点(すなわち、人が見ているところ)、人が見ているもの、または人の頭に対するその人の目の運動または位置の、いずれかを計測するプロセスを意味する。当業者は容易に認識するであろうように、様々なコンピュータ化されたされたアイトラッキング技術が、HMDおよび他の用途において実装されている。
アイトラッカーは、いくつかのやり方のうち1つで目の回転を計測する。1つの広いカテゴリのアイトラッキング技術は、非接触式の、目の位置または注視の角度を計測する光学的方法を使用する。例えば、1つの既知の種類の光学的アイトラッキング技術において、一般的に赤外線領域にある光が、目で反射され、ビデオカメラによって感知される。ビデオカメラによって感知される情報は、その後、分析され、反射の変化から瞳の注視方向または位置を抽出する。動画ベースのアイトラッカーは、経時的に追跡する特徴として、瞳の中心の角膜反射を使用することがある。
HMD実装の環境において、カメラベースのアイトラッキングシステムは、HMDの筐体に取りつけられ、ユーザの眼球位置を検出する手段として、ユーザの目に(直接的または間接的に)向けられる、後ろ向きのカメラを含み得る。カメラによって生成されたデジタルデータは、有線または無線の手段により、処理および分析のためにコンピュータ(代替的に、HMD自体に位置するコンピュータリソース)などの外部デバイスに送信される。そのようなシステムにおけるコンピュータソフトウェアは、当業者に既知のアイトラッキングアルゴリズムを実行して、ユーザの目の一方または両方の位置を検出する。
視標追跡機能を含む、ある種のHMDは、ヘルメット、眼鏡(データグラスとしてもまた既知である)、またはバイザーなど多くのフォームファクタに組み込まれる、レンズおよび半透明(すなわち、"ホット")ミラーを有する1または2のいずれか小さいディスプレイを含む。ディスプレイユニットは一般的に小型化され、CRT、LCD、反射型液晶方式(Liquid Crystal on silicon)(LCos)、またはOLEDテクノロジを含み得る。ホットミラーは、アイトラッキングのための1つの可能な設計手法を提供し、カメラまたは他のアイトラッキングセンサが、追跡している目を良い視野で見ることを可能にする。ある種のホットミラーは、赤外線("IR")放射を反射し、可視光に対しては透明である。ある種のアイトラッキングHMD用途におけるホットミラーは、目の前に傾けられ、目がディスプレイスクリーン上に透明な視野を有しながら、IRカメラまたは他のアイトラッキングセンサが、目で反射された画像を取得することを可能にする。
このような光学的アイトラッキング方法は、注視追跡のために広く使用されている。ある種の実装におけるこのような追跡器は、画像処理と共に高フレームレートで撮像する比較的高解像度のカメラと、反射された光、または虹彩もしくは瞳などの既知の眼球構造を追跡するパターン認識デバイスとを必要とすることがある。非侵襲的であるべく、コストを低くとどめるべく、当技術分野において現在既知であるコンシューマ向けのアイトラッキング手法は、性能に関する大きな制約を有し、システムがフォービエイテッドレンダリングの場合に最大限の利点を得るように、システムが被写体の瞳および注視方向の位置を厳密にまたは低レイテンシで知ることができないようになっており、コストのかかる高解像度で高フレームレートのカメラが提供し得る利点は限定されたもののみとなる。
しかしながら、ある種の現在市販されており比較的安価の、HMD用途のためのカメラ画像ベースのアイトラッカーは、高周波数で十分に低レイテンシで作動することが難しく、ある種の実装においてノイズが多く遮蔽の傾向がある結果を生成することがある。そのようなシステムは必ずしも、低解像度または低フレームレートが理由で、ノイズが多いわけではないが、それらは、サンプル間で発生するアクティビティを見逃すか、衝動性眼球運動(以下でさらに述べる、急激な目の動き)の開始または終了を間違って判断するので、目の実際の動きを特徴づけるのに十分に高いレートでサンプリングしないことがあり、したがって、予測にエラーを生じさせる低品質の速度および加速度データを生成することがある。
予測の使用を始めて、VRにとっては重要な、結果にエラーを生じさせるであろう衝動性眼球運動の見逃しもまた回避するために、そのようなシステムは、ヒトの眼の動きまたは向きの変化のための既知である速度が、特に衝動性運動として既知であるものに関する速度が、比較的高いことに起因して、一般的に少なくとも240Hzのレートで動作する必要がある。衝動性運動とは、人の目が焦点面の間で動くときの、気づかれない、時には不随意な運動を指す。
概して、衝動性眼球運動は随意または不随意であり得る。人が、あることに注目するように自身の注視線を向け直すとき、それが随意衝動性眼球運動である。人の目は、事実上知覚されないわずかな不随意衝動性眼球運動を絶えず実行している。わずかな衝動性眼球運動は、人が人の網膜上で見ている画像および縁部をリフレッシュすることに役立ち得る。画像が網膜上で動かない場合、人の網膜上の桿体細胞/錐体細胞は画像に対して非感光性になることがあり、人は事実上それが見えなくなる。
アイトラッキングシステムにおいて、わずかな衝動性眼球運動を検出および計測することには、概して最小で240Hzのサンプリングレートを必要とする。計測が、注視の変化がわずかな衝動性眼球運動であり注視はすでに焦点の物体の上へに戻っているかどうか、または、そうではなく目が随意衝動性眼球運動から離れて加速しているかどうかを決めるために十分良好に行われることができない限り、目の運動を厳密に判断することは、概して可能ではない。性能を改善するために、より頻繁で正確なデータが必要である。
したがって、現在利用可能なVRカメラベースのアイトラッキングの手法は、一般的に、コンシューマクラスのHMDデバイスの用途におけるアイトラッキングのあらゆる潜在的価値を理解するために十分な応答性、精度、またはロバスト性で実行されるものではない。このことは、フレームレートおよび/または解像度が高くなりつつあるアイトラッキングカメラが、複雑で高価であるためである。たとえ可能であっても、このような改善は、一般的により多くのデータを生成し、それは帯域幅を増加させ、したがって、送信がより難しくなり、追加の中央処理ユニット("CPU")および/またはグラフィックス処理ユニット("GPU")に、注視方向を算出させる負荷を生じる。さらなる負荷は、システムのコストを増加させるか、またはディスプレイ上へのレンダリング用途から離れた限定された演算時間を取るかのいずれかの可能性がある。
別の制限は、極端な目の角度に関する。極端な目の角度は、瞳または角膜反射がある種のカメラベースのアイトラッキングシステムにおけるカメラの視野から消えることを強いることがある。
比較的安価で容易に商業的に利用可能なオプティカルフローセンサによって補完されるアイトラッキングの手法は、カメラベースのシステムを改善する可能性がある。概して、オプティカルフローは、観察者(目またはカメラ)と場面との間の相対運動によって生じる視覚的な場面における、物体、表面、および縁部の明らかな運動のパターンである。オプティカルフローセンサは、オプティカルフローまたは視覚動作の計測およびオプティカルフローに基づく計測値の出力が可能な、視覚センサである。
相対位置に付随するデータを提供するシステムとは対照的に、オプティカルフローセンサは概して、相対運動に付随するデータを生成する。相対運動データは、エラーが累積すると経時的にドリフトを生じさせる、わずかなエラーを含むことがある。相対位置データに関するエラーも同様にあるが、それは概して経時的にドリフトを起こさない。
オプティカルフローセンサの様々な構成が存在する。1つの構成は、オプティカルフローアルゴリズムを実行するようにプログラミングされたプロセッサに接続されたイメージセンサチップを含む。別の構成は視覚チップを使用し、視覚チップは、同じダイにイメージセンサとプロセッサの両方を有し、コンパクトな実装を可能にする集積回路である。これの例は、コンピュータ光学マウスで広く使用されるタイプのセンサである。
オプティカルフローセンサは安価であり、非常に正確であり、1kHzまたはより高いレートで動作することができる。しかしながら、それらは一般的に、経時的にドリフトを起こすというそれらの既知の傾向に起因して、低い位置精度を呈す。マウスが短い時間間隔で表面のどれくらいの距離を移動したかについて、それらは良好な相対的情報を提供できるが、小さいエラーが累積して大きな相違を生じさせるので、それらは、マウスが表面上のどこにあるか、またはその出発位置に対してどこにあるかを知ることができない。それらの低い解像度と、ユーザの目全体を"参照"することができない、または目が注視している何らかの点を判断することができないこととが相まって、それらは一般的に、目の十分に正確な位置を独力で提供することができない。
この技術水準における現在の制約に対処することが望ましい。
例として、原寸に比例しない添付図面がここで参照されるであろう。
当業者は、本発明の以下の説明が例示のみであり、いかなる形でも限定ではないことを理解するであろう。このような当業者自身には、本開示の利点を有する本発明の他の実施形態が容易に示唆されるであろう。本明細書に定義された一般的原則は、本発明の主旨および範囲から逸脱せずに、他の実施形態および用途に適用され得る。したがって、本発明は示された実施形態に限定されると意図されるものではなく、本明細書に開示されされた原理および特徴と整合する最も広い範囲で一致するべきである。ここで、添付図面に示されるように、本発明の特定の実装が詳細に参照されるであろう。同じ参照番号は、同じ、または同様の部分を指すために、図面および以下の説明の全体にわたって使用されるであろう。
この詳細な説明に記載されるデータ構造体およびコードは、一般的にコンピュータ可読格納媒体に格納され、コンピュータ可読格納媒体は、コンピュータシステムによる使用のためにコードおよび/またはデータを格納可能な任意のデバイスまたは媒体であり得る。これは、限定されないが、ディスクドライブ、磁気テープ、CD(コンパクトディスク)およびDVD(デジタル多用途ディスクまたはデジタルビデオディスク)、および伝送媒体において具現化されたコンピュータ命令信号(信号が変調される搬送波を伴うかまたは伴わない)などの、磁気および光学による格納デバイスを含む。例えば、伝送媒体は、インターネットなどの、通信ネットワークを含み得る。
図1は、本発明の複数の特定の実施形態の態様を実装するために使用され得るコンピューティングデバイス100の例示的な図である。コンピューティングデバイス100は、バス101、1または複数のプロセッサ105、メインメモリ110、リードオンリーメモリ(ROM)115、格納デバイス120、1または複数の入力デバイス125、1または複数の出力デバイス130、および通信インタフェース135を含み得る。バス101は、コンピューティングデバイス100のコンポーネントの間での通信を可能にする1または複数の導体を含み得る。プロセッサ105は、任意のタイプの、従来のプロセッサ、マイクロプロセッサ、または命令を解釈して実行する処理ロジックを含み得る。メインメモリ110は、プロセッサ105による実行のための情報および命令を格納する、ランダムアクセスメモリ(RAM)または別のタイプのダイナミック格納デバイスを含み得る。ROM115は、プロセッサ105による使用のためのスタティックな情報および命令を格納する、従来のROMデバイスまたは別のタイプのスタティック格納デバイスを含み得る。格納デバイス120は、磁気および/または光記録媒体およびそれに対応するドライブを含み得る。入力デバイス125は、ユーザがコンピューティングデバイス100に情報を入力することを可能にする、キーボード、マウス、ペン、スタイラス、手書き認識機、音声認識機、バイオメトリック機構、および同様のものなどの、1または複数の従来の機構を含み得る。出力デバイス130は、ディスプレイを含む、ユーザに情報を出力する1または複数の従来の機構を含み得る。通信インタフェース135は、コンピューティングデバイス/サーバ100に、他のデバイスおよび/またはシステムとの通信を可能にする、トランシーバに類似の任意の機構を含み得る。コンピューティングデバイス100は、データ格納デバイス120などの別のコンピュータ可読媒体から、または、通信インタフェース135により別のデバイスから、メモリ110に読み込まれ得るソフトウェア命令に基づく動作を実行し得る。メモリ110に含まれるソフトウェア命令は、プロセッサ105に、後に記載されるであろうプロセスを実行させる。代替的に、本発明と整合するプロセスを実装するソフトウェア命令の代わりに、またはそれとの組み合わせで、ハードワイヤード回路が使用され得る。したがって、様々な実装は、ハードウェア回路およびソフトウェアの任意の特定の組み合わせに限定されない。
特定の実施形態において、メモリ110は、限定するものではないが、DRAM、SRAM、DDR RAMまたは他のランダムアクセスソリッドステートメモリデバイスなどの高速度ランダムアクセスメモリを含み得、限定するものではないが、1または複数の磁気ディスク格納デバイス、光ディスク格納デバイス、フラッシュメモリデバイス、または他の不揮発性ソリッドステート格納デバイスなどの、不揮発性メモリを含み得る。メモリ110は、任意で、プロセッサ105から離れた位置にある1または複数の格納デバイスを含み得る。メモリ110、またはメモリ110内の1または複数の格納デバイス(例えば、1または複数の不揮発性格納デバイス)は,コンピュータ可読格納媒体を含み得る。特定の実施形態において、メモリ110またはメモリ110のコンピュータ可読格納媒体は、以下のプログラム、モジュール、およびデータ構造体を格納し得る。様々な基本システムを扱い、ハードウェアに依存するタスクを実行するための手順を含むオペレーティングシステム、1または複数の通信ネットワークインタフェースと、インターネット、他のワイドエリアネットワーク、ローカルエリアネットワーク、メトロポリタンエリアネットワークなどの1または複数の通信ネットワークとにより、コンピューティングデバイス110を他のコンピュータと接続するために使用されるネットワーク通信モジュール、ユーザがコンピューティングデバイス100と情報を送受することを可能にし得るクライアントアプリケーション、のうち1または複数である。
この明細書におけるいくつかの図は、方法およびシステムを示すフローチャートである。これらのフローチャートの各ブロック、およびこれらのフローチャートの複数のブロックの組み合わは、コンピュータプログラム命令によって実装され得ることが理解されるであろう。これらのコンピュータプログラム命令は、コンピュータまたは他のプログラム可能な装置上で実行される命令が、1または複数のフローチャートブロックに特定された機能を実装するための構造体を作り出すように、機械を生成するコンピュータまたは他のプログラム可能な装置にロードされ得る。これらのコンピュータプログラム命令はまた、コンピュータ可読メモリに格納された命令が、1または複数のフローチャートブロックに特定された機能を実装する命令構造体を含む製品を生成するように、コンピュータまたは他のプログラム可能な装置を特定のやり方で機能するように指示することができるコンピュータ可読メモリに格納され得る。コンピュータプログラム命令はまた、コンピュータまたは他のプログラム可能な装置上で実行される命令が、1または複数のフローチャートブロックに特定された機能を実装するための段階を提供するように、コンピュータで実装されるプロセスを生成するコンピュータまたは他のプログラム可能な装置上で、連続した動作段階が行われることが生じるように、コンピュータまたは他のプログラム可能な装置にロードされ得る。
したがって、フローチャートのブロックは、特定される機能を実行するための構造体の組み合わせ、または特定される機能を実行するための段階の組み合わせをサポートする。フローチャートの各ブロック、およびフローチャートの複数のブロックの組み合わせが、特定される機能または段階を実行する専用ハードウェアベースのコンピュータシステム、または専用ハードウェアとコンピュータ命令との組み合わせによって実装されることができることが、また理解されるであろう。
例えば、C、C++、C#(CSharp)、Perl、Ada、Python、Pascal、SmallTalk、FORTRAN、アセンブリ言語、および同様のものなどの、任意の数のコンピュータプログラミング言語が、本発明の態様を実装するために使用され得る。さらに、手続型、オブジェクト指向、または人工知能技術などの様々なプログラミング手法が、各特定の実装例の要求に依存して、使用され得る。コンピュータシステムによって実行される、コンパイラプログラムおよび/またはバーチャルマシンプログラムは概して、より高いレベルのプログラミング言語を翻訳して、プログラミングされた機能または機能の組を実行する1または複数のプロセッサによって実行され得る機械命令のセットを生成する。
用語"機械可読媒体"は、コンピュータシステムの要素によって読み込まれ得るデータを提供することに関与する任意の構造体を含むと、理解されるべきである。このような媒体は、限定されないが、不揮発性媒体、揮発性媒体、および伝送媒体を含む多くの形式を取り得る。不揮発性媒体は、例えば、光または磁気ディスク、および、フラッシュメモリに基づくデバイス(ソリッドステートドライブ、またはSSDなど)などの他の恒久メモリを含む。揮発性媒体は、ダイナミックランダムアクセスメモリ(DRAM)、および/またはスタティックランダムアクセスメモリ(SRAM)を含む。伝送媒体は、プロセッサに結合されたシステムバスを備えるワイヤを含む、ケーブル、ワイヤ、および複数のファイバを含む。機械可読媒体の共通の形態は、例えば、限定するものではないが、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ、任意の他の磁気媒体、CD−ROM、DVD、または任意の他の光媒体を含む。
限定するものではないが、本発明の複数の特定の実施形態の態様を実装するために使用され得るヘッドマウント型ディスプレイ("HMD")は、据え付け型のコンピュータ(パーソナルコンピュータ("PC")、ラップトップ、またはゲームコンソールなど)にテザリングされ得、または代替的に、自己完結型(すなわち、単独のヘッドマウント型デバイスにいくつかまたはすべての知覚型入力、コントローラ/コンピュータ、および出力がすべて収容される)であり得る。
特定の実施形態での本発明の態様は、カメラベースの瞳および角膜の反射検出を使用する光学的アイトラッキングと、より高い周波数で動作するオプティカルフローハードウェアとを組み合わせる。この組み合わは、前者で達成されることができる精度を提供し、同時に、カメラベースのサンプリング間の期間において、後者の望ましい精度およびレイテンシ特性を追加し、比較的少ないコストで、システム全体により高い性能をもたらす。
視野上の異なる目標(虹彩または強膜など、例えば、ユーザの目の表面の異なる点)に向けられた1または複数のオプティカルフローセンサのカメラ追跡装置を拡張することによって、センサフュージョンを実行して精度を改善することができる。同様に、カメラ画像は眼球位置の全体像を提供するので、その情報は遮蔽されたオプティカルフローセンサを間引くように使用されることができ、したがって、アイトラッキングプロセスの妨げとなるまばたき、まつ毛、および他の構造または現象が原因のドリフトおよびエラーを軽減する。
したがって、それらはコモディティなマウス周辺機器を用いることに起因して、比較的安価であるが、オプティカルフローセンサを追加することは、より高い周波数での入力によって時間的なギャップを埋めることに役立つ。それらはまた、例えばまぶたによる遮蔽が理由で、カメラベースの追跡がデータを提供していない期間にも追跡を拡張すべきであってよく、冗長なデータソースを提供することによって、カメラベースのデータの質および有効性の改善に役立つべきであってよい。
位置カメラベースのシステムとオプティカルフローセンサとを配置する、多くの可能な構成がある。図2Aから2Dは、本発明の複数の特定の実施形態の態様を実装するように使用され得る、HMD用途のためのアイトラッキングシステムの例示的な機能的ブロック図である。図2Aから2Dに示されるように、例示的実装は、(1)HMDと一体化された、カメラ+ホットミラーベースのアイトラッキングシステム(例えば、200−300画素の解像度の、SMIまたはTOBIIから市販の、グローバルシャッタ赤外線ユニット)、(2)観察視野の異なる領域(ユーザの目の内の強膜、虹彩および瞳を含み得る)に向けられた1または複数のオプティカルフローセンサのアレイ、ここで、オプティカルフローセンサは、高性能光学マウスセンサAvago/Pixart ADNS−3080などの市販のデバイスのレンズを、観測されている目の表面上に焦点を結ぶことができるレンズに交換したもので実装され得る、(3)2つのシステムからの入力を統合するセンサフュージョンモジュール、および、任意で、(4)任意の与えられた時点において、どのオプティカルフローセンサが無視しているかを判断するノイズスケルチングシステムを備える。
フローセンサは、例示的実装における、視野が狭く被写界深度が広い光学要素を通って向けられる。例えば、光学系は強膜の詳細な血管にチューニングされ得る。具体的には、センサによって観測される領域が余りにも小さい場合、視野には詳細な血管が十分ではないことがある。一方、領域が余りにも大きい場合、詳細を解像することは難しいか不可能であり得、ユーザのまぶたが余りにも長い時間の間視野にあり得、検出されるデータの質と値を損なうことがある。特定の実施形態において、まばたきの検出、および、ユーザの虹彩および/または強膜に向けられたセンサが目の回転とは対照的にまぶたの動きを観察しているときの検出の助けとなるように、オプティカルフローセンサは意図的にユーザのまぶたに向けられ得る。
特定の実施形態において、オプティカルフローセンサは、画像カメラを使用する同じホットミラーで反射することができる。他の実施形態において、導波管がレンズの前に位置して、ユーザの目の各々の撮像を容易にする。ヒトの眼はかなりの程度で動きまわり、まぶたはまばたき中または目と共に動くときにオプティカルフローの妨げとなり得るので、特定の実施形態は、同時に動作する複数のオプティカルフローセンサを利用し、それぞれが目の異なる一部に向く。センサの数は、各実装の特定の要件によって異なり、コストおよび性能の考えに基づく。
サンプルごとにスケルチングされる必要があるセンサは、低周波数カメラベースの画像追跡コンポーネントによって判断されてよく、カメラ画像は眼球位置の全体像を提供し、その情報は遮蔽されたオプティカルフローセンサを間引くように使用されることができるので、システムの他のオプティカルフローセンサからの情報もまた、このスケルチング機能のために使用され得る。オプティカルフローセンサからの情報は、また、カメラベースのサンプルデータの有効性の改善を支援するために、まばたきの識別を支援するように使用され得る。
図2Aから2Dは、本発明の複数の特定の実施形態の態様を実装するように使用され得る、HMD用途のためのアイトラッキングシステム構成の態様を示す例示的な図である。これらの図は、汎用の幾何学的構成および空間関係を示すことを意図するものであり、実際の物理的物体の描写と解釈されるべきではない。
図2Aから2Dに示されるように、ユーザの目230は、本発明の特徴によるアイトラッキングシステムによって観測されている。レンズ210は、ユーザの目230をディスプレイ220に合焦づけることが可能である。ホットミラー240は、レンズ210とディスプレイ220の間に置かれ得る。ホットミラー240は、可視光においてディスプレイ220の見え方を妨げない。各特定の実装例の要求に依存して、カメラベースのアイトラッキングサブシステム325およびオプティカルフローセンササブシステム335(1または複数のオプティカルフローセンサを含むものとして実装され得る)が配置されることにより、それらの反射位置が追跡を目的としてユーザの目230を監視する。例えば、図2Aに示される構成において、カメラベースのアイトラッキングサブシステム325が、反射されて位置325rに現れ、オプティカルフローセンササブシステム335が、反射されて位置335rに現れる。IR照明機250は、カメラベースのアイトラッキングサブシステム325およびオプティカルフローセンササブシステム335によって必要とされる光源を生成する。IR光は、概してホットミラー240によって反射されるが、これに対して、ヒトの眼230に可視な光は概してホットミラー240によって反射されない。フレーム260は、描写される様々なコンポーネントに関して機械的なサポートを提供し、外部光源からユーザの目230を保護する。
したがって、赤外線光を反射するホットミラーの能力に起因して、アイトラッキングセンサ(325、335)は、目の反射された像を検出する。ホットミラーおよびセンサの位置は、各特定の実装例の要求に依存して、レンズの前方および後方の様々な位置をとることができ、または、直接的に、または1または複数のミラーを通して間接的に目に向けられることができるので、図2Aから2Dは例示的なものである。
図2Bは、概してユーザの目の斜め後方から左へ見た、図2Aに示された構成の三次元バージョンを示す。
図2Cおよび2Dは、2つのオプティカルフローセンサ(335a、335b)およびそれらのそれぞれの反射位置(335a−r、335b−r)を含む、2つの異なる角度から見た別の例示的構成を示す。(オプティカルフローセンサ335aは、図2Dにおいて可視ではない)
図3は、本発明の複数の特定の実施形態の態様を実装するように使用され得る、HMD用途のためのアイトラッキングシステム設計の例示的な図である。図3は、第1の解像度レベルおよび第1のサンプルレートで観察視野(330)に画像を表すシーケンシャルな二次元サンプルを撮像するアイトラッキングカメラサブシステム(325)を含む、例示的なアイトラッキング装置(300)を示す。ここで、観察視野は人の目のうち、瞳を含む一部を有し、カメラベースの推定眼球位置を生成する。図3はさらに、観察視野の異なる部分領域にそれぞれ向けられた、1または複数のオプティカルフローセンサ(335)のアレイを示す。特定の実施形態において、これらのオプティカルフローセンサの各々は、第1の解像度レベルより低い解像度レベル(すなわち、カメラベースのサブシステム(325)の解像度レベル)で、および、第1のサンプルレートより速いサンプルレートで、対応する部分領域内でオプティカルフローを表すシーケンシャルなサンプルを撮像し、オプティカルフローベースの推定眼球位置を生成する。例えば、特定の実施形態において、第1の解像度レベルが各次元に関して100から200画素であり、第2の解像度レベルが、各次元に関して16から32画素であり、第1のサンプルレートが40から60Hzであり、第2のサンプルレートが500から6400Hzである。図3はまた、アイトラッキングカメラサブシステム(325)からのカメラベースの推定眼球位置と、オプティカルフローセンサ(335)のアレイからのオプティカルフローベースの推定眼球位置とを組み合わせて、最終的な推定眼球位置を生成するセンサフュージョンモジュール(305)を示す。特定の実施形態において、センサフュージョンモジュールは、この種類のセンサフュージョンの課題に関して有用なカルマンフィルタとして既知の種類のアルゴリズムを集合的に利用するが、いくつかの他のセンサフュージョン技術が、当業者には明らかであろう。
特定の実施形態において、アイトラッキングカメラサブシステム(325)は、赤外光周波数範囲において動作する。ある種のさらなる実施形態において、本発明に記載のアイトラッキング装置300はまた、アイトラッキングカメラサブシステムからのカメラベースの推定眼球位置に基づいて、任意の与えられた時点において無視する上記の1または複数のオプティカルフローセンサの部分集合を判断する、ノイズスケルチングシステムを含む。
各実装の特定の要件に依存して、アイトラッキングカメラサブシステムおよびオプティカルフローセンサのアレイは、ヘッドマウントディスプレイ内に収容され得る。
図4は、本発明の複数の特定の実施形態の態様を実装するように使用され得る、HMD用途(400)のアイトラッキング方法の例示的なフロー図である。図4に示されるように、例示的な方法は、アイトラッキングカメラサブシステムによって、第1の解像度レベルおよび第1のサンプルレートで観察視野の画像を表すシーケンシャルな二次元サンプルを撮像して、カメラベースの推定眼球位置(425)を生成することを含み、ここで、観察視野は人の目の、瞳を含んだ一部を有する。方法はまた、1または複数のオプティカルフローセンサによって、上記第1の解像度レベルより低い解像度レベルおよび上記第1のサンプルレートより速いサンプルレートで観察視野の複数の部分領域内でオプティカルフローを表すシーケンシャルなサンプルを撮像して、複数のオプティカルフローベースの推定眼球位置(435)を生成する段階を含む。最後に、方法は、カメラベースの推定眼球位置とオプティカルフローベースの推定眼球位置とを組み合わせて、センサフュージョン機能を用いて最終的な推定眼球位置(405)を生成する段階を含む。
したがって、本発明の態様に従ったセンサフュージョン技法は、2つの相補的な追跡システムの組み合わせが、比較的低いコストで高フレームレート、低レイテンシ、正確なアイトラッキングを有する、両方のシステムの利点を有するシステムとなることを可能にする。これに対して、ある種の既存のカメラベースのアイトラッキングシステムは、瞳の位置に関する一定の絶対的な位置決め情報を提供するが、アイトラッキングを使用し得るある種の用途に関して必要な程度には、この情報を提供しないことがある。一方で、オプティカルフローセンサは、比較的高いデータレートで相対的なデータを生成できるが、不正確な位置データを提供することがある。本発明の態様に従ったセンサフュージョン技法は、システムが、遅いシステムの位置精度と速いシステムの相対的なデータとを組み合わせて、両方の世界の最良のものを取得し、非常に低レイテンシで正確なデータを提供することを可能にする。
本発明の態様は、フィールドプログラマブルゲートアレイ("FPGA")マイクロコントローラを用いて、特定の実施形態において実装され得る。そのような複数の実施形態において、1または複数のマイクロコントローラは、高速度FPGAフロントエンドを管理し、さらなる処理のために適切なインタフェースバス(例えばUSB)を通じてホストコンピュータに戻すためのデータストリームをパッケージングする。
前述の説明において、ある種の実施形態が、特定のデータ構造体、好ましく選択的な論点、好ましい制御フロー、および例に関して記載される。当業者が本出願を検討した後に理解されるであろう、記載の方法の他のさらなる用途は、本発明の範囲内にある。
上の説明は多くの特定事項を含み、ある種の例示的な実施形態は添付図面に記載および示されているが、様々な他の修正が、上に言及されたように、当業者に思い当たり得るので、そのような複数の実施形態は、広い発明を単に例示するにすぎず、限定的なものではないこと、および、この発明は示されて記載された特定の構築および構成に限定されるべきではないことが、理解されるべきである。本発明は、本明細書に開示された異なる実施例および/または実施形態からの要素の、任意の組み合わせまたは部分的組み合わせを含む。
Claims (18)
- 第1の解像度レベルおよび第1のサンプルレートで観察視野の画像を表すシーケンシャルな二次元サンプルを撮像し、カメラベースの推定眼球位置を生成する、アイトラッキングカメラサブシステムであって、前記観察視野は人の目のうち、瞳を含む一部を有する、アイトラッキングカメラサブシステムと、
それぞれが前記観察視野の異なる部分領域に向けられる、複数のオプティカルフローセンサであって、前記複数のオプティカルフローセンサの各々は、前記第1の解像度レベルより低い解像度レベルおよび前記第1のサンプルレートより速いサンプルレートで、対応する部分領域内でオプティカルフローを表すシーケンシャルなサンプルを撮像し、オプティカルフローベースの推定眼球位置を生成する、複数のオプティカルフローセンサと、
前記アイトラッキングカメラサブシステムからの前記カメラベースの推定眼球位置と、前記複数のオプティカルフローセンサの各々からの前記オプティカルフローベースの推定眼球位置とを組み合わせて、最終的な推定眼球位置を生成するセンサフュージョンモジュールと、
を備える、アイトラッキング装置。 - 前記アイトラッキングカメラサブシステムが、赤外光周波数範囲で動作する、請求項1に記載のアイトラッキング装置。
- 前記アイトラッキングカメラサブシステムからの前記カメラベースの推定眼球位置に基づいて、任意の与えられた時点において無視する前記複数のオプティカルフローセンサの部分集合を判断するノイズスケルチングシステムをさらに備える、
請求項1または2に記載のアイトラッキング装置。 - 前記アイトラッキングカメラサブシステムおよび前記複数のオプティカルフローセンサが、ヘッドマウントディスプレイ内に収容される、請求項1から3のいずれか一項に記載のアイトラッキング装置。
- 前記センサフュージョンモジュールがカルマンフィルタを含む、請求項1から4のいずれか一項に記載のアイトラッキング装置。
- アイトラッキングカメラサブシステムによって、第1の解像度レベルおよび第1のサンプルレートで観察視野の画像を表すシーケンシャルな二次元サンプルを撮像して、カメラベースの推定眼球位置を生成する段階であって、前記観察視野は人の目のうち、瞳を含む一部を有する、段階と、
複数のオプティカルフローセンサによって、前記第1の解像度レベルより低い解像度レベルおよび前記第1のサンプルレートより速いサンプルレートで、前記観察視野の複数の部分領域内でオプティカルフローを表すシーケンシャルなサンプルを撮像して、複数のオプティカルフローベースの推定眼球位置を生成する段階と、
前記カメラベースの推定眼球位置と、前記複数のオプティカルフローベースの推定眼球位置とを組み合わせて、センサフュージョン機能を用いて最終的な推定眼球位置を生成する段階と、
を備える、アイトラッキング方法。 - 前記アイトラッキングカメラサブシステムが、赤外光周波数範囲で動作する、請求項6に記載のアイトラッキング方法。
- 前記アイトラッキングカメラサブシステムからの前記カメラベースの推定眼球位置に基づいて、任意の与えられた時点において無視する前記複数のオプティカルフローセンサの部分集合を判断する段階をさらに備える、請求項6または7に記載のアイトラッキング方法。
- 前記アイトラッキングカメラサブシステムおよび前記複数のオプティカルフローセンサが、ヘッドマウントディスプレイ内に収容される、請求項6から8のいずれか一項に記載のアイトラッキング方法。
- 前記センサフュージョン機能がカルマンフィルタを含む、請求項6から9のいずれか一項に記載のアイトラッキング方法。
- 第1の解像度レベルおよび第1のサンプルレートで観察視野の画像を表すシーケンシャルな二次元サンプルを撮像し、カメラベースの推定眼球位置を生成する、アイトラッキングカメラサブシステムであって、前記観察視野は人の目のうち、瞳を含む一部を有する、アイトラッキングカメラサブシステムと、
それぞれが前記観察視野の異なる部分領域に向けられる、1または複数のオプティカルフローセンサであって、前記1または複数のオプティカルフローセンサの各々は、前記第1の解像度レベルより低い解像度レベルおよび前記第1のサンプルレートより速いサンプルレートで、対応する部分領域内でオプティカルフローを表すシーケンシャルなサンプルを撮像し、オプティカルフローベースの推定眼球位置を生成する、1または複数のオプティカルフローセンサと、
前記アイトラッキングカメラサブシステムからの前記カメラベースの推定眼球位置と、前記1または複数のオプティカルフローセンサの各々からの前記オプティカルフローベースの推定眼球位置とを組み合わせて、最終的な推定眼球位置を生成するセンサフュージョンモジュールと、
を備える、アイトラッキング装置。 - 前記アイトラッキングカメラサブシステムが、赤外光周波数範囲で動作する、請求項11に記載のアイトラッキング装置。
- 前記アイトラッキングカメラサブシステムおよび前記1または複数のオプティカルフローセンサが、ヘッドマウントディスプレイ内に収容される、請求項11または12に記載のアイトラッキング装置。
- 前記センサフュージョンモジュールがカルマンフィルタを含む、請求項11から13のいずれか一項に記載のアイトラッキング装置。
- アイトラッキングカメラサブシステムによって、第1の解像度レベルおよび第1のサンプルレートで観察視野の画像を表すシーケンシャルな二次元サンプルを撮像して、カメラベースの推定眼球位置を生成する段階であって、前記観察視野は人の目のうち、瞳を含む一部を有する、段階と、
1または複数のオプティカルフローセンサによって、前記第1の解像度レベルより低い解像度レベルおよび前記第1のサンプルレートより速いサンプルレートで、前記観察視野の1または複数の部分領域内でオプティカルフローを表すシーケンシャルなサンプルを撮像して、複数のオプティカルフローベースの推定眼球位置を生成する段階と、
前記カメラベースの推定眼球位置と、前記複数のオプティカルフローベースの推定眼球位置とを組み合わせて、センサフュージョン機能を用いて最終的な推定眼球位置を生成する段階と、
を備える、アイトラッキング方法。 - 前記アイトラッキングカメラサブシステムが、赤外光周波数範囲で動作する、請求項15に記載のアイトラッキング方法。
- 前記アイトラッキングカメラサブシステムおよび前記複数のオプティカルフローセンサが、ヘッドマウントディスプレイ内に収容される、請求項15または16に記載のアイトラッキング方法。
- 前記センサフュージョン機能がカルマンフィルタを含む、請求項15から17のいずれか一項に記載のアイトラッキング方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/258,551 | 2016-09-07 | ||
US15/258,551 US20180068449A1 (en) | 2016-09-07 | 2016-09-07 | Sensor fusion systems and methods for eye-tracking applications |
PCT/US2017/048160 WO2018048626A1 (en) | 2016-09-07 | 2017-08-23 | Sensor fusion systems and methods for eye-tracking applications |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019531782A true JP2019531782A (ja) | 2019-11-07 |
Family
ID=61281376
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019511537A Pending JP2019531782A (ja) | 2016-09-07 | 2017-08-23 | アイトラッキング用途のためのセンサフュージョンのシステムおよび方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20180068449A1 (ja) |
EP (1) | EP3490434A4 (ja) |
JP (1) | JP2019531782A (ja) |
KR (1) | KR20190072519A (ja) |
CN (1) | CN109715047B (ja) |
WO (1) | WO2018048626A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022234383A1 (ja) * | 2021-05-07 | 2022-11-10 | 株式会社半導体エネルギー研究所 | 電子機器 |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10330935B2 (en) * | 2016-09-22 | 2019-06-25 | Apple Inc. | Predictive, foveated virtual reality system |
CN106908951A (zh) * | 2017-02-27 | 2017-06-30 | 阿里巴巴集团控股有限公司 | 虚拟现实头戴设备 |
US10863812B2 (en) * | 2018-07-18 | 2020-12-15 | L'oreal | Makeup compact with eye tracking for guidance of makeup application |
US11022809B1 (en) | 2019-02-11 | 2021-06-01 | Facebook Technologies, Llc | Display devices with wavelength-dependent reflectors for eye tracking |
CN109949423A (zh) * | 2019-02-28 | 2019-06-28 | 华南机械制造有限公司 | 三维可视化展示交互方法、装置、存储介质及终端设备 |
CN110111688B (zh) * | 2019-05-24 | 2022-04-08 | 亿信科技发展有限公司 | 一种显示面板、显示方法及显示*** |
CN110225252B (zh) * | 2019-06-11 | 2021-07-23 | Oppo广东移动通信有限公司 | 拍照控制方法及相关产品 |
CN110426845B (zh) * | 2019-08-09 | 2021-03-23 | 业成科技(成都)有限公司 | 眼球追踪架构 |
EP4025990A1 (en) | 2019-09-05 | 2022-07-13 | Dolby Laboratories Licensing Corporation | Viewer synchronized illumination sensing |
SE543354C2 (en) * | 2019-09-30 | 2020-12-15 | Tobii Ab | Methods and systems for a head-mounted device for updating an eye tracking model |
GB2588920A (en) | 2019-11-14 | 2021-05-19 | Continental Automotive Gmbh | An autostereoscopic display system and method of projecting a gaze position for the same |
US11803237B2 (en) * | 2020-11-14 | 2023-10-31 | Facense Ltd. | Controlling an eye tracking camera according to eye movement velocity |
CN115514590B (zh) * | 2021-06-03 | 2024-01-05 | 台达电子工业股份有限公司 | 电动载具部件、电动载具数据收集***及电动载具数据收集方法 |
CN113805334A (zh) * | 2021-09-18 | 2021-12-17 | 京东方科技集团股份有限公司 | 一种眼动追踪***、控制方法、显示面板 |
CN116745683A (zh) * | 2022-01-10 | 2023-09-12 | 京东方科技集团股份有限公司 | 眼动追踪装置和眼动追踪方法 |
CN114569056B (zh) * | 2022-01-28 | 2022-11-15 | 首都医科大学附属北京天坛医院 | 眼球检测和视觉模拟设备以及眼球检测以及视觉模拟方法 |
CN115963932B (zh) * | 2023-03-16 | 2023-05-26 | 苏州多感科技有限公司 | 基于光流传感器的用户按压操作识别方法和*** |
Family Cites Families (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6433760B1 (en) * | 1999-01-14 | 2002-08-13 | University Of Central Florida | Head mounted display with eyetracking capability |
JP3730079B2 (ja) * | 2000-03-21 | 2005-12-21 | 大日本スクリーン製造株式会社 | 基板処理装置 |
EP1357831A2 (en) * | 2001-02-09 | 2003-11-05 | Sensomotoric Instruments GmbH | Multidimensional eye tracking and position measurement system |
US6959102B2 (en) * | 2001-05-29 | 2005-10-25 | International Business Machines Corporation | Method for increasing the signal-to-noise in IR-based eye gaze trackers |
US7306337B2 (en) * | 2003-03-06 | 2007-12-11 | Rensselaer Polytechnic Institute | Calibration-free gaze tracking under natural head movement |
WO2007070853A2 (en) * | 2005-12-14 | 2007-06-21 | Digital Signal Corporation | System and method for tracking eyeball motion |
US7500669B2 (en) * | 2006-04-13 | 2009-03-10 | Xerox Corporation | Registration of tab media |
CN101515199B (zh) * | 2009-03-24 | 2011-01-05 | 北京理工大学 | 一种基于视线跟踪和p300脑电电位的字符输入装置 |
EP2261857A1 (en) * | 2009-06-12 | 2010-12-15 | Star Nav | Method for determining the position of an object in an image, for determining an attitude of a persons face and method for controlling an input device based on the detection of attitude or eye gaze |
CN105324794A (zh) * | 2013-04-10 | 2016-02-10 | 奥克兰联合服务有限公司 | 头部和眼睛跟踪 |
CN103325108A (zh) * | 2013-05-27 | 2013-09-25 | 浙江大学 | 一种融合光流与特征点匹配的单目视觉里程计的设计方法 |
GB201310359D0 (en) * | 2013-06-11 | 2013-07-24 | Sony Comp Entertainment Europe | Head-Mountable apparatus and systems |
US20140375541A1 (en) * | 2013-06-25 | 2014-12-25 | David Nister | Eye tracking via depth camera |
CN103365297B (zh) * | 2013-06-29 | 2016-03-09 | 天津大学 | 基于光流的四旋翼无人机飞行控制方法 |
US9304332B2 (en) * | 2013-08-22 | 2016-04-05 | Bespoke, Inc. | Method and system to create custom, user-specific eyewear |
US9459451B2 (en) * | 2013-12-26 | 2016-10-04 | Microsoft Technology Licensing, Llc | Eye tracking apparatus, method and system |
US20170090557A1 (en) * | 2014-01-29 | 2017-03-30 | Google Inc. | Systems and Devices for Implementing a Side-Mounted Optical Sensor |
GB2523356A (en) * | 2014-02-21 | 2015-08-26 | Tobii Technology Ab | Apparatus and method for robust eye/gaze tracking |
US9514364B2 (en) | 2014-05-29 | 2016-12-06 | Qualcomm Incorporated | Efficient forest sensing based eye tracking |
US9489739B2 (en) * | 2014-08-13 | 2016-11-08 | Empire Technology Development Llc | Scene analysis for improved eye tracking |
CN104359482A (zh) * | 2014-11-26 | 2015-02-18 | 天津工业大学 | 基于lk光流算法的视觉导航方法 |
US10043281B2 (en) * | 2015-06-14 | 2018-08-07 | Sony Interactive Entertainment Inc. | Apparatus and method for estimating eye gaze location |
CN205485072U (zh) * | 2016-03-04 | 2016-08-17 | 北京加你科技有限公司 | 一种头戴式显示设备 |
CN205540289U (zh) * | 2016-04-07 | 2016-08-31 | 北京博鹰通航科技有限公司 | 一种具有光流传感器的多旋翼无人机 |
-
2016
- 2016-09-07 US US15/258,551 patent/US20180068449A1/en not_active Abandoned
-
2017
- 2017-08-23 WO PCT/US2017/048160 patent/WO2018048626A1/en unknown
- 2017-08-23 EP EP17849310.2A patent/EP3490434A4/en not_active Withdrawn
- 2017-08-23 KR KR1020197009904A patent/KR20190072519A/ko unknown
- 2017-08-23 CN CN201780054296.7A patent/CN109715047B/zh active Active
- 2017-08-23 JP JP2019511537A patent/JP2019531782A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022234383A1 (ja) * | 2021-05-07 | 2022-11-10 | 株式会社半導体エネルギー研究所 | 電子機器 |
Also Published As
Publication number | Publication date |
---|---|
CN109715047B (zh) | 2021-08-03 |
WO2018048626A1 (en) | 2018-03-15 |
EP3490434A1 (en) | 2019-06-05 |
KR20190072519A (ko) | 2019-06-25 |
EP3490434A4 (en) | 2020-04-08 |
US20180068449A1 (en) | 2018-03-08 |
CN109715047A (zh) | 2019-05-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2019531782A (ja) | アイトラッキング用途のためのセンサフュージョンのシステムおよび方法 | |
CN110908503B (zh) | 跟踪设备的位置的方法 | |
KR102281026B1 (ko) | 홀로그램 앵커링 및 동적 포지셔닝 기법 | |
CN108136258B (zh) | 基于跟踪眼部运动来调整图像帧的方法、***及头戴式设备 | |
US9710973B2 (en) | Low-latency fusing of virtual and real content | |
US11127380B2 (en) | Content stabilization for head-mounted displays | |
CN112515624B (zh) | 使用低分辨率图像跟踪眼睛 | |
EP3092546B1 (en) | Target positioning with gaze tracking | |
KR101789357B1 (ko) | 증강 현실 시스템 및 개선된 초점 제공 방법 | |
US9165381B2 (en) | Augmented books in a mixed reality environment | |
US20130326364A1 (en) | Position relative hologram interactions | |
KR20190032473A (ko) | 세계 및 사용자 센서들을 갖는 디스플레이 시스템 | |
US20130328925A1 (en) | Object focus in a mixed reality environment | |
KR20160024986A (ko) | 깊이 카메라를 통한 시선 추적 | |
JP2016525741A (ja) | 共有ホログラフィックオブジェクトおよびプライベートホログラフィックオブジェクト | |
KR102144040B1 (ko) | 헤드 마운트 디스플레이의 얼굴 센서를 사용한 얼굴과 안구 추적 및 얼굴 애니메이션 | |
KR101788452B1 (ko) | 시선 인식을 이용하는 콘텐츠 재생 장치 및 방법 | |
US20210068652A1 (en) | Glint-Based Gaze Tracking Using Directional Light Sources | |
CN110895433B (zh) | 用于增强现实中用户交互的方法和装置 | |
US20240144533A1 (en) | Multi-modal tracking of an input device | |
US11743447B2 (en) | Gaze tracking apparatus and systems | |
CN118394205A (en) | Mixed reality interactions using eye tracking techniques |