JP2023504207A - ユーザ識別に基づいて頭部搭載型ディスプレイシステムを動作させるためのシステムおよび方法 - Google Patents

ユーザ識別に基づいて頭部搭載型ディスプレイシステムを動作させるためのシステムおよび方法 Download PDF

Info

Publication number
JP2023504207A
JP2023504207A JP2022534697A JP2022534697A JP2023504207A JP 2023504207 A JP2023504207 A JP 2023504207A JP 2022534697 A JP2022534697 A JP 2022534697A JP 2022534697 A JP2022534697 A JP 2022534697A JP 2023504207 A JP2023504207 A JP 2023504207A
Authority
JP
Japan
Prior art keywords
user
eyes
eye
wearable system
image light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022534697A
Other languages
English (en)
Other versions
JPWO2021119212A5 (ja
Inventor
シウリ ダス，
スラジ マンジュナス シャンバーグ，
アビシェーク ナライン，
ヤン シュー，
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of JP2023504207A publication Critical patent/JP2023504207A/ja
Publication of JPWO2021119212A5 publication Critical patent/JPWO2021119212A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/34—User authentication involving the use of external additional devices, e.g. dongles or smart cards
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0181—Adaptation to the pilot/driver
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0185—Displaying image at variable distance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Eye Examination Apparatus (AREA)
  • Collating Specific Patterns (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

複合現実ディスプレイシステムを含む、拡張現実ディスプレイシステム等のディスプレイシステム内の深度面選択のためのシステムおよび方法が、開示される。ディスプレイは、仮想画像コンテンツを、画像光を介して、ユーザの眼に提示し得る。ディスプレイは、画像光をユーザの眼に出力し得、画像光は、ユーザから離れた異なる距離における異なる深度面に対応する、異なる波面発散量を有する。カメラが、眼の画像を捕捉し得る。インジケーションが、眼の取得された画像に基づいて生成され、ユーザが識別されるかどうかを示し得る。ディスプレイは、画像光をユーザの眼に出力するように制御され得、画像光は、少なくとも部分的に、ユーザが識別されるかどうかを示す、生成されたインジケーションに基づいて、異なる波面発散量を有する。

Description

（関連出願の相互参照）
本願は、３５ Ｕ．Ｓ．Ｃ． §１１９（ｅ）（米国特許法第１１９条（ｅ））下、参照することによってその全体として本明細書に組み込まれる、２０１９年１２月９日に出願され、「ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＯＰＥＲＡＴＩＮＧ Ａ ＨＥＡＤ－ＭＯＵＮＴＥＤ ＤＩＳＰＬＡＹ ＳＹＳＴＥＭ ＢＡＳＥＤ ＯＮ ＵＳＥＲ ＩＤＥＮＴＩＴＹ」と題された、米国仮出願第６２／９４５，５１７号の優先権を主張する。
（参照による組み込み）
本願は、参照することによって、以下の特許出願および刊行物、すなわち、２０１４年１１月２７日に出願され、２０１５年７月２３日に米国特許公開第２０１５／０２０５１２６として公開された、米国特許出願第１４／５５５，５８５号、２０１５年４月１８日に出願され、２０１５年１０月２２日に米国特許公開第２０１５／０３０２６５２号として公開された、米国特許出願第１４／６９０，４０１号、２０１４年３月１４日に出願され、現米国特許第９，４１７，４５２号である、２０１６年８月１６日に発行された、米国特許出願第１４／２１２，９６１号、２０１４年７月１４日に出願され、２０１５年１０月２９日に米国特許公開第２０１５／０３０９２６３号として公開された、米国特許出願第１４／３３１，２１８号、２０１８年３月２１日に出願された、米国特許出願第１５／９２７，８０８号、２０１６年１０月１２日に出願され、２０１７年４月２０日に米国特許公開第２０１７／０１０９５８０号として公開された、米国特許出願第１５／２９１，９２９号、２０１７年１月１７日に出願され、２０１７年７月２０日に米国特許公開第２０１７／０２０６４１２号として公開された、米国特許出願第１５／４０８，１９７号、２０１７年３月２４日に出願され、２０１７年９月２８日に米国特許公開第２０１７／０２７６９４８号として公開された、米国特許出願第１５／４６９３６９号、２０１８年１月１７日に出願された、米国仮出願第６２／６１８，５５９号、２０１９年１月１７日に出願された、米国特許出願第１６／２５０，９３１号、２０１５年５月６日に出願され、２０１６年４月２１日に米国特許公開第２０１６／０１１０９２０号として公開された、米国特許出願第１４／７０５，７４１号、２０１７年１０月１２日に公開された、米国特許公開第２０１７／０２９３１４５号、２０１８年５月３０日に出願され、２０１８年１２月６日に米国特許公開第２０１８／０３４８８６１号として公開された、米国特許出願第１５／９９３，３７１号、２０１６年５月１４日に出願され、２０１６年１２月８日に米国特許公開第２０１６／０３５８１８１号として公開された、米国特許出願第１５／１５５，０１３号、２０１８年３月２３日に出願され、２０１８年９月２７日に米国特許公開第２０１８／０２７６４６７号として公開された、米国特許出願第１５／９３４，９４１号、２０１８年３月１６日に出願された、米国仮出願第６２／６４４，３２１号、２０１９年１月１７日に出願された、米国特許出願第１６／２５１，０１７号、２０１８年７月２４日に出願された、米国仮出願第６２／７０２，８６６号、２０１９年７月２３日に出願された、国際特許出願第ＰＣＴ／ＵＳ２０１９／０４３０９６号、２０１８年８月３日に出願された、米国仮出願第６２／７１４，６４９号、２０１９年７月１７日号に出願された、米国仮出願第６２／８７５，４７４号、および２０１９年８月２日に出願された、米国特許出願第１６／５３０，９０４号のそれぞれの全体を組み込む。
本開示は、ディスプレイシステム、仮想現実、および拡張現実結像および可視化システムに関し、より具体的には、部分的に、ユーザの識別に基づく、深度面選択に関する。
現代のコンピューティングおよびディスプレイ技術は、いわゆる「仮想現実」、「拡張現実」、または「複合現実」体験のためのシステムの開発を促進しており、デジタル的に再現された画像またはその一部が、現実であるように見える、またはそのように知覚され得る様式でユーザに提示される。仮想現実、すなわち、「ＶＲ」シナリオは、典型的には、他の実際の実世界の視覚的入力に対する透過性を伴わずに、デジタルまたは仮想画像情報の提示を伴う。拡張現実、すなわち、「ＡＲ」シナリオは、典型的には、ユーザの周囲の実際の世界の可視化に対する拡張としてのデジタルまたは仮想画像情報の提示を伴う。複合現実または「ＭＲ」は、物理的および仮想オブジェクトが、共存し、リアルタイムで相互作用する、新しい環境を生成するための実世界と仮想世界の融合に関連する。
ヒトの視知覚系は、非常に複雑であって、他の仮想または実世界画像要素の中で仮想画像要素の快適で、自然のような感覚で、かつ豊かな提示を促進する、ＶＲ、ＡＲ、またはＭＲ技術を生産することは、困難である。本明細書に開示されるシステムおよび方法は、ＶＲ、ＡＲ、およびＭＲ技術に関連する種々の課題に対処する。
複合現実ディスプレイシステムを含む、拡張現実ディスプレイシステム等のディスプレイシステムにおける、深度面選択のためのシステムおよび方法の種々の実施例が、開示される。
ウェアラブルシステムは、１つまたはそれを上回るディスプレイと、１つまたはそれを上回るカメラと、１つまたはそれを上回るプロセッサとを含んでもよい。１つまたはそれを上回るディスプレイは、仮想画像コンテンツを、画像光を介して、ユーザの片眼または両眼に提示するように構成されてもよく、１つまたはそれを上回るディスプレイは、画像光をユーザの片眼または両眼に出力するステップのために構成され、画像光は、ユーザから離れた異なる距離における異なる深度面に対応する、異なる波面発散量を有する。１つまたはそれを上回るカメラは、ユーザの片眼または両眼の画像を捕捉するステップのために構成されてもよい。１つまたはそれを上回るプロセッサは、１つまたはそれを上回るカメラによって捕捉されるようなユーザの片眼または両眼の１つまたはそれを上回る画像を取得するステップと、ユーザの片眼または両眼の１つまたはそれを上回る取得された画像に基づいて、インジケーションを生成するステップであって、生成されたインジケーションは、ユーザが識別されるかどうかを示す、ステップと、１つまたはそれを上回るディスプレイを制御し、画像光をユーザの片眼または両眼に出力するステップであって、画像光は、少なくとも部分的に、ユーザが識別されるかどうかを示す、生成されたインジケーションに基づいて、異なる波面発散量を有する、ステップとのために構成されてもよい。
いくつかのシステム実施形態では、ユーザが識別されるかどうかを示す、インジケーションを生成するステップは、１つまたはそれを上回る虹彩走査動作または１つまたはそれを上回る虹彩認証動作を実施するステップを含んでもよい。
いくつかのシステム実施形態では、生成されたインジケーションは、ユーザが登録されたユーザと識別されることを示し、生成されたインジケーションが、ユーザが登録されたユーザと識別されることを示すことに応答して、１つまたはそれを上回るプロセッサは、１つまたはそれを上回るディスプレイを制御し、画像光をユーザの片眼または両眼に出力するステップであって、画像光は、少なくとも部分的に、登録されたユーザと関連付けられる設定に基づいて、異なる波面発散量を有する、ステップを含むように、１つまたはそれを上回るディスプレイを制御し、画像光をユーザの片眼または両眼に出力するステップを実施するために構成されてもよい。
いくつかのシステム実施形態では、生成されたインジケーションは、ユーザが登録されたユーザと識別されないことを示し、生成されたインジケーションが、ユーザが登録されたユーザと識別されないことを示すことに応答して、１つまたはそれを上回るプロセッサは、１つまたはそれを上回るディスプレイを制御し、画像光をユーザの片眼または両眼に出力するステップであって、画像光は、少なくとも部分的に、デフォルト設定のセットに基づいて、異なる波面発散量を有する、ステップを含むように、１つまたはそれを上回るディスプレイを制御し、画像光をユーザの片眼または両眼に出力するステップを実施するために構成されてもよい。
いくつかのシステム実施形態では、生成されたインジケーションは、ユーザが登録されたユーザと識別されないことを示し、生成されたインジケーションが、ユーザが登録されたユーザと識別されないことを示すことに応答して、１つまたはそれを上回るプロセッサは、１つまたはそれを上回る動作のセットを実施し、ユーザを虹彩認証にエンロールする、またはユーザのための較正プロファイルを生成するステップと、少なくとも部分的に、１つまたはそれを上回る動作のセットを実施することを通して取得される情報に基づいて、ユーザのための設定を決定するステップとのために構成されてもよい。１つまたはそれを上回るディスプレイを制御し、画像光をユーザの片眼または両眼に出力するステップは、１つまたはそれを上回るディスプレイを制御し、画像光をユーザの片眼または両眼に出力するステップであって、画像光は、少なくとも部分的に、ユーザのために決定された設定に基づいて、異なる波面発散量を有する、ステップを含んでもよい。
いくつかのシステム実施形態では、１つまたはそれを上回るプロセッサは、１つまたはそれを上回るディスプレイを制御し、仮想標的をユーザに提示するステップのために構成されてもよい。１つまたはそれを上回るカメラによって捕捉されるようなユーザの片眼または両眼の１つまたはそれを上回る画像を取得するステップは、仮想標的がユーザに提示されている間、１つまたはそれを上回るカメラによって捕捉されるようなユーザの片眼または両眼の１つまたはそれを上回る画像を取得するステップを含んでもよい。
いくつかのシステム実施形態では、１つまたはそれを上回るプロセッサは、１つまたはそれを上回る動作を実施し、ユーザが識別されるかどうかを示す、インジケーションを生成する際、ユーザ識別の正確度または信頼性を改良するように試みるステップのために構成されてもよい。
方法は、１つまたはそれを上回るディスプレイによって、仮想画像コンテンツを、画像光を介して、ユーザの片眼または両眼に提示するステップであって、１つまたはそれを上回るディスプレイは、画像光をユーザの片眼または両眼に出力するために構成され、画像光は、ユーザから離れた異なる距離における異なる深度面に対応する、異なる波面発散量を有する、ステップを含んでもよい。本方法は、１つまたはそれを上回るカメラによって、ユーザの片眼または両眼の画像を捕捉するステップと、１つまたはそれを上回るカメラによって捕捉されるようなユーザの片眼または両眼の１つまたはそれを上回る画像を取得するステップとを含んでもよい。本方法は、ユーザの片眼または両眼の１つまたはそれを上回る取得された画像に基づいて、インジケーションを生成するステップであって、生成されたインジケーションは、ユーザが識別されるかどうかを示す、ステップと、１つまたはそれを上回るディスプレイを制御し、画像光をユーザの片眼または両眼に出力するステップであって、画像光は、少なくとも部分的に、ユーザが識別されるかどうかを示す、生成されたインジケーションに基づいて、異なる波面発散量を有する、ステップとを含んでもよい。
いくつかの方法実施形態では、ユーザが識別されるかどうかを示す、インジケーションを生成するステップは、１つまたはそれを上回る虹彩走査動作または１つまたはそれを上回る虹彩認証動作を実施するステップを含んでもよい。
いくつかの方法実施形態では、生成されたインジケーションは、ユーザが登録されたユーザと識別されることを示す。本方法は、生成されたインジケーションが、ユーザが登録されたユーザと識別されることを示すことに応答して、１つまたはそれを上回るディスプレイを制御し、画像光をユーザの片眼または両眼に出力するステップであって、画像光は、少なくとも部分的に、登録されたユーザと関連付けられる設定に基づいて、異なる波面発散量を有する、ステップを含むように、１つまたはそれを上回るディスプレイを制御し、画像光をユーザの片眼または両眼に出力するステップを実施するステップを含んでもよい。
いくつかの方法実施形態では、生成されたインジケーションは、ユーザが登録されたユーザと識別されないことを示す。本方法は、生成されたインジケーションが、ユーザが登録されたユーザと識別されないことを示すことに応答して、１つまたはそれを上回るディスプレイを制御し、画像光をユーザの片眼または両眼に出力するステップであって、画像光は、少なくとも部分的に、デフォルト設定のセットに基づいて、異なる波面発散量を有する、ステップを含むように、１つまたはそれを上回るディスプレイを制御し、画像光をユーザの片眼または両眼に出力するステップを実施するステップを含んでもよい。
いくつかの方法実施形態では、生成されたインジケーションは、ユーザが登録されたユーザと識別されないことを示す。本方法は、生成されたインジケーションが、ユーザが登録されたユーザと識別されないことを示すことに応答して、１つまたはそれを上回る動作のセットを実施し、ユーザを虹彩認証にエンロールする、またはユーザのための較正プロファイルを生成するステップと、少なくとも部分的に、１つまたはそれを上回る動作のセットを実施することを通して取得される情報に基づいて、ユーザのための設定を決定するステップとを含んでもよい。１つまたはそれを上回るディスプレイを制御し、画像光をユーザの片眼または両眼に出力するステップは、１つまたはそれを上回るディスプレイを制御し、画像光をユーザの片眼または両眼に出力するステップであって、画像光は、少なくとも部分的に、ユーザのために決定された設定に基づいて、異なる波面発散量を有する、ステップを含んでもよい。
いくつかの方法実施形態では、本方法は、１つまたはそれを上回るディスプレイを制御し、仮想標的をユーザに提示するステップを含んでもよい。１つまたはそれを上回るカメラによって捕捉されるようなユーザの片眼または両眼の１つまたはそれを上回る画像を取得するステップは、仮想標的がユーザに提示されている間、１つまたはそれを上回るカメラによって捕捉されるようなユーザの片眼または両眼の１つまたはそれを上回る画像を取得するステップを含んでもよい。
いくつかの方法実施形態では、本方法は、ユーザが識別されるかどうかを示す、インジケーションを生成する際、１つまたはそれを上回る動作を実施し、ユーザ識別の正確度または信頼性を改良するように試みるステップを含んでもよい。
非一過性コンピュータ可読媒体は、ウェアラブルシステムの１つまたはそれを上回るプロセッサによって実行されると、ウェアラブルシステムに、方法を実施させる、命令を記憶してもよい。本方法は、ウェアラブルシステムの１つまたはそれを上回るディスプレイによって、仮想画像コンテンツを、画像光を介して、ユーザの片眼または両眼に提示するステップであって、１つまたはそれを上回るディスプレイは、画像光をユーザの片眼または両眼に出力するために構成され、画像光は、ユーザから離れた異なる距離における異なる深度面に対応する、異なる波面発散量を有する、ステップを含んでもよい。本方法は、ウェアラブルシステムの１つまたはそれを上回るカメラによって、ユーザの片眼または両眼の画像を捕捉するステップと、１つまたはそれを上回るカメラによって捕捉されるようなユーザの片眼または両眼の１つまたはそれを上回る画像を取得するステップとを含んでもよい。本方法は、ユーザの片眼または両眼の１つまたはそれを上回る取得された画像に基づいて、インジケーションを生成するステップであって、生成されたインジケーションは、ユーザが識別されるかどうかを示す、ステップと、１つまたはそれを上回るディスプレイを制御し、画像光をユーザの片眼または両眼に出力するステップであって、画像光は、少なくとも部分的に、ユーザが識別されるかどうかを示す、生成されたインジケーションに基づいて、異なる波面発散量を有する、ステップとを含んでもよい。
いくつかの非一過性コンピュータ可読媒体実施形態では、ユーザが識別されるかどうかを示す、インジケーションを生成するステップは、１つまたはそれを上回る虹彩走査動作または１つまたはそれを上回る虹彩認証動作を実施するステップを含んでもよい。
いくつかの非一過性コンピュータ可読媒体実施形態では、生成されたインジケーションは、ユーザが登録されたユーザと識別されることを示す。本方法は、生成されたインジケーションが、ユーザが登録されたユーザと識別されることを示すことに応答して、１つまたはそれを上回るディスプレイを制御し、画像光をユーザの片眼または両眼に出力するステップであって、画像光は、少なくとも部分的に、登録されたユーザと関連付けられる設定に基づいて、異なる波面発散量を有する、ステップを含むように、１つまたはそれを上回るディスプレイを制御し、画像光をユーザの片眼または両眼に出力するステップを実施するステップを含んでもよい。
いくつかの非一過性コンピュータ可読媒体実施形態では、生成されたインジケーションは、ユーザが登録されたユーザと識別されないことを示す。本方法は、生成されたインジケーションが、ユーザが登録されたユーザと識別されないことを示すことに応答して、１つまたはそれを上回るディスプレイを制御し、画像光をユーザの片眼または両眼に出力するステップであって、画像光は、少なくとも部分的に、デフォルト設定のセットに基づいて、異なる波面発散量を有する、ステップを含むように、１つまたはそれを上回るディスプレイを制御し、画像光をユーザの片眼または両眼に出力するステップを実施するステップを含んでもよい。
いくつかの非一過性コンピュータ可読媒体実施形態では、生成されたインジケーションは、ユーザが登録されたユーザと識別されないことを示す。本方法は、生成されたインジケーションが、ユーザが登録されたユーザと識別されないことを示すことに応答して、１つまたはそれを上回る動作のセットを実施し、ユーザを虹彩認証にエンロールする、またはユーザのための較正プロファイルを生成するステップと、少なくとも部分的に、１つまたはそれを上回る動作のセットを実施することを通して取得される情報に基づいて、ユーザのための設定を決定するステップとを含んでもよい。１つまたはそれを上回るディスプレイを制御し、画像光をユーザの片眼または両眼に出力するステップは、１つまたはそれを上回るディスプレイを制御し、画像光をユーザの片眼または両眼に出力するステップであって、画像光は、少なくとも部分的に、ユーザのために決定された設定に基づいて、異なる波面発散量を有する、ステップを含んでもよい。
いくつかの非一過性コンピュータ可読媒体実施形態では、本方法は、１つまたはそれを上回るディスプレイを制御し、仮想標的をユーザに提示するステップを含んでもよい。１つまたはそれを上回るカメラによって捕捉されるようなユーザの片眼または両眼の１つまたはそれを上回る画像を取得するステップは、仮想標的がユーザに提示されている間、１つまたはそれを上回るカメラによって捕捉されるようなユーザの片眼または両眼の１つまたはそれを上回る画像を取得するステップを含んでもよい。
図１は、人物によって視認されるある仮想現実オブジェクトおよびある物理的オブジェクトを伴う、複合現実シナリオの例証を描写する。
図２は、ウェアラブルシステムの実施例を図式的に図示する。
図３は、ウェアラブルシステムの例示的コンポーネントを図式的に図示する。
図４は、画像情報をユーザに出力するためのウェアラブルデバイスの導波管スタックの実施例を図式的に図示する。
図５は、眼の実施例および眼の眼姿勢を決定するための例示的座標系を図式的に図示する。
図６は、眼追跡システムを含む、ウェアラブルシステムの概略図である。
図７Ａは、眼追跡システムを含み得る、ウェアラブルシステムのブロック図である。
図７Ｂは、ウェアラブルシステム内のレンダリングコントローラのブロック図である。
図７Ｃは、頭部搭載型ディスプレイシステム内の位置合わせオブザーバのブロック図である。
図８Ａは、眼の角膜球面を示す、眼の概略図である。
図８Ｂは、眼追跡カメラによって検出される、例示的角膜閃光を図示する。
図８Ｃ－８Ｅは、ウェアラブルシステム内の眼追跡モジュールを用いてユーザの角膜中心を位置特定する、例示的段階を図示する。 図８Ｃ－８Ｅは、ウェアラブルシステム内の眼追跡モジュールを用いてユーザの角膜中心を位置特定する、例示的段階を図示する。 図８Ｃ－８Ｅは、ウェアラブルシステム内の眼追跡モジュールを用いてユーザの角膜中心を位置特定する、例示的段階を図示する。
図９Ａ－９Ｃは、眼追跡画像の座標系の例示的正規化を図示する。 図９Ａ－９Ｃは、眼追跡画像の座標系の例示的正規化を図示する。 図９Ａ－９Ｃは、眼追跡画像の座標系の例示的正規化を図示する。
図９Ｄ－９Ｇは、ウェアラブルシステム内の眼追跡モジュールを用いてユーザの瞳孔中心を位置特定する、例示的段階を図示する。 図９Ｄ－９Ｇは、ウェアラブルシステム内の眼追跡モジュールを用いてユーザの瞳孔中心を位置特定する、例示的段階を図示する。 図９Ｄ－９Ｇは、ウェアラブルシステム内の眼追跡モジュールを用いてユーザの瞳孔中心を位置特定する、例示的段階を図示する。 図９Ｄ－９Ｇは、ウェアラブルシステム内の眼追跡モジュールを用いてユーザの瞳孔中心を位置特定する、例示的段階を図示する。
図１０は、眼の光学軸および視軸および眼の回転中心を含む、眼の実施例を図示する。
図１１は、コンテンツをレンダリングする際、眼追跡を使用して、ウェアラブルデバイス内の位置合わせに関するフィードバックを提供するための方法の実施例のプロセスフロー図である。
図１２Ａおよび１２Ｂは、ユーザの眼に対するディスプレイ要素の公称位置を図示し、かつ相互に対するディスプレイ要素およびユーザの眼の位置を説明するための座標系を図示する。 図１２Ａおよび１２Ｂは、ユーザの眼に対するディスプレイ要素の公称位置を図示し、かつ相互に対するディスプレイ要素およびユーザの眼の位置を説明するための座標系を図示する。
図１３は、ウェアラブルシステムがユーザの眼移動に応答して深度面を切り替え得る方法を図示する、例示的グラフのセットである。
図１４は、既存の較正、動的較正、および／またはコンテンツベースの切替スキームを使用する、深度面選択のための方法の実施例のプロセスフロー図である。
図１５は、少なくとも部分的に、ユーザの瞳孔間距離に基づく、深度面選択のための方法の実施例のプロセスフロー図である。
図１６Ａは、ユーザの視野を水平軸に沿ってセグメント化する複数のゾーンのうちの１つ内のユーザ固視を検出することによって深度面を切り替えるように構成される、ディスプレイシステムによって提示されるユーザ視認コンテンツの表現の上下図の実施例を図示する。
図１６Ｂは、図１６Ａの表現の斜視図の実施例を図示する。
図１７Ａは、ディスプレイ錐台内における離散マーカ体積内のユーザ固視を検出することによって深度面を切り替えるように構成される、ディスプレイシステムによって提示されるユーザ視認コンテンツの表現の上下図の実施例を図示する。
図１７Ｂは、図１６Ａの表現の斜視図の実施例を図示する。
図１８は、コンテンツベースの切替に基づいて深度面を選択するための例示的プロセスのフローチャートを図示する。
図１９は、コンテンツベースの切替に基づいてゾーンを調節するための別の例示的プロセスのフローチャートを図示する。
図２０は、ユーザ識別に基づいて、頭部搭載型ディスプレイシステムを動作させるための例示的プロセスのフローチャートを図示する。
図面全体を通して、参照番号は、参照される要素間の対応を示すために再使用され得る。図面は、本明細書に説明される例示的実施形態を図示するために提供され、本開示の範囲を限定することを意図するものではない。
詳細な説明
本明細書に説明されるように、ディスプレイシステム（例えば、拡張現実または仮想現実ディスプレイシステム）は、ユーザから異なる知覚深度におけるユーザへの提示のために仮想コンテンツをレンダリングし得る。拡張現実ディスプレイシステムでは、異なる深度面は、仮想コンテンツを投影するために利用されてもよく、各深度面は、ユーザからの特定の知覚深度と関連付けられる。例えば、異なる波面発散を用いて光を出力するように構成される、導波管のスタックが、利用されてもよく、各深度面は、対応する波面発散を有し、少なくとも１つの導波管と関連付けられる。仮想コンテンツが、ユーザの視野を中心として移動するにつれて、仮想コンテンツは、３つの離散軸に沿って調節されてもよい。例えば、仮想コンテンツは、仮想コンテンツがユーザからの異なる知覚深度に提示され得るように、Ｘ、Ｙ、およびＺ軸に沿って調節されてもよい。ディスプレイシステムは、仮想コンテンツが、ユーザからより遠くに、またはそれに対してより近くに移動されると知覚されるように、深度面間で切り替えてもよい。切替深度面は、仮想コンテンツを形成する光の波面発散を離散ステップにおいて変化させるステップを伴ってもよいことを理解されたい。導波管ベースのシステムでは、いくつかの実施形態では、そのような深度面切替は、光を出力し、仮想コンテンツを形成する、導波管を切り替えるステップを伴ってもよい。
いくつかの実施形態では、ディスプレイシステムは、ユーザの眼の視線を監視し、ユーザが固視している、３次元固視点を決定するように構成されてもよい。固視点は、とりわけ、ユーザの眼間の距離および各眼の視線方向に基づいて決定されてもよい。これらの変数は、三角形の１つの角における固視点および他の角における眼と三角形を形成すると理解され得ることを理解されたい。また、較正が、ユーザの眼の配向を正確に追跡し、それらの眼の視線を決定または推定し、固視点を決定するために実施されてもよいことを理解されたい。したがって、完全較正を受けた後、ディスプレイデバイスは、そのデバイスのメインユーザに関する較正ファイルまたは較正情報を有し得る。メインユーザは、本明細書では、較正されたユーザとも称され得る。較正および眼追跡に関するさらなる詳細は、例えば、「ＥＹＥ ＴＲＡＣＫＩＮＧ ＣＡＬＩＢＲＡＴＩＯＮ ＴＥＣＨＮＩＱＵＥＳ」と題された米国特許出願第１５／９９３，３７１号（参照することによってその全体として本明細書に組み込まれる）に見出され得る。
ディスプレイシステムは、時として、完全較正を完了していないゲストユーザによっても使用され得る。加えて、これらのゲストユーザは、完全較正を実施する時間を有していない、またはそのように所望しない場合がある。しかしながら、ディスプレイシステムが、ゲストユーザの固視点を実際に追跡しない場合、深度面切替は、ユーザのための現実的かつ快適な視認体験を提供するために適切ではない場合がある。
したがって、ディスプレイシステムの現在のユーザは、較正されたユーザまたはゲストユーザとしてカテゴリ化され得ることを理解されたい。いくつかの実施形態では、ディスプレイシステムは、例えば、現在のユーザによって提供される、および／またはそこから取得される、情報が較正されたユーザと関連付けられる情報に合致するかどうかを決定するための識別または認証プロセスを実施することによる、現在のユーザが較正されたユーザであるかどうかを決定することによって、現在のユーザをカテゴリ化するように構成されてもよい。例えば、認証または識別プロセスは、ユーザ名および／またはパスワードを尋ね、それを照合する、虹彩走査を行う（例えば、ユーザの虹彩の現在の画像と基準画像を比較することによって）、音声認識を行う（例えば、ユーザの音声の現在のサンプルと基準音声ファイルを比較することによって）、およびＩＰＤ合致のうちの１つまたはそれを上回るものであってもよい。いくつかの実施形態では、ＩＰＤ合致は、現在のユーザのＩＰＤが較正されたユーザのＩＰＤに合致するかどうかを決定するステップを含んでもよい。合致が存在する場合、現在のユーザは、いくつかの実施形態では、較正されたユーザであると仮定され得る。合致が存在しない場合、現在のユーザは、いくつかの実施形態では、較正されたユーザではない（例えば、ゲストユーザである）と仮定され得る。いくつかの他の実施形態では、複数の認証プロセスが、現在のユーザに関して、現在のユーザが較正されたユーザであるかどうかの決定の正確度を増加させるために行われてもよい。
いくつかの実施形態では、現在のユーザが、較正されたユーザではない（例えば、ゲストユーザである）と決定される場合、ディスプレイシステムは、コンテンツベースの深度面切替を使用してもよい。例えば、ユーザの眼の固視点を決定し、固視点が位置する深度面に基づいて、深度面を切り替えるのではなく、ディスプレイシステムは、３Ｄ空間内においてそのコンテンツ（例えば、仮想オブジェクト）が設置されるように規定される、適切な量の波面発散を用いて、コンテンツを表示するように構成されてもよい。仮想オブジェクトは、関連付けられる場所または座標をユーザの周囲の３次元体積内に有し得、ディスプレイシステムは、その３次元体積内でユーザに対してオブジェクトの深度のために適切な波面発散の量を伴う光を使用して、オブジェクトを提示するように構成されてもよいことを理解されたい。
異なる深度における複数の仮想オブジェクトが表示されるべき場合、コンテンツベースの深度面切替は、固視されている仮想オブジェクトに関する大まかな決定を行うステップと、次いで、その仮想オブジェクトの場所を使用して、それに対して深度面切替が切り替えられるべき平面を確立するステップとを伴ってもよい。例えば、ユーザが特定の仮想オブジェクトを概ね固視していることを決定することに応じて、ディスプレイシステムは、その仮想オブジェクトと関連付けられる深度面に対応する波面発散を伴う光を出力するように構成されてもよい。いくつかの実施形態では、ユーザがオブジェクトを固視しているかどうかの本大まかな決定は、固視点がオブジェクトに一意のディスプレイシステム定義体積内にあるかどうかを決定するステップと、該当する場合、決定された固視点の深度に関係なく、そのオブジェクトと関連付けられる深度面に切り替わるステップとを伴ってもよい（体積が、複数の深度面を横断して延在する場合、ディスプレイシステムは、オブジェクトと関連付けられる深度面に切り替わるであろうように）。
いくつかの実施形態では、現在のユーザが、較正されたユーザではない（例えば、ゲストユーザである）と決定される場合、ディスプレイシステムは、ゲストユーザの瞳孔間距離（ＩＰＤ）を測定することによって、大まかな較正を実施してもよい。本大まかな較正は、動的較正とも称され得る。好ましくは、ＩＰＤは、ユーザの眼が、光学無限遠におけるオブジェクトに指向されている、またはその上に合焦されている間に測定される。いくつかの実施形態では、本ＩＰＤ値は、最大ＩＰＤ値であると理解され得る。最大ＩＰＤ値は、使用されてもよい、またはサンプリングされた値の分布内で選択されたより少ない値（例えば、サンプリングされたＩＰＤ値の９５パーセンタイルにおける値）が、固視点を決定するための基準値として利用されてもよい。例えば、本ＩＰＤ値は、その固視点が角（例えば、頂点）を形成する、想像上の三角形の１辺（例えば、底辺）を構成し得る。
したがって、いくつかの実施形態では、ディスプレイシステムは、ユーザがメインまたはゲストユーザであるかどうかを監視するように構成されてもよい。ユーザが、メインユーザである場合、較正ファイルが、アクセスされてもよい。ユーザが、ゲストユーザである場合、コンテンツベースの深度面切替が、利用されてもよく、および／またはＩＰＤを決定するステップを伴う、大まかな較正が、基準ＩＰＤ値を確立するために実施されてもよい。ディスプレイシステムは、本基準ＩＰＤ値を使用して、ゲストユーザの固視点を決定または推定し、したがって、深度面を切り替えるべきとき（例えば、仮想コンテンツを形成するために使用される光の波面発散を切り替えるべきとき）に関する決定を行うように構成されてもよい。
いくつかの実施形態では、ディスプレイシステムは、現在のユーザの動的較正に基づいて、コンテンツベースの深度面切替の実施から深度面切替の実施に遷移してもよい。例えば、そのような遷移は、コンテンツベースの深度面切替スキームに関連して取得されるデータが、信頼性がないと見なされる（例えば、ユーザが概ね固視している仮想オブジェクトに関する値が高レベルの不確実性または変動性を有する）、またはコンテンツが、複数の深度面に及ぶ異なる深度の範囲に提供される（例えば、仮想コンテンツが閾値数を上回る深度面に及ぶ）、状況において生じ得る。
ここで、同様の参照番号が全体を通して同様の部分を指す、図面を参照する。別様に示されない限り、図面は、概略であって、必ずしも、正確な縮尺で描かれていない。
ウェアラブルシステムの３Ｄディスプレイの実施例
ウェアラブルシステム（本明細書では、拡張現実（ＡＲ）システムとも称される）は、２Ｄまたは３Ｄ仮想画像をユーザに提示するために構成されることができる。画像は、組み合わせまたは同等物における、静止画像、ビデオのフレーム、またはビデオであってもよい。ウェアラブルシステムの少なくとも一部は、ユーザ相互作用のために、単独で、または組み合わせて、ＶＲ、ＡＲ、またはＭＲ環境を提示し得る、ウェアラブルデバイス上に実装されることができる。ウェアラブルデバイスは、ＡＲデバイス（ＡＲＤ）と同義的に使用されることができる。さらに、本開示の目的のために、用語「ＡＲ」は、用語「ＭＲ」と同義的に使用される。
図１は、人物によって視認される、ある仮想現実オブジェクトおよびある物理的オブジェクトを伴う、複合現実シナリオの例証を描写する。図１では、ＭＲ場面１００が、描写され、ＭＲ技術のユーザには、人々、木々、背景における建物、およびコンクリートプラットフォーム１２０を特徴とする、実世界公園状設定１１０が見える。これらのアイテムに加え、ＭＲ技術のユーザはまた、実世界プラットフォーム１２０上に立っているロボット像１３０と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ１４０とが「見える」と知覚するが、これらの要素は、実世界には存在しない。
３Ｄディスプレイが、真の深度感覚、より具体的には、表面深度のシミュレートされた感覚を生成するために、ディスプレイの視野内の点毎に、その仮想深度に対応する遠近調節応答を生成することが望ましくあり得る。ディスプレイ点に対する遠近調節応答が、収束および立体視の両眼深度キューによって決定されるようなその点の仮想深度に対応しない場合、ヒトの眼は、遠近調節衝突を体験し、不安定な結像、有害な眼精疲労、頭痛、および遠近調節情報の不在下では、表面深度のほぼ完全な欠如をもたらし得る。
ＶＲ、ＡＲ、およびＭＲ体験は、複数の深度面に対応する画像が視認者に提供されるディスプレイを有する、ディスプレイシステムによって提供されることができる。画像は、深度面毎に異なってもよく（例えば、場面またはオブジェクトの若干異なる提示を提供する）、視認者の眼によって別個に集束され、それによって、異なる深度面上に位置する場面に関する異なる画像特徴に合焦させるために要求される眼の遠近調節に基づいて、または合焦からずれている異なる深度面上の異なる画像特徴を観察することに基づいて、ユーザに深度キューを提供することに役立ち得る。本明細書のいずれかに議論されるように、そのような深度キューは、信用できる深度の知覚を提供する。
図２は、ウェアラブルシステム２００の実施例を図示し、これは、ＡＲ／ＶＲ／ＭＲ場面を提供するように構成されることができる。ウェアラブルシステム２００はまた、ＡＲシステム２００と称され得る。ウェアラブルシステム２００は、ディスプレイ２２０と、ディスプレイ２２０の機能をサポートするための種々の機械的および電子的モジュールおよびシステムとを含む。ディスプレイ２２０は、ユーザ、装着者、または視認者２１０によって装着可能である、フレーム２３０に結合されてもよい。ディスプレイ２２０は、ユーザ２１０の眼の正面に位置付けられることができる。ディスプレイ２２０は、ＡＲ／ＶＲ／ＭＲコンテンツをユーザに提示することができる。ディスプレイ２２０は、ユーザの頭部上に装着される、頭部搭載型ディスプレイ（ＨＭＤ）を備えることができる。
いくつかの実施形態では、スピーカ２４０が、フレーム２３０に結合され、ユーザの外耳道に隣接して位置付けられる（いくつかの実施形態では、示されない別のスピーカが、ユーザの他方の外耳道に隣接して位置付けられ、ステレオ／成形可能音制御を提供する）。ディスプレイ２２０は、環境からオーディオストリームを検出し、周囲音を捕捉するために、オーディオセンサ（例えば、マイクロホン）２３２を含むことができる。いくつかの実施形態では、示されない１つまたはそれを上回る他のオーディオセンサが、ステレオ音受信を提供するために位置付けられる。ステレオ音受信は、音源の場所を決定するために使用されることができる。ウェアラブルシステム２００は、音声または発話認識をオーディオストリームに実施することができる。
ウェアラブルシステム２００は、ユーザの周囲の環境内の世界を観察する、外向きに面した結像システム４６４（図４に示される）を含むことができる。ウェアラブルシステム２００はまた、ユーザの眼移動を追跡し得る、内向きに面した結像システム４６２（図４に示される）を含むことができる。内向きに面した結像システムは、一方の眼の移動または両方の眼の移動のいずれかを追跡することができる。内向きに面した結像システム４６２は、フレーム２３０に取り付けられてもよく、内向きに面した結像システムによって入手された画像情報を処理し、例えば、ユーザ２１０の眼の瞳孔直径または配向、眼の移動、または眼姿勢を決定し得る、処理モジュール２６０または２７０と電気通信してもよい。内向きに面した結像システム４６２は、１つまたはそれを上回るカメラを含んでもよい。例えば、少なくとも１つのカメラは、各眼を結像するために使用されてもよい。カメラによって入手された画像は、眼毎に、別個に、瞳孔サイズまたは眼姿勢を決定し、それによって、各眼への画像情報の提示がその眼に対して動的に調整されることを可能にするために使用されてもよい。
実施例として、ウェアラブルシステム２００は、外向きに面した結像システム４６４または内向きに面した結像システム４６２を使用して、ユーザの姿勢の画像を入手することができる。画像は、静止画像、ビデオのフレーム、またはビデオであってもよい。
ディスプレイ２２０は、有線導線または無線接続等によって、フレーム２３０に固定して取り付けられる、ユーザによって装着されるヘルメットまたは帽子に固定して取り付けられる、ヘッドホンに内蔵される、または別様にユーザ２１０に除去可能に取り付けられる（例えば、リュック式構成において、ベルト結合式構成において）等、種々の構成において搭載され得る、ローカルデータ処理モジュール２６０に動作可能に結合されることができる（２５０）。
ローカル処理およびデータモジュール２６０は、ハードウェアプロセッサおよび不揮発性メモリ（例えば、フラッシュメモリ）等のデジタルメモリを備えてもよく、その両方とも、データの処理、キャッシュ、および記憶を補助するために利用され得る。データは、ａ）画像捕捉デバイス（例えば、内向きに面した結像システムまたは外向きに面した結像システム内のカメラ）、オーディオセンサ（例えば、マイクロホン）、慣性測定ユニット（ＩＭＵ）、加速度計、コンパス、全地球測位システム（ＧＰＳ）ユニット、無線デバイス、またはジャイロスコープ等の（例えば、フレーム２３０に動作可能に結合される、または別様にユーザ２１０に取り付けられ得る）センサから捕捉されるデータ、または、ｂ）可能性として処理または読出後にディスプレイ２２０への通過のために、遠隔処理モジュール２７０または遠隔データリポジトリ２８０を使用して入手または処理されるデータを含んでもよい。ローカル処理およびデータモジュール２６０は、これらの遠隔モジュールがローカル処理およびデータモジュール２６０へのリソースとして利用可能であるように、有線または無線通信リンク等を介して、通信リンク２６２または２６４を遠隔処理モジュール２７０または遠隔データリポジトリ２８０に動作可能に結合されてもよい。加えて、遠隔処理モジュール２８０および遠隔データリポジトリ２８０は、相互に動作可能に結合されてもよい。
いくつかの実施形態では、遠隔処理モジュール２７０は、データまたは画像情報を分析および処理するように構成される、１つまたはそれを上回るプロセッサを備えてもよい。いくつかの実施形態では、遠隔データリポジトリ２８０は、デジタルデータ記憶設備を備えてもよく、これは、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であってもよい。いくつかの実施形態では、全てのデータが、記憶され、全ての算出が、ローカル処理およびデータモジュールにおいて実施され、遠隔モジュールからの完全に自律的な使用を可能にする。
ウェアラブルシステムの例示的コンポーネント
図３は、ウェアラブルシステムの例示的コンポーネントを図式的に図示する。図３は、ウェアラブルシステム２００を示し、これは、ディスプレイ２２０と、フレーム２３０とを含むことができる。引き伸ばし図２０２は、ウェアラブルシステム２００の種々のコンポーネントを図式的に図示する。ある実装では、図３に図示されるコンポーネントのうちの１つまたはそれを上回るものは、ディスプレイ２２０の一部であることができる。種々のコンポーネントは、単独で、または組み合わせて、ウェアラブルシステム２００のユーザまたはユーザの環境と関連付けられる種々のデータ（例えば、聴覚的または視覚的データ等）を収集することができる。他の実施形態は、ウェアラブルシステムが使用される用途に応じて、付加的またはより少ないコンポーネントを有してもよいことを理解されたい。なお、図３は、種々のコンポーネントのうちのいくつかと、ウェアラブルシステムを通して収集、分析、および記憶され得る、データのタイプとの基本概念とを提供する。
図３は、例示的ウェアラブルシステム２００を示し、これは、ディスプレイ２２０を含むことができる。ディスプレイ２２０は、ユーザの頭部、またはフレーム２３０に対応する、筐体またはフレーム２３０に搭載され得る、ディスプレイレンズ２２６を備えることができる。ディスプレイレンズ２２６は、筐体２３０によって、ユーザの眼３０２、３０４の正面に位置付けられる、１つまたはそれを上回る透明ミラーを備えてもよく、投影された光３３８を眼３０２、３０４の中にバウンスさせ、ビーム成形を促進しながら、また、ローカル環境からの少なくとも一部の光の透過を可能にするように構成されてもよい。投影された光ビーム３３８の波面は、投影された光の所望の焦点距離と一致するように屈曲または集束されてもよい。図示されるように、２つの広視野マシンビジョンカメラ３１６（世界カメラとも称される）が、筐体２３０に結合され、ユーザの周囲の環境を結像することができる。これらのカメラ３１６は、二重捕捉式可視光／非可視（例えば、赤外線）光カメラであることができる。カメラ３１６は、図４に示される外向きに面した結像システム４６４の一部であってもよい。世界カメラ３１６によって入手された画像は、姿勢プロセッサ３３６によって処理されることができる。例えば、姿勢プロセッサ３３６は、１つまたはそれを上回るオブジェクト認識装置７０８（例えば、図７に示される）を実装し、ユーザまたはユーザの環境内の別の人物の姿勢を識別する、またはユーザの環境内の物理的オブジェクトを識別することができる。
図３を継続して参照すると、光３３８を眼３０２、３０４の中に投影するように構成される、ディスプレイミラーおよび光学系を伴う、一対の走査式レーザ成形波面（例えば、深度のために）光投影モジュールが、示される。描写される図はまた、ユーザの眼３０２、３０４を追跡し、レンダリングおよびユーザ入力をサポート可能であるように構成される、赤外線光源３２６（発光ダイオード「ＬＥＤ」等）とペアリングされる、２つの小型赤外線カメラ３２４を示す。カメラ３２４は、図４に示される、内向きに面した結像システム４６２の一部であってもよい。ウェアラブルシステム２００はさらに、センサアセンブリ３３９を特徴とすることができ、これは、Ｘ、Ｙ、およびＺ軸加速度計能力および磁気コンパスおよびＸ、Ｙ、およびＺ軸ジャイロスコープ能力を備え、好ましくは、２００Ｈｚ等の比較的に高周波数でデータを提供し得る。センサアセンブリ３３９は、図２Ａを参照して説明される、ＩＭＵの一部であってもよい。描写されるシステム２００はまた、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、またはＡＲＭプロセッサ（高度縮小命令セット機械）等の頭部姿勢プロセッサ３３６を備えることができ、これは、リアルタイムまたは近リアルタイムユーザ頭部姿勢を捕捉デバイス３１６から出力された広視野画像情報から計算するように構成されてもよい。頭部姿勢プロセッサ３３６は、ハードウェアプロセッサであることができ、図２Ａに示されるローカル処理およびデータモジュール２６０の一部として実装されることができる。
ウェアラブルシステムはまた、１つまたはそれを上回る深度センサ２３４を含むことができる。深度センサ２３４は、環境内のオブジェクトとウェアラブルデバイスとの間の距離を測定するように構成されることができる。深度センサ２３４は、レーザスキャナ（例えば、ＬＩＤＡＲ）、超音波深度センサ、または深度感知カメラを含んでもよい。カメラ３１６が深度感知能力を有する、ある実装では、カメラ３１６はまた、深度センサ２３４と見なされ得る。
また、示されるものは、デジタルまたはアナログ処理を実行し、姿勢をセンサアセンブリ３３９からのジャイロスコープ、コンパス、または加速度計データから導出するように構成される、プロセッサ３３２である。プロセッサ３３２は、図２に示される、ローカル処理およびデータモジュール２６０の一部であってもよい。ウェアラブルシステム２００はまた、図３に示されるように、例えば、ＧＰＳ３３７（全地球測位システム）等の測位システムを含み、姿勢および測位分析を補助することができる。加えて、ＧＰＳはさらに、ユーザの環境についての遠隔ベース（例えば、クラウドベース）の情報を提供してもよい。本情報は、ユーザの環境内のオブジェクトまたは情報を認識するために使用されてもよい。
ウェアラブルシステムは、ＧＰＳ３３７および遠隔コンピューティングシステム（例えば、遠隔処理モジュール２７０、別のユーザのＡＲＤ等）によって入手されたデータを組み合わせてもよく、これは、ユーザの環境についてのより多くの情報を提供することができる。一実施例として、ウェアラブルシステムは、ＧＰＳデータに基づいて、ユーザの場所を決定し、ユーザの場所と関連付けられる仮想オブジェクトを含む、世界マップを読み出すことができる（例えば、遠隔処理モジュール２７０と通信することによって）。別の実施例として、ウェアラブルシステム２００は、世界カメラ３１６（図４に示される外向きに面した結像システム４６４の一部であってもよい）を使用して、環境を監視することができる。世界カメラ３１６によって入手された画像に基づいて、ウェアラブルシステム２００は、環境内のオブジェクトを検出することができる（例えば、図７に示される１つまたはそれを上回るオブジェクト認識装置７０８を使用することによって）。ウェアラブルシステムはさらに、ＧＰＳ３３７によって入手されたデータを使用して、キャラクタを解釈することができる。
ウェアラブルシステム２００はまた、レンダリングエンジン３３４を備えてもよく、これは、世界のユーザのビューのために、ユーザにローカルなレンダリング情報を提供し、スキャナの動作およびユーザの眼の中への結像を促進するように構成されることができる。レンダリングエンジン３３４は、ハードウェアプロセッサ（例えば、中央処理ユニットまたはグラフィック処理ユニット等）によって実装されてもよい。いくつかの実施形態では、レンダリングエンジンは、ローカル処理およびデータモジュール２６０の一部である。レンダリングエンジン３３４は、ウェアラブルシステム２００の他のコンポーネントに通信可能に結合されることができる（例えば、有線または無線リンクを介して）。例えば、レンダリングエンジン３３４は、通信リンク２７４を介して、眼カメラ３２４に結合され、通信リンク２７２を介して、投影サブシステム３１８（網膜走査ディスプレイに類似する様式において、走査レーザ配列を介して、光をユーザの眼３０２、３０４の中に投影することができる）に結合されることができる。レンダリングエンジン３３４はまた、それぞれ、リンク２７６および２９４を介して、例えば、センサ姿勢プロセッサ３３２および画像姿勢プロセッサ３３６等の他の処理ユニットと通信することができる。
カメラ３２４（例えば、小型赤外線カメラ）は、眼姿勢を追跡し、レンダリングおよびユーザ入力をサポートするために利用されてもよい。いくつかの例示的眼姿勢は、ユーザが見ている場所または合焦させている深度（眼の輻輳・開散運動を用いて推定されてもよい）を含んでもよい。ＧＰＳ３３７、ジャイロスコープ、コンパス、および加速度計３３９は、大まかなまたは高速姿勢推定を提供するために利用されてもよい。カメラ３１６のうちの１つまたはそれを上回るものは、画像および姿勢を入手することができ、これは、関連付けられるクラウドコンピューティングリソースからのデータと併せて、ローカル環境をマッピングし、ユーザビューを他者と共有するために利用されてもよい。
図３に描写される例示的コンポーネントは、例証目的のためだけのものである。複数のセンサおよび他の機能モジュールが、例証および説明の容易性のために、ともに示される。いくつかの実施形態は、これらのセンサまたはモジュールの１つのみまたはサブセットを含んでもよい。さらに、これらのコンポーネントの場所は、図３に描写される位置に限定されない。いくつかのコンポーネントは、ベルト搭載型コンポーネント、ハンドヘルドコンポーネント、またはヘルメットコンポーネント等、他のコンポーネント内に搭載または格納されてもよい。一実施例として、画像姿勢プロセッサ３３６、センサ姿勢プロセッサ３３２、およびレンダリングエンジン３３４は、ベルトパック内に位置付けられ、超広帯域、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線通信を介して、または有線通信を介して、ウェアラブルシステムの他のコンポーネントと通信するように構成されてもよい。描写される筐体２３０は、好ましくは、ユーザによって頭部搭載可能かつ装着可能である。しかしながら、ウェアラブルシステム２００のいくつかのコンポーネントは、ユーザの身体の他の部分に装着されてもよい。例えば、スピーカ２４０が、ユーザの耳の中に挿入され、音をユーザに提供してもよい。
ユーザの眼３０２、３０４の中への光３３８の投影に関して、いくつかの実施形態では、カメラ３２４は、一般に、眼の焦点の位置または「焦点深度」と一致する、ユーザの眼の中心が幾何学的に輻輳される場所を測定するために利用されてもよい。眼が輻輳する全ての点の３次元表面は、「単視軌跡」と称され得る。焦点距離は、有限数の深度をとり得る、または無限に変動し得る。輻輳・開散運動距離から投影された光は、対象の眼３０２、３０４に集束されるように現れる一方、輻輳・開散運動距離の正面または背後の光は、ぼかされる。本開示のウェアラブルシステムおよび他のディスプレイシステムの実施例はまた、米国特許公開第２０１６／０２７０６５６号（参照することによってその全体として本明細書に組み込まれる）に説明される。
ヒト視覚系は、複雑であって、深度の現実的知覚を提供することは、困難である。オブジェクトの視認者は、輻輳・開散運動と遠近調節の組み合わせに起因して、オブジェクトを３次元として知覚し得る。相互に対する２つの眼の輻輳・開散運動移動（例えば、眼の視線を収束させ、オブジェクトを固視するための相互に向かった、またはそこから離れる瞳孔の回転移動）は、眼の水晶体の合焦（または「遠近調節」）と密接に関連付けられる。正常条件下、焦点を１つのオブジェクトから異なる距離における別のオブジェクトに変化させるための眼の水晶体の焦点の変化または眼の遠近調節は、自動的に、「遠近調節－輻輳・開散運動反射」として知られる関係下、同一距離への輻輳・開散運動の合致する変化を自動的に生じさせるであろう。同様に、輻輳・開散運動の変化が、正常条件下、遠近調節の合致する変化を誘起するであろう。遠近調節と輻輳・開散運動との間のより良好な合致を提供するディスプレイシステムが３次元画像のより現実的かつ快適なシミュレーションを形成し得る。
さらに、約０．７ミリメートル未満のビーム直径を伴う、空間的にコヒーレントな光は、眼が合焦している場所にかかわらず、ヒトの眼によって正しく分解され得る。したがって、適切な焦点深度の錯覚を作成するために、眼の輻輳・開散運動が、カメラ３２４を用いて追跡されてもよく、レンダリングエンジン３３４および投影サブシステム３１８は、単視軌跡上またはそれに近接する全てのオブジェクトを合焦させてレンダリングし、全ての他のオブジェクトを可変程度に焦点をずらしてレンダリングするために利用されてもよい（例えば、意図的に作成されたぼけを使用して）。好ましくは、システム２２０は、ユーザに、約６０フレーム／秒またはそれを上回るフレームレートでレンダリングする。上記に説明されるように、好ましくは、カメラ３２４は、眼追跡のために利用されてもよく、ソフトウェアは、輻輳・開散運動幾何学形状だけではなく、また、ユーザ入力としての役割を果たすための焦点場所キューも取り上げるように構成されてもよい。好ましくは、そのようなディスプレイシステムは、昼間または夜間の使用のために好適な明度およびコントラストを用いて構成される。
いくつかの実施形態では、ディスプレイシステムは、好ましくは、視覚的オブジェクト整合のために約２０ミリ秒未満の待ち時間、約０．１度未満の角度整合、および約１弧分の分解能を有し、これは、理論によって限定されるわけではないが、ヒトの眼のほぼ限界であると考えられる。ディスプレイシステム２２０は、位置特定システムと統合されてもよく、これは、ＧＰＳ要素、光学追跡、コンパス、加速度計、または他のデータソースを伴い、位置および姿勢決定を補助し得る。位置特定情報は、関連世界のユーザのビュー内における正確なレンダリングを促進するために利用されてもよい（例えば、そのような情報は、眼鏡が実世界に対する場所を把握することを促進するであろう）。
いくつかの実施形態では、ウェアラブルシステム２００は、ユーザの眼の遠近調節に基づいて、１つまたはそれを上回る仮想画像を表示するように構成される。ユーザに画像が投影されている場所に合焦させるように強制する、従来の３Ｄディスプレイアプローチと異なり、いくつかの実施形態では、ウェアラブルシステムは、投影された仮想コンテンツの焦点を自動的に変動させ、ユーザに提示される１つまたはそれを上回る画像のより快適な視認を可能にするように構成される。例えば、ユーザの眼が、１ｍの現在の焦点を有する場合、画像は、ユーザの焦点と一致するように投影されてもよい。ユーザが、焦点を３ｍに偏移させる場合、画像は、新しい焦点と一致するように投影される。したがって、ユーザに所定の焦点を強制するのではなく、いくつかの実施形態のウェアラブルシステム２００は、ユーザの眼がより自然な様式において機能することを可能にする。
そのようなウェアラブルシステム２００は、仮想現実デバイスに対して典型的に観察される、眼精疲労、頭痛、および他の生理学的症状の発生率を排除または低減させ得る。これを達成するために、ウェアラブルシステム２００の種々の実施形態は、１つまたはそれを上回る可変焦点要素（ＶＦＥ）を通して、仮想画像を可変焦点距離に投影するように構成される。１つまたはそれを上回る実施形態では、３Ｄ知覚は、画像をユーザから固定された焦点面に投影する、多面焦点システムを通して達成されてもよい。他の実施形態は、可変平面焦点を採用し、焦点面は、ユーザの焦点の現在の状態と一致するように、ｚ－方向に往復して移動される。
多面焦点システムおよび可変平面焦点システムの両方において、ウェアラブルシステム２００は、眼追跡を採用し、ユーザの眼の輻輳・開散運動を決定し、ユーザの現在の焦点を決定し、仮想画像を決定された焦点に投影してもよい。他の実施形態では、ウェアラブルシステム２００は、ファイバスキャナまたは他の光生成源を通して、網膜を横断して、可変焦点の光ビームをラスタパターンで可変に投影する、光変調器を備える。したがって、画像を可変焦点距離に投影するウェアラブルシステム２００のディスプレイの能力は、ユーザがオブジェクトを３Ｄにおいて視認するための遠近調節を容易にするだけではなく、また、米国特許公開第２０１６／０２７０６５６号（参照することによってその全体として本明細書に組み込まれる）にさらに説明されるように、ユーザの眼球異常を補償するために使用されてもよい。いくつかの他の実施形態では、空間光変調器は、種々の光学コンポーネントを通して、画像をユーザに投影してもよい。例えば、以下にさらに説明されるように、空間光変調器は、画像を１つまたはそれを上回る導波管上に投影してもよく、これは、次いで、画像をユーザに伝送する。
導波管スタックアセンブリ
図４は、画像情報をユーザに出力するための導波管スタックの実施例を図示する。ウェアラブルシステム４００は、複数の導波管４３２ｂ、４３４ｂ、４３６ｂ、４３８ｂ、４４００ｂを使用して、３次元知覚を眼／脳に提供するために利用され得る、導波管のスタックまたはスタックされた導波管アセンブリ４８０を含む。いくつかの実施形態では、ウェアラブルシステム４００は、図２のウェアラブルシステム２００に対応し得、図４Ａは、そのウェアラブルシステム２００のいくつかの部分をより詳細に図式的に示す。例えば、いくつかの実施形態では、導波管アセンブリ４８０は、図２のディスプレイ２２０の中に統合されてもよい。
図４を継続して参照すると、導波管アセンブリ４８０はまた、複数の特徴４５８、４５６、４５４、４５２を導波管の間に含んでもよい。いくつかの実施形態では、特徴４５８、４５６、４５４、４５２は、レンズであってもよい。いくつかの実施形態では、レンズは、可変焦点要素（ＶＦＥ）であってもよい。例えば、いくつかの実施形態では、導波管アセンブリ４８０は、単に、２つの可変焦点要素と、それらの２つの可変焦点要素間の１つまたはそれを上回る導波管とを含んでもよい。ＶＦＥを伴う導波管アセンブリの実施例は、２０１７年１０月１２日に公開された米国特許公開第２０１７／０２９３１４５号（その開示全体は、参照することによって本明細書に組み込まれる）に開示される。他の実施形態では、特徴４５８、４５６、４５４、４５２は、レンズではなくてもよい。むしろ、それらは、単に、スペーサであってもよい（例えば、クラッディング層空気間隙を形成するためのまたは構造）。
導波管４３２ｂ、４３４ｂ、４３６ｂ、４３８ｂ、４４０ｂまたは複数のレンズ４５８、４５６、４５４、４５２は、種々のレベルの波面曲率または光線発散を用いて、画像情報を眼に送信するように構成されてもよい。各導波管レベルは、特定の深度面と関連付けられてもよく、その深度面に対応する画像情報を出力するように構成されてもよい。画像投入デバイス４２０、４２２、４２４、４２６、４２８は、それぞれ、眼４１０に向かった出力のために、各個別の導波管を横断して入射光を分散させるように構成され得る、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの中に画像情報を投入するために利用されてもよい。光は、画像投入デバイス４２０、４２２、４２４、４２６、４２８の出力表面から出射し、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの対応する入力縁の中に投入される。いくつかの実施形態では、光の単一ビーム（例えば、コリメートされたビーム）が、各導波管の中に投入され、特定の導波管と関連付けられる深度面に対応する特定の角度（および発散量）において眼４１０に向かって指向される、クローン化されるコリメートされたビームの場全体を出力してもよい。
いくつかの実施形態では、画像投入デバイス４２０、４２２、４２４、４２６、４２８は、それぞれ、対応する導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの中への投入のための画像情報をそれぞれ生成する、離散ディスプレイである。いくつかの他の実施形態では、画像投入デバイス４２０、４２２、４２４、４２６、４２８は、例えば、１つまたはそれを上回る光学導管（光ファイバケーブル等）を介して、画像情報を画像投入デバイス４２０、４２２、４２４、４２６、４２８のそれぞれに送り得る、単一の多重化されたディスプレイの出力端である。
コントローラ４６０が、スタックされた導波管アセンブリ４８０および画像投入デバイス４２０、４２２、４２４、４２６、４２８の動作を制御する。コントローラ４６０は、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂへの画像情報のタイミングおよび提供を調整する、プログラミング（例えば、非一過性コンピュータ可読媒体内の命令）を含む。いくつかの実施形態では、コントローラ４６０は、単一一体型デバイスまたは有線または無線通信チャネルによって接続される分散型システムであってもよい。コントローラ４６０は、いくつかの実施形態では、処理モジュール２６０または２７０（図２に図示される）の一部であってもよい。
導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂは、全内部反射（ＴＩＲ）によって各個別の導波管内で光を伝搬するように構成されてもよい。導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂはそれぞれ、主要上部表面および底部表面およびそれらの主要上部表面と底部表面との間に延在する縁を伴う、平面である、または別の形状（例えば、湾曲）を有してもよい。図示される構成では、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂはそれぞれ、各個別の導波管内で伝搬する光を導波管から外に再指向し、画像情報を眼４１０に出力することによって、光を導波管から抽出するように構成される、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａを含んでもよい。抽出された光はまた、外部結合光と称され得、光抽出光学要素はまた、外部結合光学要素と称され得る。抽出された光のビームは、導波管によって、導波管内で伝搬する光が光再指向要素に衝打する場所において出力される。光抽出光学要素（４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａ）は、例えば、反射または回折光学特徴であってもよい。説明を容易にし、図面を明確にするために、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの底部主要表面に配置されて図示されるが、いくつかの実施形態では、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、上部または底部主要表面に配置されてもよい、または導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの容積内に直接配置されてもよい。いくつかの実施形態では、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、透明基板に取り付けられ、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂを形成する、材料の層内に形成されてもよい。いくつかの他の実施形態では、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂは、材料のモノリシック片であってもよく、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、その材料片の表面上および／または内部に形成されてもよい。
図４を継続して参照すると、本明細書に議論されるように、各導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂは、光を出力し、特定の深度面に対応する画像を形成するように構成される。例えば、眼の最近傍の導波管４３２ｂは、そのような導波管４３２ｂの中に投入されるにつれて、コリメートされた光を眼４１０に送達するように構成されてもよい。コリメートされた光は、光学無限遠焦点面を表し得る。次の上方の導波管４３４ｂは、眼４１０に到達し得る前に、第１のレンズ４５２（例えば、負のレンズ）を通して通過する、コリメートされた光を送出するように構成されてもよい。第１のレンズ４５２は、眼／脳が、その次の上方の導波管４３４ｂから生じる光を光学無限遠から眼４１０に向かって内向きにより近い第１の焦点面から生じるものとして解釈するように、若干の凸面波面曲率を生成するように構成されてもよい。同様に、第３の上方の導波管４３６ｂは、眼４１０に到達する前に、その出力光を第１のレンズ４５２および第２のレンズ４５４の両方を通して通過させる。第１および第２のレンズ４５２および４５４の組み合わせられた屈折力は、眼／脳が、第３の導波管４３６ｂから生じる光が次の上方の導波管４３４ｂからの光であったよりも光学無限遠から人物に向かって内向きにさらに近い第２の焦点面から生じるものとして解釈するように、別の漸増量の波面曲率を生成するように構成されてもよい。
他の導波管層（例えば、導波管４３８ｂ、４４０ｂ）およびレンズ（例えば、レンズ４５６、４５８）も同様に構成され、スタック内の最高導波管４４０ｂを用いて、人物に最も近い焦点面を表す集約焦点力のために、その出力をそれと眼との間のレンズの全てを通して送出する。スタックされた導波管アセンブリ４８０の他側の世界４７０から生じる光を視認／解釈するとき、レンズ４５８、４５６、４５４、４５２のスタックを補償するために、補償レンズ層４３０が、スタックの上部に配置され、下方のレンズスタック４５８、４５６、４５４、４５２の集約力を補償してもよい。（補償レンズ層４３０およびスタックされた導波管アセンブリ４８０は、全体として、世界４７０から生じる光が、最初にスタックされた導波管アセンブリ４８０によって受光されたときに光が有していたものと実質的に同一レベルの発散（またはコリメーション）で眼４１０に伝達されるように構成され得る。）そのような構成は、利用可能な導波管／レンズ対と同じ数の知覚される焦点面を提供する。導波管の光抽出光学要素およびレンズの集束側面は両方とも、静的であってもよい（例えば、動的または電気活性ではない）。いくつかの代替実施形態では、一方または両方とも、電気活性特徴を使用して動的であってもよい。
図４を継続して参照すると、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、導波管と関連付けられる特定の深度面のために、光をそれらの個別の導波管から外に再指向し、かつ本光を適切な量の発散またはコリメーションを伴って出力するように構成されてもよい。結果として、異なる関連付けられる深度面を有する導波管が、関連付けられる深度面に応じて、異なる量の発散を伴って光を出力する、光抽出光学要素の異なる構成を有してもよい。いくつかの実施形態では、本明細書に議論されるように、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、光を具体的角度で出力するように構成され得る、立体または表面特徴であってもよい。例えば、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、立体ホログラム、表面ホログラム、および／または回折格子であってもよい。回折格子等の光抽出光学要素は、２０１５年６月２５日に公開された米国特許公開第２０１５／０１７８９３９号（参照することによってその全体として本明細書に組み込まれる）に説明される。
いくつかの実施形態では、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、回折パターンを形成する回折特徴または「回折光学要素」（本明細書では、「ＤＯＥ」とも称される）である。好ましくは、ＤＯＥは、ビームの光の一部のみがＤＯＥの各交点で眼４１０に向かって偏向される一方、残りが、全内部反射を介して、導波管を通して移動し続けるように、比較的に低回折効率を有する。画像情報を搬送する光は、したがって、複数の場所において導波管から出射する、いくつかの関連出射ビームに分割され、その結果、導波管内でバウンスする本特定のコリメートされたビームに関して、眼３０４に向かって非常に均一なパターンの出射放出となり得る。
いくつかの実施形態では、１つまたはそれを上回るＤＯＥは、それらが能動的に回折する「オン」状態と有意に回折しない「オフ」状態との間で切替可能であり得る。例えば、切替可能なＤＯＥは、ポリマー分散液晶の層を備えてもよく、その中で微小液滴は、ホスト媒体中に回折パターンを備え、微小液滴の屈折率は、ホスト材料の屈折率に実質的に整合するように切り替えられてもよい（その場合、パターンは、入射光を著しく回折させない）、または微小液滴は、ホスト媒体のものに合致しない屈折率に切り替えられてもよい（その場合、パターンは、入射光を能動的に回折させる）。
いくつかの実施形態では、深度面または被写界深度の数および分布は、視認者の眼の瞳孔サイズまたは配向に基づいて、動的に変動されてもよい。被写界深度は、視認者の瞳孔サイズと反比例して変化してもよい。その結果、視認者の眼の瞳孔のサイズが減少するにつれて、被写界深度は、その平面の場所が眼の焦点深度を越えるため判別不能である１つの平面が、判別可能となり、瞳孔サイズの低減および被写界深度の相当する増加に伴って、より合焦して現れ得るように増加する。同様に、異なる画像を視認者に提示するために使用される、離間された深度面の数は、減少された瞳孔サイズに伴って減少され得る。例えば、視認者は、一方の深度面から他方の深度面への眼の遠近調節を調節することなく、第１の深度面および第２の深度面の両方の詳細を１つの瞳孔サイズにおいて明確に知覚することが可能ではない場合がある。しかしながら、これらの２つの深度面は、同時に、遠近調節を変化させることなく、別の瞳孔サイズにおいてユーザにとって十分に合焦し得る。
いくつかの実施形態では、ディスプレイシステムは、瞳孔サイズまたは配向の決定に基づいて、または特定の瞳孔サイズまたは配向を示す電気信号の受信に応じて、画像情報を受信する導波管の数を変動させてもよい。例えば、ユーザの眼が、２つの導波管と関連付けられる２つの深度面間を区別不能である場合、コントローラ４６０（ローカル処理およびデータモジュール２６０の実施形態であり得る）は、これらの導波管のうちの１つへの画像情報の提供を停止するように構成またはプログラムされることができる。有利なこととして、これは、システムへの処理負担を低減させ、それによって、システムの応答性を増加させ得る。導波管のためのＤＯＥがオンおよびオフ状態間で切替可能である実施形態では、ＤＯＥは、導波管が画像情報を受信するとき、オフ状態に切り替えられてもよい。
いくつかの実施形態では、出射ビームに視認者の眼の直径未満の直径を有するという条件を満たさせることが望ましくあり得る。しかしながら、本条件を満たすことは、視認者の瞳孔のサイズの変動性に照らして、困難であり得る。いくつかの実施形態では、本条件は、視認者の瞳孔のサイズの決定に応答して出射ビームのサイズを変動させることによって、広範囲の瞳孔サイズにわたって満たされる。例えば、瞳孔サイズが減少するにつれて、出射ビームのサイズもまた、減少し得る。いくつかの実施形態では、出射ビームサイズは、可変開口を使用して変動されてもよい。
ウェアラブルシステム４００は、世界４７０の一部を結像する、外向きに面した結像システム４６４（例えば、デジタルカメラ）を含むことができる。世界４７０の本部分は、世界カメラの視野（ＦＯＶ）と称され得、結像システム４６４は、時として、ＦＯＶカメラとも称される。世界カメラのＦＯＶは、視認者２１０のＦＯＶと同一である場合とそうではない場合があり、これは、視認者２１０が所与の時間に知覚する、世界４７０の一部を包含する。例えば、いくつかの状況では、世界カメラのＦＯＶは、ウェアラブルシステム４００の視認者２１０の視野より大きくあり得る。視認者による視認または結像のために利用可能な領域全体は、動眼視野（ＦＯＲ）と称され得る。ＦＯＲは、装着者が、その身体、頭部、または眼を移動させ、空間内の実質的に任意の方向を知覚し得るため、ウェアラブルシステム４００を囲繞する４πステラジアンの立体角を含んでもよい。他のコンテキストでは、装着者の移動は、より抑制されてもよく、それに応じて、装着者のＦＯＲは、より小さい立体角に接し得る。外向きに面した結像システム４６４から得られた画像は、ユーザによって行われるジェスチャ（例えば、手または指のジェスチャ）を追跡し、ユーザの正面における世界４７０内のオブジェクトを検出する等のために、使用されることができる。
ウェアラブルシステム４００は、オーディオセンサ２３２、例えば、マイクロホンを含み、周囲音を捕捉することができる。上記に説明されるように、いくつかの実施形態では、１つまたはそれを上回る他のオーディオセンサが、発話源の場所の決定に有用なステレオ音受信を提供するために位置付けられることができる。オーディオセンサ２３２は、別の実施例として、指向性マイクロホンを備えることができ、これはまた、オーディオ源が位置する場所に関するそのような有用な指向性情報を提供することができる。ウェアラブルシステム４００は、発話源を位置特定する際、または特定の瞬間におけるアクティブ話者を決定するために等、外向きに面した結像システム４６４およびオーディオセンサ２３０の両方からの情報を使用することができる。例えば、ウェアラブルシステム４００は、単独で、または話者の反射された画像（例えば、鏡に見られるように）と組み合わせて、音声認識を使用して、話者の識別を決定することができる。別の実施例として、ウェアラブルシステム４００は、指向性マイクロホンから入手された音に基づいて、環境内の話者の位置を決定することができる。ウェアラブルシステム４００は、発話認識アルゴリズムを用いて、話者の位置から生じる音を解析し、発話のコンテンツを決定し、音声認識技法を使用して、話者の識別（例えば、名前または他の人口統計情報）を決定することができる。
ウェアラブルシステム４００はまた、眼移動および顔移動等のユーザの移動を観察する、内向きに面した結像システム４６６（例えば、デジタルカメラ）を含むことができる。内向きに面した結像システム４６６は、眼４１０の画像を捕捉し、眼３０４の瞳孔のサイズおよび／または配向を決定するために使用されてもよい。内向きに面した結像システム４６６は、ユーザが見ている方向（例えば、眼姿勢）を決定する際に使用するため、またはユーザのバイオメトリック識別のため（例えば、虹彩識別を介して）、画像を得るために使用されることができる。いくつかの実施形態では、少なくとも１つのカメラが、眼毎に、独立して、各眼の瞳孔サイズまたは眼姿勢を別個に決定し、それによって、各眼への画像情報の提示がその眼に対して動的に調整されることを可能にするために利用されてもよい。いくつかの他の実施形態では、単一眼４１０のみの瞳孔直径または配向（例えば、対の眼あたり単一カメラのみを使用して）が、決定され、ユーザの両眼に関して類似すると仮定された。内向きに面した結像システム４６６によって得られる画像は、ユーザに提示されるべきオーディオまたは視覚的コンテンツを決定するためにウェアラブルシステム４００によって使用され得る、ユーザの眼姿勢または気分を決定するために分析されてもよい。ウェアラブルシステム４００はまた、ＩＭＵ、加速度計、ジャイロスコープ等のセンサを使用して、頭部姿勢（例えば、頭部位置または頭部配向）を決定してもよい。
ウェアラブルシステム４００は、ユーザが、コマンドをコントローラ４６０に入力し、ウェアラブルシステム４００と相互作用し得る、ユーザ入力デバイス４６６を含むことができる。例えば、ユーザ入力デバイス４６６は、トラックパッド、タッチスクリーン、ジョイスティック、多自由度（ＤＯＦ）コントローラ、容量感知デバイス、ゲームコントローラ、キーボード、マウス、指向性パッド（Ｄパッド）、ワンド、触知デバイス、トーテム（例えば、仮想ユーザ入力デバイスとして機能する）等を含むことができる。マルチＤＯＦコントローラは、コントローラの一部または全部の可能性として考えられる平行移動（例えば、左／右、前方／後方、または上／下）または回転（例えば、ヨー、ピッチ、またはロール）におけるユーザ入力を感知することができる。平行移動をサポートする、マルチＤＯＦコントローラは、３ＤＯＦと称され得る一方、平行移動および回転をサポートする、マルチＤＯＦコントローラは、６ＤＯＦと称され得る。ある場合には、ユーザは、指（例えば、親指）を使用して、タッチセンサ式入力デバイスを押下またはその上でスワイプし、入力をウェアラブルシステム４００に提供してもよい（例えば、ユーザ入力をウェアラブルシステム４００によって提供されるユーザインターフェースに提供するために）。ユーザ入力デバイス４６６は、ウェアラブルシステム４００の使用の間、ユーザの手によって保持されてもよい。ユーザ入力デバイス４６６は、ウェアラブルシステム４００と有線または無線通信することができる。
ウェアラブルシステムの他のコンポーネント
多くの実装では、ウェアラブルシステムは、上記に説明されるウェアラブルシステムのコンポーネントに加えて、またはその代替として、他のコンポーネントを含んでもよい。ウェアラブルシステムは、例えば、１つまたはそれを上回る触知デバイスまたはコンポーネントを含んでもよい。触知デバイスまたはコンポーネントは、触覚をユーザに提供するように動作可能であってもよい。例えば、触知デバイスまたはコンポーネントは、仮想コンテンツ（例えば、仮想オブジェクト、仮想ツール、他の仮想構造）に触れると、圧力またはテクスチャの触覚を提供してもよい。触覚は、仮想オブジェクトが表す物理的オブジェクトの触覚を再現してもよい、または仮想コンテンツが表す想像上のオブジェクトまたはキャラクタ（例えば、ドラゴン）の感覚を再現してもよい。いくつかの実装では、触知デバイスまたはコンポーネントは、ユーザによって装着されてもよい（例えば、ユーザウェアラブルグローブ）。いくつかの実装では、触知デバイスまたはコンポーネントは、ユーザによって保持されてもよい。
ウェアラブルシステムは、例えば、ユーザによって操作可能であって、ウェアラブルシステムへの入力またはそれとの相互作用を可能にする、１つまたはそれを上回る物理的オブジェクトを含んでもよい。これらの物理的オブジェクトは、本明細書では、トーテムと称され得る。いくつかのトーテムは、無生物オブジェクト、例えば、金属またはプラスチック片、壁、テーブルの表面の形態をとってもよい。ある実装では、トーテムは、実際には、任意の物理的入力構造（例えば、キー、トリガ、ジョイスティック、トラックボール、ロッカスイッチ）を有していなくてもよい。代わりに、トーテムは、単に、物理的表面を提供してもよく、ウェアラブルシステムは、ユーザにトーテムの１つまたはそれを上回る表面上にあるように見えるように、ユーザインターフェースをレンダリングしてもよい。例えば、ウェアラブルシステムは、トーテムの１つまたはそれを上回る表面上に常駐するように見えるように、コンピュータキーボードおよびトラックパッドの画像をレンダリングしてもよい。例えば、ウェアラブルシステムは、トーテムとしての役割を果たす、アルミニウムの薄い長方形プレートの表面上に見えるように、仮想コンピュータキーボードおよび仮想トラックパッドをレンダリングしてもよい。長方形プレート自体は、いずれの物理的キーまたはトラックパッドまたはセンサも有していない。しかしながら、ウェアラブルシステムは、仮想キーボードまたは仮想トラックパッドを介して行われた選択または入力として、長方形プレートを用いたユーザ操作または相互作用またはタッチを検出し得る。ユーザ入力デバイス４６６（図４に示される）は、トラックパッド、タッチパッド、トリガ、ジョイスティック、トラックボール、ロッカまたは仮想スイッチ、マウス、キーボード、多自由度コントローラ、または別の物理的入力デバイスを含み得る、トーテムの実施形態であってもよい。ユーザは、単独で、または姿勢と組み合わせて、トーテムを使用し、ウェアラブルシステムまたは他のユーザと相互作用してもよい。
本開示のウェアラブルデバイス、ＨＭＤ、およびディスプレイシステムと使用可能な触知デバイスおよびトーテムの実施例は、米国特許公開第２０１５／００１６７７７号（参照することによってその全体として本明細書に組み込まれる）に説明される。
眼画像の実施例
図５は、眼瞼５０４と、強膜５０８（「白眼」）と、虹彩５１２と、瞳孔５１６とを伴う、眼５００の画像を図示する。曲線５１６ａは、瞳孔５１６と虹彩５１２との間の瞳孔境界を示し、曲線５１２ａは、虹彩５１２と強膜５０８との間の辺縁境界を示す。眼瞼５０４は、上側眼瞼５０４ａと、下側眼瞼５０４ｂとを含む。眼５００は、自然静置姿勢（例えば、ユーザの顔および視線の両方が、ユーザの真正面の遠距離オブジェクトに向かうであろうように配向される）に図示される。眼５００の自然静置姿勢は、自然静置姿勢（例えば、図５に示される眼５００に関しては、すぐ面外）にあって、本実施例では、瞳孔５１６内に中心合わせされるときの眼５００の表面に直交する方向である、自然静置方向５２０によって示され得る。
眼５００が、異なるオブジェクトに向かって見るように移動するにつれて、眼姿勢は、自然静置方向５２０に対して変化するであろう。現在の眼姿勢は、眼の表面に直交する（かつ瞳孔５１６内に中心合わせされる）方向であるが、眼が現在指向されているオブジェクトに向かって配向される、眼姿勢方向５２４を参照して決定されることができる。図５に示される例示的座標系を参照すると、眼５００の姿勢は、両方とも眼の自然静置方向５２０に対する、眼の眼姿勢方向５２４の方位角偏向および天頂偏向を示す、２つの角度パラメータとして表され得る。例証目的のために、これらの角度パラメータは、θ（基点方位角から決定される、方位角偏向）およびφ（時として、極性偏向とも称される、天頂偏向）として表され得る。いくつかの実装では、眼姿勢方向５２４の周囲の眼の角度ロールが、眼姿勢の決定に含まれることができ、角度ロールは、以下の分析に含まれることができる。他の実装では、眼姿勢を決定するための他の技法が、例えば、ピッチ、ヨー、および随意に、ロール系が、使用されることができる。
眼画像は、任意の適切なプロセスを使用して、例えば、画像を１つまたはそれを上回るシーケンシャルフレームから抽出し得る、ビデオ処理アルゴリズムを使用して、ビデオから取得されることができる。眼の姿勢は、種々の眼追跡技法を使用して、眼画像から決定されることができる。例えば、眼姿勢は、提供される光源に及ぼす角膜のレンズ効果を検討することによって決定されることができる。任意の好適な眼追跡技法が、本明細書に説明される眼瞼形状推定技法において眼姿勢を決定するために使用されることができる。
眼追跡システムの実施例
図６は、眼追跡システムを含む、ウェアラブルシステム６００の概略図を図示する。ウェアラブルシステム６００は、少なくともいくつかの実施形態では、頭部搭載型ユニット６０２内に位置するコンポーネントと、非頭部搭載型ユニット６０４内に位置するコンポーネントとを含んでもよい。非頭部搭載型ユニット６０４は、実施例として、ベルト搭載型コンポーネント、ハンドヘルドコンポーネント、リュック内のコンポーネント、遠隔コンポーネント等であってもよい。ウェアラブルシステム６００のコンポーネントのうちのいくつかを非頭部搭載型ユニット６０４内に組み込むことは、頭部搭載型ユニット６０２のサイズ、重量、複雑性、およびコストを低減させることに役立ち得る。いくつかの実装では、頭部搭載型ユニット６０２および／または非頭部搭載型６０４の１つまたはそれを上回るコンポーネントによって実施されているように説明される機能性の一部または全部は、ウェアラブルシステム６００内のいずれかに含まれる１つまたはそれを上回るコンポーネントを用いて提供されてもよい。例えば、頭部搭載型ユニット６０２のＣＰＵ６１２と関連して下記に説明される機能性の一部または全部は、非頭部搭載型ユニット６０４のＣＰＵ６１６を用いて提供されてもよく、その逆も同様である。いくつかの実施例では、そのような機能性の一部または全部は、ウェアラブルシステム６００の周辺デバイスを用いて提供されてもよい。さらに、いくつかの実装では、そのような機能性の一部または全部は、図２を参照して上記に説明されたものに類似する様式において、１つまたはそれを上回るクラウドコンピューティングデバイスまたは他の遠隔に位置するコンピューティングデバイスを用いて提供されてもよい。
図６に示されるように、ウェアラブルシステム６００は、ユーザの眼６１０の画像を捕捉する、カメラ３２４を含む、眼追跡システムを含むことができる。所望に応じて、眼追跡システムはまた、光源３２６ａおよび３２６ｂ（発光ダイオード「ＬＥＤ」等）を含んでもよい。光源３２６ａおよび３２６ｂは、閃光（すなわち、カメラ３２４によって捕捉された眼の画像内に現れる、ユーザの眼からの反射）を生成し得る。カメラ３２４に対する光源３２６ａおよび３２６ｂの位置は、既知であり得、その結果、カメラ３２４によって捕捉された画像内の閃光の位置が、ユーザの眼を追跡する際に使用されてもよい（図７－１１に関連して下記により詳細に議論されるであろうように）。少なくとも一実施形態では、１つの光源３２６と、ユーザの眼６１０の片方と関連付けられる１つのカメラ３２４とが存在してもよい。別の実施形態では、１つの光源３２６と、ユーザの眼６１０のそれぞれと関連付けられる１つのカメラ３２４とが存在してもよい。さらに他の実施形態では、１つまたはそれを上回るカメラ３２４と、ユーザの眼６１０の一方またはそれぞれと関連付けられる１つまたはそれを上回る光源３２６とが存在してもよい。具体的実施例として、２つの光源３２６ａおよび３２６ｂと、ユーザの眼６１０のそれぞれと関連付けられる１つまたはそれを上回るカメラ３２４とが存在してもよい。別の実施例として、光源３２６ａおよび３２６ｂ等の３つまたはそれを上回る光源と、ユーザの眼６１０のそれぞれと関連付けられる１つまたはそれを上回るカメラ３２４とが存在してもよい。
眼追跡モジュール６１４は、画像を眼追跡カメラ３２４から受信してもよく、画像を分析し、種々の情報を抽出してもよい。実施例として、眼追跡モジュール６１４は、ユーザの眼姿勢、眼追跡カメラ３２４（および頭部搭載型ユニット６０２）に対するユーザの眼の３次元位置、合焦されているユーザの眼６１０の一方または両方の方向、ユーザの輻輳・開散運動深度（すなわち、ユーザが合焦しているユーザからの深度）、ユーザの瞳孔の位置、ユーザの角膜および角膜球面の位置、ユーザの眼のそれぞれの回転中心、およびユーザの眼のそれぞれの視点の中心を検出してもよい。眼追跡モジュール６１４は、図７－１１に関連して下記に説明される技法を使用して、そのような情報を抽出してもよい。図６に示されるように、眼追跡モジュール６１４は、頭部搭載型ユニット６０２内のＣＰＵ６１２を使用して実装される、ソフトウェアモジュールであってもよい。眼追跡モジュールコンポーネントの作成、調節、および使用について議論するさらなる詳細は、「ＥＹＥ ＴＲＡＣＫＩＮＧ ＣＡＬＩＢＲＡＴＩＯＮ ＴＥＣＨＮＩＱＵＥＳ」と題された米国特許出願第１５／９９３，３７１号（参照することによってその全体として本明細書に組み込まれる）に提供される。
眼追跡モジュール６１４からのデータは、ウェアラブルシステム内の他のコンポーネントに提供されてもよい。実施例として、そのようなデータは、ライトフィールドレンダリングコントローラ６１８および位置合わせオブザーバ６２０のためのソフトウェアモジュールを含む、ＣＰＵ６１６等の非頭部搭載型ユニット６０４内のコンポーネントに伝送されてもよい。
レンダリングコントローラ６１８は、レンダリングエンジン６２２（例えば、ＧＰＵ６２０内のソフトウェアモジュールであり得、画像をディスプレイ２２０に提供し得る、レンダリングエンジン）によって、眼追跡モジュール６１４からの情報を使用して、ユーザに表示される画像を調節してもよい。実施例として、レンダリングコントローラ６１８は、ユーザの回転中心または視点の中心に基づいて、ユーザに表示される画像を調節してもよい。特に、レンダリングコントローラ６１８は、ユーザの視点の中心に関する情報を使用して、レンダリングカメラをシミュレートしてもよく（すなわち、ユーザの視点からの画像の収集をシミュレートする）、シミュレートされたレンダリングカメラに基づいて、ユーザに表示される画像を調節してもよい。
時として、「ピンホール透視投影カメラ」（または単に、「透視投影カメラ」）または「仮想ピンホールカメラ」（または単に、「仮想カメラ」）とも称される、「レンダリングカメラ」は、可能性として、仮想世界内のオブジェクトのデータベースからの仮想画像コンテンツをレンダリングする際に使用するためのシミュレートされたカメラである。オブジェクトは、ユーザまたは装着者に対する、および可能性として、ユーザまたは装着者を囲繞する環境内の実オブジェクトに対する、場所および配向を有してもよい。換言すると、レンダリングカメラは、そこからユーザまたは装着者がレンダリング空間の３Ｄ仮想コンテンツ（例えば、仮想オブジェクト）を視認すべきである、レンダリング空間内の視点を表し得る。レンダリングカメラは、レンダリングエンジンによって管理され、眼に提示されるべき仮想オブジェクトのデータベースに基づいて、仮想画像をレンダリングしてもよい。仮想画像は、ユーザまたは装着者の視点から撮影されたかのようにレンダリングされ得る。例えば、仮想画像は、固有のパラメータの具体的セット（例えば、焦点距離、カメラピクセルサイズ、主点座標、歪／歪曲パラメータ等）と、付帯パラメータの具体的セット（例えば、仮想世界に対する平行移動成分および回転成分）とを有する、ピンホールカメラ（「レンダリングカメラ」に対応する）によって捕捉されたかのようにレンダリングされ得る。仮想画像は、レンダリングカメラの位置および配向（例えば、レンダリングカメラの付帯パラメータ）を有する、そのようなカメラの視点から撮影される。システムは、固有のおよび付帯レンダリングカメラパラメータを定義および／または調節し得るということになる。例えば、システムは、仮想画像が、ユーザまたは装着者の視点からであるように現れる画像を提供するように、ユーザまたは装着者の眼に対する具体的場所を有する、カメラの視点から捕捉されたかのようにレンダリングされ得るように、特定のセットの付帯レンダリングカメラパラメータを定義してもよい。システムは、後に、具体的場所との位置合わせを維持するように、付帯レンダリングカメラパラメータをオンザフライで動的に調節してもよい。同様に、固有のレンダリングカメラパラメータも、定義され、経時的に動的に調節されてもよい。いくつかの実装では、画像は、開口（例えば、ピンホール）をユーザまたは装着者の眼に対する具体的場所（視点の中心または回転中心または他の場所等）に有するカメラの視点から捕捉されたかのようにレンダリングされる。
いくつかの実施形態では、システムは、ユーザの眼が、相互から物理的に分離され、したがって、一貫して異なる場所に位置付けられるにつれて、ユーザの左眼のための１つのレンダリングカメラおよびユーザの右眼のために別のレンダリングカメラを作成または動的に再位置付けおよび／または再配向してもよい。少なくともいくつかの実装では、視認者の左眼と関連付けられるレンダリングカメラの視点からレンダリングされた仮想コンテンツは、頭部搭載型ディスプレイ（例えば、頭部搭載型ユニット６０２）の左側の接眼レンズを通してユーザに提示され得、ユーザの右眼と関連付けられるレンダリングカメラの視点からレンダリングされた仮想コンテンツは、そのような頭部搭載型ディスプレイの右側の接眼レンズを通してユーザに提示され得るということになる。レンダリングプロセスにおけるレンダリングカメラの作成、調節、および使用について議論するさらなる詳細は、「ＭＥＴＨＯＤＳ ＡＮＤ ＳＹＳＴＥＭＳ ＦＯＲ ＤＥＴＥＣＴＩＮＧ ＡＮＤ ＣＯＭＢＩＮＩＮＧ ＳＴＲＵＣＴＵＲＡＬ ＦＥＡＴＵＲＥＳ ＩＮ ３Ｄ ＲＥＣＯＮＳＴＲＵＣＴＩＯＮ」と題された米国特許出願第１５／２７４，８２３号（あらゆる目的のために、参照することによってその全体として本明細書に明示的に組み込まれる）に提供される。
いくつかの実施例では、システム６００の１つまたはそれを上回るモジュール（またはコンポーネント）（例えば、ライトフィールドレンダリングコントローラ６１８、レンダリングエンジン６２０等）は、ユーザの頭部および眼の位置および配向（例えば、それぞれ、頭部姿勢および眼追跡データに基づいて決定されるように）に基づいて、レンダリング空間内のレンダリングカメラの位置および配向を決定してもよい。例えば、システム６００は、事実上、ユーザの頭部および眼の位置および配向を３Ｄ仮想環境内の特定の場所および角位置にマッピングし、レンダリングカメラを３Ｄ仮想環境内の特定の場所および角位置に設置および配向し、レンダリングカメラによって捕捉されるであろうにつれて、仮想コンテンツをユーザのためにレンダリングし得る。実世界／仮想世界マッピングプロセスについて議論するさらなる詳細は、「ＳＥＬＥＣＴＩＮＧ ＶＩＲＴＵＡＬ ＯＢＪＥＣＴＳ ＩＮ Ａ ＴＨＲＥＥ－ＤＩＭＥＮＳＩＯＮＡＬ ＳＰＡＣＥ」と題された米国特許出願第１５／２９６，８６９号（あらゆる目的のために、参照することによってその全体として本明細書に明示的に組み込まれる）に提供される。実施例として、レンダリングコントローラ６１８は、画像が、画像を表示するために任意の所与の時間に利用される深度面（または複数の深度面）を選択することによって表示される、深度を調節してもよい。いくつかの実装では、そのような深度面切替は、１つまたはそれを上回る固有のレンダリングカメラパラメータの調節を通して、行われてもよい。
位置合わせオブザーバ６２０は、眼追跡モジュール６１４からの情報を使用して、頭部搭載型ユニット６０２がユーザの頭部上に適切に位置付けられているかどうかを識別してもよい。実施例として、眼追跡モジュール６１４は、カメラ３２４に対するユーザの眼の３次元位置を示す、ユーザの眼の回転中心の位置等の眼場所情報を提供してもよく、頭部搭載型ユニット６０２および眼追跡モジュール６１４は、場所情報を使用して、ディスプレイ２２０がユーザの視野内に適切に整合されているかどうか、または頭部搭載型ユニット６０２（またはヘッドセット）が滑脱している、または別様にユーザの眼と不整合状態であるかどうかを決定してもよい。実施例として、位置合わせオブザーバ６２０は、頭部搭載型ユニット６０２が、ユーザの鼻梁から滑脱しており、したがって、ディスプレイ２２０をユーザの眼から離れさせ、そこから下方に移動させている（望ましくあり得ない）かどうか、頭部搭載型ユニット６０２が、ユーザの鼻梁の上方に移動しており、したがって、ディスプレイ２２０をユーザの眼により近づけ、そこから上方に移動させているかどうか、頭部搭載型ユニット６０２が、ユーザの鼻梁に対して左または右に偏移されているかどうか、頭部搭載型ユニット６０２が、ユーザの鼻梁の上方に持ち上げられているかどうか、または頭部搭載型ユニット６０２が、これらまたは他の方法において、所望の位置または位置の範囲から離れて移動されているかどうかを決定することが可能であり得る。一般に、位置合わせオブザーバ６２０は、一般に、頭部搭載型ユニット６０２、特に、ディスプレイ２２０が、ユーザの眼の正面に適切に位置付けられているかどうかを決定することが可能であり得る。換言すると、位置合わせオブザーバ６２０は、ディスプレイシステム２２０内の左ディスプレイが、ユーザの左眼と適切に整合されており、ディスプレイシステム２２０内の右ディスプレイが、ユーザの右眼と適切に整合されているかどうかを決定し得る。位置合わせオブザーバ６２０は、頭部搭載型ユニット６０２が、ユーザの眼に対する位置および／または配向の所望の範囲内に位置付けられ、配向されているかどうかを決定することによって、頭部搭載型ユニット６０２が適切に位置付けられているかどうかを決定してもよい。
少なくともいくつかの実施形態では、位置合わせオブザーバ６２０は、アラート、メッセージ、または他のコンテンツの形態におけるユーザフィードバックを生成してもよい。そのようなフィードバックは、ユーザに提供され、ユーザに、頭部搭載型ユニット６０２の任意の不整合を、不整合を補正する方法に関する随意のフィードバック（頭部搭載型ユニット６０２を特定の様式において調節するための提案等）とともに知らせてもよい。
位置合わせオブザーバ６２０によって利用され得る、例示的位置合わせ観察およびフィードバック技法は、２０１７年９月２７日に出願された、米国特許出願第１５／７１７，７４７号（弁理士整理番号第ＭＬＥＡＰ．０５２Ａ２号）（参照することによってその全体として本明細書に組み込まれる）に説明される。
眼追跡モジュールの実施例
例示的眼追跡モジュール６１４の詳細なブロック図が、図７Ａに示される。図７Ａに示されるように、眼追跡モジュール６１４は、種々の異なるサブモジュールを含んでもよく、種々の異なる出力を提供してもよく、ユーザの眼を追跡する際に、種々の利用可能なデータを利用してもよい。実施例として、眼追跡モジュール６１４は、光源３２６および頭部搭載型ユニット６０２に対する眼追跡カメラ３２４の幾何学的配列、ユーザの角膜曲率の中心とユーザの眼の平均回転中心との間の約４．７ｍｍの典型的距離またはユーザの回転中心と視点の中心との間の典型的距離等の仮定された眼寸法７０４、および特定のユーザの瞳孔間距離等のユーザ毎の較正データ７０６等の眼追跡の付帯性質および固有性質を含む、利用可能なデータを利用してもよい。眼追跡モジュール６１４によって採用され得る、付帯性質、固有性質、および他の情報の付加的実施例は、２０１７年４月２６日に出願された、米国特許出願第１５／４９７，７２６号（弁理士整理番号第ＭＬＥＡＰ．０２３Ａ７号）（参照することによってその全体として本明細書に組み込まれる）に説明される。
画像前処理モジュール７１０は、画像を眼カメラ３２４等の眼カメラから受信してもよく、１つまたはそれを上回る前処理（すなわち、調整）動作を受信された画像上に実施してもよい。実施例として、画像前処理モジュール７１０は、ガウスぼけを画像に適用してもよい、画像をより低い分解能にダウンサンプリングしてもよい、アンシャープマスクを適用してもよい、縁シャープニングアルゴリズムを適用してもよい、または後の検出、位置特定、および眼カメラ３２４からの画像内の閃光、瞳孔、または他の特徴の標識化を補助する、他の好適なフィルタを適用してもよい。画像前処理モジュール７１０は、高周波数雑音を瞳孔境界５１６ａ（図５参照）等から除去し、それによって瞳孔および閃光決定を妨害し得る、雑音を除去し得る、オープンフィルタ等の低域通過フィルタまたは形態学的フィルタを適用してもよい。画像前処理モジュール７１０は、前処理された画像を瞳孔識別モジュール７１２および閃光検出および標識化モジュール７１４に出力してもよい。
瞳孔識別モジュール７１２は、前処理された画像を画像前処理モジュール７１０から受信してもよく、ユーザの瞳孔を含む、それらの画像の領域を識別してもよい。瞳孔識別モジュール７１２は、いくつかの実施形態では、カメラ３２４からの眼追跡画像内のユーザの瞳孔の位置の座標、すなわち、中心または重心の座標を決定してもよい。少なくともいくつかの実施形態では、瞳孔識別モジュール７１２は、眼追跡画像内の輪郭（すなわち、瞳孔虹彩境界の輪郭）を識別し、輪郭モーメント（すなわち、質量中心）を識別し、スターバースト瞳孔検出および／またはＣａｎｎｙ縁検出アルゴリズムを適用し、強度値に基づいて外れ値を除外し、サブピクセル境界点を識別し、眼カメラ歪曲（例えば、眼カメラ３２４によって捕捉された画像内の歪曲）を補正し、ランダムサンプルコンセンサス（ＲＡＮＳＡＣ）反復アルゴリズムを適用し、楕円形を眼追跡画像内の境界に適合させ、追跡フィルタを画像に適用し、ユーザの瞳孔重心のサブピクセル画像座標を識別してもよい。瞳孔識別モジュール７１２は、ユーザの瞳孔を示すと識別された前処理画像モジュール７１２の領域を示し得る、瞳孔識別データを、閃光検出および標識化モジュール７１４に出力してもよい。瞳孔識別モジュール７１２は、各眼追跡画像内のユーザの瞳孔の２Ｄ座標（すなわち、ユーザの瞳孔の重心の２Ｄ座標）を閃光検出モジュール７１４に提供してもよい。少なくともいくつかの実施形態では、瞳孔識別モジュール７１２はまた、同一種類の瞳孔識別データを座標系正規化モジュール７１８に提供してもよい。
瞳孔識別モジュール７１２によって利用され得る、瞳孔検出技法は、２０１７年２月２３日に公開された米国特許公開第２０１７／００５３１６５号および２０１７年２月２３日に公開された米国特許公開第２０１７／００５３１６６号（それぞれ、参照することによってその全体として本明細書に組み込まれる）に説明される。
閃光検出および標識化モジュール７１４は、前処理された画像をモジュール７１０から、瞳孔識別データをモジュール７１２から受信してもよい。閃光検出モジュール７１４は、本データを使用して、閃光（すなわち、光源３２６からの光のユーザの眼からの反射）をユーザの瞳孔を示す前処理された画像の領域内で検出および／または識別してもよい。実施例として、閃光検出モジュール７１４は、ユーザの瞳孔の近傍にある、時として、本明細書では、「ブロブ」または局所強度最大値とも称される、眼追跡画像内の明るい領域を検索してもよい。少なくともいくつかの実施形態では、閃光検出モジュール７１４は、瞳孔楕円形を再スケーリング（例えば、拡大）し、付加的閃光を包含してもよい。閃光検出モジュール７１４は、サイズおよび／または強度によって、閃光をフィルタリングしてもよい。閃光検出モジュール７１４はまた、眼追跡画像内の閃光のそれぞれの２Ｄ位置を決定してもよい。少なくともいくつかの実施例では、閃光検出モジュール７１４は、瞳孔－閃光ベクトルとも称され得る、ユーザの瞳孔に対する閃光の２Ｄ位置を決定してもよい。閃光検出および標識化モジュール７１４は、閃光を標識化し、標識された閃光を伴う前処理画像を３Ｄ角膜中心推定モジュール７１６に出力してもよい。閃光検出および標識化モジュール７１４はまた、モジュール７１０からの前処理された画像およびモジュール７１２からの瞳孔識別データ等のデータを伝えてもよい。
モジュール７１２および７１４等のモジュールによって実施されるような瞳孔および閃光検出は、任意の好適な技法を使用することができる。実施例として、縁検出が、眼画像に適用され、閃光および瞳孔を識別することができる。縁検出は、種々の縁検出器、縁検出アルゴリズム、またはフィルタによって適用されることができる。例えば、Ｃａｎｎｙ縁検出器が、画像に適用され、画像の線等の縁を検出することができる。縁は、局所最大導関数に対応する、線に沿って位置する点を含んでもよい。例えば、瞳孔境界５１６ａ（図５参照）が、Ｃａｎｎｙ縁検出器を使用して、位置特定されることができる。瞳孔の場所が決定されると、種々の画像処理技法が、瞳孔１１６の「姿勢」を検出するために使用されることができる。眼画像の眼姿勢の決定は、眼画像の眼姿勢の検出とも称され得る。姿勢は、視線、向いている方向、または眼の配向とも称され得る。例えば、瞳孔は、オブジェクトに向かって左を見ている場合があり、瞳孔の姿勢は、左向き姿勢として分類され得る。他の方法も、瞳孔または閃光の場所を検出するために使用されることができる。例えば、同心リングが、Ｃａｎｎｙ縁検出器を使用した眼画像内に位置し得る。別の実施例として、積分微分演算子が、瞳孔または虹彩の角膜輪部境界を見出すために使用されてもよい。例えば、Ｄａｕｇｍａｎ積分微分演算子、Ｈｏｕｇｈ変換、または他の虹彩セグメント化技法が、瞳孔または虹彩の境界を推定する、曲線を返すために使用されることができる。
３Ｄ角膜中心推定モジュール７１６は、検出された閃光データおよび瞳孔識別データを含む、前処理された画像を、モジュール７１０、７１２、７１４から受信してもよい。３Ｄ角膜中心推定モジュール７１６は、これらのデータを使用して、ユーザの角膜の３Ｄ位置を推定してもよい。いくつかの実施形態では、３Ｄ角膜中心推定モジュール７１６は、眼の角膜曲率またはユーザの角膜球面の中心、すなわち、概して、ユーザの角膜と同延の表面部分を有する、想像上の球面の中心の３Ｄ位置を推定してもよい。３Ｄ角膜中心推定モジュール７１６は、角膜球面および／またはユーザの角膜の推定された３Ｄ座標を示すデータを、座標系正規化モジュール７１８、光学軸決定モジュール７２２、および／またはライトフィールドレンダリングコントローラ６１８に提供してもよい。３Ｄ角膜中心推定モジュール７１６の動作のさらなる詳細は、図８Ａ－８Ｅに関連して本明細書に提供される。３Ｄ角膜中心推定モジュール７１６および本開示のウェアラブルシステム内の他のモジュールによって利用され得る、角膜または角膜球面等の眼特徴の位置を推定するための技法は、２０１７年４月２６日に出願された、米国特許出願第１５／４９７，７２６号（弁理士整理番号第ＭＬＥＡＰ．０２３Ａ７号）（参照することによってその全体として本明細書に組み込まれる）に議論される。
座標系正規化モジュール７１８は、随意に、（その破線輪郭によって示されるように）眼追跡モジュール６１４内に含まれてもよい。座標系正規化モジュール７１８は、ユーザの角膜の中心（および／またはユーザの角膜球面の中心）の推定された３Ｄ座標を示すデータを、３Ｄ角膜中心推定モジュール７１６から受信してもよく、また、データを他のモジュールから受信してもよい。座標系正規化モジュール７１８は、眼カメラ座標系を正規化してもよく、これは、ウェアラブルデバイスの滑脱（例えば、位置合わせオブザーバ６２０によって識別され得る、ユーザの頭部上のその正常静置位置からの頭部搭載型コンポーネントの滑脱）を補償することに役立ち得る。座標系正規化モジュール７１８は、座標系を回転させ、座標系のｚ－軸（すなわち、輻輳・開散運動深度軸）と角膜中心（例えば、３Ｄ角膜中心推定モジュール７１６によって示されるように）を整合させてもよく、カメラ中心（すなわち、座標系の原点）を３０ｍｍ等の角膜中心から離れた所定の距離に平行移動させてもよい（すなわち、モジュール７１８は、眼カメラ３２４が所定の距離より近くまたは遠くにあるように決定されるかどうかに応じて、眼追跡画像を拡大または収縮し得る）。本正規化プロセスを用いることで、眼追跡モジュール６１４は、比較的に、ユーザの頭部上に位置付けられるヘッドセットの変動から独立して、眼追跡データ内の一貫した配向および距離を確立することが可能であり得る。座標系正規化モジュール７１８は、角膜（および／または角膜球面）の中心の３Ｄ座標、瞳孔識別データ、および前処理された眼追跡画像を３Ｄ瞳孔中心ロケータモジュール７２０に提供してもよい。座標系正規化モジュール７１８の動作のさらなる詳細は、図９Ａ－９Ｃに関連して本明細書に提供される。
３Ｄ瞳孔中心ロケータモジュール７２０は、正規化または非正規化座標系内において、ユーザの角膜（および／または角膜球面）の中心の３Ｄ座標、瞳孔場所データ、および前処理された眼追跡画像を含む、データを受信してもよい。３Ｄ瞳孔中心ロケータモジュール７２０は、そのようなデータを分析して、正規化または非正規化眼カメラ座標系内のユーザの瞳孔中心の３Ｄ座標を決定してもよい。３Ｄ瞳孔中心ロケータモジュール７２０は、瞳孔重心の２Ｄ位置（モジュール７１２によって決定されるように）、角膜中心の３Ｄ位置（モジュール７１６によって決定されるように）、典型的ユーザの角膜球面のサイズおよび角膜中心から瞳孔中心までの典型的距離等の仮定された眼寸法７０４、および角膜の屈折率（空気の屈折率に対する）等の眼の光学性質、または任意のこれらの組み合わせに基づいて、３次元におけるユーザの瞳孔の場所を決定してもよい。３Ｄ瞳孔中心ロケータモジュール７２０の動作のさらなる詳細は、図９Ｄ－９Ｇに関連して本明細書に提供される。３Ｄ瞳孔中心ロケータモジュール７２０および本開示のウェアラブルシステム内の他のモジュールによって利用され得る、瞳孔等の眼特徴の位置を推定するための技法は、２０１７年４月２６日に出願された、米国特許出願第１５／４９７，７２６号（弁理士整理番号第ＭＬＥＡＰ．０２３Ａ７号）（参照することによってその全体として本明細書に組み込まれる）に議論される。
光学軸決定モジュール７２２は、ユーザの角膜およびユーザの瞳孔の中心の３Ｄ座標を示すデータを、モジュール７１６および７２０から受信してもよい。そのようなデータに基づいて、光学軸決定モジュール７２２は、角膜中心の位置から（すなわち、角膜球面の中心から）、ユーザの眼の光学軸を定義し得る、ユーザの瞳孔中心までのベクトルを識別してもよい。光学軸決定モジュール７２２は、実施例として、ユーザの光学軸を規定する出力をモジュール７２４、７２８、７３０、および７３２に提供してもよい。
回転中心（ＣｏＲ）推定モジュール７２４は、ユーザの眼の光学軸のパラメータ（すなわち、頭部搭載型ユニット６０２に対して既知の関係を伴う座標系内の光学軸の方向を示すデータ）を含むデータを、モジュール７２２から受信してもよい。ＣｏＲ推定モジュール７２４は、ユーザの眼の回転中心（すなわち、ユーザの眼が左、右、上、および／または下に回転するとき、その周囲でユーザの眼が回転する、点）を推定し得る。眼が、単点の周囲で完璧に回転し得ない場合でも、単点が十分であり得ると仮定する。少なくともいくつかの実施形態では、ＣｏＲ推定モジュール７２４は、瞳孔中心（モジュール７２０によって識別される）または角膜の曲率中心（モジュール７１６によって識別されるように）を網膜に向かって光学軸（モジュール７２２によって識別される）に沿って特定の距離だけ移動させることによって、眼の回転中心を推定し得る。本特定の距離は、仮定された眼寸法７０４であってもよい。一実施例として、角膜の曲率中心とＣｏＲとの間の特定の距離は、約４．７ｍｍであってもよい。本距離は、ユーザの年齢、性別、視覚処方箋、他の関連特性等を含む、任意の関連データに基づいて、特定のユーザのために変動され得る。
少なくともいくつかの実施形態では、ＣｏＲ推定モジュール７２４は、ユーザの眼のそれぞれの回転中心のその推定値を経時的に精緻化してもよい。実施例として、時間が経過するにつれて、ユーザは、最終的に、その眼を回転させ（他の場所、より近く、より遠くの何らかのもの、またはある時に左、右、上、または下を見るため）、その眼のそれぞれの光学軸において偏移させるであろう。ＣｏＲ推定モジュール７２４は、次いで、モジュール７２２によって識別される２つの（またはそれを上回る）光学軸を分析し、それらの光学軸の交点の３Ｄ点を位置特定してもよい。ＣｏＲ推定モジュール７２４は、次いで、その交点の３Ｄ点にある回転中心を決定してもよい。そのような技法は、経時的に改良する正確度を伴う、回転中心の推定値を提供し得る。種々の技法が、ＣｏＲ推定モジュール７２４および左および右眼の決定されたＣｏＲ位置の正確度を増加させるために採用されてもよい。実施例として、ＣｏＲ推定モジュール７２４は、種々の異なる眼姿勢に関して経時的に決定された光学軸の交点の平均点を見出すことによって、ＣｏＲを推定してもよい。付加的実施例として、モジュール７２４は、推定されたＣｏＲ位置を経時的にフィルタリングまたは平均化してもよく、推定されたＣｏＲ位置の移動平均を経時的に計算してもよく、および／またはカルマンフィルタおよび眼および眼追跡システムの既知の動態を適用し、ＣｏＲ位置を経時的に推定してもよい。具体的実施例として、モジュール７２４は、決定されたＣｏＲが、ユーザに関する眼追跡データが取得されるにつれて、仮定されたＣｏＲ位置（すなわち、眼の角膜曲率の中心の４．７ｍｍ背後）からユーザの眼内の若干異なる場所に経時的にゆっくりと移り、それによって、ＣｏＲ位置のユーザ毎精緻化を可能にし得るように、光学軸交点の決定された点および仮定されたＣｏＲ位置（眼の角膜曲率の中心から４．７ｍｍ等）の加重平均を計算してもよい。
瞳孔間距離（ＩＰＤ）推定モジュール７２６は、ユーザの左および右眼の回転中心の推定された３Ｄ位置を示すデータを、ＣｏＲ推定モジュール７２４から受信してもよい。ＩＰＤ推定モジュール７２６は、次いで、ユーザの左および右眼の回転中心間の３Ｄ距離を測定することによって、ユーザのＩＰＤを推定してもよい。一般に、ユーザの左眼の推定されたＣｏＲとユーザの右眼の推定されたＣｏＲとの間の距離は、ユーザが光学無限遠を見ている（すなわち、ユーザの眼の光学軸が相互に略平行である）とき、ユーザの瞳孔中心間の距離と概ね等しくあり得、これは、瞳孔間距離（ＩＰＤ）の典型的定義である。ユーザのＩＰＤは、ウェアラブルシステム内の種々のコンポーネントおよびモジュールによって使用されてもよい。実施例として、ユーザのＩＰＤは、位置合わせオブザーバ６２０に提供され、ウェアラブルデバイスがユーザの眼と整合されている程度（例えば、左および右ディスプレイレンズが、ユーザのＩＰＤに従って適切に離間されているかどうか）を査定する際に使用されてもよい。別の実施例として、ユーザのＩＰＤは、輻輳・開散運動深度推定モジュール７２８に提供され、ユーザの輻輳・開散運動深度を決定する際に使用されてもよい。モジュール７２６は、ＣｏＲ推定モジュール７２４に関連して議論されるもの等の種々の技法を採用し、推定されたＩＰＤの正確度を増加させてもよい。実施例として、ＩＰＤ推定モジュール７２４は、正確な様式におけるユーザのＩＰＤの推定の一部として、フィルタリング、経時的に平均、仮定されたＩＰＤ距離を含む、加重平均、カルマンフィルタ等を適用してもよい。
いくつかの実施形態では、ＩＰＤ推定モジュール７２６は、３Ｄ瞳孔中心ロケータモジュールおよび／または３Ｄ角膜中心推定モジュール７１６から、ユーザの瞳孔および／または角膜の推定される３Ｄ位置を示す、データを受信してもよい。ＩＰＤ推定モジュール７２６は、次いで、瞳孔と角膜との間の距離を参照することによって、ユーザのＩＰＤを推定してもよい。一般に、これらの距離は、ユーザが、その眼を回転させ、その輻輳・開散運動の深度を変化させるにつれて、経時的に変動するであろう。ある場合には、ＩＰＤ推定モジュール７２６は、ユーザが光学無限遠の近傍を見ている間に生じるはずであって、概して、ユーザの瞳孔間距離に対応するはずである、瞳孔および／または角膜間の最大測定距離を探してもよい。他の場合では、ＩＰＤ推定モジュール７２６は、ユーザの瞳孔（および／または角膜）間の測定距離をその輻輳・開散運動深度の関数として人物の瞳孔間距離がどのように変化するかの数学的関係に適合させてもよい。いくつかの実施形態では、これらまたは他の類似技法を使用して、ＩＰＤ推定モジュール７２６は、ユーザが光学無限遠を見ていることの観察を伴わなくても（例えば、ユーザが光学無限遠より近い距離に輻輳していたことの１つまたはそれを上回る観察から外挿することによって）、ユーザのＩＰＤを推定することが可能であり得る。
輻輳・開散運動深度推定モジュール７２８は、データを眼追跡モジュール６１４内の種々のモジュールおよびサブモジュール（図７Ａに関連して示されるように）から受信してもよい。特に、輻輳・開散運動深度推定モジュール７２８は、瞳孔中心の推定された３Ｄ位置（例えば、上記に説明されるモジュール７２０によって提供されるように）、光学軸の１つまたはそれを上回る決定されたパラメータ（例えば、上記に説明されるモジュール７２２によって提供されるように）、回転中心の推定された３Ｄ位置（例えば、上記に説明されるモジュール７２４によって提供されるように）、推定されたＩＰＤ（例えば、回転中心の推定された３Ｄ位置間のユークリッド距離）（例えば、上記に説明されるモジュール７２６によって提供されるように）、および／または光学軸および／または視軸の１つまたはそれを上回る決定されたパラメータ（例えば、下記に説明されるモジュール７２２および／またはモジュール７３０によって提供されるように）を示すデータを採用してもよい。輻輳・開散運動深度推定モジュール７２８は、ユーザの眼が合焦されるユーザからの距離であり得る、ユーザの輻輳・開散運動深度の測定値を検出または別様に取得してもよい。実施例として、ユーザが、彼らの正面から３フィートのオブジェクトを見ているとき、ユーザの左および右眼は、３フィートの輻輳・開散運動深度を有する一方、ユーザが遠距離の景観を見ている（すなわち、ユーザの眼の光学軸が、ユーザの瞳孔中心間の距離が、ユーザの左および右眼の回転中心間の距離と概ね等しくあり得るように、相互に略平行である）とき、ユーザの左および右眼は、無限遠の輻輳・開散運動深度を有する。いくつかの実装では、輻輳・開散運動深度推定モジュール７２８は、ユーザの瞳孔の推定された中心（例えば、モジュール７２０によって提供されるように）を示すデータを利用し、ユーザの瞳孔の推定された中心間の３Ｄ距離を決定してもよい。輻輳・開散運動深度推定モジュール７２８は、瞳孔中心間のそのような決定された３Ｄ距離と推定されたＩＰＤ（例えば、回転中心の推定された３Ｄ位置間のユークリッド距離）（例えば、上記に説明されるモジュール７２６によって示されるように）を比較することによって、輻輳・開散運動深度の測定値を取得してもよい。瞳孔中心間の３Ｄ距離および推定されたＩＰＤに加え、輻輳・開散運動深度推定モジュール７２８は、既知の、仮定された、推定された、および／または決定された幾何学形状を利用して、輻輳・開散運動深度を計算してもよい。実施例として、モジュール７２８は、瞳孔中心間の３Ｄ距離、推定されたＩＰＤ、および三角法計算における３ＤＣｏＲ位置を組み合わせて、ユーザの輻輳・開散運動深度を推定（すなわち、決定）してもよい。実際、推定されたＩＰＤに対する瞳孔中心間のそのような決定された３Ｄ距離の評価は、光学無限遠に対するユーザの現在の輻輳・開散運動深度の測定値を示す役割を果たし得る。いくつかの実施例では、輻輳・開散運動深度推定モジュール７２８は、単に、輻輳・開散運動深度のそのような測定値を取得する目的のために、ユーザの瞳孔の推定された中心間の推定された３Ｄ距離を示すデータを受信する、またはそれにアクセスしてもよい。いくつかの実施形態では、輻輳・開散運動深度推定モジュール７２８は、ユーザの左および右光学軸を比較することによって、輻輳・開散運動深度を推定してもよい。特に、輻輳・開散運動深度推定モジュール７２８は、ユーザの左および右光学軸が交差する（または水平平面等の平面上のユーザの左および右光学軸の投影が交差する）、ユーザからの距離を位置特定することによって、輻輳・開散運動深度を推定してもよい。モジュール７２８は、ゼロ深度をユーザの左および右光学軸がユーザのＩＰＤによって分離される深度であると設定することによって、本計算において、ユーザのＩＰＤを利用してもよい。少なくともいくつかの実施形態では、輻輳・開散運動深度推定モジュール７２８は、眼追跡データを、既知のまたは導出された空間関係とともに三角測量することによって、輻輳・開散運動深度を決定してもよい。
いくつかの実施形態では、輻輳・開散運動深度推定モジュール７２８は、ユーザが合焦している距離のより正確なインジケーションを提供し得る、ユーザの視軸の交点に基づいて（その光学軸の代わりに）、ユーザの輻輳・開散運動深度を推定してもよい。少なくともいくつかの実施形態では、眼追跡モジュール６１４は、光学軸／視軸マッピングモジュール７３０を含んでもよい。図１０に関連してさらに詳細に議論されるように、ユーザの光学軸および視軸は、概して、整合されない。視軸は、それに沿って人物が見ている軸である一方、光学軸は、その人物の水晶体および瞳孔中心によって定義され、人物の網膜の中心を通して進み得る。特に、ユーザの視軸は、概して、ユーザの網膜の中心からオフセットされ、それによって、異なる光学および視軸をもたらし得る、ユーザの中心窩の場所によって定義される。これらの実施形態のうちの少なくともいくつかでは、眼追跡モジュール６１４は、光学軸／視軸マッピングモジュール７３０を含んでもよい。光学軸／視軸マッピングモジュール７３０は、ユーザの光学軸と視軸との間の差異を補正し、輻輳・開散運動深度推定モジュール７２８およびライトフィールドレンダリングコントローラ６１８等のウェアラブルシステム内の他のコンポーネントに対するユーザの視軸に関する情報を提供してもよい。いくつかの実施例では、モジュール７３０は、光学軸と視軸との間の内向きの（鼻側に、ユーザの鼻に向かって）約５．２°の典型的オフセットを含む、仮定された眼寸法７０４を使用してもよい。換言すると、モジュール７３０は、ユーザの左および右光学軸の方向を推定するために、ユーザの左光学軸を５．２°鼻に向かって（鼻側に）右に、ユーザの右光学軸を５．２°鼻に向かって（鼻側に）左に偏移させ得る。他の実施例では、モジュール７３０は、光学軸（例えば、上記に説明されるモジュール７２２によって示されるように）を視軸にマッピングする際、ユーザ毎較正データ７０６を利用してもよい。付加的実施例として、モジュール７３０は、ユーザの光学軸を鼻側に４．０°～６．５°、４．５°～６．０°、５．０°～５．４°等、またはこれらの値のいずれかによって形成される任意の範囲だけ偏移させてもよい。いくつかの配列では、モジュール７３０は、少なくとも部分的に、その年齢、性別、視覚処方箋、または他の関連特性等の特定のユーザの特性に基づいて、偏移を適用してもよく、および／または少なくとも部分的に、特定のユーザのための較正プロセス（すなわち、特定のユーザの光学軸－視軸オフセットを決定するため）に基づいて、偏移を適用してもよい。少なくともいくつかの実施形態では、モジュール７３０はまた、左および右光学軸の原点を偏移させ、ユーザのＣｏＲの代わりに、ユーザのＣｏＰ（モジュール７３２によって決定されるように）に対応させてもよい。
随意の視点中心（ＣｏＰ）推定モジュール７３２が、提供されるとき、ユーザの左および右視点中心（ＣｏＰ）の場所を推定してもよい。ＣｏＰは、ウェアラブルシステムのための有用な場所であって、少なくともいくつかの実施形態では、瞳孔の真正面の位置であり得る。少なくともいくつかの実施形態では、ＣｏＰ推定モジュール７３２は、ユーザの瞳孔中心の３Ｄ場所、ユーザの角膜曲率の中心の３Ｄ場所、またはそのような好適なデータ、またはそれらの任意の組み合わせに基づいて、ユーザの左および右視点中心の場所を推定してもよい。実施例として、ユーザのＣｏＰは、角膜曲率の中心の正面の約５．０１ｍｍ（すなわち、角膜球面中心から、眼の角膜に向かい、光学軸に沿った方向に５．０１ｍｍ）にあり得、光学または視軸に沿ってユーザの角膜の外面の約２．９７ｍｍ背後にあり得る。ユーザの視点中心は、その瞳孔中心の真正面にあり得る。実施例として、ユーザのＣｏＰは、ユーザの瞳孔から約２．０ｍｍ未満、ユーザの瞳孔から約１．０ｍｍ未満、またはユーザの瞳孔から約０．５ｍｍ未満、またはこれらの値のいずれかの間の任意の範囲であり得る。別の実施例として、視点中心は、眼の前房内の場所に対応し得る。他の実施例として、ＣｏＰは、１．０ｍｍ～２．０ｍｍ、約１．０ｍｍ、０．２５ｍｍ～１．０ｍｍ、０．５ｍｍ～１．０ｍｍ、または０．２５ｍｍ～０．５ｍｍにあり得る。
（レンダリングカメラのピンホールの潜在的に望ましい位置およびユーザの眼内の解剖学的位置としての）本明細書に説明される視点中心は、望ましくない視差偏移を低減および／または排除する役割を果たす、位置であり得る。特に、ユーザの眼の光学系は、レンズの正面のピンホールが画面上に投影することによって形成される理論的システムにほぼ概ね匹敵し、ピンホール、レンズ、および画面は、それぞれ、ユーザの瞳孔／虹彩、水晶体、および網膜に概ね対応する。さらに、ユーザの眼から異なる距離における２つの点光源（またはオブジェクト）が、ピンホールの開口部を中心として厳密に回転する（例えば、ピンホールの開口部からのその個別の距離と等しい曲率半径に沿って回転される）とき、殆どまたは全く視差偏移が存在しないことが望ましくあり得る。したがって、ＣｏＰは、眼の瞳孔中心に位置するはずであると考えられるであろう（およびそのようなＣｏＰが、いくつかの実施形態では、使用されてもよい）。しかしながら、ヒトの眼は、水晶体および瞳孔のピンホールに加え、付加的屈折力を網膜に向かって伝搬する光に付与する、角膜を含む。したがって、本段落に説明される理論的システム内のピンホールの解剖学的均等物は、ユーザの眼の角膜の外面とユーザの眼の瞳孔または虹彩の中心との間に位置付けられる、ユーザの眼の領域であり得る。例えば、ピンホールの解剖学的均等物は、ユーザの眼の前房内の領域に対応し得る。本明細書で議論される種々の理由から、ＣｏＰをユーザの眼の前房内のそのような位置に設定することが所望され得る。ＣｏＰの導出および有意性は、本願の一部を形成する、付属（第１章および第２章）により詳細に議論される。
上記に議論されるように、眼追跡モジュール６１４は、左および右眼回転中心（ＣｏＲ）の推定された３Ｄ位置、輻輳・開散運動深度、左および右眼光学軸、ユーザの眼の３Ｄ位置、ユーザの角膜曲率の左および右中心の３Ｄ位置、ユーザの左および右瞳孔中心の３Ｄ位置、ユーザの左および右視点中心の３Ｄ位置、ユーザのＩＰＤ等のデータを、ウェアラブルシステム内のライトフィールドレンダリングコントローラ６１８および位置合わせオブザーバ６２０等の他のコンポーネントに提供してもよい。眼追跡モジュール６１４はまた、ユーザの眼の他の側面と関連付けられるデータを検出および生成する、他のサブモジュールを含んでもよい。実施例として、眼追跡モジュール６１４は、ユーザが瞬目する度に、フラグまたは他のアラートを提供する、瞬目検出モジュールと、ユーザの眼がサッカードする（すなわち、焦点を別の点に迅速に偏移させる）度に、フラグまたは他のアラートを提供する、サッカード検出モジュールとを含んでもよい。
レンダリングコントローラの実施例
例示的ライトフィールドレンダリングコントローラ６１８の詳細なブロック図が、図７Ｂに示される。図６および７Ｂに示されるように、レンダリングコントローラ６１８は、眼追跡情報を眼追跡モジュール６１４から受信してもよく、出力をレンダリングエンジン６２２に提供してもよく、これは、ウェアラブルシステムのユーザによって視認するために表示されるべき画像を生成し得る。実施例として、レンダリングコントローラ６１８は、輻輳・開散運動深度、左および右眼回転中心（および／または視点中心）、および瞬目データ、サッカードデータ等の他の眼データを受信してもよい。
深度面選択モジュール７５０は、輻輳・開散運動深度情報および他の眼データを受信してもよく、そのようなデータに基づいて、レンダリングエンジン６２２に、特定の深度面（すなわち、特定の遠近調節または焦点距離）を伴うコンテンツをユーザに伝達させてもよい。図４に関連して議論されるように、ウェアラブルシステムは、それぞれ、可変レベルの波面曲率を伴う画像情報を伝達する、複数の導波管によって形成される、複数の離散深度面を含んでもよい。いくつかの実施形態では、ウェアラブルシステムは、経時的に変動するレベルの波面曲率を伴う画像情報を伝達する、光学要素等の１つまたはそれを上回る可変深度面を含んでもよい。これらおよび他の実施形態では、深度面選択モジュール７５０が、レンダリングエンジン６２２に、部分的に、ユーザの輻輳・開散運動深度に基づいて、コンテンツを選択された深度においてユーザに伝達させてもよい（すなわち、レンダリングエンジン６２２に、ディスプレイ２２０に深度面を切り替えるように指示させる）。少なくともいくつかの実施形態では、深度面選択モジュール７５０およびレンダリングエンジン６２２は、コンテンツを異なる深度にレンダリングし、また、深度面選択データを生成し、および／またはディスプレイ２２０等のディスプレイハードウェアに提供してもよい。ディスプレイ２２０等のディスプレイハードウェアは、深度面選択モジュール７５０およびレンダリングエンジン６２２等のモジュールによって生成および／または提供される深度面選択データ（制御信号であり得る）に応答して、電気深度面切替を実施してもよい。
一般に、深度面選択モジュール７５０が、ユーザが正確な遠近調節キューを提供されるように、ユーザの現在の輻輳・開散運動深度に合致する深度面を選択することが望ましくあり得る。しかしながら、また、慎重かつ目立たない様式において深度面を切り替えることが望ましくあり得る。実施例として、深度面間の過剰な切替を回避することが望ましくあり得、および／または瞬目または眼サッカードの間等のユーザが切替に気付く可能性が低い時間に深度面を切り替えることが望ましくあり得る。
ヒステリシス帯交差検出モジュール７５２は、特に、ユーザの輻輳・開散運動深度が２つの深度面間の中点または遷移点で変動するとき、深度面間の過剰な切替を回避することに役立ち得る。特に、モジュール７５２は、深度面選択モジュール７５０に、ヒステリシスを深度面のその選択に呈させてもよい。実施例として、モジュール７５２は、深度面選択モジュール７５０に、ユーザの輻輳・開散運動深度が第１の閾値を通過した後のみ、第１のより遠い深度面から第２のより近い深度面に切り替えさせてもよい。同様に、モジュール７５２は、深度面選択モジュール７５０に（ひいては、ディスプレイ２２０等のディスプレイに指示し得る）、ユーザの輻輳・開散運動深度が第１の閾値よりユーザから遠い第２の閾値を通過した後のみ、第１のより遠い深度面に切り替えさせてもよい。第１の閾値と第２の閾値との間の重複領域では、モジュール７５０は、深度面選択モジュール７５０に、いずれかの深度面が選択された深度面として現在選択されているように維持させ、したがって、深度面間の過剰な切替を回避してもよい。
眼球イベント検出モジュール７５０は、他の眼データを図７Ａの眼追跡モジュール６１４から受信してもよく、深度面選択モジュール７５０に、眼球イベントが生じるまで、いくつかの深度面切替を遅延させてもよい。実施例として、眼球イベント検出モジュール７５０は、深度面選択モジュール７５０に、ユーザ瞬目が検出されるまで、計画された深度面切替を遅延させてもよく、眼追跡モジュール６１４内の瞬目検出コンポーネントから、ユーザが現在瞬目していることを示す、データを受信してもよく、それに応答して、深度面選択モジュール７５０に、瞬目イベントの間、計画された深度面切替を実行させてもよい（モジュール７５０に、瞬目イベントの間、ディスプレイ２２０に深度面切替を実行するように指示させることによって等）。少なくともいくつかの実施形態では、ウェアラブルシステムは、ユーザが偏移を知覚する可能性が低いように、瞬目イベントの間、コンテンツを新しい深度面上に偏移させることが可能であり得る。別の実施例として、眼球イベント検出モジュール７５０は、眼サッカードが検出されるまで、計画された深度面切替を遅延させてもよい。眼瞬目に関連して議論されるように、そのような配列は、深度面の離散偏移を促進し得る。
所望に応じて、深度面選択モジュール７５０は、眼球イベントの不在下であっても、深度面切替を実行する前に、限定された期間にわたってのみ、計画された深度面切替を遅延させてもよい。同様に、深度面選択モジュール７５０は、眼球イベントの不在下であっても、ユーザの輻輳・開散運動深度が、現在選択されている深度面外に実質的にあるとき（すなわち、ユーザの輻輳・開散運動深度が、深度面切替のための通常閾値を超える所定の閾を超えたとき）、深度面切替を実行してもよい。これらの配列は、眼球イベント検出モジュール７５４が、深度面切替を無限に遅延させず、大遠近調節誤差が存在するとき、深度面切替を遅延させないことを確実にすることに役立ち得る。深度面選択モジュール７５０の動作およびモジュールが深度面切替のタイミングを合わせ得る方法のさらなる詳細は、図１３に関連して本明細書に提供される。
レンダリングカメラコントローラ７５８は、ユーザの左および右眼の場所を示す情報を、レンダリングエンジン６２２に提供してもよい。レンダリングエンジン６２２は、次いで、カメラをユーザの左および右眼の位置においてシミュレートし、シミュレートされたカメラの視点に基づいて、コンテンツを生成することによって、コンテンツを生成してもよい。上記に議論されるように、レンダリングカメラは、可能性として、仮想世界内のオブジェクトのデータベースから仮想画像コンテンツをレンダリングする際に使用するためのシミュレートされたカメラである。オブジェクトは、ユーザまたは装着者に対する、可能性として、ユーザまたは装着者を囲繞する環境内の実オブジェクトに対する、場所および配向を有してもよい。レンダリングカメラは、レンダリングエンジン内に含まれ、眼に提示されるべき仮想オブジェクトのデータベースに基づいて、仮想画像をレンダリングしてもよい。仮想画像は、ユーザまたは装着者の視点から撮影されたかのようにレンダリングされてもよい。例えば、仮想画像は、仮想世界内のオブジェクトを視認する、開口、レンズ、および検出器を有する、カメラ（「レンダリングカメラ」に対応する）によって捕捉されたかのようにレンダリングされてもよい。仮想画像は、「レンダリングカメラ」の位置を有する、そのようなカメラの視点から撮影される。例えば、仮想画像は、ユーザまたは装着者の視点からであるように現れる画像を提供するように、ユーザまたは装着者の眼に対する具体的場所を有する、カメラの視点から捕捉されたかのようにレンダリングされてもよい。いくつかの実装では、画像は、ユーザまたは装着者の眼に対する具体的場所（本明細書に議論されるような視点中心または回転中心または他の場所等）に開口を有する、カメラ視点から捕捉されたかのようにレンダリングされる。
レンダリングカメラコントローラ７５８は、ＣｏＲ推定モジュール７２４によって決定された左および右眼回転中心（ＣｏＲ）に基づいて、および／またはＣｏＰ推定モジュール７３２によって決定された左および右眼視点中心（ＣｏＰ）に基づいて、左および右カメラの位置を決定してもよい。いくつかの実施形態では、レンダリングカメラコントローラ７５８は、種々の要因に基づいて、ＣｏＲ場所とＣｏＰ場所との間で切り替えてもよい。実施例として、レンダリングカメラコントローラ７５８は、種々のモードでは、レンダリングカメラをＣｏＲ場所に常時位置合わせする、レンダリングカメラをＣｏＰ場所に常時位置合わせする、種々の要因に基づいて、経時的に、ＣｏＲ場所へのレンダリングカメラの位置合わせとＣｏＰ場所へのレンダリングカメラの位置合わせとの間でトグルする、または離散的に切り替える、または種々の要因に基づいて、経時的に、ＣｏＲ場所とＣｏＰ場所との間で光学（または視）軸に沿った異なる位置の範囲のいずれかにレンダリングカメラを動的に位置合わせしてもよい。ＣｏＲおよびＣｏＰ位置は、随意に、平滑フィルタ７５６を通して通過し得（レンダリングカメラ位置付けのための前述のモードのいずれかにおいて）、これは、ＣｏＲおよびＣｏＰ場所を経時的に平均し、これらの位置における雑音を低減させ、シミュレートされたレンダリングカメラをレンダリングする際のジッタを防止し得る。
少なくともいくつかの実施形態では、レンダリングカメラは、眼追跡モジュール６１４によって識別される推定されたＣｏＲまたはＣｏＰの位置に配置されるピンホールを伴うピンホールカメラとしてシミュレートされてもよい。ＣｏＰは、ＣｏＲからオフセットされるため、レンダリングカメラの位置がユーザのＣｏＰに基づくときは常時、レンダリングカメラおよびそのピンホールの両方の場所が、ユーザの眼が回転するにつれて偏移する。対照的に、レンダリングカメラの位置が、ユーザのＣｏＲに基づくときは常時、レンダリングカメラのピンホールの場所は、眼回転に伴って移動しないが、レンダリングカメラ（ピンホールの背後）は、いくつかの実施形態では、眼回転に伴って移動し得る。レンダリングカメラの位置がユーザのＣｏＲに基づく、他の実施形態では、レンダリングカメラは、ユーザの眼に伴って移動（すなわち、回転）しなくてもよい。
位置合わせオブザーバの実施例
例示的位置合わせオブザーバ６２０のブロック図が、図７Ｃに示される。図６、７Ａ、および７Ｃに示されるように、位置合わせオブザーバ６２０は、眼追跡情報を眼追跡モジュール６１４（図６および７Ａ）から受信し得る。実施例として、位置合わせオブザーバ６２０は、ユーザの左および右眼回転中心（例えば、共通座標系上にある、または頭部搭載型ディスプレイシステム６００と共通基準フレームを有し得る、ユーザの左および右眼の回転中心の３次元位置）に関する情報を受信し得る。他の実施例として、位置合わせオブザーバ６２０は、ディスプレイ付帯性質、適合公差、および眼追跡有効インジケータを受信し得る。ディスプレイ付帯性質は、ディスプレイの視野、１つまたはそれを上回るディスプレイ表面のサイズ、および頭部搭載型ディスプレイシステム６００に対するディスプレイ表面の位置等、ディスプレイ（例えば、図２のディスプレイ２００）に関する情報を含み得る。適合公差は、ユーザの左および右眼がディスプレイ性能が影響を受ける前に公称位置から移動し得る距離を示し得る、ディスプレイ位置合わせ体積に関する情報を含み得る。加えて、適合公差は、ユーザの眼の位置の関数として予期される、ディスプレイ性能影響の量を示し得る。
図７Ｃに示されるように、位置合わせオブザーバ６２０は、３Ｄ位置適合モジュール７７０を含んでもよい。位置適合モジュール７７０は、実施例として、左眼回転中心３Ｄ位置（例えば、ＣｏＲ左）、右眼回転中心３Ｄ位置（例えば、ＣｏＲ右）、ディスプレイ付帯性質、および適合公差を含む、種々のデータを取得および分析し得る。３Ｄ位置適合モジュール７７０は、個別の左および右眼公称位置からのユーザの左および右眼の距離を決定し得（例えば、３Ｄ左誤差および３Ｄ右誤差を計算し得）、誤差距離（例えば、３Ｄ左誤差および３Ｄ右誤差）をデバイス３Ｄ適合モジュール７７２に提供し得る。
３Ｄ位置適合モジュール７７０はまた、誤差距離とディスプレイ付帯性質および適合公差を比較し、ユーザの眼が、公称体積、部分的に低下された体積（例えば、その中でディスプレイ２２０の性能が部分的に低下された体積）、または完全に低下された、またはほぼ完全に低下された体積（例えば、その中でディスプレイ２２０がコンテンツをユーザの眼に提供することが実質的に不可能である、体積）内にあるかどうかを決定し得る。少なくともいくつかの実施形態では、３Ｄ位置適合モジュール７７０または３Ｄ適合モジュール７７２は、図７Ｃに示される適合の質の出力等、ユーザ上へのＨＭＤの適合を定質的に説明する出力を提供してもよい。実施例として、モジュール７７０は、ユーザ上へのＨＭＤの現在の適合が、良好、許容可能、または失敗であるかどうかを示す、出力を提供してもよい。良好な適合は、ユーザが画像の少なくともあるパーセンテージ（９０％等）を視認することを可能にする適合に対応し得、許容可能な適合は、ユーザが画像の少なくともより低いパーセンテージ（８０％等）を視認することを可能にし得る一方、適合失敗は、その中で画像のさらにより低いパーセンテージのみがユーザに可視である適合であり得る。
別の実施例として、３Ｄ位置適合モジュール７７０および／またはデバイス３Ｄ適合モジュール７７２は、ユーザに可視のディスプレイ２２０による画像表示の全体的面積（またはピクセル）のパーセンテージであり得る、可視面積メトリックを計算してもよい。モジュール７７０および７７２は、１つまたはそれを上回るモデル（例えば、数学的または幾何学的モデル）、１つまたはそれを上回るルックアップテーブル、または他の技法またはこれらおよび他の技法の組み合わせを使用して、ディスプレイ２２０に対するユーザの左および右眼の位置（例えば、ユーザの眼の回転中心に基づき得る）を評価し、ユーザの眼の位置の関数としてユーザに可視の画像のパーセンテージを決定することによって、可視面積メトリックを計算してもよい。加えて、モジュール７７０および７７２は、ユーザの眼の位置の関数としてユーザに可視であることが予期される、ディスプレイ２２０による画像表示の領域または部分を決定してもよい。
位置合わせオブザーバ６２０はまた、デバイス３Ｄ適合モジュール７７２を含んでもよい。モジュール７７２は、３Ｄ位置適合モジュール７７０からのデータを受信してもよく、また、眼追跡モジュール６１４によって提供され得、眼追跡システムが現在ユーザの眼の位置を追跡しているかどうかまたは眼追跡データが利用不可能である、または誤差条件下にある（例えば、信頼性がないと決定される）かどうかを示し得る、眼追跡有効インジケータを受信してもよい。デバイス３Ｄ適合モジュール７７２は、所望に応じて、眼追跡有効データの状態に応じて、３Ｄ位置適合モジュール７７０から受信された適合の質データを修正してもよい。例えば、眼追跡システムからのデータが、利用可能ではない、または誤差を有すると示される場合、デバイス３Ｄ適合モジュール７７２は、誤差が存在することの通知を提供し、および／または適合の質または適合誤差に関する出力をユーザに提供しなくてもよい。
少なくともいくつかの実施形態では、位置合わせオブザーバ６２０は、適合の質および誤差の性質および大きさの詳細に関するフィードバックをユーザに提供してもよい。実施例として、頭部搭載型ディスプレイシステムは、較正または着用プロセス（例えば、設定プロシージャの一部として）の間、フィードバックをユーザに提供してもよく、動作の間も、フィードバックを提供してもよい（例えば、適合が、滑脱に起因して低下する場合、位置合わせオブザーバ６２０は、ユーザに、頭部搭載型ディスプレイシステムを再調節するようにプロンプトしてもよい）。いくつかの実施形態では、位置合わせ分析は、自動的に実施されてもよく（例えば、頭部搭載型ディスプレイシステムの使用の間）、フィードバックが、ユーザ入力を伴わずに提供されてもよい。これらは、単に、例証的実施例である。
眼追跡システムを用いてユーザの角膜を位置特定する実施例
図８Ａは、眼の角膜球面を示す、眼の概略図である。図８Ａに示されるように、ユーザの眼８１０は、角膜８１２と、瞳孔８２２と、水晶体８２０とを有し得る。角膜８１２は、角膜球面８１４によって示される、略球状形状を有し得る。角膜球面８１４は、角膜中心とも称される、中心点８１６と、半径８１８とを有し得る。ユーザの眼の半球状角膜は、角膜中心８１６の周囲に湾曲し得る。
図８Ｂ－８Ｅは、３Ｄ角膜中心推定モジュール７１６および眼追跡モジュール６１４を使用してユーザの角膜中心８１６を位置特定する、実施例を図示する。
図８Ｂに示されるように、３Ｄ角膜中心推定モジュール７１６は、角膜閃光８５４を含む、眼追跡画像８５２を受信してもよい。３Ｄ角膜中心推定モジュール７１６は、次いで、光線８５６を眼カメラ座標系内に投射するために、眼カメラ座標系８５０内において、眼カメラ３２４および光源３２６の既知の３Ｄ位置（眼追跡付帯性質および固有性質データベース７０２、仮定された眼寸法データベース７０４、および／またはユーザ毎較正データ７０６内のデータに基づき得る）をシミュレートしてもよい。少なくともいくつかの実施形態では、眼カメラ座標系８５０は、その原点を眼追跡カメラ３２４の３Ｄ位置に有してもよい。
図８Ｃでは、３Ｄ角膜中心推定モジュール７１６は、第１の位置における角膜球面８１４ａ（データベース７０４からの仮定された眼寸法に基づき得る）および角膜曲率中心８１６ａをシミュレートする。３Ｄ角膜中心推定モジュール７１６は、次いで、角膜球面８１４ａが光を光源３２６から閃光位置８５４に適切に反射させるであろうかどうかをチェックしてもよい。図８Ｃに示されるように、第１の位置は、光線８６０ａが光源３２６と交差しないため、合致しない。
図８Ｄと同様に、３Ｄ角膜中心推定モジュール７１６は、第２の位置における角膜球面８１４ｂおよび角膜曲率中心８１６ｂをシミュレートする。３Ｄ角膜中心推定モジュール７１６は、次いで、角膜球面８１４ｂが、光を光源３２６からの閃光位置８５４に適切に反射させるかどうかをチェックする。図８Ｄに示されるように、第２の位置もまた、合致しない。
図８Ｅに示されるように、３Ｄ角膜中心推定モジュール７１６は、最終的に、角膜球面の正しい位置が角膜球面８１４ｃおよび角膜曲率中心８１６ｃであることを決定することが可能である。３Ｄ角膜中心推定モジュール７１６は、源３２６からの光が、角膜球面から適切に反射し、カメラ３２４によって画像８５２上の閃光８５４の正しい場所に結像されるであろうことをチェックすることによって、図示される位置が正しいことを確認する。本配列、および光源３２６、カメラ３２４の既知の３Ｄ位置、およびカメラの光学性質（焦点距離等）を用いることで、３Ｄ角膜中心推定モジュール７１６は、角膜の曲率の中心８１６の３Ｄ場所（ウェアラブルシステムに対する）を決定し得る。
少なくとも図８Ｃ－８Ｅに関連して本明細書に説明されるプロセスは、事実上、ユーザの角膜中心の３Ｄ位置を識別するための反復、繰り返し、または最適化プロセスであり得る。したがって、複数の技法（例えば、反復、最適化技法等）のいずれかが、効率的かつ迅速に選別する、または可能性として考えられる位置の検索空間を低減させるために使用されてもよい。さらに、いくつかの実施形態では、システムは、光源３２６等の２つ、３つ、４つ、またはそれを上回る光源を含んでもよく、これらの光源の全てのうちのいくつかは、異なる位置に配置され、画像８５２上の異なる位置に位置する、閃光８５４等の複数の閃光および異なる原点および方向を有する、光線８５６等の複数の光線をもたらしてもよい。そのような実施形態は、モジュール７１６が、閃光および光線の一部または全部がその個別の光源と画像８５２上のその個別の位置との間に適切に反射される結果をもたらす、角膜位置を識別することを模索し得るため、３Ｄ角膜中心推定モジュール７１６の正確度を向上させ得る。換言すると、これらの実施形態では、光源の一部または全部の位置が、図８Ｂ－８Ｅの３Ｄ角膜位置決定（例えば、反復、最適化技法等）プロセスに依拠し得る。
眼追跡画像の座標系を正規化する実施例
図９Ａ－９Ｃは、図７Ａの座標系正規化モジュール７１８等のウェアラブルシステム内のコンポーネントによる、眼追跡画像の座標系の例示的正規化を図示する。ユーザの瞳孔場所に対する眼追跡画像の座標系の正規化は、ユーザの顔に対するウェアラブルシステムの滑脱（すなわち、ヘッドセット滑脱）を補償し得、そのような正規化は、眼追跡画像とユーザの眼との間の一貫した配向および距離を確立し得る。
図９Ａに示されるように、座標系正規化モジュール７１８は、ユーザの角膜の回転中心の推定された３Ｄ座標９００を受信してもよく、画像８５２等の非正規化眼追跡画像を受信してもよい。眼追跡画像８５２および座標９００は、実施例として、眼追跡カメラ３２４の場所に基づく、非正規化座標系８５０内にあってもよい。
第１の正規化ステップでは、座標系正規化モジュール７１８は、図９Ｂに示されるように、座標系のｚ－軸（すなわち、輻輳・開散運動深度軸）が座標系の原点と角膜曲率中心座標９００との間のベクトルと整合され得るように、座標系８５０を回転座標系９０２の中に回転させてもよい。特に、座標系正規化モジュール７１８は、ユーザの角膜曲率中心の座標９００が回転画像９０４の平面に対して直交するまで、眼追跡画像８５０を回転眼追跡画像９０４の中に回転させてもよい。
第２の正規化ステップとして、座標系正規化モジュール７１８は、図９Ｃに示されるように、角膜曲率中心座標９００が正規化された座標系９１０の原点から標準的な正規化された距離９０６にあるように、回転座標系９０２を正規化された座標系９１０へと平行移動させてもよい。特に、座標系正規化モジュール７１８は、回転眼追跡画像９０４を正規化された眼追跡画像９１２へと平行移動させてもよい。少なくともいくつかの実施形態では、標準的な正規化された距離９０６は、約３０ミリメートルであってもよい。所望に応じて、第２の正規化ステップは、第１の正規化ステップに先立って実施されてもよい。
眼追跡システムを用いてユーザの瞳孔重心を位置特定する実施例
図９Ｄ－９Ｇは、３Ｄ瞳孔中心ロケータモジュール７２０および眼追跡モジュール６１４を使用してユーザの瞳孔中心（すなわち、図８Ａに示されるように、ユーザの瞳孔８２２の中心）を位置特定する、実施例を図示する。
図９Ｄに示されるように、３Ｄ瞳孔中心ロケータモジュール７２０は、瞳孔重心９１３（すなわち、瞳孔識別モジュール７１２によって識別されるようなユーザの瞳孔中心）を含む、正規化された眼追跡画像９１２を受信してもよい。３Ｄ瞳孔中心ロケータモジュール７２０は、次いで、眼カメラ３２４の正規化された３Ｄ位置９１０をシミュレートし、瞳孔重心９１３を通して、光線９１４を正規化された座標系９１０内に投射してもよい。
図９Ｅでは、３Ｄ瞳孔中心ロケータモジュール７２０は、３Ｄ角膜中心推定モジュール７１６からのデータに基づいて（および図８Ｂ－８Ｅに関連してより詳細に議論されるように）、曲率中心９００を有する角膜球面９０１等の角膜球面をシミュレートしてもよい。実施例として、角膜球面９０１は、図８Ｅに関連して識別された曲率中心８１６ｃの場所に基づいて、および図９Ａ－９Ｃの正規化プロセスに基づいて、正規化された座標系９１０内に位置付けられてもよい。加えて、３Ｄ瞳孔中心ロケータモジュール７２０は、図９Ｅに示されるように、光線９１４（すなわち、正規化された座標系９１０の原点とユーザの瞳孔の正規化された場所との間の光線）とシミュレートされた角膜との間の第１の交点９１６を識別してもよい。
図９Ｆに示されるように、３Ｄ瞳孔中心ロケータモジュール７２０は、角膜球面９０１に基づいて、瞳孔球面９１８を決定してもよい。瞳孔球面９１８は、角膜球面９０１と共通曲率中心を共有するが、小半径を有し得る。３Ｄ瞳孔中心ロケータモジュール７２０は、角膜中心と瞳孔中心との間の距離に基づいて、角膜中心９００と瞳孔球面９１８との間の距離（すなわち、瞳孔球面９１８の半径）を決定してもよい。いくつかの実施形態では、瞳孔中心と角膜曲率中心との間の距離は、図７Ａの仮定された眼寸法７０４から、眼追跡付帯性質および固有性質データベース７０２から、および／またはユーザ毎較正データ７０６から決定されてもよい。他の実施形態では、瞳孔中心と角膜曲率中心との間の距離は、図７Ａのユーザ毎較正データ７０６から決定されてもよい。
図９Ｇに示されるように、３Ｄ瞳孔中心ロケータモジュール７２０は、種々の入力に基づいて、ユーザの瞳孔中心の３Ｄ座標を位置特定してもよい。実施例として、３Ｄ瞳孔中心ロケータモジュール７２０は、瞳孔球面９１８の３Ｄ座標および半径、シミュレートされた角膜球面９０１と正規化された眼追跡画像９１２内の瞳孔重心９１３と関連付けられる光線９１４との間の交点９１６の３Ｄ座標、角膜の屈折率に関する情報、および空気の屈折率等の他の関連情報（眼追跡付帯性質および固有性質データベース７０２内に記憶されてもよい）を利用して、ユーザの瞳孔中心の３Ｄ座標を決定してもよい。特に、３Ｄ瞳孔中心ロケータモジュール７２０は、シミュレーションにおいて、空気（約１．００の第１の屈折率における）と角膜材料（約１．３８の第２の屈折率における）との間の屈折差に基づいて、光線９１６を屈折された光線９２２へと屈曲させてもよい。角膜によって生じる屈折を考慮後、３Ｄ瞳孔中心ロケータモジュール７２０は、屈折された光線９２２と瞳孔球面９１８との間の第１の交点９２０の３Ｄ座標を決定してもよい。３Ｄ瞳孔中心ロケータモジュール７２０は、ユーザの瞳孔中心９２０が屈折された光線９２２と瞳孔球面９１８との間でおおよそ第１の交点９２０に位置することを決定してもよい。本配列を用いることで、３Ｄ瞳孔中心ロケータモジュール７２０は、瞳孔中心９２０の３Ｄ場所（ウェアラブルシステムに対する）を正規化された座標系９１０内で決定し得る。所望に応じて、ウェアラブルシステムは、瞳孔中心９２０の座標をオリジナル眼カメラ座標系８５０の中に正規化解除することができる。瞳孔中心９２０は、角膜曲率中心９００とともに使用され、とりわけ、光学軸決定モジュール７２２を使用して、ユーザの光学軸と、輻輳・開散運動深度推定モジュール７２８によって、ユーザの輻輳・開散運動深度とを決定してもよい。
光学軸と視軸との間の差異の実施例
図７Ａの光学軸／視軸マッピングモジュール７３０に関連して議論されるように、ユーザの光学軸および視軸は、部分的に、ユーザの視軸がその中心窩によって定義され、中心窩が概して人物の網膜の中心にないことに起因して、概して、整合されない。したがって、人物が、特定のオブジェクトに集中することを所望するとき、人物は、その視軸をそのオブジェクトと整合させ、その光学軸（その瞳孔中心およびその角膜の曲率中心によって定義される）が、実際には、そのオブジェクトから若干オフセットされる間、オブジェクトからの光がその中心窩上に当たることを確実にする。図１０は、眼の光学軸１００２と、眼の視軸１００４と、これらの軸間のオフセットとを図示する、眼１０００の実施例である。加えて、図１０は、眼の瞳孔中心１００６と、眼の角膜曲率の中心１００８と、眼の平均回転中心（ＣｏＲ）１０１０とを図示する。少なくともいくつかの母集団では、眼の角膜曲率の中心１００８は、寸法１０１２によって示されるように、眼の平均回転中心（ＣｏＲ）１０１０の正面の約４．７ｍｍにあり得る。加えて、眼の視点中心１０１４は、眼の角膜曲率の中心１００８の正面の約５．０１ｍｍ、ユーザの角膜の外面１０１６の約２．９７ｍｍ背後、および／またはユーザの瞳孔中心１００６の真正面（例えば、眼１０００の前房内の場所に対応する）にあり得る。付加的実施例として、寸法１０１２は、３．０ｍｍ～７．０ｍｍ、４．０～６．０ｍｍ、４．５～５．０ｍｍ、または４．６～４．８ｍｍ、またはこれらの範囲のいずれか内の任意の値と任意の値との間の任意の範囲であってもよい。眼の視点中心（ＣｏＰ）１０１４は、少なくともいくつかの実施形態では、レンダリングカメラをＣｏＰに位置合わせすることが、視差アーチファクトを低減または排除することに役立ち得るため、ウェアラブルシステムのための有用な場所であり得る。
図１０はまた、それとレンダリングカメラのピンホールが整合され得る、ヒトの眼１０００内のそのような場所を図示する。図１０に示されるように、レンダリングカメラのピンホールは、ヒトの眼１０００の（ａ）瞳孔または虹彩１００６の中心および（ｂ）角膜曲率の中心１００８の両方より角膜の外面に近い、ヒトの眼１０００の光学軸１００２または視軸１００４に沿った場所１０１４と位置合わせされてもよい。例えば、図１０に示されるように、レンダリングカメラのピンホールは、角膜１０１６の外面から後方に約２．９７ミリメートルおよび角膜曲率の中心１００８から前方に約５．０１ミリメートルにある、ヒトの眼１０００の光学軸１００２に沿った場所１０１４と位置合わせされてもよい。レンダリングカメラのピンホールの場所１０１４および／またはそれに対して場所１０１４が対応するヒトの眼１０００の解剖学的領域は、ヒトの眼１０００の視点中心を表すと見なされ得る。図１０に示されるようなヒトの眼１０００の光学軸１００２は、角膜曲率の中心１００８および瞳孔または虹彩１００６の中心を通る最短線を表す。ヒトの眼１０００の視軸１００４は、ヒトの眼１０００の中心窩から瞳孔または虹彩１００６の中心まで延在する線を表すため、光学軸１００２と異なる。
コンテンツをレンダリングし、眼追跡に基づいて位置合わせをチェックする、例示的プロセス
図１１は、コンテンツをレンダリングする際、眼追跡を使用して、ウェアラブルデバイス内の位置合わせに関するフィードバックを提供するための例示的方法１１００のプロセスフロー図である。方法１１００は、本明細書に説明されるウェアラブルシステムによって実施されてもよい。方法１１００の実施形態は、ウェアラブルシステムによって、コンテンツをレンダリングし、眼追跡システムからのデータに基づいて、位置合わせ（すなわち、ユーザとのウェアラブルデバイスの適合）に関するフィードバックを提供するために使用されることができる。
ブロック１１１０では、ウェアラブルシステムは、ユーザの片眼または両眼の画像を捕捉してもよい。ウェアラブルシステムは、少なくとも図３の実施例に示されるように、１つまたはそれを上回る眼カメラ３２４を使用して、眼画像を捕捉してもよい。所望に応じて、ウェアラブルシステムはまた、ＩＲ光をユーザの眼上で光輝させ、対応する閃光を眼カメラ３２４によって捕捉された眼画像内に生産するように構成される、１つまたはそれを上回る光源３２６を含んでもよい。本明細書に議論されるように、閃光は、眼追跡モジュール６１４によって、眼が見ている場所を含む、ユーザの眼についての種々の情報を導出するために使用されてもよい。
ブロック１１２０では、ウェアラブルシステムは、ブロック１１１０において捕捉された眼画像内で閃光および瞳孔を検出してもよい。実施例として、ブロック１１２０は、閃光検出および標識化モジュール７１４によって、眼画像を処理し、眼画像内の閃光の２次元位置を識別するステップと、瞳孔識別モジュール７１２によって、眼画像を処理し、眼画像内の瞳孔の２次元位置を識別するステップとを含んでもよい。
ブロック１１３０では、ウェアラブルシステムは、ウェアラブルシステムに対するユーザの左および右角膜の３次元位置を推定してもよい。実施例として、ウェアラブルシステムは、ユーザの左および右角膜の曲率中心の位置およびそれらの曲率中心とユーザの左および右角膜との間の距離を推定してもよい。ブロック１１３０は、少なくとも図７Ａおよび８Ａ－８Ｅに関連して本明細書に説明されるように、曲率中心の位置を識別する３Ｄ角膜中心推定モジュール７１６を伴ってもよい。
ブロック１１４０では、ウェアラブルシステムは、ウェアラブルシステムに対するユーザの左および右瞳孔中心の３次元位置を推定してもよい。実施例として、ウェアラブルシステムおよび３Ｄ瞳孔中心ロケータモジュール７２０は、特に、少なくとも図７Ａおよび９Ｄ－９Ｇに関連して説明されるように、ブロック１１４０の一部として、ユーザの左および右瞳孔中心の位置を推定してもよい。
ブロック１１５０では、ウェアラブルシステムは、ウェアラブルシステムに対するユーザの左および右中心または回転（ＣｏＲ）の３次元位置を推定してもよい。実施例として、ウェアラブルシステムおよびＣｏＲ推定モジュール７２４は、特に、少なくとも図７Ａおよび１０に関連して説明されるように、ユーザの左および右眼に関するＣｏＲの位置を推定してもよい。特定の実施例として、ウェアラブルシステムは、角膜の曲率中心から網膜に向かう光学軸に沿って逆行することによって、眼のＣｏＲを見出し得る。
ブロック１１６０では、ウェアラブルシステムは、ユーザのＩＰＤ、輻輳・開散運動深度、視点中心（ＣｏＰ）、光学軸、視軸、および他の所望の属性を眼追跡データから推定してもよい。実施例として、ブロック１１６０の一部として、ＩＰＤ推定モジュール７２６は、左および右ＣｏＲの３Ｄ位置を比較することによって、ユーザのＩＰＤを推定してもよく、輻輳・開散運動深度推定モジュール７２８は、左光学軸と右光学軸の交点（または近交点）または左軸と右視軸の交点を見出すことによって、ユーザの深度を推定してもよく、光学軸決定モジュール７２２は、左および右光学軸を経時的に識別してもよく、光学軸／視軸マッピングモジュール７３０は、左および右視軸を経時的に識別してもよく、ＣｏＰ推定モジュール７３２は、左および右視点中心を識別してもよい。
ブロック１１７０では、ウェアラブルシステムは、コンテンツをレンダリングしてもよく、随意に、ブロック１１２０－１１６０において識別された眼追跡データに部分的に基づいて、位置合わせに関するフィードバック（すなわち、ユーザの頭部とのウェアラブルシステムの適合）を提供してもよい。実施例として、ウェアラブルシステムは、ライトフィールドレンダリングコントローラ６１８（図７Ｂ）およびレンダリングエンジン６２２に関連して議論されるように、レンダリングカメラのための好適な場所を識別し、次いで、レンダリングカメラの場所に基づいて、ユーザのためのコンテンツを生成してもよい。別の実施例として、ウェアラブルシステムは、位置合わせオブザーバ６２０に関連して議論されるように、ユーザに適切に適合されているか、またはユーザに対するその適切な場所から滑脱しているかどうかを決定してもよく、デバイスの適合が調節の必要があるかどうかを示す、随意のフィードバックをユーザに提供してもよい。いくつかの実施形態では、ウェアラブルシステムは、不適切なまたはずれた位置合わせの影響を低減させる、最小限にする、または補償する試みにおいて、不適切なまたは準理想的位置合わせに基づいて、レンダリングされたコンテンツを調節してもよい。
位置合わせ座標系の実施例
図１２Ａ－１２Ｂは、本明細書に説明されるウェアラブルシステムのディスプレイに対するユーザの左および右眼の３次元位置を定義するために使用され得る、例示的眼位置座標系を図示する。実施例として、座標系は、軸ｘ、ｙ、およびｚを含んでもよい。座標系の軸ｚは、深度、すなわち、ユーザの眼がある平面とディスプレイ２２０がある平面（例えば、ユーザの顔の正面の平面に対して法線の方向）との間の距離に対応し得る。座標系の軸ｘは、ユーザの左眼と右眼との間の距離等、左右方向に対応し得る。座標系の軸ｙは、ユーザが直立しているときの垂直方向であり得る、上下方向に対応し得る。
図１２Ａは、ユーザの眼１２００およびディスプレイ表面１２０２（図２のディスプレイ２２０の一部であり得る）の側面図を図示する一方、図１２Ｂは、ユーザの眼１２００およびディスプレイ表面１２０２の上下図を図示する。ディスプレイ表面１２０２は、ユーザの眼の正面に位置し得、画像光をユーザの眼に出力し得る。実施例として、ディスプレイ表面１２０２は、１つまたはそれを上回る外部結合光要素と、アクティブまたはピクセルディスプレイ要素とを備えてもよく、図４のスタックされた導波管アセンブリ４８０等の導波管のスタックの一部であってもよい。いくつかの実施形態では、ディスプレイ表面１２０２は、平面であってもよい。いくつかの他の実施形態では、ディスプレイ表面１２０２は、他のトポロジ（例えば、湾曲される）を有してもよい。ディスプレイ表面１２０２は、ディスプレイの物理的表面である、または単に、画像光がディスプレイ２２０からユーザの眼に伝搬すると理解される、平面または他の想像上の表面であり得ることを理解されたい。
図１２Ａに示されるように、ユーザの眼１２００は、公称位置１２０６からオフセットされた実際の位置１２０４を有し得、ディスプレイ表面１２０２は、位置１２１４にあり得る。図１２Ａはまた、ユーザの眼１２００の角膜頂点１２１２を図示する。ユーザの照準線（例えば、その光学および／または視軸）は、実際の位置１２０４と角膜頂点１２１２との間の線に実質的に沿ってあり得る。図１２Ａおよび１２Ｂに示されるように、実際の位置１２０４は、ｚ－オフセット１２１０、ｙ－オフセット１２０８、およびｘ－オフセット１２０９だけ公称位置１２０６からオフセットされ得る。公称位置１２０６は、ディスプレイ表面１２０２に対するユーザの眼１２００のために好ましい位置（時として、概して、所望の体積内に中心合わせされ得る、設計位置とも称される）を表し得る。ユーザの眼１２００が、公称位置１２０６から離れるように移動するにつれて、ディスプレイ表面１２０２の性能は、例えば、図１４に関連して本明細書に議論されるように、低下され得る。
ユーザの眼１２００と関連付けられる点または体積は、本明細書の位置合わせの分析におけるユーザの眼の位置を表すために使用され得ることを理解されたい。代表的点または体積は、眼１２００と関連付けられる、任意の点または体積であり得、好ましくは、一貫して使用される。例えば、点または体積は、眼１２００上または内にあってもよい、または眼１２００から離れるように配置されてもよい。いくつかの実施形態では、点または体積は、眼１２００の回転中心である。回転中心は、本明細書に説明されるように決定されてもよく、眼１２００内の種々の軸上に概ね対称的に配置され、光学軸と整合される単一ディスプレイ位置合わせ体積が分析のために利用されることを可能にするため、位置合わせ分析を簡略化するための利点を有し得る。
図１２Ａはまた、ディスプレイ表面１２０２が、ユーザの水平線の下方に中心合わせされ得（ユーザが地面と平行なその光学軸を伴って真っ直ぐ見ているときの、ｙ－軸に沿って見られるように）、傾斜され得る（ｙ－軸に対して）ことを図示する。特に、ディスプレイ表面１２０２は、眼１２００が位置１２０６にあるとき、ユーザが、ディスプレイ表面１２０２の中心を見るために、おおよそ角度１２１６において下を向く必要があるであろうように、ユーザの水平線の幾分下方に配置されてもよい。これは、ユーザが、その水平線の上方よりその水平線の下方のコンテンツを快適に視認し得るため、特に、より短い深度（またはユーザからの距離）にレンダリングされたコンテンツを視認するとき、ディスプレイ表面１２０２とのより自然かつ快適な相互作用を促進し得る。加えて、ディスプレイ表面１２０２は、ユーザがディスプレイ表面１２０２の中心を見ている（例えば、ユーザの水平線の若干下方を見ている）とき、ディスプレイ表面１２０２が、概して、ユーザの照準線と垂直であるように、角度１２１８等で傾斜されてもよい（ｙ－軸に対して）。少なくともいくつかの実施形態では、ディスプレイ表面１２０２はまた、ユーザの眼の公称位置に対して左または右に（例えば、ｘ－軸に沿って）偏移されてもよい。実施例として、左眼ディスプレイ表面は、右向きに偏移されてもよく、右－眼ディスプレイ表面は、無限遠未満のある距離に合焦されるとき、ユーザの通視線がディスプレイ表面の中心に衝打するように、左向きに偏移されてもよく（例えば、ディスプレイ表面１２０２は、相互に向かって偏移されてもよく）、これは、ウェアラブルデバイス上での典型的使用の間、ユーザ快適性を増加させ得る。
ユーザの眼移動に応答してコンテンツをレンダリングする例示的グラフ
図１３は、ウェアラブルシステムが、ユーザの眼移動に応答して深度面を切り替え得る方法を図示する、例示的グラフ１２００ａ－１２００ｊのセットを含む。図４および７に関連して本明細書に議論されるように、ウェアラブルシステムは、複数の深度面を含んでもよく、種々の深度面は、異なるシミュレートされた深度において、または異なる遠近調節キューを伴って（すなわち、種々のレベルの波面曲率または光線発散を伴って）、コンテンツをユーザに提示するように構成される。実施例として、ウェアラブルシステムは、第１の深度の範囲をシミュレートするように構成される、第１の深度面と、第２の深度の範囲をシミュレートするように構成される、第２の深度面とを含んでもよく、これらの２つの範囲は、望ましくは、重複し、切替の際のヒステリシスを促進し得るが、第２の深度の範囲は、概して、ユーザからより長い距離に延在してもよい。そのような実施形態では、ウェアラブルシステムは、ユーザの輻輳・開散運動深度、サッカード移動、および瞬目を追跡し、過剰な深度面切替、過剰な遠近調節－輻輳・開散運動不整合、および遠近調節－輻輳・開散運動不整合の過剰な周期を回避し、深度面切替の可視性を低減させることを模索する（すなわち、瞬目およびサッカードの間、深度面を偏移させることによって）様式において、第１の深度面と第２の深度面との間で切り替え得る。
グラフ１２００ａは、ユーザの輻輳・開散運動深度の実施例を経時的に図示する。グラフ１２００ｂは、ユーザのサッカード信号または眼移動の速度の実施例を経時的に図示する。
グラフ１２００ｃは、眼追跡モジュール６１４によって生成された輻輳・開散運動深度データ、特に、輻輳・開散運動深度推定モジュール７２８によって生成されたデータを図示し得る。グラフ１２００ｃ－１２００ｈに示されるように、眼追跡データは、眼追跡モジュール６１４内において、約６０Ｈｚのレートでサンプリングされ得る。グラフ１２００ｂと１２００ｃとの間に示されるように、眼追跡モジュール６１４内の眼追跡データは、ユーザの実際の眼移動から遅延１２０２だけ遅れ得る。実施例として、時間ｔ１では、ユーザの輻輳・開散運動深度は、ヒステリシス閾値１２１０ａを交差し得るが、眼追跡モジュール６１４は、遅延１２０２後の時間ｔ２まで、イベントを認識し得ない。
グラフ１２００ｃはまた、ヒステリシス帯域内の種々の閾値１２１０ａ、１２１０ｂ、１２１０ｃを図示し、これは、第１の深度面と第２の深度面（すなわち、図１３における深度面＃１および＃０）との間の遷移と関連付けられ得る。いくつかの実施形態では、ウェアラブルシステムは、ユーザの輻輳・開散運動深度が閾値１２１０ｂを上回る度に、深度面＃１を用いてコンテンツを表示し、ユーザの輻輳・開散運動深度が閾値１２１０ｂ未満となる度に深度面＃０を用いてコンテンツを表示しようとし得る。しかしながら、過剰な切替を回避するために、ウェアラブルシステムは、ヒステリシスを実装し得、それによって、ウェアラブルシステムは、ユーザの輻輳・開散運動深度が外側閾値１２１０ｃを超えるまで、深度面＃１から深度面＃０に切り替わらないであろう。同様に、ウェアラブルシステムは、ユーザの輻輳・開散運動深度が外側閾値１２１０ａを超えるまで、深度面＃０から深度面＃１に切り替わらないであろう。
グラフ１２００ｄは、ユーザの輻輳・開散運動深度が、概して、深度面＃１と関連付けられる、体積、または概して、深度面＃２と関連付けられる体積内にあるかどうか（すなわち、ユーザの輻輳・開散運動深度が閾値１２１０ｂを上回るまたはそれ未満であるかどうか）を示す、深度面選択モジュール７５０またはヒステリシス帯域交点検出モジュール７５２によって生成され得る、内部フラグを図示する。
グラフ１２００ｅは、ユーザの輻輳・開散運動深度が閾値１２１０ａまたは１２１０ｃ等の外側閾値を超えるかどうかを示す、深度面セクションモジュール７５０またはヒステリシス帯域交点検出モジュール７５２によって生成され得る、内部ヒステリシス帯域フラグを図示する。特に、グラフ１２００ｅは、ユーザの輻輳・開散運動深度が、ヒステリシス帯域を完全に交差し、アクティブ深度面の体積の外側の領域の中に（すなわち、アクティブ深度面以外の深度面と関連付けられる領域の中に）入り込み、したがって、潜在的に、望ましくない遠近調節－輻輳・開散運動不整合（ＡＶＭ）につながるかどうかを示す、フラグを図示する。
グラフ１２００ｆは、ユーザの輻輳・開散運動が、所定の時間を上回ってアクティブ深度面の体積の外側にあったかどうかを示す、深度面選択モジュール７５０またはヒステリシス帯域交点検出モジュール７５２によって生成され得る、内部ＡＶＭフラグを図示する。ＡＶＭフラグは、したがって、ユーザが、ほぼ過剰または過剰な期間にわたって、望ましくない遠近調節－輻輳・開散運動不整合を受けていた可能性があるときを識別し得る。加えて、または代替として、内部ＡＶＭフラグはまた、ユーザの輻輳・開散運動が、アクティブ深度面の体積を超えて所定の距離に及んだ、したがって、潜在的に過剰な遠近調節－輻輳・開散運動不整合をもたらしたかどうかを示し得る。換言すると、ＡＶＭフラグは、ユーザの輻輳・開散運動が、閾値１２１０ａおよび１２１０ｃよりも閾値１２１０ｂからさらに付加的閾値だけ超えているときを示し得る。
グラフ１２００ｇは、眼球イベント検出モジュール７５４によって生成され得る、内部瞬目フラグを図示し、これは、ユーザが、瞬目した、または瞬目しているときを決定し得る。本明細書に記載されるように、ユーザの瞬目に応じて、深度面を切り替え、ユーザが平面の深度の切替を知覚する尤度を低減させることが所望され得る。
グラフ１２００ｈは、深度面選択モジュール７５０からの例示的出力を図示する。特に、グラフ１２００ｈは、深度面選択モジュール７５０が、経時的に変化し得る、選択された深度面を利用するための命令を、レンダリングエンジン６２２（図６参照）等のレンダリングエンジンに出力し得ることを示す。
グラフ１２００ｉおよび１２００ｊは、レンダリングエンジン６２２が深度面を切り替えることによる遅延と、新しい画像フレームと関連付けられる光を新しい深度面内に提供し、深度面の変化をもたらす必要があり得る、ディスプレイ２２０による遅延とを含む、ウェアラブルシステム内に存在し得る、遅延を図示する。
ここで、種々の時間（ｔ０－ｔ１０）におけるグラフ１２００ａ－１２００ｊに図示される、イベントを参照する。
時間ｔ０の周囲のある時点において、ユーザの輻輳・開散運動深度は、閾値１２１０ａを超え、これは、ヒステリシス閾値外となり得る。画像捕捉および信号処理と関連付けられる遅延後、ウェアラブルシステムは、グラフ１２００ｅに示されるように、ユーザの輻輳・開散運動深度がヒステリシス帯域内にあることを示す、信号を生成し得る。グラフ１２００ｅの実施例では、眼追跡モジュール６１４は、ユーザの輻輳・開散運動深度が閾値１２１０ａを超えることに連動して、おおよそ時間ｔ１においてヒステリシス帯域を超えたことのフラグを提示し得る。
ユーザの輻輳・開散運動深度は、時間ｔ０からおおよそ時間ｔ４まで減少し続け得、その後、増加し得る。
時間ｔ１では、ユーザの輻輳・開散運動深度は、閾値１２１０ｂを超え得、これは、深度面＃１および＃０等の２つの深度面間の中点であり得る。処理遅延１２０２後、眼追跡モジュール６１４は、グラフ１２００ｄに図示されるように、内部フラグを改変し、ユーザの輻輳・開散運動深度が、概して、深度面＃１と関連付けられる、体積から、概して、深度面＃０と関連付けられる、体積の中に移動したことを示し得る。
時間ｔ３では、眼追跡モジュール６１４は、グラフ１２００ａに示されるように、ユーザの輻輳・開散運動深度が、ヒステリシス帯域を通して全体的に移動し、外側閾値１２１０ｃを超えたことを決定し得る。その結果、眼追跡モジュール６１４は、グラフ１２００ｅに示されるように、ユーザの輻輳・開散運動深度がヒステリシス帯域外にあることを示す、信号を生成し得る。少なくともいくつかの実施形態では、眼追跡モジュール６１４は、ユーザの輻輳・開散運動深度がそれらの２つの深度面間のヒステリシス帯域外にあるときのみ、第１の深度面と第２の深度面との間で切り替え得る。
少なくともいくつかの実施形態では、眼追跡モジュール６１４は、時間ｔ３において、深度面を切り替えるように構成されてもよい。特に、眼追跡モジュール６１４は、輻輳・開散運動深度が、現在選択されている深度面（グラフ１２００ｈによって示されるような、深度面＃１）の体積から別の深度面（深度面＃０）の体積の中に移動し、ヒステリシス帯域を全体的に超えることの決定に基づいて、深度面を切り替えるように構成されてもよい。換言すると、眼追跡モジュール６１４は、ヒステリシス帯域を超え（グラフ１２００ｅが高である）、不整合の時間または大きさに基づく遠近調節－輻輳・開散運動不整合が検出される（グラフ１２００ｆが高である）度に、深度面切替を実装し得る。そのような実施形態では、眼追跡モジュール６１４は、レンダリングエンジン６２２に他の深度面（深度面＃０）に切り替えるように命令する、信号をレンダリングエンジン６２２に提供し得る。しかしながら、図１３の実施例では、眼追跡モジュール６１４は、少なくとも１つの他の条件が満たされるまで、深度面切替を遅延させるように構成されてもよい。これらの付加的条件は、実施例として、瞬目条件、遠近調節－輻輳・開散運動不整合タイムアウト条件、および遠近調節－輻輳・開散運動大きさ条件を含んでもよい。
時間ｔ４において、図１３の実施例では、眼追跡モジュール６１４は、深度面を切り替えるように構成されてもよい。特に、眼追跡モジュール６１４は、ユーザの輻輳・開散運動が、所定の閾値時間より長い時間にわたって、深度面＃０と関連付けられる体積内にあった（随意に、また、その期間にわたって、ヒステリシス帯域にあった）ことを決定し得る。所定の閾値時間の実施例は、５秒、１０秒、２０秒、３０秒、１分、および９０秒、およびこれらの値のいずれかの間の任意の範囲を含む。そのような決定に応じて、眼追跡モジュール６１４は、グラフ１２００ｆに示されるように、ＡＶＭフラグを生成し、グラフ１２００ｈに示されるように、レンダリングエンジン６２２に深度面＃０に切り替えるように指示し得る。いくつかの実施形態では、眼追跡モジュール６１４は、ユーザの輻輳・開散運動深度が現在の選択された深度体積から閾値距離を上回って検出される場合、ＡＶＭフラグを生成し、レンダリングエンジン６２２に深度面を切り替えるように指示し得る。
時間ｔ５では、遅延１２０４後、レンダリングエンジン６２２は、コンテンツを新しく選択された深度面＃０にレンダリングすることを開始し得る。レンダリングおよびディスプレイ２２０を通したユーザへの光の伝達と関連付けられる遅延１２０６後、ディスプレイ２２０は、時間ｔ６までに、新しく選択された深度面＃０に完全に切り替えられ得る。
したがって、グラフ１２００ａ－ｊは、時間ｔ０およびとｔ６との間において、システムが、ユーザの輻輳・開散運動が、所定の期間を上回る時間にわたって、前の深度体積から離れて移動した後、ユーザの変化する輻輳・開散運動に応答し得、深度面を切り替え得る方法を図示する。グラフ１２００ａ－ｊは、時間ｔ７とｔ１０との間において、システムが、所定の期間に先立ち得る、ユーザの変化する輻輳・開散運動に応答し得、ユーザの瞬目の検出に応じて、深度面を切り替え得る方法を図示し得る。
時間ｔ７では、眼追跡モジュール６１４は、ユーザの輻輳・開散運動深度が深度面＃０と＃１との間のヒステリシス領域に進入した（すなわち、ユーザの輻輳・開散運動深度が外側閾値１２１０ｃを超えた）ことを検出し得る。それに応答して、眼追跡モジュール６１４は、グラフ１２００ｅに示されるように、ヒステリシスフラグを改変し得る。
時間ｔ８では、眼追跡モジュール６１４は、ユーザの輻輳・開散運動深度が閾値１２１０ｂを超え、概して、深度面＃０と関連付けられる、体積から、概して、深度面＃１と関連付けられる、体積の中に移動したことを検出し得る。したがって、眼追跡モジュール６１４は、グラフ１２００ｄに示されるように、深度体積フラグを改変し得る。
時間ｔ９では、眼追跡モジュール６１４は、ユーザの輻輳・開散運動深度が、閾値１２１０ａを超え、ヒステリシス体積から、概して、深度面＃１と排他的に関連付けられる、体積の中に移動したことを検出し得る。それに応答して、眼追跡モジュール６１４は、グラフ１２００ｅに示されるように、ヒステリシスフラグを改変し得る。
時間ｔ１０の周囲では、ユーザは、瞬目し得、眼追跡モジュール６１４は、その瞬目を検出し得る。一実施例として、眼球イベント検出モジュール７５４は、ユーザの瞬目を検出してもよい。それに応答して、眼追跡モジュール６１４は、グラフ１２００ｈに示されるように、瞬目フラグを生成し得る。少なくともいくつかの実施形態では、眼追跡モジュール６１４は、ヒステリシス帯域を超え（グラフ１２００ｅが高である）、瞬目が検出される（グラフ１２００ｇが高である）度に、深度面切替を実装し得る。したがって、眼追跡モジュール６１４は、レンダリングエンジン６２２に、時間ｔ１０において、深度面を切り替えるように命令し得る。
深度面選択の較正の例示的プロセス
本明細書に議論されるように、図２のディスプレイ２２０等の頭部搭載型ディスプレイは、複数の深度面を含んでもよく、これは、それぞれ、異なる量の波面発散を提供し、異なる遠近調節キューをユーザの眼に提供する。深度面は、図４の導波管４３２ｂ、４３４ｂ、４３６ｂ、および４４０ｂ等の光学要素から形成されてもよく、これは、実施例として、所望のレベルの波面発散を用いて、画像情報をユーザの眼に送信するように構成されてもよい。
少なくともいくつかの実施形態では、ディスプレイ２２０を含む、ウェアラブルシステムは、ユーザの視線の現在の固視点または輻輳・開散運動深度に基づく遠近調節キューを有する、画像コンテンツを表示するように構成されてもよい（例えば、遠近調節－輻輳・開散運動不整合を低減または最小限にするために）。換言すると、ウェアラブルシステムは、ユーザの視線の輻輳・開散運動深度を識別し（例えば、実施例として、図７Ａの輻輳・開散運動深度推定モジュール７２８を使用して）、次いで、画像コンテンツを、現在の輻輳・開散運動深度と関連付けられる遠近調節キューを提供する、深度面上に表示するように構成されてもよい。したがって、ユーザが、光学無限遠を見ているとき、ウェアラブルシステムは、画像コンテンツを、光学無限遠の遠近調節キューを提供する、第１の深度面上に表示してもよい。対照的に、ユーザが、近距離内（例えば、１メートル以内）を見ているとき、ウェアラブルシステムは、画像コンテンツを、遠近調節キューを近距離内または少なくともそのより近くに提供する、第２の深度面上に表示してもよい。
上記に記載されるように、図７Ａの輻輳・開散運動深度推定モジュール７２８によって実施され得る、輻輳・開散運動深度推定は、部分的に、現在のユーザの瞳孔間距離（ＩＰＤ）に基づいてもよい。特に、いくつかの実施形態では、輻輳・開散運動深度を決定するステップは、ユーザの左および右眼の光学および／または視軸を投影し（その個別の視線を決定するために）、それらの軸が空間内で交差する場所、したがって、ユーザの固視点または輻輳・開散運動深度がある場所を決定するステップを伴ってもよい。幾何学的に、光学および／または視軸は、三角形の辺であって、三角形の底辺は、ユーザのＩＰＤであって、三角形の先端は、ユーザの固視点または輻輳・開散運動深度である。したがって、ユーザのＩＰＤは、輻輳・開散運動深度を決定する際に有用であることを理解されたい。
種々の実施形態では、ウェアラブルシステムは、特定のメインユーザに対して較正されてもよい。較正は、種々のプロセスを含んでもよく、ユーザが異なる場所および深度におけるオブジェクトに合焦されるにつれてユーザの眼が移動する程度を決定するステップを含んでもよい。較正はまた、ユーザのＩＰＤ（例えば、ユーザが光学無限遠に合焦するときのユーザの瞳孔間の距離）を識別するステップを含んでもよい。較正はまた、近距離（例えば、２．０メートル未満）内のオブジェクトおよび中距離（例えば、約２．０および３．０メートル）内のオブジェクト等、ユーザが光学無限遠より近いオブジェクトに合焦するときのユーザの瞳孔距離を決定するステップを含んでもよい。そのような較正データに基づいて、ウェアラブルシステムは、ユーザの瞳孔距離を監視することによって、ユーザが見ている深度を決定することが可能であり得る。換言すると、ユーザの瞳孔距離が、その最大値にある（例えば、ユーザのＩＰＤに等しいまたはそれに近い）とき、ウェアラブルシステムは、ユーザの輻輳・開散運動距離が光学無限遠またはその近くにあることを推測することが可能であり得る。対照的に、ユーザの瞳孔距離が、その最小値の近くにあるとき、ウェアラブルシステムは、ユーザの輻輳・開散運動距離が較正によって決定された距離におけるユーザに近いことを推測することが可能であり得る。
いくつかの実施形態では、ウェアラブルシステムは、深度面選択のための１つまたはそれを上回る代替プロセスを利用してもよい。一実施例として、ウェアラブルシステムは、コンテンツベースの切替スキームを実装してもよい。仮想コンテンツは、そのコンテンツが位置すべき仮想空間内の場所についての情報を含んでもよいことを理解されたい。本場所を前提として、仮想コンテンツは、波面発散の関連付けられる量を効果的に規定し得る。その結果、ユーザの眼の固視点を決定し、深度面を切り替える（例えば、仮想オブジェクトを形成するための光の波面発散の量を切り替えるために）のではなく、ディスプレイシステムは、その中に仮想コンテンツを設置すべき仮想空間内の所望の場所に基づいて、深度面を切り替えるように構成されてもよい。
いくつかの実施形態では、ウェアラブルシステムは、依然として、その仮想コンテンツのために規定された深度面に切り替えるために、ユーザが仮想コンテンツを見ているかどうかに関する決定を行ってもよい。例えば、ディスプレイシステムは、依然として、ユーザの視線を追跡し、彼らが仮想オブジェクトを見ているかどうかを決定してもよく、いったんその決定が行われると、仮想コンテンツと関連付けられる深度情報を使用して、深度面を切り替えるかどうかを決定してもよい。別の実施例として、ウェアラブルシステムは、ユーザが特定の実または仮想オブジェクトを見るであろうことの仮定に基づいて、ユーザが見ている可能性が最も高い実または仮想オブジェクトを識別してもよい。例えば、ウェアラブルシステムは、ユーザから１メートル離れるように、ビデオを２Ｄ仮想画面上においてユーザに提示してもよい。ユーザが、画面から視線を逸らし、別のオブジェクトを見ている可能性もあるが、ユーザがビデオ画面を見ているであろうと仮定するのが合理的であり得る。いくつかの実施形態では、ウェアラブルシステムは、移動または可視変化または他の実または仮想コンテンツより多くの移動または変化を有する、ユーザが実または仮想コンテンツを見ていると仮定を行うように構成されてもよい。例えば、ウェアラブルシステムは、スコアをユーザの視野内の実または仮想コンテンツによる視覚的外観の移動または変化の量に割り当て、ユーザが最高スコア（例えば、ビデオを表示する仮想画面等の最も多くの移動または視覚的変化）を伴う実または仮想コンテンツを見ているという仮定を行ってもよい。
代替深度面選択プロセスの別の実施例は、動的較正である。動的較正は、現在のユーザが専用較正プロセスを実施していない（またはまだ実施していない）時に有益であり得る。実施例として、動的較正は、ゲストユーザがデバイスを装着しているときに利用されてもよい。動的較正システムの一実施例では、ウェアラブルシステムは、現在のユーザのＩＰＤを推定するために、眼追跡データを収集してもよく、次いで、推定されるＩＰＤを使用して（および図７Ａのモジュール７２８に関連して議論されるように、その眼視線方向）、ユーザの輻輳・開散運動深度を推定してもよい。ＩＰＤ推定は、図７ＡのＩＰＤ推定モジュール７２６によって実施されてもよく、付加的詳細および例示的実施形態は、モジュール７２６に関連して本明細書に議論される。動的較正は、背景プロセスとして生じ、具体的アクションをユーザから要求しなくてもよい。加えて、動的較正は、ユーザの眼のサンプルまたは画像を持続的に取得し、ＩＰＤ推定値をさらに精緻化してもよい。下記にさらに詳細に議論されるように、ウェアラブルシステムは、全ての測定されたＩＰＤ値の９５パーセンタイル（または他のパーセンタイル）としてユーザのＩＰＤを推定し得る。換言すると、測定されたＩＰＤ値の最大５％が、除外され得、次いで、最大の残りの測定されたＩＰＤ値が、ユーザのＩＰＤとして求められ得る。このように計算されるＩＰＤ値は、本明細書では、ＩＰＤ＿９５と称され得る。
ディスプレイシステムは、ＩＰＤを継続的に監視するように構成されてもよいことを理解されたい。したがって、特定のパーセンタイルと関連付けられる値を決定するために使用される、サンプルまたは個々のＩＰＤ測定値の数は、経時的に増加し、潜在的に、ＩＰＤ決定の正確度を増加させ得る。いくつかの実施形態では、ＩＰＤ値（例えば、ＩＰＤ９５）は、継続的または周期的に、更新されてもよい。例えば、ＩＰＤ値は、所定の時間量が経過した後、および／または個々のＩＰＤ測定値の所定の数が行われた後、更新されてもよい。
いくつかの実施形態では、動的較正プロセスは、ユーザのＩＰＤ（例えば、ユーザが、光学無限遠を見ているとき等のユーザの最大瞳孔距離）を識別することを求めてもよい。そのような実施形態では、ウェアラブルシステムは、ＩＰＤのみに基づいて、深度面選択を較正することが可能であり得る。
特定の実施例として、ユーザの瞳孔距離が、その最大ＩＰＤから０．６ｍｍ低減される場合、ユーザは、約７８ｍｍの深度に合焦している可能性が高いことが決定されている。７８ｍｍは、本明細書に開示されるいくつかの実施形態では、深度面間の切替点に対応し得る（例えば、システムは、ユーザが７８ｍｍ未満に合焦しているとき、第１の深度面を利用し、ユーザが７８ｍｍを上回って合焦しているとき、第２の深度面を利用することを好み得る）。異なる焦点深度に生じる切替点を伴う実施形態では、その最大ＩＰＤに対する関連付けられる瞳孔距離低減は、切替点の変化に関連して変化するであろう（例えば、そのような実施形態では、７８ｍｍから切替点があるいずれかの場所に）。
いくつかのインスタンスでは、ウェアラブルシステムは、単に、ユーザの現在の瞳孔距離とその最大ＩＰＤとの間の差異を考慮するだけではなく、また、そのような関係がユーザの最大ＩＰＤに関連して変化する程度を考慮することによって、ユーザの輻輳・開散運動深度のその計算を精緻化してもよい。特に、上記に議論される０．６ｍｍの数は、全体として母集団に適用され、ウェアラブルシステム内の種々のバイアスを考慮する、平均数であり得る（例えば、平均して、その最大ＩＰＤより０．６ｍｍ少ない現在の瞳孔距離を有する、ユーザは、７８ｍｍの距離に輻輳している場合がある）。しかしながら、７８ｍｍの輻輳・開散運動距離（または、先行段落に議論されるような他の切替点距離）と関連付けられる、（最大値と現在値との間の）実際のＩＰＤ差異は、０．６ｍｍより大きいまたはそれを上回ってもよく、ユーザの解剖学的ＩＰＤの関数であってもよい。特定の実施例として、５４ｍｍのＩＰＤを伴う人物は、その現在のＩＰＤがその最大ＩＰＤ（例えば、少なくとも１０メートルの距離を見ているときのそのＩＰＤ）より０．７３ｍｍ少ないとき、７８ｍｍの輻輳・開散運動距離を有し得、６４ｍｍのＩＰＤを伴う人物は、その現在のＩＰＤがその最大ＩＰＤより０．８３ｍｍ少ないとき、７８ｍｍの輻輳・開散運動距離を有し得、７２ｍｍのＩＰＤを伴う人物は、その現在のＩＰＤがその最大ＩＰＤより０．９３ｍｍ少ないとき、７８ｍｍの輻輳・開散運動距離を有し得る。これらの数は、限定ではないが、０．６ｍｍの数が、異なるＩＰＤを伴うユーザ間で区別されないこと、０．６ｍｍの数が、ＩＰＤ＿９５値を参照し得る（例えば、実際には、光学無限遠を見ているときのユーザの解剖学的ＩＰＤより若干低い、ＩＰＤ値を参照し得る）ことを含め、種々の理由から、０．６ｍｍの数と異なり得る。いくつかの実施形態では、０．６ｍｍの数は、ユーザの最大ＩＰＤに応じて変動し得る。例えば、０．６ｍｍの数からの所定の数の逸脱が、利用可能であってもよく、最大ＩＰＤ値の異なる範囲と関連付けられてもよい。
そのような関係を使用して、ウェアラブルシステムは、その最大ＩＰＤと現在の瞳孔間距離（その輻輳・開散運動距離が減少するにつれて、１つまたはそれを上回る数学的関数に従って低減され得る）を比較することによって、ユーザの現在の輻輳・開散運動深度を決定することが可能であり得る。ユーザの最大ＩＰＤを決定するステップは、実施例として、ユーザのＩＰＤに関するデータを経時的に収集し、収集されたデータ内の最大ＩＰＤを識別するステップを伴ってもよい。他の実施形態では、ウェアラブルシステムは、ユーザが光学無限遠を見ていないときでも、ヒューリスティックまたは他のプロセスを使用して、ユーザの最大ＩＰＤを決定してもよい。特に、ウェアラブルシステムは、ユーザの最大ＩＰＤをより近い輻輳・開散運動深度と関連付けられる複数の瞳孔距離から外挿してもよい。ウェアラブルシステムはまた、ユーザに、仮想コンテンツを光学無限遠に提示し、ユーザにその注意を仮想コンテンツ上に集中させるように求めることによって、光学無限遠を見るように促してもよい。
図１４は、既存の較正、コンテンツベースの切替スキーム、および／または動的較正を使用する、深度面選択のための例示的方法１４００のプロセスフロー図である。方法１４００は、本明細書に説明されるウェアラブルシステムによって実施されてもよい。方法１４００の実施形態は、ウェアラブルシステムによって、コンテンツを、概して、そうでなければ、ユーザ不快感および疲労につながる、任意の輻輳・開散運動－遠近調節不整合を低減または最小限にする、深度面上にレンダリングするために使用されることができる。
ブロック１４０２では、ウェアラブルシステムは、それがユーザによって装着されていないことを決定してもよい。ウェアラブルシステムは、眼カメラ３２４のような眼追跡システム等の１つまたはそれを上回るセンサを使用して、それが装着されていないことを決定してもよい。実施例として、ウェアラブルシステムは、眼カメラ３２４によって捕捉された眼追跡画像内に眼が存在しないことの決定に基づいて、それがユーザによって装着されていないことを決定してもよい。特に、ウェアラブルシステムは、少なくとも所与の期間（例えば、所定の期間、動的に決定された期間等）にわたって、眼追跡画像内に眼を検出することに失敗した後、ウェアラブルシステムがユーザによって装着されていないことを決定してもよい。
カメラ３２４によって捕捉されたもの等の眼追跡画像内のユーザの眼の一方または両方の検出に応じて、方法１４００は、ブロック１４０４に進んでもよい。ブロック１４０４では、ウェアラブルシステムは、それが装着されていることを決定してもよい。いくつかの実施形態では、ブロック１４０２および／またはブロック１４０６と関連付けられる決定のいくつかまたは全ては、少なくとも部分的に、ＩＭＵ、加速度計、ジャイロスコープ、近接度センサ、タッチセンサ、および同等物等のウェアラブルシステムからの１つまたはそれを上回る他のセンサからのデータに基づいて行われてもよい。例えば、これらの実施形態では、ウェアラブルシステムは、ウェアラブルシステムが、ユーザの頭部上に設定されている、またはそこから除去されていることのインジケーションのために、１つまたはそれを上回るＩＭＵ、加速度計、および／またはジャイロスコープからのデータを監視してもよい、１つまたはそれを上回る近接度センサおよび／またはタッチセンサからのデータを監視し、ユーザの物理的存在を検出してもよい、または両方であってもよい。例えば、ウェアラブルシステムは、これらのセンサのうちの１つまたはそれを上回るものから受信されたデータを比較してもよく、ウェアラブルシステムは、個別のセンサと関連付けられる閾値を有してもよい。一実施例では、ウェアラブルシステムは、次いで、１つまたはそれを上回る近接度センサからの値が、閾値を満たし、またはそれを超え、随意に、ＩＭＵ、加速度計、および／またはジャイロスコープからのデータと併せて、本デバイスが除去されていることの結論を支持するために十分な移動（例えば、閾値を超える）を示すことに基づいて、デバイスがユーザの頭部から除去されていることを決定してもよい。
ブロック１４０６では、ウェアラブルシステムは、識別プロセスを実施することによって、現在のユーザを識別するように試みてもよい。一実施例として、ウェアラブルシステムは、現在のユーザのＩＰＤを推定し、現在のユーザのＩＰＤが較正されたユーザのＩＰＤに合致するかどうか（例えば、２つのＩＰＤが相互にある閾値内にあるかどうか）を決定してもよい。いくつかの実施形態では、ウェアラブルシステムは、較正されたＩＰＤおよび現在のユーザのＩＰＤが、較正されたユーザのＩＰＤの閾値、例えば、０．５ｍｍ、１．０ｍｍ、１．５ｍｍ、または２．０ｍｍ以内にある場合、現在のユーザが較正されたユーザであることを決定してもよい。一般に、より大きい閾値は、より高速の決定を促進し、較正されたユーザが識別され、その較正パラメータが使用されることを確実にすることに役立ち得る。例えば、より大きい閾値は、現在のユーザが較正されたユーザであることを見出すようにバイアスされる。少なくともいくつかの実施形態では、ウェアラブルシステムは、比較的に短タイムフレーム内に比較的に高正確度（例えば、９５％）（例えば、眼追跡画像の約１５０～２００フレームに対応し得る、５～７秒の眼追跡データ）を伴って、現在のユーザのＩＰＤを決定することが可能であり得る。
現在のユーザのＩＰＤと較正されたユーザのＩＰＤとの間に合致が存在する場合、ウェアラブルシステムは、現在のユーザが較正されたユーザであると仮定し、ブロック１４０８において、既存の較正をロードしてもよい。既存の較正は、較正されたユーザがウェアラブルシステムを装着している状態で較正プロセスの間に生成された、較正パラメータまたはデータであってもよい。現在のユーザは、実際には較正されたユーザではなく、単に、類似ＩＰＤを有する場合、ブロック１４０８においてロードされた較正データは、現在のユーザのための合理的性能を提供する一方、現在のユーザが、さらなる詳細な較正を実施することなく、ウェアラブルシステムを使用することを可能にする、容認可能較正であり得る。
いくつかの実施形態では、ウェアラブルシステムは、ユーザのＩＰＤ以外の（またはそれに加え）測定を使用して、現在のユーザを識別してもよい。実施例として、ウェアラブルシステムは、ユーザに、ユーザ名および／またはパスワードを尋ねてもよく、ウェアラブルシステムは、虹彩走査（例えば、ユーザの虹彩の現在の画像と基準画像を比較し、合致が存在するかどうかを決定し、合致は、現在のユーザが較正されたユーザであることを意味すると解釈される）、音声認識（例えば、ユーザの音声の現在のサンプルと基準音声ファイルを比較し、合致は、現在のユーザが較正されたユーザであることを意味すると解釈される）、またはこれらおよび他の認証または識別技法のある組み合わせを実施してもよい。いくつかの実施形態では、２つまたはそれを上回る識別プロセスが、現在のユーザが較正されたユーザであるかどうかの決定の正確度を増加させるために実施されてもよい。例えば、現在のユーザは、較正されたユーザであると仮定されてもよいが、実施される識別プロセスの全てが現在のユーザを較正されたユーザとして識別することに失敗する場合、較正されたユーザではないと決定されてもよい。別の実施例として、種々の実施される識別プロセスからの結果は、組み合わせられたスコアに集約されてもよく、現在のユーザは、組み合わせられたスコアが所定の閾値を超えない限り、較正されたユーザであると仮定されてもよい。
いくつかの実施形態では、ディスプレイシステムが、複数のユーザのための複数の較正ファイルを含む場合、付加的基準が、適切な較正ファイルを選択するために必要とされ得る。例えば、ユーザは、適切な較正ファイルを選択するようにプロンプトされてもよく、および／または本明細書に開示される識別スキームの複数のものが、利用されてもよい。
いくつかの実施形態では、複数の識別スキームが、ユーザ識別の正確度を増加させるために利用されてもよい。例えば、ＩＰＤは、比較的に大まかな識別基準であることを理解されたい。いくつかの実施形態では、ＩＰＤは、現在のユーザが較正されたユーザである可能性が高いかどうかを識別するための第１の基準として使用されてもよく、次いで、より精密なまたは正確な識別スキームが、利用されてもよい（例えば、虹彩走査）。そのようなマルチステップ識別スキームは、有利なこととして、より正確な識別スキームがよりリソース集約的であり得るため、処理リソースを節約し得る。その結果、処理リソースは、ＩＰＤ決定が較正されたユーザが存在することを示すまで、より正確なリソース集約的識別スキームの使用を遅延させることによって保存され得る。
図１４を継続して参照すると、現在のユーザのＩＰＤが、較正されたユーザのＩＰＤに合致しない場合、ウェアラブルは、ブロック１４１０において、動的較正を実施してもよい。動的較正は、本明細書に議論されるように、眼追跡データを監視し、その輻輳・開散運動距離の関数としてユーザの瞳孔間距離が変化する程度を推定するステップを伴ってもよい。一実施例として、動的較正は、ユーザの最大ＩＰＤを推定し、次いで、最大ＩＰＤを現在の瞳孔間距離とともに使用して、現在の輻輳・開散運動距離を推定するステップを伴ってもよい。
ブロック１４１２では、ウェアラブルシステムは、コンテンツベースの切替を実装してもよい。コンテンツベースの切替を用いることで、深度面選択は、ユーザが見ていると決定される仮想コンテンツ（例えば、コンテンツ作成者によって識別され得る、表示されている最も重要なまたは関心を引くコンテンツ、ユーザの眼の視線に基づく等）の深度に基づく。少なくともいくつかの実施形態では、ブロック１４１２は、現在のユーザが較正されたユーザであるかどうかにかかわらず、ウェアラブルシステムのコンテンツ作成者または他の設計者によって選択されたときに実施されてもよい。種々の実施形態では、ブロック１４１２におけるコンテンツベースの切替は、較正されたユーザが存在しないときに実施されてもよい。そのような実施形態では、ブロック１４０６は、所望に応じて、スキップされてもよい。加えて、いくつかの実施形態では、ブロック１４１２のコンテンツベースの切替は、ブロック１４０８および／または１４１０（およびこれらのブロックに関連するブロック）が、実施される、またはディスプレイシステムに利用可能であるかどうかにかかわらず、実施されてもよい。例えば、いくつかの実施形態では、ディスプレイシステムは、深度面切替を決定するために、ブロック１４１２のみを実施してもよい。
本明細書に説明されるように、各仮想オブジェクトは、３次元場所情報等の場所情報と関連付けられてもよい。ウェアラブルシステムは、場所情報に基づいて、各仮想オブジェクトをユーザに提示してもよい。例えば、特定の仮想オブジェクトに関する場所情報は、オブジェクトが提示されるべきＸ、Ｙ、およびＺ座標を示してもよい（例えば、オブジェクトの中心または重心が、座標に提示されてもよい）。したがって、ウェアラブルシステムは、各仮想オブジェクトが提示されるべき深度面を示す、情報を取得し得る。
図１６Ａ－１８に関して下記にさらに詳細に説明されるであろうように、ウェアラブルシステムは、空間の個別の体積（本明細書では、「ゾーン」またはマーカとも称される）を各オブジェクトを囲繞するように割り当ててもよい。空間のこれらの体積は、好ましくは、重複し得ない。ウェアラブルシステムは、ユーザの視線を識別し、ユーザの視線を含む、ゾーンを識別してもよい。例えば、視線は、ユーザが固視している３次元場所（例えば、近似３次元場所）を示し得る。ウェアラブルシステムは、次いで、識別されたゾーン内に含まれる仮想オブジェクトと関連付けられる深度面に、仮想コンテンツの提示を生じさせてもよい。したがって、いくつかの実施形態では、いったんディスプレイシステムが、ユーザが見ているオブジェクトに関する決定を行うと、深度面間の切替が、ユーザの眼の固視点ではなく、仮想オブジェクトと関連付けられる場所または深度面に基づいて生じ得る。
ブロック１４１４では、ウェアラブルシステムは、深度面切替を実施してもよい。ブロック１４１４の深度面切替は、ブロック１４０８、１４１０、または１４１２においてロードまたは生成された構成パラメータを用いて実施されてもよい。特に、現在のユーザが、較正されたユーザである場合、ブロック１４１４は、そのユーザでの較正の間に生成された構成パラメータに従って、深度面切替を実施してもよい。現在のユーザが、較正ユーザではないと識別され、動的較正が、ブロック１４１０において実施された場合、ブロック１４１２は、動的較正の一部としてブロック１４１０において生成された較正パラメータに従って、深度面切替を伴ってもよい。少なくともいくつかの実施形態では、ブロック１４１０において生成された較正パラメータは、ユーザのＩＰＤであってもよく、ブロック１４１４における深度面切替は、ユーザのＩＰＤに基づいてもよい。ウェアラブルシステムが、ブロック１４１２において、コンテンツベースの切替を実装する場合（較正されたユーザが存在しないとき、および／またはコンテンツ作成者またはユーザがコンテンツベースの切替を利用することを好むときに生じ得る）、深度面切替は、ユーザが見ていると仮定されるコンテンツの深度に従って実施されてもよい。
図１４を継続して参照すると、ディスプレイシステムは、ユーザの識別を継続的に確認するように構成されてもよいことを理解されたい。例えば、ブロック１４１４後、ディスプレイシステムは、ブロック１４０６に戻り、ユーザを識別するように構成されてもよい。いくつかのインスタンスでは、ディスプレイシステムは、ブロック１４０６において以前に検出された較正されたユーザがディスプレイデバイスを装着していることの追跡を喪失し得る。これは、例えば、較正されたユーザがディスプレイデバイスを外したために生じ得る、または待ち時間問題点、または較正されたユーザが依然としてディスプレイデバイスを装着している場合でも、ディスプレイデバイスがもはやユーザによって装着されていないことを誤って示す、感知誤差に起因し得る。いくつかの実施形態では、ディスプレイデバイスが、較正されたユーザがもはやディスプレイデバイスを装着していないことを検出するときでも、ディスプレイシステムは、それぞれ、ブロック１４１２および１４１０のコンテンツベースの深度面切替スキームまたは動的較正スキームに切り替える前に、所定の時間量にわたって、または所定の数のフレームにわたって、較正されたユーザの較正プロファイルを使用し続けてもよい。本明細書に議論されるように、ディスプレイシステムは、ブロック１４０６を持続的に実施するように構成されてもよく、較正されたユーザを検出し続けない場合がある。較正されたユーザが、所定の時間量または所定の数のフレームにわたって、検出されないことの決定に応答して、システムは、それぞれ、ブロック１４１２および１４１０のコンテンツベースの深度面切替スキームまたは動的較正スキームに切り替えてもよい。有利なこととして、較正されたユーザは、典型的には、ディスプレイデバイスのユーザである可能性が最も高いため、較正されたユーザの較正プロファイルを使用し続けることによって、較正されたユーザは、システムが較正されたユーザを検出することに誤って失敗する場合、ユーザ体験において有意な劣化を体験し得ない。
深度面選択のための方法の別の実施例は、図１５に示される。図１５は、ユーザの瞳孔間距離に基づく、深度面選択のための例示的方法１５００のプロセスフロー図である。方法１５００は、本明細書に説明されるウェアラブルシステムによって実施されてもよい。方法１５００の実施形態は、ウェアラブルシステムによって使用され、コンテンツを、概して、そうでなければ、ユーザ不快感および疲労につながる、任意の輻輳・開散運動－遠近調節不整合を低減または最小限にする、深度面上にレンダリングすることができる。
ブロック１５０２では、ウェアラブルシステムは、それがユーザによって装着されていないことを決定してもよい。実施例として、ウェアラブルシステムは、閾値期間（５秒、１０秒、２０秒等）を上回って、眼追跡システムを介してユーザの眼を検出することに失敗した後、装着されていないことを決定してもよい。
ブロック１５０４では、ウェアラブルシステムは、それがユーザによって装着されていることを決定してもよい。ウェアラブルシステムは、１つまたはそれを上回るセンサを使用して、それが装着されていることを決定してもよい。実施例として、ウェアラブルシステムは、ウェアラブルシステムがユーザの頭部上に設置されるとトリガされる、近接度センサまたはタッチセンサを含んでもよく、そのようなセンサからの信号に基づいて、システムが装着されていることを決定してもよい。別の実施例として、ウェアラブルシステムは、眼追跡画像内のユーザの眼の存在を識別後、それが装着されていることを決定してもよい。いくつかのインスタンスでは、ウェアラブルシステムは、１）ユーザがその眼を閉じているため、ユーザの眼を検出することに失敗したことと、２）ユーザがウェアラブルシステムを除去しているため、ユーザの眼を検出することに失敗したこととの間で区別することが可能であり得る。したがって、ウェアラブルシステムが、ユーザの閉鎖された眼を検出するとき、ウェアラブルシステムは、デバイスが装着されていると決定し得る。いくつかの実施形態では、ブロック１５０２および／またはブロック１５０４と関連付けられる決定のいくつかまたは全ては、それぞれ、図１４を参照して上記に説明されるように、ブロック１４０２および／またはブロック１４０４と関連付けられるものに類似する、または実質的に同一であってもよい。
ブロック１５０６では、ウェアラブルシステムは、それが任意のユーザに対して以前に較正されているかどうかをチェックしてもよい。ブロック１５０６は、種々の実施形態では、現在のユーザが較正されたユーザ（または複数の較正されたユーザが存在する場合、較正されたユーザのうちの１人）であるかどうかを識別するステップの一部として、較正されたユーザのＩＰＤを取得するステップを伴ってもよい。いくつかの実施形態では、ウェアラブルシステムは、本明細書に議論されるように、コンテンツベースの切替を実装してもよく、ウェアラブルシステムが任意のユーザに対して以前に較正されていない（または任意のそのような較正がウェアラブルシステムから削除または除去されている）場合、ブロック１５１６において、コンテンツベースの切替をアクティブ化してもよい。ウェアラブルシステムはまた、具体的コンテンツのために、および／またはユーザまたはコンテンツ作成者による要求に応じて、コンテンツベースの切替を実装してもよい。換言すると、コンテンツ作成者またはユーザは、ウェアラブルシステムが以前に較正されているときでも、およびウェアラブルシステムが現在のユーザのために較正されているときでも、コンテンツベースの切替の使用を規定または要求することが可能であり得る。
ブロック１５０８では、ウェアラブルシステムは、現在のユーザのＩＰＤを推定してもよく、ブロック１５１０では、ウェアラブルシステムは、現在のユーザのＩＰＤに関する眼追跡データを蓄積してもよい。ブロック１５１０において蓄積されたＩＰＤデータは、ユーザの瞳孔間距離の経時的測定値、ユーザの左および右の回転中心の経時的測定値、経時的に測定された最大瞳孔間距離のインジケーション、または任意の他の関連データであってもよい。少なくともいくつかの実施形態では、ウェアラブルシステムは、ブロック１５０８において、比較的に短タイムフレーム内に比較的に高正確度（例えば、９５％）（例えば、眼追跡画像の約１５０～２００フレームに対応し得る、５～７秒の眼追跡データ）を伴って、現在のユーザのＩＰＤを決定することが可能であり得る。
いくつかの実施形態では、ウェアラブルシステムは、（例えば、ブロック１５１８における動的較正の間および／またはブロック１５１０におけるＩＰＤデータの蓄積の間）収集された全てのＩＰＤ値の特定のパーセンタイル（例えば、９５パーセンタイル）としてユーザのＩＰＤを推定してもよい。例えば、９５パーセンタイルに関して、測定されたＩＰＤ値の最大５％が、除外されてもよく、次いで、最大の残りの測定されたＩＰＤ値が、ユーザのＩＰＤとして求められてもよい。このように計算されるＩＰＤ値は、本明細書では、ＩＰＤ＿９５と称され得る。このようにユーザのＩＰＤ値を計算する１つの利点は、ユーザの解剖学的ＩＰＤを上回り得る外れ値が、除外され得ることである。理論によって限定されるわけではないが、ユーザの解剖学的ＩＰＤの近くまたはそれにおける十分な数の測定されたＩＰＤ値が存在する状態では、ＩＰＤ＿９５値がユーザの解剖学的ＩＰＤを正確に反映させると考えられる。実施例として、ＩＰＤ測定値の概ね１０％が、ユーザの解剖学的ＩＰＤに近い場合、ＩＰＤ＿９５値は、最大５％値が除外される場合でも、依然として、ユーザの解剖学的ＩＰＤ値を反映させるはずである。所望に応じて、最大測定ＩＰＤ値の異なるパーセンテージを除外するステップを伴い得る、他のＩＰＤ計算が、使用されてもよい。実施例として、ＩＰＤ値が除外されない、ＩＰＤ＿１００値が、使用されてもよい、または値の最大２％のみが除外される、ＩＰＤ＿９８値が、使用されてもよい（比較的に少ない外れＩＰＤ測定値を生産する、眼追跡システムを伴うシステムにおいて好ましくあり得る）。付加的実施例として、ＩＰＤ＿９０値が、使用されてもよい、ＩＰＤ＿８５値が、使用されてもよい、または測定された値の所望のパーセンテージが除外される、他のＩＰＤ値が、使用されてもよい。
ブロック１５１２では、ウェアラブルシステムは、現在のユーザの推定されるＩＰＤが較正されたユーザの（または複数のそのようなユーザが存在する場合、較正されたユーザのうちの１人のＩＰＤのうちの１つの）ＩＰＤの閾値以内であるかどうかを決定してもよい。閾値は、実施例として、０．５ｍｍ、１．０ｍｍ、１．５ｍｍ、２．０ｍｍ、または２．５ｍｍであってもよい。１つの特定の実施例として、閾値は、１．０ｍｍであってもよく、これは、較正されたユーザが、較正されたユーザとして迅速および正確に認識される一方、非較正ユーザが、概して、非較正ユーザと識別され得るように十分に大きくあり得る。一般に、較正されたユーザを較正されたユーザとして識別することに失敗するリスクを冒すよりも、非較正ユーザを較正されたユーザとして誤って識別することが好ましくあり得る。換言すると、較正のためのユーザ識別における未検出は、較正されたユーザのための最適性能の所望が、非較正またはゲストユーザに関する僅かな犠牲を上回り得るため、かつ較正されたユーザが、所与のディスプレイシステムのユーザである可能性がより高い、またはより頻繁なユーザであり得るため、誤検出よりも最悪であり得る。
現在のユーザのＩＰＤが、較正されたユーザのＩＰＤの閾値以内である場合、ウェアラブルシステムは、現在のユーザを較正されたユーザとして割り当ててもよく、ブロック１５１４において、関連付けられる較正パラメータをロードしてもよい。実施例として、ブロック１５１４においてロードされた較正パラメータは、較正されたユーザのＩＰＤ、視覚的光学軸オフセットパラメータ、および他の利用可能な較正パラメータを含んでもよい。
現在のユーザのＩＰＤが、較正されたユーザのＩＰＤの閾値以内にない場合、ウェアラブルシステムは、現在のユーザがゲストユーザであると仮定してもよく、ブロック１５１８において、動的較正（またはブロック１５１６において、コンテンツベースの切替）を実施してもよい。ブロック１５１８では、ウェアラブルシステムは、動的較正をアクティブ化してもよく（例えば、較正パラメータを動的に生成する）、これは、本明細書に議論されるように、現在のユーザの推定されるＩＰＤに基づくオンザフライ較正を含んでもよい。
ブロック１５１６では、ウェアラブルシステムは、以前の較正データが利用可能ではないとき等、本明細書に議論されるような状況下において、コンテンツベースの切替を実装してもよい。本ブロックでは、本明細書に議論されるように、深度面選択が、ユーザの輻輳・開散運動深度を追跡することとは対照的に、表示されている仮想コンテンツと関連付けられる深度に従って行われてもよい。コンテンツベースの深度面切替はさらに、図１６－１７Ｂに関して議論される。
ブロック１５２０では、ウェアラブルシステムは、深度面切替を実施してもよい。ブロック１５２０の深度面切替は、ブロック１５１４、１５１６、または１５１８においてロードまたは生成された構成パラメータを用いて実施されてもよい。特に、現在のユーザが、較正されたユーザである場合、ブロック１５２０は、そのユーザでの較正の間に生成された構成パラメータに従って、深度面切替を実施してもよい。現在のユーザが、較正ユーザではないと識別され、動的較正が、ブロック１５１８において実施された場合、ブロック１５２０は、動的較正の一部としてブロック１５２０において生成された較正パラメータに従って、深度面切替を伴ってもよい。少なくともいくつかのインスタンスでは、ブロック１５１８において生成された較正パラメータは、ユーザのＩＰＤであってもよく、ブロック１５２０における深度面切替は、ユーザのＩＰＤに基づいてもよい。ウェアラブルシステムが、ブロック１５１６において、コンテンツベースの切替を実装する場合（較正されたユーザが存在しないとき、および／またはコンテンツ作成者またはユーザがコンテンツベースの切替の利用を選択するときに生じ得る）、ブロック１５２０の深度面切替は、ユーザが見ていると決定されたコンテンツの深度に従って実施されてもよい。
コンテンツベースの切替
本明細書に説明されるように、ウェアラブルシステムは、特定の深度面を介して、仮想コンテンツを提示してもよい。仮想コンテンツが、更新されるにつれて、例えば、仮想オブジェクトが移動する、および／または異なる仮想オブジェクトと置換されるにつれて、ウェアラブルシステムは、仮想コンテンツを提示すべき異なる深度面を選択してもよい。付加的非限定的実施例として、ウェアラブルシステムのユーザが、ユーザの視野に伴って、異なる仮想オブジェクトまたは異なる場所に合焦するにつれて、ウェアラブルシステムは、仮想コンテンツを提示すべき異なる深度面を選択してもよい。
本明細書では、コンテンツベースの切替と称される、深度面を選択するための例示的スキームはさらに、図１６Ａ－１７Ｂを参照して下記に議論される。コンテンツベースの切替では、ウェアラブルシステムは、ユーザが見ている可能性が高い仮想オブジェクトの決定に基づいて、仮想コンテンツを提示すべき深度面を選択してもよい。いくつかの実施形態では、本決定は、ユーザが特定のゾーン内を固視しているかどうかに応じて行われてもよい。例えば、ウェアラブルシステムは、ゾーンと仮想コンテンツとしてユーザに提示されるべき各仮想オブジェクトを関連付けてもよい。ゾーンは、例えば、仮想オブジェクトを囲繞する、空間の体積であってもよい。空間の体積は、球体、立方体、超直方体、角錐、または任意の恣意的３次元多角形（例えば、多面体）であってもよい。説明されるであろうように、ゾーンは、好ましくは、重複せず、したがって、各ゾーンによって包含される空間は、単一仮想オブジェクトとのみ関連付けられ得る。
いくつかの実施形態では、ウェアラブルシステムは、ユーザの視線を監視し、例えば、（例えば、ユーザの視野内の）ユーザが視認している場所を識別してもよい。例示的視線に関して、ウェアラブルシステムは、ユーザによって視認されている場所を含む、ゾーンを識別してもよい。識別されたゾーンを有し、１つのみの仮想オブジェクトをそのゾーン内に有する、本実施例では、ウェアラブルシステムは、識別されたゾーン内に含まれる仮想オブジェクトに対応する、深度面を選択してもよい。ウェアラブルシステムは、次いで、仮想オブジェクトと関連付けられる深度面である、選択された深度面に、仮想コンテンツを提示してもよい。
有利なこととして、ウェアラブルシステムは、深度面切替が固視点の深度を正確に決定するステップに依存した場合、要求され得るものより高い待ち時間眼追跡、または別様に、あまり正確ではない眼追跡スキームを利用してもよい。いくつかの実施形態では、複数の仮想オブジェクトが別々の深度に表示されるシナリオに関して、統計的確率または空間相関が、ユーザが、観察する、または注意を向ける可能性が高いコンテンツを区別するために利用されてもよい。したがって、ウェアラブルシステムは、固定面積または固定体積（例えば、精密な固視点ではなく）を決定し、固定面積または体積に基づいて、深度面を選択してもよい。いくつかの実施形態では、利用された最後のアプリケーションまたはユーザの視線が変化した程度等の加重係数が、統計的確率、したがって、ゾーンのサイズ／形状を調節することができる。いくつかの実施形態では、ゾーンのサイズ／形状は、ユーザが特定の体積内を固視している統計的確率と相関される。例えば、大量の不確実性が存在する（例えば、雑音、眼追跡システム内の低公差、最も最近使用されたアプリケーションの追跡詳細、ユーザの視線の変化の速さ等に起因して、不確実性が閾値を超える場合）場合、ゾーンのサイズは、増加し得、あまり不確実性が存在しない場合、ゾーンのサイズは、減少し得る。
図１６Ａに説明されるであろうように、いくつかの実施形態では、ゾーンは、個別の角距離（例えば、ユーザの眼からユーザからの無限遠まで延在する）を包含し得る。本実施例では、ウェアラブルシステムは、したがって、ユーザの視線をＸおよびＹ平面の特定の部分内に設置するためにのみ十分である正確度を要求し得る。
いくつかの実施形態では、ディスプレイシステムは、コンテンツベースの深度面切替の実施から動的較正に基づく深度面切替の実施に遷移してもよい。そのような遷移は、例えば、コンテンツベースの深度面切替スキームを実施するために取得されるデータが信頼性がないと決定されるとき、またはコンテンツが複数の深度面に及ぶ異なる深度の範囲に提供される場合に生じ得る。本明細書に記載されるように、ユーザが固視しているゾーンの決定において計算される不確実性の量は、雑音、眼追跡システムの公差、最も最近使用されたアプリケーションの追跡詳細、ユーザの視線の変化の速さ等、種々の要因に基づいて変動し得る。いくつかの実施形態では、ディスプレイシステムは、不確実性（例えば、ユーザの固視点の位置を決定するステップと関連付けられる不確実性）が閾値を超えるとき、動的較正に基づく深度面切替に遷移すように構成されてもよい。いくつかの他の実施形態では、特定の仮想コンテンツは、複数の深度面を横断して及び得る。閾値数の深度面（例えば、３つの深度面）を横断して及ぶコンテンツに関して、ディスプレイシステムは、動的較正に基づく深度面切替に遷移するように構成されてもよい。
いくつかの実施形態では、ディスプレイシステムは、仮想コンテンツの深度と関連付けられる不確実性が閾値を超えることの決定に応答して、コンテンツベースの深度面切替の実施から動的較正に基づく深度面切替の実施に遷移するように構成されてもよい。例えば、ディスプレイシステムは、ディスプレイシステム上で起動する特定のアプリケーションによって利用可能にされている仮想コンテンツに関する深度または場所情報が、比較的に信頼性がないことを決定してもよく（例えば、特定のアプリケーションが、ユーザに対する複合現実仮想コンテンツの深度または場所が、それぞれ、ユーザの位置が変化する、またはユーザが所定のレベルの位置変化または移動を超えて移動するときでも静的であることを示す）、ひいては、動的較正に基づく深度面切替に遷移してもよい。そのような遷移は、より快適および／または現実的視認体験を促進し得る。
主に、深度面切替のコンテキストにおいて説明されたが、図１４および／または図１５を参照して本明細書に説明される技法のうちの１つまたはそれを上回るものが、異なる量の波面発散を用いて光をユーザの眼に出力することが可能である、種々の異なるディスプレイシステムのいずれかにおいて活用されてもよいことを理解されたい。例えば、いくつかの実施形態では、図１４および／または図１５を参照して本明細書に説明される技法のうちの１つまたはそれを上回るものは、１つまたはそれを上回る可変焦点要素（ＶＦＥ）を含む、頭部搭載型ディスプレイシステムにおいて活用されてもよい。例えば、レンズ４５８、４５６、４５４、４５２（図４）のうちの１つまたはそれを上回るものは、本明細書に議論されるように、ＶＦＥであってもよい。これらの実施形態では、頭部搭載型ディスプレイシステムは、少なくとも部分的に、頭部搭載型ディスプレイシステムの装着者が較正されたユーザまたはゲストユーザであると決定されるかどうかに基づいて、その１つまたはそれを上回るＶＦＥの動作をリアルタイムで制御してもよい。すなわち、頭部搭載型ディスプレイシステムは、少なくとも部分的に、頭部搭載型ディスプレイシステムの装着者が較正されたユーザまたはゲストユーザであると決定されるかどうかに基づいて、それを用いて光が装着者に出力される、波面発散の量（光の焦点距離）を制御または調節してもよい。可変焦点接眼レンズのためのアーキテクチャおよび制御スキームの実施例は、２０１６年４月２１日に公開された米国特許公開第２０１６／０１１０９２０号および２０１７年１０月１２日に公開された米国特許公開第２０１７／０２９３１４５号（それぞれ、参照することによってその全体として本明細書に組み込まれる）に開示される。他の構成も、可能性として考えられる。
図１６Ａは、ユーザの視野１６０２の表現を図示する。ユーザの視野１６０２（図示される実施形態では、３次元錐台）は、ユーザの眼１６０６からｚ－方向に延在する、複数の深度面１６０４Ａ－Ｄを含んでもよい。視野１６０２は、異なるゾーン１６０８Ａ－Ｄに分離されてもよい。各ゾーンは、したがって、視野１６０２内に含まれる空間の特定の体積を包含し得る。本実施例では、各ゾーンは、好ましくは、異なる深度面１６０４Ａ－Ｄの全てを含む、空間の体積を包含する。例えば、ゾーン１６０８Ａは、ユーザの眼１６０６から、例えば、眼１６０６からの無限遠までｚ－方向に沿って延在してもよい。ｘ－方向等の直交方向に沿って、ゾーン１６０８Ａは、ゾーン１６０８Ａと１６０８Ｂとの間の境界線まで、視野１６０２の末端から延在してもよい。
図示される実施形態では、ゾーン１６０８Ｂは、木の仮想オブジェクト１６１０を含む。木の仮想オブジェクト１６１０は、深度面Ｃ １６０４Ｃに提示されるように図示される。例えば、木の仮想オブジェクト１６１０は、場所情報（例えば、ウェアラブルシステムに記憶される、または別様にアクセス可能である）と関連付けられてもよい。上記に説明されるように、本場所情報は、木の仮想オブジェクト１６１０が提示されるべき３次元場所を識別するために利用されてもよい。図示されるように、ディスプレイシステムはまた、本を仮想オブジェクト１６１２として表示してもよい。ゾーン１６０８Ｃは、本の仮想オブジェクト１６１２を含む。したがって、ウェアラブルシステムは、木の仮想オブジェクト１６１０と、本の仮想オブジェクト１６１２とを備える、仮想コンテンツを提示している。
ユーザの眼１６０６は、視野１６０２を中心として移動し、例えば、視野１６０２に伴って、異なる場所に固視される、またはそれを視認し得る。ユーザの眼１６０６が、木の仮想オブジェクト１６１０、すなわち、深度面Ｃを固視する場合、ウェアラブルシステムは、仮想コンテンツを提示するために深度面Ｃ １６０４Ｃを選択することを決定してもよい。同様に、ユーザの眼１６０６が、本の仮想オブジェクト１６１２、すなわち、深度面Ｂを固視する場合、ウェアラブルシステムは、仮想コンテンツを提示するために、深度面Ｂ １６０４Ｂを選択することを決定してもよい。少なくとも図１４に説明されるように、ウェアラブルシステムは、異なるスキームを利用して、深度面の選択を生じさせてもよい。
コンテンツベースの切替に関して、ウェアラブルシステムは、ユーザの眼１６０６によって固視されている場所を含む、ゾーンを識別してもよい。ウェアラブルシステムは、次いで、識別されたゾーン内に含まれる仮想オブジェクトに対応する深度面を選択してもよい。例えば、図１６Ａは、例示的固視点１６１４を図示する。ウェアラブルシステムは、ユーザの眼１６０６に基づいて、ユーザが固視点１６１４を視認していることを決定してもよい。ウェアラブルシステムは、次いで、固視点１６１４がゾーン１６０８Ｃ内に含まれることを識別してもよい。本ゾーン１６０８Ｃは、本の仮想オブジェクト１６１２を含むため、ウェアラブルシステムは、仮想コンテンツの提示を深度面Ｃ １６０４Ｃに生じさせてもよい。理論によって限定されるわけではないが、これは、ゾーン１６０８Ｃ内で固視され得る唯一の仮想オブジェクトが本の仮想オブジェクト１６１２であって、したがって、その本の仮想オブジェクト１６１２の深度面に切り替えることが適切であろうため、快適な視認体験を提供すると考えられる。
その結果、ユーザが、固視を固視点１６１６または１６１８に調節する場合、ウェアラブルシステムは、提示を深度面Ｃ １６０４Ｂに維持してもよい。しかしながら、ユーザが、固視をゾーン１６０８Ｂ内に調節する場合、ウェアラブルシステムは、仮想コンテンツを提示する、深度面Ｃ １６０４Ｃを選択してもよい。図１６Ａの実施例は、４つのゾーンを含むが、より少ないゾーンまたはより多い数のゾーンが利用されてもよいことを理解されたい。随意に、ゾーンの数は、仮想オブジェクト毎に一意のゾーンを伴って、仮想オブジェクトの数と同一であってもよく、いくつかの実施形態では、ゾーンの数は、仮想オブジェクトの数が変化するにつれて、動的に変動してもよい（好ましくは、１つを上回るオブジェクトが同一ゾーンを占有せずに、例えば、２つまたはそれを上回るオブジェクトがユーザに対して概ね同一通視線内にない状態で、ディスプレイ錐台の正面から背面まで延在することができる限り）。例えば、２つのゾーンが、図１６Ａの実施例では利用されてもよく、これは、ユーザまでの重複する通視線を有していない、２つの仮想オブジェクトを有する。随意に、ウェアラブルシステムは、各ゾーンによって包含される空間の体積を動的に調節してもよい。例えば、視線検出の正確度が、増加または減少するにつれて、空間の体積は、数が増加、減少、またはゾーン調節されてもよい。
図１６Ｂは、図１６Ａの各ゾーンによって包含される空間の体積の、斜視図で示される、実施例を図示する。図示されるように、各ゾーン１６０８Ａ、１６０８Ｂ、１６０８Ｃ、および１６０８Ｄは、ディスプレイ錐台１６０２の正面から背面までｚ－方向に延在する。ｘ－ｙ軸上に図示されるように、ゾーンは、垂直に延在し、ｘ－軸に沿って視野をセグメントまたは分割する。いくつかの他の実施形態では、ｘ－ｙ軸上では、ゾーンは、水平に延在し、ｙ－軸に沿って視野をセグメント化してもよい。そのような実施形態では、図示される錐台は、事実上、ｘ－ｙ平面上で９０°回転され得る。さらに他の実施形態では、ｘ－ｙ軸上では、ゾーンは、ｘおよびｙ軸の両方上で視野をセグメント化または分割し、それによって、グリッドをｘ－ｙ軸上に形成してもよい。全てのこれらの実施形態では、各ゾーンは、依然として、好ましくは、ディスプレイ錐台１６０２の正面から背面まで（例えば、ディスプレイシステムがコンテンツを表示し得る、最も近くの平面から、最も遠い平面まで）延在する。
図１７Ａは、コンテンツベースの切替のためのユーザの視野１６０２の別の表現を図示する。図１７Ａの実施例では、図１６Ａにおけるように、ユーザの視野１６０２は、深度面Ａ－Ｄ１６０４Ａ－Ｄを含む。しかしながら、各仮想オブジェクトと関連付けられる空間の体積は、図１６Ａ－Ｂと異なる。例えば、その中に本の仮想オブジェクト１６１２が位置する、ゾーン１７０２は、空間の球状体積、空間の円筒形体積、立方体、多面体等の封入された形状を包含するように図示される。好ましくは、ゾーン１７０２は、ｚ－軸上において、ディスプレイ錐台１６０２の深度全体未満まで延在する。有利なこととして、ゾーンのそのような配列は、ユーザにとって類似する通視線であり得る、オブジェクト間の区別を可能にする。
随意に、ウェアラブルシステムは、１つまたはそれを上回る閾値を超える眼追跡正確度に基づいて、図１７Ａのゾーンを調節してもよい。例えば、ゾーンのサイズは、追跡正確度における信頼度が増加するにつれて、減少してもよい。別の実施例として、各仮想オブジェクトが、関連付けられるゾーンを有することを理解されたい。ウェアラブルシステムは、重複ゾーンを回避するために、図１７Ａのゾーンを調節してもよい。例えば、新しい仮想オブジェクトが、異なる仮想オブジェクトに対応するゾーン内に表示されるべき場合、一方または両方の仮想オブジェクトのためのゾーンが、重複を回避するために、サイズを減少されてもよい。例えば、図１７Ａにおける本の仮想オブジェクト１６１２が、木の仮想オブジェクト１６１０の正面（例えば、ゾーン１６０８Ａ内）に移動される場合、ウェアラブルシステムは、図１７Ａにおけるゾーンを調節し、仮想オブジェクトのより近くに付着し（例えば、図１７Ａに図示されるように）、重複を防止してもよい。
図１７Ａを継続して参照すると、木の仮想オブジェクト１６１０は、第１のゾーン１７０６および第２のゾーン１７０８内に含まれるように図示される。随意に、第１のゾーン１７０６は、木の仮想オブジェクト１６１０を囲繞する、空間の比較的に小体積を表し得る。第２のゾーン１７０８は、木の仮想オブジェクト１６１０を囲繞する、空間の現在の体積を表し得る。例えば、仮想オブジェクトが、視野１６０２内を動き回るにつれて、ゾーンによって包含される空間の体積は、調節されてもよい（例えば、リアルタイムで）。本実施例では、調節は、各ゾーンが任意の他のゾーンと重複しないことを確実にし得る。したがって、本の仮想オブジェクト１６１２が、木の仮想オブジェクト１６１０のより近くに移動する場合、ウェアラブルシステムは、木の仮想オブジェクト１６１０、本の仮想オブジェクト１６１２、または両方を囲繞する、ゾーンの空間の体積を低減させてもよい。例えば、第２のゾーン１７０８は、第１のゾーン１７０６のより近くになるように体積を低減されてもよい。
本明細書に記載されるように、コンテンツベースの深度面切替では、固視点ではなく、仮想オブジェクトと関連付けられる深度面が、優先される。これの実施例が、固視点１７０４に対して図示される。図示されるように、本の仮想オブジェクト１６１２の例示的ゾーン１７０２は、深度面Ｂ １６０４Ｂおよび深度面１６０４Ｃによって定義された部分を含む、空間の体積を包含し得る。ある場合には、ウェアラブルシステムは、ユーザが深度面Ｃ内の点１７０４を固視していることを決定し、また、本固視点１７０４がゾーン１７０２内に含まれるものとして識別する。本の仮想オブジェクト１６１２と関連付けられる深度面が、深度面切替を優先するため、ウェアラブルシステムは、固視点１７０４の深度面Ｃではなく、本の仮想オブジェクト１６１２の深度面Ｂに切り替える。図１７Ｂは、図１７Ａの表現の斜視図の実施例を図示する。
図１８は、コンテンツベースの切替に基づいて深度面を選択するための例示的プロセスのフローチャートを図示する。便宜上、プロセス１８００は、１つまたはそれを上回るプロセッサのウェアラブルシステム（例えば、上記に説明されるウェアラブルシステム２００等のウェアラブルシステム）によって実施されるものとして説明されるであろう。
ブロック１８０２では、ウェアラブルシステムは、仮想コンテンツを特定の深度面に提示する。上記に説明されるように、深度面は、遠近調節キューをウェアラブルシステムのユーザに提供するために利用されてもよい。例えば、各深度面は、ウェアラブルシステムによってユーザに提示される光の波面発散の量と関連付けられてもよい。仮想コンテンツは、１つまたは複数の仮想オブジェクトを備えてもよい。
ブロック１８０４では、ウェアラブルシステムは、固視点を決定する。ウェアラブルシステムは、カメラ等のセンサを利用して、ユーザが固視している３次元場所を推定してもよい。これらのカメラは、３０Ｈｚ、６０Ｈｚ等の特定のレートで更新してもよい。ウェアラブルシステムは、ユーザの眼から（例えば、眼の中心または瞳孔から）延在するベクトルを決定し、ベクトルが交差する、３次元場所を推定してもよい。いくつかの実施形態では、固視点は、ＩＰＤに基づいて、推定されてもよく、最大ＩＰＤからのＩＰＤの所定の変化は、特定の深度面における固視と相関すると仮定される。加えて、随意に、ＩＰＤに加え、ユーザの視線が、固視点の近似位置をさらに位置特定するために決定されてもよい。本推定される場所は、それと関連付けられるある誤差を有し得、ウェアラブルシステムは、したがって、その中に仮想コンテンツに対する固視点がある可能性が高い、空間の体積を決定し得る。
ブロック１８０６では、ウェアラブルシステムは、固視点を含む、ゾーンを識別する。図１６Ａ－１７Ｂに関して議論されるように、ウェアラブルシステムは、ゾーンと各仮想オブジェクトを関連付けてもよい。例えば、ゾーンは、特定の（例えば、単一）仮想オブジェクトを含んでもよい。好ましくは、異なる仮想オブジェクトのためのゾーンは、重複しない。
ブロック１８０８では、ウェアラブルシステムは、識別されたゾーン内に含まれる仮想コンテンツと関連付けられる、深度面を選択する。ウェアラブルシステムは、ブロック１８０６において識別されたゾーンと関連付けられる仮想コンテンツを識別してもよい。ウェアラブルシステムは、次いで、仮想コンテンツが提示されるべき深度面を示す、情報を取得してもよい。例えば、仮想コンテンツは、３次元場所を示す、場所情報と関連付けられてもよい。ウェアラブルシステムは、次いで、３次元場所と関連付けられる深度面を識別してもよい。本深度面は、仮想コンテンツを提示するように選択されてもよい。
図１９は、コンテンツベースの切替に基づいてゾーンを調節するための例示的プロセスのフローチャートを図示する。便宜上、プロセス１８００は、１つまたはそれを上回るプロセッサのウェアラブルシステム（例えば、上記に説明されるウェアラブルシステム２００等のウェアラブルシステム）によって実施されるように説明されるであろう。
ブロック１９０２では、ウェアラブルシステムは、仮想オブジェクトを提示する。ウェアラブルシステムは、本明細書に説明されるように、提示される仮想オブジェクトと関連付けられるゾーンを有してもよい。例えば、ゾーンは、空間の体積を包含し、特定の仮想オブジェクト（例えば、単一仮想オブジェクト）を含んでもよい。ゾーンは、任意の形状または多面体であってもよく、いくつかの実施形態では、１つまたはそれを上回る方向に無限に延在してもよい。ゾーンの実施例は、図１６Ａ－１７Ｂに図示される。
ブロック１９０４では、ウェアラブルシステムは、いくつかの仮想オブジェクトを調節する、または仮想オブジェクトの場所を調節する。ウェアラブルシステムは、付加的仮想オブジェクトを提示してもよい、例えば、ブロック１９０２では、５つの仮想オブジェクトが、提示されてもよい。ブロック１９０４では、８つの仮想オブジェクトが、提示されてもよい。随意に、ウェアラブルシステムは、仮想オブジェクトの場所を更新してもよい。例えば、ブロック１９０２に提示される仮想オブジェクトは、蜂であってもよい。仮想オブジェクトは、したがって、ユーザの視野を中心として進行してもよい。
ブロック１９０６では、ウェアラブルシステムは、１つまたはそれを上回る仮想オブジェクトと関連付けられるゾーンを更新する。提示される付加的仮想オブジェクトの実施例に関して、仮想オブジェクトは、ともにより近づき得る。各ゾーンは、単一仮想オブジェクトを含むことのみを可能にされる得るため、いくつかの実施形態では、仮想オブジェクトの数の増加は、ゾーンの調節を要求し得る。例えば、図１６Ａは、２つの仮想オブジェクトを図示する。付加的仮想オブジェクトが、含まれる場合、それらは、その中に２つの仮想オブジェクトのいずれかもまた含まれる、ゾーン内に含まれ得る。したがって、ウェアラブルシステムは、ゾーンを調節する、例えば、各ゾーンに割り当てられる空間の体積を調節してもよい（例えば、空間の体積を低減させる）。このように、各ゾーンは、単一仮想オブジェクトを含んでもよい。仮想オブジェクトが移動する実施例に関して、移動する仮想オブジェクトは、別の仮想オブジェクトにより近づき得る。したがって、移動する仮想オブジェクトは、他の仮想オブジェクトと関連付けられるゾーンの中に延在し得る。上記と同様に、ウェアラブルシステムは、ゾーンを調節し、各仮想オブジェクトがその独自のゾーン内に含まれることを確実にしてもよい。
更新の実施例として、ウェアラブルシステムは、ゾーンとブロック１９０２において識別された仮想オブジェクトを関連付けてもよい。例えば、ゾーンは、図１６Ａに図示されるゾーン１６０８Ａ－１６０８Ｄに類似してもよい。ウェアラブルシステムは、空間のより小さい体積を包含するようにゾーンを調節してもよい。例えば、ウェアラブルシステムは、図１７Ａに図示されるゾーン１７０２、１７０６に類似するようにゾーンを更新してもよい。
更新の別の実施例として、ゾーンは、図１７Ａのゾーンに類似してもよい。図１７Ａに関して、本の仮想オブジェクト１６１２が、木の仮想オブジェクト１６１０のより近くに移動する場合、木の仮想オブジェクト１６１０を囲繞する、ゾーン１７０８は、本の仮想オブジェクト１６１２を含み得る。したがって、ウェアラブルシステムは、ゾーン１７０８を更新し、それが包含する空間の体積を低減させてもよい。例えば、ゾーン１７０８は、ゾーン１７０６となるように調節されてもよい。別の実施例として、ゾーン１７０８は、ゾーン１７０６により近づくように調節されてもよい。図１７Ａに説明されるように、ゾーン１７０６は、随意に、木の仮想オブジェクト１６１０の周囲の最小ゾーンを反映させてもよい。
図２０は、ユーザ識別に基づいて、頭部搭載型ディスプレイシステムを動作させるための例示的プロセスのフローチャートを図示する。便宜上、方法２０００は、１つまたはそれを上回るプロセッサ（例えば、上記に説明される、ウェアラブルシステム２００等のウェアラブルシステム）のウェアラブルシステムによって実施されるものとして説明されるであろう。方法２０００の種々の実装では、下記に説明されるブロックは、任意の好適な順序またはシーケンスで実施されることができ、ブロックは、組み合わせられる、または並べ替えられることができる、または他のブロックが、追加されることができる。いくつかの実装では、方法２０００は、ユーザの片眼または両眼の画像を捕捉するように構成される、１つまたはそれを上回るカメラと、１つまたはそれを上回るカメラに結合される、１つまたはそれを上回るプロセッサとを含む、頭部搭載型システムによって実施されてもよい。そのような実装のうちの少なくともいくつかでは、方法２０００の動作のいくつかまたは全ては、少なくとも部分的に、本システムの１つまたはそれを上回るプロセッサによって実施されてもよい。
ブロック２００２－２００６（すなわち、ブロック２００２、２００４、および２００６）では、方法２０００は、ウェアラブルシステムが、それがユーザによって装着されていないかどうかを決定するステップから開始してもよい。ウェアラブルシステムは、眼カメラ３２４のような眼追跡システム等の１つまたはそれを上回るセンサを使用して、それが装着されていないことを決定し得る。いくつかの実施形態では、ブロック２００４と関連付けられる動作のいくつかまたは全ては、図１４および１５を参照して上記に説明されるようなブロック１４０２、１４０４、１５０２、および／または１５０４のうちの１つまたはそれを上回るものと関連付けられるものと類似または実質的に同一であり得る。いくつかの実施例では、方法２０００は、ウェアラブルシステムが、ブロック２００４において、それがユーザによって装着されていることを決定するまで、待機状態に留まってもよい。ブロック２００４において、ウェアラブルシステムが、ユーザによって装着されていることの決定に応答して、方法２０００は、ブロック２００８に進み得る。
ブロック２００８では、方法２０００は、ウェアラブルシステムが、１つまたはそれを上回る虹彩認証動作を実施するステップを含んでもよい。いくつかの実施形態では、ブロック２００８と関連付けられる動作のいくつかまたは全ては、その中で虹彩走査または認証が採用される、実装のために、それぞれ、図１４および１５を参照して上記に説明されるようなブロック１４０６および／または１５０６のうちの１つまたはそれを上回るものと関連付けられるものと類似または実質的に同一であり得る。いくつかの実施例では、ブロック２００８と関連付けられる動作のうちの１つまたはそれを上回るものは、ウェアラブルシステムが仮想標的をユーザに提示するステップ（例えば、１つまたはそれを上回るディスプレイを用いて）と、仮想標的がユーザに提示されている間、ユーザの片眼または両眼の１つまたはそれを上回る画像を捕捉するステップ（例えば、１つまたはそれを上回る眼追跡カメラを用いて）と、１つまたはそれを上回る画像に基づいて、１つまたはそれを上回る虹彩コードまたはトークンを生成するステップと、１つまたはそれを上回る生成された虹彩コードまたはトークンを、登録されたユーザと関連付けられる、１つまたはそれを上回る所定の虹彩コードまたはトークンのセットに対して評価するステップと、評価に基づいて、認証結果を生成するステップとを含んでもよい。これらの実施例のうちの少なくともいくつかでは、ユーザの片眼または両眼のそれぞれの虹彩が、１つまたはそれを上回る画像のいくつかまたは全てに示され得る。いくつかの実装では、仮想標的は、ユーザの注意を引く、または別様に、ある方向に、および／または３次元空間内のある場所に向かって、ユーザの眼視線を誘導する、意図とともに提示されてもよい。したがって、仮想標的は、例えば、マルチカラーおよび／またはアニメーション化された仮想コンテンツを含んでもよい、ユーザに、付随のオーディオ、触知フィードバック、および／または他の刺激とともに提示されてもよい、またはそれらの組み合わせであってもよい。これらの実装のうちの少なくともいくつかでは、仮想標的は、ユーザに、ユーザが、仮想標的に目を向ける、または別様にそれを固視するように命令または提案する、１つまたはそれを上回るプロンプトとともに提示されてもよい。いくつかの実施形態では、１つまたはそれを上回る虹彩コードまたはトークンを生成および評価するステップの代わりに、またはそれに加え、ブロック２００８と関連付けられる動作のうちの１つまたはそれを上回るものは、ウェアラブルシステムが、１つまたはそれを上回る画像のうちの少なくとも１つを１つまたはそれを上回る基準画像を用いて評価し、合致が存在するかどうかを決定するステップと、評価に基づいて、認証結果を生成するステップとを含んでもよい。虹彩結像、分析、認識、および認証動作の実施例は、２０１８年３月２３日に出願され、２０１８年９月２７日に米国特許公開第２０１８／０２７６４６７号として公開された、米国特許出願第１５／９３４，９４１号、２０１６年１０月１２日に出願され、２０１７年４月２０日に米国特許公開第２０１７／０１０９５８０号として公開された、米国特許出願第１５／２９１，９２９号、２０１７年１月１７日に出願され、２０１７年７月２０日に米国特許公開第２０１７／０２０６４１２号として公開された、米国特許出願第１５／４０８，１９７号、および２０１６年５月１４日に出願され、２０１６年１２月８日に米国特許公開第２０１６／０３５８１８１号として公開された、米国特許出願第１５／１５５，０１３号（それぞれ、参照することによってその全体として本明細書に組み込まれる）に開示される。いくつかの実施形態では、ブロック２００８では、方法２０００は、ウェアラブルシステムが、前述の特許出願に説明される虹彩結像、分析認識、および認証動作のうちの１つまたはそれを上回るものを実施するステップを含んでもよい。加えて、いくつかの実装では、前述の特許出願に説明される虹彩結像、分析認識、および認証動作のうちの１つまたはそれを上回るものは、下記に説明される、ブロック２０１０、２０１２、および２０１８のうちの１つまたはそれを上回るもの等の方法２０００の１つまたはそれを上回る他の論理ブロックと関連付けられて実施されてもよい。他の構成も、可能性として考えられる。
ブロック２０１０では、方法２０００は、ウェアラブルシステムが、認証結果（例えば、ブロック２００８における１つまたはそれを上回る虹彩認証動作を実施することを通して取得されるように）がウェアラブルシステムを現在装着しているユーザが登録されたユーザであるかどうかを示すかどうかを決定するステップを含んでもよい。いくつかの実施例では、登録されたユーザは、較正されたユーザ（例えば、それと既存の較正プロファイルが関連付けられる、ユーザ）と類似または実質的に同一であり得る。いくつかの実装では、ブロック２０１０では、方法２０００はさらに、ウェアラブルシステムが、較正プロファイルがデバイスの現在のユーザのために存在するかどうかを決定するステップを含んでもよい。いくつかの実施形態では、ブロック２００４と関連付けられる動作のいくつかまたは全ては、それぞれ、図１４および１５を参照して上記に説明されるようなブロック１４０６および／または１５０６のうちの１つまたはそれを上回るものと関連付けられるものと類似または実質的に同一であり得る。
ウェアラブルシステムが、ブロック２０１０において、ウェアラブルシステムを現在装着しているユーザが実際に登録されたユーザであることを決定することに応答して、方法２０００は、ブロック２０２０に進み得る。ブロック２０２０では、方法２０００は、ウェアラブルシステムが、登録されたユーザと関連付けられる設定を選択するステップを含んでもよい。いくつかの実施形態では、ブロック２０２０と関連付けられる動作のいくつかまたは全ては、それぞれ、図１４および１５を参照して上記に説明されるようなブロック１４０８および／または１５１４のうちの１つまたはそれを上回るものと関連付けられるものと類似または実質的に同一であり得る。
他方では、方法２０００は、ウェアラブルシステムが、（ｉ）ブロック２０１０において、ウェアラブルシステムを現在装着しているユーザが登録されたユーザではないことを決定する、または（ｉｉ）ブロック２０１０において、ウェアラブルシステムを現在装着しているユーザが登録されたユーザであることを決定することに失敗することに応答して、ブロック２０１０からブロック２０１２に進み得る。ブロック２０１２では、方法２０００は、ウェアラブルシステムが、認証結果と関連付けられる信頼度値が所定の閾値を超えるかどうかを決定するステップを含んでもよい。いくつかの実施形態では、ブロック２０１２では、方法２０００は、ウェアラブルシステムが、認証結果と関連付けられる信頼度値を生成または別様に取得するステップと、信頼度値を所定の閾値に対して比較するステップとを含んでもよい。いくつかの実装では、ブロック２０１２において取得される信頼度値は、ウェアラブルシステムを現在装着しているユーザが登録されたユーザではないことの信頼度のレベルを示してもよい。いくつかの実施例では、信頼度値は、少なくとも部分的に、任意の虹彩コードまたはトークンが、ブロック２００８において、正常に生成または別様に抽出されたかどうかに基づいて、決定されてもよい。種々の異なる要因および環境条件が、ブロック２００８において、１つまたはそれを上回る虹彩コードまたはトークンを正常に生成または別様に抽出するウェアラブルシステムの能力に影響を及ぼし得る。そのような要因および条件の実施例は、現在のユーザに対するウェアラブルシステムの適合または位置合わせ、１つまたはそれを上回る画像が捕捉された時間における１つまたはそれを上回るカメラの位置および／または配向に対するユーザの片眼または両眼のそれぞれの虹彩の位置および／または配向、照明条件、またはそれらの組み合わせを含んでもよい。したがって、そのような要因および条件もまた、それを用いてウェアラブルシステムが現在のユーザが登録されたユーザではないことを決定することが可能であり得る、信頼度の程度に影響を及ぼし得るということになる。
ウェアラブルシステムが、ブロック２０１２において、認証結果と関連付けられる信頼度値が実際に所定の閾値を超えることを決定することに応答して、方法２０００は、ブロック２０１４に進み得る。いくつかの実施例では、ブロック２０１２におけるそのような決定は、ウェアラブルシステムが、比較的に高信頼度の程度を伴って、ウェアラブルシステムを現在装着しているユーザが登録されたユーザではないことを決定していることを示し得る。ブロック２０１４では、方法２０００は、ウェアラブルシステムが、ユーザが、虹彩認証にエンロールし、および／またはユーザのための較正プロファイルを生成するために、１つまたはそれを上回る眼較正プロシージャに参加するように提案する、プロンプトをユーザに提示するステップ（例えば、１つまたはそれを上回るディスプレイを用いて）を含んでもよい。いくつかの実施形態では、そのようなプロンプトは、ユーザが提案される登録プロシージャに進むことに合意したかどうかを示すことを要求してもよい。ブロック２０１６では、方法２０００は、ウェアラブルシステムが、プロンプトに応答して、ユーザ入力を受信するステップと、受信されたユーザ入力が、ユーザが提案される登録プロシージャに進むことに合意したことを示すかどうかを決定するステップとを含んでもよい。いくつかの実施例では、ブロック２０１６では、方法２０００は、ウェアラブルシステムが、ユーザが提案される登録プロシージャに進むことに合意したかどうかを示す、プロンプトに応答して、ユーザ入力を受信するまで、受信されたユーザ入力を監視し、および／または一時停止してもよい。
ウェアラブルシステムが、ブロック２０１６において、ユーザが提案される登録プロシージャのいくつかまたは全てに実際に進むことに合意したことを示す、プロンプトに応答して、ユーザ入力が受信されたことを決定することに応答して、方法２０００は、ブロック２０１８に進み得る。ブロック２０１８では、方法２０００は、プロンプトに応答して受信されたユーザ入力に従って、ウェアラブルシステムが、提案される登録プロシージャのいくつかまたは全てを行うステップを含んでもよい。いくつかの実施形態では、そのような登録プロシージャを行うステップは、ウェアラブルシステムが、虹彩認証エンロールメントおよび／または眼較正と関連付けられる、１つまたはそれを上回る動作を実施するステップを含んでもよい。下記にさらに詳細に説明されるように、いくつかの実施形態では、ブロック２０１８と関連付けられる、そのような登録プロシージャは、現在のユーザのための眼追跡較正プロファイルを生成するための１つまたはそれを上回るプロシージャ、現在のユーザを虹彩認証にエンロールするための１つまたはそれを上回る動作、それらの組み合わせを含んでもよい。ブロック２０１８と関連付けられる、登録プロシージャの完了成功に応じて、方法２０００は、ブロック２０２０に進み得る。
他方では、方法２０００は、ウェアラブルシステムが、（ｉ）ブロック２０１６において、プロンプトに応答して、ユーザが提案される登録プロシージャのいくつかまたは全てに進むことに合意しないことを示す、ユーザ入力が受信されたことを決定する、または（ｉｉ）ブロック２０１６において、プロンプトに応答して、ユーザが提案される登録プロシージャのいくつかまたは全てに進むことに合意したことを示す、ユーザ入力が受信されたことを決定することに失敗することに応答して、ブロック２０１６からブロック２０２２に進み得る。ブロック２０２２では、方法２０００は、ウェアラブルシステムが、デフォルト設定を選択するステップを含んでもよい。いくつかの実施形態では、ブロック２０２２と関連付けられる動作のいくつかまたは全ては、図１４および１５を参照して上記に説明されるようなブロック１４１０、１４１２、１５０８－１５１２、１５１６、および／または１５１８のうちの１つまたはそれを上回るものと関連付けられるものと類似または実質的に同一であり得る。
ウェアラブルシステムが、ブロック２０１２において、認証結果と関連付けられる信頼度値が所定の閾値を超えないことを決定することに応答して、方法２０００は、ブロック２０１２からブロック２０２８に進み得る。いくつかの実施例では、ブロック２０１２におけるそのような決定は、ウェアラブルシステムが、ウェアラブルシステムを現在装着しているユーザが登録されたユーザではないことのその決定において、比較的に低信頼度を有することを示し得る。ブロック２０２８では、方法２０００は、ウェアラブルシステムが、それが所定の閾値時間量を上回って現在のユーザを認証することを試みた（例えば、ブロック２００８において、１つまたはそれを上回る虹彩認証動作を実施することによって）かどうかを決定するステップを含んでもよい。ウェアラブルシステムが、ブロック２０２８において、それが所定の閾値時間量を上回って現在のユーザを認証することを実際に試みたことを決定することに応答して、方法２０００は、ブロック２０２２に進み得る。
ウェアラブルシステムが、ブロック２０２８において、それが所定の閾値時間量を上回って現在のユーザを認証することをまだ試みていないことを決定することに応答して、方法２０００は、ブロック２０３０－２０３２に進み得る。ブロック２０３２では、方法２０００は、ウェアラブルシステムが、ユーザの識別に関する決定が増加された信頼度の程度を伴って行われることを有効にするように、１つまたはそれを上回る動作を実施し、ブロック２００８に関連して実施される１つまたはそれを上回る虹彩認証動作の正確度および／または信頼性を改良するように試みるステップを含んでもよい。上記に述べられたように、種々の異なる要因および環境条件が、１つまたはそれを上回る虹彩コードまたはトークンを正常に生成または別様に抽出するウェアラブルシステムの能力に影響を及ぼし得る。ブロック２０３２と関連付けられる、１つまたはそれを上回る動作を実施することを通して、ウェアラブルシステムは、１つまたはそれを上回るそのような要因および条件に対抗する、または別様にそれを補償しようと試み得る。したがって、ブロック２０３２では、方法２０００は、ウェアラブルシステムが、虹彩コードまたはトークンをユーザの片眼または両眼の画像から正常に生成または別様に抽出する尤度を増加させるように、１つまたはそれを上回る動作を実施するステップを含んでもよい。いくつかの実装では、ブロック２０３２では、方法２０００は、ウェアラブルシステムが、１つまたはそれを上回る適合または位置合わせ関連動作、ブロック２００８において続いて提示される仮想標的の位置を変化させるための１つまたはそれを上回る動作、ユーザの眼が可視であるかどうかを決定するための１つまたはそれを上回る動作、またはそれらの組み合わせを実施するステップを含んでもよい。
いくつかの実施形態では、そのような１つまたはそれを上回る適合または位置合わせ関連動作は、位置合わせオブザーバ６２０および／または図１１のブロック１１７０を参照して上記に説明されるもののうちの１つまたはそれを上回るものに対応し得る。すなわち、これらの実施形態では、ウェアラブルシステムは、１つまたはそれを上回る動作を実施し、ユーザに対するウェアラブルシステムの適合または位置合わせを評価し、および／またはそれを改良するように試みてもよい。そのために、ウェアラブルシステムは、ユーザに、ウェアラブルシステムの適合、位置付け、および／または構成（例えば、鼻パッド、頭部パッド等）を調節するためのフィードバックおよび／または提案を提供してもよい。適合および位置合わせ関連動作の付加的実施例は、２０１８年３月１６日に出願された、米国仮出願第６２／６４４，３２１号、２０１９年１月１７日に出願された、米国特許出願第１６／２５１，０１７号、２０１８年７月２４日に出願された、米国仮出願第６２／７０２，８６６号、および２０１９年７月２３日に出願された、国際特許出願第ＰＣＴ／ＵＳ２０１９／０４３０９６号（それぞれ、参照することによってその全体として本明細書に組み込まれる）に開示される。いくつかの実施形態では、ブロック２０３２では、方法２０００は、ウェアラブルシステムが、前述の特許出願に説明される、虹彩適合および位置合わせ関連動作のうちの１つまたはそれを上回るものを実施するステップを含んでもよい。他の構成も、可能性として考えられる。
上記に述べられたように、いくつかの実装では、方法２０００は、ウェアラブルシステムが、ブロック２００８において続いて提示される、仮想標的の位置を変化させるための１つまたはそれを上回る動作を実施するステップを含んでもよい。これらの実施例では、方法２０００は、ブロック２０３２からブロック２００８に進み、ブロック２００８に関連して１つまたはそれを上回る虹彩認証動作を実施する際、仮想標的が方法２０００の前の反復においてユーザに提示された場所と異なる、１つまたはそれを上回る場所において、ユーザのために仮想標的を提示してもよい。いくつかの実施例では、仮想標的は、ユーザの片眼または両眼のそれぞれの虹彩の真正面画像を捕捉する機会を増加させるような様式において、ユーザに提示されてもよい。すなわち、そのような実施例では、仮想標的は、ユーザが、目を向ける、および／または固視し続けるために、ユーザに、その眼の一方または両方を１つまたはそれを上回るカメラに向かって再配向するように要求し得る、３次元空間内の１つまたはそれを上回る場所において、ユーザに提示されてもよい。いくつかの実施形態では、仮想標的の１つまたはそれを上回る他の特性（例えば、サイズ、形状、色等）が、改変されてもよい。また、上記に述べられたように、いくつかの実装では、ブロック２０３２において、方法２０００は、ウェアラブルシステムが、ユーザの眼が可視であるかどうかを決定するための１つまたはそれを上回る動作を実施するステップを含んでもよい。いくつかのそのような実装では、方法２０００は、ウェアラブルシステムが、（ｉ）ブロック２０３２において、ユーザの眼が不可視であることを決定する、または（ｉｉ）、ブロック２０３２において、ユーザの眼が可視であることを決定することに失敗することに応答して、ブロック２０２２に進み得る。
ブロック２０２０またはブロック２０２２に到達し、それと関連付けられる、動作を実施することに応じて、方法２０００は、ブロック２０２４に進み得る。ブロック２０２４では、方法２０００は、ウェアラブルシステムが、ブロック２０２０またはブロック２０２２において選択された設定に従って、動作するステップを含んでもよい。いくつかの実施形態では、ブロック２０２４と関連付けられる動作のいくつかまたは全ては、それぞれ、図１４および１５を参照して上記に説明されるようなブロック１４１４および／または１５２０のうちの１つまたはそれを上回るものと関連付けられるものと類似または実質的に同一であり得る。いくつかの実装では、ブロック２０２０またはブロック２０２２からブロック２０２４に遷移する際、方法２０００は、ウェアラブルシステムが、「ロック解除」状態に入る、または別様に現在のユーザにある特徴へのアクセスを付与するステップを含んでもよい。ブロック２０２６では、方法２０００は、ウェアラブルシステムが、それがユーザによって装着されていないかどうかを決定するステップを含んでもよい。いくつかの実施形態では、ブロック２００４と関連付けられる動作のいくつかまたは全ては、図１４、１５、および２０を参照して上記に説明されるようなブロック１４０２、１４０４、１５０２、１５０４、および／または２００４のうちの１つまたはそれを上回るものと関連付けられるものと類似または実質的に同一であり得る。
ブロック２０２６において、ウェアラブルシステムが、ユーザによって装着されていることの決定に応答して、方法２０００は、ブロック２０２４に進み得る。すなわち、ブロック２０２４－２０２６に到達することに応じて、ウェアラブルシステムは、ウェアラブルシステムが、ブロック２０２６において、それがもはやユーザによって装着されていないことを決定するまで、ブロック２０２０またはブロック２０２２において選択された設定に従って動作し続けてもよい。ブロック２０２６において、ウェアラブルシステムが、もはやユーザによって装着されていないことの決定に応答して、方法２０００は、ブロック２００４に戻るように遷移し得る。いくつかの実装では、ブロック２０２６からブロック２００４に遷移する際、方法２０００は、ウェアラブルシステムが、「ロック」状態に入る、または別様にある特徴へのアクセスを制限するステップを含んでもよい。いくつかの実施形態では、ブロック２０２６からブロック２００４に遷移する際、方法２０００は、ウェアラブルシステムが、２０２４を参照して上記に説明される動作のうちの１つまたはそれを上回るものの実施を中断または中止するステップを含んでもよい。
上記に述べられたように、いくつかの実施形態では、ブロック２０１８では、方法２０００は、ウェアラブルシステムが、登録プロシージャを行うステップを含んでもよく、これは、現在のユーザのための眼追跡較正プロファイルを生成するための１つまたはそれを上回る動作、現在のユーザを虹彩認証にエンロールするための１つまたはそれを上回る動作、それらの組み合わせを実施するステップを含んでもよい。いくつかの実装では、ブロック２０１８では、方法２０００は、ウェアラブルシステムが、現在のユーザのための較正を実施するステップ、または別様に現在のユーザのための眼追跡較正プロファイルを生成するための１つまたはそれを上回る動作を実施するステップを含んでもよい。較正は、種々のプロセスを含んでもよく、ユーザが異なる場所および深度におけるオブジェクトに合焦するにつれてユーザの眼が移動した程度を決定するステップを含んでもよい。いくつかの実施形態では、ウェアラブルシステムは、ユーザの眼の視線を監視し、そこにユーザが固視している、３次元固視点を決定するように構成されてもよい。固視点は、とりわけ、ユーザの眼と各眼の視線方向との間の距離に基づいて決定されてもよい。これらの変数は、三角形の１つの角における固視点と、他の角における眼と三角形を形成すると理解され得ることを理解されたい。また、較正が、ユーザの眼の配向を正確に追跡し、それらの眼の視線を決定または推定し、固視点を決定するために実施されてもよいことを理解されたい。較正はまた、ユーザのＩＰＤ（例えば、ユーザが光学無限遠に合焦しているときのユーザの瞳孔間の距離）を識別するステップを含んでもよい。較正はまた、ユーザが、近距離（例えば、２．０メートル未満）におけるオブジェクトおよび中距離（例えば、約２．０～３．０メートル）におけるオブジェクト等の光学無限遠より近いオブジェクトに合焦しているとき、ユーザの瞳孔距離を決定するステップを含んでもよい。そのような較正データに基づいて、ウェアラブルシステムは、ユーザの瞳孔距離を監視することによって、ユーザが見ている深度を決定することが可能であり得る。換言すると、ユーザの瞳孔距離が、その最大値である（例えば、ユーザのＩＰＤに等しいまたはそれに近い）とき、ウェアラブルシステムは、ユーザの輻輳・開散運動距離が光学無限遠またはその近くにあることを推測することが可能であり得る。対照的に、ユーザの瞳孔距離が、その最小値の近くにあるとき、ウェアラブルシステムは、ユーザの輻輳・開散運動距離が、較正によって決定された距離において、ユーザに近いことを推測することが可能であり得る。したがって、完全較正を受けた後、ウェアラブルシステムは、現在のユーザに関する較正ファイルおよび／または較正情報を記憶してもよい。較正および眼追跡に関するさらなる詳細は、２０１８年５月３０日に出願され、２０１８年１２月６日に米国特許公開第２０１８／０３４８８６１号として公開された、米国特許出願第１５／９９３，３７１号、２０１８年８月３日に出願された、米国仮出願第６２／７１４，６４９号、２０１９年７月１７日号に出願された、米国仮出願第６２／８７５４７４号、および２０１９年８月２日に出願された、米国特許出願第１６／５３０，９０４号（それぞれ、参照することによってその全体として本明細書に組み込まれる）に見出され得る。いくつかの実施形態では、ブロック２０１８では、方法２０００は、ウェアラブルシステムが、前述の特許出願に説明される、のうちの１つまたはそれを上回るもの較正および眼追跡動作を実施するステップを含んでもよい。他の構成も、可能性として考えられる。
いくつかの実装では、ブロック２０１８では、方法２０００は、ウェアラブルシステムが、現在のユーザを虹彩認証にエンロールするための１つまたはそれを上回る動作を実施するステップを含んでもよい。いくつかの実施例では、そのような動作は、ウェアラブルシステムが、仮想標的をユーザに提示するステップ（例えば、１つまたはそれを上回るディスプレイを用いて）と、仮想標的がユーザに提示されている間、ユーザの片眼または両眼の１つまたはそれを上回る画像を捕捉するステップ（例えば、１つまたはそれを上回る眼追跡カメラを用いて）と、１つまたはそれを上回る画像に基づいて、ユーザの片眼または両眼のそれぞれの虹彩の表現（例えば、１つまたはそれを上回る虹彩コードまたはトークン）を生成するステップと、生成された表現を記憶するステップとを含んでもよい。いくつかの実装では、ユーザの片眼または両眼のそれぞれの虹彩の表現（例えば、１つまたはそれを上回る虹彩コードまたはトークン）を生成および記憶する代わりに、またはそれに加え、そのような動作は、１つまたはそれを上回る画像のうちの少なくとも１つを基準またはテンプレート画像として記憶するステップを含んでもよい。いくつかの実装では、ウェアラブルシステムは、虹彩コードまたはトークンをユーザの片眼または両眼の画像から正常に生成または別様に抽出する尤度を増加させるように、ブロック２０１８と関連付けられるもののうちの１つまたはそれを上回るもの等の現在のユーザを虹彩認証にエンロールするための１つまたはそれを上回る動作を実施するとき、ブロック２０３２と関連付けられる動作のうちの１つまたはそれを上回るものを実施してもよい。いくつかの実施形態では、ウェアラブルシステムは、現在のユーザのための前述の較正プロシージャと並行して、現在のユーザを虹彩認証にエンロールするための１つまたはそれを上回るそのような動作を実施してもよい。他の実施形態では、ウェアラブルシステムは、現在のユーザを虹彩認証にエンロールするための１つまたはそれを上回るそのような動作および別個の時間における現在のユーザのための前述の較正プロシージャを実施してもよい。
いくつかの実施例では、ブロック２０１８では、方法２０００は、ウェアラブルシステムが、相互に関連付けられる、較正ファイルまたは較正情報および生成された表現（例えば、１つまたはそれを上回る虹彩コードまたはトークン）を記憶するステップを含んでもよい。いくつかの実施形態では、相互に関連付けられる、較正ファイルまたは較正情報および生成された表現を記憶するステップの代わりに、またはそれに加えブロック２０１８では、方法２０００は、ウェアラブルシステムが、相互に関連付けられる、較正ファイルまたは較正情報および１つまたはそれを上回る画像のうちの少なくとも１つを記憶するステップを含んでもよい。いくつかの実施形態では、ブロック２０１８と関連付けられる動作のいくつかまたは全ては、方法２０００から独立して実施されてもよい。例えば、ウェアラブルシステムは、ユーザからの要求時、またはウェアラブルシステムが、最初に、オンにされる、または設定されるとき、ユーザを虹彩認証にエンロールするための１つまたはそれを上回る動作および／またはユーザのための較正を実施するための関連付けられる１つまたはそれを上回る動作を実施してもよい。
いくつかの実施形態では、ウェアラブルシステムが、ブロック２０１２において、認証結果と関連付けられる信頼度値が所定の閾値を超えないことを決定することに応答して、方法２０００は、ブロック２０１２からブロック２０２８以外の１つまたはそれを上回る論理ブロックに進み得る。例えば、これらの実施形態では、ウェアラブルシステムが、ブロック２０１２において、認証結果と関連付けられる信頼度値が所定の閾値を超えないことを決定することに応答して、ウェアラブルシステムは、現在のユーザに、１つまたはそれを上回る代替認証オプションを提示してもよい。例えば、ウェアラブルシステムは、現在のユーザに、ピン、パスワード、および／または他の証明書を入力としてウェアラブルシステムに提供することによって、その識別を照合するオプションを提供してもよい。これらの実施形態のうちのいくつかでは、方法２０００は、前述の代替認証オプションのうちの１つまたはそれを上回るものを使用して、現在のユーザを登録されたユーザとして正常に識別することに応じて、ブロック２０２０に進み得る。同様に、これらの実施形態のうちのいくつかでは、方法２０００は、前述の代替認証オプションのうちの１つまたはそれを上回るものを使用して、現在のユーザを登録されたユーザとして正常に識別することに失敗することに応じて、ブロック２０１６に進み得る。そのような転機では、方法２０００は、ブロック２０２２に進むか、またはその中でウェアラブルシステムが現在のユーザを登録するための１つまたはそれを上回る動作を行う、ブロック２０１８に類似する、１つまたはそれを上回る論理ブロックに進むかのいずれかであってもよい。
いくつかの実施例では、現在のユーザを登録するためのそのような１つまたはそれを上回る動作は、現在のユーザのための眼追跡較正プロファイルを生成するための１つまたはそれを上回るプロシージャ、現在のユーザを虹彩認証にエンロールするための１つまたはそれを上回る動作、現在のユーザを前述の代替認証オプションのうちの１つまたはそれを上回るものにエンロールするための１つまたはそれを上回る動作、またはそれらの組み合わせを含んでもよい。いくつかの実施形態では、ブロック２０１８では、方法２０００はさらに、ウェアラブルシステムが、現在のユーザを前述の代替認証オプションのうちの１つまたはそれを上回るものにエンロールするための１つまたはそれを上回る動作を実施するステップを含んでもよい。これらの実施形態では、現在のユーザを前述の代替認証オプションのうちの１つまたはそれを上回るものにエンロールするための１つまたはそれを上回る動作を実施するステップに関連して、ウェアラブルシステムによって生成または別様に取得される情報は、であってもよい。
これらの実施形態では、ブロック２０１８において、方法２０００は、ウェアラブルシステムが、現在のユーザを現在のユーザに関する較正ファイルまたは情報と関連付けられる前述の代替認証オプションのうちの１つまたはそれを上回るものにエンロールするための１つまたはそれを上回る動作を実施するステップに関連してウェアラブルシステムによって生成または別様に取得される情報、現在のユーザのための生成された１つまたはそれを上回る虹彩表現（例えば、虹彩コードまたはトークン）、ユーザの片眼または両眼の１つまたはそれを上回る画像、またはそれらの組み合わせを記憶するステップを含んでもよい。ブロック２０１８においてユーザによって手動で供給されるような付加的情報（例えば、名前、電子メールアドレス、関心、ユーザ選好等）もまた、前述の情報のうちの１つまたはそれを上回るものと関連付けて記憶されてもよい。他の構成も、可能性として考えられる。
周囲環境内のオブジェクトを検出するためのコンピュータビジョン
上記に議論されるように、ディスプレイシステムは、ユーザを囲繞する環境内のオブジェクトまたはその性質を検出するように構成されてもよい。検出は、本明細書に議論されるように、種々の環境センサ（例えば、カメラ、オーディオセンサ、温度センサ等）を含む、種々の技法を使用して遂行されてもよい。
いくつかの実施形態では、環境内に存在するオブジェクトは、コンピュータビジョン技法を使用して、検出されてもよい。例えば、本明細書に開示されるように、ディスプレイシステムの前向きに面したカメラは、周囲環境を結像するように構成されてもよく、ディスプレイシステムは、画像分析を画像上で実施し、周囲環境内のオブジェクトの存在を決定するように構成されてもよい。ディスプレイシステムは、外向きに面した結像システムによって入手された画像を分析し、場面再構成、イベント検出、ビデオ追跡、オブジェクト認識、オブジェクト姿勢推定、学習、インデックス化、運動推定、または画像復元等を実施してもよい。他の実施例として、ディスプレイシステムは、顔および／または眼認識を実施し、ユーザの視野内の顔および／またはヒトの眼の存在および場所を決定するように構成されてもよい。１つまたはそれを上回るコンピュータビジョンアルゴリズムが、これらのタスクを実施するために使用されてもよい。コンピュータビジョンアルゴリズムの非限定的実施例は、スケール不変特徴変換（ＳＩＦＴ）、スピードアップロバスト特徴（ＳＵＲＦ）、配向ＦＡＳＴおよび回転ＢＲＩＥＦ（ＯＲＢ）、バイナリロバスト不変スケーラブルキーポイント（ＢＲＩＳＫ）、高速網膜キーポイント（ＦＲＥＡＫ）、Ｖｉｏｌａ－Ｊｏｎｅｓアルゴリズム、Ｅｉｇｅｎｆａｃｅｓアプローチ、Ｌｕｃａｓ－Ｋａｎａｄｅアルゴリズム、Ｈｏｒｎ－Ｓｃｈｕｎｋアルゴリズム、Ｍｅａｎ－ｓｈｉｆｔアルゴリズム、視覚的同時位置推定およびマッピング（ｖＳＬＡＭ）技法、シーケンシャルベイズ推定器（例えば、カルマンフィルタ、拡張カルマンフィルタ等）、バンドル調節、適応閾値化（および他の閾値化技法）、反復最近傍点（ＩＣＰ）、セミグローバルマッチング（ＳＧＭ）、セミグローバルブロックマッチング（ＳＧＢＭ）、特徴点ヒストグラム、種々の機械学習アルゴリズム（例えば、サポートベクトルマシン、ｋ最近傍アルゴリズム、単純ベイズ、ニューラルネットワーク（畳み込みまたは深層ニューラルネットワークを含む）、または他の教師あり／教師なしモデル等）等を含む。
これらのコンピュータビジョン技法のうちの１つまたはそれを上回るものはまた、他の環境センサ（例えば、マイクロホン等）から入手されたデータと併用され、センサによって検出されたオブジェクトの種々の性質を検出および決定してもよい。
本明細書に議論されるように、周囲環境内のオブジェクトは、１つまたはそれを上回る基準に基づいて、検出されてもよい。ディスプレイシステムが、コンピュータビジョンアルゴリズムを使用して、または１つまたはそれを上回るセンサアセンブリ（ディスプレイシステムの一部である場合とそうではない場合がある）から受信されたデータを使用して、周囲環境内の基準の存在または不在を検出するとき、ディスプレイシステムは、次いで、オブジェクトの存在を信号伝達してもよい。
機械学習
種々の機械学習アルゴリズムは、周囲環境内のオブジェクトの存在を識別するように学習するために使用されてもよい。いったん訓練されると、機械学習アルゴリズムは、ディスプレイシステムによって記憶されてもよい。機械学習アルゴリズムのいくつかの実施例は、教師ありまたは教師なし機械学習アルゴリズムを含み得、回帰アルゴリズム（例えば、通常の最小２乗回帰等）、インスタンスベースのアルゴリズム（例えば、学習ベクトル量子化等）、決定ツリーアルゴリズム（例えば、分類および回帰ツリー等）、ベイズアルゴリズム（例えば、単純ベイズ等）、クラスタリングアルゴリズム（例えば、ｋ－平均クラスタリング等）、関連付けルール学習アルゴリズム（例えば、アプリオリアルゴリズム等）、人工ニューラルネットワークアルゴリズム（例えば、Ｐｅｒｃｅｐｔｒｏｎ等）、深層学習アルゴリズム（例えば、Ｄｅｅｐ Ｂｏｌｔｚｍａｎｎ Ｍａｃｈｉｎｅ、すなわち、深層ニューラルネットワーク等）、次元削減アルゴリズム（例えば、主成分分析等）、アンサンブルアルゴリズム（例えば、Ｓｔａｃｋｅｄ Ｇｎｅｒａｌｉｚａｔｉｏｎ等）、または他の機械学習アルゴリズムを含む。いくつかの実施形態では、個々のモデルは、個々のデータセットのためにカスタマイズされてもよい。例えば、ウェアラブルデバイスは、ベースモデルを生成または記憶してもよい。ベースモデルは、開始点として使用され、データタイプ（例えば、特定のユーザ）、データセット（例えば、取得される付加的画像のセット）、条件付き状況、または他の変形例に特有の付加的モデルを生成してもよい。いくつかの実施形態では、ディスプレイシステムは、複数の技法を利用して、集約されたデータの分析のためのモデルを生成するように構成されることができる。他の技法は、事前に定義された閾値またはデータ値を使用することを含んでもよい。
オブジェクトを検出するための基準は、１つまたはそれを上回る閾値条件を含んでもよい。環境センサによって入手されたデータの分析が、閾値条件に達したことを示す場合、ディスプレイシステムは、周囲環境内のオブジェクトの存在の検出を示す信号を提供してもよい。閾値条件は、定量的および／または定質的測定値を伴ってもよい。例えば、閾値条件は、反射および／またはオブジェクトが環境内に存在する尤度と関連付けられるスコアまたはパーセンテージを含んでもよい。ディスプレイシステムは、環境センサのデータから計算されるスコアと閾値スコアを比較してもよい。スコアが、閾値レベルより高い場合、ディスプレイシステムは、反射および／またはオブジェクトの存在を検出し得る。いくつかの他の実施形態では、ディスプレイシステムは、スコアが閾値より低い場合、環境内のオブジェクトの存在を信号伝達してもよい。いくつかの実施形態では、閾値条件は、ユーザの感情状態および／またはユーザの周囲環境との相互作用に基づいて決定されてもよい。
いくつかの実施形態では、閾値条件、機械学習アルゴリズム、またはコンピュータビジョンアルゴリズムは、具体的コンテキストのために特殊化されてもよい。例えば、診断コンテキストでは、コンピュータビジョンアルゴリズムは、刺激に対するある応答を検出するために特殊化されてもよい。別の実施例として、ディスプレイシステムは、本明細書に議論されるように、顔認識アルゴリズムおよび／またはイベントトレーシングアルゴリズムを実行し、刺激に対するユーザの反応を感知してもよい。
本明細書に説明される、および／または添付される図に描写されるプロセス、方法、およびアルゴリズムはそれぞれ、具体的かつ特定のコンピュータ命令を実行するように構成される、１つまたはそれを上回る物理的コンピューティングシステム、ハードウェアコンピュータプロセッサ、特定用途向け回路、および／または電子ハードウェアによって実行される、コードモジュールにおいて具現化され、それによって完全または部分的に自動化され得ることを理解されたい。例えば、コンピューティングシステムは、具体的コンピュータ命令とともにプログラムされた汎用コンピュータ（例えば、サーバ）または専用コンピュータ、専用回路等を含むことができる。コードモジュールは、実行可能プログラムにコンパイルおよびリンクされ得る、動的リンクライブラリ内にインストールされ得る、またはインタープリタ型プログラミング言語において書き込まれ得る。いくつかの実装では、特定の動作および方法が、所与の機能に特有の回路によって実施され得る。
さらに、本開示の機能性のある実装は、十分に数学的、コンピュータ的、または技術的に複雑であるため、（適切な特殊化された実行可能命令を利用する）特定用途向けハードウェアまたは１つまたはそれを上回る物理的コンピューティングデバイスは、例えば、関与する計算の量または複雑性に起因して、または結果を実質的にリアルタイムで提供するために、機能性を実施する必要があり得る。例えば、ビデオは、多くのフレームを含み、各フレームは、数百万のピクセルを有し得、具体的にプログラムされたコンピュータハードウェアは、商業的に妥当な時間量において所望の画像処理タスクまたは用途を提供するようにビデオデータを処理する必要がある。
コードモジュールまたは任意のタイプのデータは、ハードドライブ、ソリッドステートメモリ、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、光学ディスク、揮発性または不揮発性記憶装置、同一物の組み合わせ、および／または同等物を含む、物理的コンピュータ記憶装置等の任意のタイプの非一過性コンピュータ可読媒体上に記憶され得る。いくつかの実施形態では、非一過性コンピュータ可読媒体は、ローカル処理およびデータモジュール（１４０）、遠隔処理モジュール（１５０）、遠隔データリポジトリ（１６０）のうちの１つまたはそれを上回るものの一部であってもよい。本方法およびモジュール（またはデータ）はまた、無線ベースおよび有線／ケーブルベースの媒体を含む、種々のコンピュータ可読伝送媒体上で生成されたデータ信号として（例えば、搬送波または他のアナログまたはデジタル伝搬信号の一部として）伝送され得、種々の形態（例えば、単一または多重化アナログ信号の一部として、または複数の離散デジタルパケットまたはフレームとして）をとり得る。開示されるプロセスまたはプロセスステップの結果は、任意のタイプの非一過性有形コンピュータ記憶装置内に持続的または別様に記憶され得る、またはコンピュータ可読伝送媒体を介して通信され得る。
本明細書に説明される、および／または添付される図に描写されるフロー図における任意のプロセス、ブロック、状態、ステップ、または機能性は、プロセスにおいて具体的機能（例えば、論理または算術）またはステップを実装するための１つまたはそれを上回る実行可能命令を含む、コードモジュール、セグメント、またはコードの一部を潜在的に表すものとして理解されたい。種々のプロセス、ブロック、状態、ステップ、または機能性は、組み合わせられる、再配列される、追加される、削除される、修正される、または別様に本明細書に提供される例証的実施例から変更されてもよい。いくつかの実施形態では、付付加的または異なるコンピューティングシステムまたはコードモジュールが、本明細書に説明される機能性のいくつかまたは全てを実施し得る。本明細書に説明される方法およびプロセスはまた、いずれの特定のシーケンスにも限定されず、それに関連するブロック、ステップ、または状態は、適切な他のシーケンスで、例えば、連続して、並行して、またはある他の様式で実施されることができる。タスクまたはイベントが、開示される例示的実施形態に追加される、またはそこから除去され得る。さらに、本明細書に説明される実装における種々のシステムコンポーネントの分離は、例証目的のためであり、全ての実装においてそのような分離を要求するものとして理解されるべきではない。説明されるプログラムコンポーネント、方法、およびシステムは、概して、単一のコンピュータ製品においてともに統合される、または複数のコンピュータ製品にパッケージ化され得ることを理解されたい。多くの実装変形例が、可能である。
他の考慮点
本明細書に説明される、および／または添付される図に描写されるプロセス、方法、およびアルゴリズムはそれぞれ、具体的かつ特定のコンピュータ命令を実行するように構成される、１つまたはそれを上回る物理的コンピューティングシステム、ハードウェアコンピュータプロセッサ、特定用途向け回路、および／または電子ハードウェアによって実行される、コードモジュールにおいて具現化され、それによって完全または部分的に自動化され得る。例えば、コンピューティングシステムは、具体的コンピュータ命令とともにプログラムされた汎用コンピュータ（例えば、サーバ）または専用コンピュータ、専用回路等を含むことができる。コードモジュールは、実行可能プログラムにコンパイルおよびリンクされ得る、動的リンクライブラリ内にインストールされ得る、またはインタープリタ型プログラミング言語において書き込まれ得る。いくつかの実装では、特定の動作および方法が、所与の機能に特有の回路によって実施され得る。
さらに、本開示の機能性のある実装は、十分に数学的、コンピュータ的、または技術的に複雑であるため、（適切な特殊化された実行可能命令を利用する）特定用途向けハードウェアまたは１つまたはそれを上回る物理的コンピューティングデバイスは、例えば、関与する計算の量または複雑性に起因して、または結果を実質的にリアルタイムで提供するために、機能性を実施する必要があり得る。例えば、動画またはビデオは、多くのフレームを含み、各フレームは、数百万のピクセルを有し得、具体的にプログラムされたコンピュータハードウェアは、商業的に妥当な時間量において所望の画像処理タスクまたは用途を提供するようにビデオデータを処理する必要がある。
コードモジュールまたは任意のタイプのデータは、ハードドライブ、ソリッドステートメモリ、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、光学ディスク、揮発性または不揮発性記憶装置、同一物の組み合わせ、および／または同等物を含む、物理的コンピュータ記憶装置等の任意のタイプの非一過性コンピュータ可読媒体上に記憶され得る。本方法およびモジュール（またはデータ）はまた、無線ベースおよび有線／ケーブルベースの媒体を含む、種々のコンピュータ可読伝送媒体上で生成されたデータ信号として（例えば、搬送波または他のアナログまたはデジタル伝搬信号の一部として）伝送され得、種々の形態（例えば、単一または多重化アナログ信号の一部として、または複数の離散デジタルパケットまたはフレームとして）をとり得る。開示されるプロセスまたはプロセスステップの結果は、任意のタイプの非一過性有形コンピュータ記憶装置内に持続的または別様に記憶され得る、またはコンピュータ可読伝送媒体を介して通信され得る。
本明細書に説明される、および／または添付される図に描写されるフロー図における任意のプロセス、ブロック、状態、ステップ、または機能性は、プロセスにおいて具体的機能（例えば、論理または算術）またはステップを実装するための１つまたはそれを上回る実行可能命令を含む、コードモジュール、セグメント、またはコードの一部を潜在的に表すものとして理解されたい。種々のプロセス、ブロック、状態、ステップ、または機能性は、組み合わせられる、再配列される、本明細書に提供される例証的実施例に追加される、そこから削除される、修正される、または別様にそこから変更されることができる。いくつかの実施形態では、付加的または異なるコンピューティングシステムまたはコードモジュールが、本明細書に説明される機能性のいくつかまたは全てを実施し得る。本明細書に説明される方法およびプロセスはまた、いずれの特定のシーケンスにも限定されず、それに関連するブロック、ステップ、または状態は、適切な他のシーケンスで、例えば、連続して、並行して、またはある他の様式で実施されることができる。タスクまたはイベントが、開示される例示的実施形態に追加される、またはそこから除去され得る。さらに、本明細書に説明される実装における種々のシステムコンポーネントの分離は、例証目的のためであり、全ての実装においてそのような分離を要求するものとして理解されるべきではない。説明されるプログラムコンポーネント、方法、およびシステムは、概して、単一のコンピュータ製品においてともに統合される、または複数のコンピュータ製品にパッケージ化され得ることを理解されたい。多くの実装変形例が、可能である。
本プロセス、方法、およびシステムは、ネットワーク（または分散）コンピューティング環境において実装され得る。ネットワーク環境は、企業全体コンピュータネットワーク、イントラネット、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、パーソナルエリアネットワーク（ＰＡＮ）、クラウドコンピューティングネットワーク、クラウドソースコンピューティングネットワーク、インターネット、およびワールドワイドウェブを含む。ネットワークは、有線または無線ネットワークまたは任意の他のタイプの通信ネットワークであり得る。
本開示のシステムおよび方法は、それぞれ、いくつかの革新的側面を有し、そのうちのいかなるものも、本明細書に開示される望ましい属性に単独で関与しない、またはそのために要求されない。上記に説明される種々の特徴およびプロセスは、相互に独立して使用され得る、または種々の方法で組み合わせられ得る。全ての可能な組み合わせおよび副次的組み合わせが、本開示の範囲内に該当することが意図される。本開示に説明される実装の種々の修正が、当業者に容易に明白であり得、本明細書に定義される一般原理は、本開示の精神または範囲から逸脱することなく、他の実装に適用され得る。したがって、請求項は、本明細書に示される実装に限定されることを意図されず、本明細書に開示される本開示、原理、および新規の特徴と一貫する最も広い範囲を与えられるべきである。
別個の実装の文脈において本明細書に説明されるある特徴はまた、単一の実装における組み合わせにおいて実装されることができる。逆に、単一の実装の文脈において説明される種々の特徴もまた、複数の実装において別個に、または任意の好適な副次的組み合わせにおいて実装されることができる。さらに、特徴がある組み合わせにおいて作用するものとして上記に説明され、さらに、そのようなものとして最初に請求され得るが、請求される組み合わせからの１つまたはそれを上回る特徴は、いくつかの場合では、組み合わせから削除されることができ、請求される組み合わせは、副次的組み合わせまたは副次的組み合わせの変形例を対象とし得る。いかなる単一の特徴または特徴のグループも、あらゆる実施形態に必要または必須ではない。
とりわけ、「～できる（ｃａｎ）」、「～し得る（ｃｏｕｌｄ）」、「～し得る（ｍｉｇｈｔ）」、「～し得る（ｍａｙ）」、「例えば（ｅ．ｇ．）」、および同等物等、本明細書で使用される条件文は、別様に具体的に記載されない限り、または使用されるような文脈内で別様に理解されない限り、概して、ある実施形態がある特徴、要素、またはステップを含む一方、他の実施形態がそれらを含まないことを伝えることが意図される。したがって、そのような条件文は、概して、特徴、要素、および／またはステップが、１つまたはそれを上回る実施形態に対していかようにも要求されること、または１つまたはそれを上回る実施形態が、著者の入力または促しの有無を問わず、これらの特徴、要素、および／またはステップが任意の特定の実施形態において含まれる、または実施されるべきかどうかを決定するための論理を必然的に含むことを合意することを意図していない。用語「～を備える（ｃｏｍｐｒｉｓｉｎｇ）」、「～を含む（ｉｎｃｌｕｄｉｎｇ）」、「～を有する（ｈａｖｉｎｇ）」、および同等物は、同義語であり、非限定的方式で包括的に使用され、付加的要素、特徴、行為、動作等を除外しない。また、用語「または」は、その包括的意味において使用され（およびその排他的意味において使用されず）、したがって、例えば、要素のリストを接続するために使用されると、用語「または」は、リスト内の要素のうちの１つ、いくつか、または全てを意味する。加えて、本願および添付される請求項で使用されるような冠詞「ａ」、「ａｎ」、および「ｔｈｅ」は、別様に規定されない限り、「１つまたはそれを上回る」または「少なくとも１つ」を意味するように解釈されるべきである。
本明細書で使用されるように、項目のリスト「～のうちの少なくとも１つ」を指す語句は、単一の要素を含む、それらの項目の任意の組み合わせを指す。ある実施例として、「Ａ、Ｂ、またはＣのうちの少なくとも１つ」は、Ａ、Ｂ、Ｃ、ＡおよびＢ、ＡおよびＣ、ＢおよびＣ、およびＡ、Ｂ、およびＣを網羅することが意図される。語句「Ｘ、Ｙ、およびＺのうちの少なくとも１つ」等の接続文は、別様に具体的に記載されない限り、概して、項目、用語等がＸ、Ｙ、またはＺのうちの少なくとも１つであり得ることを伝えるために使用されるような文脈で別様に理解される。したがって、そのような接続文は、概して、ある実施形態が、Ｘのうちの少なくとも１つ、Ｙのうちの少なくとも１つ、およびＺのうちの少なくとも１つがそれぞれ存在するように要求することを示唆することを意図するものではない。
同様に、動作は、特定の順序で図面に描写され得るが、これは、望ましい結果を達成するために、そのような動作が示される特定の順序で、または連続的順序で実施される、または全ての図示される動作が実施される必要はないと認識されるべきである。さらに、図面は、フローチャートの形態で１つまたはそれを上回る例示的プロセスを図式的に描写し得る。しかしながら、描写されない他の動作も、図式的に図示される例示的方法およびプロセス内に組み込まれることができる。例えば、１つまたはそれを上回る付加的動作が、図示される動作のいずれかの前に、その後に、それと同時に、またはその間に実施されることができる。加えて、動作は、他の実装において再配列される、または再順序付けられ得る。ある状況では、マルチタスクおよび並列処理が、有利であり得る。さらに、上記に説明される実装における種々のシステムコンポーネントの分離は、全ての実装におけるそのような分離を要求するものとして理解されるべきではなく、説明されるプログラムコンポーネントおよびシステムは、概して、単一のソフトウェア製品においてともに統合される、または複数のソフトウェア製品にパッケージ化され得ることを理解されたい。加えて、他の実装も、以下の請求項の範囲内である。いくつかの場合では、請求項に列挙されるアクションは、異なる順序で実施され、依然として、望ましい結果を達成し得る。

Claims (20)

  1. ウェアラブルシステムであって、
    １つまたはそれを上回るディスプレイであって、前記１つまたはそれを上回るディスプレイは、仮想画像コンテンツを、画像光を介して、ユーザの片眼または両眼に提示するように構成され、前記１つまたはそれを上回るディスプレイは、前記画像光を前記ユーザの片眼または両眼に出力するために構成され、前記画像光は、前記ユーザから離れた異なる距離における異なる深度面に対応する異なる波面発散量を有する、１つまたはそれを上回るディスプレイと、
    前記ユーザの片眼または両眼の画像を捕捉するように構成される１つまたはそれを上回るカメラと、
    １つまたはそれを上回るプロセッサであって、
    前記１つまたはそれを上回るカメラによって捕捉されるような前記ユーザの片眼または両眼の１つまたはそれを上回る画像を取得することと、
    前記ユーザの片眼または両眼の前記１つまたはそれを上回る取得された画像に基づいて、インジケーションを生成することであって、前記生成されたインジケーションは、前記ユーザが識別されるかどうかを示す、ことと、
    前記１つまたはそれを上回るディスプレイを制御し、前記画像光を前記ユーザの片眼または両眼に出力することであって、前記画像光は、少なくとも部分的に、前記ユーザが識別されるかどうかを示す前記生成されたインジケーションに基づいて、前記異なる波面発散量を有する、ことと
    を行うように構成される、１つまたはそれを上回るプロセッサと
    を備える、ウェアラブルシステム。
  2. 前記ユーザが識別されるかどうかを示す前記インジケーションを生成することは、１つまたはそれを上回る虹彩走査動作または１つまたはそれを上回る虹彩認証動作を実施することを含む、請求項１に記載のウェアラブルシステム。
  3. 前記生成されたインジケーションは、前記ユーザが登録されたユーザとして識別されることを示し、
    前記生成されたインジケーションが、前記ユーザが登録されたユーザとして識別されることを示すことに応答して、前記１つまたはそれを上回るプロセッサは、
    前記１つまたはそれを上回るディスプレイを制御し、前記画像光を前記ユーザの片眼または両眼に出力することであって、前記画像光は、少なくとも部分的に、前記登録されたユーザと関連付けられる設定に基づいて、前記異なる波面発散量を有する、こと
    を含むように、前記１つまたはそれを上回るディスプレイを制御し、画像光を前記ユーザの片眼または両眼に出力することを実施するように構成される、請求項１に記載のウェアラブルシステム。
  4. 前記生成されたインジケーションは、前記ユーザが登録されたユーザとして識別されないことを示し、
    前記生成されたインジケーションが、前記ユーザが登録されたユーザとして識別されないことを示すことに応答して、前記１つまたはそれを上回るプロセッサは、
    前記１つまたはそれを上回るディスプレイを制御し、前記画像光を前記ユーザの片眼または両眼に出力することであって、前記画像光は、少なくとも部分的に、デフォルト設定のセットに基づいて、前記異なる波面発散量を有する、こと
    を含むように、前記１つまたはそれを上回るディスプレイを制御し、前記画像光を前記ユーザの片眼または両眼に出力することを実施するように構成される、
    請求項１に記載のウェアラブルシステム。
  5. 前記生成されたインジケーションは、前記ユーザが登録されたユーザとして識別されないことを示し、
    前記生成されたインジケーションが、前記ユーザが登録されたユーザとして識別されないことを示すことに応答して、前記１つまたはそれを上回るプロセッサは、
    １つまたはそれを上回る動作のセットを実施し、前記ユーザを虹彩認証にエンロールするか、または、前記ユーザのための較正プロファイルを生成することと、
    少なくとも部分的に、１つまたはそれを上回る動作のセットを実施することを通して取得される情報に基づいて、前記ユーザのための設定を決定することと
    を行うように構成され、
    前記１つまたはそれを上回るディスプレイを制御し、画像光を前記ユーザの片眼または両眼に出力することは、前記１つまたはそれを上回るディスプレイを制御し、前記画像光を前記ユーザの片眼または両眼に出力することであって、前記画像光は、少なくとも部分的に、前記ユーザのために決定された設定に基づいて、前記異なる波面発散量を有する、ことを含む、
    請求項１に記載のウェアラブルシステム。
  6. 前記１つまたはそれを上回るプロセッサは、
    前記１つまたはそれを上回るディスプレイを制御し、仮想標的を前記ユーザに提示するように構成され、
    前記１つまたはそれを上回るカメラによって捕捉されるような前記ユーザの片眼または両眼の１つまたはそれを上回る画像を取得することは、前記仮想標的が前記ユーザに提示されている間、前記１つまたはそれを上回るカメラによって捕捉されるような前記ユーザの片眼または両眼の１つまたはそれを上回る画像を取得することを含む、
    請求項１に記載のウェアラブルシステム。
  7. 前記１つまたはそれを上回るプロセッサは、
    前記ユーザが識別されるかどうかを示す前記インジケーションを生成する際、１つまたはそれを上回る動作を実施し、ユーザ識別の正確度または信頼性を改良するように試みるように構成される、
    請求項６に記載のウェアラブルシステム。
  8. 方法であって、
    １つまたはそれを上回るディスプレイによって、仮想画像コンテンツを、画像光を介して、ユーザの片眼または両眼に提示することであって、前記１つまたはそれを上回るディスプレイは、前記画像光を前記ユーザの片眼または両眼に出力するために構成され、前記画像光は、前記ユーザから離れた異なる距離における異なる深度面に対応する異なる波面発散量を有する、ことと、
    １つまたはそれを上回るカメラによって、前記ユーザの片眼または両眼の画像を捕捉することと、
    前記１つまたはそれを上回るカメラによって捕捉されるような前記ユーザの片眼または両眼の１つまたはそれを上回る画像を取得することと、
    前記ユーザの片眼または両眼の前記１つまたはそれを上回る取得された画像に基づいて、インジケーションを生成することであって、前記生成されたインジケーションは、前記ユーザが識別されるかどうかを示す、ことと、
    前記１つまたはそれを上回るディスプレイを制御し、前記画像光を前記ユーザの片眼または両眼に出力することであって、前記画像光は、少なくとも部分的に、前記ユーザが識別されるかどうかを示す前記生成されたインジケーションに基づいて、前記異なる波面発散量を有する、ことと
    を含む、方法。
  9. 前記ユーザが識別されるかどうかを示す前記インジケーションを生成することは、１つまたはそれを上回る虹彩走査動作または１つまたはそれを上回る虹彩認証動作を実施することを含む、請求項８に記載の方法。
  10. 前記生成されたインジケーションは、前記ユーザが登録されたユーザとして識別されることを示し、
    前記方法は、前記生成されたインジケーションが、前記ユーザが登録されたユーザとして識別されることを示すことに応答して、
    前記１つまたはそれを上回るディスプレイを制御し、前記画像光を前記ユーザの片眼または両眼に出力することであって、前記画像光は、少なくとも部分的に、前記登録されたユーザと関連付けられる設定に基づいて、前記異なる波面発散量を有する、こと
    を含むように、前記１つまたはそれを上回るディスプレイを制御し、画像光を前記ユーザの片眼または両眼に出力することを実施することを含む、
    請求項８に記載の方法。
  11. 前記生成されたインジケーションは、前記ユーザが登録されたユーザとして識別されないことを示し、
    前記方法は、前記生成されたインジケーションが、前記ユーザが登録されたユーザとして識別されないことを示すことに応答して、
    前記１つまたはそれを上回るディスプレイを制御し、前記画像光を前記ユーザの片眼または両眼に出力することであって、前記画像光は、少なくとも部分的に、デフォルト設定のセットに基づいて、前記異なる波面発散量を有する、こと
    を含むように、前記１つまたはそれを上回るディスプレイを制御し、前記画像光を前記ユーザの片眼または両眼に出力することを実施することを含む、
    請求項８に記載の方法。
  12. 前記生成されたインジケーションは、前記ユーザが登録されたユーザとして識別されないことを示し、
    前記方法は、前記生成されたインジケーションが、前記ユーザが登録されたユーザとして識別されないことを示すことに応答して、
    １つまたはそれを上回る動作のセットを実施し、前記ユーザを虹彩認証にエンロールするか、または、前記ユーザのための較正プロファイルを生成することと、
    少なくとも部分的に、１つまたはそれを上回る動作のセットを実施することを通して取得される情報に基づいて、前記ユーザのための設定を決定することと
    を含み、
    前記１つまたはそれを上回るディスプレイを制御し、画像光を前記ユーザの片眼または両眼に出力することは、前記１つまたはそれを上回るディスプレイを制御し、前記画像光を前記ユーザの片眼または両眼に出力することであって、前記画像光は、少なくとも部分的に、前記ユーザのために決定された設定に基づいて、前記異なる波面発散量を有する、ことを含む、
    請求項８に記載の方法。
  13. 前記方法は、
    前記１つまたはそれを上回るディスプレイを制御し、仮想標的を前記ユーザに提示することを含み、
    前記１つまたはそれを上回るカメラによって捕捉されるような前記ユーザの片眼または両眼の１つまたはそれを上回る画像を取得することは、前記仮想標的が前記ユーザに提示されている間、前記１つまたはそれを上回るカメラによって捕捉されるような前記ユーザの片眼または両眼の１つまたはそれを上回る画像を取得することを含む、
    請求項８に記載の方法。
  14. 前記方法は、
    前記ユーザが識別されるかどうかを示す前記インジケーションを生成する際、１つまたはそれを上回る動作を実施し、ユーザ識別の正確度または信頼性を改良するように試みることを含む、
    請求項１３に記載の方法。
  15. 非一過性コンピュータ可読媒体であって、前記非一過性コンピュータ可読媒体は、命令を記憶しており、前記命令は、ウェアラブルシステムの１つまたはそれを上回るプロセッサによって実行されると、前記ウェアラブルシステムに、方法を実施させ、前記方法は、
    前記ウェアラブルシステムの１つまたはそれを上回るディスプレイによって、仮想画像コンテンツを、画像光を介して、ユーザの片眼または両眼に提示することであって、前記１つまたはそれを上回るディスプレイは、前記画像光を前記ユーザの片眼または両眼に出力するために構成され、前記画像光は、前記ユーザから離れた異なる距離における異なる深度面に対応する異なる波面発散量を有する、ことと、
    前記ウェアラブルシステムの１つまたはそれを上回るカメラによって、前記ユーザの片眼または両眼の画像を捕捉することと、
    前記１つまたはそれを上回るカメラによって捕捉されるような前記ユーザの片眼または両眼の１つまたはそれを上回る画像を取得することと、
    前記ユーザの片眼または両眼の前記１つまたはそれを上回る取得された画像に基づいて、インジケーションを生成することであって、前記生成されたインジケーションは、前記ユーザが識別されるかどうかを示す、ことと、
    前記１つまたはそれを上回るディスプレイを制御し、前記画像光を前記ユーザの片眼または両眼に出力することであって、前記画像光は、少なくとも部分的に、前記ユーザが識別されるかどうかを示す前記生成されたインジケーションに基づいて、前記異なる波面発散量を有する、ことと
    を含む、非一過性コンピュータ可読媒体。
  16. 前記ユーザが識別されるかどうかを示す前記インジケーションを生成することは、１つまたはそれを上回る虹彩走査動作または１つまたはそれを上回る虹彩認証動作を実施することを含む、請求項１５に記載の非一過性コンピュータ可読媒体。
  17. 前記生成されたインジケーションは、前記ユーザが登録されたユーザとして識別されることを示し、
    前記方法は、前記生成されたインジケーションが、前記ユーザが登録されたユーザとして識別されることを示すことに応答して、
    前記１つまたはそれを上回るディスプレイを制御し、前記画像光を前記ユーザの片眼または両眼に出力することであって、前記画像光は、少なくとも部分的に、前記登録されたユーザと関連付けられる設定に基づいて、前記異なる波面発散量を有する、こと
    を含むように、前記１つまたはそれを上回るディスプレイを制御し、画像光を前記ユーザの片眼または両眼に出力することを実施することを含む、
    請求項１５に記載の非一過性コンピュータ可読媒体。
  18. 前記生成されたインジケーションは、前記ユーザが登録されたユーザとして識別されないことを示し、
    前記方法は、前記生成されたインジケーションが、前記ユーザが登録されたユーザとして識別されないことを示すことに応答して、
    前記１つまたはそれを上回るディスプレイを制御し、前記画像光を前記ユーザの片眼または両眼に出力することであって、前記画像光は、少なくとも部分的に、デフォルト設定のセットに基づいて、前記異なる波面発散量を有する、こと
    を含むように、前記１つまたはそれを上回るディスプレイを制御し、前記画像光を前記ユーザの片眼または両眼に出力することを実施することを含む、
    請求項１５に記載の非一過性コンピュータ可読媒体。
  19. 前記生成されたインジケーションは、前記ユーザが登録されたユーザとして識別されないことを示し、
    前記方法は、前記生成されたインジケーションが、前記ユーザが登録されたユーザとして識別されないことを示すことに応答して、
    １つまたはそれを上回る動作のセットを実施し、前記ユーザを虹彩認証にエンロールするか、または、前記ユーザのための較正プロファイルを生成することと、
    少なくとも部分的に、１つまたはそれを上回る動作のセットを実施することを通して取得される情報に基づいて、前記ユーザのための設定を決定することと
    を含み、
    前記１つまたはそれを上回るディスプレイを制御し、画像光を前記ユーザの片眼または両眼に出力することは、前記１つまたはそれを上回るディスプレイを制御し、前記画像光を前記ユーザの片眼または両眼に出力することであって、前記画像光は、少なくとも部分的に、前記ユーザのために決定された設定に基づいて、前記異なる波面発散量を有する、ことを含む、
    請求項１５に記載の非一過性コンピュータ可読媒体。
  20. 前記方法は、
    前記１つまたはそれを上回るディスプレイを制御し、仮想標的を前記ユーザに提示することを含み、
    前記１つまたはそれを上回るカメラによって捕捉されるような前記ユーザの片眼または両眼の１つまたはそれを上回る画像を取得することは、前記仮想標的が前記ユーザに提示されている間、前記１つまたはそれを上回るカメラによって捕捉されるような前記ユーザの片眼または両眼の１つまたはそれを上回る画像を取得することを含む、
    請求項１５に記載の非一過性コンピュータ可読媒体。
JP2022534697A 2019-12-09 2020-12-09 ユーザ識別に基づいて頭部搭載型ディスプレイシステムを動作させるためのシステムおよび方法 Pending JP2023504207A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962945517P 2019-12-09 2019-12-09
US62/945,517 2019-12-09
PCT/US2020/064133 WO2021119212A1 (en) 2019-12-09 2020-12-09 Systems and methods for operating a head-mounted display system based on user identity

Publications (2)

Publication Number Publication Date
JP2023504207A true JP2023504207A (ja) 2023-02-01
JPWO2021119212A5 JPWO2021119212A5 (ja) 2023-12-15

Family

ID=76209657

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022534697A Pending JP2023504207A (ja) 2019-12-09 2020-12-09 ユーザ識別に基づいて頭部搭載型ディスプレイシステムを動作させるためのシステムおよび方法

Country Status (5)

Country Link
US (4) US11269181B2 (ja)
EP (1) EP4073689A4 (ja)
JP (1) JP2023504207A (ja)
CN (1) CN115053270A (ja)
WO (1) WO2021119212A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7131118B2 (ja) * 2018-06-22 2022-09-06 富士通株式会社 認証装置、認証プログラム、認証方法
US11269181B2 (en) * 2019-12-09 2022-03-08 Magic Leap, Inc. Systems and methods for operating a head-mounted display system based on user identity
US11982816B1 (en) * 2021-03-23 2024-05-14 Apple Inc. Wearable devices with adjustable fit
US20230004220A1 (en) * 2021-07-01 2023-01-05 Meta Platforms Technologies, Llc Dynamic uniformity compensation for foveated imaging in virtual reality and augmented reality headsets
CN113837993B (zh) * 2021-07-29 2024-01-30 天津中科智能识别产业技术研究院有限公司 轻量级虹膜图像分割方法、装置、电子设备及存储介质
US20230239707A1 (en) * 2022-01-24 2023-07-27 Qualcomm Incorporated Wireless communication techniques employing beamforming based on spatial relationship to human tissue
JP2023172025A (ja) * 2022-05-23 2023-12-06 船井電機株式会社 ヘッドマウントディスプレイ装置およびヘッドマウントディスプレイの表示方法
US20240078732A1 (en) * 2022-09-07 2024-03-07 Qualcomm Incorporated Avatar facial expressions based on semantical context
US20240121377A1 (en) * 2022-10-06 2024-04-11 Blink Technologies Inc. Multi-user gaze-tracking for personalized rendering from a 3d display
JP2024058783A (ja) * 2022-10-17 2024-04-30 キヤノン株式会社 制御装置
WO2024138025A1 (en) * 2022-12-22 2024-06-27 Apple Inc. Gesture-initiated eye enrollment

Family Cites Families (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4852988A (en) 1988-09-12 1989-08-01 Applied Science Laboratories Visor and camera providing a parallax-free field-of-view image for a head-mounted eye movement measurement system
US6847336B1 (en) 1996-10-02 2005-01-25 Jerome H. Lemelson Selectively controllable heads-up display system
US6433760B1 (en) 1999-01-14 2002-08-13 University Of Central Florida Head mounted display with eyetracking capability
US6491391B1 (en) 1999-07-02 2002-12-10 E-Vision Llc System, apparatus, and method for reducing birefringence
CA2316473A1 (en) 1999-07-28 2001-01-28 Steve Mann Covert headworn information display or data display or viewfinder
CA2362895A1 (en) 2001-06-26 2002-12-26 Steve Mann Smart sunglasses or computer information display built into eyewear having ordinary appearance, possibly with sight license
DE10132872B4 (de) 2001-07-06 2018-10-11 Volkswagen Ag Kopfmontiertes optisches Durchsichtssystem
US20030030597A1 (en) 2001-08-13 2003-02-13 Geist Richard Edwin Virtual display apparatus for mobile activities
CA2388766A1 (en) 2002-06-17 2003-12-17 Steve Mann Eyeglass frames based computer display or eyeglasses with operationally, actually, or computationally, transparent frames
US6943754B2 (en) 2002-09-27 2005-09-13 The Boeing Company Gaze tracking system, eye-tracking assembly and an associated method of calibration
US7347551B2 (en) 2003-02-13 2008-03-25 Fergason Patent Properties, Llc Optical system for monitoring eye movement
US7500747B2 (en) 2003-10-09 2009-03-10 Ipventure, Inc. Eyeglasses with electrical components
ZA200608191B (en) 2004-04-01 2008-07-30 William C Torch Biosensors, communicators, and controllers monitoring eye movement and methods for using them
US8696113B2 (en) 2005-10-07 2014-04-15 Percept Technologies Inc. Enhanced optical and perceptual digital eyewear
US20070081123A1 (en) 2005-10-07 2007-04-12 Lewis Scott W Digital eyewear
US20110213664A1 (en) 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US8890946B2 (en) 2010-03-01 2014-11-18 Eyefluence, Inc. Systems and methods for spatially controlled scene illumination
US8531355B2 (en) 2010-07-23 2013-09-10 Gregory A. Maltz Unitized, vision-controlled, wireless eyeglass transceiver
US9292973B2 (en) 2010-11-08 2016-03-22 Microsoft Technology Licensing, Llc Automatic variable virtual focus for augmented reality displays
JP6144681B2 (ja) * 2011-08-30 2017-06-07 マイクロソフト テクノロジー ライセンシング，エルエルシー 虹彩スキャン・プロファイリング機能を有する頭部装着ディスプレイ
US8929589B2 (en) 2011-11-07 2015-01-06 Eyefluence, Inc. Systems and methods for high-resolution gaze tracking
US8611015B2 (en) 2011-11-22 2013-12-17 Google Inc. User interface
US8235529B1 (en) 2011-11-30 2012-08-07 Google Inc. Unlocking a screen using eye tracking information
US10013053B2 (en) 2012-01-04 2018-07-03 Tobii Ab System for gaze interaction
US8638498B2 (en) 2012-01-04 2014-01-28 David D. Bohn Eyebox adjustment for interpupillary distance
US9274338B2 (en) 2012-03-21 2016-03-01 Microsoft Technology Licensing, Llc Increasing field of view of reflective waveguide
US8989535B2 (en) 2012-06-04 2015-03-24 Microsoft Technology Licensing, Llc Multiple waveguide imaging structure
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
CN104903818B (zh) 2012-12-06 2018-12-14 谷歌有限责任公司 眼睛跟踪佩戴式设备和使用方法
WO2014106823A2 (en) 2013-01-03 2014-07-10 Meta Company Extramissive spatial imaging digital eye glass apparatuses, methods and systems for virtual or augmediated vision, manipulation, creation, or interaction with objects, materials, or other entities
US20140195918A1 (en) 2013-01-07 2014-07-10 Steven Friedlander Eye tracking user interface
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
KR102270674B1 (ko) * 2013-09-30 2021-07-01 삼성전자주식회사 생체인식 카메라
AU2014354673B2 (en) 2013-11-27 2019-04-11 Magic Leap, Inc. Virtual and augmented reality systems and methods
US9615742B2 (en) * 2014-01-21 2017-04-11 Osterhout Group, Inc. Eye imaging in head worn computing
US9502414B2 (en) 2015-02-26 2016-11-22 Qualcomm Incorporated Adjacent device isolation
AU2016233280B2 (en) * 2015-03-16 2021-03-25 Magic Leap, Inc. Augmented reality pulse oximetry
US9811729B2 (en) 2015-05-12 2017-11-07 Ut-Battelle, Llc Iris recognition via plenoptic imaging
US20160358181A1 (en) 2015-05-14 2016-12-08 Magic Leap, Inc. Augmented reality systems and methods for tracking biometric data
CN108135469B (zh) 2015-08-21 2021-03-09 奇跃公司 使用眼睛姿态测量的眼睑形状估计
CA2995756A1 (en) 2015-08-21 2017-03-02 Magic Leap, Inc. Eyelid shape estimation
JP6944441B2 (ja) 2015-09-25 2021-10-06 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． ３次元再構成において構造特徴を検出し、組み合わせるための方法およびシステム
AU2016340222B2 (en) 2015-10-16 2021-07-01 Magic Leap, Inc. Eye pose identification using eye features
CN113220116A (zh) 2015-10-20 2021-08-06 奇跃公司 改变可穿戴设备用户输入模式的***和方法及可穿戴***
KR102567431B1 (ko) 2016-01-19 2023-08-14 매직 립, 인코포레이티드 눈 이미지 수집, 선택 및 결합
CA3017930A1 (en) * 2016-03-25 2017-09-28 Magic Leap, Inc. Virtual and augmented reality systems and methods
KR102379691B1 (ko) 2016-04-08 2022-03-25 매직 립, 인코포레이티드 가변 포커스 렌즈 엘리먼트들을 가진 증강 현실 시스템들 및 방법들
US10063560B2 (en) 2016-04-29 2018-08-28 Microsoft Technology Licensing, Llc Gaze-based authentication
EP4105921A1 (en) * 2016-06-20 2022-12-21 Magic Leap, Inc. Augmented reality display system for evaluation and modification of neurological conditions, including visual processing and perception conditions
KR102402467B1 (ko) 2016-10-05 2022-05-25 매직 립, 인코포레이티드 혼합 현실 교정을 위한 안구주위 테스트
CN106980983A (zh) 2017-02-23 2017-07-25 阿里巴巴集团控股有限公司 基于虚拟现实场景的业务认证方法及装置
KR102528488B1 (ko) 2017-03-24 2023-05-02 매직 립, 인코포레이티드 홍채 코드들의 축적 및 신뢰도 할당
WO2018183390A1 (en) * 2017-03-28 2018-10-04 Magic Leap, Inc. Augmeted reality system with spatialized audio tied to user manipulated virtual object
CN117762256A (zh) 2017-05-31 2024-03-26 奇跃公司 眼睛跟踪校准技术
IL300301B1 (en) 2017-06-12 2024-04-01 Magic Leap Inc Augmented reality display with multi-component adaptive lenses to change plane depths
EP3740847B1 (en) 2018-01-17 2024-03-13 Magic Leap, Inc. Display systems and methods for determining registration between a display and a user's eyes
KR20200110367A (ko) 2018-01-17 2020-09-23 매직 립, 인코포레이티드 디스플레이 시스템들에서의 눈 회전 중심 결정, 깊이 평면 선택, 및 렌더 카메라 포지셔닝
US11067805B2 (en) 2018-04-19 2021-07-20 Magic Leap, Inc. Systems and methods for operating a display system based on user perceptibility
EP3827426A4 (en) 2018-07-24 2022-07-27 Magic Leap, Inc. AD SYSTEMS AND PROCEDURES FOR DETERMINING A REGISTRATION BETWEEN AN AD AND A USER'S EYES
WO2020028867A1 (en) 2018-08-03 2020-02-06 Magic Leap, Inc. Depth plane selection for multi-depth plane display systems by user categorization
US11269181B2 (en) * 2019-12-09 2022-03-08 Magic Leap, Inc. Systems and methods for operating a head-mounted display system based on user identity

Also Published As

Publication number Publication date
US20230139308A1 (en) 2023-05-04
US11269181B2 (en) 2022-03-08
US20210173206A1 (en) 2021-06-10
US11789262B2 (en) 2023-10-17
US11592665B2 (en) 2023-02-28
US20220146823A1 (en) 2022-05-12
WO2021119212A1 (en) 2021-06-17
CN115053270A (zh) 2022-09-13
EP4073689A4 (en) 2022-12-14
US20230418054A1 (en) 2023-12-28
EP4073689A1 (en) 2022-10-19

Similar Documents

Publication Publication Date Title
JP7443332B2 (ja) ユーザカテゴリ化による多深度平面ディスプレイシステムのための深度平面選択
JP7488405B2 (ja) 眼の回転中心決定、深度平面選択、およびディスプレイシステム内のレンダリングカメラ位置付け
US11880043B2 (en) Display systems and methods for determining registration between display and eyes of user
US11880033B2 (en) Display systems and methods for determining registration between a display and a user's eyes
US11789262B2 (en) Systems and methods for operating a head-mounted display system based on user identity
JP2022540675A (ja) １つ以上の眼追跡カメラを用いた眼回転中心の決定

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231207

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231207

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20231207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240304

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240524