JP2022097588A - 仮想および拡張現実システムおよび方法 - Google Patents

仮想および拡張現実システムおよび方法 Download PDF

Info

Publication number
JP2022097588A
JP2022097588A JP2022074389A JP2022074389A JP2022097588A JP 2022097588 A JP2022097588 A JP 2022097588A JP 2022074389 A JP2022074389 A JP 2022074389A JP 2022074389 A JP2022074389 A JP 2022074389A JP 2022097588 A JP2022097588 A JP 2022097588A
Authority
JP
Japan
Prior art keywords
depth
depth plane
display system
user
waveguide
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022074389A
Other languages
English (en)
Other versions
JP7398507B2 (ja
Inventor
ハドソン ウェルチ ウィリアム
Hudson Welch William
エム. グレコ ポール
M Greco Paul
アボビッツ ロニー
Abovitz Rony
ムンク ヨナタン
Munk Yonatan
エー. ミラー サミュエル
A Miller Samuel
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of JP2022097588A publication Critical patent/JP2022097588A/ja
Priority to JP2023121586A priority Critical patent/JP2023129621A/ja
Application granted granted Critical
Publication of JP7398507B2 publication Critical patent/JP7398507B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/0001Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
    • G02B6/0011Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form
    • G02B6/0075Arrangements of multiple light guides
    • G02B6/0076Stacked arrangements of multiple light guides of the same or different cross-sectional area
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0127Head-up displays characterised by optical features comprising devices increasing the depth of field
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0185Displaying image at variable distance

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Mechanical Optical Scanning Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】好適な仮想および拡張現実システムおよび方法を提供すること。【解決手段】例えば拡張現実ディスプレイシステムを使用して、仮想オブジェクトを限定数の深度平面上に提示するための方法・システムが開示される。深度平面のうちの最も遠いものは光学無限遠の不整合公差内にある。ディスプレイシステムはコンテンツがユーザが凝視している深度平面上に表示されるように、コンテンツがアクティブに表示される深度平面を切り替え得る。凝視追跡における誤差の影響は部分的に重複する深度平面を使用して対処される。ユーザが凝視している凝視深度が判定され、ディスプレイシステムは、仮想オブジェクトが提示される選択された深度平面の選択を調節するかどうかを判定する。判定は凝視深度が隣接する深度平面の深度重複領域内にあるかどうかに基づき得る。ディスプレイシステムは凝視深度が重複領域外にあるか否かに応じて、ティブ深度平面を切り替え得る。【選択図】図1

Description

(優先権主張)
本願は、2016年3月25日に出願された米国仮出願第62/313,698号、2016年8月22日に出願された米国特許出願第62/378,109号の35 U.S.C. § 119(e)の下での優先権の利益を主張するものである。これらの優先権ドキュメントの各々の開示は、参照により本明細書中に援用される。
(関連出願に対する相互参照)
本願は、2014年11月27日に出願された米国出願第14/555,585号、2015年4月18日に出願された米国出願第14/690,401号、2014年3月14日に出願された米国出願第14/212,961号、2014年7月14日に出願された米国出願第14/331,218号の各々の全体を参照により援用する。
本開示は、拡張現実イメージングおよび可視化システムを含む、ディスプレイシステムに関する。
現代のコンピューティングおよびディスプレイ技術は、いわゆる「仮想現実」または「拡張現実」体験のためのシステムの開発を促進しており、デジタル的に再現された画像またはその一部が、現実であるように見える、またはそのように知覚され得る様式でユーザに提示される。仮想現実または「VR」シナリオは、典型的には、他の実際の実世界の視覚的入力に対する透明性を伴わずに、デジタルまたは仮想画像情報の提示を伴い、拡張現実または「AR」シナリオは、典型的には、ユーザの周囲の実際の世界の可視化に対する拡張としてのデジタルまたは仮想画像情報の提示を伴う。複合現実または「MR」シナリオは、一種のARシナリオであって、典型的には、自然世界の中に統合され、それに応答する、仮想オブジェクトを伴う。例えば、MRシナリオは、実世界内のオブジェクトによってブロックされて見える、または別様にそれと相互作用するように知覚される、AR画像コンテンツを含んでもよい。
図1を参照すると、拡張現実場面10が、描写されている。AR技術のユーザには、背景における人々、木々、建物を特徴とする実世界公園状設定20と、コンクリートプラットフォーム30とが見える。ユーザはまた、実世界プラットフォーム30上に立っているロボット像40と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ50等の「仮想コンテンツ」を「見ている」と知覚する。これらの要素50、40は、実世界には存在しないという点で、「仮想」である。ヒトの視知覚系は、複雑であって、他の仮想または実世界画像要素間における仮想画像要素の快適で、自然のような感覚で、かつ豊かな提示を促進する、AR技術の生成は、困難である。
本明細書に開示されるシステムおよび方法は、ARまたはVR技術に関連する種々の課題に対処する。
いくつかの実施形態では、ディスプレイシステムは、過焦点距離を有する、頭部搭載型ディスプレイを備える。頭部搭載型ディスプレイは、それぞれ、屈折力および関連付けられた深度平面を有する、1つまたはそれを上回る導波管を備える。1つまたはそれを上回る導波管は、光を視認者に投影し、画像コンテンツを関連付けられた深度平面上に表示するように構成される。深度平面はそれぞれ、光学無限遠未満にある。
いくつかの他の実施形態では、ディスプレイシステムは、頭部搭載型ディスプレイを備える。頭部搭載型ディスプレイは、それぞれ、屈折力および関連付けられた深度平面を有する、1つまたはそれを上回る導波管を備える。1つまたはそれを上回る導波管は、光を視認者に投影し、画像コンテンツを関連付けられた深度平面上に表示するように構成される。深度平面のうちの最も遠いものは、光学無限遠の約0.33ジオプタ以内にある。
さらに他の実施形態では、ディスプレイシステムは、頭部搭載型ディスプレイを備える。頭部搭載型ディスプレイは、導波管のスタックを形成する複数の導波管を備える。各導波管は、屈折力および関連付けられた深度平面を有し、導波管は、光を視認者に投影し、画像コンテンツを関連付けられた深度平面上に表示するように構成される。深度平面のうちの最も遠いものは、光学無限遠の不整合公差内にある。不整合公差は、約0.5ジオプタである。
いくつかの他の実施形態では、画像コンテンツを頭部搭載型ディスプレイ上に表示するための方法が、提供される。本方法は、画像コンテンツに関する遠近調節(accommodation)-輻輳・開散(vergence)運動不整合が閾値を超えるかどうかを判定するステップと、遠近調節-輻輳・開散運動不整合が閾値を超える場合、画像コンテンツを修正するステップとを含む。
さらに他の実施形態では、画像コンテンツをユーザによって装着される頭部搭載型ディスプレイ上に表示するための方法が、提供される。本方法は、ユーザにおける眼精疲労の存在を判定するステップと、眼精疲労が存在すると判定される場合、画像コンテンツを修正するステップとを含む。
いくつかの実施形態では、ウェアラブル頭部搭載型ディスプレイシステムは、ユーザによって装着されるように構成される、フレームを備える。ディスプレイは、フレームに取り付けられる。ディスプレイシステムはまた、ユーザの頭部の片側から頭部の他側まで延在するように構成される、支持構造を備える。支持構造は、フレームに機械的に結合される。
いくつかの実施形態では、ディスプレイシステムは、ディスプレイデバイスと、1つまたはそれを上回るプロセッサと、コンピュータ記憶媒体とを備える。ディスプレイシステムは、凝視深度を判定するステップであって、凝視深度は、ユーザの眼が凝視している深度である、ステップを含む、動作を実施する。動作はまた、仮想オブジェクトがユーザの眼に提示されている、選択された深度平面の選択を調節するかどうかを判定するステップが、凝視深度が、(1)選択された深度平面によってのみ包含される、または(2)選択された深度平面および隣接する深度平面の両方によって包含される、深度平面範囲内にあるかどうかに基づいて判定されることも含む。仮想オブジェクトの提示は、選択された深度平面の選択を調節するかどうかを判定するステップにおいて行われる判定に基づいて、選択された特定の深度平面において生じる。
いくつかの実施形態では、ディスプレイシステムは、ディスプレイデバイスと、1つまたはそれを上回るプロセッサと、コンピュータ記憶媒体とを備える。ディスプレイシステムは、凝視深度を判定するステップであって、凝視深度は、ユーザの眼が凝視している深度である、ステップを含む、動作を実施する。仮想オブジェクがユーザに提示されるべき複数の深度平面の特定の深度平面が、判定され、判定は、凝視深度および深度平面のそれぞれによって包含される深度平面範囲に基づき、隣接する深度平面は両方とも、深度重複領域を包含する。仮想オブジェクトの提示は、特定の深度平面において生じる。
いくつかの実施形態では、本方法は、凝視深度を判定するステップであって、凝視深度は、ユーザの眼が凝視している深度である、ステップを含む。仮想オブジェクトがユーザの眼に提示されている選択された深度平面の選択を調節するかどうかは、凝視深度が、(1)選択された深度平面によってのみ包含される、または(2)選択された深度平面および隣接する深度平面の両方によって包含される、深度平面範囲内にあるかどうか基づいて判定される。仮想オブジェクトの提示は、選択された深度平面の選択を調節するかどうかの判定に基づいて、選択された特定の深度平面において生じる。
いくつかの実施形態では、ディスプレイシステムは、ディスプレイデバイスと、1つまたはそれを上回るプロセッサと、コンピュータ記憶媒体とを備える。ディスプレイシステムは、ユーザが凝視している3次元場所を示すユーザの凝視点を判定するステップを含む、動作を実施する。動作はまた、仮想オブジェクトが提示されるべき深度平面を切り替えるかどうかを判定するステップを含み、判定は、少なくとも部分的に、判定された凝視点の深度に基づく。仮想オブジェクトが提示されるべき深度平面は、切り替えられ、深度平面を切り替えるステップは、ユーザ知覚限定イベントによってトリガされる。
実施形態の付加的実施例が、以下に提供される。
実施例1:ディスプレイシステムであって、
頭部搭載型ディスプレイであって、
1つまたはそれを上回る導波管であって、各導波管は、、屈折力を有し、コンテンツを関連付けられた深度平面上に提供するように構成されており、前記1つまたはそれを上回る導波管は、光を視認者に投影し、画像コンテンツを1つまたはそれを上回る導波管の関連付けられた深度平面上に表示するように構成される、1つまたはそれを上回る導波管
を備え、深度平面のそれぞれは、光学無限遠未満にある、頭部搭載型ディスプレイ
を備える、ディスプレイシステム。
実施例2:深度平面のうちの最も遠いものは、光学無限遠の約0.50ジオプタ以内にある、請求項1に記載のディスプレイシステム。
実施例3:深度平面のうちの最も遠いものは、光学無限遠の約0.33ジオプタ以内にある、請求項2に記載のディスプレイシステム。
実施例4:深度平面のうちの最も遠いものは、光学無限遠の約0.25ジオプタ以内にある、請求項3に記載のディスプレイシステム。
実施例5:深度平面は、約0.7ジオプタ以下だけ分離される、請求項1-4のいずれかに記載のディスプレイシステム。
実施例6:深度平面は、約0.5ジオプタ以下だけ分離される、請求項1-6のいずれかに記載のディスプレイシステム。
実施例7:ディスプレイは、画像情報を2つのみの深度平面上に表示するように構成され、2つの深度平面はそれぞれ、光学無限遠未満にある、請求項1-7のいずれかに記載のディスプレイシステム。
実施例8:ディスプレイは、画像情報を1つのみの深度平面上に表示するように構成され、1つの深度平面は、光学無限遠未満にある、請求項1に記載のディスプレイシステム。
実施例9:ディスプレイシステムであって、
頭部搭載型ディスプレイであって、
1つまたはそれを上回る導波管であって、各導波管は、屈折力および関連付けられた深度平面を有し、前記1つまたはそれを上回る導波管は、光を視認者に投影し、画像コンテンツを関連付けられた深度平面上に表示するように構成される、1つまたはそれを上回る導波管を備え、
深度平面のうちの最も遠いものは、光学無限遠の約0.33ジオプタ以内にある、
頭部搭載型ディスプレイ
を備える、ディスプレイシステム。
実施例10:深度平面のうちの次に最も遠いものは、深度平面のうちの最も遠いものの約0.66ジオプタ以内にある、請求項10に記載のディスプレイシステム。
実施例11:深度平面の総数は、2つである、請求項10-11のいずれかに記載のディスプレイシステム。
実施例12:深度平面の総数は、2つを上回り、直近深度平面間の分離は、約0.66ジオプタ未満である、請求項10-12のいずれかに記載のディスプレイシステム。
実施例13:深度平面の総数は、4つ未満である、請求項10-13のいずれかに記載のディスプレイシステム。
実施例14:1つまたはそれを上回る導波管は、導波管のスタックを形成し、各導波管は、入射光を再指向し、導波管の内側の全内部反射によって伝搬させるように構成される、内部結合光学要素を備える、請求項10-13のいずれかに記載のディスプレイシステム。
実施例15:各導波管の内部結合光学要素は、単一原色に対応する波長を有する光を選択的に再指向するように構成される、請求項15に記載のディスプレイシステム。
実施例16:上下平面図に見られるように、各導波管の内部結合光学要素は、他の導波管の内部結合光学要素から側方に離間される、請求項15に記載のディスプレイシステム。
実施例17:各導波管はさらに、各導波管内を伝搬する光を導波管から再指向するように構成される、外部結合光学要素を備える、請求項15-17のいずれかに記載のディスプレイシステム。
実施例18:画像コンテンツを導波管の内部結合光学要素に指向するように構成される、光プロジェクタシステムをさらに備え、光プロジェクタシステムは、
光エミッタと、
空間光変調器と、
を備える、請求項15-18のいずれかに記載のディスプレイシステム。
実施例19:各導波管は、単一深度平面のみを作成するための屈折力を有する、請求項10-19のいずれかに記載のディスプレイシステム。
実施例20:ディスプレイシステムであって、
頭部搭載型ディスプレイであって、
導波管のスタックを形成する複数の導波管であって、各導波管は、屈折力を有し、コンテンツを関連付けられた深度平面上に提供するように構成され、導波管は、光を視認者に投影し、画像コンテンツを関連付けられた深度平面上に表示するように構成される、複数の導波管
を備え、深度平面のうちの最も遠いものは、光学無限遠の不整合公差内にあって、不整合公差は、約0.5ジオプタである、頭部搭載型ディスプレイ
を備える、ディスプレイシステム。
実施例21:不整合公差は、約0.33ジオプタである、請求項21に記載のディスプレイシステム。
実施例22:スタックの関連付けられた深度平面と最近傍の関連付けられた深度平面との間の分離は、不整合公差の約2倍またはそれ未満である、請求項21-22のいずれかに記載のディスプレイシステム。
実施例23:深度平面の総数は、4つまたはそれ未満である、請求項21-23のいずれかに記載のディスプレイシステム。
実施例24:深度平面の総数は、2つである、請求項24に記載のディスプレイシステム。
実施例25:画像コンテンツを頭部搭載型ディスプレイ上に表示するための方法であって、前記方法は、
画像コンテンツに関する遠近調節-輻輳・開散運動不整合が閾値を超えるかどうかを判定するステップと、
遠近調節-輻輳・開散運動不整合が閾値を超える場合、画像コンテンツを修正するステップと
を含む、方法。
実施例26:遠近調節-輻輳・開散運動不整合閾値は、0.5ジオプタまたはそれ未満である、請求項26に記載の方法。
実施例27:遠近調節-輻輳・開散運動不整合閾値は、0.33ジオプタまたはそれ未満である、請求項27に記載の方法。
実施例28:画像コンテンツを修正するステップは、画像コンテンツをフェーディングさせるステップを含む、請求項26-28のいずれかに記載の方法。
実施例29:画像コンテンツをフェーディングさせるステップは、画像コンテンツの分解能を低減させるステップを含む、請求項29に記載の方法。
実施例30:画像コンテンツの分解能の低減は、遠近調節-輻輳・開散運動不整合の増加に伴って増加する、請求項30に記載の方法。
実施例31:画像コンテンツを修正するステップは、画像コンテンツを表示しないステップを含む、請求項26-31のいずれかに記載の方法。
実施例32:ディスプレイシステムであって、
プロセッサと、
命令を記憶するコンピュータ記憶媒体であって、前記命令は、ディスプレイシステムによって実行されると、ディスプレイシステムに、
請求項26-32のいずれかに記載の方法を含む動作を実施させる、コンピュータ記憶媒体
を備える、ディスプレイシステム。
実施例33:ディスプレイシステムは、画像情報を1つのみの深度平面上に表示するように構成され、1つの深度平面は、光学無限遠未満にある、請求項33に記載のディスプレイシステム。
実施例34:ディスプレイシステムは、画像情報を2つのみの深度平面上に表示するように構成され、2つの深度平面はそれぞれ、光学無限遠未満にある、請求項33に記載のディスプレイシステム。
実施例35:画像コンテンツをユーザによって装着される頭部搭載型ディスプレイ上に表示するための方法であって、前記方法は、
ユーザにおける眼精疲労の存在を判定するステップと、
眼精疲労が存在すると判定される場合、画像コンテンツを修正するステップと
を含む、方法。
実施例36:眼精疲労の存在を判定するステップは、ユーザの片眼または両眼を撮像するステップを含む、請求項36に記載の方法。
実施例37:眼精疲労の存在を判定するステップは、散瞳、収斂動揺、および瞳孔動揺のうちの1つまたはそれを上回るものを検出するステップを含む、請求項36-37のいずれかに記載の方法。
実施例38:眼精疲労の存在を判定するステップは、ガルバニック皮膚応答を測定するステップを含む、請求項36-38のいずれかに記載の方法。
実施例39:眼精疲労の存在を判定するステップは、0.25ジオプタを上回る遠近調節-輻輳・開散運動不整合を有する画像コンテンツへの暴露の持続時間を検出するステップを含む、請求項36-39のいずれかに記載の方法。
実施例40:遠近調節-輻輳・開散運動不整合は、0.33ジオプタを上回る、請求項40に記載の方法。
実施例41:遠近調節-輻輳・開散運動不整合は、0.50ジオプタを上回る、請求項41に記載の方法。
実施例42:画像コンテンツを修正するステップは、
画像コンテンツの特徴のサイズを増加させるステップと、
画像コンテンツの分解能を低減させるステップと、
画像コンテンツを画像コンテンツのために元々規定されたものより視認者から遠い深度平面上に表示するステップと
のうちの1つまたはそれを上回るものを含む、請求項36-42のいずれかに記載の方法。
実施例43:画像コンテンツを修正するステップは、眼精疲労の存在がユーザにおいてもはや検出されなくなるまで実施される、請求項36-43のいずれかに記載の方法。
実施例44:画像コンテンツを修正するステップは、設定持続時間にわたって実施される、請求項36-44のいずれかに記載の方法。
実施例45:ディスプレイシステムであって、プロセッサと、ディスプレイシステムによって実行されると、ディスプレイシステムに、請求項36-0のいずれかに記載の方法を実施させる命令を記憶する、コンピュータ記憶媒体とを備える、ディスプレイシステム。
実施例46:ディスプレイシステムは、画像情報を1つのみの深度平面上に表示するように構成され、1つの深度平面は、光学無限遠未満にある、請求項45に記載のディスプレイシステム。
実施例47:ディスプレイシステムは、画像情報を2つのみの深度平面上に表示するように構成され、2つの深度平面はそれぞれ、光学無限遠未満にある、請求項45に記載のディスプレイシステム。
実施例48:ウェアラブル頭部搭載型ディスプレイシステムであって、
ユーザによって装着されるように構成されるフレームと、
フレームに取り付けられるディスプレイと、
ユーザの頭部の片側から頭部の他側まで延在するように構成される支持構造と
を備え、支持構造は、フレームに機械的に結合される、ウェアラブル頭部搭載型ディスプレイシステム。
実施例49:支持構造に取り付けられ、音をユーザの耳の中に指向するように構成される、音変換器をさらに備える、請求項48に記載のウェアラブル頭部搭載型ディスプレイシステム。
実施例50:音変換器は、スピーカである、請求項49に記載のウェアラブル頭部搭載型ディスプレイシステム。
実施例51:支持構造は、頭部の片側から頭部の他側まで延在するように構成される、バンドである、請求項48-50のいずれかに記載のウェアラブル頭部搭載型ディスプレイシステム。
実施例52:バンドは、ユーザの眼および耳と交差する平面に対して35°~55°の角度でユーザの頭部を横切る、請求項51に記載のウェアラブル頭部搭載型ディスプレイシステム。
実施例53:バンドは、ユーザの眼および耳と交差する平面に対して80°~100°の角度でユーザの頭部を横切る、請求項51に記載のウェアラブル頭部搭載型ディスプレイシステム。
実施例54:ユーザの眼および第1および第2の耳と交差する平面に対するバンドの角度は、調節可能である、請求項52-53のいずれかに記載のウェアラブル頭部搭載型ディスプレイシステム。
実施例55:
導波管であって、
入射光の性質に基づいて、入射光を導波管の中に選択的に内部結合するように構成される、内部結合光学要素と、
導波管の中に内部結合される光を外部結合することによって、光を視認者の眼に投影するように構成される、外部結合光学要素と
を備える、導波管
をさらに備える、請求項48-54のいずれかに記載のウェアラブル頭部搭載型ディスプレイシステム。
実施例56:外部結合光学要素は、屈折力を有し、光を眼に投影し、画像コンテンツを関連付けられた深度平面上に表示するように構成され、関連付けられた深度平面は、光学無限遠未満にある、請求項55に記載のウェアラブル頭部搭載型ディスプレイシステム。
実施例57:導波管は、導波管のスタックの一部であり、導波管のスタックのうちの少なくともいくつかの導波管は、少なくともいくつかの導波管毎に、出射光の異なる発散を提供するように、異なる関連付けられた深度平面と、異なる屈折力を有する外部結合光学要素とを備える、請求項56に記載のウェアラブル頭部搭載型ディスプレイシステム。
実施例58:ディスプレイシステムであって、
仮想オブジェクトを複数の深度平面においてユーザに提示するように構成される、ディスプレイデバイスと、
1つまたはそれを上回るプロセッサと、
命令を記憶するコンピュータ記憶媒体であって、前記命令は、ディスプレイシステムによって実行されると、ディスプレイシステムに、
凝視深度を判定するステップであって、凝視深度は、ユーザの眼が凝視している深度である、ステップと、
凝視深度が、
(1)選択された深度平面によってのみ包含される、または
(2)選択された深度平面および隣接する深度平面の両方によって包含される、
深度平面範囲内にあるかどうかに基づいて、仮想オブジェクトがユーザの眼に提示されている選択された深度平面の選択を調節するかどうかを判定するステップと、
選択された深度平面の選択を調節するかどうかを判定するステップに基づいて、仮想オブジェクトの提示を選択された特定の深度平面に生じさせるステップと
を含む動作を実施させる、コンピュータ記憶媒体と
を備える、ディスプレイシステム。
実施例59:凝視深度は、選択された深度平面によってのみ包含される深度平面範囲内にあり、深度平面の選択を調節するかどうかの判定は、負である、請求項58に記載のディスプレイシステム。
実施例60:凝視深度は、選択された深度平面および隣接する深度平面の両方によって包含される深度平面範囲内にあり、深度平面の選択を調節するかどうかの判定は、負である、請求項58に記載のディスプレイシステム。
実施例61:凝視深度は、
(1)選択された深度平面によってのみ包含され、
(2)選択された深度平面および隣接する深度平面の両方によって包含される、深度平面範囲の外の特定の深度平面内にあり、深度平面の選択を調節するかどうかの判定は、正である、請求項58に記載のディスプレイシステム。
実施例62:仮想オブジェクトは、特定の深度平面範囲を包含する深度平面に提示される、請求項61に記載のディスプレイシステム。
実施例63:凝視深度は、隣接する深度平面によってのみ包含される深度平面範囲内にあり、深度平面の選択を調節するかどうかの判定は、正である、請求項58に記載のディスプレイシステム。
実施例64:仮想オブジェクトは、隣接する深度平面に提示される、請求項63に記載のディスプレイシステム。
実施例65:深度平面の選択を調節することの正の判定に応答して、ユーザによる瞬目または衝動性眼球運動の実施の検出に応答して、調節された深度平面における提示をトリガする、請求項58に記載のディスプレイシステム。
実施例66:動作はさらに、
ユーザが凝視している3次元場所を示すユーザの凝視点を判定するステップであって、3次元場所は、凝視深度を示す、ステップを含む、請求項58に記載のディスプレイシステム。
実施例67:ディスプレイシステムであって、
仮想オブジェクトを複数の深度平面においてユーザに提示するように構成される、ディスプレイデバイスと、
1つまたはそれを上回るプロセッサと、
命令を記憶するコンピュータ記憶媒体であって、前記命令は、ディスプレイシステムによって実行されると、ディスプレイシステムに、
凝視深度を判定するステップであって、凝視深度は、ユーザの眼が凝視している深度である、ステップと、
仮想オブジェクトがユーザに提示されるべき複数の深度平面の特定の深度平面を判定するステップであって、判定は、凝視深度および深度平面のそれぞれによって包含される深度平面範囲に基づいており、隣接する深度平面は両方とも、深度重複領域を包含する、ステップと、
仮想オブジェクトの提示を特定の深度平面において生じさせるステップと
を含む動作を実施させる、コンピュータ記憶媒体と
を備える、ディスプレイシステム。
実施例68:深度平面によって包含される深度平面範囲は、凝視されると、仮想オブジェクトの提示を深度平面において生じさせる、ユーザからの深度の範囲を示す、請求項66に記載のディスプレイシステム。
実施例69:特定の深度平面における提示は、仮想オブジェクトを、特定の深度平面の公称焦点深度と関連付けられた遠近調節キューと、仮想オブジェクトと関連付けられた場所情報に基づく輻輳・開散運動キューとともに提示するステップを含む、請求項66に記載のディスプレイシステム。
実施例70:特定の深度平面によって包含される深度平面範囲のサイズは、遠近調節-輻輳・開散運動不整合公差に基づいており、遠近調節-輻輳・開散運動不整合公差は、提示される仮想オブジェクトの輻輳・開散運動キューと関連付けられた知覚される深度と仮想オブジェクトの遠近調節キューと関連付けられた知覚される深度との間の最大差異を示す、請求項69に記載のディスプレイシステム。
実施例71:深度重複領域のサイズは、凝視深度を判定するステップと関連付けられた誤差に基づいている、請求項66に記載のディスプレイシステム。
実施例72:凝視深度は、深度が深度平面範囲内にあるように、特定の深度平面によってのみ包含される、請求項66に記載のディスプレイシステム。
実施例73:凝視深度は、特定の深度平面および隣接する深度平面によって包含される深度重複領域内にあり、特定の深度平面を判定するステップは、ユーザの以前の凝視深度に基づいている、請求項66に記載のディスプレイシステム。
実施例74:動作はさらに、
以前の凝視深度に基づいて、深度重複領域内の1つまたはそれを上回る凝視深度の凝視に先立って、ユーザが特定の深度平面によってのみ包含される凝視深度を凝視したことを識別するステップを含む、請求項73に記載のディスプレイシステム。
実施例75:動作はさらに、
深度重複領域内にあるユーザの後続凝視深度を判定するステップと、
仮想オブジェクトの提示を特定の深度平面において生じさせるステップと
を含む、請求項73に記載のディスプレイシステム。
実施例76:動作はさらに、
隣接する深度平面によって包含され、深度重複領域外にある、ユーザの後続凝視深度を判定するステップと、
仮想オブジェクトの提示を隣接する深度平面において生じさせるステップと
を含む、請求項73に記載のディスプレイシステム。
実施例77:ディスプレイシステムは、ユーザが、(1)瞬目または(2)衝動性眼球運動を実施したことを判定し、それに応答して、提示を隣接する深度平面において生じさせるように構成される、請求項76に記載のディスプレイシステム。
実施例78:少なくとも部分的に、仮想オブジェクトを複数の深度平面においてユーザに提示するように構成される、ディスプレイデバイスによって実装される方法であって、前記方法は、
凝視深度を判定するステップであって、凝視深度は、ユーザの眼が凝視している深度である、ステップと、
凝視深度が、
(1)選択された深度平面によってのみ包含される、または
(2)選択された深度平面および隣接する深度平面の両方によって包含される、
深度平面範囲内にあるかどうかに基づいて、仮想オブジェクトがユーザの眼に提示されている選択された深度平面の選択を調節するかどうかを判定するステップと、
選択された深度平面の選択を調節するかどうかの判定に基づいて、仮想オブジェクトの提示を選択された特定の深度平面において生じさせるステップと
を含む、方法。
実施例79:凝視深度は、
(1)選択された深度平面によってのみ包含され、
(2)選択された深度平面および隣接する深度平面の両方によって包含される、
深度平面範囲の外の特定の深度平面内にあり、深度平面の選択を調節するかどうかの判定は、正である、請求項78に記載の方法。
実施例80:深度平面の選択を調節することの正の判定に応答して、ユーザによる瞬目または衝動性眼球運動の実施の検出に応答して、調節された深度平面における提示をトリガする、請求項78に記載の方法。
実施例81:ディスプレイシステムであって、
仮想オブジェクトを複数の深度平面においてユーザに提示するように構成される、ディスプレイデバイスと、
プロセッサと、
命令を記憶するコンピュータ記憶媒体であって、前記命令は、ディスプレイシステムによって実行されると、ディスプレイシステムに、
ユーザが凝視している3次元場所を示すユーザの凝視点を判定するステップと、
仮想オブジェクトが提示されるべき深度平面を切り替えるかどうかを判定するステップであって、判定は、少なくとも部分的に、判定された凝視点の深度に基づく、ステップと、
仮想オブジェクトが提示されるべき深度平面を切り替えるステップであって、深度平面を切り替えるステップは、ユーザ知覚限定イベントによってトリガされる、ステップと
を含む動作を実施させる、コンピュータ記憶媒体と、
を備える、ディスプレイシステム。
実施例82:動作はさらに、
ユーザの眼を監視し、瞬目または衝動性眼球運動のうちの1つまたはそれを上回るものが実施されることを含む、ユーザ知覚限定イベントを検出するステップを含む、請求項81に記載のディスプレイシステム。
実施例83:ユーザの眼を監視するステップは、ユーザの瞳孔を監視するステップを含み、衝動性眼球運動を検出するステップは、瞳孔の回転速度が閾値速度を超えることに基づく、請求項82に記載のディスプレイシステム。
実施例84:衝動性眼球運動を検出するステップはさらに、ユーザの頭部と関連付けられた移動情報に基づく、請求項83に記載のディスプレイシステム。
実施例85:深度平面を切り替えるステップは、
ユーザによって実施されている瞬目を検出するステップと、
それに応答して、深度平面を切り替えるステップと
を含む、請求項81に記載のディスプレイシステム。
実施例86:深度平面を切り替えるステップは、
ユーザによって実施されている衝動性眼球運動を検出するステップと、
それに応答して、深度平面を切り替えるステップと
を含む、請求項81に記載のディスプレイシステム。
実施例87:深度平面を切り替えるステップは、
閾値時間量後、瞬目または衝動性眼球運動の実施を検出しないことに応答して、深度平面を切り替えるステップを含む、請求項81に記載のディスプレイシステム。
実施例88:深度平面を切り替えるかどうかを判定するステップは、
判定された凝視点の深度が切り替えられた深度平面によって包含されることを判定するステップを含む、請求項81に記載のディスプレイシステム。
実施例89:動作はさらに、
深度平面が切り替えられるべきであることを示す情報を記憶し、ユーザの眼を監視し、ユーザ知覚限定イベントを判定するステップを含む、請求項81に記載のディスプレイシステム。
実施例90:
ディスプレイデバイスは、ディスプレイ面積を形成し、ディスプレイ面積を通して周囲環境のビューを提供する、複数のスタックされた導波管を備え、複数の導波管のうちの少なくともいくつかの導波管は、他の導波管と異なる波面発散を伴う光を出力するように構成され、各導波管は、深度平面と関連付けられ、
仮想オブジェクトを切り替えられた深度平面に提示するステップは、切り替えられた深度平面と関連付けられた導波管が、仮想オブジェクトを形成するための光を出力するステップを含む、
請求項81に記載のディスプレイシステム。
実施例91:少なくとも部分的に、仮想オブジェクトを複数の深度平面においてユーザに提示するように構成される、ディスプレイデバイスによって実装される方法であって、前記方法は、
ユーザが凝視している3次元場所を示すユーザの凝視点を判定するステップと、
仮想オブジェクトが提示されるべき深度平面を切り替えるかどうかを判定するステップであって、判定は、少なくとも部分的に、判定された凝視点の深度に基づく、ステップと、仮想オブジェクトが提示されるべき深度平面を切り替えるステップであって、深度平面を切り替えるステップは、ユーザ知覚限定イベントによってトリガされる、ステップと
を含む、方法。
実施例92:ユーザの眼を監視し、瞬目または衝動性眼球運動のうちの1つまたはそれを上回るものが実施されることを含むユーザ知覚限定イベントを検出するステップをさらに含む、請求項91に記載の方法。
実施例93:ユーザの眼を監視するステップは、ユーザの瞳孔を監視するステップを含み、衝動性眼球運動を検出するステップは、瞳孔の回転速度が閾値速度を超えることに基づく、請求項92に記載の方法。
実施例94:衝動性眼球運動を検出するステップはさらに、ユーザの頭部と関連付けられた移動情報に基づく、請求項93に記載の方法。
実施例95:深度平面を切り替えるステップは、
ユーザによって実施されている瞬目を検出するステップと、
それに応答して、深度平面を切り替えるステップと
を含む、請求項91に記載の方法。
実施例96:深度平面を切り替えるステップは、
ユーザによって実施されている衝動性眼球運動を検出するステップと
それに応答して、深度平面を切り替えるステップと、
を含む、請求項91に記載の方法。
実施例97:ディスプレイシステムであって、前記ディスプレイシステムは、ディスプレイデバイスと、プロセッサと、命令を記憶するコンピュータ記憶媒体とを備え、前記命令は、プロセッサによって実行されると、ディスプレイシステムに、
ディスプレイデバイスによって、仮想コンテンツを含むフレームを複数の深度平面においてユーザに提示するステップであって、ユーザに提示されるフレーム毎に、仮想コンテンツは、ユーザ凝視情報に基づいて選択された同一深度平面に提示される、ステップと、
選択された深度平面の選択が調節されるべきであることの識別に応答して、ユーザによって実施されている瞬目または衝動性眼球運動の検出に応じて、仮想コンテンツの1つまたはそれを上回るフレームがディスプレイデバイスによって調節された深度平面に提示されるべきであることを示す情報を記憶するステップと
を含む動作を実施させる、ディスプレイシステム。
実施例98:動作はさらに、
瞬目または衝動性眼球運動の実施を検出するステップと、
判定に応答して、仮想コンテンツを調節された深度平面に提示するステップと
を含む、請求項97に記載のディスプレイシステム。
実施例99:動作はさらに、
ユーザが閾値時間を上回る時間にわたって瞬目または衝動性眼球運動を実施しなかったことを判定するステップと、
判定に応答して、仮想コンテンツを調節された深度平面に提示するステップと
を含む、請求項97に記載のディスプレイシステム。
実施例100:動作はさらに、
ユーザの眼を監視し、瞬目または衝動性眼球運動を検出し、監視しながら、仮想コンテンツの1つまたはそれを上回るフレームを選択された深度平面に提示するステップを含む、請求項97に記載のディスプレイシステム。
実施例101:瞬目または衝動性眼球運動の検出を待機しながら、ユーザが調節された深度平面と異なる特定の深度平面と関連付けられた深度を凝視していることを判定し、瞬目または衝動性眼球運動の検出に応じて、仮想コンテンツが特定の深度平面に提示されるべきことを示す情報を記憶する、請求項97に記載のディスプレイデバイス。
本発明は、例えば、以下を提供する。
(項目1)
ディスプレイシステムであって、
頭部搭載型ディスプレイであって、
1つまたはそれを上回る導波管であって、各導波管は、屈折力を有し、コンテンツを関連付けられた深度平面上に提供するように構成されており、前記1つまたはそれを上回る導波管は、光を視認者に投影し、画像コンテンツを前記1つまたはそれを上回る導波管の前記関連付けられた深度平面上に表示するように構成される、1つまたはそれを上回る導波管
を備え、前記深度平面のそれぞれは、光学無限遠未満にある、頭部搭載型ディスプレイ
を備える、ディスプレイシステム。
(項目2)
前記深度平面のうちの最も遠いものは、光学無限遠の約0.50ジオプタ以内にある、項目1に記載のディスプレイシステム。
(項目3)
前記深度平面のうちの最も遠いものは、光学無限遠の約0.33ジオプタ以内にある、項目2に記載のディスプレイシステム。
(項目4)
前記深度平面のうちの最も遠いものは、光学無限遠の約0.25ジオプタ以内にある、項目3に記載のディスプレイシステム。
(項目5)
前記深度平面のうちの最も遠いものは、光学無限遠にある、項目1に記載のディスプレイシステム。
(項目6)
前記深度平面は、約0.7ジオプタ以下だけ分離される、項目1に記載のディスプレイシステム。
(項目7)
前記深度平面は、約0.5ジオプタ以下だけ分離される、項目6に記載のディスプレイシステム。
(項目8)
前記ディスプレイは、画像情報を2つのみの深度平面上に表示するように構成され、前記2つの深度平面はそれぞれ、光学無限遠未満にある、項目1に記載のディスプレイシステム。
(項目9)
前記ディスプレイは、画像情報を1つのみの深度平面上に表示するように構成され、前記1つの深度平面は、光学無限遠未満にある、項目1に記載のディスプレイシステム。
(項目10)
ディスプレイシステムであって、
頭部搭載型ディスプレイであって、
1つまたはそれを上回る導波管であって、各導波管は、屈折力および関連付けられた深度平面を有し、前記1つまたはそれを上回る導波管は、光を視認者に投影し、画像コンテンツを前記関連付けられた深度平面上に表示するように構成される、1つまたはそれを上回る導波管
を備え、前記深度平面のうちの最も遠いものは、光学無限遠の約0.33ジオプタ以内にある、頭部搭載型ディスプレイ
を備える、ディスプレイシステム。
(項目11)
前記深度平面のうちの次に最も遠いものは、前記深度平面のうちの最も遠いものの約0.66ジオプタ以内にある、項目10に記載のディスプレイシステム。
(項目12)
深度平面の総数は、2つである、項目10に記載のディスプレイシステム。
(項目13)
深度平面の総数は、2つを上回り、直近深度平面間の分離は、約0.66ジオプタ未満である、項目10に記載のディスプレイシステム。
(項目14)
深度平面の総数は、4つ未満である、項目10に記載のディスプレイシステム。
(項目15)
前記1つまたはそれを上回る導波管は、前記導波管のスタックを形成し、各導波管は、入射光を再指向し、前記導波管の内側の全内部反射によって伝搬させるように構成される、内部結合光学要素を備える、項目10に記載のディスプレイシステム。
(項目16)
各導波管の前記内部結合光学要素は、単一原色に対応する波長を有する光を選択的に再指向するように構成される、項目15に記載のディスプレイシステム。
(項目17)
上下平面図に見られるように、各導波管の前記内部結合光学要素は、他の導波管の内部結合光学要素から側方に離間される、項目15に記載のディスプレイシステム。
(項目18)
各導波管はさらに、各導波管内を伝搬する光を前記導波管から再指向するように構成される、外部結合光学要素を備える、項目15に記載のディスプレイシステム。
(項目19)
画像コンテンツを前記導波管の内部結合光学要素に指向するように構成される光プロジェクタシステムをさらに備え、前記光プロジェクタシステムは、
光エミッタと、
空間光変調器と
を備える、項目15に記載のディスプレイシステム。
(項目20)
各導波管は、単一深度平面のみを作成するための屈折力を有する、項目10に記載のディスプレイシステム。
(項目21)
ディスプレイシステムであって、
頭部搭載型ディスプレイであって、
導波管のスタックを形成する複数の導波管であって、各導波管は、屈折力を有し、コンテンツを関連付けられた深度平面上に提供するように構成され、前記導波管は、光を視認者に投影し、画像コンテンツを前記関連付けられた深度平面上に表示するように構成される、複数の導波管
を備え、前記深度平面のうちの最も遠いものは、光学無限遠の不整合公差内にあって、前記不整合公差は、約0.5ジオプタである、頭部搭載型ディスプレイ
を備える、ディスプレイシステム。
(項目22)
前記不整合公差は、約0.33ジオプタである、項目21に記載のディスプレイシステム。
(項目23)
前記スタックの関連付けられた深度平面と最近傍の関連付けられた深度平面との間の分離は、前記不整合公差の約2倍またはそれ未満である、項目21に記載のディスプレイシステム。
(項目24)
深度平面の総数は、4つまたはそれ未満である、項目21に記載のディスプレイシステム。
(項目25)
前記深度平面の総数は、2つである、項目24に記載のディスプレイシステム。
(項目26)
画像コンテンツを頭部搭載型ディスプレイ上に表示するための方法であって、前記方法は、
前記画像コンテンツに関する遠近調節-輻輳・開散運動不整合が閾値を超えるかどうかを判定するステップと、
前記遠近調節-輻輳・開散運動不整合が前記閾値を超える場合、前記画像コンテンツを修正するステップと
を含む、方法。
(項目27)
遠近調節-輻輳・開散運動不整合閾値は、0.5ジオプタまたはそれ未満である、項目26に記載の方法。
(項目28)
遠近調節-輻輳・開散運動不整合閾値は、0.33ジオプタまたはそれ未満である、項目27に記載の方法。
(項目29)
前記画像コンテンツを修正するステップは、前記画像コンテンツをフェーディングさせるステップを含む、項目26に記載の方法。
(項目30)
前記画像コンテンツをフェーディングさせるステップは、前記画像コンテンツの分解能を低減させるステップを含む、項目29に記載の方法。
(項目31)
前記画像コンテンツの分解能の低減は、遠近調節-輻輳・開散運動不整合の増加に伴って増加する、項目30に記載の方法。
(項目32)
前記画像コンテンツを修正するステップは、前記画像コンテンツを表示しないステップを含む、項目26に記載の方法。
(項目33)
ディスプレイシステムであって、
プロセッサと、
命令を記憶するコンピュータ記憶媒体であって、前記命令は、前記ディスプレイシステムによって実行されると、前記ディスプレイシステムに、
項目26-32のいずれかに記載の方法
を含む動作を実施させる、コンピュータ記憶媒体
を備える、ディスプレイシステム。
(項目34)
前記ディスプレイシステムは、画像情報を1つのみの深度平面上に表示するように構成され、前記1つの深度平面は、光学無限遠未満にある、項目33に記載のディスプレイシステム。
(項目35)
前記ディスプレイシステムは、画像情報を2つのみの深度平面上に表示するように構成され、前記2つの深度平面はそれぞれ、光学無限遠未満にある、項目33に記載のディスプレイシステム。
(項目36)
画像コンテンツをユーザによって装着される頭部搭載型ディスプレイ上に表示するための方法であって、前記方法は、
前記ユーザにおける眼精疲労の存在を判定するステップと、
眼精疲労が存在すると判定される場合、前記画像コンテンツを修正するステップと
を含む、方法。
(項目37)
前記眼精疲労の存在を判定するステップは、前記ユーザの片眼または両眼を撮像するステップを含む、項目36に記載の方法。
(項目38)
前記眼精疲労の存在を判定するステップは、散瞳、収斂動揺、および瞳孔動揺のうちの1つまたはそれを上回るものを検出するステップを含む、項目36に記載の方法。
(項目39)
前記眼精疲労の存在を判定するステップは、ガルバニック皮膚応答を測定するステップを含む、項目36に記載の方法。
(項目40)
前記眼精疲労の存在を判定するステップは、0.25ジオプタを上回る遠近調節-輻輳・開散運動不整合を有する画像コンテンツへの暴露の持続時間を検出するステップを含む、項目36に記載の方法。
(項目41)
前記遠近調節-輻輳・開散運動不整合は、0.33ジオプタを上回る、項目40に記載の方法。
(項目42)
前記遠近調節-輻輳・開散運動不整合は、0.50ジオプタを上回る、項目41に記載の方法。
(項目43)
画像コンテンツを修正するステップは、
前記画像コンテンツの特徴のサイズを増加させるステップと、
前記画像コンテンツの分解能を低減させるステップと、
前記画像コンテンツを前記画像コンテンツのために元々規定されたものより前記視認者から遠い深度平面上に表示するステップと
のうちの1つまたはそれを上回るものを含む、項目36に記載の方法。
(項目44)
画像コンテンツを修正するステップは、前記眼精疲労の存在が前記ユーザにおいてもはや検出されなくなるまで実施される、項目43に記載の方法。
(項目45)
プロセッサと、前記ディスプレイシステムによって実行されると、前記ディスプレイシステムに、項目36-45のいずれかに記載の方法を実施させる命令を記憶する、コンピュータ記憶媒体とを備える、ディスプレイシステム。
(項目46)
前記ディスプレイシステムは、画像情報を1つのみの深度平面上に表示するように構成され、前記1つの深度平面は、光学無限遠未満にある、項目45に記載のディスプレイシステム。
(項目47)
前記ディスプレイシステムは、画像情報を2つのみの深度平面上に表示するように構成され、前記2つの深度平面はそれぞれ、光学無限遠未満にある、項目45に記載のディスプレイシステム。
(項目48)
ウェアラブル頭部搭載型ディスプレイシステムであって、
ユーザによって装着されるように構成されるフレームと、
前記フレームに取り付けられるディスプレイと、
前記ユーザの頭部の片側から前記頭部の他側まで延在するように構成される支持構造と
を備え、
前記支持構造は、前記フレームに機械的に結合される、ウェアラブル頭部搭載型ディスプレイシステム。
(項目49)
前記支持構造に取り付けられ、音を前記ユーザの耳の中に指向するように構成される、音変換器をさらに備える、項目48に記載のウェアラブル頭部搭載型ディスプレイシステム。
(項目50)
前記音変換器は、スピーカである、項目49に記載のウェアラブル頭部搭載型ディスプレイシステム。
(項目51)
前記支持構造は、前記頭部の片側から前記頭部の他側まで延在するように構成される、バンドである、項目48に記載のウェアラブル頭部搭載型ディスプレイシステム。
(項目52)
前記バンドは、前記ユーザの眼および耳と交差する平面に対して35°~55°の角度で前記ユーザの頭部を横切る、項目51に記載のウェアラブル頭部搭載型ディスプレイシステム。
(項目53)
前記バンドは、前記ユーザの眼および耳と交差する平面に対して80°~100°の角度で前記ユーザの頭部を横切る、項目51に記載のウェアラブル頭部搭載型ディスプレイシステム。
(項目54)
前記ユーザの眼および第1および第2の耳と交差する平面に対する前記バンドの角度は、調節可能である、項目51に記載のウェアラブル頭部搭載型ディスプレイシステム。
(項目55)
導波管であって、
前記入射光の性質に基づいて、入射光を前記導波管の中に選択的に内部結合するように構成される内部結合光学要素と、
前記導波管の中に内部結合される光を外部結合することによって、前記光を前記視認者の眼に投影するように構成される外部結合光学要素と
を備える、導波管
をさらに備える、項目48に記載のウェアラブル頭部搭載型ディスプレイシステム。
(項目56)
前記外部結合光学要素は、屈折力を有し、光を前記眼に投影し、画像コンテンツを関連付けられた深度平面上に表示するように構成され、前記関連付けられた深度平面は、光学無限遠未満にある、項目55に記載のウェアラブル頭部搭載型ディスプレイシステム。
(項目57)
前記導波管は、導波管のスタックの一部であり、前記導波管のスタックのうちの少なくともいくつかの導波管は、前記少なくともいくつかの導波管毎に、出射光の異なる発散を提供するように、異なる関連付けられた深度平面と、異なる屈折力を有する外部結合光学要素とを備える、項目56に記載のウェアラブル頭部搭載型ディスプレイシステム。
(項目58)
ディスプレイシステムであって、
仮想オブジェクトを複数の深度平面においてユーザに提示するように構成されるディスプレイデバイスと、
1つまたはそれを上回るプロセッサと、
命令を記憶するコンピュータ記憶媒体であって、前記命令は、前記ディスプレイシステムによって実行されると、前記ディスプレイシステムに、
凝視深度を判定するステップであって、前記凝視深度は、前記ユーザの眼が凝視している深度である、ステップと、
前記凝視深度が、
(1)選択された深度平面によってのみ包含される、または
(2)前記選択された深度平面および隣接する深度平面の両方によって包含される、
深度平面範囲内にあるかどうかに基づいて、仮想オブジェクトが前記ユーザの眼に提示されている選択された深度平面の選択を調節するかどうかを判定するステップと、
前記選択された深度平面の選択を調節するかどうかを判定するステップに基づいて、前記仮想オブジェクトの提示を選択された特定の深度平面に生じさせるステップと
を含む、動作を実施させる、コンピュータ記憶媒体と
を備える、ディスプレイシステム。
(項目59)
前記凝視深度は、前記選択された深度平面によってのみ包含される深度平面範囲内にあり、前記深度平面の選択を調節するかどうかの判定は、負である、項目58に記載のディスプレイシステム。
(項目60)
前記凝視深度は、前記選択された深度平面および隣接する深度平面の両方によって包含される深度平面範囲内にあり、前記深度平面の選択を調節するかどうかの判定は、負である、項目58に記載のディスプレイシステム。
(項目61)
前記凝視深度は、
(1)前記選択された深度平面によってのみ包含され、
(2)前記選択された深度平面および隣接する深度平面の両方によって包含される、
深度平面範囲の外の特定の深度平面範囲内にあり、前記深度平面の選択を調節するかどうかの判定は、正である、項目58に記載のディスプレイシステム。
(項目62)
前記仮想オブジェクトは、前記特定の深度平面範囲を包含する深度平面に提示される、項目61に記載のディスプレイシステム。
(項目63)
前記凝視深度は、前記隣接する深度平面によってのみ包含される深度平面範囲内にあり、前記深度平面の選択を調節するかどうかの判定は、正である、項目58に記載のディスプレイシステム。
(項目64)
前記仮想オブジェクトは、前記隣接する深度平面に提示される、項目63に記載のディスプレイシステム。
(項目65)
深度平面の選択を調節することの正の判定に応答して、前記ユーザによる瞬目または衝動性眼球運動の実施の検出に応答して、前記調節された深度平面における提示をトリガする、項目58に記載のディスプレイシステム。
(項目66)
前記動作はさらに、
前記ユーザが凝視している3次元場所を示すユーザの凝視点を判定するステップであって、前記3次元場所は、前記凝視深度を示す、ステップ
を含む、項目58に記載のディスプレイシステム。
(項目67)
ディスプレイシステムであって、
仮想オブジェクトを複数の深度平面においてユーザに提示するように構成される、ディスプレイデバイスと、
1つまたはそれを上回るプロセッサと、
命令を記憶するコンピュータ記憶媒体であって、前記命令は、前記ディスプレイシステムによって実行されると、前記ディスプレイシステムに、
凝視深度を判定するステップであって、前記凝視深度は、前記ユーザの眼が凝視している深度である、ステップと、
仮想オブジェクトが前記ユーザに提示されるべき前記複数の深度平面の特定の深度平面を判定するステップであって、前記判定は、前記凝視深度および前記深度平面のそれぞれによって包含される深度平面範囲に基づいており、隣接する深度平面は両方とも、深度重複領域を包含する、ステップと、
前記仮想オブジェクトの提示を前記特定の深度平面において生じさせるステップと
を含む動作を実施させる、コンピュータ記憶媒体と
を備える、ディスプレイシステム。
(項目68)
深度平面によって包含される深度平面範囲は、凝視されると、前記仮想オブジェクトの提示を前記深度平面において生じさせる、前記ユーザからの深度の範囲を示す、項目66に記載のディスプレイシステム。
(項目69)
前記特定の深度平面における提示は、前記仮想オブジェクトを、前記特定の深度平面の公称焦点深度と関連付けられた遠近調節キューと、前記仮想オブジェクトと関連付けられた場所情報に基づく輻輳・開散運動キューとともに提示するステップを含む、項目66に記載のディスプレイシステム。
(項目70)
前記特定の深度平面によって包含される深度平面範囲のサイズは、遠近調節-輻輳・開散運動不整合公差に基づいており、前記遠近調節-輻輳・開散運動不整合公差は、提示される仮想オブジェクトの輻輳・開散運動キューと関連付けられた知覚される深度と前記仮想オブジェクトの遠近調節キューと関連付けられた知覚される深度との間の最大差異を示す、項目69に記載のディスプレイシステム。
(項目71)
前記深度重複領域のサイズは、凝視深度を判定するステップと関連付けられた誤差に基づいている、項目66に記載のディスプレイシステム。
(項目72)
前記凝視深度は、前記深度が前記深度平面範囲内にあるように、前記特定の深度平面によってのみ包含される、項目66に記載のディスプレイシステム。
(項目73)
前記凝視深度は、前記特定の深度平面および隣接する深度平面によって包含される深度重複領域内にあり、前記特定の深度平面を判定するステップは、前記ユーザの以前の凝視深度に基づいている、項目66に記載のディスプレイシステム。
(項目74)
前記動作はさらに、前記以前の凝視深度に基づいて、前記深度重複領域内の1つまたはそれを上回る凝視深度の凝視に先立って、前記ユーザが前記特定の深度平面によってのみ包含される凝視深度を凝視したことを識別するステップを含む、項目73に記載のディスプレイシステム。
(項目75)
前記動作はさらに、
前記深度重複領域内にある前記ユーザの後続凝視深度を判定するステップと、
前記仮想オブジェクトの提示を前記特定の深度平面において生じさせるステップと
を含む、項目73に記載のディスプレイシステム。
(項目76)
前記動作はさらに、
前記隣接する深度平面によって包含され、前記深度重複領域外にある、前記ユーザの後続凝視深度を判定するステップと、
前記仮想オブジェクトの提示を前記隣接する深度平面において生じさせるステップと
を含む、項目73に記載のディスプレイシステム。
(項目77)
前記ディスプレイシステムは、前記ユーザが、(1)瞬目または(2)衝動性眼球運動を実施したことを判定し、それに応答して、提示を前記隣接する深度平面において生じさせるように構成される、項目76に記載のディスプレイシステム。
(項目78)
少なくとも部分的に、仮想オブジェクトを複数の深度平面においてユーザに提示するように構成されるディスプレイデバイスによって実装される方法であって、前記方法は、
凝視深度を判定するステップであって、前記凝視深度は、前記ユーザの眼が凝視している深度である、ステップと、
前記凝視深度が、
(1)前記選択された深度平面によってのみ包含される、または
(2)前記選択された深度平面および隣接する深度平面の両方によって包含される、深度平面範囲内にあるかどうかに基づいて、仮想オブジェクトが前記ユーザの眼に提示されている選択された深度平面の選択を調節するかどうかを判定するステップと、
前記選択された深度平面の選択を調節するかどうかの判定に基づいて、前記仮想オブジェクトの提示を選択された特定の深度平面において生じさせるステップと
を含む、方法。
(項目79)
前記凝視深度は、
(1)前記選択された深度平面によってのみ包含され、
(2)前記選択された深度平面および隣接する深度平面の両方によって包含される、
深度平面範囲の外の特定の深度平面内にあり、前記深度平面の選択を調節するかどうかの判定は、正である、項目78に記載の方法。
(項目80)
深度平面の選択を調節することの正の判定に応答して、前記ユーザによる瞬目または衝動性眼球運動の実施の検出に応答して、前記調節された深度平面における提示をトリガする、項目78に記載の方法。
(項目81)
ディスプレイシステムであって、
仮想オブジェクトを複数の深度平面においてユーザに提示するように構成されるディスプレイデバイスと、
プロセッサと、
命令を記憶するコンピュータ記憶媒体であって、前記命令は、前記ディスプレイシステムによって実行されると、前記ディスプレイシステムに、
前記ユーザが凝視している3次元場所を示すユーザの凝視点を判定するステップと、
仮想オブジェクトが提示されるべき深度平面を切り替えるかどうかを判定するステップであって、前記判定は、少なくとも部分的に、前記判定された凝視点の深度に基づく、ステップと、
前記仮想オブジェクトが提示されるべき深度平面を切り替えるステップであって、前記深度平面を切り替えるステップは、ユーザ知覚限定イベントによってトリガされる、ステップと
を含む動作を実施させる、コンピュータ記憶媒体と
を備える、ディスプレイシステム。
(項目82)
前記動作はさらに、前記ユーザの眼を監視し、瞬目または衝動性眼球運動のうちの1つまたはそれを上回るものが実施されることを含む、前記ユーザ知覚限定イベントを検出するステップを含む、項目81に記載のディスプレイシステム。
(項目83)
前記ユーザの眼を監視するステップは、前記ユーザの瞳孔を監視するステップを含み、衝動性眼球運動を検出するステップは、前記瞳孔の回転速度が閾値速度を超えることに基づく、項目82に記載のディスプレイシステム。
(項目84)
前記衝動性眼球運動を検出するステップはさらに、前記ユーザの頭部と関連付けられた移動情報に基づく、項目83に記載のディスプレイシステム。
(項目85)
前記深度平面を切り替えるステップは、
前記ユーザによって実施されている瞬目を検出するステップと、
それに応答して、前記深度平面を切り替えるステップと
を含む、項目81に記載のディスプレイシステム。
(項目86)
前記深度平面を切り替えるステップは、
前記ユーザによって実施されている衝動性眼球運動を検出するステップと、
それに応答して、前記深度平面を切り替えるステップと
を含む、項目81に記載のディスプレイシステム。
(項目87)
前記深度平面を切り替えるステップは、
閾値時間量後、瞬目または衝動性眼球運動の実施を検出しないことに応答して、前記深度平面を切り替えるステップ
を含む、項目81に記載のディスプレイシステム。
(項目88)
深度平面を切り替えるかどうかを判定するステップは、
前記判定された凝視点の深度が前記切り替えられた深度平面によって包含されることを判定するステップ
を含む、項目81に記載のディスプレイシステム。
(項目89)
前記動作はさらに、
前記深度平面が切り替えられるべきであることを示す情報を記憶し、前記ユーザの眼を監視し、前記ユーザ知覚限定イベントを判定するステップ
を含む、項目81に記載のディスプレイシステム。
(項目90)
前記ディスプレイデバイスは、ディスプレイ面積を形成し、前記ディスプレイ面積を通して、周囲環境のビューを提供する、複数のスタックされた導波管を備え、前記複数の導波管の少なくともいくつかの導波管は、他の導波管と異なる波面発散を伴う光を出力するように構成され、各導波管は、深度平面と関連付けられ、
前記仮想オブジェクトを前記切り替えられた深度平面に提示するステップは、前記切り替えられた深度平面と関連付けられた導波管が、前記仮想オブジェクトを形成するための光を出力するステップを含む、
項目81に記載のディスプレイシステム。
(項目91)
少なくとも部分的に、仮想オブジェクトを複数の深度平面においてユーザに提示するように構成されるディスプレイデバイスによって実装される方法であって、前記方法は、
前記ユーザが凝視している3次元場所を示すユーザの凝視点を判定するステップと、
仮想オブジェクトが提示されるべき深度平面を切り替えるかどうかを判定するステップであって、前記判定は、少なくとも部分的に、前記判定された凝視点の深度に基づく、ステップと、
前記仮想オブジェクトが提示されるべき深度平面を切り替えるステップであって、前記深度平面を切り替えるステップは、ユーザ知覚限定イベントによってトリガされる、ステップと
を含む、方法。
(項目92)
前記ユーザの眼を監視し、瞬目または衝動性眼球運動のうちの1つまたはそれを上回るものが実施されることを含む前記ユーザ知覚限定イベントを検出するステップをさらに含む、項目91に記載の方法。
(項目93)
前記ユーザの眼を監視するステップは、前記ユーザの瞳孔を監視するステップを含み、衝動性眼球運動を検出するステップは、前記瞳孔の回転速度が閾値速度を超えることに基づく、項目92に記載の方法。
(項目94)
前記衝動性眼球運動を検出するステップはさらに、前記ユーザの頭部と関連付けられた移動情報に基づく、項目93に記載の方法。
(項目95)
前記深度平面を切り替えるステップは、
前記ユーザによって実施されている瞬目を検出するステップと、
それに応答して、前記深度平面を切り替えるステップと
を含む、項目91に記載の方法。
(項目96)
前記深度平面を切り替えるステップは、
前記ユーザによって実施されている衝動性眼球運動を検出するステップと、
それに応答して、前記深度平面を切り替えるステップと
を含む、項目91に記載の方法。
(項目97)
ディスプレイシステムであって、前記ディスプレイシステムは、ディスプレイデバイスと、プロセッサと、命令を記憶するコンピュータ記憶媒体とを備え、前記命令は、前記プロセッサによって実行されると、前記ディスプレイシステムに、
前記ディスプレイデバイスによって、仮想コンテンツを含むフレームを複数の深度平面においてユーザに提示するステップであって、前記ユーザに提示されるフレーム毎に、前記仮想コンテンツは、ユーザ凝視情報に基づいて選択された同一深度平面に提示される、ステップと、
選択された深度平面の選択が調節されるべきであることの識別に応答して、前記ユーザによって実施されている瞬目または衝動性眼球運動の検出に応じて、前記仮想コンテンツの1つまたはそれを上回るフレームが前記ディスプレイデバイスによって前記調節された深度平面に提示されるべきであることを示す情報を記憶するステップと
を含む動作を実施させる、ディスプレイシステム。
(項目98)
前記動作はさらに、
瞬目または衝動性眼球運動の実施を検出するステップと、
前記判定に応答して、前記仮想コンテンツを前記調節された深度平面に提示するステップと
を含む、項目97に記載のディスプレイシステム。
(項目99)
前記動作はさらに、
前記ユーザが閾値時間を上回る時間にわたって瞬目または衝動性眼球運動を実施しなかったことを判定するステップと、
前記判定に応答して、前記仮想コンテンツを前記調節された深度平面に提示するステップと
を含む、項目97に記載のディスプレイシステム。
(項目100)
前記動作はさらに、
前記ユーザの眼を監視し、瞬目または衝動性眼球運動を検出し、監視しながら、仮想コンテンツの1つまたはそれを上回るフレームを前記選択された深度平面に提示するステップ
を含む、項目97に記載のディスプレイシステム。
(項目101)
瞬目または衝動性眼球運動の検出を待機しながら、前記ユーザが前記調節された深度平面と異なる特定の深度平面と関連付けられた深度を凝視していることを判定し、瞬目または衝動性眼球運動の検出に応じて、前記仮想コンテンツが前記特定の深度平面に提示されるべきことを示す情報を記憶する、項目97に記載のディスプレイデバイス。
図1は、ARデバイスを通した拡張現実(AR)のユーザのビューを図示する。
図2は、ユーザのための3次元画像をシミュレートするための従来のディスプレイシステムを図示する。
図3A-3Cは、曲率半径と焦点半径との間の関係を図示する。
図4Aは、ヒト視覚系の遠近調節-輻輳・開散運動応答の表現を図示する。
図4Bは、一対のユーザの眼の異なる遠近調節状態および輻輳・開散運動状態の実施例を図示する。
図5は、波面発散を修正することによって3次元画像をシミュレートするためのアプローチの側面を図示する。
図6は、画像情報をユーザに出力するための導波管スタックの実施例を図示する。
図7は、導波管によって出力された出射ビームの実施例を図示する。
図8は、スタックされた導波管アセンブリの実施例を図示し、各深度平面は、複数の異なる原色を使用して形成される画像を含む。
図9Aは、それぞれ、内部結合光学要素を含む、スタックされた導波管のセットの実施例の断面側面図を図示する。
図9Bは、図9Aの複数のスタックされた導波管の実施例の斜視図を図示する。
図9Cは、図9Aおよび9Bの複数のスタックされた導波管の実施例の上下平面図を図示する。
図9Dは、ウェアラブルディスプレイシステムの実施例を図示する。
図10Aおよび10Bは、それぞれ、整合された遠近調節-輻輳・開散運動距離および不整合の遠近調節-輻輳・開散運動距離の実施例を図示する。
図11は、遠近調節-輻輳・開散運動不整合閾値を考慮した深度平面設置の実施例を図示する。
図12は、遠近調節-輻輳・開散運動不整合閾値を考慮した深度平面設置の別の実施例を図示する。
図13は、単一深度平面ディスプレイシステムに関する遠近調節-輻輳・開散運動不整合のプロットの実施例を図示する。
図14は、2つの深度平面ディスプレイシステムおよび1つの深度平面ディスプレイシステムに関する遠近調節-輻輳・開散運動不整合のプロットの実施例を図示する。
図15は、2つの深度平面ディスプレイシステムおよび1つの深度平面ディスプレイシステムに関する遠近調節-輻輳・開散運動不整合のプロットの別の実施例を図示する。
図16は、ある凝視点を凝視しているユーザの実施例を図示する。
図17は、隣接する深度平面間の深度重複を図示する。
図18A-18Bは、ディスプレイシステムのユーザの視野の表現を図示する。 図18A-18Bは、ディスプレイシステムのユーザの視野の表現を図示する。
図19は、仮想コンテンツを提示するための例示的プロセスのフローチャートである。
図20は、ユーザの知覚が限定される間のユーザへのコンテンツの提示を調節するための例示的プロセスのフローチャートである。
図21Aは、画像コンテンツが閾値を超える遠近調節-輻輳・開散運動不整合を提供するとき、視認者快適性を維持するための方法の実施例を図示する。
図21Bは、ユーザ眼精疲労を低減させるための方法の実施例を図示する。
図22Aは、支持構造を伴う、頭部搭載型ディスプレイの実施例を図示する。
図22Bは、支持構造および統合されたスピーカを伴う、頭部搭載型ディスプレイの実施例を図示する。
図面は、例示的実施形態を図示するために提供され、本開示の範囲を限定することを意図するものではない。
仮想および拡張ディスプレイシステムは、種々の画像コンテンツを提供し得、その充実度は、長時間にわたってシステムを装着するユーザの能力に伴って増加し得る。例えば、拡張ディスプレイシステムは、従来のディスプレイ(例えば、コンピュータモニタ、スマートフォンディスプレイ等)と、そうでなければ利用可能ではないコンテンツを提供することによって世界のユーザの知覚もまた拡張し得る単一デバイスとを置換する潜在性をもたらす。しかしながら、これらのディスプレイシステムは、嵩張り、かつ/または重くあり得、システム上に表示されるある画像コンテンツは、長期ユーザ快適性を損なわせ得る。例えば、本明細書に議論されるようないくつかのディスプレイシステムは、導波管のスタックを利用して、画像情報を多数の深度平面を横断してユーザに投影し、それによって、3次元視認体験を提供し得る。そのような導波管のスタックは、重くあり得、これは、そのようなスタックを組み込むディスプレイシステムの長期使用に望ましくない。
有利には、いくつかの実施形態では、システムおよび方法が、提供され、これは、長期装着者快適性を促進し得る。いくつかの実施形態では、真実味があって、かつ快適な3次元視認体験は、画像情報を1つのみまたは2つのみの深度平面においてユーザに投影するように構成される、低減された導波管スタックを使用して提供される。いくつかの実施形態では、深度平面の数は、より多くてもよく、3つまたは4つの深度平面を含む。
本明細書に説明されるように、ディスプレイシステムは、輻輳・開散運動キューおよび遠近調節キューの両方を利用して、表示されるコンテンツを奥行感とともに提示し得ることを理解されたい。輻輳・開散運動キューは、仮想オブジェクトの若干異なるビューをユーザの各眼に提示することによって生成されてもよい。遠近調節キューは、それらの若干異なるビューを形成する、光の波面発散から導出されてもよい。輻輳・開散運動キューは、眼を回転させ、例えば、眼が仮想オブジェクト上に収束する、特定の輻輳・開散運動状態をとらせる。遠近調節キューは、眼の水晶体に、仮想オブジェクトの集束された画像を眼の網膜上に提供する、特定の形状をとらせ得る。したがって、特定の輻輳・開散運動キューは、眼に特定の輻輳・開散運動状態をとらせ得、特定の遠近調節キューは、眼に特定の遠近調節状態をとらせ得る。空間内の実オブジェクトは、特定の輻輳・開散運動キューが、特定の輻輳・開散運動距離と相関され得、特定の遠近調節キューが、同様に、視認者から離れた特定の遠近調節距離と相関され得るように、視認者からの光学軸またはz-軸に沿ったその距離に基づいて変動する、輻輳・開散運動および遠近調節キューを提供することを理解されたい。従来、輻輳・開散運動および遠近調節キューは、視認者不快感を防止するために、相互に密接に整合するはずであると考えられていた。すなわち、仮想オブジェクトに関する輻輳・開散運動および遠近調節距離は、遠近調節-輻輳・開散運動不整合を回避するために、そうなるはずであると考えられていた。仮想オブジェクトを表示するときの遠近調節-輻輳・開散運動不整合は、仮想オブジェクトに関する輻輳・開散運動と遠近調節距離との間のジオプタの差異として定義され得る。
しかしながら、ヒト視覚系は、あるレベルの遠近調節-輻輳・開散運動不整合に耐性があることが見出されている。その結果、不整合公差内では、遠近調節キューは、同一のままであり得る一方、輻輳・開散運動キューは、変動し、それによって、仮想オブジェクトの知覚される深度を変動させ得る。したがって、いくつかの実施形態では、輻輳・開散運動キューは、継続的に変動し得る一方、遠近調節キューは、離散ステップにおいて変動し、遠近調節と輻輳・開散運動との間の不整合は、不整合公差レベルを下回って維持される。遠近調節-輻輳・開散運動不整合公差の実施例は、0.5ジオプタまたはそれ未満、0.33ジオプタまたはそれ未満、または0.25ジオプタまたはそれ未満を含む。いくつかの実施形態では、最も遠い深度平面は、光学無限遠の遠近調節-輻輳・開散運動不整合公差内にあり得、次の最も遠い深度平面は、最も遠い深度平面の遠近調節-輻輳・開散運動不整合公差によって作り出される体積の遠近調節-輻輳・開散運動不整合公差内である等となり得る。
特定の量の波面発散が、特定の深度平面と関連付けられることを理解されたい。すなわち、ディスプレイシステムによって出力された光の波面発散は、z-軸に沿った特定の深度における実オブジェクトから生じる光の波面発散に対応する。その結果、波面発散および遠近調節キューを変化させることは、ディスプレイシステムが仮想オブジェクトを提示する深度平面を切り替えることを伴うと理解され得る。いくつかの実施形態では、深度平面は、遠近調節-輻輳・開散運動不整合を容認可能公差レベルを下回って維持するために切り替えられてもよい。各深度平面は、その深度平面から生じるように現れる光に関する対応する波面発散を有する、公称焦点深度を有し得る。しかしながら、遠近調節-輻輳・開散運動不整合公差に起因して、コンテンツは、輻輳・開散運動キューが、仮想オブジェクトが深度平面より視認者により近いまたはそこからより遠い知覚を提供するために利用される場合であっても、その深度平面「上」に表示され得る(すなわち、その深度平面に対応する波面発散を伴う)。特定の深度平面が利用され得る距離の外側境界は、遠近調節-輻輳・開散運動不整合によって判定され、これは、本明細書に開示されるように、ジオプタの単位で測定され得る。
本明細書において可変焦点ディスプレイシステムと称される、いくつかのディスプレイシステムは、仮想コンテンツを離散深度平面に提示し得、全ての仮想コンテンツは、所与の時間に同一深度平面に提示される(例えば、1つのみの深度平面が、一度にアクティブである、または画像情報を出力する)。コンテンツを一度に1つの深度平面上に表示することは、ディスプレイシステム内の計算リソースを節約する利点を有し得る。仮想コンテンツを提示する深度平面を判定するために、可変焦点ディスプレイシステムは、例えば、ユーザの眼が凝視している標的までの距離を判定することによって、ユーザの眼が凝視している深度(本明細書では凝視深度とも称される)を判定し得る。いったん凝視深度が、判定されると、ディスプレイシステムは、コンテンツを凝視の深度に整合または対応する深度平面上に提示し得る。整合と見なされるものは、深度平面に整合する、および/またはその深度平面の遠近調節-輻輳・開散運動不整合公差内にある、凝視深度であり得る。本明細書で使用されるように、オブジェクトの深度は、光学軸またはz-軸に沿って測定されるようなユーザからのそのオブジェクトの距離である。
凝視深度を判定する実施例として、ディスプレイシステムは、ユーザの眼の凝視点を判定してもよい。例えば、ディスプレイシステムは、ユーザの眼の配向を監視し、ユーザの眼と関連付けられた視線ベクトルを推定し、眼の個別の判定された視線が交差する、3次元場所を判定してもよい。ディスプレイシステムは、ユーザの眼が特定の3次元場所を凝視していることを判定してもよく、ディスプレイシステムは、仮想コンテンツをその3次元場所に対応する深度平面に提示してもよい。このように、ディスプレイシステムは、視認者に表示されるコンテンツがその深度平面に適切であることを確実にし得る。
その結果、いくつかの実施形態では、ディスプレイシステムは、ユーザの眼を追跡し、コンテンツをユーザの眼が凝視している深度に対応する深度平面上に提供するように構成されてもよい。ユーザの眼の凝視点が変化するにつれて、ディスプレイシステムは、異なる深度平面に切り替わるように構成され得、これは、仮想オブジェクトの画像によって生じる網膜ぼけにおいて瞬間的ジャンプを生じさせ得る。典型的ユーザにとって、これは、眼が新しい深度平面によって提供される波面発散に遠近調節する間、フリッカとしてディスプレイ内に現れ、短い(例えば、100~300ms)期間のぼけが続くであろう。
画像コンテンツを提供する深度平面が、ユーザの眼の凝視深度に結び付けら得る場合、凝視深度を判定する際の誤差は、深度平面間の切替の際に誤差を生じさせ得る。可能性として考えられる誤差源は、例えば、ユーザの眼(例えば、配向)の監視、視線追跡、監視ハードウェアの電気、計算、および/または光学限界等と関連付けられた誤差を含む。これらの誤差源に起因して、凝視点の場所の連続判定は、その場所に関して異なる値を提供し得る。凝視深度が、2つの深度平面間の近傍にある場合、凝視点の判定された場所における任意の動揺は、深度平面間の切替の際の動揺を生じさせ得る。望ましくないことに、ディスプレイシステムは、次いで、第1の深度平面および第2の深度平面上における仮想コンテンツの提示間で交互し、各交互は、ユーザによってフリッカとして知覚される。理論によって制約されるわけではないが、本フリッカは、不快感をユーザに生じさせ、かつ視認体験におけるユーザの没入感を減少させ得る。
いくつかの実施形態では、深度平面間の望ましくない切替が生じる範囲を限定するための技法が、提供される。以下に説明されるであろうように、深度重複が、第1の深度平面によって網羅または包含される深度平面範囲の一部が、第2の深度平面によって網羅または包含される深度平面範囲の一部と重複し得るように利用されてもよい。深度平面によって包含される深度範囲は、例えば、図16-18に関して以下に説明されるように、凝視されると、ディスプレイシステムに、仮想コンテンツを提示するためのその深度平面を選択させる、ユーザからの距離を表す。このように、ユーザの凝視点が深度において変動するが、深度重複内に位置する場合、ディスプレイシステムは、仮想コンテンツが提示される深度平面を変化させなくてもよい。したがって、ディスプレイシステムは、異なる深度平面間の不必要な切替が防止され得る。
いくつかの実施形態では、深度平面は、特定の値だけ深度平面からz-軸上で前後に延在する深度を包含する、関連付けられた深度平面範囲を有してもよい。例えば、各深度平面範囲は、深度平面と関連付けられた公称焦点深度からより遠い特定の距離から公称焦点深度からより近い特定の距離まで延在してもよい。実施例として、特定の距離は、0.2、0.33、または0.5ジオプタであってもよい。0.33ジオプタの実施例に関して、1ジオプタの公称焦点深度と関連付けられた例示的深度平面のために、ディスプレイシステムは、ユーザがある3次元場所を凝視している場合、0.66~1.33ジオプタのユーザの眼からの深度(例えば、ユーザの眼の射出瞳)を伴って、仮想コンテンツをその例示的深度平面に提示してもよい。いくつかの実施形態では、公称焦点深度からより遠い特定の距離は、遠近調節-輻輳・開散運動不整合公差レベル(例えば、最大不整合)を表してもよい。
上記に説明されるように、隣接する深度平面範囲の部分は、両方がz-軸に沿ってある深度のセットを包含するように重複してもよい。いくつかの実施形態では、深度重複の範囲は、凝視点を判定することと関連付けられた誤差に基づいてもよい。各深度平面が固定深度平面範囲(例えば、遠近調節-輻輳・開散運動不整合公差に基づく)を包含する、実施形態に関して、深度重複は、重複領域を伴わない深度平面レイアウトと比較して、1つまたはそれを上回る深度平面と関連付けられた公称焦点深度の偏移を生じさせてもよい。例えば、特定の深度平面の遠位境界は、より遠い隣接する深度平面の近位境界を越えて延在するように調節されてもよい。特定の深度平面の遠位境界は、ユーザからの深度においてより遠くであるように調節されるため、固定深度平面範囲を維持するために、特定の深度平面の近位境界も同様に、深度においてさらに遠くであるように調節されてもよい。特定の深度平面の深度平面範囲によって包含される全ての深度が、特定の深度平面の公称焦点深度から遠近調節-輻輳・開散運動不整合公差未満に延在することを確実にするために、公称焦点深度も、したがって、同様に調節される。深度平面の公称焦点深度の調節は、図18A-18Bに関して以下により詳細に説明される。
深度平面と関連付けられた公称焦点深度の前述の調節は、いくつかの例示的ディスプレイシステムでは、仮想コンテンツがディスプレイシステムによってユーザに提示され得る、全体的深度平面範囲を低減させ得る。例えば、隣接する深度平面が、その深度平面範囲の一部に重複する、またはそれを共有するため、全ての深度平面によって包含される深度の総範囲は、深度平面間に重複が存在しない場合未満であり得る。しかしながら、深度重複は、眼の凝視点の判定の際の誤差に起因して高速切替によって生じるフリッカの発生を低減させ得るため、ユーザの視認体験は、それにもかかわらず、ディスプレイシステムから利用可能な深度の使用可能範囲がより少ない場合でも、改良され得る。
加えて、ユーザが任意の深度平面によって包含される深度の範囲の外の特定の深度を凝視している場合、ディスプレイシステムは、随意に、仮想オブジェクトを特定の深度に対応する輻輳・開散運動キューとともに提示してもよい。提示と関連付けられた遠近調節キュー(例えば、公称焦点深度)は、特定の深度に最も近い深度平面に基づくであろうため、遠近調節-輻輳・開散運動不整合は、前述の不整合公差レベルを超えるであろう。上記に説明されるように、遠近調節-輻輳・開散運動不整合公差を超えると、不快感をユーザに生じさせ得るため、ディスプレイシステムは、不整合が閾値を超える(例えば、10秒、30秒、3分、および/またはユーザ選択可能時間量)間に仮想コンテンツが提示され得る時間量を限定してもよい。
いくつかの実施形態では、ユーザの視認快適性は、切替の知覚可能性をマスクまたは別様に減少させるイベントの間、深度平面切替を実施することによって、改良され得る。例えば、ディスプレイシステムは、仮想コンテンツが現在選択されている深度平面と異なる特定の深度平面に提示されべきであることを判定してもよい(例えば、ユーザが新しい凝視点を凝視していることに起因して)。例えば、可変焦点ディスプレイシステムに関する深度平面切替は、前述のように、知覚可能フリッカを生じさせる。その結果、いくつかの実施形態では、ディスプレイシステムは、視覚系が、例えば、一時的に非活発であるイベントが生じるまで、深度平面切替を遅延させ、そのようなイベントの間に切替を実施することによって、切替をマスクしてもよい。そのようなイベントは、(1)瞬目または(2)衝動性眼球運動の実施を含んでもよい。そのようなイベントの検出に応じて、深度平面切替は、実施されてもよい。実施例として、ディスプレイシステムは、ユーザの3次元凝視点の監視に基づいて、異なる深度平面が仮想コンテンツを提示するために選択されるべきであることを判定してもよい。ディスプレイシステムは、次いで、仮想コンテンツの提示を異なる深度平面に切り替える前に、(1)ユーザが瞬目する、または(2)ユーザが衝動性眼球運動を実施するまで待機してもよい。好ましくは、切替は、瞬目または衝動性眼球運動の間に生じ、その結果、ユーザは、眼が、切替の瞬間、閉鎖または移動し得るため、切替に気付き得ない。
本明細書に説明される技法を利用して、仮想コンテンツの知覚される提示品質は、改良され得る。例えば、異なる深度平面間のコンテンツを切り替えることによって生じる、フリッカ等の知覚可能視覚的アーチファクトは、特に、ディスプレイシステムが可変焦点モードで動作しているとき、低減され得る。
本明細書に開示される種々の実施形態はまた、快適な視認体験をユーザに提供するための付加的システムおよび方法を提供する。例えば、本明細書に議論されるように、遠近調節-輻輳・開散運動不整合は、ユーザが耐えることが可能であると見出し得る、範囲を超え得る。いくつかの実施形態では、遠近調節-輻輳・開散運動における大きな不整合によって生じるユーザ不快感を低減させるために、ディスプレイシステムは、画像コンテンツをアクティブに監視し、コンテンツが大遠近調節-輻輳・開散運動不整合を生じさせるであろうかどうかを判定するように構成されてもよい。そのような大きな不整合の検出に応じて、画像コンテンツは、表示される前に、不整合を低減または排除するように修正されてもよい。例えば、ディスプレイシステムは、大きな不整合をもたらす画像コンテンツをフェーディングまたは表示しないように構成されてもよい。
いくつかの他の実施形態では、システムは、ユーザ眼精疲労をアクティブに監視するように構成されてもよい。眼精疲労の検出に応じて、システムは、眼精疲労を低減させるように、画像コンテンツを修正するように構成されてもよい。
いくつかの実施形態では、ディスプレイシステムの重量および/または平衡に関する物理的不快感は、支持構造を使用して対処されてもよく、これは、ユーザの頭部にわたって、および/またはその背後に向かって延在してもよい。支持構造は、例えば、ディスプレイを引き上げる(例えば、デバイスの鼻パッドにかかる圧力を低減させる)力を提供し、および/またはユーザの頭部の正面および背面の両方上のディスプレイの重量に対抗する、バンドであってもよい。
ディスプレイシステムは、拡張現実ディスプレイシステムまたは仮想現実ディスプレイシステムの一部であってもよいことを理解されたい。一実施例として、ディスプレイシステムは、透過性であってもよく、ユーザが、画像、ビデオ、相互作用等の形態で仮想コンテンツをユーザに提供しながら、実世界を視認することを可能にしてもよい。別の実施例として、ディスプレイシステムは、ユーザの実世界のビューをブロックしてもよく、仮想現実画像、ビデオ、相互作用等が、ユーザに提示されてもよい。
ここで、図を参照するが、同様の参照番号は、全体を通して同様の部分を指す。
例示的ディスプレイシステム
図2は、ユーザのための3次元画像をシミュレートするための従来のディスプレイシステムを図示する。ユーザの眼は、離間されており、空間内の実オブジェクトを見ているとき、各眼は、オブジェクトの若干異なるビューを有し、オブジェクトの画像を各眼の網膜上の異なる場所に形成し得ることを理解されたい。これは、両眼視差と称され得、ヒト視覚系によって、深度の知覚を提供するために利用され得る。従来のディスプレイシステムは、仮想オブジェクトが所望の深度における実オブジェクトであるように各眼によって見えるであろう仮想オブジェクトのビューに対応する、眼210、220毎に1つの同一仮想オブジェクトの若干異なるビューを伴う2つの明確に異なる画像190、200を提示することによって、両眼視差をシミュレートする。これらの画像は、ユーザの視覚系が深度の知覚を導出するために解釈し得る、両眼キューを提供する。
図2を継続して参照すると、画像190、200は、z-軸上で距離230だけ眼210、220から離間される。z-軸は、その眼が視認者の真ん前の光学無限遠におけるオブジェクトを凝視している状態の視認者の光学軸と平行である。画像190、200は、平坦であって、眼210、220から固定距離にある。それぞれ、眼210、220に提示される画像内の仮想オブジェクトの若干異なるビューに基づいて、眼は、必然的に、オブジェクトの画像が眼のそれぞれの網膜上の対応する点に来て、単一両眼視を維持するように回転し得る。本回転は、眼210、220のそれぞれの視線を仮想オブジェクトが存在するように知覚される空間内の点上に収束させ得る。その結果、3次元画像の提供は、従来、ユーザの眼210、220の輻輳・開散運動を操作し得、ヒト視覚系が深度の知覚を提供するように解釈する、両眼キューを提供することを伴う。
しかしながら、深度の現実的かつ快適な知覚の生成は、困難である。眼からの異なる距離におけるオブジェクトからの光は、異なる発散量を伴う波面を有することを理解されたい。図3A-3Cは、距離と光線の発散との間の関係を図示する。オブジェクトと眼210との間の距離は、減少距離R1、R2、およびR3の順序で表される。図3A-3Cに示されるように、光線は、オブジェクトまでの距離が減少するにつれてより発散する。逆に言えば、距離が増加するにつれて、光線は、よりコリメートされる。換言すると、点(オブジェクトまたはオブジェクトの一部)によって生成されるライトフィールドは、点がユーザの眼から離れている距離の関数である、球状波面曲率を有すると言え得る。曲率は、オブジェクトと眼210との間の減少距離に伴って増加する。単眼210のみが、例証を明確にするために、図3A-3Cおよび本明細書の種々の他の図に図示されるが、眼210に関する議論は、視認者の両眼210および220に適用され得る。
図3A-3Cを継続して参照すると、視認者の眼が凝視しているオブジェクトからの光は、異なる波面発散度を有し得る。異なる波面発散量に起因して、光は、眼の水晶体によって異なるように集束され得、これは、ひいては、水晶体に、異なる形状をとり、集束された画像を眼の網膜上に形成することを要求し得る。集束された画像が、網膜上に形成されない場合、結果として生じる網膜ぼけは、集束された画像が網膜上に形成されるまで、眼の水晶体の形状に変化を生じさせる、遠近調節のためのキューとして作用する。例えば、遠近調節のためのキューは、眼の水晶体を囲繞する毛様筋の弛緩または収縮をトリガし、それによって、レンズを保持する提靱帯に印加される力を変調し、したがって、網膜ぼけが排除または最小限にされるまで、眼の水晶体の形状を変化させ、それによって、凝視されているオブジェクトの集束された画像を眼の網膜/中心窩上に形成し得る。眼の水晶体が形状を変化させるプロセスは、遠近調節と称され得、凝視されているオブジェクトの集束された画像を眼の網膜/中心窩上に形成するために要求される眼の水晶体の形状は、遠近調節状態と称され得る。
ここで図4Aを参照すると、ヒト視覚系の遠近調節-輻輳・開散運動応答の表現が、図示される。オブジェクトを凝視するための眼の移動は、眼にオブジェクトからの光を受信させ、光は、画像を眼の網膜のそれぞれ上に形成する。網膜上に形成される画像内の網膜ぼけの存在は、遠近調節のためのキューを提供し得、網膜上の画像の相対的場所は、輻輳・開散運動のためのキューを提供し得る。遠近調節するためのキューは、遠近調節を生じさせ、眼の水晶体がオブジェクトの集束された画像を眼の網膜/中心窩上に形成する特定の遠近調節状態をとる結果をもたらす。一方、輻輳・開散運動のためのキューは、各眼の各網膜上に形成される画像が単一両眼視を維持する対応する網膜点にあるように、輻輳・開散運動による移動(眼の回転)を生じさせる。これらの位置では、眼は、特定の輻輳・開散運動状態をとっていると言え得る。図4Aを継続して参照すると、遠近調節は、眼が特定の遠近調節状態を達成するプロセスであると理解され得、輻輳・開散運動は、眼が特定の輻輳・開散運動状態を達成するプロセスであると理解され得る。図4Aに示されるように、眼の遠近調節および輻輳・開散運動状態は、ユーザが別のオブジェクトを凝視する場合、変化し得る。例えば、遠近調節された状態は、ユーザがz-軸上の異なる深度における新しいオブジェクトを凝視する場合、変化し得る。
理論によって限定されるわけではないが、オブジェクトの視認者は、輻輳・開散運動および遠近調節の組み合わせに起因して、オブジェクトを「3次元」であると知覚し得ると考えられる。前述のように、2つの眼の相互に対する輻輳・開散運動による移動(例えば、瞳孔が相互に向かって、またはそこから移動し、眼の視線を収束させ、オブジェクトを凝視するような眼の回転)は、眼の水晶体の遠近調節と密接に関連付けられる。通常条件下では、眼の水晶体の形状を変化させ、1つのオブジェクトから異なる距離における別のオブジェクトに焦点を変化させることは、自動的に、「遠近調節-輻輳・開散運動反射」として知られる関係下、同一距離まで輻輳・開散運動における整合する変化を生じさせるであろう。同様に、輻輳・開散運動における変化は、通常条件下、水晶体形状における整合する変化をトリガするであろう。
ここで図4Bを参照すると、眼の異なる遠近調節および輻輳・開散運動状態の実施例が、図示される。対の眼222aは、光学無限遠におけるオブジェクトを凝視する一方、対の眼222bは、光学無限遠未満におけるオブジェクト221を凝視する。着目すべきこととして、各対の眼の輻輳・開散運動状態は、異なり、対の眼222aは、まっすぐ指向される一方、対の眼222は、オブジェクト221上に収束する。各対の眼222aおよび222bを形成する眼の遠近調節状態もまた、水晶体210a、220aの異なる形状によって表されるように異なる。
望ましくないことに、従来の「3-D」ディスプレイシステムの多くのユーザは、これらのディスプレイにおける遠近調節と輻輳・開散運動状態との間の不整合に起因して、そのような従来のシステムを不快であると見出す、または奥行感を全く知覚しない場合がある。前述のように、多くの立体視または「3-D」ディスプレイシステムは、若干異なる画像を各眼に提供することによって、場面を表示する。そのようなシステムは、それらが、とりわけ、単に、場面の異なる提示を提供し、眼の輻輳・開散運動状態に変化を生じさせるが、それらの眼の遠近調節状態に対応する変化を伴わないため、多くの視認者にとって不快である。むしろ、画像は、眼が全ての画像情報を単一遠近調節状態において視認するように、ディスプレイによって眼から固定距離に示される。そのような配列は、遠近調節状態における整合する変化を伴わずに輻輳・開散運動状態に変化を生じさせることによって、「遠近調節-輻輳・開散運動反射」に逆らう。本不整合は、視認者不快感を生じさせると考えられる。遠近調節と輻輳・開散運動との間のより良好な整合を提供する、ディスプレイシステムは、3次元画像のより現実的かつ快適なシミュレーションを形成し得る。
理論によって限定されるわけではないが、ヒトの眼は、典型的には、有限数の深度平面を解釈し、深度知覚を提供することができると考えられる。その結果、知覚された深度の高度に真実味のあるシミュレーションが、眼にこれらの限定数の深度平面のそれぞれに対応する画像の異なる提示を提供することによって達成され得る。いくつかの実施形態では、異なる提示は、輻輳・開散運動のためのキューおよび遠近調節するための整合するキューの両方を提供し、それによって、生理学的に正しい遠近調節-輻輳・開散運動整合を提供してもよい。
図4Bを継続して参照すると、眼210、220からの空間内の異なる距離に対応する、2つの深度平面240が、図示される。所与の深度平面240に関して、輻輳・開散運動キューが、眼210、220毎に適切に異なる視点の画像を表示することによって提供されてもよい。加えて、所与の深度平面240に関して、各眼210、220に提供される画像を形成する光は、その深度平面240の距離におけるある点によって生成されたライトフィールドに対応する波面発散を有してもよい。
図示される実施形態では、点221を含有する、深度平面240のz-軸に沿った距離は、1mである。本明細書で使用されるように、z-軸に沿った距離または深度は、ユーザの眼の射出瞳に位置するゼロ点を用いて測定されてもよい。したがって1mの深度に位置する深度平面240は、それらの眼の光学軸上のユーザの眼の射出瞳から1m離れた距離に対応する。近似値として、z-軸に沿った深度または距離は、ユーザの眼の正面のディスプレイ(例えば、導波管の表面)から測定され、デバイスとユーザの眼の射出瞳との間の距離に関する値が加えられてもよい。その値は、瞳距離と呼ばれ、ユーザの眼の射出瞳と眼の正面のユーザによって装着されるディスプレイとの間の距離に対応し得る。実際は、瞳距離に関する値は、概して、全ての視認者に関して使用される、正規化された値であってもよい。例えば、瞳距離は、20mmであると仮定され得、1mの深度における深度平面は、ディスプレイの正面の980mmの距離にあり得る。
図5は、波面発散を修正することによって、3次元画像をシミュレートするためのアプローチの側面を図示する。ディスプレイシステムは、画像情報でエンコードされた光770を受信し、その光をユーザの眼210に出力するように構成される、導波管270を含む。導波管270は、所望の深度平面240上のある点によって生成されたライトフィールドの波面発散に対応する定義された波面発散量を伴って光650を出力してもよい。いくつかの実施形態では、同一量の波面発散が、その深度平面上に提示される全てのオブジェクトのために提供される。加えて、ユーザの他方の眼は、類似導波管からの画像情報を提供され得るように図示されるであろう。
いくつかの実施形態では、単一導波管が、単一または限定数の深度平面に対応する設定された波面発散量を伴う光を出力するように構成されてもよく、および/または導波管は、限定された範囲の波長の光を出力するように構成されてもよい。その結果、いくつかの実施形態では、複数またはスタックの導波管が、異なる深度平面のための異なる波面発散量を提供し、および/または異なる範囲の波長の光を出力するために利用されてもよい。
図6は、画像情報をユーザに出力するための導波管スタックの実施例を図示する。ディスプレイシステム250は、複数の導波管270、280、290、300、310を使用して3次元知覚を眼/脳に提供するために利用され得る、導波管のスタックまたはスタックされた導波管アセンブリ260を含む。ディスプレイシステム250は、いくつかの実施形態では、ライトフィールドディスプレイと見なされてもよいことを理解されたい。加えて、導波管アセンブリ260はまた、接眼レンズとも称され得る。
いくつかの実施形態では、ディスプレイシステム250は、輻輳・開散運動するための実質的に連続的なキューおよび遠近調節するための複数の離散キューを提供するように構成されてもよい。輻輳・開散運動のためのキューは、異なる画像をユーザの眼のそれぞれに表示することによって提供されてもよく、遠近調節のためのキューは、離散量の波面発散を伴う画像を形成する光を出力することによって提供されてもよい。いくつかの実施形態では、波面発散の各離散レベルは、特定の深度平面に対応し、導波管270、280、290、300、310のうちの特定の1つによって提供されてもよい。
図6を継続して参照すると、導波管アセンブリ260はまた、複数の特徴320、330、340、350を導波管間に含んでもよい。いくつかの実施形態では、特徴320、330、340、350は、1つまたはそれを上回るレンズであってもよい。導波管270、280、290、300、310および/または複数のレンズ320、330、340、350は、種々のレベルの波面曲率または光線発散を用いて画像情報を眼に送信するように構成されてもよい。各導波管レベルは、特定の深度平面と関連付けられてもよく、その深度平面に対応する画像情報を出力するように構成されてもよい。画像投入デバイス360、370、380、390、400は、導波管のための光源として機能してもよく、画像情報を導波管270、280、290、300、310の中に投入するために利用されてもよく、それぞれ、本明細書に説明されるように、眼210に向かって出力のために各個別の導波管を横断して入射光を分散させるように構成されてもよい。光は、画像投入デバイス360、370、380、390、400の出力表面410、420、430、440、450から出射し、導波管270、280、290、300、310の対応する入力表面460、470、480、490、500の中に投入される。いくつかの実施形態では、入力表面460、470、480、490、500はそれぞれ、対応する導波管の縁であってもよい、または対応する導波管の主要表面の一部(すなわち、世界510または視認者の眼210に直接面する導波管表面のうちの1つ)であってもよい。いくつかの実施形態では、光の単一ビーム(例えば、コリメートされたビーム)が、各導波管の中に投入され、クローン化されたコリメートビームの全体場を出力してもよく、これは、特定の導波管と関連付けられた深度平面に対応する特定の角度(および発散量)において眼210に向かって指向される。いくつかの実施形態では、画像投入デバイス360、370、380、390、400のうちの単一の1つは、複数(例えば、3つ)の導波管270、280、290、300、310と関連付けられ、その中に光を投入してもよい。
いくつかの実施形態では、画像投入デバイス360、370、380、390、400はそれぞれ、それぞれ対応する導波管270、280、290、300、310の中への投入のために画像情報を生成する、離散ディスプレイである。いくつかの他の実施形態では、画像投入デバイス360、370、380、390、400は、例えば、画像情報を1つまたはそれを上回る光学導管(光ファイバケーブル等)を介して画像投入デバイス360、370、380、390、400のそれぞれに送り得る、単一の多重化されたディスプレイの出力端である。画像投入デバイス360、370、380、390、400によって提供される画像情報は、異なる波長または色(例えば、本明細書に議論されるように、異なる原色)の光を含んでもよいことを理解されたい。
いくつかの実施形態では、導波管270、280、290、300、310の中に投入される光は、光プロジェクタシステム520によって提供され、これは、光モジュール530を備え、これは、発光ダイオード(LED)等の光エミッタを含んでもよい。光モジュール530からの光は、ビームスプリッタ550を介して、光変調器540、例えば、空間光変調器によって指向および修正されてもよい。光変調器540は、導波管270、280、290、300、310の中に投入される光の知覚される強度を変化させ、光を画像情報でエンコードするように構成されてもよい。空間光変調器の実施例は、液晶ディスプレイ(LCD)を含み、シリコン上液晶(LCOS)ディスプレイを含む。画像投入デバイス360、370、380、390、400は、図式的に図示され、いくつかの実施形態では、これらの画像投入デバイスは、光を導波管270、280、290、300、310の関連付けられたものの中に出力するように構成される、共通投影システム内の異なる光経路および場所を表し得ることを理解されたい。いくつかの実施形態では、導波管アセンブリ260の導波管は、導波管の中に投入された光をユーザの眼に中継しながら、理想的レンズとして機能し得る。本概念では、オブジェクトは、空間光変調器540であってもよく、画像は、深度平面上の画像であってもよい。
いくつかの実施形態では、ディスプレイシステム250は、光を種々のパターン(例えば、ラスタ走査、螺旋走査、リサジューパターン等)で1つまたはそれを上回る導波管270、280、290、300、310の中に、最終的には、視認者の眼210に投影するように構成される、1つまたはそれを上回る走査ファイバを備える、走査ファイバディスプレイであってもよい。いくつかの実施形態では、図示される画像投入デバイス360、370、380、390、400は、光を1つまたは複数の導波管270、280、290、300、310の中に投入するように構成される、単一走査ファイバまたは走査ファイバの束を図式的に表し得る。いくつかの他の実施形態では、図示される画像投入デバイス360、370、380、390、400は、複数の走査ファイバまたは走査ファイバの複数の束を図式的に表し得、それぞれ、光を導波管270、280、290、300、310のうちの関連付けられた1つの中に投入するように構成される。1つまたはそれを上回る光ファイバは、光を光モジュール530から1つまたはそれを上回る導波管270、280、290、300、310に伝送するように構成されてもよいことを理解されたい。1つまたはそれを上回る介在光学構造が、走査ファイバまたは複数のファイバと、1つまたはそれを上回る導波管270、280、290、300、310との間に提供され、例えば、走査ファイバから出射する光を1つまたはそれを上回る導波管270、280、290、300、310の中に再指向してもよいことを理解されたい。
コントローラ560は、画像投入デバイス360、370、380、390、400、光源530、および光モジュール540の動作を含む、スタックされた導波管アセンブリ260のうちの1つまたはそれを上回るものの動作を制御する。いくつかの実施形態では、コントローラ560は、ローカルデータ処理モジュール140の一部である。コントローラ560は、例えば、本明細書に開示される種々のスキームのいずれかに従って、導波管270、280、290、300、310への画像情報のタイミングおよびプロビジョニングを調整する、プログラミング(例えば、非一過性媒体内の命令)を含む。いくつかの実施形態では、コントローラは、単一一体型デバイスまたは有線または無線通信チャネルによって接続される分散型システムであってもよい。コントローラ560は、いくつかの実施形態では、処理モジュール140または150(図9D)の一部であってもよい。
図6を継続して参照すると、導波管270、280、290、300、310は、全内部反射(TIR)によって各個別の導波管内で光を伝搬するように構成されてもよい。導波管270、280、290、300、310はそれぞれ、主要な上部および底部表面およびそれらの主要上部表面と底部表面との間に延在する縁を伴う、平面状であるかまたは別の形状(例えば、湾曲)を有してもよい。図示される構成では、導波管270、280、290、300、310はそれぞれ、各個別の導波管内で伝搬する光を導波管から再指向し、画像情報を眼210に出力することによって、光を導波管から抽出するように構成される、外部結合光学要素570、580、590、600、610を含んでもよい。抽出された光はまた、外部結合光と称され得、外部結合光学要素はまた、光抽出光学要素と称され得る。抽出された光のビームは、導波管によって、導波管内を伝搬する光が光抽出光学要素に衝打する場所において出力され得る。外部結合光学要素570、580、590、600、610は、例えば、本明細書にさらに議論されるような回折光学特徴を含む、格子であってもよい。説明の容易性および図面の明確性のために、導波管270、280、290、300、310の底部主要表面に配置されて図示されるが、いくつかの実施形態では、外部結合光学要素570、580、590、600、610は、本明細書にさらに議論されるように、上部および/または底部主要表面に配置されてもよい、および/または導波管270、280、290、300、310の体積内に直接配置されてもよい。いくつかの実施形態では、外部結合光学要素570、580、590、600、610は、透明基板に取り付けられ、導波管270、280、290、300、310を形成する、材料の層内に形成されてもよい。いくつかの他の実施形態では、導波管270、280、290、300、310は、材料のモノリシック部品であってもよく、外部結合光学要素570、580、590、600、610は、材料のその部品の表面上および/またはその内部に形成されてもよい。
図6を継続して参照すると、本明細書に議論されるように、各導波管270、280、290、300、310は、光を出力し、特定の深度平面に対応する画像を形成するように構成される。例えば、眼の最近傍の導波管270は、眼210にコリメートされた光(そのような導波管270の中に投入された)を送達するように構成されてもよい。コリメートされた光は、光学無限遠焦点面を表し得る。次の上方の導波管280は、眼210に到達し得る前に、第1のレンズ350(例えば、負のレンズ)を通して通過する、コリメートされた光を送出するように構成されてもよい。そのような第1のレンズ350は、眼/脳が、その次の上方の導波管280から生じる光を光学無限遠から眼210に向かって内向きにより近い第1の焦点面から生じるように解釈するように、若干の凸面波面曲率を生成するように構成されてもよい。同様に、第3の上方の導波管290は、眼210に到達する前に、その出力光を第1のレンズ350および第2の340レンズの両方を通して通過させる。第1のレンズ350および第2の340レンズの組み合わせられた屈折力は、眼/脳が、第3の導波管290から生じる光が次の上方の導波管280からの光であったよりも光学無限遠から人物に向かって内向きにさらに近い第2の焦点面から生じるように解釈するように、別の漸増量の波面曲率を生成するように構成されてもよい。
他の導波管層300、310およびレンズ330、320も同様に構成され、スタック内の最高導波管310は、人物に最も近い焦点面を表す集約焦点力のために、その出力をそれと眼との間のレンズの全てを通して送出する。スタックされた導波管アセンブリ260の他側の世界510から生じる光を視認/解釈するとき、レンズ320、330、340、350のスタックを補償するために、補償レンズ層620が、スタックの上部に配置され、下方のレンズスタック320、330、340、350の集約力を補償してもよい。そのような構成は、利用可能な導波管/レンズ対と同じ数の知覚される焦点面を提供する。導波管の外部結合光学要素およびレンズの集束側面は両方とも、静的であってもよい(すなわち、動的または電気活性ではない)。いくつかの代替実施形態では、一方または両方とも、電気活性特徴を使用して動的であってもよい。
いくつかの実施形態では、導波管270、280、290、300、310のうちの2つまたはそれを上回るものは、同一の関連付けられた深度平面を有してもよい。例えば、複数の導波管270、280、290、300、310が、同一深度平面に設定される画像を出力するように構成されてもよい、または導波管270、280、290、300、310の複数のサブセットが、深度平面毎に1つのセットを伴う、同一の複数の深度平面に設定される画像を出力するように構成されてもよい。これは、それらの深度平面において拡張された視野を提供するようにタイリングされた画像を形成する利点を提供し得る。
図6を継続して参照すると、外部結合光学要素570、580、590、600、610は、導波管と関連付けられた特定の深度平面のために、光をその個別の導波管から再指向し、かつ本光を適切な量の発散またはコリメーションを伴って出力するように構成されてもよい。その結果、異なる関連付けられた深度平面を有する導波管は、外部結合光学要素570、580、590、600、610の異なる構成を有してもよく、これは、関連付けられた深度平面に応じて、異なる量の発散を伴う光を出力する。いくつかの実施形態では、光抽出光学要素570、580、590、600、610は、体積または表面特徴であってもよく、これは、具体的角度において光を出力するように構成されてもよい。例えば、光抽出光学要素570、580、590、600、610は、体積ホログラム、表面ホログラム、および/または回折格子であってもよい。いくつかの実施形態では、特徴320、330、340、350は、レンズではなくてもよい。むしろ、それらは、単に、スペーサ(例えば、クラッディング層および/または空隙を形成するための構造)であってもよい。
いくつかの実施形態では、外部結合光学要素570、580、590、600、610は、回折パターンまたは「回折光学要素」(また、本明細書では、「DOE」とも称される)を形成する、回折特徴である。好ましくは、DOEは、ビームの光の一部のみがDOEの各交差点を用いて眼210に向かって偏向される一方、残りがTIRを介して導波管を通して移動し続けるように、十分に低い回折効率を有する。画像情報を搬送する光は、したがって、様々な場所において導波管から出射するいくつかの関連出射ビームに分割され、その結果、導波管内でバウンスする本特定のコリメートされたビームに関して、眼210に向かって非常に均一なパターンの出射放出となる。
いくつかの実施形態では、1つまたはそれを上回るDOEは、能動的に回折する「オン」状態と有意に回折しない「オフ」状態との間で切替可能であってもよい。例えば、切替可能なDOEは、ポリマー分散液晶の層を備えてもよく、その中で微小液滴は、ホスト媒体中に回折パターンを備え、微小液滴の屈折率は、ホスト材料の屈折率に実質的に整合するように切り替えられてもよい(その場合、パターンは、入射光を著しく回折させない)、または微小液滴は、ホスト媒体のものに整合しない屈折率に切り替えられてもよい(その場合、パターンは、入射光を能動的に回折させる)。
いくつかの実施形態では、カメラアセンブリ630(例えば、可視光および赤外線光カメラを含む、デジタルカメラ)が、眼210および/または眼210の周囲の組織の画像を捕捉し、例えば、ユーザ入力を検出する、および/またはユーザの生理学的状態を監視するために提供されてもよい。本明細書で使用されるように、カメラは、任意の画像捕捉デバイスであってもよい。いくつかの実施形態では、カメラアセンブリ630は、画像捕捉デバイスと、光(例えば、赤外線光)を眼に投影する光源であって、該光が、次いで、眼によって反射され、画像捕捉デバイスによって検出され得る、光源とを含んでもよい。いくつかの実施形態では、カメラアセンブリ630は、フレーム80(図9D)に取り付けられてもよく、カメラアセンブリ630からの画像情報を処理し得る、処理モジュール140および/または150と電気通信してもよい。いくつかの実施形態では、1つのカメラアセンブリ630が、眼毎に利用され、各眼を別個に監視してもよい。
ここで図7を参照すると、導波管によって出力された出射ビームの実施例が、示される。1つの導波管が図示されるが、導波管アセンブリ260(図6)内の他の導波管も同様に機能し得、導波管アセンブリ260は、複数の導波管を含むことを理解されたい。光640が、導波管270の入力表面460において導波管270の中に投入され、TIRによって導波管270内を伝搬する。光640がDOE570上に衝突する点では、光の一部は、導波管から出射ビーム650として出射する。出射ビーム650は、略平行として図示されるが、本明細書に議論されるように、また、導波管270と関連付けられた深度平面に応じて、ある角度(例えば、発散出射ビームを形成する)において眼210に伝搬するように再指向されてもよい。略平行出射ビームは、眼210からの遠距離(例えば、光学無限遠)における深度平面に設定されるように現れる画像を形成するように光を外部結合する、外部結合光学要素を伴う導波管を示し得ることを理解されたい。他の導波管または他の外部結合光学要素のセットは、より発散する、出射ビームパターンを出力してもよく、これは、眼210がより近い距離に遠近調節し、網膜に合焦させることを要求し、光学無限遠より眼210に近い距離からの光として脳によって解釈されるであろう。
いくつかの実施形態では、フルカラー画像が、原色、例えば、3つまたはそれを上回る原色のそれぞれにおける画像をオーバーレイすることによって、各深度平面において形成されてもよい。図8は、スタックされた導波管アセンブリの実施例を図示し、各深度平面は、複数の異なる原色を使用して形成される画像を含む。図示される実施形態は、深度平面240a-240fを示すが、より多いまたはより少ない深度もまた、検討される。各深度平面は、第1の色Gの第1の画像、第2の色Rの第2の画像、および第3の色Bの第3の画像を含む、それと関連付けられた3つまたはそれを上回る原色画像を有してもよい。異なる深度平面は、文字G、R、およびBに続くジオプタ(dpt)に関する異なる数字によって図に示される。単なる実施例として、これらの文字のそれぞれに続く数字は、ジオプタ(1/m)、すなわち、視認者からの深度平面の逆距離を示し、図中の各ボックスは、個々の原色画像を表す。いくつかの実施形態では、異なる波長の光の眼の集束における差異を考慮するために、異なる原色に関する深度平面の正確な場所は、変動してもよい。例えば、所与の深度平面に関する異なる原色画像は、ユーザからの異なる距離に対応する深度平面上に設置されてもよい。そのような配列は、視力およびユーザ快適性を増加させ得、および/または色収差を減少させ得る。
いくつかの実施形態では、各原色の光は、単一の専用導波管によって出力されてもよく、その結果、各深度平面は、それと関連付けられた複数の導波管を有してもよい。そのような実施形態では、文字G、R、またはBを含む、図中の各ボックスは、個々の導波管を表すものと理解され得、3つの導波管は、深度平面毎に提供されてもよく、3つの原色画像が、深度平面毎に提供される。各深度平面と関連付けられた導波管は、本図面では、説明を容易にするために相互に隣接して示されるが、物理的デバイスでは、導波管は全て、レベル毎に1つの導波管を伴うスタックで配列されてもよいことを理解されたい。いくつかの他の実施形態では、複数の原色が、例えば、単一導波管のみが深度平面毎に提供され得るように、同一導波管によって出力されてもよい。
図8を継続して参照すると、いくつかの実施形態では、Gは、緑色であって、Rは、赤色であって、Bは、青色である。いくつかの他の実施形態では、マゼンタ色およびシアン色を含む、光の他の波長と関連付けられた他の色も、赤色、緑色、または青色のうちの1つまたはそれを上回るものに加えて使用されてもよい、またはそれらに取って代わってもよい。
本開示全体を通した所与の光の色の言及は、その所与の色として視認者によって知覚される、光の波長の範囲内の1つまたはそれを上回る波長の光を包含するものと理解されると理解されたい。例えば、赤色光は、約620~780nmの範囲内である1つまたはそれを上回る波長の光を含んでもよく、緑色光は、約492~577nmの範囲内である1つまたはそれを上回る波長の光を含んでもよく、青色光は、約435~493nmの範囲内である1つまたはそれを上回る波長の光を含んでもよい。
いくつかの実施形態では、光源530(図6)は、視認者の視覚的知覚範囲の外の1つまたはそれを上回る波長、例えば、赤外線および/または紫外線波長の光を放出するように構成されてもよい。加えて、ディスプレイ250の導波管の内部結合、外部結合、および他の光再指向構造は、例えば、撮像および/またはユーザ刺激用途のために、本光をディスプレイからユーザの眼210に向かって指向および放出するように構成されてもよい。
ここで図9Aを参照すると、いくつかの実施形態では、導波管に衝突する光は、その光を導波管の中に内部結合するために再指向される必要があり得る。内部結合光学要素が、光をその対応する導波管の中に再指向および内部結合するために使用されてもよい。図9Aは、それぞれ、内部結合光学要素を含む、複数またはセット660のスタックされた導波管の実施例の断面側面図を図示する。導波管はそれぞれ、1つまたはそれを上回る異なる波長または1つまたはそれを上回る異なる波長範囲の光を出力するように構成されてもよい。スタック660は、スタック260(図6)に対応してもよく、スタック660の図示される導波管は、複数の導波管270、280、290、300、310の一部に対応してもよいが、画像投入デバイス360、370、380、390、400のうちの1つまたはそれを上回るものからの光が、光が内部結合のために再指向されることを要求する位置から導波管の中に投入されることを理解されたい。
スタックされた導波管の図示されるセット660は、導波管670、680、および690を含む。各導波管は、関連付けられた内部結合光学要素(導波管上の光入力面積とも称され得る)を含み、例えば、内部結合光学要素700は、導波管670の主要表面(例えば、上側主要表面)上に配置され、内部結合光学要素710は、導波管680の主要表面(例えば、上側主要表面)上に配置され、内部結合光学要素720は、導波管690の主要表面(例えば、上側主要表面)上に配置される。いくつかの実施形態では、内部結合光学要素700、710、720のうちの1つまたはそれを上回るものは、個別の導波管670、680、690の底部主要表面上に配置されてもよい(特に、1つまたはそれを上回る内部結合光学要素は、反射性偏向光学要素である)。図示されるように、内部結合光学要素700、710、720は、その個別の導波管670、680、690の上側主要表面(または次の下側導波管の上部)上に配置されてもよく、特に、それらの内部結合光学要素は、透過性偏向光学要素である。いくつかの実施形態では、内部結合光学要素700、710、720は、個別の導波管670、680、690の本体内に配置されてもよい。いくつかの実施形態では、本明細書に議論されるように、内部結合光学要素700、710、720は、他の光の波長を透過しながら、1つまたはそれを上回る光の波長を選択的に再指向するような波長選択的である。その個別の導波管670、680、690の片側または角に図示されるが、内部結合光学要素700、710、720は、いくつかの実施形態では、その個別の導波管670、680、690の他の面積内に配置されてもよいことを理解されたい。
図示されるように、内部結合光学要素700、710、720は、相互から側方にオフセットされてもよい。いくつかの実施形態では、各内部結合光学要素は、その光が別の内部結合光学要素を通して通過せずに、光を受信するようにオフセットされてもよい。例えば、各内部結合光学要素700、710、720は、図6に示されるように、光を異なる画像投入デバイス360、370、380、390、および400から受信するように構成されてもよく、光を内部結合光学要素700、710、720の他のものから実質的に受信しないように、他の内部結合光学要素700、710、720から分離されてもよい(例えば、側方に離間される)。
各導波管はまた、関連付けられた光分散要素を含み、例えば、光分散要素730は、導波管670の主要表面(例えば、上部主要表面)上に配置され、光分散要素740は、導波管680の主要表面(例えば、上部主要表面)上に配置され、光分散要素750は、導波管690の主要表面(例えば、上部主要表面)上に配置される。いくつかの他の実施形態では、光分散要素730、740、750は、それぞれ、関連付けられた導波管670、680、690の底部主要表面上に配置されてもよい。いくつかの他の実施形態では、光分散要素730、740、750は、それぞれ、関連付けられた導波管670、680、690の上部および底部両方の主要表面上に配置されてもよい、または光分散要素730、740、750は、それぞれ、異なる関連付けられた導波管670、680、690内の上部および底部主要表面の異なるもの上に配置されてもよい。
導波管670、680、690は、例えば、材料のガス、液体、および/または固体層によって離間および分離されてもよい。例えば、図示されるように、層760aは、導波管670および680を分離してもよく、層760bは、導波管680および690を分離してもよい。いくつかの実施形態では、層760aおよび760bは、低屈折率材料(すなわち、導波管670、680、690の直近のものを形成する材料より低い屈折率を有する材料)から形成される。好ましくは、層760a、760bを形成する材料の屈折率は、導波管670、680、690を形成する材料の屈折率の0.05以上または0.10以下である。有利には、より低い屈折率層760a、760bは、導波管670、680、690を通して光の全内部反射(TIR)(例えば、各導波管の上部および底部主要表面間のTIR)を促進する、クラッディング層として機能してもよい。いくつかの実施形態では、層760a、760bは、空気から形成される。図示されないが、導波管の図示されるセット660の上部および底部は、直近クラッディング層を含んでもよいことを理解されたい。
好ましくは、製造および他の考慮点を容易にするために、導波管670、680、690を形成する材料は、類似または同一であって、層760a、760bを形成する材料は、類似または同一である。いくつかの実施形態では、導波管670、680、690を形成する材料は、1つまたはそれを上回る導波管間で異なってもよい、および/または層760a、760bを形成する材料は、依然として、前述の種々の屈折率関係を保持しながら、異なってもよい。
図9Aを継続して参照すると、光線770、780、790が、導波管のセット660に入射する。光線770、780、790は、1つまたはそれを上回る画像投入デバイス360、370、380、390、400(図6)によって導波管670、680、690の中に投入されてもよいことを理解されたい。
いくつかの実施形態では、光線770、780、790は、異なる色に対応し得る、異なる性質、例えば、異なる波長または異なる波長範囲を有する。内部結合光学要素700、710、720はそれぞれ、光が、TIRによって、導波管670、680、690のうちの個別の1つを通して伝搬するように、入射光を偏向させる。いくつかの実施形態では、内部結合光学要素700、710、720はそれぞれ、他の波長を下層導波管および関連付けられた内部結合光学要素に透過させながら、1つまたはそれを上回る特定の光の波長を選択的に偏向させる。
例えば、内部結合光学要素700は、それぞれ、異なる第2および第3の波長または波長範囲を有する、光線780および790を透過させながら、第1の波長または波長範囲を有する、光線770を偏向させるように構成されてもよい。透過された光線780は、第2の波長または波長範囲の光を偏向させるように構成される、内部結合光学要素710に衝突し、それによって偏向される。光線790は、第3の波長または波長範囲の光を選択的に偏向させるように構成される、内部結合光学要素720によって偏向される。
図9Aを継続して参照すると、偏向された光線770、780、790は、対応する導波管670、680、690を通して伝搬するように偏向される。すなわち、各導波管の内部結合光学要素700、710、720は、光をその対応する導波管670、680、690の中に偏向させ、光を対応する導波管の中に内部結合する。光線770、780、790は、光をTIRによって個別の導波管670、680、690を通して伝搬させる角度で偏向される。光線770、780、790は、導波管の対応する光分散要素730、740、750に衝突するまで、TIRによって個別の導波管670、680、690を通して伝搬する。
ここで図9Bを参照すると、図9Aの複数のスタックされた導波管の実施例の斜視図が、図示される。前述のように、内部結合された光線770、780、790は、それぞれ、内部結合光学要素700、710、720によって偏向され、次いで、それぞれ、導波管670、680、690内でTIRによって伝搬する。光線770、780、790は、次いで、それぞれ、光分散要素730、740、750に衝突する。光分散要素730、740、750は、それぞれ、外部結合光学要素800、810、820に向かって伝搬するように、光線770、780、790を偏向させる。
いくつかの実施形態では、光分散要素730、740、750は、直交瞳エクスパンダ(OPE)である。いくつかの実施形態では、OPEは、光を外部結合光学要素800、810、820に偏向または分散し、いくつかの実施形態では、また、外部結合光学要素に伝搬するにつれて、本光のビームまたはスポットサイズを増加させ得る。いくつかの実施形態では、光分散要素730、740、750は、省略されてもよく、内部結合光学要素700、710、720は、光を直接的に外部結合光学要素800、810、820に偏向させるように構成されてもよい。例えば、図9Aを参照すると、光分散要素730、740、750は、それぞれ、外部結合光学要素800、810、820と置換されてもよい。いくつかの実施形態では、外部結合光学要素800、810、820は、光を視認者の眼210(図7)に指向させる、射出瞳(EP)または射出瞳エクスパンダ(EPE)である。OPEは、少なくとも1つの軸においてアイボックスの寸法を増加させるように構成されてもよく、EPEは、OPEの軸と交差する、例えば、直交する軸においてアイボックスを増加させてもよいことを理解されたい。例えば、各OPEは、光の残りの部分が導波管を辿って伝搬し続けることを可能にしながら、OPEに衝打する光の一部を同一導波管のEPEに再指向するように構成されてもよい。OPEへの衝突に応じて、再び、残りの光の別の部分は、EPEに再指向され、その部分の残りの部分は、導波管等を辿ってさらに伝搬し続ける。同様に、EPEへの衝打に応じて、衝突光の一部は、導波管からユーザに向かって指向され、その光の残りの部分は、EPに再び衝打するまで、導波管を通して伝搬し続け、その時点で、衝突する光の別の部分は、導波管から指向される等となる。その結果、内部結合された光の単一ビームは、その光の一部がOPEまたはEPEによって再指向される度に、「複製」され、それによって、図6に示されるように、クローン化された光のビーム野を形成し得る。いくつかの実施形態では、OPEおよび/またはEPEは、光のビームのサイズを修正するように構成されてもよい。
故に、図9Aおよび9Bを参照すると、いくつかの実施形態では、導波管のセット660は、原色毎に、導波管670、680、690と、内部結合光学要素700、710、720と、光分散要素(例えば、OPE)730、740、750と、外部結合光学要素(例えば、EP)800、810、820とを含む。導波管670、680、690は、各1つの間に空隙/クラッディング層を伴ってスタックされてもよい。内部結合光学要素700、710、720は、(異なる波長の光を受信する異なる内部結合光学要素を用いて)入射光をその導波管の中に再指向または偏向させる。光は、次いで、個別の導波670、680、690内にTIRをもたらすであろう角度で伝搬する。示される実施例では、光線770(例えば、青色光)は、前述の様式において、第1の内部結合光学要素700によって偏光され、次いで、導波管を辿ってバウンスし続け、光分散要素(例えば、OPE)730、次いで、外部結合光学要素(例えば、EP)800と相互作用する。光線780および790(例えば、それぞれ、緑色および赤色光)は、導波管670を通して通過し、光線780は、内部結合光学要素710上に入射し、それによって偏向される。光線780は、次いで、TIRを介して、導波管680を辿ってバウンスし、その光分散要素(例えば、OPE)740、次いで、外部結合光学要素(例えば、EP)810に進むであろう。最後に、光線790(例えば、赤色光)は、導波管690を通して通過し、導波管690の光内部結合光学要素720に衝突する。光内部結合光学要素720は、光線が、TIRによって光分散要素(例えば、OPE)750に、次いで、TIRによって外部結合光学要素(例えば、EP)820に伝搬するように、光線790を偏向させる。外部結合光学要素820は、次いで、最後に、光線790を視認者に外部結合し、視認者はまた、他の導波管670、680からの外部結合した光も受信する。
図9Cは、図9Aおよび9Bの複数のスタックされた導波管の実施例の上下平面図を図示する。図示されるように、導波管670、680、690は、各導波管の関連付けられた光分散要素730、740、750および関連付けられた外部結合光学要素800、810、820とともに、垂直に整合されてもよい。しかしながら、本明細書に議論されるように、内部結合光学要素700、710、720は、垂直に整合されない。むしろ、内部結合光学要素は、好ましくは、非重複する(例えば、上下図に見られるように、側方に離間される)。本明細書でさらに議論されるように、本非重複空間配列は、1対1ベースで異なるリソースから異なる導波管の中への光の投入を促進し、それによって、具体的光源が具体的導波管にユニークに結合されることを可能にする。いくつかの実施形態では、非重複の空間的に分離される内部結合光学要素を含む、配列は、偏移瞳システムと称され得、これらの配列内の内部結合光学要素は、サブ瞳に対応し得る。
図9Dは、本明細書に開示される種々の導波管および関連システムが統合され得る、ウェアラブルディスプレイシステム60の実施例を図示する。いくつかの実施形態では、ディスプレイシステム60は、図6のシステム250であって、図6は、そのシステム60のいくつかの部分をより詳細に図式的に示す。例えば、図6の導波管アセンブリ260は、ディスプレイ70の一部であってもよい。
図9Dを継続して参照すると、ディスプレイシステム60は、ディスプレイ70と、そのディスプレイ70の機能をサポートするための種々の機械的および電子的モジュールおよびシステムとを含む。ディスプレイ70は、フレーム80に結合されてもよく、これは、ディスプレイシステムユーザまたは視認者90によって装着可能であって、ディスプレイ70をユーザ90の眼の正面に位置付けるように構成される。ディスプレイ70は、いくつかの実施形態では、アイウェアと見なされ得る。いくつかの実施形態では、スピーカ100が、フレーム80に結合され、ユーザ90の外耳道に隣接して位置付けられるように構成される(いくつかの実施形態では、示されない別のスピーカも、随意に、ユーザの他方の外耳道に隣接して位置付けられ、ステレオ/成形可能音制御を提供してもよい)。ディスプレイシステムはまた、1つまたはそれを上回るマイクロホン110または他のデバイスを含み、音を検出してもよい。いくつかの実施形態では、マイクロホンは、ユーザが入力またはコマンドをシステム60に提供することを可能にするように構成され(例えば、音声メニューコマンドの選択、自然言語質問等)、および/または他の人物(例えば、類似ディスプレイシステムの他のユーザ)とのオーディオ通信を可能にしてもよい。マイクロホンはさらに、周辺センサとして構成され、オーディオデータ(例えば、ユーザおよび/または環境からの音)を収集してもよい。いくつかの実施形態では、ディスプレイシステムはまた、周辺センサ120aを含んでもよく、これは、フレーム80と別個であって、ユーザ90の身体(例えば、ユーザ90の頭部、胴体、四肢等)上に取り付けられてもよい。周辺センサ120aは、いくつかの実施形態では、ユーザ90の生理学的状態を特徴付けるデータを入手するように構成されてもよい。例えば、センサ120aは、電極であってもよい。
図9Dを継続して参照すると、ディスプレイ70は、有線導線または無線コネクティビティ等の通信リンク130によって、ローカルプロセッサまたはデータ処理モジュール140に動作可能に結合され、これは、フレーム80を固定して取り付けられる、ユーザによって装着されるヘルメットまたは帽子を固定して取り付けられる、ヘッドホン内に埋設される、または別様にユーザ90に除去可能に取り付けられる(例えば、リュック式構成、ベルト結合式構成において)等、種々の構成で搭載されてもよい。同様に、センサ120aは、通信リンク120b、例えば、有線導線または無線コネクティビティによって、ローカルデータ処理モジュール140に動作可能に結合されてもよい。ローカルプロセッサおよびデータモジュール140は、ハードウェアプロセッサおよび不揮発性メモリ(例えば、フラッシュメモリまたはハードディスクドライブ)等のデジタルメモリを備えてもよく、両方とも、データの処理、キャッシュ、および記憶を補助するために利用されてもよい。随意に、ローカルプロセッサおよびデータモジュール140は、1つまたはそれを上回る中央処理ユニット(CPU)、グラフィック処理ユニット(GPU)、専用処理ハードウェア等を含んでもよい。データは、a)センサ(画像捕捉デバイス(カメラ等)、マイクロホン、慣性測定ユニット、加速度計、コンパス、GPSユニット、無線デバイス、ジャイロスコープ、および/または本明細書に開示される他のセンサ等(例えば、フレーム80に動作可能に結合される、または別様にユーザ90に取り付けられ得る))から捕捉された、および/またはb)可能性として処理または読出後にディスプレイ70への通過のための遠隔処理モジュール150および/または遠隔データリポジトリ160(仮想コンテンツに関連するデータを含む)を使用して取得および/または処理されたデータを含んでもよい。ローカル処理およびデータモジュール140は、これらの遠隔モジュール150、160が相互に動作可能に結合され、ローカル処理およびデータモジュール140に対するリソースとして利用可能であるように、有線または無線通信リンクを介して等、通信リンク170、180によって、遠隔処理モジュール150および遠隔データリポジトリ160に動作可能に結合されてもよい。いくつかの実施形態では、ローカル処理およびデータモジュール140は、画像捕捉デバイス、マイクロホン、慣性測定ユニット、加速度計、コンパス、GPSユニット、無線デバイス、および/またはジャイロスコープのうちの1つまたはそれを上回るものを含んでもよい。いくつかの他の実施形態では、これらのセンサのうちの1つまたはそれを上回るものは、フレーム80に取り付けられてもよい、または有線または無線通信経路によってローカル処理およびデータモジュール140と通信する、独立構造であってもよい。
図9Dを継続して参照すると、いくつかの実施形態では、遠隔処理モジュール150は、データおよび/または画像情報を分析および処理するように構成される、1つまたはそれを上回るプロセッサを備えてもよく、例えば、1つまたはそれを上回る中央処理ユニット(CPU)、グラフィック処理ユニット(GPU)、専用処理ハードウェア等を含む。いくつかの実施形態では、遠隔データリポジトリ160は、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であり得る、デジタルデータ記憶設備を備えてもよい。いくつかの実施形態では、遠隔データリポジトリ160は、1つまたはそれを上回る遠隔サーバを含んでもよく、これは、情報、例えば、拡張現実コンテンツをローカル処理およびデータモジュール140および/または遠隔処理モジュール150に生成するための情報を提供する。いくつかの実施形態では、全てのデータが、記憶され、全ての計算は、ローカル処理およびデータモジュール内で行われ、遠隔モジュールからの完全に自律的な使用を可能にする。随意に、CPU、GPU等を含む、外部システム(例えば、1つまたはそれを上回るプロセッサ、1つまたはそれを上回るコンピュータのシステム)が、処理(例えば、画像情報を生成する、データを処理する)の少なくとも一部を実施し、例えば、無線または有線接続を介して、情報をモジュール140、150、160に提供し、情報をそこから受信してもよい。
深度平面構成
ここで図10Aおよび10Bを参照すると、整合された遠近調節-輻輳・開散運動距離および不整合の遠近調節-輻輳・開散運動距離の実施例が、それぞれ、図示される。図10Aに図示されるように、ディスプレイシステムは、仮想オブジェクトの画像を各眼210、220に提供してもよい。画像は、眼210、220に、眼が深度平面240上の点15に収束する、輻輳・開散運動状態をとらせ得る。加えて、画像は、その深度平面240における実オブジェクトに対応する波面曲率を有する光によって形成されてもよい。その結果、眼210、220は、画像がそれらの眼の網膜上に合焦する、遠近調節状態をとる。したがって、ユーザは、仮想オブジェクトを深度平面240上の点15にあるように知覚し得る。
眼210、220の遠近調節および輻輳・開散運動状態のそれぞれは、z-軸上の特定の距離と関連付けられることを理解されたい。例えば、眼210、220からの特定の距離におけるオブジェクトは、それらの眼に、オブジェクトの距離に基づいて、特定の遠近調節状態をとらせる。特定の遠近調節状態と関連付けられた距離は、遠近調節距離Aと称され得る。同様に、眼、特に、輻輳・開散運動状態または相互に対する位置と関連付けられた特定の輻輳・開散運動距離Vも、存在する。遠近調節距離および輻輳・開散運動距離が整合する場合、遠近調節と輻輳・開散運動との間の関係は、生理学的に正しいと言え得る。これは、視認者のために最も快適なシナリオと見なされる。
しかしながら、立体視ディスプレイでは、遠近調節距離および輻輳・開散運動距離が、常には整合しない場合がある。例えば、図10Bに図示されるように、眼210、220に表示される画像は、深度平面240に対応する波面発散を伴って表示され得、眼210、220は、その深度平面上の点15a、15bが合焦する、特定の遠近調節状態をとり得る。しかしながら、眼210、220に表示される画像は、眼210、220を深度平面240上に位置しない点15に収束させる、輻輳・開散運動するためのキューを提供し得る。その結果、いくつかの実施形態では、遠近調節距離は、眼210、220の射出瞳から深度平面240までの距離に対応する一方、輻輳・開散運動距離は、眼210、220の射出瞳から点15までのより大きい距離に対応する。遠近調節距離は、輻輳・開散運動距離と異なる。その結果、遠近調節-輻輳・開散運動不整合が、存在する。そのような不整合は、望ましくないと見なされ、不快感をユーザに生じさせ得る。不整合は、距離(例えば、V-A)に対応し、ジオプタを使用して特徴付けられ得ることを理解されたい。
いくつかの実施形態では、眼210、220の射出瞳以外の参照点が、同一参照点が遠近調節距離および輻輳・開散運動距離のために利用される限り、距離を判定するために利用されてもよいことを理解されたい。例えば、距離は、角膜から深度平面まで、網膜から深度平面まで、接眼レンズ(例えば、ディスプレイデバイスの導波管)から深度平面まで等で測定され得る。
遠近調節-輻輳・開散運動不整合の潜在性、そのような不整合が概して望ましくないという知覚、およびディスプレイシステムがほぼ無限数の可能性として考えられる輻輳・開散運動キューを提供する能力に起因して、多数の可能性として考えられる輻輳・開散運動キューに可能な限り密接に整合するために、多数の可能性として考えられる遠近調節キューを提供するため、仮想コンテンツを多数の深度平面上に提供可能なディスプレイシステムを提供することが望ましいと考えられている。しかしながら、本明細書に記載されるように、多数の深度平面は、多数の関連付けられた導波管を要求し得る。これは、望ましくないことに、大型かつ重いデバイスをもたらし得、これは、不快であり得、また、製造が困難であり、それに加え、可能性として、光が視認者に到達するために伝搬しなければならないスタック内の多数の光学的活性特徴に起因して、光学収差を生じさせ得る(ディスプレイによって投影された画像コンテンツおよび外界から受信された光の両方に)。
有利には、真実味のある3次元体験は、仮想コンテンツを比較的に小数の深度平面上に提供するディスプレイシステムを使用して、達成され得ることが見出されている。例えば、いくつかの実施形態では、ディスプレイシステムによって提供される深度平面の総数は、2つであってもよい。他の実施形態では、ディスプレイシステムによって提供される深度平面の総数は、1つであってもよい。加えて、2つを上回る深度平面を有する、ディスプレイシステムも、検討される。例えば、深度平面の総数は、いくつかの実施形態では、4つまたはそれ未満または3つまたはそれ未満であってもよい。本明細書に議論されるように、深度平面の総数は、ディスプレイシステムが仮想オブジェクトを表示することが予期されるユーザまでの距離に基づいて、特定の用途に合わせて調整されてもよい。例えば、深度平面の数は、仮想オブジェクトのユーザまでの距離の減少に伴って増加してもよい。
理論によって限定されるわけではないが、ユーザは、依然として、不整合自体が有意な不快感を生じさせずに、生理学的に正しいと見なされるような0.25ジオプタ、0.33ジオプタ、および最大約0.5ジオプタの遠近調節-輻輳・開散運動不整合を知覚し得ると考えられる。その結果、特定の範囲内の不整合に関する視認者の公差に照らして、限定数の深度平面を用いて、生理学的に正しい遠近調節-輻輳・開散運動不整合を提供することが可能である。表示されているコンテンツに応じて、深度平面の数は、1つまたは2つであってもよい。いくつかの他の実施形態では、2つを上回る深度平面もまた、本明細書に議論されるように、実装されてもよい。
いくつかの実施形態では、z-軸上への深度平面の設置は、光学無限遠を参照して選択される。図11は、容認可能遠近調節-輻輳・開散運動不整合を考慮した深度平面設置の実施例を図示する。z-軸上の最も遠い深度平面は、光学無限遠の生理学的に容認可能遠近調節-輻輳・開散運動不整合内にある距離にあるように選択されてもよい。不整合は、好ましくは、約0.5ジオプタまたはそれ未満、より好ましくは、約0.33ジオプタまたはそれ未満、または約0.25ジオプタまたはそれ未満である。いくつかの実施形態では、約0.55ジオプタの不整合が、検討される。本深度平面は、ディスプレイによって提供される最も遠い深度平面であると見なされ得、光学無限遠未満にあることを理解されたい。
付加的深度平面もまた、視認者60のより近くに提供されてもよい。好ましくは、本付加的深度平面は、容認可能遠近調節-輻輳・開散運動不整合の2倍またはそれ未満だけより遠い深度平面から離間される。例えば、2つの深度平面間の間隔は、好ましくは、約1.0ジオプタまたはそれ未満、より好ましくは、約0.66ジオプタまたはそれ未満(例えば、0.667ジオプタまたはそれ未満)、または約0.5ジオプタまたはそれ未満である。
図11を継続して参照すると、図示される実施例では、2つの深度平面構成が、示される。比較的に近い深度平面3000(近接度は、視認者60に対して判定される)が、1.0ジオプタに提供され、最も遠い深度平面3002が、0.3ジオプタ(約0.33ジオプタを含む)に提供される。深度平面3000および3002は、1.0ジオプタ未満だけ分離される。図示されるように、深度平面3000は、±0.3ジオプタの容認可能不整合範囲を仮定し、3000aおよび3000bによって定義された容認可能遠近調節-輻輳・開散運動不整合域を有する。有利には、理論によって限定されるわけではないが、容認可能不整合範囲内のユーザから離れた距離における、仮想オブジェクトを描写する画像コンテンツは、不快であってユーザによって検出可能な遠近調節-輻輳・開散運動不整合を生じさせずに、深度平面3000上に表示され得ると考えられる。
下限3000aは、依然として、間隙をそれと視認者60との間に残すことを理解されたい。不整合が、0.3ジオプタであるように選択されたため、依然として、0.5ジオプタ以内にある、空間3008が存在する。その結果、いくつかのコンテンツは、依然として、本距離に表示され得る。好ましくは、これは、容認可能不整合の外側範囲にあるため、コンテンツの持続時間および/または空間周波数は、本明細書に議論されるように、限定され得る。
図12は、容認可能遠近調節-輻輳・開散運動不整合を考慮した深度平面設置の別の実施例を図示する。本実施例では、最も遠い深度平面3002を光学無限遠の容認可能不整合内に設置するのではなく、最も遠い深度平面3002は、光学無限遠との容認可能遠近調節-輻輳・開散運動不整合を上回るz-軸に沿った深度に設置されてもよい。そのような構成では、輻輳・開散運動キューに基づいてコンテンツを光学無限遠に設置することは、0.6ジオプタにおける深度平面3002に対応する波面発散を伴う光を出力する導波管によって提供される遠近調節キューとの不快な不整合を提供し得る。それにもかかわらず、そのような構成は、コンテンツが図11の構成よりユーザ60の近くに表示されることを可能にする。例えば、図12の配列が、適切な遠近調節-輻輳・開散運動整合を維持しながら、コンテンツを提供し得る、最近傍の深度は、63cmである。一方、図11の配列に関する最近傍の深度は、76cmである。
図13は、単一深度平面ディスプレイシステムに関する遠近調節-輻輳・開散運動不整合のプロットの実施例を図示する。点線は、視認者からの異なる(仮想)距離における遠近調節-輻輳・開散運動不整合を示す。水平軸は、視認者からの距離に対応し、垂直軸は、遠近調節-輻輳・開散運動不整合に対応し、これは、AVMとも称される。単一深度平面は、2mに位置付けられ、これは、ゼロの不整合と対応する。有利には、2mを上回る距離(例えば、z=2m~z=光学無限遠)では、遠近調節-輻輳・開散運動不整合は、常時、0.5ジオプタを下回ったままである。より近い距離では、不整合は、増加し、1m未満の視認者からの距離では、不整合は、生理学的に正しいと考えられるものを超え得る。1m未満の距離では、視認者不快感は、単にその距離における画像コンテンツを視認することからも予期され得る。
図14は、2つの深度平面ディスプレイシステムおよび1つの深度平面ディスプレイシステムに関する遠近調節-輻輳・開散運動不整合のプロットの実施例を図示する。実線は、2つの深度平面システムを示し、点線は、単一深度平面システムを示す。視認者からの大距離における遠近調節-輻輳・開散運動不整合は、2つの深度平面システムに関してはより少なく、2つの深度平面システムは、依然として、容認可能不整合値を維持しながら、コンテンツが視認者により近い距離に表示されることを可能にすることを理解されたい。いくつかの実施形態では、最も遠い深度平面は、光学無限遠の容認可能不整合値以内であってもよい。本明細書に議論されるように、容認可能不整合は、約0.5ジオプタまたはそれ未満、約0.33ジオプタまたはそれ未満、または約0.25ジオプタまたはそれ未満であってもよい。図示されるように、容認可能不整合は、0.33ジオプタであってもよい。いくつかの実施形態では、最も遠い深度平面は、0.33ジオプタ(ユーザから3mに対応する)に設定されてもよく、より近い第2の深度平面は、容認可能不整合の2倍と等しい値、例えば、0.33ジオプタ×2、すなわち、0.66ジオプタだけ最も遠い深度平面から内向きに設定されてもよい。その結果、より近い、第2の深度平面は、いくつかの実施形態では、1ジオプタに設定されてもよい。
図14を継続して参照すると、右から左への実線のプロットに沿って進むと(ユーザの眼からの距離の減少に伴って)、遠近調節-輻輳・開散運動不整合は、0.33ジオプタの不整合値が観察されるまで上昇する。その結果、0.33ジオプタにおける最も遠い深度平面の図示される設置を前提として、1.2mの距離から無限遠までの仮想オブジェクトのための画像コンテンツは、本範囲内の全ての画像コンテンツが容認可能不整合内にあるため、著しい不快感を伴わずに、同一深度平面(ユーザの眼から0.33ジオプタまたは3mに設定される)上に表示され得る。1.2mより近い距離における仮想オブジェクトに関して、図示されるように、第2の深度平面が、提供されてもよい。前述のように、第2の深度平面は、1ジオプタにあってもよい。
0.33ジオプタの容認可能不整合によって表される距離は、深度平面がユーザのより近くに設置されるほど、より小さくなることを理解されたい。いくつかの他の実施形態では、仮想オブジェクトを1ジオプタ深度平面から0.33ジオプタの分離によって提供される最小距離より近くに表示することが望ましくあり得る。図示されるように、0.75mまたはそれ未満の距離では、容認可能不整合値は、0.33ジオプタを上回って増加する。その結果、1つまたはそれを上回る付加的深度平面が、画像コンテンツをより近い距離に表示するために提供されてもよい。例えば、第3の深度平面が、画像コンテンツを0.75mより近い距離に表示するように形成されてもよい。深度平面はそれぞれ、容認可能不整合の2倍またはそれ未満だけ最近傍深度平面から分離されることを理解されたい。
図15は、2つの深度平面ディスプレイシステムおよび1つの深度平面ディスプレイシステムに関する遠近調節-輻輳・開散運動不整合のプロットの別の実施例を図示する。本実施例では、2つの平面システムの最も遠い深度平面は、単一深度平面システムと同一距離(2mまたは0.5ジオプタ)に位置付けられる。着目すべきこととして、単一深度平面より遠い距離における不整合は、等価である。本実施例では、2つの平面システムの主な利点は、容認可能不整合値を維持しながら、コンテンツを単一平面システムより視認者に近い距離に提供する能力である。
図11-15に見られるように、いくつかのタイプの画像コンテンツに関して、単一深度平面を伴うディスプレイシステムは、比較的に大距離にわたって真実味のある3-D体験を可能にしながら、生理学的に正しい遠近調節-輻輳・開散運動整合を達成するために十分であり得る。好ましくは、最も遠い深度平面は、1深度平面ディスプレイシステムまたは多深度平面ディスプレイシステムであるかにかかわらず、光学無限遠未満かつ以光学無限遠の容認可能不整合範囲内にある。いくつかの他の実施形態では、最も遠い深度平面は、光学無限遠の容認可能不整合内に設定されてもよい。いくつかの実施形態では、単一深度平面システムは、そのシステムによって表示されるべき画像コンテンツのタイプに応じて設定される深度平面の位置を有してもよいことを理解されたい。例えば、深度平面は、特に、画像コンテンツが視認者に比較的に近いことが予期される用途では、図示されるものより視認者に近くなるように設定されてもよい。したがって、図11-15を参照すると、ディスプレイシステムは、遠近調節キューを離散ステップにおいて提供するように構成されてもよい一方、ほぼ無限数の異なる輻輳・開散運動キューが、提供されてもよい。
深度平面切替
本明細書に説明されるように、種々の実施形態による、ディスプレイシステム(例えば、図9Dのディスプレイシステム60等の拡張現実ディスプレイシステム)は、重複深度平面を利用してもよい。可変焦点モードでは、ディスプレイシステムは、ユーザが凝視している深度を判定してもよく、凝視深度に基づいて、仮想コンテンツを提示するための深度平面を選択してもよい。例えば、ディスプレイシステムは、ユーザが凝視している3次元凝視点を判定し、凝視点の判定された深度を利用して、深度平面を選択してもよい。凝視深度を判定することと関連付けられた誤差は、凝視深度の場所に関する不確実性を導入し得る。これらの誤差を前提として、凝視点の連続測定は、異なる結果を提供し得る。これらの異なる結果が、2つの深度平面間の境界においてに生じる場合、変化する結果は、ディスプレイシステムに、凝視点の連続測定が深度平面間で行ったり来たり移動する凝視点を有する結果を提供するため、2つの深度平面間で行ったり来たり急速に切り替わらせ得る。その結果、仮想コンテンツをユーザに提示する間、フリッカまたは他の視覚的アーチファクトが、ディスプレイシステムが仮想コンテンツを提示するために深度平面間で行ったり来たり切り替わるにつれて導入され得る。
深度重複が、前述の視覚的アーチファクトを軽減させるために利用されてもよい。本明細書に説明されるように、隣接する深度平面は、z-軸に沿って部分的に重複する、関連付けられた深度平面範囲を有してもよい(例えば、隣接する深度平面は、z-軸に沿って特定の範囲の深度において重複してもよい)。そのような重複の例示的表現は、図17に図示され、以下にさらに説明される。いくつかの実施形態では、深度重複のサイズは、凝視点を判定する(例えば、ユーザが凝視している深度を判定する)ことと関連付けられた推定される不確実性に基づいてもよい。深度重複を利用することによって、ディスプレイシステムは、ユーザが(1)特定の深度平面と関連付けられた深度平面範囲内のみ、および/または(2)特定の深度平面と関連付けられた深度重複内を凝視していることの識別に基づいて、仮想コンテンツを提示する特定の深度平面を選択してもよい。ユーザが、凝視点が異なる深度平面とのみ関連付けられた深度平面範囲内にあるように、その凝視点を変化させる場合、ディスプレイシステムは、異なる深度平面に切り替えてもよい。例えば、ディスプレイシステムは、ユーザの判定された凝視点が特定の深度平面によって包含される深度(例えば、特定の深度平面によってのみ包含される深度、または特定の深度平面および隣接する深度平面によって包含される深度重複内に含まれる深度)のうちの任意の1つにある間、仮想コンテンツを特定の深度平面上に提示し続けてもよい。ユーザが、次いで、特定の深度平面によって包含されない深度を凝視する場合、ディスプレイシステムは、異なる深度平面に切り替えてもよい。
いくつかの実施形態では、凝視点は、(1)x-軸(例えば、側方軸)、(2)y-軸(例えば、垂直軸)、および(3)z-軸(例えば、点の深度、例えば、ユーザの眼の射出瞳から凝視点までの深度)に沿った空間内に位置してもよい。いくつかの実施形態では、ディスプレイシステムは、カメラ(例えば、図6のセンサ630)等のセンサを利用し、ユーザの眼(例えば、各眼の瞳孔および/または角膜等)を監視し、各眼の視線方向を判定してもよい。各眼の視線方向は、中心窩から眼の水晶体の中心を通して延在するベクトルと平行であると理解され得る。ディスプレイシステムは、眼と関連付けられたベクトルが交差する場所を外挿するように構成されてもよく、本交差点は、眼の凝視点であると理解され得る。換言すると、凝視点は、ユーザの両眼が輻輳・開散運動している3次元空間内の場所であってもよい。いくつかの実施形態では、ディスプレイシステムは、例えば、高速移動(例えば、衝動性眼球運動、微小眼球運動)のユーザの眼のわずかな移動をフィルタ処理してもよく、眼が3次元空間内の場所を凝視していることの判定に応じて、凝視点を更新してもよい。例えば、ディスプレイシステムは、閾値持続時間未満において点を凝視している、眼の移動を無視し、および/または不随意眼移動(例えば、瞬目)を無視するように構成されてもよい。
図16は、凝視点1604を凝視しているユーザの実施例を図示する。例えば、ユーザは、2つの深度平面240b、240aを含み得る、ディスプレイシステム(例えば、上記に説明されるような可変焦点ディスプレイシステム)を利用してもよい。各深度平面240b、240aは、特定の深度範囲(例えば、それぞれ、深度平面領域1809、深度平面領域1808)を包含することができる。図示されるように、深度平面領域1809は、深度平面1808と明確に異なり、直接、それに隣接する。このように、凝視点1604が、例えば、深度平面領域1809内にある場合、ディスプレイシステムは、仮想コンテンツを提示する深度平面240bを選択することができる。仮想コンテンツは、次いで、仮想コンテンツが、深度平面240bと関連付けられた遠近調節のためのキューとともに出力されるであろうように、深度平面240bに提示されることができる。実施例として、ディスプレイシステムは、遠近調節するための個別のキュー(例えば、波面発散)とともに、光を出力するように構成される2つの導波管を含んでもよく、各導波管は、深度平面に対応する。
図16の実施例は、2つの深度平面が含まれることを示すが、任意の数の深度平面(およびその関連付けられた深度平面範囲)が、本明細書に説明される技法を利用して、ディスプレイシステム内に含まれてもよいことを理解されたい。図示されるように、ディスプレイシステムは、ユーザの眼210、220が特定の凝視点1604を凝視している(例えば、輻輳・開散運動している)ことを判定した。いくつかのシナリオでは、判定された凝視点1604は、深度平面領域1809と深度平面領域1808との間の境界に近接する深度に位置する。
凝視点1604と関連付けられた推定された判定誤差1605が、図示される。上記に説明されるように、誤差は、ディスプレイシステムが凝視点を判定するときに導入され得る。例えば、ディスプレイシステムは、ユーザの眼210、220のそれぞれの視線を精密に判定不能であり得る。例えば、眼の幾何学形状に基づいて判定された眼の光学軸は、眼の中心窩にある眼の視軸と異なり得る。ディスプレイシステムは、ユーザの眼210、220、したがって、光学軸を監視するため、凝視点のディスプレイシステムの判定は、視軸の分析によって与えられるであろう、正しい場所から逸脱し得る。ディスプレイシステムは、ユーザに関する訓練情報へのアクセスを有し得、例えば、ディスプレイシステムの初期の使用の間、ユーザは、視軸がより良好に判定され得るようにシステムを較正し得るが、誤差は、依然として、存在し得る。別の実施例として、ユーザの眼は、ユニークな医療問題を有し得る、または凝視点の推定が実際の凝視点からずれ得るようにユニークに集束し得る。加えて、眼を撮像または追跡するために利用されるセンサもまた、判定された凝視点に誤差をもたらす、誤差または分解能の限界を有し得る。その結果、ディスプレイシステムによって判定された凝視点は、ある範囲の不確実性を有し得る。判定誤差1605は、したがって、正確な3次元凝視点に対して不確実性を表す。例えば、判定誤差1605は、0.1ジオプタ、0.2ジオプタ、0.3ジオプタ、0.58ジオプタ等の凝視点1604の深度に対して不確実性を示し得る。ユーザが凝視している実際の深度は、判定された凝視点1604の正面または背後のいずれかにあり得るため、ユーザが凝視し得る実際の3次元場所は、判定誤差1605の2倍の深度の範囲内に含まれる。
判定誤差1605は、深度平面領域1809および深度平面領域1808の中に延在するため、ディスプレイシステムは、凝視点1604を深度平面240B、240Aのいずれかによって包含される深度にあるものと判定してもよい。例えば、ディスプレイシステムは、1つまたはそれを上回る連続フレームのために、仮想コンテンツを深度平面240Aに提示し、提示を深度平面240Bにあるように切り替える等となり得る。異なる深度平面における画像の提示間の本切替は、急速に生じ得、望ましくない視覚的アーチファクトをユーザに導入し得る。実施例として、フリッカが、ユーザに明白となり得る。別の実施例として、異なる深度平面に切り替えるとき、遠近調節キューが、ユーザがその焦点を調節することを要求されるであろうように調節されるであろう(例えば、出力されている光の波面発散は、深度平面毎に異なるであろう)。
凝視点を判定する際の誤差に起因した深度平面間の望ましくない切替の発生を最小限にするために、深度平面領域1808の一部および深度平面領域1809の一部を包含する、深度重複が、利用されてもよい。説明されるであろうように、ディスプレイシステムは、判定された凝視点が、(1)特定の深度平面の深度平面範囲内のみにある、または(2)深度平面領域1808と深度平面領域1809との間の深度重複内にある場合、コンテンツを特定の深度平面に提示し続けてもよい。一方、ユーザの凝視点が、異なる深度平面によってのみ包含される深度に位置する場合、ディスプレイシステムは、次いで、その深度平面に切り替え、仮想コンテンツを異なる深度平面に提示してもよい。
図17は、深度平面240A、240Bの隣接する深度平面領域1808、1809間の深度重複1812を図示する。上記に説明されるように、3次元凝視点を判定することは、不確実性がユーザが凝視している精密な3次元場所に対して存在するような誤差源を含み得る。例えば、図16に図示される判定誤差1605は、ユーザが凝視している深度に対して不確実性を生じさせ得る。いくつかの実施形態では、深度重複1812が、したがって、本判定誤差1605を表すために、ディスプレイシステムによって利用されてもよい。いくつかの他の実施形態では、深度重複1812は、恣意的に設定されたサイズを有してもよい。
図示されるように、深度重複1812は、深度平面領域1808および深度平面領域1809の両方内にある。具体的には、図17の実施例では、深度平面領域1808は、遠位端がユーザの眼210、220からより遠くに偏移されるように、調節されている。このように、以前は深度平面領域1809内のみにあった深度平面範囲は、ここではまた、調節された深度平面240B1によっても包含される。図17の実施例では、深度重複1812は、図16に図示される判定誤差1605のサイズの2倍であり得る、深度範囲を包含する。いくつかの実施形態では、ディスプレイシステムが、深度の特定の範囲内のユーザの凝視点(例えば、0.1ジオプタ、0.2ジオプタ等)を確実に判定することができる場合、深度重複は、深度の特定の範囲だけ隣接する深度平面の中に延在してもよい。
仮想コンテンツを提示するとき、ディスプレイシステムは、調節された深度平面240B1または深度平面240Aのいずれかに提示してもよい。仮想コンテンツを提示する特定の深度平面を選択するために、深度重複は、深度平面のいずれかの延在と見なされ得る。例えば、ディスプレイシステムは、ユーザが、深度重複1812内に含まれる凝視点を含む、深度平面領域1808内の凝視点を凝視している場合、深度平面240Aにおける仮想コンテンツの提示を維持してもよい。しかしながら、ユーザが、深度平面領域1809内のみの凝視点を凝視している、すなわち、凝視点が深度重複1812内に含まれない場合、システムは、調節された深度平面240B1を選択し、仮想コンテンツを提示する。同様に、調節された深度平面240B1における仮想コンテンツの提示は、ユーザが、深度重複1812内の凝視点を含む、深度平面領域1809内の凝視点を凝視している場合、維持されてもよい。しかしながら、凝視点が深度平面範囲1809または深度重複1812の外に移動するとすぐに、深度平面240Aが、仮想コンテンツを提示するように提示される。
図18A-18Bは、ディスプレイシステムのユーザの視野1800の表現を図示し、1つまたはそれを上回る深度平面範囲重複の利用をさらに図示する。視野1800は、第1の深度平面240Aおよび第2の深度平面240Bの表現を含む。図示されるように、深度平面範囲は、各深度平面と関連付けられた実世界空間の体積(例えば、体積1808、1809)を定義し得る。例えば、深度平面2 240Bの深度平面範囲は、近位の深度240Bから遠位の深度240Bまで延在する。近位の範囲240Bから遠位の240B内の深度に提示されるべき仮想オブジェクトは、深度平面2(また、参照番号240Bとして識別される)に対応する波面発散を伴って提示され得る。実施例として、仮想オブジェクトに関する画像情報を含有する光は、深度平面2と関連付けられた導波管を介して出力されてもよい。加えて、近位の範囲240Bから遠位の240B内の深度に提示されるべき任意の仮想オブジェクトの波面発散は、同一であって、したがって、深度平面2と関連付けられてもよい。深度平面のサイズおよび形状は、図18Aに図示されるものと異なってもよいことを理解されたい。例えば、深度平面を定義する体積は、いくつかの実施形態では、湾曲または他の恣意的形状を有してもよい。
上記に説明されるように、ディスプレイシステムはユーザの眼が凝視している、凝視点を判定してもよい。凝視点が、近位の範囲240Bから遠位の240B内にある場合、ディスプレイシステムは、深度平面2 240Bと関連付けられた波面発散を伴って仮想コンテンツを提示してもよい。ユーザが、次いで、深度平面1 240Aによって包含される深度平面範囲内にある場所を凝視する場合、ディスプレイシステムは、深度平面1 240Aと関連付けられた波面発散を伴ってコンテンツを提示してもよい。上記に説明されるように、ディスプレイシステムは、ユーザに提示されている任意のフレームに関して、単一深度平面が利用されるように、可変焦点ディスプレイシステムであってもよい。例えば、1つの導波管が、利用され、フレーム毎に、全ての仮想コンテンツを出力してもよい。
図示されるように、深度平面1240Aおよび深度平面2240Bはそれぞれ、ユーザの眼から特定の公称焦点深度に位置するように示される。例えば、深度平面2 240Bは、深度平面2 240Bが仮想コンテンツを提示するように選択される場合、仮想コンテンツが公称深度と関連付けられた遠近調節のためのキューを提供するであろうように、ユーザから知覚される公称深度に設定されるように示される。このように、遠近調節のみを考慮した仮想コンテンツの知覚される深度が、公称深度となるであろう。いくつかの実施形態では、各深度平面範囲は、同一サイズ(例えば、ジオプタ単位)であって、例えば、同一範囲の深度を包含してもよい。実施例として、深度平面2 240Bは、1ジオプタの公称深度に設定され、0.66ジオプタ~1.33ジオプタの深度平面範囲を包含してもよい。同様に、実施例として、深度平面1 240Aは、0.33ジオプタの公称深度に設定され、0ジオプタ~0.66ジオプタの深度平面範囲を包含してもよい。このように、ディスプレイシステムは、0ジオプタ~1.33ジオプタの全体的深度平面範囲を包含してもよい。図18Aの実施例は、2つの深度平面を図示するが、付加的深度平面が、許容可能遠近調節-輻輳・開散運動不整合を超えずに、全体的深度平面範囲をさらに分割し、および/またはユーザが仮想コンテンツを凝視し得る距離(例えば、ユーザまでの近接度)を増加させるように利用されてもよい(例えば、全体的深度平面範囲の近位深度は、1.66ジオプタ、2ジオプタ等に設定され得る)。
各深度平面によって包含される深度平面範囲は、随意に、深度平面における仮想コンテンツの提示と関連付けられた遠近調節キューが、視認者不快感を生じさせるほど輻輳・開散運動キューと過度に不整合しないであろうように、遠近調節-輻輳・開散運動不整合公差に基づいてもよい。0ジオプタ~0.66ジオプタである深度平面1 240Aによって包含される深度平面範囲の実施例に関して、深度平面1 240Aに提示される仮想コンテンツの遠近調節キューは、0.33ジオプタに対応してもよい。本実施例では、閾値輻輳・開散運動-遠近調節不整合は、0.33ジオプタであってもよく、他の実施例では、不整合は、0.2ジオプタ、0.5ジオプタ、または視認者不快感を回避するための任意の他の好適な値であってもよい。上記に説明されるように、遠近調節-輻輳・開散運動不整合公差は、輻輳・開散運動キューおよび遠近調節キューと関連付けられた仮想コンテンツの知覚される深度における最大差異を示す。輻輳・開散運動キューと遠近調節キューとの間の差異が増加するにつれて、例えば、各深度平面の深度平面範囲が、あまりにも離れて延在される場合、ユーザは、負の生理学的応答を被り得る。したがって、遠近調節-輻輳・開散運動不整合公差が、各深度平面によって包含される深度平面範囲を定義するために利用されてもよい。
図18Aの実施例では、深度平面1 240Aの近位範囲は、深度平面2 240Bの遠位範囲に対応する。図16に関して上記に説明されるように、本境界の近傍に位置する凝視点は、精密な場所における不確実性に起因して、深度平面1 240Aまたは深度平面2 240Bのいずれかによって包含されると判定されてもよい。
図18Bは、視野1800の表現を図示し、深度重複1812が含まれる。図示されるように、深度平面2 240Bの遠位境界は、調節された深度平面2 240B1が以前に深度平面1 240Aによってのみ網羅されていた深度の範囲を包含するように、深度がさらに延在されている。調節された深度平面2 240B1が図18Aにおけるものと同一範囲の深度を網羅することを確実にするために、深度平面2 240B1の近位境界も同様に、深度がさらに延在されている。例えば、上記に説明されるように、深度平面によって包含される深度の範囲は、遠近調節-輻輳・開散運動不整合公差に基づいてもよい。いくつかの実施形態では、遠近調節-輻輳・開散運動不整合公差は、包含される深度に依存してもよい。例えば、遠近調節-輻輳・開散運動不整合公差は、深度がより近い深度平面範囲よりもユーザからの深度がより遠い深度平面範囲に関して大きくなり得る。例えば、深度平面1 240Aは、深度平面2 240B1よりサイズが大きい深度平面範囲を包含するように構成されてもよい。同様に、深度平面の公称焦点深度は、深度平面によって包含される深度の遠位境界と近位境界の中央ではない場所に設定されてもよい。例えば、深度平面の遠位境界から公称焦点深度まで包含される深度の範囲は、深度平面の公称焦点深度から近位境界まで包含される深度の範囲より大きい、またはその逆であり得る。
深度平面2の近位境界240B1および遠位境界240B1は、深度がさらに偏移されているため、深度平面2 240B1の公称焦点深度も同様に、調節されている。例えば、深度平面2 240B1の公称焦点深度は、近位境界240B1と遠位境界240B1との間の中央に設置されてもよい。このように、深度平面2 240B1が、仮想コンテンツを提示するために選択されると、深度平面2 240B1と関連付けられた導波管から出力されている光は、調節された公称焦点深度に対応する波面発散を伴って光を提示するであろう。さらに、深度平面2 240B1の深度における偏移に起因して、レンダリング可能体積1814の低減が、生じ得る。例えば、以前に深度平面2 240B1によって包含されていた深度の範囲は、ここでは、包含されない場合がある。
深度重複1812を判定する実施例が、続く。以下の実施例では、例示的遠近調節-輻輳・開散運動不整合公差は、0.33ジオプタであって、例示的ディスプレイシステムは、2つの深度平面を含み、第1の深度平面は、0.33ジオプタの公称焦点深度に設定され、第2の深度平面は、1ジオプタの公称焦点深度に設定される。
第2の深度平面の公称焦点深度を判定するために、凝視点判定誤差のインジケーションが、取得されてもよい。公称焦点深度が、次いで、凝視点判定誤差に基づいて判定されてもよい。
例えば、いくつかの実施形態では、公称焦点深度は、以下と等価であり得る。
(遠近調節-輻輳・開散運動不整合公差)-2(凝視点判定誤差)
0.1ジオプタの例示的凝視点判定誤差に関して、前述の実施例における深度平面2の公称焦点深度は、0.79ジオプタとなるであろう。遠近調節輻輳・開散運動不整合は、0.33ジオプタであるため、深度平面2の深度平面範囲は、0.46~1.12ジオプタとなるであろう。
したがって、深度重複は、0.46ジオプタ~0.66ジオプタとなるであろう。例えば、深度平面2の遠位端は、0.46ジオプタであると判定され、深度平面1の近位端は、0.66ジオプタとなるであろう。
別の実施例として、0.25ジオプタの凝視点判定誤差では、深度平面2の公称焦点深度は、0.49となり、深度平面2の深度平面範囲は、0.11~0.82ジオプタとなるであろう。
例えば、1ジオプタ~0.49ジオプタの公称焦点深度に対する調節は、ディスプレイシステム内に含まれるハードウェアの修正であってもよい。例えば、深度平面2を表す導波管の調節が、導波管を介して出力されている光の波面発散が0.49ジオプタの知覚される深度に対応するように実施されてもよい。随意に、導波管は、ディスプレイシステムによって実行される命令を介して調節可能であってもよい。実施例として、いくつかの実施形態では、図6に関して上記に説明される外部結合光学要素570、580、590、600、610は、印加される電場を介して調節可能な回折格子であってもよい。このように、改良が凝視点判定誤差に対して行われるにつれて、結果として生じる深度重複は、対応して、低減され得る。図19に関して以下に説明されるであろうように、深度重複を含む、各深度平面によって包含される深度平面範囲は、ディスプレイシステムによってアクセス可能な情報として維持されてもよい。ユーザへの提示のためのコンテンツをレンダリングするとき、ディスプレイシステムは、本維持される情報を利用して、仮想コンテンツを提示する深度平面を選択してもよい。
図19は、仮想コンテンツを提示するための例示的プロセス1900のフローチャートである。便宜上、プロセス1900は、ディスプレイシステム(例えば、処理ハードウェアおよびソフトウェアを含み得、随意に、情報を1つまたはそれを上回るコンピュータまたは他の処理の外部システムに提供し、例えば、処理を外部システムにオフロードし、情報を外部システムから受信し得る、ウェアラブルディスプレイシステム60(図9D))によって行われるように説明され得る。
ブロック1902では、ディスプレイシステムは、ユーザの眼が凝視している凝視深度を判定する。例えば、ディスプレイシステムは、レンダリングされ、ユーザに提示されるているフレーム毎に、ユーザの眼の3次元凝視点を判定してもよい、またはディスプレイシステムは、レンダリングされているフレーム毎に、閾値数の凝視点を判定してもよい。実施例として、ユーザに提示されているフレームの表示レートは、特定のレート(例えば、30Hz、60Hz、120Hz等)であってもよく、ディスプレイシステムは、より高いレート(例えば、60Hz、120Hz、240Hz等)で3次元凝視点を判定してもよい。このように、ディスプレイシステムは、判定された3次元凝視点を利用して、ユーザが凝視している正確な場所を判定してもよい。例えば、衝動性眼球運動、ユーザが他の物を一時的に見る等の一時的眼移動等は、除去されてもよい。上記に説明されるように、ディスプレイシステムは、ユーザの眼と関連付けられた情報(例えば、眼の配向)を監視するためのセンサを含んでもよい。センサの非包括的リストは、赤外線センサ、紫外線センサ、および可視波長光センサを含む。センサは、随意に、赤外線、紫外線、可視光、および/または偏光をユーザの眼上に出力し、ユーザの眼からの出力された光の反射を判定してもよい。実施例として、赤外線光が、赤外線光エミッタによって出力されてもよく、赤外線光センサが、眼を撮像するために使用されてもよい。光エミッタを含み得る、センサは、図6のイメージングデバイス630に対応してもよいことを理解されたい。
ディスプレイシステムは、センサを利用して、各眼と関連付けられた視線(例えば、眼の水晶体を通して中心窩から延在するようなユーザの眼から延在するベクトル)と、各眼の視線の交差点とを判定することによって、ユーザの凝視を追跡してもよい。例えば、ディスプレイシステムは、赤外線光をユーザの眼上に出力してもよく、眼からの反射(例えば、角膜反射)が、監視されてもよい。眼の瞳孔中心間のベクトル(例えば、ディスプレイシステムは、例えば、赤外線撮像を通して、瞳孔の重心を判定してもよい)および眼からの反射が、眼の視線を判定するために使用されてもよい。視線の交差点は、したがって、3次元凝視点として割り当てられてもよい。随意に、ディスプレイシステムは、凝視点を判定するとき、ディスプレイシステムと関連付けられた配向情報(例えば、3次元空間内のディスプレイシステムの配向を説明する情報)を利用してもよい。
別の実施例として、ディスプレイシステムは、眼毎に閾値数の光、例えば、LED(例えば、4つのLED)とともに、1つまたはそれを上回るイメージングデバイス(例えば、カメラ)を利用してもよい。閾値数のLEDは、各眼を照らす光を放出してもよく、1つまたはそれを上回るイメージングデバイスが、各眼の1つまたはそれを上回る画像を捕捉してもよい。各眼の瞳孔の中心(例えば、重心)が、眼の画像から識別されるように、各LEDからの光の場所に基づいて判定されてもよい(例えば、LEDSからの4つの閃光が、各画像内の各眼の瞳孔上で可視であり得る)。各眼の光学軸が、次いで、瞳孔の中心に基づいて判定されてもよい。上記に説明されるように、ディスプレイシステムの使用に先立って、ディスプレイシステムは、個々のユーザのために較正されてもよく、随意に、ディスプレイシステムは、1人またはそれを上回るユーザに関する較正(例えば、訓練)情報を維持してもよい。例えば、ユーザは、ディスプレイシステムと関連付けられたユーザアカウントを有してもよく、随意に、ディスプレイシステムは、ネットワーク(例えば、インターネット)を介してディスプレイシステムと通信する外部システムによって記憶される較正情報にアクセスしてもよい。較正の実施例として、ユーザは、その眼の光学軸とその眼の視軸との間の差異の判定が行われ得るように、空間内のオブジェクトの実際の場所と眼視線を相関させるように要求されてもよい。例えば、標的オブジェクトは、閾値数の実世界位置(例えば、5つの位置、9つの位置、12の位置)に移動されてもよく、多項式マップが、視線ベクトルを判定するときに利用されるための係数を規定するように判定されてもよい。多項式マップを利用することによって、ユーザの視軸は、より正確に判定され得る。随意に、視線ベクトルを判定する代わりに、ユーザの眼の瞳孔間のユーザの瞳孔間距離が、利用されてもよい(例えば、2つの眼の瞳孔の中心間の距離)。実施例としてユーザにより近い(例えば、近位の)オブジェクトは、より小さい瞳孔間距離を有し得、これらの瞳孔間距離は、z-軸に沿った異なる深度に相関し得る。
いくつかの実施形態では、ディスプレイシステムは、ユーザが視認しているオブジェクトを追跡するために判定された凝視点を監視するように構成されてもよい。例えば、ディスプレイシステムは、第1の仮想オブジェクトが提示される3次元場所に対応する判定された3次元凝視点に基づいて、ユーザが第1の仮想オブジェクトを視認していることを判定してもよい。加えて、ディスプレイシステムは、ユーザが仮想オブジェクトに対応しない場所を凝視していることを判定してもよく、実世界オブジェクトが凝視点に位置する可能性が高いことを判定してもよい。
図19を継続して参照すると、ブロック1904では、ディスプレイシステムは、ユーザへの提示のための仮想オブジェクトと関連付けられた場所情報を得る。ユーザへの提示のための仮想オブジェクトのレンダリングに先立って(例えば、上記に説明されるように、導波管の出力を介して)、ディスプレイシステムは、仮想オブジェクトと関連付けられた3次元場所情報を得てもよい。例えば、上記に説明されるように、仮想オブジェクトは、コンテンツが実世界内に位置するように現れるように、ユーザに提示されてもよい(例えば、コンテンツは、ユーザの視野内の異なる深度平面に位置してもよい)。ディスプレイシステムは、周囲環境内の任意の仮想コンテンツの意図される場所を含む、本周囲環境の3次元マップを含んでもよい、またはそこへのアクセスを有してもよいことを理解されたい。本マップを参照すると、ディスプレイシステムは、ユーザの視野内の仮想コンテンツの3次元場所(例えば、図18A-18Bに図示されるように、ディスプレイ錐台内の場所)を規定する情報にアクセスし、それを提供してもよい。
上記に説明されるように、仮想オブジェクトに関する場所情報は、3次元場所を含んでもよい。3次元場所に基づいて、仮想オブジェクトは、ユーザが仮想オブジェクトを凝視する場合、特定の深度平面が選択され、全ての仮想コンテンツを提示し得るように、特定の知覚される深度と関連付けられてもよい。例えば、凝視される仮想オブジェクトと関連付けられた遠近調節キューは、輻輳・開散運動キューから判定されるような特定の知覚される深度に対応するであろう。
ブロック1906では、仮想オブジェクトを提示する深度平面が、選択される。図17-18に関して上記に説明されるように、表示錐台は、隣接する深度平面範囲の両方が包含し得る、1つまたはそれを上回る深度重複を含んでもよい。深度平面を選択するために、ディスプレイシステムは、判定された凝視深度(例えば、ブロック1902に関して上記に説明される)が、深度平面にのみよって包含される深度平面範囲内にあるか、または深度重複によって包含される深度平面範囲内にあるかを識別してもよい。換言すると、ディスプレイシステムが、仮想オブジェクトを特定の深度平面に提示する場合、ディスプレイシステムは、凝視深度が、特定の深度平面によって包含される(例えば、特定の深度平面によってのみ包含される深度平面範囲内にある、または特定の深度平面および隣接する深度平面によって包含される深度重複内に含まれる深度平面範囲内にある)場合、仮想オブジェクトの提示をその特定の深度平面に維持してもよい。
ある深度平面によってのみ包含される深度平面範囲内にある凝視深度に関して、ディスプレイシステムは、その深度平面を選択し、仮想オブジェクトを提示してもよい。例えば、第1の深度平面および第2の深度平面によって包含される深度の範囲を含む、深度重複によって包含される深度平面範囲内にある凝視深度に関して、ディスプレイシステムは、いくつかの実施形態では、判定された凝視深度のみがある、直近の深度平面を識別してもよい。例えば、現在の凝視深度に先立って、1つまたはそれを上回る凝視深度が、深度重複内にあると判定された場合、ディスプレイシステムは、第1の深度平面または第2の深度平面のいずれか内のみにある直近の凝視深度を識別してもよい。識別された凝視深度のみがある、深度平面は、次いで、仮想オブジェクトを提示してもよい。上記に説明されるように、深度重複は、第1の深度平面および第2の深度平面によって包含される深度平面範囲の延在を表し得る。したがって、実施例として、凝視深度が第2の深度平面内にある場合、かつ凝視深度が、次いで、深度重複内にある場合、ディスプレイシステムは、仮想コンテンツをユーザに提示するための第2の深度平面の選択を留保してもよい。
随意に、凝視深度が特定の深度重複内にあって、直近の以前の凝視深度が特定の深度重複を包含しない深度平面範囲内にある場合、ディスプレイシステムは、その凝視深度に最も近い公称焦点深度を有する深度平面を選択してもよい。例えば、ユーザは、ユーザから遠位に位置付けられる仮想オブジェクトを凝視し得、次いで、ユーザの近位に位置付けられる仮想オブジェクトを急速に凝視し得る。本実施例では、第1の深度平面は、ユーザが遠位オブジェクトを凝視している間に選択され得、ユーザが近位オブジェクトを凝視すると、ユーザの凝視は、第2の深度平面と第3の深度平面との間の特定の深度重複内にあり得る。凝視深度が、特定の深度重複内にあるため、ディスプレイシステムは、いずれの深度平面の公称焦点深度が判定された凝視深度により近いかどうかに基づいて、第2の深度平面または第3の深度平面のいずれかを選択してもよい。随意に、ディスプレイシステムは、深度平面の中からランダムに選択してもよい。
いくつかの実施形態では、信頼度レベルが、随意に、凝視深度に関して判定されてもよい。例えば、ディスプレイシステムは、判定された凝視深度がユーザの実際の凝視を正確に表す、信頼度を判定してもよい。例えば、不良照明条件は、ユーザの凝視深度の判定と関連付けられた困難度を増加させ得、信頼度は、低減され得る。さらに、高速眼移動も、凝視深度の判定の困難度を増加させ得、信頼度は、低減され得る。随意に、ディスプレイシステムは、判定された信頼度を利用して、仮想オブジェクトを提示する深度平面の選択を知らせてもよい。例えば、凝視深度が深度重複内にある場合、ディスプレイシステムは、凝視深度により近い公称焦点深度を有する深度重複を包含する、深度平面を選択してもよい。ディスプレイシステムは、深度重複の縁までの凝視深度の近接度とともに、判定された信頼度を利用してもよい。例えば、凝視深度が深度重複内にあるが、深度重複の縁までの閾値深度内にある場合、ディスプレイシステムは、縁に最も近い公称焦点深度を有する、深度平面を選択してもよい。本閾値深度は、ディスプレイシステムの判定された信頼度が増加するにつれて、閾値深度が減少され得るような信頼度に基づいてもよい。さらに、深度重複のサイズが、信頼度に基づいて調節されてもよい。例えば、信頼度が増加するにつれて、凝視深度に対して不確実性が少なくなり、深度重複は、隣接する深度平面間の重複が少なくなるように低減されてもよい。
ブロック1908では、ディスプレイシステムは、仮想オブジェクトをユーザに提示する。例えば、ディスプレイシステムは、提示された仮想オブジェクトの遠近調節キューが選択された深度平面に対応するように、提示を選択された深度平面に生じさせてもよい。上記に説明されるように、第1の深度平面から第2の深度平面への切替に応じて、知覚可能フリッカが、ユーザに明白になり得る。同様に、ユーザは、ディスプレイシステムを介して提供される光出力に遠近調節する(例えば、遠近調節キューに基づいて、眼の水晶体の形状を変化させる)ように要求されるであろう。
いくつかの実施形態では、図20に関して以下に説明されるであろうように、ディスプレイシステムは、ユーザの眼を監視し、切替のユーザの知覚を減少させるイベント(例えば、知覚限定イベント)が生じるまで、深度平面の切り替えを遅延させてもよい。いくつかの実施形態では、そのようなイベントは、(1)瞬目または(2)衝動性眼球運動の発生であってもよい。例えば、深度平面の切替が生じるべきであることの識別に応じて、ディスプレイシステムは、ユーザによる瞬目または衝動性眼球運動の検出に応じて、ディスプレイシステムが選択された深度平面への切替を実施すべきである(例えば、ブロック1906に説明されるように)ことを示す、情報(例えば、フラグ)を記憶してもよい。切替の実施に先立って、ディスプレイシステムは、仮想オブジェクトをレンダリングし、以前の深度平面に提示してもよく、瞬目または衝動性眼球運動後、仮想オブジェクトをレンダリングし、選択された深度平面に提示してもよい。このように、ディスプレイシステムは、瞬目および/または衝動性眼球運動を使用して、深度平面の切替をマスクしてもよい。
加えて、いくつかの実施形態では、ディスプレイシステムは、瞬目または衝動性眼球運動がユーザによって行われたことを判定せずに、異なる(例えば、切り替えられた)深度平面における提示を更新してもよい。例えば、ユーザが、瞬目または衝動性眼球運動を閾値時間量(例えば、10秒、30秒、60秒)内に実施しない場合、ディスプレイシステムは、仮想コンテンツを異なる深度平面に提示するように切り替えてもよい。さらに、異なる深度平面が、現在の深度平面の公称焦点深度から閾値深度を上回る公称焦点深度にある場合、ディスプレイシステムは、瞬目または衝動性眼球運動を待機せずに、提示を更新してもよい。実施例として、現在選択されている深度平面が、0.2ジオプタの公称焦点深度にあって、切り替えられるべき深度平面が、1ジオプタの公称焦点深度である場合、例えば、切替が生じない場合の大きな遠近調節-輻輳・開散運動不整合の潜在性に起因して、ディスプレイシステムは、瞬目または衝動性眼球運動を待機せずに、提示を更新してもよい。加えて、ユーザが瞬目または衝動性眼球運動を実施することを待機する閾値時間量は、提示される仮想オブジェクトに行われるべき遠近調節キューの差異に基づいてもよい。例えば、2つの深度平面間の公称焦点深度の差異が増加するにつれて、閾値時間量は、減少してもよい。
図20は、ユーザの知覚が限定されている間、深度平面を切り替え、ユーザへのコンテンツの提示を調節するための例示的プロセス2000のフローチャートである。便宜上、プロセス2000は、ディスプレイシステム(例えば、処理ハードウェアおよびソフトウェアを含み得、随意に、情報を1つまたはそれを上回るコンピュータまたは他の処理の外部システムに提供し、例えば、処理を外部システムにオフロードし、情報を外部システムから受信し得る、ウェアラブルディスプレイシステム60)によって行われるように説明され得る。
ブロック2002では、ディスプレイシステムは、仮想オブジェクトを提示する深度平面の切替が生じるべきであることを示す情報を取得する。図19に関して上記に説明されるように、ディスプレイシステムは、ユーザが凝視している凝視深度を判定してもよく(例えば、3次元凝視点を監視する)、さらに、コンテンツが提供される深度平面が、判定された凝視深度に基づいて、切り替えられるべきであることを判定してもよい。例えば、ユーザは、第1の深度平面によって包含される深度を凝視し得、続いて、第2の深度平面によって包含される深度を凝視し得る。仮想オブジェクトが第2の深度平面上に提示されるべきであることの判定に応じて、ディスプレイシステムは、切替が実施されるべきであることを示す情報を記憶してもよい。
次に、ディスプレイシステムは、切替のユーザの知覚を減少させるイベントが生じるかどうかを判定してもよい。そのようなイベントは、ユーザの眼瞼の瞬目および/または衝動性眼球運動であってもよい。例えば、ブロック2004では、ディスプレイシステムは、ユーザが瞬目を実施したかどうかを判定する。実施例として、ディスプレイシステムは、カメラ630(図6)を使用して、ユーザの眼の画像を取得する等、ユーザの眼を監視してもよく、瞳孔がもはや取得された画像内に検出されない場合(例えば、図19に関して上記に説明されるように)、ディスプレイシステムは、ユーザが瞬目していることを判定してもよい。別の実施例として、例示的眼追跡アルゴリズムが、利用されてもよく(例えば、スターバーストアルゴリズム)、眼追跡アルゴリズムが、ユーザの瞳孔または眼からの光の反射の検出に失敗する場合、ディスプレイシステムは、ユーザが瞬目していることを判定してもよい。
ブロック2004を実施することと同時に、または代替として、ディスプレイシステムは、ブロック2006を実施してもよい。ブロック2006では、ディスプレイシステムは、ユーザが衝動性眼球運動を実施したかどうかを判定する。衝動性眼球運動は、眼の急速移動を表し、その間、ユーザの知覚が限定される。ディスプレイシステムは、例えば、閾値周波数(例えば、500Hz、750Hz、1200Hz等)を上回ってユーザの眼の取得された画像を使用して、衝動性眼球運動を監視してもよい。衝動性眼球運動の持続時間は、瞬目の持続時間より実質的に短くあり得るため、より高い周波数のイメージングデバイスが、衝動性眼球運動を検出するために利用されてもよい、またはより高い周波数で動作される同一センサが、使用され得る。
衝動性眼球運動を判定する実施例として、ディスプレイシステムは、眼の瞳孔の回転速度を判定し、回転速度を利用し、少なくとも部分的に、眼によって実施される衝動性眼球運動と平滑追従視を区別してもよい。ディスプレイシステムは、例えば、ジャイロスコープを利用して、ユーザの頭部姿勢を示す情報を取得してもよく、瞳孔の測定された回転速度が平滑追従視と関連付けられた閾値速度を超え、ユーザの頭部が閾値速度を上回って移動していない場合、ディスプレイシステムは、衝動性眼球運動が実施されていることを判定してもよい。
ブロック2010では、ディスプレイシステムは、深度平面の選択を更新し、仮想オブジェクトをユーザに提示する。瞬目または衝動性眼球運動の検出に応じて、ディスプレイシステムは、深度平面の調節を実施してもよい。代替として、ブロック2008では、瞬目または衝動性眼球運動が、閾値時間量を上回って判定されない場合、ディスプレイシステムは、深度平面の調節を実施してもよい。例示的閾値時間量は、20秒、30秒、120秒、ユーザ選択可能時間量等であってもよい。
加えて、ディスプレイシステムは、ユーザが瞬目または衝動性眼球運動を実施することを待機するため、ユーザは、調節された深度平面と異なる深度平面によって包含される深度を凝視し得る。例えば、ブロック2002に関して、ユーザは、深度平面の調節が生じるべきような深度を凝視し得る。ユーザが瞬目または衝動性眼球運動を実施することを待機し、深度平面の選択を調節された深度平面に更新する間、ユーザは、新しい凝視深度を凝視し得る。ディスプレイシステムは、次いで、随意に、深度平面の選択を新しい凝視深度を包含する深度平面に更新してもよい。したがって、ユーザが、次いで、衝動性眼球運動または瞬目を実施する場合、ディスプレイシステムは、新しい凝視深度を包含する深度平面を選択してもよい。
視認者眼精疲労のための調節
図11-15から明白であるように、典型的には、視認者に非常に近い、ある範囲の距離が存在し、遠近調節-輻輳・開散運動不整合が大きいが、コンテンツは、それにもかかわらず、表示され得る。本明細書に議論されるように、そのようなコンテンツは、視認者不快感を生じさせ得、その結果、望ましくない場合がある。いくつかの実施形態では、容認不可能な遠近調節-輻輳・開散運動不整合を生じさせると判定されたディスプレイコンテンツは、視認者不快感に対して保護するように修正される。
図21Aは、画像コンテンツが閾値を超える遠近調節-輻輳・開散運動不整合を提供するとき、視認者快適性を維持するための方法4000の実施例を図示する。ブロック4002では、画像コンテンツが、分析され、画像コンテンツが閾値を超える遠近調節-輻輳・開散運動不整合をもたらすであろうかどうかを判定する。ブロック4004では、不整合が、閾値を超えると判定される場合、画像コンテンツは、修正される。いくつかの実施形態では、遠近調節-輻輳・開散運動不整合閾値は、0.5ジオプタまたはそれ未満または0.33ジオプタまたはそれ未満である。
画像コンテンツの修正は、コンテンツが表示される持続時間を低減させるステップ、画像コンテンツをフェーディングさせるステップ(例えば、画像コンテンツの分解能または空間周波数を低減させることによって)、または単に閾値を超させるコンテンツを表示しないステップのうちの1つまたはそれを上回るものを含んでもよい。いくつかの実施形態では、画像コンテンツの分解能が減少される場合、画像コンテンツの分解能の低減度は、遠近調節-輻輳・開散運動不整合の増加に伴って(例えば、コンテンツが視認者により近くなるにつれて)増加する。
遠近調節-輻輳・開散運動不整合が容認可能である場合でも、頭部搭載型ディスプレイデバイスの長期使用は、それにもかかわらず、潜在的に、いくらかの眼精疲労を生じさせることを理解されたい。ここで図21Bを参照すると、視認者眼精疲労を低減させるための方法5000の実施例が、図示される。ブロック5002では、ユーザにおける眼精疲労の存在が、判定される。ブロック5004では、眼精疲労が、存在すると判定される場合、画像コンテンツは、修正される。
眼精疲労の存在を判定するステップは、例えば、カメラアセンブリ500(図6)を利用して、ユーザの片眼または両眼を撮像するステップを含んでもよいことを理解されたい。眼精疲労の存在を判定するステップは、散瞳、収斂動揺、および瞳孔動揺のうちの1つまたはそれを上回るものを検出するステップを含んでもよい。いくつかの実施形態では、眼精疲労の存在を判定するステップは、ガルバニック皮膚応答を測定するステップを含む。いくつかの他の実施形態では、眼精疲労の存在を判定するステップは、0.25ジオプタを上回る、0.33ジオプタを上回る、または0.5ジオプタを上回る遠近調節-輻輳・開散運動不整合を有する画像コンテンツへの暴露の持続時間を検出するステップを含む。前述の検出された侵襲要因は、他の問題によっても生じ得るが、眼精疲労の存在を判定するためのこれらの方法のうちの1つまたはそれを上回るものは、眼精疲労の判定の正確度を増加させるために複数の変数が評価されるように、ともに実装されてもよい。例えば、前述の方法のうちの1つまたはそれを上回るものは、侵襲要因が、少なくとも部分的に、頭部搭載型ディスプレイデバイスの使用と関連付けられるかどうかを判定するために実装および評価されてもよい。加えて、侵襲要因の発生は、時間に関して測定され、ディスプレイシステムによって表示されているコンテンツおよび/またはディスプレイシステムの使用の持続時間と相関され、侵襲要因がディスプレイの結果であることの信頼度をさらに増加させてもよい。加えて、眼精疲労の判定は、これらの変数のうちの1つまたはそれを上回るものにおける変化を評価するステップ、または変数が所定の閾値を超えるかどうかを判定するステップを伴ってもよい。
眼精疲労が、存在すると判定される場合、画像コンテンツは、眼精疲労を低減させるように修正される。いくつかの実施形態では、画像コンテンツを修正するステップは、画像コンテンツの特徴のサイズを増加させるステップと、画像コンテンツの分解能を低減させるステップと、画像コンテンツを画像コンテンツのために元々規定されたものより視認者から遠い深度平面上に表示するステップとのうちの1つまたはそれを上回るものを含んでもよい。例えば、例としてビデオゲームのためのコンテンツを表示するとき、視認者が集束するように促されるコンテンツが、より遠い深度平面上であるように選択されてもよい。一実施例では、視認者の直近の仮想オブジェクトと相互作用するのではなく、ゲームは、オブジェクトが視認者からある距離にある相互作用を提供するように指示されてもよい。
いくつかの実施形態では、眼精疲労の判定および画像コンテンツの修正は、継続的に行われてもよい。眼精疲労がもはや存在しないことの判定に応じて、画像修正は、停止してもよい。いくつかの他の実施形態では、画像修正は、設定持続時間にわたって、またはあるイベントが生じるまで(例えば、ビデオゲームをプレーする視認者が新しいレベルに到達するとき)、生じるように設定されてもよい。
頭部搭載型ディスプレイを支持および/または平衡するための構造
ここで図22A-22Bを参照すると、本明細書に議論されるように、頭部搭載型ディスプレイシステムは、嵩張るまたは重くあり得、これは、特に、長期使用のために、システムの快適性を損なわせ得る。加えて、ユーザの頭部上のシステムの重量の分布は、不均等であり得、これもまた、長期使用の間の不快感に寄与し得る。有利には、頭部搭載型ディスプレイシステムは、1つまたはそれを上回る支持構造が装備され、ユーザ快適性を増加させてもよい。
図22Aは、支持構造を伴う、頭部搭載型ディスプレイの例示的実施形態を図示する。図22Aに示されるように、ユーザ90は、頭部搭載型ディスプレイシステムを装着して描写され、これは、ユーザ90の眼の正面に位置付けられるディスプレイ70に結合される、フレーム構造を含む。
支持構造900は、頭部搭載型ディスプレイシステムの一部として含まれ、例えば、重量平衡および圧力点(ディスプレイシステムの鼻パッドに分散される重量に起因したユーザ90の鼻等)低減のために、ディスプレイの重量をユーザ90の頭部の異なる部分に分散させてもよい。いくつかの実施形態では、支持構造900は、ユーザの頭部の片側から頭部の他側まで延在するように構成される。いくつかの実施形態では、支持構造900は、随意に、音変換器(例えば、スピーカ)100を含んでもよい。支持構造900は、頭部の片側から頭部の他側まで延在するように構成される、バンド(例えば、金属バンドおよび/またはプラスチックバンド)であってもよい。いくつかの実施形態では、支持構造900は、耳から耳に側方に頭部を横切る。いくつかの実施形態では、支持構造900は、眼から頭部の後方まで頭部を縦方向に横切ってもよい。いくつかの実施形態では、支持構造は、横方向または縦方向のいずれかにある間隔の角度で頭部を横切る、複数のそのような支持構造900を含んでもよい。
支持構造900は、ユーザの頭部を異なる角度で横切ってもよい。図22Aは、支持構造900がユーザの頭部を横方向に、すなわち、おおよそ耳から耳に横切る、実施例を図示する。角度904は、ユーザの眼および耳と交差する平面902とユーザ90の頭部の片側から頭部の他側まで延在する支持構造の中心線との間で定義されてもよい。ある実施形態では、角度904は、約35~55度である。いくつかの他の実施形態では、角度904は、約80~100度である。さらに他の実施形態では、角度904は、例えば、支持構造900が、おおよそユーザの眼および耳の平面902にあるとき、約ゼロ度であってもよい。本明細書に議論されるように、頭部搭載型ディスプレイシステムは、ユーザの頭部を種々の角度904で横切る、複数のそのような支持構造900を備えてもよい。さらに、いくつかの実施形態では、ユーザの頭部に対する支持構造900の位置は、平面902に対する角度904が調節可能であるように移動されてもよい。
フレーム80は、種々の位置において支持構造900と交差してもよい。いくつかの実施形態では、例えば、図22Aに示されるように、フレーム80は、ユーザの耳の上方で支持構造900と交差してもよい。いくつかの他の実施形態では、フレーム80は、音変換器100において交差してもよい。さらに他の実施形態では、フレーム80および支持構造900は、本明細書に説明されるように、ユーザの頭部を横切る、単一構造の中に統合されてもよい。いくつかの実施形態では、音変換器100は、フレーム80に取り付けられる。いくつかの実施形態では、音変換器は、支持構造900に取り付けられてもよい。他の実施形態では(図示せず)、音変換器は、他の手段または別個の構造によって、完全に取り付けられてもよい。本明細書に説明されるように、ある実施形態では、頭部搭載型ディスプレイは、フレーム80および支持構造900を備えてもよいが、音変換器100を含有しなくてもよい。
図22Bは、音変換器がユーザの耳を被覆するスピーカである、例示的実施形態を図示する。スピーカは、随意に、描写される構成においてフレーム80に結合され、ユーザの耳にわたって、および/またはユーザの外耳道に隣接して位置付けられてもよい(一実施形態では、示されない別のスピーカが、耳にわたって、および/またはユーザの他方の外耳道に隣接して位置付けられ、ステレオ/成形可能音制御を提供する)。
本明細書に説明される、および/または図に描写されるプロセス、方法、およびアルゴリズムはそれぞれ、具体的かつ特定のコンピュータ命令を実行するように構成される、1つまたはそれを上回る物理的コンピューティングシステム、ハードウェアコンピュータプロセッサ、特定用途向け回路、および/または電子ハードウェアによって実行される、コードモジュールにおいて具現化され、それによって完全または部分的に自動化され得ることを理解されたい。例えば、コンピューティングシステムは、具体的コンピュータ命令とともにプログラムされた汎用コンピュータ(例えば、サーバ)または専用コンピュータ、専用回路等を含むことができる。コードモジュールは、実行可能プログラムにコンパイルおよびリンクされ得る、動的リンクライブラリ内にインストールされ得る、または解釈されるプログラミング言語において書き込まれ得る。いくつかの実装では、特定の動作および方法が、所与の機能に特有の回路によって実施され得る。
さらに、本開示の機能性のある実装は、十分に数学的、コンピュータ的、または技術的に複雑であるため、(適切な特殊化された実行可能命令を利用する)特定用途向けハードウェアまたは1つまたはそれを上回る物理的コンピューティングデバイスは、例えば、関与する計算の量または複雑性に起因して、または結果を実質的にリアルタイムで提供するために、機能性を実施する必要があり得る。例えば、ビデオは、多くのフレームを含み、各フレームは、数百万のピクセルを有し得、具体的にプログラムされたコンピュータハードウェアは、商業的に妥当な時間量において所望の画像処理タスクまたは用途を提供するようにビデオデータを処理する必要がある。
コードモジュールまたは任意のタイプのデータは、ハードドライブ、ソリッドステートメモリ、ランダムアクセスメモリ(RAM)、読取専用メモリ(ROM)、光学ディスク、揮発性または不揮発性記憶装置、同一物の組み合わせ、および/または同等物を含む、物理的コンピュータ記憶装置等の任意のタイプの非一過性コンピュータ可読媒体上に記憶され得る。いくつかの実施形態では、非一過性コンピュータ可読媒体は、ローカル処理およびデータモジュール(140)、遠隔処理モジュール(150)、および遠隔データリポジトリ(160)のうちの1つまたはそれを上回るものの一部であってもよい。本方法およびモジュール(またはデータ)はまた、無線ベースおよび有線/ケーブルベースの媒体を含む、種々のコンピュータ可読伝送媒体上で生成されたデータ信号として(例えば、搬送波または他のアナログまたはデジタル伝搬信号の一部として)伝送され得、種々の形態(例えば、単一または多重化アナログ信号の一部として、または複数の離散デジタルパケットまたはフレームとして)をとり得る。開示されるプロセスまたはプロセスステップの結果は、任意のタイプの非一過性有形コンピュータ記憶装置内に持続的または別様に記憶され得る、またはコンピュータ可読伝送媒体を介して通信され得る。
本明細書に説明される、および/または添付される図に描写されるフロー図における任意のプロセス、ブロック、状態、ステップ、または機能性は、プロセスにおいて具体的機能(例えば、論理または算術)またはステップを実装するための1つまたはそれを上回る実行可能命令を含む、コードモジュール、セグメント、またはコードの一部を潜在的に表すものとして理解されたい。種々のプロセス、ブロック、状態、ステップ、または機能性は、組み合わせられる、再配列される、追加される、削除される、修正される、または別様に本明細書に提供される例証的実施例から変更されてもよい。いくつかの実施形態では、付加的または異なるコンピューティングシステムまたはコードモジュールが、本明細書に説明される機能性のいくつかまたは全てを実施し得る。本明細書に説明される方法およびプロセスはまた、任意の特定のシーケンスに限定されず、それに関連するブロック、ステップ、または状態は、適切な他のシーケンスで、例えば、連続して、並行して、またはある他の様式で実施されることができる。タスクまたはイベントが、開示される例示的実施形態に追加される、またはそれから除去され得る。さらに、本明細書に説明される実装における種々のシステムコンポーネントの分離は、例証を目的とし、全ての実施形態においてそのような分離を要求するものとして理解されるべきではない。説明されるプログラムコンポーネント、方法、およびシステムは、概して、単一のコンピュータ製品においてともに統合される、または複数のコンピュータ製品にパッケージ化され得ることを理解されたい。
前述の明細書では、本発明は、その具体的実施形態を参照して説明された。しかしながら、種々の修正および変更が、本発明のより広義の精神および範囲から逸脱することなくそこに行われ得ることが明白となるであろう。明細書および図面は、故に、限定的意味ではなく、例証と見なされるべきである。
実際、本開示のシステムおよび方法は、それぞれ、いくつかの革新的側面を有し、そのうちのいかなるものも、本明細書に開示される望ましい属性に単独で関与しない、またはそのために要求されないことを理解されたい。上記に説明される種々の特徴およびプロセスは、相互に独立して使用され得る、または種々の方法で組み合わせられ得る。全ての可能な組み合わせおよび副次的組み合わせが、本開示の範囲内に該当することが意図される。
別個の実施形態の文脈において本明細書に説明されるある特徴はまた、単一の実施形態における組み合わせにおいて実装されてもよい。逆に、単一の実施形態の文脈において説明される種々の特徴もまた、複数の実施形態において別個に、または任意の好適な副次的組み合わせにおいて実装されてもよい。さらに、特徴がある組み合わせにおいて作用するものとして上記に説明され、さらに、そのようなものとして最初に請求され得るが、請求される組み合わせからの1つまたはそれを上回る特徴は、いくつかの場合では、組み合わせから削除されてもよく、請求される組み合わせは、副次的組み合わせまたは副次的組み合わせの変形例を対象とし得る。いかなる単一の特徴または特徴のグループも、あらゆる実施形態に必要または必須ではない。
とりわけ、「~できる(can)」、「~し得る(could)」、「~し得る(might)」、「~し得る(may)」、「例えば(e.g.)」、および同等物等、本明細書で使用される条件文は、別様に具体的に記載されない限り、または使用されるような文脈内で別様に理解されない限り、概して、ある実施形態がある特徴、要素、および/またはステップを含む一方、他の実施形態がそれらを含まないことを伝えることが意図されることを理解されたい。したがって、そのような条件文は、概して、特徴、要素、および/またはステップが、1つまたはそれを上回る実施形態に対していかようにも要求されること、または1つまたはそれを上回る実施形態が、著者の入力または促しの有無を問わず、これらの特徴、要素、および/またはステップが任意の特定の実施形態において含まれる、または実施されるべきかどうかを決定するための論理を必然的に含むことを示唆することを意図されない。用語「~を備える」、「~を含む」、「~を有する」、および同等物は、同義語であり、非限定的方式で包括的に使用され、付加的要素、特徴、行為、動作等を除外しない。また、用語「または」は、その包括的意味において使用され(およびその排他的意味において使用されず)、したがって、例えば、要素のリストを接続するために使用されると、用語「または」は、リスト内の要素のうちの1つ、いくつか、または全てを意味する。加えて、本願および添付される請求項で使用されるような冠詞「a」、「an」、および「the」は、別様に規定されない限り、「1つまたはそれを上回る」または「少なくとも1つ」を意味するように解釈されるべきである。同様に、動作は、特定の順序で図面に描写され得るが、これは、望ましい結果を達成するために、そのような動作が示される特定の順序で実施されること、または連続的順序で実施されること、または全ての図示される動作が実施されることの必要はないと認識されるべきである。さらに、図面は、フローチャートの形態で1つまたはそれを上回る例示的プロセスを図式的に描写し得る。しかしながら、描写されない他の動作も、図式的に図示される例示的方法およびプロセス内に組み込まれることができる。例えば、1つまたはそれを上回る付加的動作が、図示される動作のいずれかの前に、その後に、それと同時に、またはその間に実施されることができる。加えて、動作は、他の実装において再配列される、または再順序付けられ得る。ある状況では、マルチタスクおよび並列処理が、有利であり得る。さらに、上記に説明される実施形態における種々のシステムコンポーネントの分離は、全ての実施形態におけるそのような分離を要求するものとして理解されるべきではなく、説明されるプログラムコンポーネントおよびシステムは、概して、単一のソフトウェア製品においてともに統合される、または複数のソフトウェア製品にパッケージ化され得ることを理解されたい。加えて、他の実装も、以下の請求項の範囲内である。いくつかの場合では、請求項に列挙されるアクションは、異なる順序で実施され、依然として、望ましい結果を達成することができる。
故に、請求項は、本明細書に示される実装に限定されることを意図されず、本明細書に開示される本開示、原理、および新規の特徴と一貫する最も広い範囲を与えられるべきである。

Claims (20)

  1. 1つまたは複数のプロセッサを備えるディスプレイシステムによって実装される方法であって、前記ディスプレイシステムは、頭部搭載型ディスプレイをさらに備え、前記頭部搭載型ディスプレイは、複数の深度平面を画定するための1つまたは複数の別個の遠近調節キューおよび輻輳・開散運動キューの範囲を伴って画像コンテンツを表示するように構成されており、輻輳・開散運動キューの範囲内の輻輳・開散運動キューの可能性のある個数は、遠近調節キューの可能性のある個数よりも多く、前記方法は、
    関連付けられた深度平面上にコンテンツを提供するために前記頭部搭載型ディスプレイの導波管を選択することであって、前記頭部搭載型ディスプレイは、前記1つまたは複数の遠近調節キューを提供するための屈折力を有する複数の導波管を備えている、ことと、
    前記関連付けられた深度平面上に前記コンテンツを表示するために前記1つまたは複数の選択された導波管を介して光の出力を生じさせることであって、前記光は、前記1つまたは複数の遠近調節キューのうちの1つを提供する、ことと
    を含み、
    任意の画像コンテンツに対する前記頭部搭載型ディスプレイによって提供される前記遠近調節キューは、光学無限遠未満にある深度平面に対応する、方法。
  2. 前記深度平面のうちの最も遠いものは、光学無限遠の0.50dpt以内にある、請求項1に記載の方法。
  3. 前記深度平面のうちの最も遠いものは、光学無限遠の0.33dpt以内にある、請求項2に記載の方法。
  4. 前記深度平面のうちの最も遠いものは、光学無限遠の0.25dpt以内にある、請求項3に記載の方法。
  5. 前記深度平面は、0.7dpt以下だけ分離される、請求項1に記載の方法。
  6. 前記深度平面は、0.5dpt以下だけ分離される、請求項5に記載の方法。
  7. 各導波管は、入射光を再指向し、前記導波管の内側の全内部反射によって伝搬させるように構成されている内部結合光学要素を備える、請求項1に記載の方法。
  8. 各導波管の前記内部結合光学要素は、単一原色に対応する波長を有する光を選択的に再指向するように構成されている、請求項7に記載の方法。
  9. 上から見下ろした平面図に見られるとき、各導波管の前記内部結合光学要素は、他の導波管の内部結合光学要素から側方に離間される、請求項7に記載の方法。
  10. 各導波管はさらに、各導波管内を伝搬する光を前記導波管から外に再指向するように構成されている外部結合光学要素を備える、請求項7に記載の方法。
  11. 画像コンテンツを前記導波管の前記内部結合光学要素に指向するように構成されている光プロジェクタシステムをさらに備え、前記光プロジェクタシステムは、
    光エミッタと、
    空間光変調器と
    を備える、請求項7に記載の方法。
  12. 1つまたは複数のプロセッサを備えるディスプレイシステムによって実装される方法であって、前記ディスプレイシステムは、頭部搭載型ディスプレイをさらに備え、前記頭部搭載型ディスプレイは、複数の深度平面を画定するための1つまたは複数の別個の遠近調節キューおよび輻輳・開散運動キューの範囲を伴って画像コンテンツを表示するように構成されており、輻輳・開散運動キューの範囲内の輻輳・開散運動キューの可能性のある個数は、遠近調節キューの可能性のある個数よりも多く、前記方法は、
    関連付けられた深度平面上にコンテンツを提供するために前記頭部搭載型ディスプレイの導波管を選択することであって、前記頭部搭載型ディスプレイは、導波管のスタックを形成する複数の導波管を備え、前記導波管のスタックのうちの少なくとも一部の導波管は、前記1つまたは複数の遠近調節キューを提供するための屈折力を有する、ことと、
    前記関連付けられた深度平面上に前記コンテンツを表示するために光を前記1つまたは複数の選択された導波管を介して提供することであって、前記光は、前記1つまたは複数の別個の遠近調節キューのうちの1つを備える、ことと
    を含み、
    前記深度平面のうちの最も遠い深度平面は、光学無限遠の遠近調節-輻輳・開散運動不整合公差内であり、前記最も遠い深度平面に対して前記頭部搭載型ディスプレイによって出力された前記遠近調節キューは、光学無限遠未満に対応し、前記不整合公差は、0.5dpt以下である、方法。
  13. 前記スタックの関連付けられた深度平面と最近傍の関連付けられた深度平面との間の分離は、不整合公差の2倍以下である、請求項12に記載の方法。
  14. 深度平面の総数は、4以下である、請求項12に記載の方法。
  15. 各導波管は、
    入射光を再指向し、前記導波管の内側の全内部反射によって伝搬させるように構成されている内部結合光学要素と、
    各導波管内を伝搬する光を前記導波管から外に再指向するように構成されている外部結合光学要素と
    を備える、請求項12に記載の方法。
  16. 各導波管の前記内部結合光学要素は、単一原色に対応する波長を有する光を選択的に再指向するように構成されている、請求項15に記載の方法。
  17. 上から見下ろした平面図に見られるとき、各導波管の前記内部結合光学要素は、他の導波管の内部結合光学要素から側方に離間される、請求項15に記載の方法。
  18. 画像コンテンツを前記導波管の前記内部結合光学要素に指向するように構成されている光プロジェクタシステムをさらに備え、前記光プロジェクタシステムは、
    光エミッタと、
    空間光変調器と
    を備える、請求項15に記載の方法。
  19. 前記輻輳・開散運動キューの範囲は、光学無限遠に対応する輻輳・開散運動キューを含む、請求項1に記載の方法。
  20. 前記輻輳・開散運動キューの範囲は、光学無限遠に対応する輻輳・開散運動キューを含む、請求項12に記載の方法。
JP2022074389A 2016-03-25 2022-04-28 仮想および拡張現実システムおよび方法 Active JP7398507B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023121586A JP2023129621A (ja) 2016-03-25 2023-07-26 仮想および拡張現実システムおよび方法

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201662313698P 2016-03-25 2016-03-25
US62/313,698 2016-03-25
US201662378109P 2016-08-22 2016-08-22
US62/378,109 2016-08-22
JP2018549246A JP7152312B2 (ja) 2016-03-25 2017-03-24 仮想および拡張現実システムおよび方法
PCT/US2017/024145 WO2017165848A1 (en) 2016-03-25 2017-03-24 Virtual and augmented reality systems and methods

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018549246A Division JP7152312B2 (ja) 2016-03-25 2017-03-24 仮想および拡張現実システムおよび方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023121586A Division JP2023129621A (ja) 2016-03-25 2023-07-26 仮想および拡張現実システムおよび方法

Publications (2)

Publication Number Publication Date
JP2022097588A true JP2022097588A (ja) 2022-06-30
JP7398507B2 JP7398507B2 (ja) 2023-12-14

Family

ID=59898557

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2018549246A Active JP7152312B2 (ja) 2016-03-25 2017-03-24 仮想および拡張現実システムおよび方法
JP2022074389A Active JP7398507B2 (ja) 2016-03-25 2022-04-28 仮想および拡張現実システムおよび方法
JP2023121586A Pending JP2023129621A (ja) 2016-03-25 2023-07-26 仮想および拡張現実システムおよび方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2018549246A Active JP7152312B2 (ja) 2016-03-25 2017-03-24 仮想および拡張現実システムおよび方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023121586A Pending JP2023129621A (ja) 2016-03-25 2023-07-26 仮想および拡張現実システムおよび方法

Country Status (10)

Country Link
US (3) US10698215B2 (ja)
EP (1) EP3433661A4 (ja)
JP (3) JP7152312B2 (ja)
KR (3) KR102550587B1 (ja)
CN (2) CN113589529A (ja)
AU (3) AU2017238847A1 (ja)
CA (1) CA3017930A1 (ja)
IL (2) IL261769B1 (ja)
NZ (1) NZ746514A (ja)
WO (1) WO2017165848A1 (ja)

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11138793B2 (en) 2014-03-14 2021-10-05 Magic Leap, Inc. Multi-depth plane display system with reduced switching between depth planes
NZ756561A (en) 2016-03-04 2023-04-28 Magic Leap Inc Current drain reduction in ar/vr display systems
AU2017238847A1 (en) 2016-03-25 2018-10-04 Magic Leap, Inc. Virtual and augmented reality systems and methods
WO2017196879A1 (en) 2016-05-09 2017-11-16 Magic Leap, Inc. Augmented reality systems and methods for user health analysis
US10460520B2 (en) * 2017-01-13 2019-10-29 Simpsx Technologies Llc Computer ball device for mixed reality, virtual reality, or augmented reality
US10859834B2 (en) 2017-07-03 2020-12-08 Holovisions Space-efficient optical structures for wide field-of-view augmented reality (AR) eyewear
US10338400B2 (en) 2017-07-03 2019-07-02 Holovisions LLC Augmented reality eyewear with VAPE or wear technology
US10859833B2 (en) 2017-08-18 2020-12-08 Tipd, Llc Waveguide image combiner for augmented reality displays
US11668935B2 (en) 2017-08-18 2023-06-06 A9.Com, Inc. Waveguide image combiners for augmented reality displays
US11789265B2 (en) 2017-08-18 2023-10-17 A9.Com, Inc. Waveguide image combiners for augmented reality displays
US11698492B2 (en) 2017-08-18 2023-07-11 A9.Com, Inc. Waveguide image combiners for augmented reality displays
EP3682274A4 (en) * 2017-10-06 2021-05-12 Vuzix Corporation MULTI-CHANNEL WAVE GUIDE WITH REDUCED CROSS-TALKING
AU2018386296B2 (en) * 2017-12-15 2023-11-23 Magic Leap, Inc. Eyepieces for augmented reality display system
FI128665B (en) 2017-12-22 2020-09-30 Dispelix Oy Waveguide display with improved glow
WO2019143844A1 (en) 2018-01-17 2019-07-25 Magic Leap, Inc. Eye center of rotation determination, depth plane selection, and render camera positioning in display systems
KR20200108857A (ko) 2018-01-17 2020-09-21 매직 립, 인코포레이티드 디스플레이와 사용자의 눈들 사이의 정합을 결정하기 위한 디스플레이 시스템들 및 방법들
US10942355B2 (en) * 2018-01-22 2021-03-09 Facebook Technologies, Llc Systems, devices, and methods for tiled multi-monochromatic displays
US10878620B2 (en) * 2018-03-14 2020-12-29 Magic Leap, Inc. Display systems and methods for clipping content to increase viewing comfort
US11886000B2 (en) 2018-04-02 2024-01-30 Magic Leap, Inc. Waveguides having integrated spacers, waveguides having edge absorbers, and methods for making the same
CN112424671B (zh) * 2018-07-13 2023-10-27 奇跃公司 用于显示双目变形补偿的***和方法
US11966055B2 (en) 2018-07-19 2024-04-23 Magic Leap, Inc. Content interaction driven by eye metrics
CN109948410B (zh) 2018-07-20 2020-09-11 华为技术有限公司 具有纹路检测功能的电子设备
CN112689869A (zh) 2018-07-24 2021-04-20 奇跃公司 用于确定显示器与用户的眼睛之间的配准的显示***和方法
EP3830674A4 (en) * 2018-08-03 2022-04-20 Magic Leap, Inc. DEPTH PLANE SELECTION OF MULTI-DEPTH PLAN DISPLAY SYSTEMS BY USER CATEGORIZATION
US10979681B2 (en) * 2018-09-13 2021-04-13 Varjo Technologies Oy Display apparatus and method of displaying using light source and beam scanning arrangement
EP3908876A4 (en) 2019-01-11 2022-03-09 Magic Leap, Inc. TIME MULTIPLEXED DISPLAY OF VIRTUAL CONTENT AT VARIOUS DEPTHS
KR20200090315A (ko) * 2019-01-18 2020-07-29 삼성전자주식회사 영상을 처리하는 방법 및 디바이스
CN109803133B (zh) * 2019-03-15 2023-04-11 京东方科技集团股份有限公司 一种图像处理方法及装置、显示装置
WO2020235816A1 (en) 2019-05-21 2020-11-26 Samsung Electronics Co., Ltd. Glasses-type display apparatus
CN116582661B (zh) * 2019-05-23 2024-06-11 奇跃公司 混合模式三维显示***和方法
US11467370B2 (en) 2019-05-27 2022-10-11 Samsung Electronics Co., Ltd. Augmented reality device for adjusting focus region according to direction of user's view and operating method of the same
EP3987329A4 (en) * 2019-06-24 2023-10-11 Magic Leap, Inc. WAVEGUIDES WITH INTEGRATED SPACERS AND RELATED SYSTEMS AND METHODS
CN110413124A (zh) * 2019-08-01 2019-11-05 贵州电网有限责任公司 一种基于vr视频的人机交互***及其使用方法
US11681362B2 (en) 2019-11-26 2023-06-20 Magic Leap, Inc. Enhanced eye tracking for augmented or virtual reality display systems
EP4073689A4 (en) * 2019-12-09 2022-12-14 Magic Leap, Inc. SYSTEMS AND PROCEDURES FOR THE OPERATION OF A USER IDENTIFICATION-BASED HEAD-MOUNTED DISPLAY
CN110928516B (zh) * 2019-12-12 2023-08-01 Oppo广东移动通信有限公司 增强现实的显示方法、装置、终端及计算机可读存储介质
CN115190837A (zh) 2020-02-28 2022-10-14 奇跃公司 制造用于形成具有一体间隔件的目镜的模具的方法
CN113325947A (zh) * 2020-02-28 2021-08-31 北京七鑫易维信息技术有限公司 一种显示方法、装置、终端设备及存储介质
EP4154050A4 (en) * 2020-05-22 2024-06-05 Magic Leap Inc AUGMENTED AND VIRTUAL REALITY DISPLAY SYSTEMS WITH CORRELATED OPTICAL REGIONS
US11947314B2 (en) 2020-12-15 2024-04-02 A9.Com, Inc. Volume holographic optical elements with expanded angular acceptance
KR20220099011A (ko) * 2021-01-05 2022-07-12 삼성전자주식회사 콘텐츠를 표시하기 위한 전자 장치 및 그의 동작 방법
WO2022261316A1 (en) * 2021-06-10 2022-12-15 Blinktbi, Inc. A blink reflex monitoring device
CN114252997A (zh) * 2021-11-03 2022-03-29 上海大学 一种基于柱面波导的彩色近眼显示装置及方法
WO2023183980A1 (en) * 2022-03-30 2023-10-05 ResMed Pty Ltd Display system and user interface
CN114911063B (zh) * 2022-04-07 2023-11-10 南昌虚拟现实研究院股份有限公司 应用在虚拟现实显示中的焦面成像***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003241100A (ja) * 2002-02-18 2003-08-27 Olympus Optical Co Ltd 偏心光学系
US20110242661A1 (en) * 2008-12-12 2011-10-06 Bae Systems Plc waveguides
US20130088780A1 (en) * 2010-03-12 2013-04-11 Toni J. Jarvenpaa Light-Guiding Structures
JP2015525491A (ja) * 2012-05-09 2015-09-03 ノキア コーポレイション フォーカス距離に基づいて表示情報の表現を決定する方法および装置
JP2016502676A (ja) * 2012-10-18 2016-01-28 アリゾナ ボード オブ リージェンツ オン ビハーフ オブ ザ ユニバーシティ オブ アリゾナ アドレス指定可能な焦点手がかりを用いた立体視ディスプレイ

Family Cites Families (99)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6222525B1 (en) 1992-03-05 2001-04-24 Brad A. Armstrong Image controllers with sheet connected sensors
JP3563459B2 (ja) 1994-10-31 2004-09-08 大正製薬株式会社 瞬き検出システム
JPH08271953A (ja) 1995-03-30 1996-10-18 Olympus Optical Co Ltd ファインダ装置
US5670988A (en) 1995-09-05 1997-09-23 Interlink Electronics, Inc. Trigger operated electronic device
JPH09105853A (ja) 1995-10-06 1997-04-22 Canon Inc 光学装置及び撮影装置
JP3651204B2 (ja) 1996-12-18 2005-05-25 トヨタ自動車株式会社 立体画像表示装置、立体画像表示方法及び記録媒体
JPH11249064A (ja) 1998-03-04 1999-09-17 Omron Corp 頭部搭載型表示装置
CN1650622B (zh) 2002-03-13 2012-09-05 图象公司 用于数字重新灌录或修改电影或其他图像序列数据的***和方法
US7428001B2 (en) * 2002-03-15 2008-09-23 University Of Washington Materials and methods for simulating focal shifts in viewers using large depth of focus displays
USD514570S1 (en) 2004-06-24 2006-02-07 Microsoft Corporation Region of a fingerprint scanning device with an illuminated ring
JP4088282B2 (ja) 2004-08-20 2008-05-21 清実 中村 コンピュータ入力方法と装置
US7656853B2 (en) 2004-12-27 2010-02-02 Microsoft Corporation Reducing power consumption of a wireless device
US20070081123A1 (en) 2005-10-07 2007-04-12 Lewis Scott W Digital eyewear
US8696113B2 (en) 2005-10-07 2014-04-15 Percept Technologies Inc. Enhanced optical and perceptual digital eyewear
US11428937B2 (en) 2005-10-07 2022-08-30 Percept Technologies Enhanced optical and perceptual digital eyewear
JP2009267733A (ja) 2008-04-24 2009-11-12 Sharp Corp 撮像装置および撮像制御方法
US8514215B2 (en) 2008-11-12 2013-08-20 International Business Machines Corporation Dynamically managing power consumption of a computer with graphics adapter configurations
JP5212155B2 (ja) 2009-02-10 2013-06-19 ブラザー工業株式会社 ヘッドマウントディスプレイ
WO2011008793A1 (en) 2009-07-13 2011-01-20 Emsense Corporation Systems and methods for generating bio-sensory metrics
US20110075257A1 (en) * 2009-09-14 2011-03-31 The Arizona Board Of Regents On Behalf Of The University Of Arizona 3-Dimensional electro-optical see-through displays
JP5308305B2 (ja) 2009-10-20 2013-10-09 株式会社トーメーコーポレーション 網膜電位測定装置
US20110106025A1 (en) 2009-10-29 2011-05-05 Hall Gary S Ophthalmic fluid pump
US8345984B2 (en) 2010-01-28 2013-01-01 Nec Laboratories America, Inc. 3D convolutional neural networks for automatic human action recognition
JP2012022150A (ja) * 2010-07-14 2012-02-02 Nikon Corp 表示装置および表示方法
US9292973B2 (en) * 2010-11-08 2016-03-22 Microsoft Technology Licensing, Llc Automatic variable virtual focus for augmented reality displays
US9304319B2 (en) 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
EP2656135B1 (en) 2010-12-24 2022-05-04 Magic Leap, Inc. Freeform waveguide prism
US10156722B2 (en) 2010-12-24 2018-12-18 Magic Leap, Inc. Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
US9081416B2 (en) 2011-03-24 2015-07-14 Seiko Epson Corporation Device, head mounted display, control method of device and control method of head mounted display
JP2012203127A (ja) 2011-03-24 2012-10-22 Seiko Epson Corp 頭部装着型表示装置および頭部装着型表示装置の制御方法、頭部装着型表示装置の制御のためのコンピュータープログラム
WO2012154620A2 (en) 2011-05-06 2012-11-15 Magic Leap, Inc. Massive simultaneous remote digital presence world
WO2013049861A1 (en) 2011-09-29 2013-04-04 Magic Leap, Inc. Tactile glove for human-computer interaction
US8976110B2 (en) 2011-10-27 2015-03-10 Tobii Technology Ab Power management in an eye-tracking system
EP3258671B1 (en) 2011-10-28 2018-09-05 Magic Leap, Inc. System and method for augmented and virtual reality
BR112014012615A2 (pt) 2011-11-23 2017-06-13 Magic Leap Inc sistema de exibição de realidade aumentada e virtual tridimensional
KR101891786B1 (ko) 2011-11-29 2018-08-27 삼성전자주식회사 아이 트래킹 기반의 사용자 기능 운용 방법 및 이를 지원하는 단말기
US8235529B1 (en) 2011-11-30 2012-08-07 Google Inc. Unlocking a screen using eye tracking information
JP5936379B2 (ja) 2012-02-07 2016-06-22 シャープ株式会社 画像表示装置
US9128522B2 (en) 2012-04-02 2015-09-08 Google Inc. Wink gesture input for a head-mountable device
NZ700887A (en) 2012-04-05 2016-11-25 Magic Leap Inc Wide-field of view (fov) imaging devices with active foveation capability
US10502876B2 (en) * 2012-05-22 2019-12-10 Microsoft Technology Licensing, Llc Waveguide optics focus elements
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
CN104737061B (zh) 2012-06-11 2018-01-16 奇跃公司 使用波导反射器阵列投射器的多深度平面三维显示器
US8437513B1 (en) 2012-08-10 2013-05-07 EyeVerify LLC Spoof detection for biometric authentication
US9740006B2 (en) 2012-09-11 2017-08-22 Magic Leap, Inc. Ergonomic head mounted display device and optical system
US9207760B1 (en) 2012-09-28 2015-12-08 Google Inc. Input detection
JP5873982B2 (ja) 2012-10-09 2016-03-01 パナソニックIpマネジメント株式会社 3次元表示装置、3次元画像処理装置および3次元表示方法
US9851787B2 (en) 2012-11-29 2017-12-26 Microsoft Technology Licensing, Llc Display resource management
IL301489B1 (en) 2013-01-15 2024-04-01 Magic Leap Inc A system for scanning electromagnetic imaging radiation
US20140247210A1 (en) 2013-03-01 2014-09-04 Tobii Technology Ab Zonal gaze driven interaction
EP2967322A4 (en) 2013-03-11 2017-02-08 Magic Leap, Inc. System and method for augmented and virtual reality
KR20230113418A (ko) 2013-03-15 2023-07-28 매직 립, 인코포레이티드 디스플레이 시스템 및 방법
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
US20140380249A1 (en) 2013-06-25 2014-12-25 Apple Inc. Visual recognition of gestures
US10295338B2 (en) 2013-07-12 2019-05-21 Magic Leap, Inc. Method and system for generating map data from an image
US9389683B2 (en) 2013-08-28 2016-07-12 Lg Electronics Inc. Wearable display and method of controlling therefor
CN105829953B (zh) 2013-10-16 2019-05-28 奇跃公司 具有可调节的瞳距的虚拟或增强现实头戴设备
JP5620562B1 (ja) 2013-10-23 2014-11-05 株式会社光波 単結晶蛍光体及び発光装置
US9857591B2 (en) 2014-05-30 2018-01-02 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
US10175478B2 (en) 2014-05-30 2019-01-08 Magic Leap, Inc. Methods and systems for generating virtual content display with a virtual or augmented reality apparatus
CN110542938B (zh) 2013-11-27 2023-04-18 奇跃公司 虚拟和增强现实***与方法
US10689172B2 (en) 2013-12-06 2020-06-23 Sonoco Development, Inc. Peel-away shaker can and can membrane
US9651784B2 (en) 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
WO2015117043A1 (en) 2014-01-31 2015-08-06 Magic Leap, Inc. Multi-focal display system and method
NZ722903A (en) 2014-01-31 2020-05-29 Magic Leap Inc Multi-focal display system and method
KR20150098162A (ko) 2014-02-19 2015-08-27 삼성전자주식회사 멀티미디어 데이터와 관련된 동작 제어 방법 및 장치
WO2015126095A1 (ko) 2014-02-21 2015-08-27 삼성전자 주식회사 전자 장치
JP6329635B2 (ja) 2014-02-25 2018-05-23 アイベリファイ インコーポレイテッド 視線追跡
JP6451059B2 (ja) * 2014-02-28 2019-01-16 セイコーエプソン株式会社 光電変換装置、光電変換装置の製造方法及び電子機器
EP3114527B1 (en) * 2014-03-05 2021-10-20 Arizona Board of Regents on Behalf of the University of Arizona Wearable 3d augmented reality display with variable focus and/or object recognition
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US11138793B2 (en) 2014-03-14 2021-10-05 Magic Leap, Inc. Multi-depth plane display system with reduced switching between depth planes
JP2015205114A (ja) 2014-04-23 2015-11-19 アルプス電気株式会社 眼鏡型電子機器
CN106537290B (zh) 2014-05-09 2019-08-27 谷歌有限责任公司 与真实和虚拟对象交互的基于生物力学的眼球信号的***和方法
USD759657S1 (en) 2014-05-19 2016-06-21 Microsoft Corporation Connector with illumination region
NZ764950A (en) * 2014-05-30 2022-07-01 Magic Leap Inc Methods and system for creating focal planes in virtual and augmented reality
USD752529S1 (en) 2014-06-09 2016-03-29 Comcast Cable Communications, Llc Electronic housing with illuminated region
US9606622B1 (en) 2014-06-26 2017-03-28 Audible, Inc. Gaze-based modification to content presentation
JP6573755B2 (ja) 2014-07-10 2019-09-11 富士通株式会社 表示制御方法、情報処理プログラム、及び情報処理装置
US20160025971A1 (en) 2014-07-25 2016-01-28 William M. Crow Eyelid movement as user input
US9946361B2 (en) 2014-08-14 2018-04-17 Qualcomm Incorporated Management for wearable display
US9494799B2 (en) * 2014-09-24 2016-11-15 Microsoft Technology Licensing, Llc Waveguide eye tracking employing switchable diffraction gratings
US20160131904A1 (en) 2014-11-07 2016-05-12 Osterhout Group, Inc. Power management for head worn computing
EP3216023A4 (en) 2014-11-07 2018-07-18 Eye Labs, LLC Visual stabilization system for head-mounted displays
US20160131905A1 (en) 2014-11-07 2016-05-12 Kabushiki Kaisha Toshiba Electronic apparatus, method and storage medium
CN107530034A (zh) 2015-03-16 2018-01-02 奇跃公司 增强现实脉冲血氧定量法
USD758367S1 (en) 2015-05-14 2016-06-07 Magic Leap, Inc. Virtual reality headset
EP3109689A1 (en) 2015-06-22 2016-12-28 Nokia Technologies Oy Transition from a display power mode to a different display power mode
JP2017058853A (ja) 2015-09-15 2017-03-23 株式会社コーエーテクモゲームス 情報処理装置、動作制御方法、及び動作制御プログラム
JP7089475B2 (ja) 2016-02-11 2022-06-22 マジック リープ, インコーポレイテッド 深度平面間の低減された切り替えを伴う多深度平面ディスプレイシステム
NZ756561A (en) 2016-03-04 2023-04-28 Magic Leap Inc Current drain reduction in ar/vr display systems
USD805734S1 (en) 2016-03-04 2017-12-26 Nike, Inc. Shirt
USD794288S1 (en) 2016-03-11 2017-08-15 Nike, Inc. Shoe with illuminable sole light sequence
AU2017238847A1 (en) 2016-03-25 2018-10-04 Magic Leap, Inc. Virtual and augmented reality systems and methods
CA3020390A1 (en) 2016-04-08 2017-10-12 Vizzario, Inc. Methods and systems for obtaining, aggregating, and analyzing vision data to assess a person's vision performance
KR20210025721A (ko) 2016-08-02 2021-03-09 매직 립, 인코포레이티드 고정-거리 가상 및 증강 현실 시스템들 및 방법들
US11966055B2 (en) 2018-07-19 2024-04-23 Magic Leap, Inc. Content interaction driven by eye metrics
CN109147715A (zh) 2018-08-28 2019-01-04 武汉华星光电技术有限公司 用于降低显示面板功耗的方法及低功耗的显示装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003241100A (ja) * 2002-02-18 2003-08-27 Olympus Optical Co Ltd 偏心光学系
US20110242661A1 (en) * 2008-12-12 2011-10-06 Bae Systems Plc waveguides
US20130088780A1 (en) * 2010-03-12 2013-04-11 Toni J. Jarvenpaa Light-Guiding Structures
JP2015525491A (ja) * 2012-05-09 2015-09-03 ノキア コーポレイション フォーカス距離に基づいて表示情報の表現を決定する方法および装置
JP2016502676A (ja) * 2012-10-18 2016-01-28 アリゾナ ボード オブ リージェンツ オン ビハーフ オブ ザ ユニバーシティ オブ アリゾナ アドレス指定可能な焦点手がかりを用いた立体視ディスプレイ

Also Published As

Publication number Publication date
JP2019512741A (ja) 2019-05-16
AU2021273574A1 (en) 2021-12-16
EP3433661A4 (en) 2019-11-20
NZ746514A (en) 2020-03-27
US11467408B2 (en) 2022-10-11
IL261769B1 (en) 2024-04-01
IL261769A (en) 2018-10-31
CN113589529A (zh) 2021-11-02
CN109154723A (zh) 2019-01-04
AU2021273574B2 (en) 2024-02-15
WO2017165848A1 (en) 2017-09-28
US20230032100A1 (en) 2023-02-02
KR102667713B1 (ko) 2024-05-20
US10698215B2 (en) 2020-06-30
KR20230098725A (ko) 2023-07-04
CN109154723B (zh) 2021-08-17
KR20180122726A (ko) 2018-11-13
IL311155A (en) 2024-04-01
JP2023129621A (ja) 2023-09-14
WO2017165848A8 (en) 2018-10-04
JP7398507B2 (ja) 2023-12-14
US20200319466A1 (en) 2020-10-08
KR102550587B1 (ko) 2023-06-30
KR20220115816A (ko) 2022-08-18
US11966059B2 (en) 2024-04-23
AU2017238847A1 (en) 2018-10-04
EP3433661A1 (en) 2019-01-30
AU2024203082A1 (en) 2024-05-30
CA3017930A1 (en) 2017-09-28
US20170276948A1 (en) 2017-09-28
JP7152312B2 (ja) 2022-10-12

Similar Documents

Publication Publication Date Title
JP7398507B2 (ja) 仮想および拡張現実システムおよび方法
JP7273940B2 (ja) 深度平面間の低減された切り替えを伴う多深度平面ディスプレイシステム
US11138793B2 (en) Multi-depth plane display system with reduced switching between depth planes
JP2021182148A (ja) 可変焦点レンズ要素を用いた拡張現実システムおよび方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220428

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230426

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230426

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230726

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230803

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231204

R150 Certificate of patent or registration of utility model

Ref document number: 7398507

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150