JP2024522470A

JP2024522470A - Method and system for calibrating a wearable head-up display with integrated prescription lenses to produce aligned and color-corrected images - Patents.com

Info

Publication number: JP2024522470A
Application number: JP2023571620A
Authority: JP
Inventors: バルザーソン，ダニエル・デイビッド・アルビン; クラントン，ブライアン・ワトソン; マー，チエンリー; ショスタク，ヘイブン・ジョン・デイビッド
Original assignee: Google LLC
Current assignee: Google LLC
Priority date: 2021-05-18
Filing date: 2022-05-17
Publication date: 2024-06-21

Abstract

ヘッドマウントディスプレイ（ＨＭＤ）（１００）を較正するシステムおよび方法であって、ＨＭＤの光学コンバイナ（１０２）を較正ステーション（２００）のホルダ（２０２）内に位置決めし、光学コンバイナが、ＨＭＤのマイクロディスプレイ（２０４）および較正ステーションのカメラ（２０６）から提供される光の主光路内にあるようにすることと、チューナブル補正ユニット（２０８）を調整して、光学コンバイナの矯正処方によって引き起こされる脱焦を補正することと、チューナブル補正ユニットおよび光学コンバイナを通して見られる参照ターゲット（２２４）の画像をカメラによって捕捉することと、捕捉された画像から歪みモデルを生成し、歪みモデルを、ＨＭＤによって投影された画像に適用するために、ＨＭＤを較正することとによる、システムおよび方法。

A system and method for calibrating a head mounted display (HMD) (100) by positioning an optical combiner (102) of the HMD in a holder (202) of a calibration station (200) so that the optical combiner is in a main optical path of light provided from a microdisplay (204) of the HMD and a camera (206) of the calibration station, adjusting a tunable correction unit (208) to correct defocus caused by a corrective prescription of the optical combiner, capturing an image of a reference target (224) seen through the tunable correction unit and the optical combiner by the camera, generating a distortion model from the captured image, and calibrating the HMD to apply the distortion model to an image projected by the HMD.

Description

背景
光学の分野では、コンバイナは、２つの光源、例えば、マイクロディスプレイから伝送され、光ガイドを介してコンバイナに指向される光と、環境光とを組み合わせる光学装置である。光学コンバイナは、ヘッドアップディスプレイ（ＨＵＤ）において使用され、その例は、ヘッドマウントディスプレイ（ＨＭＤ）またはニアアイディスプレイを含み、ユーザが、ＨＭＤを通して見られるユーザの環境上に重ね合わされたコンピュータ生成コンテンツ（例えば、テキスト、画像、またはビデオコンテンツ）を見ることを可能にし、拡張現実（ＡＲ）または混合現実（ＭＲ）として知られるものを生成する。いくつかの用途では、ＨＭＤは、光学コンバイナが眼鏡フレーム内にレンズのうちの少なくとも１つを形成する、眼鏡フレームフォームファクタで実現される。ＨＭＤは、ユーザが、表示されたコンピュータ生成コンテンツを、依然としてユーザの環境を見ながら、見ることを可能にする。 Background In the field of optics, a combiner is an optical device that combines light transmitted from two light sources, e.g., a microdisplay and directed to the combiner via a light guide, and ambient light. Optical combiners are used in head-up displays (HUDs), examples of which include head-mounted displays (HMDs) or near-eye displays, that allow a user to see computer-generated content (e.g., text, images, or video content) superimposed on the user's environment seen through the HMD, generating what is known as augmented reality (AR) or mixed reality (MR). In some applications, the HMD is realized in an eyeglass frame form factor, where the optical combiner forms at least one of the lenses in the eyeglass frame. The HMD allows the user to see the displayed computer-generated content while still viewing the user's environment.

ユーザが、コンピュータ生成コンテンツを、焦点が合った状態で、最小限の歪みおよび色収差で見ることを確実にするために、ＨＭＤの構成要素は、概して、ユーザがＨＭＤを装着しているときにユーザの眼が位置することが予期される場所に位置付けられるテストセットアップカメラによって捕捉される画像を使用して較正される。これらの画像は、ユーザがＨＭＤから投影されて見る可能性が高いもの、およびＡＲまたはＭＲＨＭＤの光学コンバイナを通して見られる実世界環境をシミュレートする。 To ensure that users view computer-generated content in focus and with minimal distortion and chromatic aberration, the components of the HMD are generally calibrated using images captured by test setup cameras positioned where the user's eyes are expected to be when the user is wearing the HMD. These images simulate what a user is likely to see projected from the HMD and the real-world environment as seen through the optical combiner of an AR or MR HMD.

本開示は、添付の図面を参照することによって理解することができ、その多数の特徴および利点が当業者に明らかになる。異なる図面における同じ参照符号の使用は、類似または同一の項目を示す。 The present disclosure may be understood, and its numerous features and advantages made apparent to those skilled in the art, by reference to the accompanying drawings. The use of the same reference symbols in different drawings indicates similar or identical items.

いくつかの実施形態による、統合された矯正処方を伴う光学コンバイナを有する、例示的ヘッドマウントディスプレイ（ＨＭＤ）を図示する。1 illustrates an exemplary head mounted display (HMD) having an optical combiner with an integrated corrective prescription, according to some embodiments. いくつかの実施形態による、図１のＨＭＤなどのＨＭＤの局面が測定および較正される較正ステーションのブロック図を示す。2 shows a block diagram of a calibration station where aspects of an HMD, such as the HMD of FIG. 1, are measured and calibrated, according to some embodiments. いくつかの実施形態による、図１のＨＭＤのマイクロディスプレイおよび図２の較正ステーションに関連付けられる処理システムのブロック図を示す。3 shows a block diagram of a processing system associated with the microdisplay of the HMD of FIG. 1 and the calibration station of FIG. 2 according to some embodiments. いくつかの実施形態による、図２の較正ステーションおよび周辺装置を含む較正システムのブロック図を示す。3 shows a block diagram of a calibration system including the calibration station and peripheral devices of FIG. 2 according to some embodiments. 図４の較正システムを使用して、図１のＨＭＤなどのＨＭＤを較正する方法を示す。A method for calibrating an HMD, such as the HMD of FIG. 1, using the calibration system of FIG. 4 is shown.

詳細な説明
従来のニアアイディスプレイは、視力矯正を必要とするユーザに対応するために眼科矯正レンズを必要とする場合がある。ＨＭＤに矯正光学処方を含めるための典型的な方法は、ユーザが着用する眼鏡の一部として、またはＨＭＤの光学コンバイナに挿入されるかもしくは取り付けられるレンズとして、光ガイドおよび別個の処方レンズの両方を収容するように光学コンバイナを構成することを必要とする。その結果、しばしば、ユーザが着用するのが不快になり得るかさばるシステムとなり、したがって、ユーザ体験を損なう。さらに、インサートまたはアタッチメントとしてコンバイナ内に含まれる矯正処方レンズの境界線は、ユーザに可視であることが多く、これもまた、ユーザ経験を損なう。これらの問題を回避するために、矯正処方が統合された光学コンバイナが開発されている。ユーザが拡張現実場面を見るときに望ましくない光学収差または歪みを経験しないように、コンバイナ内からの光および環境光の両方を同時に補正することには面倒な問題があるが、これらの問題は、デバイスがユーザに良好な視力を提供するようにマイクロディスプレイを較正することによって、診断および改善することができる。 DETAILED DESCRIPTION Conventional near-eye displays may require ophthalmic corrective lenses to accommodate users who require vision correction. A typical method for including a corrective optical prescription in an HMD involves configuring an optical combiner to accommodate both a light guide and a separate prescription lens, either as part of glasses worn by the user or as a lens inserted or attached to the optical combiner of the HMD. This often results in a bulky system that can be uncomfortable for the user to wear, thus compromising the user experience. Furthermore, the borders of the corrective prescription lens included in the combiner as an insert or attachment are often visible to the user, which also compromising the user experience. To avoid these issues, optical combiners with integrated corrective prescriptions have been developed. There are cumbersome issues with simultaneously correcting both the light from within the combiner and the ambient light so that the user does not experience undesirable optical aberrations or distortions when viewing the augmented reality scene, but these issues can be diagnosed and improved by calibrating the microdisplay so that the device provides the user with good vision.

しかしながら、ＨＭＤの光学コンバイナへの矯正処方の導入は、場合によっては、矯正処方が、マイクロディスプレイによって投影される画像および光学コンバイナを通して伝送される環境からの光に脱焦および歪みの両方を導入するため、ＨＭＤの較正に課題を提示する。そのような収差を回避するために、較正プロセス中において、マイクロディスプレイを較正するために、環境および表示されたコンテンツがユーザの目を通して見られることが望ましい。したがって、本明細書で説明される技法を使用して、処方レンズを通して視認される表示されたコンテンツの較正を行うために使用される較正システムの構成要素は、屈折矯正を必要としているユーザの眼をシミュレートするよう構成される。対照的に、既存の較正システムは、ユーザは較正中に良好な視力を有し、較正されるべきデバイスは、矯正処方がディスプレイに適用されることを必要としないアーキテクチャを使用する、と仮定するか、またはモジュール式矯正処方が較正後にＨＭＤに追加され得る、と仮定する。ユーザの矯正処方は著しく異なるため、単一の較正システムが広範囲のユーザ処方をサポートするように調整可能であることが望ましい。 However, the introduction of a corrective prescription into the optical combiner of an HMD presents a challenge to the calibration of the HMD, as the corrective prescription, in some cases, introduces both defocusing and distortion into the image projected by the microdisplay and the light from the environment transmitted through the optical combiner. To avoid such aberrations, it is desirable that during the calibration process, the environment and the displayed content are viewed through the user's eyes in order to calibrate the microdisplay. Thus, using the techniques described herein, the components of a calibration system used to perform the calibration of the displayed content viewed through a prescription lens are configured to simulate the eye of a user in need of refractive correction. In contrast, existing calibration systems assume that the user has good vision during calibration and that the device to be calibrated uses an architecture that does not require the corrective prescription to be applied to the display, or that a modular corrective prescription can be added to the HMD after calibration. Because users' corrective prescriptions vary significantly, it is desirable for a single calibration system to be adjustable to support a wide range of user prescriptions.

図１～図５は、統合されたユーザ固有の矯正処方を伴う少なくとも１つの光学コンバイナを有するＨＭＤを検査および較正するためのシステムならびに方法を示す。矯正処方を伴う光学コンバイナを通して見られる、ＨＭＤのマイクロディスプレイの出力および参照ターゲットは、矯正処方によって引き起こされる光学収差およびアーチファクトを較正するために、専用の較正ステーションにおいて測定される。較正ステーションは、カメラと、屈折矯正を必要とするユーザの眼を共に模倣する少なくとも１つのチューナブル補正ユニットとを含む。すなわち、カメラのカメラセンサは、画像を「見る」ために光を受光するようユーザの眼の網膜を模倣し、チューナブル補正ユニットは、画像がカメラセンサによって合焦して見えるように光を集束させるようユーザの眼のレンズを模倣する。概して、チューナブル補正ユニットは、光学コンバイナの矯正処方によって引き起こされる焦点のシフトを補償し、較正ステーションのカメラがＨＭＤの測定および較正を行うのに必要とされる鮮明な画像を捕捉することを可能にする。ＨＭＤの較正は、ＨＭＤのマイクロディスプレイが参照ターゲットに整合するように較正されるように比較的であり、それらの両方が、光学コンバイナの矯正処方およびチューナブル補正ユニットによって光学的に修正される。言い換えれば、ＨＭＤのマイクロディスプレイからの光学的に修正された光は、参照ターゲットからの光学的に修正された光に整合され、その結果、ＨＭＤのユーザは、光学コンバイナで表示されるコンテンツ、および光学コンバイナの背後の環境を、良好な視力で見ることになる。 1-5 show a system and method for testing and calibrating an HMD having at least one optical combiner with an integrated user-specific corrective prescription. The output of the microdisplay of the HMD and a reference target, as seen through the optical combiner with the corrective prescription, are measured in a dedicated calibration station to calibrate the optical aberrations and artifacts caused by the corrective prescription. The calibration station includes a camera and at least one tunable correction unit that both mimic the eye of a user that requires refractive correction. That is, the camera sensor of the camera mimics the retina of the user's eye to receive light to "see" an image, and the tunable correction unit mimics the lens of the user's eye to focus the light so that the image appears in focus by the camera sensor. In general, the tunable correction unit compensates for the focus shift caused by the corrective prescription of the optical combiner, allowing the camera of the calibration station to capture clear images required to measure and calibrate the HMD. The calibration of the HMD is relative such that the microdisplay of the HMD is calibrated to match the reference target, both of which are optically corrected by the corrective prescription and the tunable correction unit of the optical combiner. In other words, the optically corrected light from the microdisplay of the HMD is matched to the optically corrected light from the reference target, so that the user of the HMD sees the content displayed at the optical combiner and the environment behind the optical combiner with good vision.

チューナブル補正ユニットは、製造プロセスの較正段階中に、または修理を必要とするＨＭＤの再較正の一部として、カメラにおいて、焦点を合わせた画像を生成するために、オペレータによって手動で、または自動プロセスによって、調整することができる。チューナブル補正ユニットの構成要素を調整することができるので、較正ステーションは、いくつかの異なる矯正処方をシミュレートすることができ、様々なユーザがユーザ特定の処方で設定されたＨＭＤを着用したときに実世界および／または表示されたコンテンツをどのように見るかのシミュレーションを可能にする。 The tunable correction unit can be adjusted manually by an operator or by an automated process to produce a focused image at the camera during the calibration stage of the manufacturing process or as part of a recalibration of an HMD requiring repair. Because the components of the tunable correction unit can be adjusted, the calibration station can simulate several different corrective prescriptions, allowing for the simulation of how various users would see the real world and/or displayed content when wearing an HMD configured with a user-specific prescription.

図１は、統合された矯正処方を伴う光学コンバイナ１０２を用いる例示的なＨＭＤ１００を示す。ＨＭＤ１００は、ユーザが投影された画像を光学コンバイナ１０２において視野（ＦＯＶ）領域１０８内に表示されるものとして知覚するように光学コンバイナ１０２を介してユーザの眼に向けて画像を投影するために可視光を生成するレーザプロジェクタまたは発光ダイオード（ＬＥＤ）ディスプレイなどのマイクロディスプレイ（図２に示す）を収容するフレーム１０６を含む支持構造１０４を有する。いくつかの実施形態では、マイクロディスプレイはまた、視標追跡目的で赤外光を生成する。 Figure 1 shows an exemplary HMD 100 that uses an optical combiner 102 with an integrated corrective prescription. The HMD 100 has a support structure 104 that includes a frame 106 that houses a microdisplay (shown in Figure 2), such as a laser projector or light-emitting diode (LED) display, that generates visible light to project an image through the optical combiner 102 toward the user's eye such that the user perceives the projected image as displayed within a field of view (FOV) region 108 at the optical combiner 102. In some embodiments, the microdisplay also generates infrared light for eye tracking purposes.

支持構造１０４はまた、支持構造１０４がユーザの眼の前方の位置に着用されることを可能にする構成要素も含む。そのような構成要素の例は、ユーザの耳によって支持されるアーム１１０および１１２である。ユーザの頭部の周りおよび／または上部に装着されるように構成された１つ以上のストラップ（図示せず）を、いくつかの実施形態では、１つ以上のアームの代わりに使用して、支持構造１０４をユーザの眼の前方に固定してもよい。いくつかの実施形態では、ＨＭＤ１００は、レンズ素子１１４もコンバイナであるように、対称的に構成され、マイクロディスプレイは、レンズ素子１１４内のＦＯＶ領域に画像を投影するためにアーム１１２に近接するフレーム１０６の部分内に収容される。コンバイナ１０２およびレンズ要素１１４のいずれかまたは両方は、ユーザの眼に伝送される光の処方矯正を双方が提供する、曲率を有する、眼側表面および世界側表面を伴って構成されることができる。 The support structure 104 also includes components that allow the support structure 104 to be worn in a position in front of the user's eyes. Examples of such components are the arms 110 and 112 that are supported by the user's ears. One or more straps (not shown) configured to be worn around and/or over the user's head may be used in place of the one or more arms in some embodiments to secure the support structure 104 in front of the user's eyes. In some embodiments, the HMD 100 is configured symmetrically such that the lens element 114 is also a combiner, and the microdisplay is housed in a portion of the frame 106 proximate the arms 112 to project an image into a FOV region within the lens element 114. Either or both of the combiner 102 and the lens element 114 can be configured with eye-side and world-side surfaces having curvatures that both provide a prescription correction for the light transmitted to the user's eyes.

図示される例では、ＨＭＤ１００は、支持構造１０４が、ユーザの頭部上に装着されるように構成され、眼鏡フレームの全体的形状および外観（または「フォームファクタ」）を有する、ニアアイディスプレイシステムである。支持構造１０４は、図３を参照して以下でより詳細に説明される処理システム等、ユーザの眼に向かってそのような画像の投影を促進するための種々の構成要素を収容するか、または別様に含む。いくつかの実施形態では、支持構造１０４はさらに、１つ以上の前向きカメラ、後向きカメラ、他の光センサ、運動センサ、加速度計等の種々のセンサを含む。支持構造１０４はさらに、１つ以上の無線周波数（ＲＦ）インターフェース、またはBluetooth（商標出願済み）インターフェース、ＷｉＦｉインターフェース等の他の無線インターフェースを含むことができる。さらに、いくつかの実施形態では、支持構造１０４は、ＨＭＤ１００の処理システムの１つ以上のプロセッサなどの電気的構成要素および処理構成要素に電力を供給するための１つ以上のバッテリまたは他のポータブル電源を含む。いくつかの実施形態では、ＨＭＤ１００のこれらの構成要素のいくつかまたはすべては、支持構造１０４のアーム１１０およびフレーム１０６の部分内の領域１１６内といった、支持構造１０４の内部容積内に、完全にまたは部分的に収容される。例示的なフォームファクタが示されているが、他の実施形態では、ＨＭＤ１００は、図１に示される眼鏡フレームとは異なる形状および外観を有し得ることが理解されよう。 In the illustrated example, the HMD 100 is a near-eye display system in which the support structure 104 is configured to be worn on the head of a user and has the overall shape and appearance (or "form factor") of an eyeglass frame. The support structure 104 houses or otherwise includes various components for facilitating the projection of such images toward the user's eye, such as a processing system, which will be described in more detail below with reference to FIG. 3. In some embodiments, the support structure 104 further includes various sensors, such as one or more forward-facing cameras, rear-facing cameras, other optical sensors, motion sensors, accelerometers, etc. The support structure 104 may further include one or more radio frequency (RF) interfaces, or other wireless interfaces, such as a Bluetooth (trademark pending) interface, a WiFi interface, etc. Additionally, in some embodiments, the support structure 104 includes one or more batteries or other portable power sources for powering electrical components, such as one or more processors, and processing components of the processing system of the HMD 100. In some embodiments, some or all of these components of the HMD 100 are housed completely or partially within the interior volume of the support structure 104, such as within an area 116 within the arms 110 and frame 106 portions of the support structure 104. While an exemplary form factor is shown, it will be understood that in other embodiments, the HMD 100 may have a different shape and appearance than the eyeglass frame shown in FIG. 1.

図示される実施形態では、ＨＭＤ１００のコンバイナ１０２は、レンダリングされたグラフィカルコンテンツが、コンバイナ１０２を通してユーザによって視認されるとおりの実世界ビューの上に重ね合わせられるかまたはそれと関連して別様に提供されることができる、ＡＲディスプレイを提供する。例えば、知覚可能な画像または一連の画像を形成するために使用される光は、ＨＭＤ１００のマイクロディスプレイによって、コンバイナ１０２内に少なくとも部分的に形成された光ガイド、ならびにマイクロディスプレイと光ガイドとの間に配置された１つ以上のレンズおよび／またはフィルタなどの、一連の光学素子を介して、ユーザの眼に投影されてもよい。光学コンバイナ１０２は、光ガイドのインカプラによって受光された表示光を、ＨＭＤ１００のユーザの眼に向けて表示光を出力する光ガイドのアウトカプラに経路付ける、光ガイドの少なくとも一部分を含む。加えて、光学コンバイナ１０２は、ユーザがコンバイナ１０２を通して見ることができ、ユーザの実世界環境の視野を提供するのに充分に透明であり、画像は、ユーザの実世界環境の少なくとも一部分の上に重ね合わされて見える。ユーザが、正しい角度位置で、かつ最小の望ましくない歪みで、その実世界環境および光学コンバイナ１０２から投影される画像を合焦して見ることを確実にするために、マイクロディスプレイを含むＨＭＤの構成要素が、較正ステーションを使用して調整され、その例は、図２を参照して以下でより詳細に説明される。 In the illustrated embodiment, the combiner 102 of the HMD 100 provides an AR display in which rendered graphical content can be superimposed on or otherwise provided in association with a real-world view as viewed by a user through the combiner 102. For example, the light used to form a perceptible image or series of images may be projected by a microdisplay of the HMD 100 to the user's eye through a series of optical elements, such as a light guide formed at least partially within the combiner 102 and one or more lenses and/or filters disposed between the microdisplay and the light guide. The optical combiner 102 includes at least a portion of a light guide that routes display light received by an in-coupler of the light guide to an out-coupler of the light guide that outputs the display light toward the eye of the user of the HMD 100. In addition, the optical combiner 102 is sufficiently transparent to allow a user to see through the combiner 102 and provide a view of the user's real-world environment, with the image appearing to be superimposed on at least a portion of the user's real-world environment. To ensure that the user views their real-world environment and the image projected from the optical combiner 102 in focus, at the correct angular position, and with minimal undesirable distortion, the components of the HMD, including the microdisplay, are adjusted using a calibration station, an example of which is described in more detail below with reference to FIG. 2.

図２は、ＨＭＤ１００などのディスプレイシステムの局面が測定および較正される較正ステーション２００のブロック図を示す。較正ステーション２００は、光学コンバイナ１０２などの光学コンバイナが配置されるホルダ２０２を含む。ホルダ２０２の位置は、光学コンバイナ１０２が、光学コンバイナ１０２に関連付けられるマイクロディスプレイ２０４から較正ステーション２００のカメラ２０６に進行する光の主光路２２０内に位置決めされることを可能にするように調節可能である。説明を容易にするために単一の構成要素として示されているが、カメラ２０６は、光を感知するためのカメラセンサと、カメラセンサ上に光を集束させるためのカメラレンズまたはレンズの組合せとの組合せである。 2 shows a block diagram of a calibration station 200 in which aspects of a display system such as HMD 100 are measured and calibrated. Calibration station 200 includes a holder 202 in which an optical combiner, such as optical combiner 102, is placed. The position of holder 202 is adjustable to allow optical combiner 102 to be positioned in a primary optical path 220 of light traveling from a microdisplay 204 associated with optical combiner 102 to a camera 206 of calibration station 200. Although shown as a single component for ease of explanation, camera 206 is a combination of a camera sensor for sensing light and a camera lens or combination of lenses for focusing light onto the camera sensor.

チューナブル補正ユニット２０８も、主光路に配置され、ホルダ２０２とカメラ２０６との間に位置する。いくつかの実施形態では、チューナブル補正ユニット２０８は、球面レンズ、円柱レンズ、フィルタ付きレンズ、およびプリズムレンズを含むが、それらに限定されない、種々のレンズを含む、ホロプターである。ホロプターはまた、いくつかの実施形態では、マドックス杆およびジャクソンクロスシリンダ等の特殊化された測定装置を含む。いくつかの実施形態では、チューナブル補正ユニット２０８は、流体を収納する膜を変形させることによって、または膜の内外に流体を圧送することによって、レンズの半径を変更することができる、流体充填形状変化レンズ等の焦点可変レンズである。いくつかの実施形態では、チューナブル補正ユニット２０８は、様々な球面凹レンズ、球面凸レンズ、円柱凹レンズ、円柱凸レンズ、プリズムレンズ、ならびにホルダ２０２とカメラ２０６との間の光路内に配置することができる着色レンズ、遮眼子レンズ、ピンホールレンズ、およびクロスシリンダレンズなどの特殊レンズを含む試行レンズキットである。いくつかの実施形態では、中性濃度（ＮＤ）フィルタが、カメラ２０６とチューナブル補正ユニット２０８との間に位置付けられ、カメラ２０６に入射する光の強度を低減または修正して、明るすぎるかまたは「露出過剰」である画像を捕捉することを回避する。 A tunable correction unit 208 is also disposed in the main optical path, between the holder 202 and the camera 206. In some embodiments, the tunable correction unit 208 is a horopter, which includes a variety of lenses, including, but not limited to, spherical lenses, cylindrical lenses, filtered lenses, and prism lenses. The horopter also includes specialized measurement devices, such as a Maddox rod and a Jackson cross cylinder, in some embodiments. In some embodiments, the tunable correction unit 208 is a variable focus lens, such as a fluid-filled shape-changing lens, which can change the radius of the lens by deforming a membrane that contains the fluid or by pumping fluid in and out of the membrane. In some embodiments, the tunable correction unit 208 is a trial lens kit that includes a variety of spherical concave lenses, spherical convex lenses, cylindrical concave lenses, cylindrical convex lenses, prism lenses, and specialty lenses, such as tinted lenses, occluder lenses, pinhole lenses, and cross cylinder lenses, that can be placed in the optical path between the holder 202 and the camera 206. In some embodiments, a neutral density (ND) filter is positioned between the camera 206 and the tunable correction unit 208 to reduce or modify the intensity of light incident on the camera 206 to avoid capturing images that are too bright or "overexposed."

ユーザが光学コンバイナ１０２のＦＯＶ１０８にわたって均一な色および輝度の合焦画像またはテキストを見るようにＨＭＤ１００を較正するために、光学コンバイナ１０２によって引き起こされる歪みは、チューナブル補正ユニット２０８によって補正される。特に、光学コンバイナ１０２が、ユーザの特定の光学的矯正の必要性に基づく統合された矯正処方を含む場合、チューナブル補正ユニット２０８は、矯正処方によって引き起こされるぼやけを逆転させるために使用され、それにより、較正ステーション２００のカメラ２０６は、表示測定および較正を実行するための鮮明な合焦画像を捕捉することができる。 To calibrate the HMD 100 so that the user sees a focused image or text of uniform color and brightness across the FOV 108 of the optical combiner 102, the distortions caused by the optical combiner 102 are corrected by the tunable correction unit 208. In particular, if the optical combiner 102 includes an integrated corrective prescription based on the user's specific optical correction needs, the tunable correction unit 208 is used to reverse the blur caused by the corrective prescription, so that the camera 206 of the calibration station 200 can capture a sharp, focused image for performing display measurements and calibration.

例示すると、光学コンバイナ１０２の矯正処方は、光をユーザの眼の網膜上に集束させるために、ユーザの眼の水晶体および角膜と共同して働く。視力の問題は、眼の焦点遠近調節が物体に焦点を合わせることができないとき、または眼が対称でなく乱視に苦しむときに生じる。光学コンバイナ１０２の矯正処方（ジオプターで測定される）は、光が網膜上に正確に集束されるように、ユーザの眼に入る光の焦点を変化させ、ユーザが焦点の合った環境を見ることを可能にする。したがって、矯正処方は、光学コンバイナ１０２を成形し、実世界の知覚された深度を、非点収差補正の場合には共通平面に、球面補正の場合には患者の焦点遠近調節内に収まる平面に、シフトさせることによって、光学コンバイナ１０２に統合される。焦点がシフトされる程度は、ユーザの特定の矯正処方に応じて変動するため、統合された処方を伴う光学コンバイナ１０２を通して視認される画像は、別のユーザには、または較正ステーション２００の場合では、カメラ２０６には、ぼやけて、または脱焦して、見えるであろう。したがって、チューナブル補正ユニット２０８のレンズまたは形状は、光がカメラ２０６で正しく合焦され、カメラ２０６がチューナブル補正ユニット２０８および光学コンバイナ１０２を通して見られる環境の合焦画像を捕捉することができるように、矯正処方を有する光学コンバイナ１０２によって課される焦点のシフトを逆転させるよう調整される。 Illustratively, the corrective prescription of the optical combiner 102 works in conjunction with the lens and cornea of the user's eye to focus light onto the retina of the user's eye. Vision problems arise when the eye's focal accommodation is unable to focus on an object or when the eye is not symmetrical and suffers from astigmatism. The corrective prescription of the optical combiner 102 (measured in diopters) changes the focus of the light entering the user's eye so that the light is precisely focused onto the retina, allowing the user to see an in-focus environment. Thus, the corrective prescription is integrated into the optical combiner 102 by shaping the optical combiner 102 and shifting the perceived depth of the real world to a common plane in the case of astigmatism correction, or to a plane that falls within the patient's focal accommodation in the case of spherical correction. Because the degree to which the focus is shifted varies depending on the user's particular corrective prescription, an image viewed through the optical combiner 102 with the integrated prescription would appear blurry or defocused to another user, or in the case of the calibration station 200, to the camera 206. Thus, the lens or shape of the tunable correction unit 208 is adjusted to reverse the focus shift imposed by the optical combiner 102 with the corrective prescription so that light is properly focused at the camera 206 and the camera 206 can capture an in-focus image of the environment seen through the tunable correction unit 208 and the optical combiner 102.

いくつかの実施形態では、較正ステーション２００は、少なくとも１つの光学リレーを含む。図２に示す例示的な較正ステーション２００は、２つの光学リレー２１２、２１４を含む。第１の光学リレー２１２は、ホルダ２０２とチューナブル補正ユニット２０８との間に配置され、第２の光学リレー２１４は、チューナブル補正ユニット２０８とカメラ２０６との間に配置される。第１の光学リレー２１２は、マイクロディスプレイ２０４からの光をチューナブル補正ユニット２０８にリレーする少なくとも第１の組のリレーレンズ２１８を有し、第２の光学リレー２１４は、チューナブル補正ユニット２０８からの光をカメラ２０６にリレーする少なくとも第２の組のリレーレンズ２１８を有する。カメラ２０６は、ユーザの視界をシミュレートするために使用されるため、少なくとも１つの光学リレーがなければ、カメラ２０６は、ユーザの眼の位置をエミュレートするために、ホルダ２０２内に保持されている光学コンバイナ１０２に非常に近接して配置される必要があるであろう。その結果、ホルダ２０２とカメラ２０６との間にチューナブル補正ユニット２０８を嵌めるのに充分なスペースがない。光学リレー２１２、２１４は、カメラ２０６とホルダ２０２との間のチューナブル補正ユニット２０８の位置決めに適応し、ユーザがデジタルコンテンツおよび参照ターゲット２２４を見るときに、カメラ２０６が、光学コンバイナ１０２において投影されたデジタルコンテンツおよび／または光学コンバイナ１０２を越えて位置する参照ターゲット２２４の画像を捕捉することを可能にするように、主光路を延長する働きをする。いくつかの実施形態では、参照ターゲット２２４は、カメラ２０６がホルダ２０２内に位置決めされた光学コンバイナ１０２を通して参照ターゲット２２４を視認するように、ホルダ２０２から設定された距離で位置付けられる。参照ターゲット２２４は、概して、カメラ２０６が参照ターゲット２２４の合焦画像を捕捉していることを確実にするために使用される、識別可能な特徴を有する市松模様格子または他のパターン等の、物理的アイテムまたは画像である。いくつかの実施形態では、参照ターゲット２２４は、ホルダから設定された距離に位置付けられる表面上に投影される静的または動的画像である。参照ターゲット２２４は概して白色光で照明されるが、参照ターゲット２２４を照明するために着色照明を使用することもできる。 In some embodiments, the calibration station 200 includes at least one optical relay. The exemplary calibration station 200 shown in FIG. 2 includes two optical relays 212, 214. The first optical relay 212 is disposed between the holder 202 and the tunable correction unit 208, and the second optical relay 214 is disposed between the tunable correction unit 208 and the camera 206. The first optical relay 212 has at least a first set of relay lenses 218 that relay light from the microdisplay 204 to the tunable correction unit 208, and the second optical relay 214 has at least a second set of relay lenses 218 that relay light from the tunable correction unit 208 to the camera 206. Because the camera 206 is used to simulate a user's field of view, without the at least one optical relay, the camera 206 would need to be positioned very close to the optical combiner 102 held in the holder 202 to emulate the position of the user's eye. As a result, there is not enough space between the holder 202 and the camera 206 to fit the tunable correction unit 208. The optical relays 212, 214 accommodate the positioning of the tunable correction unit 208 between the camera 206 and the holder 202 and serve to extend the main optical path to allow the camera 206 to capture an image of the projected digital content at the optical combiner 102 and/or the reference target 224 located beyond the optical combiner 102 when the user views the digital content and the reference target 224. In some embodiments, the reference target 224 is positioned at a set distance from the holder 202 such that the camera 206 views the reference target 224 through the optical combiner 102 positioned within the holder 202. The reference target 224 is generally a physical item or image, such as a checkerboard or other pattern with identifiable features, that is used to ensure that the camera 206 is capturing a focused image of the reference target 224. In some embodiments, the reference target 224 is a static or dynamic image projected onto a surface positioned a set distance from the holder. The reference target 224 is generally illuminated with white light, although colored lighting can also be used to illuminate the reference target 224.

マイクロディスプレイ２０４からの光２２０の一部をサンプリングして、色、強度、および強度均一性を較正するために、ビームスプリッタ２１６が、マイクロディスプレイ２０４とチューナブル補正ユニット２０８との間に位置付けられる。ビームスプリッタ２１６は、マイクロディスプレイ２０４からの光２２０の一部を、主光路から離れて、図３を参照して以下でより詳細に説明するように、分光計、電力計、および／または積分球などの測定装置に向けて方向転換する。いくつかの実施形態では、ビームスプリッタ２１６は、光を主光路に注入するために使用される。いくつかの実施形態では、ビームスプリッタ２１６は、マイクロディスプレイ２０４からの光に対するチューナブル補正ユニット２０８の影響を部分的に補償するように、チューナブル補正ユニット２０８とカメラとの間に位置付けられる。いくつかの実施形態では、ビームスプリッタ２１６は、チューナブル補正ユニット２０８のいずれかの側に位置付けられ、チューナブル補正ユニット２０８の影響を完全に補償する。 A beam splitter 216 is positioned between the microdisplay 204 and the tunable correction unit 208 to sample a portion of the light 220 from the microdisplay 204 to calibrate color, intensity, and intensity uniformity. The beam splitter 216 redirects a portion of the light 220 from the microdisplay 204 away from the main optical path and toward a measurement device, such as a spectrometer, power meter, and/or integrating sphere, as described in more detail below with reference to FIG. 3. In some embodiments, the beam splitter 216 is used to inject light into the main optical path. In some embodiments, the beam splitter 216 is positioned between the tunable correction unit 208 and the camera to partially compensate for the effect of the tunable correction unit 208 on the light from the microdisplay 204. In some embodiments, the beam splitter 216 is positioned on either side of the tunable correction unit 208 to fully compensate for the effect of the tunable correction unit 208.

図３は、ＨＭＤのマイクロディスプレイ２０４および較正ステーション２００に関連付けられる処理システム３００のブロック図を示す。図示の例では、処理システム３００は、ＨＭＤ１００のマイクロディスプレイ２０４および他の構成要素を制御するための１つ以上のソフトウェアプログラムを実行する集積回路（たとえば、マイクロプロセッサ）であるアプリケーションプロセッサ（ＡＰ）３０２を含む。図３に示す例では、ＡＰ３０２は、プロセッサ３０４と、ＧＰＵ３０６と、メモリ３０８とを含む。プロセッサ３０４およびＧＰＵ３０６は、メモリ３０８に通信可能に結合される。いくつかの実施形態では、メモリ３０８は、プロセッサ３０４およびＧＰＵ３０６によって迅速にアクセスされ得るデータおよび命令を保持する一時記憶装置として構成される。いくつかの実施形態では、ストレージ３１０は、データおよび命令を保持するための、より永続的なストレージである。メモリ３０８およびストレージ３１０の各々は、データおよび命令を記憶する非一時的プロセッサ可読記憶媒体であり、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、フラッシュメモリ、ソリッドステートドライブ、または他のプロセッサ可読記憶媒体のうちの１つ以上を含み得る。いくつかの実施形態では、プロセッサ３０４は、計算動作を実行するプログラムされたコンピュータである。例えば、プロセッサ３０４は、中央処理装置（ＣＰＵ）、マイクロプロセッサ、コントローラ、特定用途向け集積回路（ＡＳＩＣ）、システムオンチップ（ＳＯＣ）、またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）として実現される。 3 shows a block diagram of a processing system 300 associated with the microdisplay 204 and calibration station 200 of the HMD. In the illustrated example, the processing system 300 includes an application processor (AP) 302, which is an integrated circuit (e.g., a microprocessor) that executes one or more software programs for controlling the microdisplay 204 and other components of the HMD 100. In the example shown in FIG. 3, the AP 302 includes a processor 304, a GPU 306, and a memory 308. The processor 304 and the GPU 306 are communicatively coupled to the memory 308. In some embodiments, the memory 308 is configured as a temporary storage device that holds data and instructions that can be quickly accessed by the processor 304 and the GPU 306. In some embodiments, the storage 310 is a more permanent storage device for holding data and instructions. Each of memory 308 and storage 310 is a non-transitory processor-readable storage medium that stores data and instructions and may include one or more of random access memory (RAM), read-only memory (ROM), flash memory, solid-state drive, or other processor-readable storage medium. In some embodiments, processor 304 is a programmed computer that performs computational operations. For example, processor 304 is implemented as a central processing unit (CPU), microprocessor, controller, application specific integrated circuit (ASIC), system on chip (SOC), or field programmable gate array (FPGA).

ＨＭＤ１００のユーザによって見られる視野（ＦＯＶ）領域１０８に仮想画像を形成するために、ＧＰＵ３０６は、プロセッサ３０４からソース画像を受信し、ソース画像をプロジェクタフレームバッファに書き込むかまたはレンダリングし、プロジェクタフレームバッファは、マイクロディスプレイ２０４のディスプレイコントローラ３２２に送信される。ソース画像を光学コンバイナ１０２に投影するために、マイクロディスプレイ２０４は、フレームバッファデータを使用して、マイクロディスプレイ２０４内のレーザダイオードまたは他の光源のための駆動制御を生成する。ＨＭＤ１００の通常動作中、ソース画像をプロジェクタフレームバッファにレンダリングするときに、光学コンバイナ１０２に投影されるべきソース画像に対するあらゆる補正が適用される。いくつかの実施形態では、ディスプレイコントローラ３２２は、フレームバッファデータをマイクロディスプレイ２０４に提供する前に補正を適用する。（本明細書で説明される較正プロセスによって判定される）幾何学的歪み、色補正、および／または光学系内の物理的変化（例えば熱変化）による他の補正等のいくつかの補正が、ユーザに対して表示される補正された画像を達成するように、ソース画像に適用される。 To form a virtual image in the field of view (FOV) region 108 seen by a user of the HMD 100, the GPU 306 receives source images from the processor 304 and writes or renders the source images into a projector frame buffer, which is sent to a display controller 322 of the microdisplay 204. To project the source images onto the optical combiner 102, the microdisplay 204 uses the frame buffer data to generate drive controls for the laser diodes or other light sources in the microdisplay 204. During normal operation of the HMD 100, any corrections to the source images to be projected onto the optical combiner 102 are applied when rendering the source images into the projector frame buffer. In some embodiments, the display controller 322 applies the corrections before providing the frame buffer data to the microdisplay 204. Some corrections, such as geometric distortions (determined by a calibration process described herein), color corrections, and/or other corrections due to physical changes in the optical system (e.g., thermal changes), are applied to the source images to achieve a corrected image displayed to the user.

例えば、各々が異なる波長の光を投影するレーザダイオードを有するマイクロディスプレイ２０４を採用するＨＭＤは、プロジェクタフレームバッファの異なる領域から複数のソース画像を投影することによって、ＦＯＶ１０８に仮想画像を生成する。ＨＭＤは、仮想画像がＦＯＶ１０８内で重なり合って１つの画像として見えるように設計されている。しかしながら、製造されたＨＭＤが、ＦＯＶ１０８内で整列された仮想画像を自動的に生成しないことがあり、その結果、ユーザは、それらの画像を、脱焦または「ゴースト」画像（すなわち、わずかにオフセットした、重なり合う画像）として見ることがある。システム内の光学素子が正確に整列された後であっても、各仮想画像を生成した一意の経路および一意の非線形歪みに起因して、ＦＯＶ１０８で投影された仮想画像に不整列が依然として存在する場合がある。したがって、歪みモデルをソース画像に適用して、ソース画像が歪められ（「補正され」）、ＦＯＶ１０８に投影されると、歪められたソース画像は、ＦＯＶ１０８のターゲット領域内で整列される仮想画像を形成する。同様に、色補正および／または強度モデルをソース画像に適用することができる。これらのモデルは、ソース画像の特定の領域内の色および輝度の分布を変化させ、ＦＯＶ１０８で投影されると、結果として生じる仮想画像は、ユーザによって見られるように均一な色および輝度を有する。 For example, an HMD employing a microdisplay 204 with laser diodes that each project a different wavelength of light generates a virtual image in the FOV 108 by projecting multiple source images from different regions of the projector frame buffer. The HMD is designed so that the virtual images overlap in the FOV 108 and appear as one image. However, manufactured HMDs may not automatically generate aligned virtual images in the FOV 108, resulting in the user viewing them as defocused or "ghost" images (i.e., slightly offset, overlapping images). Even after the optical elements in the system are precisely aligned, there may still be misalignments in the virtual images projected in the FOV 108 due to the unique path and unique nonlinear distortions that generated each virtual image. Thus, a distortion model is applied to the source images to distort ("correct") them and when projected into the FOV 108, the distorted source images form a virtual image that is aligned within the target region of the FOV 108. Similarly, color correction and/or intensity models can be applied to the source image. These models change the distribution of color and brightness within certain regions of the source image so that when projected in the FOV 108, the resulting virtual image has uniform color and brightness as seen by the user.

処理システム３００はさらに、図４を参照してさらに説明されるように、較正プロセス中にカメラ２０６によって捕捉された画像および／または光強度データを受信するために、カメラ２０６に通信可能に結合される、較正プロセッサ３１２を含む。いくつかの実施形態では、較正プロセッサは、較正が完了すると、ＨＭＤ１００から切り離すことができる。概して、本明細書で説明する較正プロセスを実行するプロセッサは、較正プロセッサと呼ばれてもよい。いくつかの実施形態では、較正プロセッサ３１２は、計算動作を実行するプログラムされたコンピュータである。例えば、較正プロセッサ３１２は、中央処理装置（ＣＰＵ）、マイクロプロセッサ、コントローラ、特定用途向け集積回路（ＡＳＩＣ）、システムオンチップ（ＳＯＣ）、またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）とすることができる。図示されていないが、較正プロセッサ３１２上で実行される較正プログラム３１４との対話を可能にするために、および／または較正プロセッサ３１２が較正プログラム３１４からの較正結果を表示することを可能にするために、表示画面が較正プロセッサ３１２に通信可能に結合され得る。 The processing system 300 further includes a calibration processor 312 communicatively coupled to the camera 206 to receive image and/or light intensity data captured by the camera 206 during a calibration process, as further described with reference to FIG. 4. In some embodiments, the calibration processor can be disconnected from the HMD 100 once the calibration is complete. In general, a processor that performs the calibration process described herein may be referred to as a calibration processor. In some embodiments, the calibration processor 312 is a programmed computer that performs computational operations. For example, the calibration processor 312 can be a central processing unit (CPU), a microprocessor, a controller, an application specific integrated circuit (ASIC), a system on a chip (SOC), or a field programmable gate array (FPGA). Although not shown, a display screen may be communicatively coupled to the calibration processor 312 to enable interaction with a calibration program 314 running on the calibration processor 312 and/or to enable the calibration processor 312 to display calibration results from the calibration program 314.

いくつかの実施形態では、較正プロセッサ３１２は、較正目的でＡＰプロセッサ３０２に通信可能に結合される。図３には、較正プログラム３１４の命令を実行する較正プロセッサ３１２が示されている。較正プログラム３１４は、メモリ３１６に記憶され、実行時に較正プロセッサ３１２によってアクセスされ得る。較正プログラム３１４は、決定論理３１８を含み、これは、較正プロセッサ３１２によって実行されると、いくつかの実施形態では、ＡＰ３０２に、規定されたシーケンスで、テストパターンを提供する。規定されたシーケンスは、較正プロセス中に調整することができる。ＡＰ３０２は、規定されたシーケンスのテストパターンをプロジェクタフレームバッファにレンダリングする。カメラ２０６は、テストパターンがマイクロディスプレイ２０４によって光学コンバイナ１０２を介して投影されるときにテストパターンの画像を捕捉し、表示データ３２０を生成する。カメラ２０６はまた、参照ターゲット２２４の画像を、光学コンバイナ１０２およびチューナブル補正ユニット２０８を通して見られるように捕捉し、参照ターゲットデータ３２４を生成する。較正プロセッサ３１２は、カメラ２０６から表示データ３２０および参照ターゲットデータ３２４を受信し、較正プログラム３１４は、表示データ３２０および参照ターゲットデータ３２４を使用して、後で、反っているかまたは歪みされたソース画像を生成するために使用される、眼空間対プロジェクタ空間マッピングを決定する。いくつかの実施形態では、マイクロディスプレイ２０４によって投影されるテストパターンのスペクトルおよび強度測定値は、図４を参照してより詳細に説明されるもの等の周辺構成要素によって取得される。 In some embodiments, the calibration processor 312 is communicatively coupled to the AP processor 302 for calibration purposes. FIG. 3 shows the calibration processor 312 executing instructions of a calibration program 314. The calibration program 314 may be stored in memory 316 and accessed by the calibration processor 312 during execution. The calibration program 314 includes decision logic 318, which, when executed by the calibration processor 312, in some embodiments provides the AP 302 with a test pattern in a prescribed sequence. The prescribed sequence may be adjusted during the calibration process. The AP 302 renders the prescribed sequence of the test pattern into the projector frame buffer. The camera 206 captures an image of the test pattern as it is projected by the microdisplay 204 through the optical combiner 102 and generates display data 320. The camera 206 also captures an image of the reference target 224 as seen through the optical combiner 102 and the tunable correction unit 208 and generates reference target data 324. The calibration processor 312 receives the display data 320 and the reference target data 324 from the camera 206, and the calibration program 314 uses the display data 320 and the reference target data 324 to determine an eye space to projector space mapping that is subsequently used to generate a warped or distorted source image. In some embodiments, the spectrum and intensity measurements of the test pattern projected by the microdisplay 204 are obtained by peripheral components such as those described in more detail with reference to FIG. 4.

図４は、較正ステーション２００および周辺装置を含む較正システム４００のブロック図を示す。いくつかの実施形態では、周辺装置は、ビームスプリッタ２１６によって方向転換される光２２２の光路内に位置決めされる分光計４０４および電力計４０６を含む。いくつかの実施形態では、周辺装置は、ビームスプリッタ２１６によって方向転換される光２２２の総出力（束）を測定するための積分球４０８を含む。分光計４０４、積分球４０８、および電力計４０６で取得された色均一性ならびに強度の測定値は、処理システム３００に関連付けられ、較正ステーション２００で分析されている特定のＨＭＤ１００の較正パラメータを求めるよう構成される較正プロセッサ３１２に通信される。さらに、カメラ２０６によって捕捉された画像が、測定および分析のために較正プロセッサ３１２に送信される。したがって、較正プロセッサ３１２は、カメラ２０６、分光計４０４および電力計４０６などの測定装置、ならびにＡＰプロセッサ１３０に通信可能に結合される。 4 shows a block diagram of a calibration system 400 including a calibration station 200 and peripheral devices. In some embodiments, the peripheral devices include a spectrometer 404 and a power meter 406 positioned in the optical path of the light 222 redirected by the beam splitter 216. In some embodiments, the peripheral devices include an integrating sphere 408 for measuring the total power (flux) of the light 222 redirected by the beam splitter 216. The color uniformity and intensity measurements obtained by the spectrometer 404, the integrating sphere 408, and the power meter 406 are communicated to a calibration processor 312 associated with the processing system 300 and configured to determine calibration parameters for the particular HMD 100 being analyzed at the calibration station 200. Additionally, images captured by the camera 206 are sent to the calibration processor 312 for measurement and analysis. Thus, the calibration processor 312 is communicatively coupled to the camera 206, the measurement devices such as the spectrometer 404 and the power meter 406, and the AP processor 130.

図５は、較正システム４００を使用してＨＭＤ１００などのＨＭＤを較正する方法５００を示す。ブロック５０２において、光学コンバイナ１０２は、較正ステーション２００のホルダ２０２内に位置決めされる。典型的には、光学コンバイナ１０２は、マイクロディスプレイ２０４ならびにディスプレイコントローラ３２２およびＡＰ３０２等の他のＨＭＤ構成要素を収容するフレーム１０６等のフレームに取り付けられることになる。チューナブル補正ユニット２０８は、ブロック５０４において、光学コンバイナ１０２に含まれる任意の矯正処方によって引き起こされる脱焦を補正するように調整される。例えば、光学コンバイナが＋４球面補正を提供するよう構成される場合、チューナブル補正ユニット２０８は、－４球面補正を提供することによって、カメラ２０６によって見られるであろう脱焦を補償するよう調整される。したがって、カメラ２０６およびチューナブル補正ユニット２０８は、＋４球面補正を必要とするユーザの眼をシミュレートするように共に作用する。チューナブル補正ユニット２０８は、オペレータによって手動で、または較正プロセス中に自動的に調整することができる。 5 illustrates a method 500 for calibrating an HMD, such as HMD 100, using calibration system 400. In block 502, optical combiner 102 is positioned in holder 202 of calibration station 200. Typically, optical combiner 102 will be mounted in a frame, such as frame 106, that houses microdisplay 204 and other HMD components, such as display controller 322 and AP 302. Tunable correction unit 208 is adjusted in block 504 to correct for defocus caused by any corrective prescription included in optical combiner 102. For example, if the optical combiner is configured to provide a +4 spherical correction, tunable correction unit 208 is adjusted to compensate for the defocus that would be seen by camera 206 by providing a -4 spherical correction. Thus, camera 206 and tunable correction unit 208 work together to simulate a user's eye requiring a +4 spherical correction. The tunable correction unit 208 can be adjusted manually by an operator or automatically during a calibration process.

ブロック５０６では、カメラ２０６は、参照ターゲット２２４等の参照ターゲットの画像を、チューナブル補正ユニット２０８および光学コンバイナ１０２を通して見られるように、捕捉する。チューナブル補正ユニット２０８は、図２を参照して上述したように、光学コンバイナ１０２の矯正処方によって導入された参照ターゲット２２４の脱焦を補正するように作用するが、場合によっては、参照ターゲット２２４のいくらかの歪みが、捕捉された画像内に依然として存在することになる。いくつかの実施形態では、この歪みは、屈折矯正を必要とするユーザがこの歪みで世界を視認することに適応するので、最終的な較正されたＨＭＤにおいて望ましい。したがって、最終的な表示較正は、ユーザの環境を見る際のユーザの期待に適合すべきである。ブロック５０８では、参照ターゲット２２４の捕捉された画像が較正プロセッサ３１２に送信され、そこで、捕捉された画像は測定され、歪みについて分析される。ブロック５１０において、歪みモデルが生成される。歪みモデルは、ブロック５１２において、マイクロディスプレイ２０４を較正して、参照ターゲット２２４の捕捉された画像と同じ幾何学的歪みを有する画像を投影するために、ＨＭＤのＡＰプロセッサ３０２に提供される。 In block 506, the camera 206 captures an image of a reference target, such as the reference target 224, as seen through the tunable correction unit 208 and the optical combiner 102. Although the tunable correction unit 208 acts to correct the defocus of the reference target 224 introduced by the correction prescription of the optical combiner 102, as described above with reference to FIG. 2, in some cases, some distortion of the reference target 224 will still be present in the captured image. In some embodiments, this distortion is desirable in the final calibrated HMD because a user who requires refractive correction will adapt to viewing the world with this distortion. Thus, the final display calibration should match the user's expectations when viewing their environment. In block 508, the captured image of the reference target 224 is sent to the calibration processor 312, where the captured image is measured and analyzed for distortion. In block 510, a distortion model is generated. The distortion model is provided to the HMD's AP processor 302 in block 512 to calibrate the microdisplay 204 to project an image with the same geometric distortion as the captured image of the reference target 224.

ひずみがＡＰプロセッサ３０２に提供されると、ブロック５１４において、マイクロディスプレイ２０４は、画像またはテキストを表す光を光学コンバイナ１０２に提供し、光学コンバイナ１０２は、光学コンバイナ１０２と較正ステーション２００のカメラ２０６との間の主光路に沿って光２２０を出力する。ブロック５１６において、出力光の一部は、ビームスプリッタ２１６によって主光路から離れて、分光計４０４および電力計４０６といった較正ステーション２００の測定装置に向かって方向転換され、そこで、光は、色および輝度の均一性について分析される。ブロック５１８で均一性補正モデルが生成され、ブロック５２０でＡＰプロセッサ３０２に提供される。均一性補正モデルは、マイクロディスプレイ２０４によって投影される光２２０に適用されて、光学コンバイナ１０２によって出力される光の不均一性を補償し、所定の目標白色点に合致させる。いくつかの実施形態では、両眼ＨＭＤの場合、ブロック５０２～５２０で説明される較正の方法は、ＨＭＤ１００の第２のレンズに対して繰り返される。その結果、屈折矯正を必要とするユーザの眼に対して最適に較正されたＨＭＤ１００が得られる。 Once the distortions are provided to the AP processor 302, in block 514, the microdisplay 204 provides light representing the image or text to the optical combiner 102, which outputs light 220 along a main optical path between the optical combiner 102 and the camera 206 of the calibration station 200. In block 516, a portion of the output light is redirected by the beam splitter 216 away from the main optical path and toward the measurement devices of the calibration station 200, such as the spectrometer 404 and the power meter 406, where the light is analyzed for color and luminance uniformity. A uniformity correction model is generated in block 518 and provided to the AP processor 302 in block 520. The uniformity correction model is applied to the light 220 projected by the microdisplay 204 to compensate for non-uniformity in the light output by the optical combiner 102 and match a predetermined target white point. In some embodiments, in the case of a binocular HMD, the calibration method described in blocks 502-520 is repeated for the second lens of the HMD 100. The result is an HMD 100 that is optimally calibrated for the user's eye that requires refractive correction.

いくつかの実施形態では、上記で説明した技術のいくつかの局面は、ソフトウェアを実行する処理システムの１つ以上のプロセッサによって実現されてもよい。ソフトウェアは、非一時的コンピュータ可読記憶媒体上に記憶されるかまたはそうでなければ有形に具現化された１つ以上の実行可能命令のセットを含む。ソフトウェアは、１つ以上のプロセッサによって実行されると、上記で説明した技術の１つ以上の局面を実行するように１つ以上のプロセッサを操作する、命令およびいくつかのデータを含み得る。非一時的コンピュータ可読記憶媒体は、例えば、磁気または光ディスク記憶装置、フラッシュメモリなどのソリッドステート記憶装置、キャッシュ、ランダムアクセスメモリ（ＲＡＭ）または他の不揮発性メモリ装置などを含むことができる。非一時的コンピュータ可読記憶媒体上に記憶された実行可能命令は、ソースコード、アセンブリ言語コード、オブジェクトコード、または１つ以上のプロセッサによって解釈されるかもしくは他の態様で実行可能である他の命令フォーマットであってもよい。 In some embodiments, some aspects of the techniques described above may be implemented by one or more processors of a processing system executing software. The software includes a set of one or more executable instructions stored or otherwise tangibly embodied on a non-transitory computer-readable storage medium. The software may include instructions and some data that, when executed by one or more processors, operate the one or more processors to perform one or more aspects of the techniques described above. The non-transitory computer-readable storage medium may include, for example, magnetic or optical disk storage devices, solid-state storage devices such as flash memory, caches, random access memory (RAM) or other non-volatile memory devices, and the like. The executable instructions stored on the non-transitory computer-readable storage medium may be source code, assembly language code, object code, or other instruction formats that are interpreted or otherwise executable by one or more processors.

コンピュータ可読記憶媒体は、命令および／またはデータをコンピュータシステムに提供するために使用中にコンピュータシステムによってアクセス可能な任意の記憶媒体または記憶媒体の組合せを含んでもよい。そのような記憶媒体は、光学媒体（例えば、コンパクトディスク（ＣＤ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイディスク）、磁気媒体（例えば、フロッピー（登録商標）ディスク、磁気テープ、もしくは磁気ハードドライブ）、揮発性メモリ（例えば、ランダムアクセスメモリ（ＲＡＭ）もしくはキャッシュ）、不揮発性メモリ（例えば、読み出し専用メモリ（ＲＯＭ）もしくはフラッシュメモリ）、または微小電気機械システム（ＭＥＭＳ）ベースの記憶媒体を含んでもよいが、それらに限定されない。コンピュータ可読記憶媒体は、コンピューティングシステムに埋め込まれてもよく（例えば、システムＲＡＭもしくはＲＯＭ）、コンピューティングシステムに固定的に取り付けられてもよく（例えば、磁気ハードドライブ）、コンピューティングシステムに取り外し可能に取り付けられてもよく（例えば、光ディスクもしくはユニバーサルシリアルバス（ＵＳＢ）ベースのフラッシュメモリ）、または有線もしくは無線ネットワークを介してコンピュータシステムに結合されてもよい（例えば、ネットワークアクセス可能ストレージ（ＮＡＳ））。 A computer-readable storage medium may include any storage medium or combination of storage media accessible by a computer system during use to provide instructions and/or data to the computer system. Such storage media may include, but are not limited to, optical media (e.g., compact discs (CDs), digital versatile discs (DVDs), Blu-ray discs), magnetic media (e.g., floppy disks, magnetic tape, or magnetic hard drives), volatile memory (e.g., random access memory (RAM) or cache), non-volatile memory (e.g., read-only memory (ROM) or flash memory), or microelectromechanical system (MEMS)-based storage media. A computer-readable storage medium may be embedded in a computing system (e.g., system RAM or ROM), fixedly attached to a computing system (e.g., magnetic hard drives), removably attached to a computing system (e.g., optical disks or Universal Serial Bus (USB)-based flash memory), or coupled to a computer system via a wired or wireless network (e.g., network-accessible storage (NAS)).

全般的な説明において上述されたアクティビティまたは要素のすべてが必要とされるわけではなく、特定のアクティビティまたはデバイスの一部は必要とされないことがあり、１つ以上のさらなるアクティビティが、説明されたものに加えて実行されてもよいか、または１つ以上のさらなる要素が含まれてもよいことに留意されたい。さらに、動作が列挙される順序は、必ずしもそれらが実行される順序ではない。また、概念は、特定の実施形態を参照して説明されている。しかしながら、当業者は、特許請求の範囲に記載される本開示の範囲から逸脱することなく、様々な修正および変更を行い得ることを理解する。したがって、明細書および図面は、限定的な意味ではなく例示的な意味で見られるべきであり、すべてのそのような修正は、本開示の範囲内に含まれることが意図される。 It should be noted that not all of the activities or elements described above in the general description are required, some of the specific activities or devices may not be required, and one or more additional activities may be performed in addition to those described, or one or more additional elements may be included. Furthermore, the order in which the operations are listed is not necessarily the order in which they are performed. Also, the concepts have been described with reference to specific embodiments. However, those skilled in the art will appreciate that various modifications and changes may be made without departing from the scope of the present disclosure as set forth in the claims. Thus, the specification and drawings should be viewed in an illustrative and not a restrictive sense, and all such modifications are intended to be included within the scope of the present disclosure.

利益、他の利点、および問題に対する解決策が、特定の実施形態に関して上述された。しかしながら、利益、利点、問題に対する解決策、および任意の利益、利点、もしくは解決策を生じさせ得るかまたはより顕著にさせ得る任意の特徴は、いずれかまたはすべての請求項の重要な、必要な、または本質的な特徴として解釈されるべきではない。さらに、上記で開示される特定の実施形態は例証にすぎず、なぜならば、開示される主題は、本明細書の教示の利益を有する当業者に明らかである、異なるが等価な態様で、修正および実践されてもよいからである。特許請求の範囲に記載されるもの以外の、本明細書に示される構造または設計の詳細への限定は意図されない。したがって、上記で開示された特定の実施形態は、変更または修正されてもよく、すべてのそのような変形は、開示された主題の範囲内であると見なされることは、明らかである。したがって、本明細書で求められる保護は、特許請求の範囲に記載されるとおりである。 Benefits, other advantages, and solutions to problems have been described above with respect to specific embodiments. However, the benefits, advantages, solutions to problems, and any features that may give rise to or make more prominent any benefit, advantage, or solution should not be construed as critical, necessary, or essential features of any or all claims. Moreover, the specific embodiments disclosed above are illustrative only, as the disclosed subject matter may be modified and practiced in different but equivalent manners that will be apparent to those skilled in the art having the benefit of the teachings herein. No limitations to the details of construction or design shown herein other than as set forth in the claims are intended. It is therefore apparent that the specific embodiments disclosed above may be altered or modified, and all such variations are considered to be within the scope of the disclosed subject matter. Accordingly, the protection sought herein is as set forth in the claims.

Claims

装置であって、
ヘッドマウントディスプレイ（ＨＭＤ）のマイクロディスプレイとカメラとの間の光路に光学コンバイナを固定するためのホルダと、
前記光路に配置され、前記光学コンバイナによって伝送される光の焦点を調整するよう構成されるチューナブル補正ユニットとを備え、
前記カメラは、前記ＨＭＤを較正する際に使用されるよう前記チューナブル補正ユニットから出力される調整された焦点光の少なくとも１つの画像を捕捉するよう構成される、装置。 An apparatus comprising:
a holder for fixing the optical combiner in an optical path between a microdisplay and a camera of a head mounted display (HMD);
a tunable correction unit disposed in the optical path and configured to adjust a focus of light transmitted by the optical combiner;
The apparatus, wherein the camera is configured to capture at least one image of the adjusted focused light output from the tunable correction unit for use in calibrating the HMD.

前記光学コンバイナは、統合された矯正処方を含む、請求項１に記載の装置。 The device of claim 1, wherein the optical combiner includes an integrated corrective prescription.

前記チューナブル補正ユニットは、球面レンズ、円柱レンズ、フィルタ付きレンズ、およびプリズムレンズのうちの少なくとも１つを含むホロプターである、請求項１または２に記載の装置。 The apparatus of claim 1 or 2, wherein the tunable correction unit is a horopter including at least one of a spherical lens, a cylindrical lens, a lens with a filter, and a prism lens.

前記マイクロディスプレイと前記カメラとの間の前記光路に配置された少なくとも１つの光学リレーをさらに備える、請求項１から３のいずれか１項に記載の装置。 The device of any one of claims 1 to 3, further comprising at least one optical relay disposed in the optical path between the microdisplay and the camera.

前記マイクロディスプレイと前記チューナブル補正ユニットとの間に配置され、前記マイクロディスプレイからの光の一部を少なくとも１つの測定装置に向けて方向転換するよう構成されるビームスプリッタをさらに備える、請求項１から４のいずれか１項に記載の装置。 The apparatus of any one of claims 1 to 4, further comprising a beam splitter disposed between the microdisplay and the tunable correction unit and configured to redirect a portion of the light from the microdisplay towards at least one measurement device.

前記少なくとも１つの測定装置は、分光計および電力計のうちの少なくとも１つを含む、請求項５に記載の装置。 The apparatus of claim 5, wherein the at least one measurement device includes at least one of a spectrometer and a power meter.

ヘッドマウントディスプレイ（ＨＭＤ）を較正する方法であって、
前記ＨＭＤの光学コンバイナを較正ステーションのホルダ内に位置決めし、前記光学コンバイナが、前記ＨＭＤのマイクロディスプレイおよび前記較正ステーションのカメラから提供される光の主光路内にあるようにすることと、
チューナブル補正ユニットを調整して、前記光学コンバイナの矯正処方によって引き起こされる脱焦を補正することと、
前記チューナブル補正ユニットおよび前記光学コンバイナを通して見られる参照ターゲットの画像を前記カメラによって捕捉することと、
捕捉された前記画像から歪みモデルを生成し、前記ＨＭＤを較正して、前記歪みモデルを、前記ＨＭＤによって投影された画像に適用することとを含む、方法。 1. A method for calibrating a head mounted display (HMD), comprising:
Positioning an optical combiner of the HMD in a holder of a calibration station such that the optical combiner is in a main optical path of light provided from a microdisplay of the HMD and a camera of the calibration station;
Adjusting a tunable correction unit to correct defocus caused by a correction prescription of the optical combiner; and
capturing an image of a reference target by the camera as seen through the tunable correction unit and the optical combiner;
generating a distortion model from the captured images, calibrating the HMD, and applying the distortion model to images projected by the HMD.

前記チューナブル補正ユニットは、ホロプターまたはチューナブルレンズの少なくとも１つである、請求項７に記載の方法。 The method of claim 7, wherein the tunable correction unit is at least one of a horopter or a tunable lens.

前記ＨＭＤの前記マイクロディスプレイによって提供される前記光の一部を、前記主光路から、少なくとも１つの測定装置に逸らすことをさらに含む、請求項７または８に記載の方法。 The method of claim 7 or 8, further comprising diverting a portion of the light provided by the microdisplay of the HMD from the main optical path to at least one measurement device.

前記少なくとも１つの測定装置は、分光計および電力計のうちの少なくとも１つである、請求項９に記載の方法。 The method of claim 9, wherein the at least one measurement device is at least one of a spectrometer and a power meter.

前記光の前記一部は、前記マイクロディスプレイと前記チューナブル補正ユニットとの間に配置されたビームスプリッタによって方向転換される、請求項９または１０に記載の方法。 The method of claim 9 or 10, wherein the portion of the light is redirected by a beam splitter disposed between the microdisplay and the tunable correction unit.

均一性補正モデルを生成し、前記ＨＭＤを較正して、前記均一性補正モデルを、前記ＨＭＤによって投影される画像に適用することをさらに含む、請求項９～１１のいずれか１項に記載の方法。 The method of any one of claims 9 to 11, further comprising generating a uniformity correction model, calibrating the HMD, and applying the uniformity correction model to an image projected by the HMD.

ＨＭＤ用のホルダを備える較正ステーションであって、請求項１から１２のいずれか１項に記載の方法を実行するよう構成される、較正ステーション。 A calibration station comprising a holder for an HMD, the calibration station being configured to carry out the method according to any one of claims 1 to 12.

システムであって、
ヘッドマウントディスプレイ（ＨＭＤ）のマイクロディスプレイとカメラとの間の光路内に光学コンバイナを固定するよう構成される較正ステーションを備え、前記較正ステーションは、前記光路内に配置され、前記光学コンバイナによって引き起こされる光の脱焦を補正するように調整されるよう構成されるチューナブル補正ユニットを含み、前記カメラは、前記ＨＭＤを較正する際に使用されるよう前記チューナブル補正ユニットから出力される補正された前記光の少なくとも１つの画像を捕捉するよう構成され、前記システムはさらに、
前記少なくとも１つの捕捉された画像を受信し、前記少なくとも１つの捕捉された画像に基づいて歪みモデルを生成するよう構成される較正プロセッサを備え、前記較正プロセッサは、さらに、前記歪みモデルを前記ＨＭＤのディスプレイコントローラに提供するよう構成される、システム。 1. A system comprising:
a calibration station configured to fix an optical combiner in an optical path between a microdisplay and a camera of a head mounted display (HMD), the calibration station including a tunable correction unit disposed in the optical path and configured to be adjusted to correct defocusing of light caused by the optical combiner, the camera configured to capture at least one image of the corrected light output from the tunable correction unit for use in calibrating the HMD, the system further comprising:
A system comprising: a calibration processor configured to receive the at least one captured image and generate a distortion model based on the at least one captured image, the calibration processor further configured to provide the distortion model to a display controller of the HMD.

前記光学コンバイナは、統合された矯正処方を含む、請求項１４に記載のシステム。 The system of claim 14, wherein the optical combiner includes an integrated corrective prescription.

前記チューナブル補正ユニットは、球面レンズ、円柱レンズ、フィルタ付きレンズ、およびプリズムレンズのうちの少なくとも１つを含むホロプターである、請求項１４または１５に記載のシステム。 The system of claim 14 or 15, wherein the tunable correction unit is a horopter including at least one of a spherical lens, a cylindrical lens, a filtered lens, and a prism lens.

前記チューナブル補正ユニットは、チューナブルレンズである、請求項１４または１５に記載のシステム。 The system of claim 14 or 15, wherein the tunable correction unit is a tunable lens.

前記マイクロディスプレイと前記カメラとの間の前記光路に配置された少なくとも１つの光学リレーをさらに備える、請求項１４から１７のいずれか１項に記載のシステム。 The system of any one of claims 14 to 17, further comprising at least one optical relay disposed in the optical path between the microdisplay and the camera.

前記マイクロディスプレイと前記チューナブル補正ユニットとの間に配置され、前記マイクロディスプレイからの光の一部を少なくとも１つの測定装置に向けて方向転換するよう構成されるビームスプリッタをさらに備える、請求項１４から１８のいずれか１項に記載のシステム。 The system of any one of claims 14 to 18, further comprising a beam splitter disposed between the microdisplay and the tunable correction unit and configured to redirect a portion of the light from the microdisplay towards at least one measurement device.

前記少なくとも１つの測定装置は、分光計および電力計のうちの少なくとも１つを含む、請求項１９に記載のシステム。 20. The system of claim 19, wherein the at least one measurement device includes at least one of a spectrometer and a power meter.