KR20230161513A - Systems and methods for calibrating and evaluating wearable head-up displays with INTEGRATED CORRECTIVE PRESCRIPTION (ICP) - Google Patents

Abstract

HMD(head-mounted display)(100)를 캘리브레이션하는 시스템 및 방법은, 광학 결합기가 HMD의 마이크로 디스플레이(204)와 캘리브레이션 스테이션의 카메라(206)로부터 제공되는 광의 주요 광학 경로에 있도록, HMD의 광학 결합기(102)를 캘리브레이션 스테이션(200)의 홀더(202)에 위치시키고, 광학 결합기의 CP(corrective prescription)에 의해 야기된 디포커스를 보정하도록 조정가능한 보정 유닛(208)을 조정하고, 조정가능한 보정 유닛와 광학 결합기를 통해 본 카메라로 기준 타겟(224)의 이미지를 캡처하고, 캡처된 이미지로부터 왜곡 모델을 생성하고 HMD에서 프로젝트된 이미지에 왜곡 모델을 적용하기 위해 HMD를 캘리브레이션하는 것을 포함한다. A system and method for calibrating a head-mounted display (HMD) (100) includes an optical coupler of the HMD such that the optical coupler is in the main optical path of light provided from the HMD's micro display (204) and the camera (206) of the calibration station. (102) is placed in the holder 202 of the calibration station 200, the adjustable correction unit 208 is adjusted to correct for defocus caused by the corrective prescription (CP) of the optical coupler, and the adjustable correction unit and It involves capturing an image of a reference target 224 with a camera viewed through an optical coupler, generating a distortion model from the captured image, and calibrating the HMD to apply the distortion model to the image projected on the HMD.

Description

ICP(INTEGRATED CORRECTIVE PRESCRIPTION)를 갖춘 웨어러블 헤드업 디스플레이를 캘리브레이션하고 평가하기 위한 시스템 및 방법Systems and methods for calibrating and evaluating wearable head-up displays with INTEGRATED CORRECTIVE PRESCRIPTION (ICP)

광학 분야에서 결합기는 두 개의 광원, 예를 들어 마이크로 디스플레이에서 전송되어 광가이드를 통해 결합기로 향하는 광과 환경 광을 결합하는 광학 장치이다. 광학 결합기는 헤드업 디스플레이(HUD: heads up display)에 사용되며, 그 예로는 HMD(head-mounted display) 또는 근안 디스플레이(near-eye display)가 있으며, 이는 사용자가 HMD를 통해 보는 사용자 환경 위에 겹쳐진 컴퓨터 생성 콘텐츠(예: 텍스트, 이미지, 동영상 콘텐츠)를 볼 수 있게 하여 증강 현실(AR) 또는 혼합 현실(MR)을 생성한다. 일부 애플리케이션에서 HMD는 안경 프레임 내의 렌즈 중 적어도 하나를 형성하는 광학 결합기를 사용하여 안경 프레임 폼 팩터로 구현된다. HMD를 사용하면 사용자는 자신의 환경을 보면서 표시된 컴퓨터 생성 콘텐츠를 볼 수 있다.In the field of optics, a combiner is an optical device that combines two light sources, for example, light transmitted from a micro display and directed to the combiner through a light guide, and environmental light. Optical combiners are used in heads up displays (HUDs), such as head-mounted displays (HMDs) or near-eye displays, which are images superimposed on the user environment that the user sees through the HMD. Enables viewing of computer-generated content (e.g. text, images, video content), creating augmented reality (AR) or mixed reality (MR). In some applications, the HMD is implemented in a glasses frame form factor using an optical coupler that forms at least one of the lenses within the glasses frame. HMDs allow users to view displayed computer-generated content while viewing their environment.

사용자가 왜곡과 색수차를 최소화하면서 포커스가 맞춰진 컴퓨터 생성 콘텐츠를 볼 수 있도록 하기 위해, HMD의 컴포넌트는 일반적으로 사용자가 HMD를 착용할 때 사용자의 눈이 위치할 것으로 예상되는 위치에 있는 테스트 설정 카메라에서 캡처한 이미지를 사용하여 보정된다. 이러한 이미지는 AR 또는 MR HMD의 광학 결합기를 통해 볼 수 있는 실제 환경뿐만 아니라 HMD에서 프로젝트된 사용자가 볼 수 있는 내용을 시뮬레이션한다.To ensure that users can view focused computer-generated content while minimizing distortion and chromatic aberration, the HMD's components are typically positioned in a test setup with cameras positioned where the user's eyes are expected to be when the user wears the HMD. Calibration is performed using captured images. These images simulate the real-world environment as seen through the optical coupler of an AR or MR HMD, as well as what a user would see projected onto the HMD.

첨부된 도면을 참조함으로써 당업자는 본 개시 내용을 이해할 수 있으며, 그 수많은 특징 및 이점은 당업자에게 명백해진다. 서로 다른 도면에서 동일한 참조 기호를 사용하는 것은 유사하거나 동일한 항목을 나타낸다.
도 1은 일부 실시예에 따른 ICP(integrated corrective prescription)을 갖는 광학 결합기를 갖는 예시적인 HMD(head-mounted display)를 도시한다.
도 2는 도 1의 HMD와 같은 HMD의 양태가 일부 실시예에 따라 측정되고 캘리브레이션되는 캘리브레이션 스테이션의 블록도를 도시한다.
도 3은 일부 실시예에 따라 도 2의 캘리브레이션 스테이션과 도 1의 HMD의 마이크로 디스플레이와 관련된 프로세싱 시스템의 블록도를 도시한다.
도 4는 일부 실시예에 따른 주변 장치와 도 2의 캘리브레이션 스테이션을 포함하는 캘리브레이션 시스템의 블록도를 도시한다.
도 5는 도 4의 캘리브레이션 시스템을 사용하여, 도 1의 HMD와 같은 HMD를 캘리브레이션하는 방법을 예시한다. The present disclosure can be understood by those skilled in the art by reference to the accompanying drawings, and its numerous features and advantages will become apparent to those skilled in the art. Use of the same reference symbol in different drawings indicates similar or identical items.
1 illustrates an example head-mounted display (HMD) with an optical coupler with an integrated corrective prescription (ICP) according to some embodiments.
Figure 2 shows a block diagram of a calibration station where aspects of an HMD, such as the HMD of Figure 1, are measured and calibrated according to some embodiments.
Figure 3 shows a block diagram of a processing system associated with the calibration station of Figure 2 and the micro display of the HMD of Figure 1, according to some embodiments.
FIG. 4 shows a block diagram of a calibration system including the calibration station of FIG. 2 and peripheral devices according to some embodiments.
FIG. 5 illustrates a method of calibrating an HMD, such as the HMD of FIG. 1, using the calibration system of FIG. 4.

기존의 근안 디스플레이에는 시력 교정(보정)이 필요한 사용자를 수용하기 위해 안과 보정(교정) 렌즈가 필요한 경우가 있다. HMD에 COP(corrective optical prescription)를 포함하는 일반적인 방법은 사용자가 착용하는 안경의 일부로 또는 광학 결합기에 삽입되거나 부착되는 렌즈로 광가이드와 별도의 처방 렌즈(prescription lens)를 모두 수용하도록 HMD의 광학 결합기를 구성해야 한다. 그 결과 사용자가 착용하기 불편할 수 있는 부피가 큰 시스템이 발생하여 사용자 경험을 저하시키는 경우가 많다. 또한, 삽입물 또는 부착물로서 결합기에 포함된 CP(corrective prescription) 렌즈의 경계선이 사용자에게 종종 보이는데, 이는 또한 사용자 경험을 저하시킨다. 이러한 문제를 방지하기 위해 ICP(integrated corrective prescriptions)를 갖는 광학 결합기가 개발되었다. 사용자가 증강 현실 장면을 볼 때 바람직하지 않은 광학 수차나 왜곡을 경험하지 않도록 결합기 내부의 광과 환경 광을 동시에 보정하는 데에는 복잡한 문제가 있지만, 이러한 복잡한 문제는 장치가 사용자에게 좋은 시력을 제공하도록 마이크로 디스플레이를 캘리브레이션함으로써 진단되고 개선될 수 있다. Existing near-eye displays sometimes require ophthalmic correction lenses to accommodate users who require vision correction. A common way to include a corrective optical prescription (COP) in an HMD is as part of a pair of glasses worn by the user, or as a lens inserted into or attached to an optical coupler in the HMD to accommodate both the light guide and a separate prescription lens. must be configured. The result is a bulky system that can be uncomfortable for users to wear, often compromising the user experience. Additionally, the borders of corrective prescription (CP) lenses included in the coupler as inserts or attachments are often visible to the user, which also degrades the user experience. To prevent this problem, optical couplers with integrated corrective prescriptions (ICP) have been developed. There are complexities in simultaneously correcting the light inside the combiner and the environmental light so that the user does not experience undesirable optical aberrations or distortions when viewing an augmented reality scene, but these complex problems are overcome by microscopic elements to ensure that the device provides good vision to the user. It can be diagnosed and improved by calibrating the display.

그러나 HMD의 광학 결합기에 CP(corrective prescription)를 도입하면 HMD를 캘리브레이션하는 데 어려움이 따르는데, 일부 경우에, CP(corrective prescription)로 인해 마이크로 디스플레이에 의해 프로젝트된 이미지와 광학 결합기를 통해 전달된 환경의 광에 디포커스(defocus)와 왜곡이 모두 발생하기 때문이다. 이러한 수차를 피하기 위해, 캘리브레이션 프로세스 중에, 마이크로 디스플레이를 캘리브레이션하기 위해 환경과 표시된 콘텐츠를 사용자의 눈을 통해 보는 것이 바람직하다. 따라서, 여기에 설명된 기술을 사용하여, 처방 렌즈(prescription lens)를 통해 보여지는 표시된 콘텐츠의 캘리브레이션을 수행하는 데 사용되는 캘리브레이션 시스템의 컴포넌트는 굴절 보정이 필요한 사용자의 눈을 시뮬레이션하도록 구성된다. 대조적으로, 기존 캘리브레이션 시스템은 캘리브레이션 중에 사용자의 시력이 양호하다고 가정하고, 캘리브레이션할 장치는 디스플레이에 CP(corrective prescription)를 적용할 필요가 없는 아키텍처를 사용하거나 캘리브레이션 후 HMD에 모듈식 CP(corrective prescription)을 추가할 수 있다고 가정할 수 있다. 사용자의 CP(corrective prescription)는 상당히 다양하므로, 단일 캘리브레이션 시스템을 조정하여 광범위한 사용자 처방(user prescriptions)을 지원하는 것이 바람직하다. However, the introduction of corrective prescription (CP) in the optical coupler of the HMD brings with it difficulties in calibrating the HMD, which in some cases results in the image projected by the micro display and the environment transmitted through the optical coupler. This is because both defocus and distortion occur in the light. To avoid these aberrations, during the calibration process, it is desirable to view the environment and displayed content through the user's eyes to calibrate the micro display. Accordingly, using the techniques described herein, components of a calibration system used to perform calibration of displayed content viewed through a prescription lens are configured to simulate a user's eye requiring refractive correction. In contrast, traditional calibration systems assume that the user has good vision during calibration, and the device to be calibrated either uses an architecture that does not require a corrective prescription (CP) to be applied to the display, or to a modular corrective prescription (CP) to the HMD after calibration. It can be assumed that can be added. Because users' corrective prescriptions (CP) can vary significantly, it is desirable to adapt a single calibration system to support a wide range of user prescriptions.

도 1 내지 5는 통합된 사용자별 CP(corrective prescription)를 갖는 적어도 하나의 광학 결합기를 갖는 HMD를 검사하고 캘리브레이션하기 위한 시스템 및 방법을 도시한다. CP(corrective prescription)가 있는 광학 결합기를 통해 볼 때 HMD의 마이크로 디스플레이와 기준 타겟의 출력을 전문 캘리브레이션 스테이션에서 측정하여 CP(corrective prescription)로 인해 발생하는 광학 수차 및 아티팩트(artifacts)를 캘리브레이션한다. 캘리브레이션 스테이션에는 카메라와 굴절 보정이 필요한 사용자의 눈을 함께 모방(mimic)하는 하나 이상의 조정가능한 보정 유닛(tunable corrective unit)이 포함되어 있다. 즉, 카메라의 카메라 센서는 이미지를 "보기(see)" 위해 광을 수신하기 위해 사용자 눈의 망막을 모방하고 그리고 조정가능한 보정 유닛은 사용자 눈의 렌즈를 모방하여 이미지가 카메라 센서에 의해 포커스가 맞는 것처럼(in-focus) 보이도록 광의 포커스를 맞춘다. 일반적으로 조정가능한 보정 유닛은 광학 결합기의 CP(corrective prescription)으로 인해 발생하는 포커스 포인트(focal point) 이동을 보상하고 그리고 캘리브레이션 스테이션의 카메라가 HMD의 측정 및 캘리브레이션을 수행하는 데 필요한 선명한 이미지를 캡처할 수 있도록 한다. HMD의 캘리브레이션은 HMD의 마이크로 디스플레이가 기준 타겟과 일치하도록 캘리브레이션되도록 비교되며, 둘 다 광학 결합기 및 조정가능한 보정 유닛의 CP(corrective prescription)에 의해 광학적으로 수정된다. 다시 말해서, HMD의 마이크로 디스플레이에서 나온 광학적으로 수정된 광은 기준 타겟에서 나온 광학적으로 수정된 광과 매칭되어 HMD 사용자는 광학 결합기에 표시된 콘텐츠와 광학 결합기 너머의 환경을 우수한 시각적 정확성으로 볼 수 있다. 1-5 illustrate a system and method for inspecting and calibrating an HMD having at least one optical coupler with an integrated user-specific corrective prescription (CP). When viewed through an optical coupler with a corrective prescription (CP), the output of the HMD's microdisplay and reference target is measured at a specialized calibration station to calibrate optical aberrations and artifacts caused by the corrective prescription (CP). The calibration station contains one or more tunable corrective units that together mimic the camera and the user's eye for which refractive correction is required. That is, the camera's camera sensor mimics the retina of the user's eye to receive light to "see" the image, and the adjustable correction unit mimics the lens of the user's eye so that the image is focused by the camera sensor. Focus the light so that it appears in-focus. Typically, an adjustable correction unit compensates for focal point shifts caused by the corrective prescription (CP) of the optical coupler and ensures that the calibration station's camera captures the sharp images needed to perform measurements and calibration of the HMD. make it possible The HMD's calibration is compared to ensure that the HMD's micro-display is calibrated to match a reference target, both of which are optically corrected by a corrective prescription (CP) in the optical coupler and adjustable correction unit. In other words, optically modified light from the HMD's microdisplay is matched with optically modified light from a reference target, allowing the HMD user to view the content displayed on the optical combiner and the environment beyond the optical combiner with superior visual accuracy.

조정가능한 보정 유닛은 오퍼레이터(operator)가 수동으로 조정하거나, 생산 프로세스의 캘리브레이션 단계 또는 수리가 필요한 HMD의 재캘리브레이션(re-calibration)의 일부로 카메라에 포커스된 이미지를 생성하는 자동 프로세스를 통해 조정될 수 있다. 조정가능한 보정 유닛의 컴포넌트가 조정될 수 있기 때문에, 캘리브레이션 스테이션은 다양한 CP(corrective prescription)를 시뮬레이션할 수 있으며, 특정 처방(prescription)으로 구성된 HMD를 착용할 때 다양한 사용자가 실제 및/또는 표시되는 콘텐츠를 어떻게 보는지 시뮬레이션할 수 있다. The adjustable calibration unit can be adjusted manually by an operator or through an automatic process that produces a focused image for the camera as part of the calibration phase of the production process or re-calibration of an HMD requiring repair. . Because the components of the adjustable calibration unit can be adjusted, the calibration station can simulate a variety of corrective prescriptions (CP), allowing different users to view the actual and/or displayed content when wearing an HMD configured with a specific prescription. You can simulate how you see it.

도 1은 ICP(integrated corrective prescription)를 갖는 광학 결합기(102)를 사용하는 예시적인 HMD(100)를 도시한다. HMD(100)는 레이저 프로젝터 또는 발광 다이오드(LED) 디스플레이와 같은 마이크로 디스플레이(도 2에 표시)를 수용하는 프레임(106)을 포함하는 지지 구조(구조물)(104)를 갖고 있으며, 이는 광학 결합기(102)를 통해 사용자의 눈을 향해 이미지를 프로젝트하기 위해 가시광선을 생성하므로, 사용자는 프로젝트된 이미지가 결합기(102)의 시야(FOV: field of view) 영역(108)에 표시되는 것으로 인식한다. 일부 실시예에서, 마이크로 디스플레이는 또한 안구 추적 목적으로 적외선을 생성한다. 1 shows an example HMD 100 using an optical coupler 102 with an integrated corrective prescription (ICP). HMD 100 has a support structure 104 that includes a frame 106 that houses a micro display (shown in Figure 2), such as a laser projector or light emitting diode (LED) display, which includes an optical coupler ( Since visible light is generated to project an image toward the user's eyes through 102), the user perceives the projected image as being displayed in the field of view (FOV) area 108 of the combiner 102. In some embodiments, the micro display also generates infrared light for eye tracking purposes.

지지 구조물(104)은 또한 지지 구조물(104)이 사용자의 눈 앞 위치에 착용될 수 있도록 하는 컴포넌트를 포함한다. 이러한 컴포넌트의 예로는 사용자의 귀에 지지되는 암(arms)(110, 112)이 있다. 사용자의 머리 주위에 및/또는 머리 위에 착용되도록 구성된 스트랩 또는 스트랩들(미도시)은 일부 실시예에서 지지 구조물(104)을 사용자 눈 앞에 고정하기 위해 하나 이상의 암 대신 사용될 수 있다. 일부 실시예에서, HMD(100)는 렌즈 요소(114)가 또한 결합기이고 그리고 마이크로 디스플레이가 암(112)에 근접한 프레임(106)의 부분에 수용되어 렌즈 요소(114) 내의 FOV 영역에 이미지를 프로젝트하도록 대칭적으로 구성된다. 결합기(102)와 렌즈 요소(114) 중 하나 또는 둘 모두는 사용자의 눈(들)에 전달되는 광의 처방 보정(prescription correction)을 함께 제공하는 곡률을 갖는 눈측(eye-side) 및 세계측 표면(world-side surface)으로 구성될 수 있다.Support structure 104 also includes components that allow support structure 104 to be worn in a position in front of the user's eyes. Examples of such components include arms 110 and 112 that are supported on the user's ears. A strap or straps (not shown) configured to be worn around and/or over the user's head may be used in place of one or more arms to secure support structure 104 in front of the user's eyes in some embodiments. In some embodiments, HMD 100 is configured such that lens elements 114 are also couplers and a micro display is received in a portion of frame 106 proximate to arm 112 to project an image to the FOV area within lens elements 114. It is structured symmetrically so that One or both of the coupler 102 and the lens element 114 have eye-side and world-side surfaces having a curvature that together provide prescription correction of the light delivered to the user's eye(s). It can be composed of a world-side surface).

도시된 예에서, HMD(100)는 지지 구조물(104)이 사용자의 머리에 착용되도록 구성되고 그리고 안경 프레임의 일반적인 모양 및 외관(또는 "폼 팩터(form factor)")을 갖는 근안 디스플레이 시스템(near-eye display system)이다. 지지 구조물(104)은 도 3을 참조하여 아래에서 더 자세히 설명되는 프로세싱 시스템과 같이, 사용자의 눈을 향해 그러한 이미지의 프로젝트를 용이하게 하는 다양한 컴포넌트를 포함하거나 포함한다. 일부 실시예에서, 지지 구조물(104)은 하나 이상의 전면 카메라, 후면 카메라, 기타 광 센서, 모션 센서, 가속도계 등과 같은 다양한 센서를 더 포함한다. 지지 구조물(104)은 하나 이상의 무선 주파수(RF) 인터페이스 또는 블루투스(Bluetooth™) 인터페이스, 와아파이(WiFi) 인터페이스 등과 같은 다른 무선 인터페이스를 더 포함할 수 있다. 또한, 일부 실시예에서, 지지 구조물(104)은 HMD(100) 프로세싱 시스템의 하나 이상의 프로세서와 같은 전기 및 프로세싱 컴포넌트에 전력을 공급하기 위한 하나 이상의 배터리 또는 다른 휴대용 전원을 포함한다. 일부 실시예에서, HMD(100)의 이러한 컴포넌트 중 일부 또는 전부는 지지 구조물(104)의 영역(116)에 있는 암(110) 및 프레임(106)의 부분과 같이 지지 구조물(104)의 내부 체적 내에 완전히 또는 부분적으로 포함된다. 예시적인 폼 팩터가 도시되어 있지만, 다른 실시예에서 HMD(100)는 도 1에 도시된 안경 프레임과 다른 형상 및 외관을 가질 수 있다는 것이 이해될 것이다.In the example shown, HMD 100 is a near-eye display system (near eye display system) whose support structure 104 is configured to be worn on the user's head and has the general shape and appearance (or “form factor”) of an eyeglass frame. -eye display system). Support structure 104 includes or includes various components that facilitate the projection of such images toward the user's eye, such as a processing system described in more detail below with reference to FIG. 3 . In some embodiments, support structure 104 further includes various sensors, such as one or more front cameras, rear cameras, other light sensors, motion sensors, accelerometers, etc. The support structure 104 may further include one or more radio frequency (RF) interfaces or other wireless interfaces, such as a Bluetooth™ interface, a WiFi interface, etc. Additionally, in some embodiments, support structure 104 includes one or more batteries or other portable power sources to power electrical and processing components, such as one or more processors of the HMD 100 processing system. In some embodiments, some or all of these components of HMD 100 may be located within an internal volume of support structure 104, such as portions of arms 110 and frame 106 in regions 116 of support structure 104. fully or partially contained within. Although an example form factor is shown, it will be appreciated that in other embodiments HMD 100 may have a different shape and appearance than the glasses frame shown in FIG. 1 .

도시된 실시예에서, HMD(100)의 결합기(102)는 렌더링된 그래픽 콘텐츠가 결합기(102)를 통해 사용자가 보는 현실 세계 뷰 위에 중첩되거나 이와 함께 제공될 수 있는 AR 디스플레이를 제공한다. 예를 들어, 인지 가능한 이미지 또는 일련의 이미지를 형성하는 데 사용되는 광은 HMD(100)의 마이크로 디스플레이에 의해, 결합기(102)에 적어도 부분적으로 형성된 광가이드 및 마이크로 디스플레이와 광가이드 사이에 배치된 하나 이상의 렌즈 및/또는 필터 등과 같이 일련의 광학 요소를 통해 사용자의 눈에 프로젝트될 수 있다. 광학 결합기(102)는 광 가이드의 인커플러(incoupler)에 의해 수신된 디스플레이 광을 HMD(100) 사용자의 눈을 향해 디스플레이 광을 출력하는 광 가이드의 아웃커플러(outcoupler)로 라우팅하는 광 가이드의 적어도 일부를 포함한다. 또한, 광학 결합기(102)는 사용자가 결합기(102)를 통해 사용자의 실제 환경의 시야를 제공하여 이미지가 사용자의 실제 환경의 적어도 일부 위에 겹쳐 보이도록 할 수 있을 만큼 충분히 투명하다. 사용자가 실제 환경과 광학 결합기(102)로부터 프로젝트된 이미지를 올바른 각도 위치에서 원하지 않는 왜곡을 최소화하면서 포커스가 맞춰진 상태로 볼 수 있도록 하기 위해, 마이크로 디스플레이를 포함한 HMD의 컴포넌트는 캘리브레이션 스테이션을 사용하여 조정되며, 그 예는 도 2를 참조하여 아래에서 더 자세히 설명된다. In the depicted embodiment, combiner 102 of HMD 100 provides an AR display in which rendered graphical content can be presented over or in conjunction with a real-world view viewed by a user through combiner 102. For example, light used to form a perceptible image or series of images may be transmitted by a micro display of HMD 100, a light guide formed at least in part in coupler 102, and a light guide disposed between the micro display and the light guide. It may be projected to the user's eye through a series of optical elements, such as one or more lenses and/or filters. The optical coupler 102 is configured to route the display light received by the incoupler of the light guide to the outcoupler of the light guide that outputs the display light toward the eyes of the user of the HMD 100. Includes some. Additionally, the optical combiner 102 is sufficiently transparent to allow the user to provide a view of the user's real environment through the combiner 102 such that the image is superimposed over at least a portion of the user's real environment. To ensure that the user views the real environment and the projected image from the optical coupler 102 at the correct angular position and in focus with minimal unwanted distortion, the components of the HMD, including the micro display, are adjusted using a calibration station. , and the example is described in more detail below with reference to FIG. 2.

도 2는 HMD(100)와 같은 디스플레이 시스템의 에스팩트(aspects)가 측정되고 캘리브레이션되는 캘리브레이션 스테이션(200)의 블록도를 도시한다. 캘리브레이션 스테이션(200)은 광학 결합기(102)와 같은 광학 결합기가 배치되는 홀더(202)를 포함한다. 홀더(202)의 위치는 광학 결합기(102)가 광학 결합기(102)와 연관된 마이크로 디스플레이(204)로부터 캘리브레이션 스테이션(200)의 카메라(206)로 이동하는 광(220)의 주요 광학 경로에 위치되도록 조정 가능하다. 설명의 편의를 위해 단일 컴포넌트로 도시되었지만, 카메라(206)는 광을 감지하는 카메라 센서와 카메라 렌즈의 조합, 또는 광을 카메라 센서에 포커싱하는 렌즈의 조합이다. FIG. 2 shows a block diagram of a calibration station 200 where aspects of a display system such as HMD 100 are measured and calibrated. Calibration station 200 includes a holder 202 on which an optical coupler, such as optical coupler 102, is placed. The position of the holder 202 is such that the optical coupler 102 is located in the main optical path of light 220 traveling from the micro display 204 associated with the optical coupler 102 to the camera 206 of the calibration station 200. It is adjustable. Although shown as a single component for convenience of explanation, the camera 206 is a combination of a camera sensor that detects light and a camera lens, or a combination of a lens that focuses light to a camera sensor.

조정가능한 보정 유닛(208)은 또한 주요 광학 경로(primary optical path)에 배치되고 홀더(202)와 카메라(206) 사이에 위치된다. 일부 실시예에서, 조정가능한 보정 유닛(208)은 구면 렌즈, 원통형 렌즈, 필터링된 렌즈 및 프리즘 렌즈를 포함하지만 이에 제한되지 않는 다양한 렌즈를 포함하는 포롭터(phoropter)이다. 일부 실시예에서, 포롭터는 "Maddox" 막대 및 "Jackson" 크로스-실린더와 같은 특수 측정 장치도 포함한다. 일부 실시예에서, 조정가능한 보정 유닛(208)은 유체를 수용하는 멤브레인을 변형하거나 유체를 멤브레인 내부 또는 멤브레인 외부로 펌핑함으로써 렌즈의 반경이 변경될 수 있는 유체 충전 형상 변경 렌즈(fluid-filled shape-changing lens)와 같은 포커스 조정가능한 렌즈(focus tunable lens)이다. 일부 실시예에서, 조정가능한 보정 유닛(208)은 다양한 구면 오목 렌즈, 구면 볼록 렌즈, 원통형 오목 렌즈, 원통형 볼록 렌즈, 프리즘 렌즈 및 컬러렌즈, 폐색렌즈(occluder lens), 핀홀렌즈(pin hole lenses), 홀더(202)와 카메라(206) 사이의 광학 경로에 배치될 수 있는 크로스 실린더 렌즈와 같은 특수 렌즈를 포함하는 시험 렌즈 키트이다. 일부 실시예에서, ND(neutral-density) 필터는 너무 밝거나 "과다 노출된" 이미지를 캡처하는 것을 피하기 위해 카메라(206)에 들어가는 광의 강도를 줄이거나 수정하기 위해 카메라(206)와 조정가능한 보정 유닛(208) 사이에 위치된다. An adjustable correction unit 208 is also disposed in the primary optical path and is located between the holder 202 and the camera 206. In some embodiments, adjustable correction unit 208 is a phoropter that includes various lenses, including but not limited to spherical lenses, cylindrical lenses, filtered lenses, and prismatic lenses. In some embodiments, the phoropter also includes special measuring devices such as “Maddox” rods and “Jackson” cross-cylinders. In some embodiments, the adjustable correction unit 208 is a fluid-filled shape-changing lens in which the radius of the lens can be changed by deforming the membrane containing the fluid or pumping fluid into or out of the membrane. It is a focus tunable lens, such as a changing lens. In some embodiments, the adjustable correction unit 208 may include a variety of spherically concave lenses, spherically convex lenses, cylindrically concave lenses, cylindrical convex lenses, prismatic lenses, and colored lenses, occluder lenses, and pin hole lenses. , a test lens kit that includes a special lens, such as a cross cylinder lens, that can be placed in the optical path between the holder 202 and the camera 206. In some embodiments, a neutral-density (ND) filter is an adjustable compensation device with the camera 206 to reduce or modify the intensity of light entering the camera 206 to avoid capturing images that are too bright or “overexposed.” It is located between units 208.

사용자가 광학 결합기(102)의 FOV(108)에 걸쳐 균일한 색상과 밝기의 포커스가 맞춰진 이미지나 텍스트를 볼 수 있도록 HMD(100)를 캘리브레이션하기 위해, 광학 결합기(102)에 의해 야기된 왜곡(distortion)은 조정가능한 보정 유닛(208)에 의해 보정된다. 특히 광학 결합기(102)가 사용자의 특정 광학 보정 요구에 기초한 ICP(integrated corrective prescription)을 포함하는 경우, 조정가능한 보정 유닛(208)은 캘리브레이션 스테이션(200)의 카메라(206)가 디스플레이 측정 및 캘리브레이션을 수행하기 위해 선명하고 포커스가 맞는 이미지를 캡처할 수 있도록 CP(corrective prescription)에 의해 발생된 블러(blurriness)를 반전시키는 데 사용된다. To calibrate HMD 100 so that a user sees a focused image or text of uniform color and brightness across the FOV 108 of optical combiner 102, the distortion caused by optical combiner 102 ( Distortion is corrected by an adjustable correction unit 208. Particularly when optical coupler 102 includes an integrated corrective prescription (ICP) based on the user's specific optical correction needs, adjustable calibration unit 208 allows camera 206 of calibration station 200 to perform display measurements and calibration. It is used to reverse the blurriness caused by corrective prescriptions (CP) to capture sharp, in-focus images.

설명하자면, 광학 결합기(102)의 CP(corrective prescription)는 사용자 눈의 수정체 및 각막과 함께 작동하여 눈의 망막에 광의 포커스를 맞춘다. 시력 문제는 눈의 포커스 조절이 물체의 포커스를 맞추지 못하거나 눈이 대칭이 아니거나 난시를 겪을 때 발생한다. 광학 결합기(102)의 CP(corrective prescription)(디옵터로 측정됨)는 광이 망막에 정확하게 포커스가 맞춰지도록 사용자의 눈에 들어오는 광의 포커스를 변경하여 사용자가 자신의 환경을 포커스로 볼 수 있도록 한다. 따라서, 난시 교정의 경우, 현실 세계의 인지된 깊이를 공통 평면으로 이동시키고 구면 교정의 경우에, 환자의 포커스 조절 범위 내에 속하는 평면으로 이동하도록 광학 결합기(102)를 형상화함으로써 CP(corrective prescription)가 광학 결합기(102)에 통합된다. 사용자의 구체적인 CP(corrective prescription)에 따라 포커스가 이동되는 정도가 다르기 때문에, 처방이 통합된 광학 결합기(102)를 통해 본 이미지는 다른 사용자에게 또는 캘리브레이션 스테이션(200)의 경우 카메라(206)에게는 흐릿하거나 포커스가 맞지 않게 보일 것이다. 따라서, 조정가능한 보정 유닛(208)의 렌즈 또는 형상은 CP(corrective prescription)를 갖는 광학 결합기(102)에 의해 부과된 포커스의 이동을 리버스(reverse)하도록 조정되어, 광이 카메라(206)에 정확하게 포커싱되고 그리고 카메라(206)는 조정가능한 보정 유닛(208) 및 광학 결합기(102)를 통해 보여지는 환경의 인-포커스(in-focus) 이미지를 캡처할 수 있다. To illustrate, the corrective prescription (CP) of optical coupler 102 works with the lens and cornea of the user's eye to focus light onto the eye's retina. Vision problems occur when the eye's focus is unable to focus an object, the eyes are not symmetrical, or the eye suffers from astigmatism. The corrective prescription (CP) (measured in diopters) of the optical coupler 102 changes the focus of light entering the user's eye so that the light is accurately focused on the retina, allowing the user to see their environment in focus. Therefore, a corrective prescription (CP) is created by shaping the optical coupler 102 to shift the perceived depth of the real world to a common plane, in the case of astigmatism correction, and to a plane that falls within the patient's focus control range, in the case of spherical correction. It is integrated into an optical coupler (102). Because the degree to which the focus is shifted varies depending on the user's specific corrective prescription (CP), the image viewed through the prescription-integrated optical coupler 102 may appear blurry to other users or, in the case of the calibration station 200, to the camera 206. Or it will look out of focus. Accordingly, the lens or shape of the adjustable correction unit 208 is adjusted to reverse the shift in focus imposed by the optical coupler 102 with a corrective prescription (CP), so that the light is accurately directed to the camera 206. The camera 206 is focused and may capture an in-focus image of the environment viewed through the adjustable correction unit 208 and optical combiner 102.

일부 실시예에서, 캘리브레이션 스테이션(200)은 적어도 하나의 광학 릴레이(optical relay)를 포함한다. 도 2에 도시된 예시적인 캘리브레이션 스테이션(200)은 2개의 광 릴레이(212, 214)를 포함한다. 제1 광학 릴레이(212)는 홀더(202)와 조정가능한(튜닝가능한) 보정 유닛(208) 사이에 배치되고, 제2 광학 릴레이(214)는 조정가능한 보정 유닛(208)과 카메라(206) 사이에 배치된다. 제1 광학 릴레이(212)는 In some embodiments, calibration station 200 includes at least one optical relay. The exemplary calibration station 200 shown in FIG. 2 includes two optical relays 212 and 214. The first optical relay 212 is arranged between the holder 202 and the adjustable (tunable) correction unit 208, and the second optical relay 214 is arranged between the adjustable correction unit 208 and the camera 206. is placed in The first optical relay 212 is

마이크로 디스플레이(204)로부터의 광을 조정가능한 보정 유닛(208)으로 릴레이(relay)하기 위한 제1 세트의 릴레이 렌즈(218)를 갖고, 제2 광학 릴레이(214)는 조정가능한 보정 유닛(208)으로부터 카메라(206)로 광을 릴레이하기 위한 제2 세트의 릴레이 렌즈(218)를 갖는다. 카메라(206)는 적어도 하나의 광학 릴레이 없이 사용자의 시야를 시뮬레이션하는 데 사용되기 때문에, 카메라(206)는 사용자의 눈의 위치를 에뮬레이트하기 위해 홀더(202)에 고정되어 있는 광학 결합기(102)에 매우 가깝게 배치되어야 한다. 결과적으로, 홀더(202)와 카메라(206) 사이에 조정가능한 보정 유닛(208)을 장착할 충분한 공간이 없을 것이다. 광학 릴레이(212, 214)는 카메라(206)와 홀더(202) 사이의 조정가능한 보정 유닛(208)의 위치 지정을 수용하기 위해 주요 광학 경로를 연장하는 역할을 하며, 사용자가 디지털 콘텐츠와 기준 타겟(224)을 볼 때 카메라(206)가 광학 결합기(102) 및/또는 광학 결합기(102) 너머에 위치한 기준 타겟(224)에 프로젝트된 디지털 콘텐츠의 이미지를 캡처할 수 있도록 허용한다. 일부 실시예에서, 기준 타겟(224)은 카메라(206)가 홀더(202)에 위치된 광학 결합기(102)를 통해 기준 타겟(224)을 볼 수 있도록 홀더(202)로부터 설정된 거리에 위치된다. 기준 타겟(224)은 일반적으로 카메라(206)가 기준 타겟(224)의 포커스가 맞춰진 이미지를 캡처하는 것을 보장하는 데 사용되는 체커보드 그리드 또는 구별 가능한 특징을 갖는 다른 패턴과 같은 물리적 아이템 또는 이미지이다. 일부 실시예에서, 기준 타겟(224)은 홀더로부터 설정된 거리에 위치한 표면에 프로젝션되는 정적 또는 동적 이미지이다. 기준 타겟(224)은 일반적으로 백색광으로 조명되지만, 컬러 조명도 기준 타겟(224)을 조명하는 데 사용될 수 있다. It has a first set of relay lenses 218 for relaying light from the micro display 204 to an adjustable correction unit 208, wherein the second optical relay 214 has an adjustable correction unit 208. and a second set of relay lenses 218 for relaying light from the camera 206. Since the camera 206 is used to simulate the user's field of view without at least one optical relay, the camera 206 is connected to an optical coupler 102 fixed to the holder 202 to emulate the position of the user's eyes. They must be placed very close together. As a result, there will not be enough space to mount the adjustable calibration unit 208 between the holder 202 and the camera 206. Optical relays 212, 214 serve to extend the main optical path to accommodate positioning of the adjustable calibration unit 208 between camera 206 and holder 202, allowing the user to view digital content and reference targets. Viewing 224 allows camera 206 to capture images of digital content projected onto optical combiner 102 and/or a reference target 224 located beyond optical combiner 102 . In some embodiments, reference target 224 is positioned at a set distance from holder 202 such that camera 206 can view reference target 224 through optical coupler 102 located in holder 202. Reference target 224 is typically a physical item or image, such as a checkerboard grid or other pattern with distinguishable characteristics, used to ensure that camera 206 captures a focused image of reference target 224. . In some embodiments, reference target 224 is a static or dynamic image projected onto a surface located at a set distance from the holder. Reference target 224 is typically illuminated with white light, but colored light may also be used to illuminate reference target 224.

색상, 강도 및 강도 균일성을 캘리브레이션하기 위해 마이크로 디스플레이(204)로부터 광(220)의 일부를 샘플링하도록, 빔 스플리터(beam splitter)(216)가 마이크로 디스플레이(204)와 조정가능한 보정 유닛(208) 사이에 위치된다. 빔 스플리터(216)는 마이크로 디스플레이(204)로부터의 광(220)의 일부를 주요 광학 경로로부터 멀어지게 도 3을 참조하여 아래에서 더 자세히 설명된 바와 같이 분광계, 전력계 및/또는 적분구(integrating sphere)와 같은 측정 장치 쪽으로 방향전환(redirect)시킨다. 일부 실시예에서, 빔 스플리터(216)는 광을 주요 광학 경로에 주입하는 데 사용된다. 일부 실시예에서, 빔 스플리터(216)는 마이크로 디스플레이(204)로부터의 광에 대한 조정가능한 보정 유닛(208)의 영향을 부분적으로 보상하기 위해 조정가능한 보정 유닛(208)과 카메라 사이에 위치된다. 일부 실시예에서, 빔 스플리터(216)는 조정가능한 보정 유닛(208)의 영향을 완전히 보상하기 위해 조정가능한 보정 유닛(208)의 양측에 위치된다. A beam splitter 216 is coupled to the micro display 204 and an adjustable calibration unit 208 to sample a portion of the light 220 from the micro display 204 to calibrate color, intensity and intensity uniformity. It is located between. Beam splitter 216 directs a portion of light 220 from micro display 204 away from the main optical path to a spectrometer, power meter, and/or integrating sphere, as described in more detail below with reference to Figure 3. ) and redirect to a measuring device such as In some embodiments, beam splitter 216 is used to inject light into the main optical path. In some embodiments, a beam splitter 216 is positioned between the adjustable correction unit 208 and the camera to partially compensate for the effect of the adjustable correction unit 208 on the light from the micro display 204. In some embodiments, beam splitters 216 are located on either side of the adjustable correction unit 208 to fully compensate for the effects of the adjustable correction unit 208.

도 3은 HMD의 마이크로 디스플레이(204) 및 캘리브레이션 스테이션(200)과 연관된 프로세싱 시스템(300)의 블록도를 도시한다. 예시된 예에서, 프로세싱 시스템(300)은 마이크로 디스플레이(204) 및 HMD(100)의 다른 컴포넌트를 제어하기 위해 하나 이상의 소프트웨어 프로그램을 실행하는 집적 회로(예를 들어, 마이크로프로세서)인 애플리케이션 프로세서(AP)(302)를 포함한다. 도 3에 도시된 바와 같이, AP(302)는 프로세서(304), GPU(306) 및 메모리(308)를 포함한다. 프로세서(304)와 GPU(306)는 메모리(308)에 통신 가능하게 결합된다. 일부 실시예에서, 메모리(308)는 프로세서(304) 및 GPU(306)에 의해 신속하게 액세스될 수 있는 데이터 및 명령을 보관하기 위한 임시 저장소로 구성된다. 일부 실시예에서, 저장소(310)는 데이터 및 명령을 보관하기 위한 보다 영구적인 저장소이다. 메모리(308)와 저장소(310) 각각은 데이터와 명령어를 저장하는 비일시적 프로세서 판독 가능 저장 매체이며, RAM(Random-Access Memory), ROM(Read-Only Memory), 플래시 메모리, 솔리드 스테이트 드라이브, 또는 기타 프로세서 판독 가능 저장 매체 중 하나 이상을 포함할 수 있다. 일부 실시예에서, 프로세서(304)는 계산 작업을 수행하는 프로그래밍된 컴퓨터이다. 예를 들어, 프로세서(304)는 중앙 프로세싱 장치(CPU), 마이크로프로세서, 제어기, ASIC(application specific integrated circuit), SOC(system on chip) 또는 FPGA(field-programmable gate array)로 구현된다. Figure 3 shows a block diagram of the processing system 300 associated with the HMD's micro display 204 and calibration station 200. In the illustrated example, processing system 300 includes an application processor (AP), which is an integrated circuit (e.g., microprocessor) that executes one or more software programs to control micro display 204 and other components of HMD 100. )(302). As shown in Figure 3, AP 302 includes a processor 304, GPU 306, and memory 308. Processor 304 and GPU 306 are communicatively coupled to memory 308. In some embodiments, memory 308 is configured as temporary storage to hold data and instructions that can be quickly accessed by processor 304 and GPU 306. In some embodiments, storage 310 is a more permanent storage for storing data and instructions. Each of memory 308 and storage 310 is a non-transitory processor-readable storage medium that stores data and instructions, and may include random-access memory (RAM), read-only memory (ROM), flash memory, solid-state drive, or It may include one or more of other processor-readable storage media. In some embodiments, processor 304 is a programmed computer that performs computational tasks. For example, the processor 304 is implemented as a central processing unit (CPU), microprocessor, controller, application specific integrated circuit (ASIC), system on chip (SOC), or field-programmable gate array (FPGA).

HMD(100)의 사용자가 볼 수 있는 시야(FOV) 영역(108)에 가상 이미지를 형성하기 위해, GPU(306)는 프로세서(304)로부터 소스 이미지를 수신하고 소스 이미지를 프로젝터 프레임 버퍼에 기록하거나 렌더링하며, 이는 마이크로 디스플레이(204)의 디스플레이 제어기(322)에 연결된다. 소스 이미지를 광학 결합기(102)에 프로젝트하기 위해, 마이크로 디스플레이(204)는 프레임 버퍼 데이터를 사용하여 마이크로 디스플레이(204)의 레이저 다이오드 또는 다른 광원에 대한 구동 제어를 생성한다. HMD(100)의 정상 작동 동안, 소스 이미지를 프로젝터 프레임 버퍼에 렌더링할 때 광학 결합기(102)에 프로젝트될 소스 이미지에 대한 모든 보정(correction)이 적용된다. 일부 실시예에서, 디스플레이 제어기(322)는 프레임 버퍼 데이터를 마이크로 디스플레이(204)에 제공하기 전에 보정을 적용한다. 광학 시스템의 물리적 변화(예: 열 변화)로 인한 기하학적 왜곡(여기에 설명된 캘리브레이션 프로세스에 의해 결정됨), 색상 보정 및/또는 기타 보정과 같은 여러 보정은 사용자에게 표시되는 수정된 이미지를 얻기 위해 원본 이미지에 적용된다. To form a virtual image in the user viewable field of view (FOV) area 108 of HMD 100, GPU 306 receives a source image from processor 304 and writes the source image to the projector frame buffer or rendering, which is connected to the display controller 322 of the micro display 204. To project the source image to the optical combiner 102, the micro display 204 uses frame buffer data to generate drive controls for the laser diodes or other light sources of the micro display 204. During normal operation of HMD 100, any corrections to the source image to be projected to optical combiner 102 are applied when rendering the source image to the projector frame buffer. In some embodiments, display controller 322 applies corrections to frame buffer data before providing it to micro display 204. Several corrections, such as geometric distortions (as determined by the calibration process described here), color corrections, and/or other corrections due to physical changes in the optical system (e.g. thermal changes), are performed on the original to obtain the corrected image displayed to the user. Applies to images.

예를 들어, 서로 다른 파장의 광을 각각 프로젝트하는 레이저 다이오드를 갖는 마이크로 디스플레이(204)를 사용하는 HMD는 프로젝터 프레임 버퍼의 서로 다른 영역에서 여러 소스 이미지를 프로젝트하여 FOV(108)에서 가상 이미지를 생성한다. HMD는 FOV(108) 내에서 가상 이미지가 중첩되어 하나의 이미지로 보이도록 설계된다. 다만, 제작된 HMD가 FOV(108)에 맞춰진 가상 이미지를 자동으로 생성하지 못하는 경우가 있는데, 이로 인해 사용자는 이미지를 포커스가 맞지 않거나 "고스트(ghost)" 이미지(즉, 약간 어긋나고 겹치는 이미지)로 보게 될 수 있다. 시스템의 광학 장치가 정확하게 정렬된 후에도 각 가상 이미지를 생성하는 고유한 경로와 고유한 비선형 왜곡으로 인해 FOV(108)에 프로젝트된 가상 이미지에 여전히 정렬 불량이 있을 수 있다. 따라서, 소스 이미지가 왜곡("보정")되어 FOV(108)에 프로젝트될 때 왜곡된 소스 이미지가 FOV(108)의 타겟 영역(들)에 정렬되는 가상 이미지를 형성하도록 왜곡 모델이 소스 이미지에 적용된다. 마찬가지로, 색상 보정 및/또는 강도 모델을 소스 이미지에 적용할 수 있다. 이러한 모델은 소스 이미지의 특정 영역 내에서 색상과 밝기의 분포를 다양하게 하여 FOV(108)에 프로젝트할 때 결과 가상 이미지가 사용자가 볼 때 균일한 색상과 밝기를 갖도록 한다. For example, an HMD using a microdisplay 204 with laser diodes each projecting a different wavelength of light could project multiple source images at different regions of the projector frame buffer to create a virtual image in the FOV 108. do. The HMD is designed so that virtual images overlap within the FOV 108 and appear as one image. However, there are cases where the manufactured HMD cannot automatically generate a virtual image aligned to the FOV 108, which results in the user seeing the image as out of focus or as a "ghost" image (i.e., an image that is slightly offset and overlapping). You can see it. Even after the system's optics are accurately aligned, there may still be misalignment in the virtual images projected onto FOV 108 due to the unique path that creates each virtual image and the inherent non-linear distortions. Accordingly, when a source image is distorted (“corrected”) and projected onto FOV 108, a distortion model is applied to the source image such that the distorted source image forms a virtual image that is aligned to the target area(s) of FOV 108. do. Likewise, color correction and/or intensity models can be applied to the source image. These models vary the distribution of color and brightness within specific regions of the source image so that when projected into the FOV 108, the resulting virtual image has uniform color and brightness when viewed by the user.

프로세싱 시스템(300)은 캘리브레이션 프로세서(312)를 더 포함하며, 이는 도 4를 참조하여 추가로 설명되는 바와 같이 캘리브레이션 프로세스 동안 카메라(206)에 의해 캡처된 이미지 및/또는 광도 데이터를 수신하기 위해 카메라(206)에 통신 가능하게 결합된다. 일부 실시예에서, 캘리브레이션 프로세서는 캘리브레이션이 완료되면 HMD(100)로부터 분리될 수 있다. 일반적으로, 본 명세서에 설명된 캘리브레이션 프로세스를 실행하는 프로세서는 캘리브레이션 프로세서로 지칭될 수 있다. 일부 실시예에서, 캘리브레이션 프로세서(312)는 계산 작업을 수행하는 프로그래밍된 컴퓨터이다. 예를 들어, 캘리브레이션 프로세서(312)는 중앙 프로세싱 장치(CPU), 마이크로프로세서, 제어기, ASIC(application specific integrated circuit), 시스템 온 칩(SOC), 또는 FPGA(field-programmable gate array)일 수 있다. 도시되지는 않았지만, 디스플레이 스크린은 캘리브레이션 프로세서(312)에서 실행되는 캘리브레이션 프로그램(314)과의 상호작용을 허용하고/하거나 캘리브레이션 프로세서(312)가 캘리브레이션 프로그램(314)으로부터의 캘리브레이션 결과를 표시할 수 있도록 캘리브레이션 프로세서(312)에 통신 가능하게 연결될 수 있다. Processing system 300 further includes a calibration processor 312, which is configured to receive images and/or luminance data captured by camera 206 during the calibration process, as further described with reference to FIG. 4. communicatively coupled to (206). In some embodiments, the calibration processor may be separated from HMD 100 once calibration is complete. Generally, the processor that executes the calibration process described herein may be referred to as a calibration processor. In some embodiments, calibration processor 312 is a programmed computer that performs computational tasks. For example, calibration processor 312 may be a central processing unit (CPU), microprocessor, controller, application specific integrated circuit (ASIC), system-on-chip (SOC), or field-programmable gate array (FPGA). Although not shown, the display screen allows interaction with the calibration program 314 running on the calibration processor 312 and/or allows the calibration processor 312 to display calibration results from the calibration program 314. It may be communicatively connected to the calibration processor 312.

일부 실시예에서, 캘리브레이션 프로세서(312)는 캘리브레이션 목적을 위해 AP 프로세서(302)에 통신 가능하게 결합된다. 도 3에서, 캘리브레이션 프로그램(314)의 명령을 실행하는 캘리브레이션 프로세서(312)가 도시되어 있다. 캘리브레이션 프로그램(314)은 메모리(316)에 저장될 수 있고 실행 시간에 캘리브레이션 프로세서(312)에 의해 액세스될 수 있다. 캘리브레이션 프로그램(314)은 캘리브레이션 프로세서(312)에 의해 실행될 때 일부 실시예에서 AP(302)에 정의된 순서로 테스트 패턴을 제공하는 결정 로직(decision logic)(318)을 포함한다. 정의된 순서는 캘리브레이션 프로세스 중에 조정될 수 있다. AP(302)는 정의된 시퀀스의 테스트 패턴을 프로젝터 프레임 버퍼에 렌더링한다. 테스트 패턴이 광학 결합기(102)를 통해 마이크로 디스플레이(204)에 의해 프로젝트될 때 카메라(206)는 테스트 패턴의 이미지를 캡처하고 디스플레이 데이터(320)를 생성한다. 카메라(206)는 또한 광학 결합기(102) 및 조정가능한 보정 유닛(208)을 통해 보이는 기준 타겟(224)의 이미지를 캡처하고 기준 타겟 데이터(324)를 생성한다. 캘리브레이션 프로세서(312)는 카메라(206)로부터 디스플레이 데이터(320) 및 기준 타겟 데이터(324)를 수신하고, 캘리브레이션 프로그램(314)은 디스플레이 데이터(320) 및 기준 타겟 데이터(324)를 사용하여 뒤틀려 있거나(warped) 왜곡된 소스 이미지를 생성하는 데 후속적으로 사용되는 프로젝터 공간 매핑에 대한 눈 공간을 결정한다. 일부 실시예에서, 마이크로 디스플레이(204)에 의해 프로젝트된 테스트 패턴의 스펙트럼 및 강도 측정은 도 4를 참조하여 더 자세히 설명된 것과 같은 주변 컴포넌트에 의해 수행된다. In some embodiments, calibration processor 312 is communicatively coupled to AP processor 302 for calibration purposes. In Figure 3, a calibration processor 312 is shown executing the instructions of a calibration program 314. Calibration program 314 may be stored in memory 316 and accessed by calibration processor 312 at run time. Calibration program 314 includes decision logic 318 that, when executed by calibration processor 312, provides test patterns in a defined order to AP 302 in some embodiments. The defined sequence can be adjusted during the calibration process. The AP 302 renders the test pattern of the defined sequence in the projector frame buffer. When the test pattern is projected by the micro display 204 through the optical coupler 102, the camera 206 captures an image of the test pattern and generates display data 320. Camera 206 also captures an image of a reference target 224 visible through optical coupler 102 and adjustable calibration unit 208 and generates reference target data 324. Calibration processor 312 receives display data 320 and reference target data 324 from camera 206, and calibration program 314 uses the display data 320 and reference target data 324 to distort or Determines eye space for projector space mapping, which is subsequently used to generate the (warped) distorted source image. In some embodiments, spectral and intensity measurements of test patterns projected by micro display 204 are performed by peripheral components, such as those described in more detail with reference to FIG. 4 .

도 4는 캘리브레이션 스테이션(200) 및 주변 장치를 포함하는 캘리브레이션 시스템(400)의 블록도를 도시한다. 일부 실시예에서, 주변 장치는 빔 스플리터(216)에 의해 방향전환된(redirected) 광(222)의 광학 경로에 위치하는 분광계(404) 및 전력계(406)를 포함한다. 일부 실시예에서, 주변 장치는 빔 스플리터(216)에 의해 방향전환된 광(222)의 총 전력(flux)을 측정하기 위해 적분구(408)를 포함한다. 분광계(404), 적분구(408) 및 전력계(406)에서 수행된 색상 균일성 및 강도 측정치는 프로세싱 시스템(300)과 연관된 캘리브레이션 프로세서(312)에 전달되고 그리고 캘리브레이션 스테이션(200)에서 분석되는 특정 HMD(100)에 대한 캘리브레이션 파라미터를 결정하도록 구성된다. 또한, 카메라(206)에 의해 캡처된 이미지는 측정 및 분석을 위해 캘리브레이션 프로세서(312)로 전송된다. 따라서, 캘리브레이션 프로세서(312)는 카메라(206), 분광계(404) 및 전력계(406)와 같은 측정 장치뿐만 아니라 AP 프로세서(130)에도 통신 가능하게 결합된다. FIG. 4 shows a block diagram of a calibration system 400 including a calibration station 200 and peripheral devices. In some embodiments, the peripheral device includes a spectrometer 404 and a power meter 406 located in the optical path of light 222 redirected by beam splitter 216. In some embodiments, the peripheral device includes an integrating sphere 408 to measure the total power (flux) of light 222 diverted by beam splitter 216. Color uniformity and intensity measurements made at spectrometer 404, integrating sphere 408, and wattmeter 406 are passed to calibration processor 312 associated with processing system 300 and analyzed at calibration station 200. It is configured to determine calibration parameters for the HMD (100). Additionally, images captured by camera 206 are transmitted to calibration processor 312 for measurement and analysis. Accordingly, calibration processor 312 is communicatively coupled to AP processor 130 as well as measurement devices such as camera 206, spectrometer 404, and power meter 406.

도 5는 캘리브레이션 시스템(400)을 사용하여 HMD(100)와 같은 HMD를 캘리브레이션하는 방법(500)을 예시한다. 블록(502)에서, 광학 결합기(102)는 캘리브레이션 스테이션(200)의 홀더(202)에 위치된다. 일반적으로, 광학 결합기(102)는 마이크로 디스플레이(204) 및 디스플레이 제어기(322) 및 AP(302)와 같은 다른 HMD 컴포넌트를 수용하는 프레임(106)과 같은 프레임에 부착될 것이다. 조정가능한 보정 유닛(208)은 블록(504)에서 광학 결합기(102)에 포함된 임의의 CP(corrective prescription)에 의해 야기된 디포커스를 보정하기 위해 조정된다. 예를 들어, 광학 결합기가 +4 구면 보정(+4 spherical correction)을 제공하도록 구성되면, 조정가능한 보정 유닛(208)은 -4 구면 보정(-4 spherical correction)을 제공함으로써 카메라(206)에 의해 보일 수 있는 디포커스을 보상하도록 조정된다. 따라서, 카메라(206)와 조정가능한 보정 유닛(208)은 +4 구면 보정이 필요한 사용자의 눈을 시뮬레이션하기 위해 함께 작동한다. 조정가능한 보정 유닛(208)은 조작자에 의해 수동으로 조정될 수 있거나 캘리브레이션 프로세스 동안 자동으로 조정될 수 있다. 5 illustrates a method 500 of calibrating a HMD, such as HMD 100, using calibration system 400. At block 502, optical coupler 102 is placed in holder 202 of calibration station 200. Typically, optical coupler 102 will be attached to a frame, such as frame 106, that houses micro display 204 and other HMD components such as display controller 322 and AP 302. The adjustable correction unit 208 is adjusted at block 504 to correct for defocus caused by any corrective prescription (CP) included in the optical coupler 102 . For example, if the optical coupler is configured to provide +4 spherical correction, the adjustable correction unit 208 may be configured to provide -4 spherical correction by the camera 206. It is adjusted to compensate for any visible defocus. Accordingly, camera 206 and adjustable correction unit 208 work together to simulate a user's eye requiring +4 spherical correction. The adjustable calibration unit 208 can be adjusted manually by an operator or automatically during the calibration process.

블록(506)에서, 카메라(206)는 조정가능한 보정 유닛(208) 및 광학 결합기(102)를 통해 보여지는 기준 타겟(224)과 같은 기준 타겟의 이미지를 캡처한다. 조정가능한 보정 유닛(208)은 도 2를 참조하여 전술한 바와 같이 광학 결합기(102)의 CP(corrective prescription)에 의해 도입된 기준 타겟(224)의 디포커스를 보정하는 역할을 하지만, 일부 경우에는 기준 타겟(224)의 일부 왜곡이 캡처된 이미지에 여전히 존재할 수 있다. 일부 실시예에서, 굴절 보정을 요구하는 사용자가 이 왜곡으로 세상을 보는 데 적응하기 때문에 이러한 왜곡은 최종 캘리브레이션된 HMD에서 바람직하다. 따라서 최종 디스플레이 캘리브레이션은 환경을 보는 사용자의 기대와 일치해야 한다. 블록 508에서, 기준 타겟(224)의 캡처된 이미지는 캘리브레이션 프로세서(312)로 전송되고, 여기서 왜곡이 측정되고 분석된다. 블록 510에서 왜곡 모델이 생성된다. 블록 512에서 기준 타겟(224)의 캡처된 이미지와 동일한 기하학적 왜곡을 갖는 이미지를 프로젝트하기 위해, 마이크로 디스플레이(204)를 캘리브레이션하기 위해 왜곡 모델이 HMD의 AP 프로세서(302)에 제공된다. At block 506, camera 206 captures an image of a reference target, such as reference target 224, viewed through adjustable correction unit 208 and optical coupler 102. The adjustable correction unit 208 serves to correct the defocus of the reference target 224 introduced by the corrective prescription (CP) of the optical coupler 102, as described above with reference to FIG. 2, but in some cases. Some distortion of the reference target 224 may still be present in the captured image. In some embodiments, this distortion is desirable in the final calibrated HMD because the user requiring refractive correction adapts to seeing the world with this distortion. Therefore, the final display calibration must match the user's expectations of viewing the environment. At block 508, the captured image of reference target 224 is sent to calibration processor 312, where distortion is measured and analyzed. In block 510, a distortion model is created. At block 512 a distortion model is provided to the HMD's AP processor 302 to calibrate the micro display 204 to project an image with the same geometric distortion as the captured image of the reference target 224.

왜곡이 AP 프로세서(302)에 제공되면, 블록(514)에서, 마이크로 디스플레이(204)는 이미지 또는 텍스트를 나타내는 광을 광학 결합기(102)에 제공하고, 광학 결합기(102)는 광학 결합기(102)와 캘리브레이션 스테이션(200)의 카메라(206) 사이의 주요 광학 경로를 따라 광(220)을 출력한다. 블록(516)에서, 출력 광의 일부는 빔 스플리터(216)에 의해 주요 광학 경로로부터 멀어지고, 분광계(404) 및 전력계(406)와 같은 캘리브레이션 스테이션(200)의 측정 장치를 향해 방향전환되며(redirected), 여기서 광은 색상 및 밝기의 균일성을 위해 분석된다. 균일성 보정 모델은 블록 518에서 생성되고 블록 520에서 AP 프로세서(302)에 제공된다. 균일성 보정 모델은 마이크로 디스플레이(204)에 의해 프로젝트된 광(220)에 적용되어 광학 결합기(102)에 의해 출력된 광의 불균일성을 보상하고 미리 결정된 타겟 백색점(white point)과 일치시킨다. 일부 실시예에서, 블록 502 내지 520에 설명된 캘리브레이션 방법은 양안 HMD의 경우 HMD(100)의 제2 렌즈에 대해 반복된다. 그 결과 굴절 보정이 필요한 사용자의 눈에 맞게 최적으로 캘리브레이션된 HMD(100)이 생성되었다.Once the distortion is provided to the AP processor 302, at block 514, the micro display 204 provides light representing the image or text to the optical combiner 102, which Light 220 is output along the main optical path between the camera 206 and the calibration station 200. At block 516, a portion of the output light is redirected away from the main optical path by beam splitter 216 and toward measurement devices of calibration station 200, such as spectrometer 404 and wattmeter 406. ), where the light is analyzed for uniformity of color and brightness. A uniformity correction model is generated at block 518 and provided to AP processor 302 at block 520. A uniformity correction model is applied to the light 220 projected by the micro display 204 to compensate for the non-uniformity of the light output by the optical combiner 102 and match a predetermined target white point. In some embodiments, the calibration method described in blocks 502-520 is repeated for the second lens of HMD 100 for a binocular HMD. As a result, an HMD (100) that was optimally calibrated to suit the user's eyes requiring refraction correction was created.

일부 실시예에서, 전술한 기술의 특정 양태는 소프트웨어를 실행하는 프로세싱 시스템의 하나 이상의 프로세서에 의해 구현될 수 있다. 소프트웨어는 비일시적 컴퓨터 판독 가능 저장 매체에 저장되거나 유형적으로 구현된 하나 이상의 실행 가능한 명령 세트를 포함한다. 소프트웨어는 하나 이상의 프로세서에 의해 실행될 때 하나 이상의 프로세서를 조작하여 위에서 설명한 기술의 하나 이상의 양태를 수행하는 명령어 및 특정 데이터를 포함할 수 있다. 비일시적 컴퓨터 판독 가능 저장 매체는 예를 들어 자기 또는 광학 디스크 저장 장치, 플래시 메모리와 같은 솔리드 스테이트 저장 장치, 캐시, RAM(Random Access Memory) 또는 기타 비휘발성 메모리 장치를 포함할 수 있다. 비일시적 컴퓨터 판독 가능 저장 매체에 저장된 실행 가능 명령어는 소스 코드, 어셈블리 언어 코드, 객체 코드 또는 하나 이상의 프로세서에 의해 해석되거나 달리 실행 가능한 다른 명령어 형식일 수 있다. In some embodiments, certain aspects of the above-described techniques may be implemented by one or more processors of a processing system executing software. Software includes one or more sets of executable instructions stored on or tangibly embodied in a non-transitory computer-readable storage medium. The software may include instructions and certain data that, when executed by one or more processors, manipulate the one or more processors to perform one or more aspects of the techniques described above. Non-transitory computer-readable storage media may include, for example, magnetic or optical disk storage, solid state storage such as flash memory, cache, random access memory (RAM), or other non-volatile memory devices. Executable instructions stored on a non-transitory computer-readable storage medium may be in the form of source code, assembly language code, object code, or other instructions that can be interpreted or otherwise executed by one or more processors.

컴퓨터 판독 가능 저장 매체는 명령어 및/또는 데이터를 컴퓨터 시스템에 제공하기 위해 사용하는 동안 컴퓨터 시스템에 의해 액세스 가능한 임의의 저장 매체 또는 저장 매체의 조합을 포함할 수 있다. 이러한 저장 매체는 광학 매체(예: CD(Compact Disc), DVD(Digital Versatile Disc), Blu-Ray 디스크), 자기 매체(예: 플로피 디스크, 자기 테이프 또는 자기 하드 드라이브), 휘발성 메모리(예: 랜덤 액세스 메모리(RAM) 또는 캐시), 비휘발성 메모리(예: 읽기 전용 메모리(ROM) 또는 플래시 메모리) 또는 MEMS(Microelectromechanical System) 기반 저장 매체 등을 포함하지만, 이에 한정되지 않는다. 컴퓨터 판독 가능 저장 매체는 컴퓨팅 시스템(예를 들어, 시스템 RAM 또는 ROM)에 내장될 수 있으며, 컴퓨팅 시스템(예: 자기 하드 드라이브)에 고정적으로 부착되거나, 컴퓨팅 시스템(예: 광 디스크 또는 USB(Universal Serial Bus) 기반 플래시 메모리)에 제거 가능하게 부착되거나 유선 또는 무선 네트워크(예: NAS(Network Accessible Storage))를 통해 컴퓨터 시스템에 연결된다. A computer-readable storage medium may include any storage medium, or combination of storage media, that is accessible by a computer system during use to provide instructions and/or data to the computer system. These storage media include optical media (such as Compact Disc (CD), Digital Versatile Disc (DVD), and Blu-Ray Disc), magnetic media (such as floppy disks, magnetic tape, or magnetic hard drives), and volatile memory (such as random memory). Includes, but is not limited to, non-volatile memory (e.g., read-only memory (ROM) or flash memory), or microelectromechanical system (MEMS)-based storage media. A computer-readable storage medium may be embedded in the computing system (e.g., system RAM or ROM), fixedly attached to the computing system (e.g., a magnetic hard drive), or stored in the computing system (e.g., an optical disk or USB drive). It is removably attached to a serial bus (Serial Bus)-based flash memory or connected to a computer system via a wired or wireless network (e.g., Network Accessible Storage (NAS)).

일반적인 설명에서 위에서 설명한 모든 동작 또는 요소가 필요한 것은 아니며, 특정 동작 또는 장치의 일부가 필요하지 않을 수 있으며, 하나 이상의 추가 동작이 수행되거나 요소가 포함될 수 있다. 또한 동작이 나열되는 순서가 반드시 수행되는 순서는 아니다. 또한, 구체적인 실시예를 참조하여 개념을 설명하였다. 그러나, 당업자라면 하기 청구범위에 기재된 본 발명의 범위를 벗어나지 않고 다양한 수정 및 변경이 이루어질 수 있음을 이해할 것이다. 따라서, 명세서 및 도면은 제한적인 의미가 아닌 예시적인 것으로 간주되어야 하며, 이러한 모든 변형은 본 개시의 범위 내에 포함되도록 의도된다. In the general description, not all of the actions or elements described above may be required, some of the specific actions or devices may not be required, and one or more additional actions or elements may be included. Additionally, the order in which actions are listed is not necessarily the order in which they are performed. Additionally, the concept was explained with reference to specific examples. However, those skilled in the art will appreciate that various modifications and changes may be made without departing from the scope of the invention as set forth in the claims below. Accordingly, the specification and drawings are to be regarded in an illustrative rather than a restrictive sense, and all such modifications are intended to be included within the scope of this disclosure.

이점, 다른 장점 및 문제에 대한 해결책은 특정 실시예와 관련하여 위에서 설명되었다. 하지만, 이점, 장점, 문제에 대한 솔루션 및 모든 이점, 장점 또는 솔루션이 발생하거나 더 두드러지게 만들 수 있는 모든 기능은 일부 또는 모든 제품의 중요하거나 필요하거나 필수적인 기능으로 해석되지 않는다. 더욱이, 상기 개시된 특정 실시예는 단지 설명을 위한 것일 뿐인데, 개시된 주제가 상이하지만 본 명세서의 교시의 이점을 갖는 당업자에게 명백한 동등한 방식으로 수정 및 실시될 수 있다. 아래의 청구 범위에 기술된 것 외에 여기에 표시된 구성 또는 디자인의 세부 사항에 대한 제한은 없다. 따라서, 위에 개시된 특정 실시예가 변경되거나 수정될 수 있고 그러한 모든 변형이 개시된 주제의 범위 내에서 고려된다는 것이 명백하다. 따라서, 여기에서 추구하는 보호는 아래의 청구범위에 설명된 바와 같다.Advantages, other advantages and solutions to problems have been described above with respect to specific embodiments. However, any advantage, advantage, solution to a problem, and any feature that may cause or make any advantage, advantage, or solution more prominent, is not to be construed as an important, necessary, or essential feature of any or all Products. Moreover, the specific embodiments disclosed above are for illustrative purposes only and may be modified and practiced in different but equivalent ways as will be apparent to those skilled in the art having the benefit of the teachings herein. There are no limitations on details of construction or design shown herein other than those set forth in the claims below. Accordingly, it is clear that certain embodiments disclosed above may be altered or modified and that all such modifications are considered within the scope of the disclosed subject matter. Accordingly, the protection sought herein is as set forth in the claims below.

Claims (20)

장치로서,
HMD(Head Mounted Display)의 마이크로 디스플레이와 카메라 사이의 광학 경로에 광학 결합기를 고정시키는 홀더;
상기 광학 경로에 배치되고 그리고 상기 광학 결합기에 의해 전달된 광의 포커스를 조정하도록 구성된 조정가능한 보정 유닛을 포함하며, 그리고
상기 카메라는 상기 HMD를 캘리브레이션하는데 사용되기 위해 상기 조정가능한 보정 유닛으로부터 출력된 상기 조정된 포커스 광의 적어도 하나의 이미지를 캡처하도록 구성되는, 장치.As a device,
A holder that secures the optical coupler in the optical path between the micro display of the HMD (Head Mounted Display) and the camera;
an adjustable correction unit disposed in the optical path and configured to adjust the focus of light delivered by the optical coupler, and
wherein the camera is configured to capture at least one image of the adjusted focus light output from the adjustable correction unit for use in calibrating the HMD. 제1항에 있어서, 상기 광학 결합기는 ICP(integrated corrective prescription)를 포함하는, 장치.The device of claim 1 , wherein the optical coupler comprises an integrated corrective prescription (ICP). 제1항 또는 제2항에 있어서, 상기 조정가능한 보정 유닛은 구면 렌즈, 원통형 렌즈, 필터링된 렌즈, 프리즘 렌즈 중 적어도 하나를 포함하는 포롭터(phoropter)인, 장치. 3. Apparatus according to claim 1 or 2, wherein the adjustable correction unit is a phoropter comprising at least one of a spherical lens, a cylindrical lens, a filtered lens, and a prismatic lens. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 장치는,
상기 마이크로 디스플레이와 상기 카메라 사이의 상기 광학 경로에 배치된 적어도 하나의 광학 릴레이를 포함하는, 장치.The method of any one of claims 1 to 3, wherein the device:
and at least one optical relay disposed in the optical path between the micro display and the camera. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 장치는,
상기 마이크로 디스플레이와 상기 조정가능한 보정 유닛 사이에 배치되고 그리고 상기 마이크로 디스플레이로부터의 광의 일부를 적어도 하나의 측정 장치를 향해 방향전환시키도록 구성된 빔 스플리터를 포함하는, 장치.The method of any one of claims 1 to 4, wherein the device:
A beam splitter disposed between the micro display and the adjustable calibration unit and configured to redirect a portion of light from the micro display toward at least one measurement device. 제5항에 있어서, 상기 적어도 하나의 측정 장치는 분광계 및 전력계 중 적어도 하나를 포함하는, 장치.6. The device of claim 5, wherein the at least one measuring device includes at least one of a spectrometer and a power meter. HMD(head-mounted display)를 캘리브레이션하는 방법으로서,
광학 결합기가 HMD의 마이크로 디스플레이와 캘리브레이션 스테이션의 카메라로부터 제공되는 광의 주요 광학 경로에 있도록 HMD의 상기 광학 결합기를 상기 캘리브레이션 스테이션의 홀더에 위치시키는 단계;
상기 광학 결합기의 CP(corrective prescription)로 인한 디포커스(defocus)를 보정하도록 조정가능한 보정 유닛을 조정하는 단계;
상기 조정가능한 보정 유닛 및 광학 결합기를 통해 보이는 기준 타겟의 이미지를 상기 카메라로 캡처하는 단계; 그리고
상기 캡처된 이미지로부터 왜곡 모델을 생성하고 그리고 상기 HMD를 캘리브레이션하여 상기 HMD에서 프로젝트된 이미지에 상기 왜곡 모델을 적용하는 단계를 포함하는, 방법.As a method of calibrating a head-mounted display (HMD),
positioning the optical coupler of the HMD in a holder of the calibration station such that the optical coupler is in the main optical path of light provided from the micro display of the HMD and the camera of the calibration station;
adjusting an adjustable correction unit to correct for defocus due to a corrective prescription (CP) of the optical coupler;
capturing with the camera an image of a reference target visible through the adjustable correction unit and optical coupler; and
Generating a distortion model from the captured image and calibrating the HMD to apply the distortion model to an image projected on the HMD. 제7항에 있어서, 상기 조정가능한 보정 유닛은 포롭터(phoropter) 또는 조정가능한 렌즈 중 적어도 하나인, 방법.8. The method of claim 7, wherein the adjustable correction unit is at least one of a phoropter or an adjustable lens. 제7항 또는 제8항에 있어서, 상기 방법은,
상기 HMD의 마이크로 디스플레이에 의해 제공되는 상기 광의 일부를 상기 주요 광학 경로에서 적어도 하나의 측정 장치로 전환(diverting)시키는 단계를 더 포함하는, 방법.The method of claim 7 or 8, wherein the method comprises:
The method further comprising diverting a portion of the light provided by the micro display of the HMD from the main optical path to at least one measurement device. 제9항에 있어서, 상기 적어도 하나의 측정 장치는 분광계 및 전력계 중 적어도 하나인, 방법.10. The method of claim 9, wherein the at least one measuring device is at least one of a spectrometer and a power meter. 제9항 또는 제10항에 있어서, 상기 광의 일부는 상기 마이크로 디스플레이와 조정가능한 보정 유닛 사이에 배치된 빔 스플리터에 의해 전환되는, 방법.11. The method according to claim 9 or 10, wherein a portion of the light is diverted by a beam splitter disposed between the micro display and the adjustable correction unit. 제9항 내지 제11항 중 어느 한 항에 있어서, 상기 방법은,
균일성(uniformity) 보정 모델을 생성하고 그리고 상기 HMD를 캘리브레이션하여 상기 HMD에서 프로젝트된 이미지에 상기 균일성 보정 모델을 적용하는 단계를 더 포함하는, 방법.The method according to any one of claims 9 to 11, wherein the method comprises:
The method further comprising generating a uniformity correction model and calibrating the HMD to apply the uniformity correction model to an image projected from the HMD. HMD에 대한 홀더를 포함하는 캘리브레이션 스테이션으로서, 청구항 제1항 내지 제12항 중 어느 한 항의 방법을 수행하도록 구성된 캘리브레이션 스테이션.A calibration station comprising a holder for an HMD, the calibration station configured to perform the method of any one of claims 1 to 12. 시스템으로서,
HMD(Head Mounted Display)의 마이크로 디스플레이와 카메라 사이의 광학 경로에 광학 결합기를 고정하도록 구성된 캘리브레이션 스테이션 -상기 캘리브레이션 스테이션은 상기 광학 경로에 배치되고 그리고 상기 광학 결합기에 의해 발생된 광의 디포커스를 보정하도록 조정하기 위해 구성된 조정가능한 보정 유닛을 포함하고, 상기 카메라는 상기 HMD를 캘리브레이션하는데 사용하기 위해 상기 조정가능한 보정 유닛으로부터 출력된 보정된 광의 적어도 하나의 이미지를 캡처하도록 구성됨-; 그리고
상기 적어도 하나의 캡처된 이미지를 수신하고 그리고 상기 적어도 하나의 캡처된 이미지에 기초하여 왜곡 모델을 생성하도록 구성된 캘리브레이션 프로세서를 포함하며, 상기 캘리브레이션 프로세서는 상기 왜곡 모델을 상기 HMD의 디스플레이 제어기에 제공하도록 더 구성된, 시스템.As a system,
A calibration station configured to secure an optical coupler in the optical path between the micro display and the camera of a Head Mounted Display (HMD), the calibration station being disposed in the optical path and adjusted to correct for defocus of light produced by the optical coupler. an adjustable calibration unit configured to: wherein the camera is configured to capture at least one image of the calibrated light output from the adjustable calibration unit for use in calibrating the HMD; and
a calibration processor configured to receive the at least one captured image and generate a distortion model based on the at least one captured image, the calibration processor further configured to provide the distortion model to a display controller of the HMD. composed system. 제14항에 있어서, 상기 광학 결합기는 ICP(integrated corrective prescription)을 포함하는, 시스템.15. The system of claim 14, wherein the optical coupler comprises an integrated corrective prescription (ICP). 제14항 또는 제15항에 있어서, 상기 조정가능한 보정 유닛은 구면 렌즈, 원통형 렌즈, 필터링된 렌즈 및 프리즘 렌즈 중 적어도 하나를 포함하는 포롭터인, 시스템.16. The system according to claim 14 or 15, wherein the adjustable correction unit is a phoropter comprising at least one of a spherical lens, a cylindrical lens, a filtered lens, and a prism lens. 제14항 또는 제15항에 있어서, 상기 조정가능한 보정 유닛은 조정가능한(tunable) 렌즈인, 시스템.16. The system according to claim 14 or 15, wherein the adjustable correction unit is a tunable lens. 제14항 내지 제17항 중 어느 한 항에 있어서, 상기 시스템은,
상기 마이크로 디스플레이와 상기 카메라 사이의 광학 경로에 배치된 적어도 하나의 광학 릴레이를 더 포함하는, 시스템.18. The method of any one of claims 14 to 17, wherein the system:
The system further comprising at least one optical relay disposed in an optical path between the micro display and the camera. 제14항 내지 제18항 중 어느 한 항에 있어서, 상기 시스템은,
상기 마이크로 디스플레이와 상기 조정가능한 보정 유닛 사이에 배치되고 그리고 상기 마이크로 디스플레이로부터의 광의 일부를 적어도 하나의 측정 장치를 향해 방향전환시키도록 구성된 빔 스플리터를 더 포함하는, 시스템.19. The method of any one of claims 14 to 18, wherein the system:
The system further comprising a beam splitter disposed between the micro display and the adjustable calibration unit and configured to redirect a portion of light from the micro display toward at least one measurement device. 제19항에 있어서, 상기 적어도 하나의 측정 장치는 분광계 및 전력계 중 적어도 하나를 포함하는, 시스템.20. The system of claim 19, wherein the at least one measurement device includes at least one of a spectrometer and a power meter.