WO2023080362A1 - 증강현실 글라스를 위한 시야 정합형 광학 장치 및 이를 포함하는 증강현실 글라스 장치 - Google Patents

증강현실 글라스를 위한 시야 정합형 광학 장치 및 이를 포함하는 증강현실 글라스 장치 Download PDF

Info

Publication number
WO2023080362A1
WO2023080362A1 PCT/KR2022/005831 KR2022005831W WO2023080362A1 WO 2023080362 A1 WO2023080362 A1 WO 2023080362A1 KR 2022005831 W KR2022005831 W KR 2022005831W WO 2023080362 A1 WO2023080362 A1 WO 2023080362A1
Authority
WO
WIPO (PCT)
Prior art keywords
augmented reality
user
image
real world
unit
Prior art date
Application number
PCT/KR2022/005831
Other languages
English (en)
French (fr)
Inventor
최치원
이강휘
강정훈
Original Assignee
주식회사 피앤씨솔루션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 피앤씨솔루션 filed Critical 주식회사 피앤씨솔루션
Publication of WO2023080362A1 publication Critical patent/WO2023080362A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features

Definitions

  • the present invention relates to an optical device and an augmented reality glass device, and more particularly, to a view matching type optical device for augmented reality glasses and an augmented reality glass device including the same.
  • a head mounted display which is a kind of wearable device, refers to various devices that can be worn on a user's head to receive multimedia contents and the like.
  • the head mounted display (HMD) is worn on the user's body and provides images to the user in various environments as the user moves.
  • Head-mounted displays (HMDs) are classified into see-through and see-closed types.
  • the see-through type is mainly used for Augmented Reality (AR), and the closed type is mainly used for virtual reality (VR). reality, VR).
  • the head-mounted display (or augmented reality glasses) is worn on the user's face or head in the form of glasses or goggles to project augmented reality image information onto the real world through a transparent lens and provide it to the user.
  • a camera located on the front of the head-mounted display is used to take an image in the direction of the user's view, and based on the captured image, image information is matched with the real world to provide augmented reality.
  • Patent Publication No. 10-2019-0093966 (Title of Invention: HMD Device and Operation Method Thereof, Publication Date: August 12, 2019) has been disclosed.
  • the present invention has been proposed to solve the above problems of the previously proposed methods, while constructing an optical device in a beam splitter method, arranging an image input unit alongside a display unit in the optical device, so that the image input unit is in the beam splitter.
  • the additional optical device is placed inside the optical device, even if the interpupillary distance (IPD) is adjusted to suit the user by moving the optical device, camera errors due to IPD changes do not occur and image information can be accurately mapped to the real world.
  • Augmented reality An object of the present invention is to provide a vision matched optical device for glasses and an augmented reality glass device including the same.
  • the visual field matching type optical device for augmented reality glasses according to the features of the present invention
  • a display unit that outputs augmented reality image light so that image information along with the real world is provided to the user
  • An image input unit disposed side by side with the display unit and receiving a part of the real world light reflected from the beam splitter to receive a field of view matching image matching a user's field of view;
  • It is characterized in that it outputs the augmented reality image light so that the image information is mapped to the real world based on the visual field matching image input from the image input unit.
  • the video input unit Preferably, the video input unit,
  • It may be configured with a camera arranged side by side on the left or right side of the display unit to photograph a part of real world light reflected from the beam splitter toward the display unit.
  • the optical unit Preferably, the optical unit, the optical unit, and
  • a beam splitter that reflects the image light output from the display unit toward the user's eyes and transmits at least a portion of the real world light
  • a lens unit disposed on an optical path of the image light between the display and the beam splitter and refracting the image light output from the display unit;
  • a mirror unit disposed on an opposite side of the lens unit relative to the beam splitter and reflecting image light transmitted through the beam splitter toward the beam splitter;
  • a front window constituting a front surface of the optical unit facing the real world
  • a rear window constituting a rear surface of the optical unit facing the user's eyes may be included.
  • a vision matching type optical device and an augmented reality glass device including the same according to the features of the present invention
  • optical devices disposed in front of both eyes of the user wearing the HMD frame to provide augmented reality by combining real world light and image light, and configured as a pair for display for both eyes;
  • the optical device is the optical device
  • a display unit that outputs augmented reality image light so that image information along with the real world is provided to the user
  • An image input unit disposed side by side with the display unit and receiving a part of the real world light reflected from the beam splitter to receive a field of view matching image matching a user's field of view;
  • the control unit controls the driving unit
  • a feature of the configuration is that the image information is mapped to the real world based on the visual field matching image input from the image input unit, and the display unit is controlled to output the augmented reality image light according to the mapping.
  • the video input unit Preferably, the video input unit,
  • It may be configured with a camera arranged side by side on the left or right side of the display unit to photograph a part of real world light reflected from the beam splitter toward the display unit.
  • the optical unit Preferably, the optical unit, the optical unit, and
  • a beam splitter that reflects the image light output from the display unit toward the user's eyes and transmits at least a portion of the real world light
  • a lens unit disposed on an optical path of the image light between the display and the beam splitter and refracting the image light output from the display unit;
  • a mirror unit disposed on an opposite side of the lens unit relative to the beam splitter and reflecting image light transmitted through the beam splitter toward the beam splitter;
  • a front window constituting a front surface of the optical unit facing the real world
  • a rear window constituting a rear surface of the optical unit facing the user's eyes may be included.
  • IPD adjustment unit for adjusting an interpupillary distance (IPD) by adjusting a distance between the pair of optical devices
  • the control unit controls the driving unit
  • the image information is mapped to the real world based on the field of view matching image input from the image input unit moving together, and the camera error due to IPD adjustment is mapped. can be removed.
  • control unit More preferably, the control unit,
  • the IPD adjusting unit may be controlled to adjust a distance between the pair of optical devices according to a user's IPD adjusting signal or pre-stored IPD adjusting information for the user.
  • the image input unit is placed side by side with the display unit in the optical device,
  • the image input unit receives the real world light reflected from the beam splitter to secure a vision matching image that matches the user's field of view and provides augmented reality based on it, eliminating the image matching error that occurs in conventional augmented reality glasses. Since the image input unit is placed in the optical device, even if the optical device is moved to adjust the interpupillary distance (IPD) to suit the user, camera errors due to IPD changes do not occur and image information is accurately mapped to the real world. can do.
  • IPD interpupillary distance
  • FIG. 1 is a view showing a conventional augmented reality glass as an example.
  • FIG. 2 is a diagram showing the configuration of an augmented reality glass device including a vision matching type optical device according to an embodiment of the present invention.
  • FIG. 3 is a view showing an overall appearance of an augmented reality glass device including a view matching type optical device according to an embodiment of the present invention, as an example;
  • FIG. 3 is a view showing an overall appearance of an augmented reality glass device including a view matching type optical device according to an embodiment of the present invention, as an example;
  • FIG. 4 is a diagram illustrating a view matching type optical device for augmented reality glasses according to an embodiment of the present invention.
  • FIG. 5 is a front view of a view matching type optical device for augmented reality glasses according to an embodiment of the present invention.
  • FIG. 6 is a top view of a view matching type optical device for augmented reality glasses according to an embodiment of the present invention.
  • FIG. 7 is a diagram illustrating a detailed structure of a vision matching type optical device for augmented reality glasses according to an embodiment of the present invention.
  • FIG. 8 is a diagram illustrating an IPD adjustment unit of an augmented reality glass device including a view matching type optical device according to an embodiment of the present invention
  • FIG. 1 is a view showing a conventional augmented reality glass as an example.
  • a camera is positioned between both eyes on the outer front side to receive an image in the direction of the user's field of view, and maps the augmented image to the real environment using the input image.
  • the camera of the augmented reality glass as shown in FIG. 1 collects images between the eyebrows when worn by the user, the captured image does not exactly match the field of view of the wearer's actual eyes, causing an error in image matching. do.
  • FIG. 2 is a diagram showing the configuration of an augmented reality glasses device 10 including a vision matching type optical device 100 according to an embodiment of the present invention capable of solving the above problems
  • FIG. It is a diagram showing the entire appearance of the augmented reality glass device 10 including the vision matching type optical device 100 according to an embodiment of the present invention, for example.
  • the augmented reality glasses device 10 including the view matching type optical device 100 according to an embodiment of the present invention includes an optical device 100, an HMD frame 200 and a controller ( 300), and may further include an IPD adjustment unit 400, an external camera unit 500, a sensor unit 600, and a communication unit 700.
  • the optical device 100 is disposed in front of both eyes of the user wearing the HMD frame 200 to provide augmented reality by combining the real world and augmented reality image light, and may be configured as a pair for display of both eyes.
  • the augmented reality glasses device 10 including the view matching type optical device 100 configures the optical device 100 in a beam splitter method, and the image input unit 130 That is, by placing the camera in the optical device 100 to secure an image that matches the user's actual field of view, and implementing augmented reality based on this, the error in image matching occurring in conventional augmented reality glasses can be eliminated. there is.
  • FIG. 4 is a diagram illustrating a view matching type optical device 100 for augmented reality glasses according to an embodiment of the present invention
  • FIG. 5 is a view for augmented reality glasses according to an embodiment of the present invention.
  • This is a front view of the matching type optical device 100
  • FIG. 6 is a top view of the field matching type optical device 100 for augmented reality glasses according to an embodiment of the present invention.
  • the visual field matching type optical device 100 for augmented reality glasses according to an embodiment of the present invention includes a display unit 110, an optical unit 120 and an image input unit 130. ).
  • the display unit 110 may output augmented reality image light so that image information along with the real world is provided to the user. More specifically, the display unit 110 is coupled to the optical unit 120 to be described in detail below so that image information can be provided to the user, and an image transmitted by the optical unit 120 in the direction of the wearer's eyes. It outputs light and may be composed of a pair of display units 110 for binocular display.
  • the display unit 110 may be variously configured with an OLED or the like.
  • the optical unit 120 may be disposed in front of the user's eyes to provide augmented reality by combining real world light and image light. More specifically, the optical unit 120 transmits some of the real world light and reflects the other part toward the display unit 110 so that the real world is visible through the user's field of view, and the image output from the display unit 110 It may be implemented in a beam splitter 121 method that transmits light in the direction of the user's eyes. In addition, the optical unit 120 is composed of a plurality of lenses and mirrors and may be implemented in various ways.
  • FIG. 7 is a diagram illustrating a detailed structure of a vision matching type optical device 100 for augmented reality glasses according to an embodiment of the present invention.
  • the beam splitter 121 included in the optical unit 120 is included in the display unit 110 It reflects the image light output from the screen and transmits image information to the user's eyes.
  • the beam splitter 121 is an optical element that reflects some of the incident light and transmits some of it.
  • Image information may be delivered to the user's eyes by transmitting and/or reflecting output image light. Accordingly, the user can experience augmented reality in which the real world transmitted through the optical unit 120 and image information reflected from the beam splitter 121 are combined.
  • the image input unit 130 is arranged side by side with the display unit 110 and receives a part of the real world light reflected by the beam splitter 121 to receive a field matching image matching the user's field of view. More specifically, as shown in FIGS. 5 and 6, the image input unit 130 is disposed side by side on the left or right side of the display unit 110 and is reflected from the beam splitter 121 toward the display unit 110. It can consist of a camera that takes a portion of the real world light.
  • the display unit 110 outputs augmented reality image light so that the image information is mapped to the real world based on the field of view matching image input from the image input unit 130, so that the augmented image is accurately displayed in the real environment without error according to the camera position. can be mapped.
  • the optical unit 120 for augmented reality is implemented using the beam splitter 121 as shown in FIG. will be reflected in At this time, since the beam splitter 121 is disposed at an angle of 45 degrees, reflected light among real world lights is directed to the side where the display unit 110 is located.
  • the real world image reflected from the beam splitter 121 is directed to the display unit 110, and the display unit 110 ) and the image input unit 130 are arranged in parallel to secure an image that exactly matches the user's field of view and can be used for mapping the augmented image.
  • the optical unit 120 which is a component of the optical device 100, includes a beam splitter 121, a lens unit 122, a mirror unit 123, a front window 124, and It may be configured to include a rear window 125.
  • the beam splitter 121 may reflect image light output from the display unit 110 toward the user's eyes, transmit at least a portion of real world light, and reflect the remaining portion. At this time, the beam splitter 121 may be installed between the front window 124 and the rear window 125 in a diagonal direction at an angle of 45 degrees.
  • the lens unit 122 is disposed on an optical path of image light between the display unit 110 and the beam splitter 121 and may refract the image light output from the display unit 110 .
  • it is composed of a plano-convex lens that is convex toward the beam splitter 121, so that the image light output from the display unit 110 is refracted by the plano-convex lens and transmitted to the beam splitter 121, so that the display unit 110 It is possible to secure a Field of View (FOV) of 40 degrees or more even without enlarging or enlarging the mirror unit 123 .
  • FOV Field of View
  • the mirror unit 123 is disposed on the opposite side of the lens unit 122 with respect to the beam splitter 121 and may reflect image light transmitted through the beam splitter 121 toward the beam splitter 121 . More specifically, the mirror unit 123 may have a concave shape toward the beam splitter 121 and be mirror-coated.
  • the front window 124 may configure the front side of the optical unit 120 facing the real world, and the rear window 125 may constitute the rear side of the optical unit 120 facing the user's eye direction.
  • the front window 124 and the rear window 125 may be formed of transparent glass.
  • image light output from the display unit 110 is refracted by the lens unit 122, transmitted through the beam splitter 121, and reflected by the mirror unit 123, and the reflected image light is It may be reflected in the direction of the user's eyes from the opposite surface of the beam splitter 121 and transmitted to the user's eyes through the rear window 125 .
  • the real world light passes through the front window 124, the beam splitter 121, and the rear window 125 in order and is delivered to the user's eyes.
  • the beam splitter 121 transmits some of the real world light and reflects the other part.
  • the beam splitter 121 is disposed at an angle of 45 degrees, some of the reflected real world light is input to the image input unit 130 so that the camera (image input unit 130) obtains a field matching image matching the user's field of view. can do.
  • the augmented reality glasses device 10 including the vision matching type optical device 100 includes an HMD frame 200, a controller 300, and an IPD. It may further include an adjustment unit 400, an external camera unit 500, a sensor unit 600, and a communication unit 700.
  • an adjustment unit 400 an external camera unit 500, a sensor unit 600, and a communication unit 700.
  • the HMD frame 200 is a frame configuration of the augmented reality glasses device 10 that can be worn on the head by the user.
  • the HMD frame 200 may be configured in the form of a helmet or goggles having a frame structure through which light may enter while worn on the head by a user.
  • the controller 300 may control the operation of the augmented reality glasses device 10 including the optical device 100 to provide augmented reality by mapping image light to the real world seen through the user's field of view. More specifically, the controller 300 controls the display unit 110 to map image information to the real world based on the field of view matching image input from the image input unit 130 and to output augmented reality image light according to the mapping. can do.
  • the IPD adjusting unit 400 may adjust an interpupillary distance (IPD) by adjusting a distance between the pair of optical devices 100 .
  • the controller 300 may control the IPD adjuster 400 to adjust the distance between the pair of optical devices 100 according to the user's IPD adjustment signal or pre-stored IPD adjustment information for the user. That is, when a user directly manipulates a button or moves the optical device 100 by hand to input an IPD control signal, the control unit 300 may control the IPD control unit 400 according to the IPD control signal. Alternatively, the IPD adjusting unit 400 may be automatically controlled according to pre-stored IPD adjusting information.
  • FIG. 8 is a diagram for explaining the IPD adjustment unit 400 of the augmented reality glasses device 10 including the vision matching type optical device 100 according to an embodiment of the present invention.
  • the IPD adjustment unit 400 of the augmented reality glasses device 10 including the view matching type optical device 100 according to an embodiment of the present invention includes a pair of optical devices ( 100), the pair of optical devices 100 can be moved simultaneously to adjust the interpupillary distance to suit the user.
  • control unit 300 as the distance between the pair of optical devices 100 is adjusted by the IPD adjustment unit 400, generates image information based on the field of view matching image input from the image input unit 130 moving together.
  • image information By mapping to the real world, camera errors caused by IPD adjustment can be removed.
  • the distance between the pupils is different for each user, in the binocular display type augmented reality glasses device 10 that provides images to both eyes, the distance between the pupils must be easily adjusted to suit the user in order to experience well-focused and clear augmented reality. .
  • adjusting the IPD changes the relative position of the camera and the optical device 100, resulting in camera error.
  • an error correction means or algorithm is added to correct a registration error of an augmented image due to a camera position.
  • such an error correction means or algorithm does not work properly. .
  • the image input unit 130 is aligned with the display unit 110 within the optical device 100 That is, since the camera is disposed, when the optical device 100 is moved by IPD adjustment, the image input unit 130 moves together, so that an accurate field matching image can be stably obtained.
  • a method of adjusting the distance between the pair of optical devices 100 by the IPD adjuster 400 may be implemented in various ways, such as using an ultra-precision motor or a rotary damper, based on a rack and pinion method.
  • the external camera unit 500 may capture an external image.
  • the external camera unit 500 is installed in the HMD frame 200 so as to face a direction in which information collection is necessary, such as a user's viewing direction, side direction, or rear direction, and can capture an image of the user's surroundings.
  • An image captured by the external camera unit 500 may be used as information for grasping the surroundings and may be used for gesture recognition and the like.
  • the sensor unit 600 may include at least one or more sensors, and more specifically, may include a pupil tracking sensor and an iris recognition sensor.
  • the control unit 300 controls the IPD adjuster 400 according to the pupil position of the user collected by the pupil tracking sensor of the sensor unit 600 to automatically adjust the pupil distance to the user without the user's hands. Distance can be adjusted.
  • the control unit 300 matches and stores the inter-pupillary distance adjusted by the IPD adjustment unit 400 with user authentication information, and when the user wears the HMD frame 200 and performs user authentication,
  • the interpupillary distance suitable for the user may be automatically adjusted by controlling the IPD adjuster 400 according to pre-stored IPD adjustment information for the user.
  • the IPD adjustment information matched with the user authentication information and stored may be a distance adjusted according to the user's IPD adjustment signal.
  • user authentication may use an iris recognition sensor included in the sensor unit 600 .
  • the communication unit 700 is installed on one side of the wearable augmented reality device 10 and can transmit and receive various signals and data to and from other wearable augmented reality devices 10 or servers.
  • the network used by the communication unit 700 is a wired network or a mobile communication network such as a Local Area Network (LAN), a Wide Area Network (WAN), or a Value Added Network (VAN).
  • radio communication network such as a Local Area Network (LAN), a Wide Area Network (WAN), or a Value Added Network (VAN).
  • radio communication network such as a Local Area Network (LAN), a Wide Area Network (WAN), or a Value Added Network (VAN).
  • radio communication network such as a Local Area Network (LAN), a Wide Area Network (WAN), or a Value Added Network (VAN).
  • radio communication network such as a Local Area Network (LAN), a Wide Area Network (WAN), or a Value Added Network (VAN).
  • satellite communication network such as a Wibro (Wireless Broadband Internet), HSDPA (High Speed Down
  • the optical device 100 in the beam splitter 121 method While configuring, the image input unit 130 is placed side by side with the display unit 110 in the optical device 100, so that the image input unit 130 receives the real world light reflected from the beam splitter 121 and adjusts the user's field of view.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)

Abstract

본 발명에서 제안하고 있는 증강현실 글라스를 위한 시야 정합형 광학 장치 및 이를 포함하는 증강현실 글라스 장치에 따르면, 빔 스플리터 방식으로 광학 장치를 구성하면서, 영상 입력부를 광학 장치 내에 디스플레이부와 나란히 배치해, 영상 입력부가 빔 스플리터에서 반사된 실제 세계 광을 수신해 사용자의 시야와 일치하는 시야 정합 영상을 확보하고 이를 기초로 증강현실이 제공되도록 함으로써, 종래의 증강현실 글라스에서 발생하는 영상 정합의 오차를 제거할 수 있고, 영상 입력부가 광학 장치 내에 배치되므로 광학 장치를 이동시켜 동공 간 거리(Interpupillary Distance, IPD)를 사용자에게 맞게 조절하더라도 IPD 변화에 따른 카메라 오차가 발생하지 않고 정확하게 영상 정보를 실제 세계에 맵핑할 수 있다.

Description

증강현실 글라스를 위한 시야 정합형 광학 장치 및 이를 포함하는 증강현실 글라스 장치
본 발명은 광학 장치 및 증강현실 글라스 장치에 관한 것으로서, 보다 구체적으로는 증강현실 글라스를 위한 시야 정합형 광학 장치 및 이를 포함하는 증강현실 글라스 장치에 관한 것이다.
디지털 디바이스의 경량화 및 소형화 추세에 따라 다양한 웨어러블 디바이스(wearable device)들이 개발되고 있다. 이러한 웨어러블 디바이스의 일종인 헤드 마운티드 디스플레이(Head Mounted Display)는 사용자가 머리에 착용하여 멀티미디어 컨텐츠 등을 제공받을 수 있는 각종 디바이스를 의미한다. 여기서, 헤드 마운티드 디스플레이(HMD)는 사용자의 신체에 착용 되어 사용자가 이동함에 따라서 다양한 환경에서 사용자에게 영상을 제공하게 된다. 이러한 헤드 마운티드 디스플레이(HMD)는 투과(see-through)형과 밀폐(see-closed)형으로 구분되고 있으며, 투과형은 주로 증강현실(Augmented Reality, AR)용으로 사용되고, 밀폐형은 주로 가상현실(Virtual Reality, VR)용으로 사용되고 있다.
헤드 마운티드 디스플레이(또는 증강현실 글라스)는, 안경이나 고글 형태로 사용자의 안면 또는 두부에 착용되어 투과되는 렌즈를 통해 실제 세계에 증강현실의 영상 정보를 투영하여 사용자에게 제공하게 된다. 이때, 헤드 마운티드 디스플레이의 전면에 위치한 카메라를 사용해 사용자 시야 방향의 영상을 촬영하고, 촬영된 영상에 기초해 실제 세계에 영상 정보를 정합해 증강현실을 제공한다.
그런데 장치 전면에 있는 카메라에서 촬영된 영상과 사용자가 바라보는 실제 세계는 정확하게 일치하지 않으므로 영상 정합에 오차가 발생하게 된다. 이러한 오차는 표시되는 콘텐츠에 따라서는 큰 불편이나 문제를 일으킬 수 있고, 부정확한 정보를 제공하게 될 수도 있으므로, 사용자의 시야와 증강현실 영상 정보를 정확하게 정합해 제공할 수 있는 방법의 개발이 필요하다.
한편, 본 발명과 관련된 선행기술로서, 공개특허 제10-2019-0093966호(발명의 명칭: HMD 장치 및 그 동작 방법, 공개일자: 2019년 08월 12일) 등이 개시된 바 있다.
본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 빔 스플리터 방식으로 광학 장치를 구성하면서, 영상 입력부를 광학 장치 내에 디스플레이부와 나란히 배치해, 영상 입력부가 빔 스플리터에서 반사된 실제 세계 광을 수신해 사용자의 시야와 일치하는 시야 정합 영상을 확보하고 이를 기초로 증강현실이 제공되도록 함으로써, 종래의 증강현실 글라스에서 발생하는 영상 정합의 오차를 제거할 수 있고, 영상 입력부가 광학 장치 내에 배치되므로 광학 장치를 이동시켜 동공 간 거리(Interpupillary Distance, IPD)를 사용자에게 맞게 조절하더라도 IPD 변화에 따른 카메라 오차가 발생하지 않고 정확하게 영상 정보를 실제 세계에 맵핑할 수 있는, 증강현실 글라스를 위한 시야 정합형 광학 장치 및 이를 포함하는 증강현실 글라스 장치를 제공하는 것을 그 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 증강현실 글라스를 위한 시야 정합형 광학 장치는,
광학 장치로서,
실제 세계(real world)와 함께 영상 정보가 사용자에게 제공되도록 증강현실 영상 광을 출력하는 디스플레이부;
사용자 눈의 전방에 배치되며, 사용자의 시야를 통한 실제 세계가 보이도록 실제 세계 광의 일부는 투과하고 나머지 일부는 상기 디스플레이부 방향으로 반사하며, 상기 디스플레이부에서 출력되는 영상 광을 상기 사용자의 눈 방향으로 전달하는 빔 스플리터 방식의 광학부; 및
상기 디스플레이부와 나란히 배치되며, 상기 빔 스플리터에서 반사된 상기 실제 세계 광의 일부를 수신해 사용자의 시야와 일치하는 시야 정합 영상을 입력받는 영상 입력부를 포함하며,
상기 디스플레이부는,
상기 영상 입력부에서 입력받은 시야 정합 영상을 기초로 상기 영상 정보가 실제 세계에 맵핑되도록 상기 증강현실 영상 광을 출력하는 것을 그 구성상의 특징으로 한다.
바람직하게는, 상기 영상 입력부는,
상기 디스플레이부의 좌측 또는 우측에 나란히 배치되어 상기 빔 스플리터에서 상기 디스플레이부 방향으로 반사되는 실제 세계 광의 일부를 촬영하는 카메라로 구성될 수 있다.
바람직하게는, 상기 광학부는,
상기 디스플레이부에서 출력되는 영상 광을 상기 사용자의 눈 방향으로 반사하고, 상기 실제 세계 광의 적어도 일부를 투과하는 빔 스플리터;
상기 디스플레이와 상기 빔 스플리터 사이에서 상기 영상 광의 광 경로상에 배치되며, 상기 디스플레이부에서 출력되는 영상 광을 굴절시키는 렌즈부;
상기 빔 스플리터를 기준으로 상기 렌즈부의 반대편에 배치되며, 상기 빔 스플리터를 투과한 영상 광을 상기 빔 스플리터 방향으로 반사하는 미러부;
실제 세계를 향하는 상기 광학부의 전면을 구성하는 전면 윈도우; 및
상기 사용자의 눈 방향을 향하는 상기 광학부의 후면을 구성하는 후면 윈도우를 포함할 수 있다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 시야 정합형 광학 장치 및 이를 포함하는 증강현실 글라스 장치는,
증강현실 글라스 장치로서,
사용자가 머리에 착용할 수 있는 HMD 프레임;
상기 HMD 프레임을 착용한 사용자의 양안의 전방에 배치되어 실제 세계 광과 영상 광의 결합에 의한 증강현실을 제공하며, 양안 디스플레이를 위해 한 쌍으로 구성되는 광학 장치; 및
사용자의 시야를 통해 보이는 실제 세계에 영상 광이 맵핑되어 증강현실이 제공되도록 상기 광학 장치를 포함하는 상기 증강현실 글라스 장치의 동작을 제어하는 제어부를 포함하며,
상기 광학 장치는,
실제 세계(real world)와 함께 영상 정보가 사용자에게 제공되도록 증강현실 영상 광을 출력하는 디스플레이부;
사용자 눈의 전방에 배치되며, 사용자의 시야를 통한 실제 세계가 보이도록 실제 세계 광의 일부는 투과하고 나머지 일부는 상기 디스플레이부 방향으로 반사하며, 상기 디스플레이부에서 출력되는 영상 광을 상기 사용자의 눈 방향으로 전달하는 빔 스플리터 방식의 광학부; 및
상기 디스플레이부와 나란히 배치되며, 상기 빔 스플리터에서 반사된 상기 실제 세계 광의 일부를 수신해 사용자의 시야와 일치하는 시야 정합 영상을 입력받는 영상 입력부를 포함하며,
상기 제어부는,
상기 영상 입력부에서 입력받은 상기 시야 정합 영상을 기초로 상기 영상 정보를 실제 세계에 맵핑하고, 맵핑에 따라 상기 증강현실 영상 광이 출력되도록 상기 디스플레이부를 제어하는 것을 그 구성상의 특징으로 한다.
바람직하게는, 상기 영상 입력부는,
상기 디스플레이부의 좌측 또는 우측에 나란히 배치되어 상기 빔 스플리터에서 상기 디스플레이부 방향으로 반사되는 실제 세계 광의 일부를 촬영하는 카메라로 구성될 수 있다.
바람직하게는, 상기 광학부는,
상기 디스플레이부에서 출력되는 영상 광을 상기 사용자의 눈 방향으로 반사하고, 상기 실제 세계 광의 적어도 일부를 투과하는 빔 스플리터;
상기 디스플레이와 상기 빔 스플리터 사이에서 상기 영상 광의 광 경로상에 배치되며, 상기 디스플레이부에서 출력되는 영상 광을 굴절시키는 렌즈부;
상기 빔 스플리터를 기준으로 상기 렌즈부의 반대편에 배치되며, 상기 빔 스플리터를 투과한 영상 광을 상기 빔 스플리터 방향으로 반사하는 미러부;
실제 세계를 향하는 상기 광학부의 전면을 구성하는 전면 윈도우; 및
상기 사용자의 눈 방향을 향하는 상기 광학부의 후면을 구성하는 후면 윈도우를 포함할 수 있다.
바람직하게는,
상기 한 쌍으로 구성되는 광학 장치 사이의 거리를 조절해 IPD(Interpupillary Distance)를 조정하는 IPD 조정부를 더 포함하며,
상기 제어부는,
상기 IPD 조정부에 의해 상기 한 쌍의 광학 장치 사이의 거리가 조절됨에 따라 함께 이동하는 상기 영상 입력부에서 입력받은 상기 시야 정합 영상을 기초로 상기 영상 정보를 실제 세계에 맵핑하여, IPD 조절에 따른 카메라 오차를 제거할 수 있다.
더욱 바람직하게는, 상기 제어부는,
사용자의 IPD 조정 신호 또는 상기 사용자에 대해 미리 저장된 IPD 조정 정보에 따라 상기 한 쌍으로 구성되는 광학 장치 사이의 거리를 조절하도록 상기 IPD 조정부를 제어할 수 있다.
본 발명에서 제안하고 있는 증강현실 글라스를 위한 시야 정합형 광학 장치 및 이를 포함하는 증강현실 글라스 장치에 따르면, 빔 스플리터 방식으로 광학 장치를 구성하면서, 영상 입력부를 광학 장치 내에 디스플레이부와 나란히 배치해, 영상 입력부가 빔 스플리터에서 반사된 실제 세계 광을 수신해 사용자의 시야와 일치하는 시야 정합 영상을 확보하고 이를 기초로 증강현실이 제공되도록 함으로써, 종래의 증강현실 글라스에서 발생하는 영상 정합의 오차를 제거할 수 있고, 영상 입력부가 광학 장치 내에 배치되므로 광학 장치를 이동시켜 동공 간 거리(Interpupillary Distance, IPD)를 사용자에게 맞게 조절하더라도 IPD 변화에 따른 카메라 오차가 발생하지 않고 정확하게 영상 정보를 실제 세계에 맵핑할 수 있다.
도 1은 종래의 증강현실 글라스를 예를 들어 도시한 도면.
도 2는 본 발명의 일실시예에 따른 시야 정합형 광학 장치를 포함하는 증강현실 글라스 장치의 구성을 도시한 도면.
도 3은 본 발명의 일실시예에 따른 시야 정합형 광학 장치를 포함하는 증강현실 글라스 장치의 전체 모습을 예를 들어 도시한 도면.
도 4는 본 발명의 일실시예에 따른 증강현실 글라스를 위한 시야 정합형 광학 장치를 설명하기 위해 도시한 도면.
도 5는 본 발명의 일실시예에 따른 증강현실 글라스를 위한 시야 정합형 광학 장치의 정면을 도시한 도면.
도 6은 본 발명의 일실시예에 따른 증강현실 글라스를 위한 시야 정합형 광학 장치의 상면을 도시한 도면.
도 7은 본 발명의 일실시예에 따른 증강현실 글라스를 위한 시야 정합형 광학 장치의 세부적인 구조를 설명하기 위해 도시한 도면.
도 8은 본 발명의 일실시예에 따른 시야 정합형 광학 장치를 포함하는 증강현실 글라스 장치의 IPD 조정부를 설명하기 위해 도시한 도면.
<부호의 설명>
10: 본 발명의 특징에 따른 증강현실 글라스 장치
100: 본 발명의 특징에 따른 광학 장치
110: 디스플레이부
120: 광학부
121: 빔 스플리터
122: 렌즈부
123: 미러부
124: 전면 윈도우
125: 후면 윈도우
130: 영상 입력부
200: HMD 프레임
300: 제어부
400: IPD 조정부
500: 외부 카메라부
600: 센서부
700: 통신부
이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’ 되어 있다고 할 때, 이는 ‘직접적으로 연결’ 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’ 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’ 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
도 1은 종래의 증강현실 글라스를 예를 들어 도시한 도면이다. 도 1에 도시된 바와 같이, 종래의 증강현실 글라스는 카메라가 외부 전면의 양안 사이에 위치하여 사용자 시야 방향의 영상을 입력받으며, 입력받은 영상을 사용해 증강 영상을 실제 환경에 맵핑시킨다. 하지만 도 1에 도시된 바와 같은 증강현실 글라스의 카메라에서는 사용자 착용 시 눈썹 사이에서 영상을 수집하기 때문에, 촬영된 영상이 착용자의 실제 눈이 보는 시야와 정확하게 일치하지 않기 때문에 영상 정합의 오차를 발생시키게 된다.
도 2는 전술한 바와 같은 문제를 해결할 수 있는 본 발명의 일실시예에 따른 시야 정합형 광학 장치(100)를 포함하는 증강현실 글라스 장치(10)의 구성을 도시한 도면이고, 도 3은 본 발명의 일실시예에 따른 시야 정합형 광학 장치(100)를 포함하는 증강현실 글라스 장치(10)의 전체 모습을 예를 들어 도시한 도면이다. 도 2에 도시된 바와 같이, 본 발명의 일실시예에 따른 시야 정합형 광학 장치(100)를 포함하는 증강현실 글라스 장치(10)는, 광학 장치(100), HMD 프레임(200) 및 제어부(300)를 포함하여 구성될 수 있으며, IPD 조정부(400), 외부 카메라부(500), 센서부(600) 및 통신부(700)를 더 포함하여 구성될 수 있다.
광학 장치(100)는, HMD 프레임(200)을 착용한 사용자의 양안의 전방에 배치되어 실제 세계와 증강현실 영상 광의 결합에 의한 증강현실을 제공하며, 양안 디스플레이를 위해 한 쌍으로 구성될 수 있다. 보다 구체적으로, 본 발명의 일실시예에 따른 시야 정합형 광학 장치(100)를 포함하는 증강현실 글라스 장치(10)는, 빔 스플리터 방식으로 광학 장치(100)를 구성하면서, 영상 입력부(130) 즉, 카메라를 광학 장치(100) 내에 위치시켜 사용자의 실제 시야와 일치하는 영상을 확보하고 이를 기초로 증강현실이 제공되도록 구현하여, 종래의 증강현실 글라스에서 발생하는 영상 정합의 오차를 제거할 수 있다.
도 4는 본 발명의 일실시예에 따른 증강현실 글라스를 위한 시야 정합형 광학 장치(100)를 설명하기 위해 도시한 도면이고, 도 5는 본 발명의 일실시예에 따른 증강현실 글라스를 위한 시야 정합형 광학 장치(100)의 정면을 도시한 도면이고, 도 6은 본 발명의 일실시예에 따른 증강현실 글라스를 위한 시야 정합형 광학 장치(100)의 상면을 도시한 도면이다. 도 4 내지 도 6에 도시된 바와 같이, 본 발명의 일실시예에 따른 증강현실 글라스를 위한 시야 정합형 광학 장치(100)는, 디스플레이부(110), 광학부(120) 및 영상 입력부(130)를 포함하여 구성될 수 있다.
디스플레이부(110)는, 실제 세계(real world)와 함께 영상 정보가 사용자에게 제공되도록 증강현실 영상 광을 출력할 수 있다. 보다 구체적으로, 디스플레이부(110)는, 영상 정보가 사용자에게 제공될 수 있도록, 이하에서 상세히 설명할 광학부(120)에 결합해, 광학부(120)에 의해 착용자의 눈 방향으로 전달되는 영상 광을 출력하며, 양안 디스플레이를 위해 한 쌍의 디스플레이부(110)로 구성될 수 있다. 디스플레이부(110)는 OLED 등으로 다양하게 구성될 수 있다.
광학부(120)는, 사용자 눈의 전방에 배치되어 실제 세계의 광과 영상 광의 결합에 의한 증강현실을 제공할 수 있다. 보다 구체적으로, 광학부(120)는, 사용자의 시야를 통한 실제 세계가 보이도록 실제 세계 광의 일부는 투과하고 나머지 일부는 디스플레이부(110) 방향으로 반사하며, 디스플레이부(110)에서 출력되는 영상 광을 사용자의 눈 방향으로 전달하는 빔 스플리터(121) 방식으로 구현될 수 있다. 또한, 광학부(120)는 복수의 렌즈와 미러 등으로 구성되며 다양한 방식으로 구현될 수 있다.
도 7은 본 발명의 일실시예에 따른 증강현실 글라스를 위한 시야 정합형 광학 장치(100)의 세부적인 구조를 설명하기 위해 도시한 도면이다. 도 7에 도시된 바와 같이, 본 발명의 일실시예에 따른 증강현실 글라스를 위한 시야 정합형 광학 장치(100)에서는, 광학부(120)에 포함된 빔 스플리터(121)가 디스플레이부(110)에서 출력되는 영상 광을 반사해 사용자의 눈으로 영상 정보를 전달한다. 빔 스플리터(121)는 입사되는 광의 일부는 반사하고 일부는 투과하는 광학 소자인데, 도 7에 도시된 바와 같이, 빔 스플리터(121)는 실제 세계는 투과되어 보이도록 하면서, 디스플레이부(110)에서 출력되는 영상 광을 투과 및/또는 반사하여 사용자의 눈으로 영상 정보를 전달할 수 있다. 따라서 사용자는 광학부(120)를 통해 투과되어 보이는 실제 세계와 빔 스플리터(121)에서 반사된 영상 정보가 결합한 증강현실을 경험할 수 있게 된다.
영상 입력부(130)는, 디스플레이부(110)와 나란히 배치되며, 빔 스플리터(121)에서 반사된 실제 세계 광의 일부를 수신해 사용자의 시야와 일치하는 시야 정합 영상을 입력받을 수 있다. 보다 구체적으로, 도 5 및 도 6에 도시된 바와 같이, 영상 입력부(130)는, 디스플레이부(110)의 좌측 또는 우측에 나란히 배치되어 빔 스플리터(121)에서 디스플레이부(110) 방향으로 반사되는 실제 세계 광의 일부를 촬영하는 카메라로 구성될 수 있다. 디스플레이부(110)는, 영상 입력부(130)에서 입력받은 시야 정합 영상을 기초로 영상 정보가 실제 세계에 맵핑되도록 증강현실 영상 광을 출력함으로써, 카메라 위치에 따른 오차 없이 실제 환경에 증강 영상을 정확하게 맵핑할 수 있다.
보다 구체적으로 설명하면, 도 7에 도시된 바와 같이 빔 스플리터(121)를 사용해 증강현실용 광학부(120)를 구현하면, 실제 세계 광의 일부만 사용자 눈으로 전달되고, 나머지 일부는 빔 스플리터(121)에서 반사하게 된다. 이때, 빔 스플리터(121)는 45도 각도로 배치되므로, 실제 세계 광 중에서 반사된 광은 디스플레이부(110)가 위치한 쪽으로 향하게 된다. 본 발명의 일실시예에 따른 증강현실 글라스를 위한 시야 정합형 광학 장치(100)는, 빔 스플리터(121)에서 반사된 실제 세계 영상이 디스플레이부(110)를 향하게 되는 것을 이용해, 디스플레이부(110)와 나란하게 영상 입력부(130)를 배치하여, 사용자의 시야와 정확하게 일치하는 영상을 확보해 증강 영상의 매핑에 사용할 수 있다.
한편, 도 7에 도시된 바와 같이, 광학 장치(100)의 구성요소인 광학부(120)는, 빔 스플리터(121), 렌즈부(122), 미러부(123), 전면 윈도우(124) 및 후면 윈도우(125)를 포함하여 구성될 수 있다.
빔 스플리터(121)는, 디스플레이부(110)에서 출력되는 영상 광을 사용자의 눈 방향으로 반사하고, 실제 세계 광의 적어도 일부는 투과, 나머지 일부는 반사할 수 있다. 이때, 빔 스플리터(121)는 전면 윈도우(124)와 후면 윈도우(125) 사이에 45도 각도의 대각 방향으로 설치될 수 있다.
렌즈부(122)는, 디스플레이부(110)와 빔 스플리터(121) 사이에서 영상 광의 광 경로상에 배치되며, 디스플레이부(110)에서 출력되는 영상 광을 굴절시킬 수 있다. 특히, 빔 스플리터(121)를 향해 볼록한 평볼록렌즈로 구성해, 디스플레이부(110)에서 출력되는 영상 광이 평볼록렌즈에서 굴절되어 빔 스플리터(121)에 전달되도록 하여, 디스플레이부(110)를 크게 하거나 미러부(123)를 크게 하지 않더라도 40도 이상의 FOV(Field of View)를 확보할 수 있다.
미러부(123)는, 빔 스플리터(121)를 기준으로 렌즈부(122)의 반대편에 배치되며, 빔 스플리터(121)를 투과한 영상 광을 빔 스플리터(121) 방향으로 반사할 수 있다. 보다 구체적으로, 미러부(123)는 빔 스플리터(121) 방향을 향하여 오목한 형상으로, 미러 코팅된 것일 수 있다.
전면 윈도우(124)는 실제 세계를 향하는 광학부(120)의 전면을 구성할 수 있고, 후면 윈도우(125)는 사용자의 눈 방향을 향하는 광학부(120)의 후면을 구성할 수 있다. 전면 윈도우(124) 및 후면 윈도우(125)는 투명한 글라스 형태일 수 있다.
도 7에 도시된 바와 같이, 디스플레이부(110)에서 출력되는 영상 광은, 렌즈부(122)에서 굴절되어 빔 스플리터(121)를 투과하여 미러부(123)에서 반사되며, 반사된 영상 광은 빔 스플리터(121)의 반대 면에서 사용자의 눈 방향으로 반사되어 후면 윈도우(125)를 투과해 사용자 눈에 전달될 수 있다. 실제 세계 광은 전면 윈도우(124), 빔 스플리터(121), 후면 윈도우(125)를 차례로 투과하여 사용자 눈에 전달되는데, 빔 스플리터(121)는 실제 세계 광의 일부는 투과하고 나머지 일부는 반사한다. 이때, 빔 스플리터(121)는 45도 각도로 배치되므로, 반사된 실제 세계 광의 일부는 영상 입력부(130)로 입력되어 카메라(영상 입력부(130))가 사용자의 시야와 일치하는 시야 정합 영상을 획득할 수 있다.
한편, 도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 시야 정합형 광학 장치(100)를 포함하는 증강현실 글라스 장치(10)는, HMD 프레임(200), 제어부(300), IPD 조정부(400), 외부 카메라부(500), 센서부(600) 및 통신부(700)를 더 포함하여 구성될 수 있는바, 이하에서는 증강현실 글라스 장치(10)의 나머지 구성요소에 대해 상세히 설명하도록 한다.
HMD 프레임(200)은, 사용자가 머리에 착용할 수 있는 증강현실 글라스 장치(10)의 프레임 구성이다. 이러한 HMD 프레임(200)은, 사용자가 머리에 착용한 상태에서 빛이 들어올 수 있는 프레임 구조를 갖는 헬멧(helmet) 형태 또는 고글(goggles) 형태로 구성될 수 있다.
제어부(300)는, 사용자의 시야를 통해 보이는 실제 세계에 영상 광이 맵핑되어 증강현실이 제공되도록 광학 장치(100)를 포함하는 증강현실 글라스 장치(10)의 동작을 제어할 수 있다. 보다 구체적으로, 제어부(300)는, 영상 입력부(130)에서 입력받은 시야 정합 영상을 기초로 영상 정보를 실제 세계에 맵핑하고, 맵핑에 따라 증강현실 영상 광이 출력되도록 디스플레이부(110)를 제어할 수 있다.
IPD 조정부(400)는, 한 쌍으로 구성되는 광학 장치(100) 사이의 거리를 조절해 IPD(Interpupillary Distance)를 조정할 수 있다. 제어부(300)는, 사용자의 IPD 조정 신호 또는 사용자에 대해 미리 저장된 IPD 조정 정보에 따라 한 쌍으로 구성되는 광학 장치(100) 사이의 거리를 조절하도록 IPD 조정부(400)를 제어할 수 있다. 즉, 사용자가 직접 버튼을 조작하거나 손으로 광학 장치(100)를 움직여 IPD 조정 신호를 입력하면, IPD 조정 신호에 따라 제어부(300)가 IPD 조정부(400)를 제어할 수 있다. 또는, 미리 저장된 IPD 조정 정보에 따라 자동으로 IPD 조정부(400)를 제어할 수도 있다.
도 8은 본 발명의 일실시예에 따른 시야 정합형 광학 장치(100)를 포함하는 증강현실 글라스 장치(10)의 IPD 조정부(400)를 설명하기 위해 도시한 도면이다. 도 8에 도시된 바와 같이, 본 발명의 일실시예에 따른 시야 정합형 광학 장치(100)를 포함하는 증강현실 글라스 장치(10)의 IPD 조정부(400)는, 한 쌍으로 구성되는 광학 장치(100) 위에 설치되어, 한 쌍의 광학 장치(100)를 동시에 움직여서 사용자에게 맞게 동공 간 거리를 조절할 수 있다.
이때, 제어부(300)는, IPD 조정부(400)에 의해 한 쌍의 광학 장치(100) 사이의 거리가 조절됨에 따라 함께 이동하는 영상 입력부(130)에서 입력받은 시야 정합 영상을 기초로 영상 정보를 실제 세계에 맵핑하여, IPD 조절에 따른 카메라 오차를 제거할 수 있다.
사용자마다 동공 사이의 거리는 다르므로, 양안 모두에 영상을 제공하는 양안 디스플레이 타입의 증강현실 글라스 장치(10)에서는, 동공 간의 거리를 쉽게 조정하여 사용자에게 맞추어야 초점이 잘 맞고 선명한 증강현실을 경험할 수 있다. 그런데 종래의 증강현실 글라스에서는 양안 사이 즉, 한 쌍의 광학 장치(100) 사이에 카메라가 위치하므로, IPD를 조정하면 카메라와 광학 장치(100)의 상대적 위치가 변화하게 되어 카메라 오차가 발생하는 문제가 있었다. 예를 들어, 카메라 위치로 인한 증강 영상의 정합 오차를 바로잡기 위한 오차 교정 수단 또는 알고리즘을 추가하였는데, IPD를 조정하면 광학 장치(100)가 움직이므로 이러한 오차 교정 수단 또는 알고리즘이 제대로 작동하지 못하게 된다.
반면에, 본 발명의 일실시예에 따른 시야 정합형 광학 장치(100)를 포함하는 증강현실 글라스 장치(10)는, 광학 장치(100) 내에 디스플레이부(110)와 나란하게 영상 입력부(130) 즉, 카메라가 배치되므로, IPD 조정에 의해 광학 장치(100) 이동 시 영상 입력부(130)가 함께 이동해 정확한 시야 정합 영상을 안정적으로 획득할 수 있다.
여기서, IPD 조정부(400)가 한 쌍의 광학 장치(100) 사이의 거리를 조절하는 방법은, 랙 앤 피니언 방식을 기초로, 초정밀 모터, 로터리 댐퍼를 사용하는 등 다양하게 구현될 수 있다.
외부 카메라부(500)는, 외부 영상을 촬영할 수 있다. 외부 카메라부(500)는, 사용자의 시야 방향, 측면 방향, 뒤쪽 방향 등 필요에 따라 정보 수집이 필요한 방향을 향하도록 HMD 프레임(200)에 설치되어, 사용자 주변의 영상을 촬영할 수 있다. 외부 카메라부(500)에서 촬영된 영상은, 주변을 파악하기 위한 정보로 활용될 수 있고, 제스처 인식 등을 위해 사용될 수도 있다.
센서부(600)는, 적어도 하나 이상의 센서를 포함할 수 있으며, 보다 구체적으로 동공 추적 센서, 홍채 인식 센서 등을 포함할 수 있다. 실시예에 따라서, 제어부(300)는 센서부(600)의 동공 추적 센서에서 수집된 사용자의 동공 위치에 따라 IPD 조정부(400)를 제어해 사용자가 손을 사용하지 않고도 자동으로 사용자에게 맞게 동공 간 거리가 조정될 수 있다.
한편, 실시예에 따라서, 제어부(300)는, IPD 조정부(400)에 의해 조정된 동공 간 거리를 사용자 인증 정보와 매칭해 저장하며, 사용자가 HMD 프레임(200)을 착용하고 사용자 인증을 하면, 사용자에 대해 미리 저장된 IPD 조정 정보에 따라 IPD 조정부(400)를 제어해 해당 사용자에게 맞는 동공 간 거리로 자동으로 조정할 수도 있다. 여기서 사용자 인증 정보와 매칭 저장되는 IPD 조정 정보는 사용자의 IPD 조정 신호에 따라 조정된 거리 등일 수 있다. 이때, 사용자 인증은 센서부(600)에 포함된 홍채 인식 센서 등을 사용할 수 있다.
통신부(700)는, 착용형 증강현실 장치(10)의 일측에 설치되며, 다른 착용형 증강현실 장치(10)나 서버 등과 각종 신호 및 데이터를 송수신할 수 있다. 여기서, 통신부(700)가 사용하는 네트워크는, 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN) 또는 부가가치 통신망(Value Added Network; VAN) 등과 같은 유선 네트워크나 이동 통신망(mobile radio communication network), 위성 통신망, 블루투스(Bluetooth), Wibro(Wireless Broadband Internet), HSDPA(High Speed Downlink Packet Access), LTE(Long Term Evolution), 3/4/5/6G(3/4/5/6th Generation Mobile Telecommunication) 등과 같은 모든 종류의 무선 네트워크로 구현될 수 있다.
전술한 바와 같이, 본 발명에서 제안하고 있는 증강현실 글라스를 위한 시야 정합형 광학 장치(100) 및 이를 포함하는 증강현실 글라스 장치(10)에 따르면, 빔 스플리터(121) 방식으로 광학 장치(100)를 구성하면서, 영상 입력부(130)를 광학 장치(100) 내에 디스플레이부(110)와 나란히 배치해, 영상 입력부(130)가 빔 스플리터(121)에서 반사된 실제 세계 광을 수신해 사용자의 시야와 일치하는 시야 정합 영상을 확보하고 이를 기초로 증강현실이 제공되도록 함으로써, 종래의 증강현실 글라스에서 발생하는 영상 정합의 오차를 제거할 수 있고, 영상 입력부(130)가 광학 장치(100) 내에 배치되므로 광학 장치(100)를 이동시켜 동공 간 거리(Interpupillary Distance, IPD)를 사용자에게 맞게 조절하더라도 IPD 변화에 따른 카메라 오차가 발생하지 않고 정확하게 영상 정보를 실제 세계에 맵핑할 수 있다.
이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.

Claims (8)

  1. 광학 장치(100)로서,
    실제 세계(real world)와 함께 영상 정보가 사용자에게 제공되도록 증강현실 영상 광을 출력하는 디스플레이부(110);
    사용자 눈의 전방에 배치되며, 사용자의 시야를 통한 실제 세계가 보이도록 실제 세계 광의 일부는 투과하고 나머지 일부는 상기 디스플레이부(110) 방향으로 반사하며, 상기 디스플레이부(110)에서 출력되는 영상 광을 상기 사용자의 눈 방향으로 전달하는 빔 스플리터(121) 방식의 광학부(120); 및
    상기 디스플레이부(110)와 나란히 배치되며, 상기 빔 스플리터(121)에서 반사된 상기 실제 세계 광의 일부를 수신해 사용자의 시야와 일치하는 시야 정합 영상을 입력받는 영상 입력부(130)를 포함하며,
    상기 디스플레이부(110)는,
    상기 영상 입력부(130)에서 입력받은 시야 정합 영상을 기초로 상기 영상 정보가 실제 세계에 맵핑되도록 상기 증강현실 영상 광을 출력하는 것을 특징으로 하는, 증강현실 글라스를 위한 시야 정합형 광학 장치(100).
  2. 제1항에 있어서, 상기 영상 입력부(130)는,
    상기 디스플레이부(110)의 좌측 또는 우측에 나란히 배치되어 상기 빔 스플리터(121)에서 상기 디스플레이부(110) 방향으로 반사되는 실제 세계 광의 일부를 촬영하는 카메라로 구성되는 것을 특징으로 하는, 증강현실 글라스를 위한 시야 정합형 광학 장치(100).
  3. 제1항에 있어서, 상기 광학부(120)는,
    상기 디스플레이부(110)에서 출력되는 영상 광을 상기 사용자의 눈 방향으로 반사하고, 상기 실제 세계 광의 적어도 일부를 투과하는 빔 스플리터(121);
    상기 디스플레이부(110)와 상기 빔 스플리터(121) 사이에서 상기 영상 광의 광 경로상에 배치되며, 상기 디스플레이부(110)에서 출력되는 영상 광을 굴절시키는 렌즈부(122);
    상기 빔 스플리터(121)를 기준으로 상기 렌즈부(122)의 반대편에 배치되며, 상기 빔 스플리터(121)를 투과한 영상 광을 상기 빔 스플리터(121) 방향으로 반사하는 미러부(123);
    실제 세계를 향하는 상기 광학부(120)의 전면을 구성하는 전면 윈도우(124); 및
    상기 사용자의 눈 방향을 향하는 상기 광학부(120)의 후면을 구성하는 후면 윈도우(125)를 포함하는 것을 특징으로 하는, 증강현실 글라스를 위한 시야 정합형 광학 장치(100).
  4. 증강현실 글라스 장치(10)로서,
    사용자가 머리에 착용할 수 있는 HMD 프레임(200);
    상기 HMD 프레임(200)을 착용한 사용자의 양안의 전방에 배치되어 실제 세계와 증강현실 영상 광의 결합에 의한 증강현실을 제공하며, 양안 디스플레이를 위해 한 쌍으로 구성되는 광학 장치(100); 및
    사용자의 시야를 통해 보이는 실제 세계에 영상 광이 맵핑되어 증강현실이 제공되도록 상기 광학 장치(100)를 포함하는 상기 증강현실 글라스 장치(10)의 동작을 제어하는 제어부(300)를 포함하며,
    상기 광학 장치(100)는,
    실제 세계(real world)와 함께 영상 정보가 사용자에게 제공되도록 증강현실 영상 광을 출력하는 디스플레이부(110);
    사용자 눈의 전방에 배치되며, 사용자의 시야를 통한 실제 세계가 보이도록 실제 세계 광의 일부는 투과하고 나머지 일부는 상기 디스플레이부(110) 방향으로 반사하며, 상기 디스플레이부(110)에서 출력되는 영상 광을 상기 사용자의 눈 방향으로 전달하는 빔 스플리터(121) 방식의 광학부(120); 및
    상기 디스플레이부(110)와 나란히 배치되며, 상기 빔 스플리터(121)에서 반사된 상기 실제 세계 광의 일부를 수신해 사용자의 시야와 일치하는 시야 정합 영상을 입력받는 영상 입력부(130)를 포함하며,
    상기 제어부(300)는,
    상기 영상 입력부(130)에서 입력받은 상기 시야 정합 영상을 기초로 상기 영상 정보를 실제 세계에 맵핑하고, 맵핑에 따라 상기 증강현실 영상 광이 출력되도록 상기 디스플레이부(110)를 제어하는 것을 특징으로 하는, 시야 정합형 광학 장치(100)를 포함하는 증강현실 글라스 장치(10).
  5. 제4항에 있어서, 상기 영상 입력부(130)는,
    상기 디스플레이부(110)의 좌측 또는 우측에 나란히 배치되어 상기 빔 스플리터(121)에서 상기 디스플레이부(110) 방향으로 반사되는 실제 세계 광의 일부를 촬영하는 카메라로 구성되는 것을 특징으로 하는, 시야 정합형 광학 장치(100)를 포함하는 증강현실 글라스 장치(10).
  6. 제4항에 있어서, 상기 광학부(120)는,
    상기 디스플레이부(110)에서 출력되는 영상 광을 상기 사용자의 눈 방향으로 반사하고, 상기 실제 세계 광의 적어도 일부를 투과하는 빔 스플리터(121);
    상기 디스플레이부(100)와 상기 빔 스플리터(121) 사이에서 상기 영상 광의 광 경로상에 배치되며, 상기 디스플레이부(110)에서 출력되는 영상 광을 굴절시키는 렌즈부(122);
    상기 빔 스플리터(121)를 기준으로 상기 렌즈부(122)의 반대편에 배치되며, 상기 빔 스플리터(121)를 투과한 영상 광을 상기 빔 스플리터(121) 방향으로 반사하는 미러부(123);
    실제 세계를 향하는 상기 광학부(120)의 전면을 구성하는 전면 윈도우(124); 및
    상기 사용자의 눈 방향을 향하는 상기 광학부(120)의 후면을 구성하는 후면 윈도우(125)를 포함하는 것을 특징으로 하는, 시야 정합형 광학 장치(100)를 포함하는 증강현실 글라스 장치(10).
  7. 제4항에 있어서,
    상기 한 쌍으로 구성되는 광학 장치(100) 사이의 거리를 조절해 IPD(Interpupillary Distance)를 조정하는 IPD 조정부(400)를 더 포함하며,
    상기 제어부(300)는,
    상기 IPD 조정부(400)에 의해 상기 한 쌍의 광학 장치(100) 사이의 거리가 조절됨에 따라 함께 이동하는 상기 영상 입력부(130)에서 입력받은 상기 시야 정합 영상을 기초로 상기 영상 정보를 실제 세계에 맵핑하여, IPD 조절에 따른 카메라 오차를 제거하는 것을 특징으로 하는, 시야 정합형 광학 장치(100)를 포함하는 증강현실 글라스 장치(10).
  8. 제7항에 있어서, 상기 제어부(300)는,
    사용자의 IPD 조정 신호 또는 상기 사용자에 대해 미리 저장된 IPD 조정 정보에 따라 상기 한 쌍으로 구성되는 광학 장치(100) 사이의 거리를 조절하도록 상기 IPD 조정부(400)를 제어하는 것을 특징으로 하는, 시야 정합형 광학 장치(100)를 포함하는 증강현실 글라스 장치(10).
PCT/KR2022/005831 2021-11-04 2022-04-24 증강현실 글라스를 위한 시야 정합형 광학 장치 및 이를 포함하는 증강현실 글라스 장치 WO2023080362A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210150345A KR102572591B1 (ko) 2021-11-04 2021-11-04 증강현실 글라스를 위한 시야 정합형 광학 장치 및 이를 포함하는 증강현실 글라스 장치
KR10-2021-0150345 2021-11-04

Publications (1)

Publication Number Publication Date
WO2023080362A1 true WO2023080362A1 (ko) 2023-05-11

Family

ID=86241196

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/005831 WO2023080362A1 (ko) 2021-11-04 2022-04-24 증강현실 글라스를 위한 시야 정합형 광학 장치 및 이를 포함하는 증강현실 글라스 장치

Country Status (2)

Country Link
KR (1) KR102572591B1 (ko)
WO (1) WO2023080362A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100290127A1 (en) * 2009-05-13 2010-11-18 NVIS Inc. Head-mounted optical apparatus using an oled display
KR20140097748A (ko) * 2013-01-30 2014-08-07 박수원 헤드 마운트 디스플레이 장치
KR20180121523A (ko) * 2016-03-18 2018-11-07 투즈 테크놀로지스 게엠베하 광학 화상화 요소를 위한 안경 렌즈, 및 증강 현실 글래스
KR20200034401A (ko) * 2018-09-21 2020-03-31 삼성전자주식회사 투시형 디스플레이 장치
KR20210116943A (ko) * 2020-03-18 2021-09-28 주식회사 피앤씨솔루션 보조렌즈를 이용해 시야를 넓힌 광학 장치 및 이를 이용한 머리 착용형 디스플레이 장치

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140059213A (ko) * 2011-08-30 2014-05-15 마이크로소프트 코포레이션 홍채 스캔 프로파일링을 이용하는 헤드 마운티드 디스플레이
US8786686B1 (en) * 2011-09-16 2014-07-22 Google Inc. Head mounted display eyepiece with integrated depth sensing
JP5803784B2 (ja) * 2012-03-30 2015-11-04 ブラザー工業株式会社 ヘッドマウントディスプレイ
US20140375542A1 (en) * 2013-06-25 2014-12-25 Steve Robbins Adjusting a near-eye display device
KR101524933B1 (ko) * 2013-09-24 2015-06-01 박수원 증강현실 구현을 위한 광학시스템장치 및 헤드마운트 디스플레이장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100290127A1 (en) * 2009-05-13 2010-11-18 NVIS Inc. Head-mounted optical apparatus using an oled display
KR20140097748A (ko) * 2013-01-30 2014-08-07 박수원 헤드 마운트 디스플레이 장치
KR20180121523A (ko) * 2016-03-18 2018-11-07 투즈 테크놀로지스 게엠베하 광학 화상화 요소를 위한 안경 렌즈, 및 증강 현실 글래스
KR20200034401A (ko) * 2018-09-21 2020-03-31 삼성전자주식회사 투시형 디스플레이 장치
KR20210116943A (ko) * 2020-03-18 2021-09-28 주식회사 피앤씨솔루션 보조렌즈를 이용해 시야를 넓힌 광학 장치 및 이를 이용한 머리 착용형 디스플레이 장치

Also Published As

Publication number Publication date
KR102572591B9 (ko) 2024-04-08
KR102572591B1 (ko) 2023-09-01
KR20230064823A (ko) 2023-05-11

Similar Documents

Publication Publication Date Title
WO2017030266A1 (ko) 가상현실 헤드셋을 이용한 안경 렌즈 비교 시뮬레이션 시스템 및 그 방법
WO2017146510A2 (en) Aberration corrected optical system for near-eye displays
WO2016017966A1 (en) Method of displaying image via head mounted display device and head mounted display device therefor
WO2015076531A1 (en) Head-mounted display apparatus
WO2019132283A1 (ko) 옵티칼 렌즈 어셈블리 및 이를 포함한 전자 장치
EP3072009A1 (en) Head-mounted display apparatus
WO2017179938A1 (ko) 눈 촬영 장치
WO2017022998A1 (ko) 헤드 마운트 디스플레이용 광학 시스템
WO2019112114A1 (ko) 글래스 타입 단말기 및 그것의 동작방법
WO2021118237A1 (ko) 복수의 사용자에게 최적화된 증강현실 시계 공유 전술 훈련 시스템
WO2019107959A1 (ko) 광학 장치의 제조 방법
WO2017164605A1 (ko) 촬영 렌즈 광학계
WO2022220658A1 (ko) 디지털 트윈 및 가상 이미지와 연동하는 혼합현실 산업용 안전모
WO2023080362A1 (ko) 증강현실 글라스를 위한 시야 정합형 광학 장치 및 이를 포함하는 증강현실 글라스 장치
WO2021034096A1 (ko) 시력 보정 기능을 구비하는 증강 현실용 광학 장치
WO2020197134A1 (ko) 복수개의 증강 현실용 화상을 이용한 증강 현실용 광학 장치
WO2021261710A1 (ko) 상태 변환 광학 소자를 이용한 경량 증강 현실용 광학 장치
CN116125669A (zh) 显示装置及拍摄视野的调制方法
WO2022139424A1 (ko) 전자 장치 및 그의 사용자 시선을 추적하고 증강 현실 서비스를 제공하는 방법
WO2022260272A1 (ko) 랙과 피니언 방식으로 양안 렌즈가 동시에 움직여 동공 간 거리를 조정하는 머리 착용형 디스플레이 장치
WO2021066335A1 (ko) 헤드 마운티드 디스플레이
WO2022050742A1 (ko) 깊이 영상을 이용한 착용형 증강현실 장치의 손동작 검출 방법 및 깊이 영상을 이용한 손동작 검출이 가능한 착용형 증강현실 장치
KR102410872B1 (ko) 프로젝터 모드를 포함하는 머리 착용형 디스플레이 장치
WO2023277322A1 (ko) 초정밀 모터와 거리 측정 센서를 이용해 자동으로 사이즈가 조절되는 머리 착용형 디스플레이 장치
WO2021182859A1 (ko) 복수의 핀홀을 포함하는 광학 장치 및 이를 이용한 머리 착용형 디스플레이 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22890101

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE