WO2023014185A1 - 사용자의 시선을 검출하는 증강 현실 장치 및 방법 - Google Patents

사용자의 시선을 검출하는 증강 현실 장치 및 방법 Download PDF

Info

Publication number
WO2023014185A1
WO2023014185A1 PCT/KR2022/011693 KR2022011693W WO2023014185A1 WO 2023014185 A1 WO2023014185 A1 WO 2023014185A1 KR 2022011693 W KR2022011693 W KR 2022011693W WO 2023014185 A1 WO2023014185 A1 WO 2023014185A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
lens
user
augmented reality
vision correcting
Prior art date
Application number
PCT/KR2022/011693
Other languages
English (en)
French (fr)
Inventor
류재열
김도윤
구본곤
이규근
고재우
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020210152571A external-priority patent/KR20230021551A/ko
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to CN202280052797.2A priority Critical patent/CN117730271A/zh
Priority to EP22853560.5A priority patent/EP4321923A1/en
Priority to US17/903,616 priority patent/US11983315B2/en
Publication of WO2023014185A1 publication Critical patent/WO2023014185A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays

Definitions

  • the present disclosure relates to an augmented reality apparatus and method for detecting a user's gaze. More particularly, the present disclosure relates to a gaze tracking sensor and method for detecting a gaze of a user in an augmented reality device including a vision correcting lens.
  • Augmented reality (AR) technology is a technology that synthesizes virtual objects or information in a real environment to make the virtual objects or information look like objects existing in a real physical environment.
  • Modern computing and display technologies have enabled the development of systems for augmented reality experiences, in which digitally recreated images, or parts thereof, can be perceived as if they were real, or perceived as real. It can be presented to the user in any way.
  • augmented reality devices have a head mounted display (head mounted display, HMD) form, such an augmented reality device is inconvenient to use while wearing glasses for vision correction.
  • the visual acuity before correction of a person wearing spectacles for vision correction may appear complex due to myopia, hyperopia, astigmatism, or a combination thereof.
  • augmented reality devices including vision correction lenses are being developed.
  • Gaze direction information is used for various operations, such as building a user interface, optimizing rendering of an image provided to the user (eg, foveated rendering), or determining the distance to an object the user is looking at.
  • can be used for Gaze direction information may be generated by a user's eyeball position tracking sensor (hereinafter referred to as an eye-tracking sensor (ET sensor)).
  • E sensor eye-tracking sensor
  • a gaze tracking method capable of increasing the accuracy of detecting a user's eye gaze in an augmented reality device including a vision correcting lens.
  • One embodiment of the present disclosure may provide a gaze tracking method and apparatus capable of increasing accuracy of gaze detection in an augmented reality device including a vision correcting lens.
  • An augmented reality device disclosed as a technical means for achieving the above-described technical problem includes a light guide plate, a vision correcting lens disposed overlapping with the light guide plate in a visual direction of a user wearing the augmented reality device, and an augmented reality device to a user of the augmented reality device. It may include a support for fixing to a face, a gaze tracking sensor including a light emitter and a light receiver installed on a part of the support, a light reflector for reflecting light for gaze tracking, and at least one processor.
  • the processor obtains lens characteristic information of the vision correcting lens, controls the light emitting unit to emit light for gaze tracking toward the light reflecting unit, and obtains an eye image of the user based on the light received through the light receiving unit;
  • the user's eye image may be compensated based on the lens characteristic information, and the user's gaze information may be obtained from the compensated eye image.
  • Light emitted toward the light reflector may be reflected by the light reflector toward the user's eyes, and light received by the light receiver may include light toward the user's eyes and reflected light by the user's eyes.
  • the light reflection part may include a pattern.
  • the processor controls the light emitting unit to emit light for obtaining lens characteristic information of the vision correcting lens toward the light reflecting unit, identifies a distorted pattern based on the light received through the light receiving unit, and based on the distorted pattern Lens characteristic information of the vision correcting lens may be acquired.
  • a method for detecting a user's gaze by an augmented reality device including a vision correcting lens disclosed as a technical means for achieving the above-described technical problem is overlapped with a light guide plate for displaying an image output from the augmented reality device in a direction of the user's gaze.
  • obtaining lens characteristic information of the vision correcting lens which is disposed; Emitting light for gaze tracking toward the light reflector through the light emitter installed on a part of the support of the augmented reality device, and the emitted light is reflected by the light reflector and directed toward the eyes of a user wearing the augmented reality device.
  • phosphorus step; receiving light reflected by the user's eyes through a light receiver installed in the support; obtaining an eye image of the user based on the light received through the light receiving unit; compensating an eye image of a user based on lens characteristic information of a vision correcting lens; and obtaining gaze information of the user based on the compensated eye image.
  • a computer-readable recording medium disclosed as a technical means for achieving the above-described technical problem may store a program for executing at least one of the embodiments of the disclosed method in a computer.
  • FIG. 1 is a schematic diagram of a method of tracking a user's gaze in an augmented reality device including a vision correcting lens according to an embodiment of the present disclosure.
  • FIG. 2 is a flowchart of a method of detecting a gaze of a user by an augmented reality device according to an embodiment of the present disclosure.
  • FIG. 3 is a block diagram of an augmented reality device according to an embodiment of the present disclosure.
  • FIG. 4 is a diagram for explaining an operation of detecting a gaze of a user by an augmented reality device according to an embodiment of the present disclosure.
  • FIG. 5 is a diagram for explaining an operation of obtaining lens characteristic information of a vision correcting lens according to an embodiment of the present disclosure.
  • FIG. 6 is a diagram for explaining an operation of compensating an eye image based on lens characteristic information of a vision correcting lens according to an embodiment of the present disclosure.
  • FIG. 7 is a diagram for explaining an operation of obtaining gaze information of a user from a compensated eye image based on lens characteristic information of a vision correcting lens according to an embodiment of the present disclosure.
  • FIG. 8 is a diagram for explaining an operation of obtaining lens characteristic information of a vision correcting lens according to an embodiment of the present disclosure.
  • FIG. 9 is a diagram for explaining an operation of obtaining lens characteristic information of a vision correcting lens according to an embodiment of the present disclosure.
  • FIG. 10 is a diagram for explaining control parameters of a vision correcting lens according to an embodiment of the present disclosure.
  • FIG. 11 is a diagram illustrating an augmented reality device according to an embodiment of the present disclosure.
  • ⁇ unit and “ ⁇ module” described in this specification refer to a unit that processes at least one function or operation, which may be implemented as hardware or software or a combination of hardware and software. .
  • a processor configured (or configured) to perform A, B, and C can be used by a dedicated processor (eg, embedded processor) to perform those operations, or by executing one or more software programs stored in memory; It may mean a general-purpose processor (eg, CPU or application processor) capable of performing corresponding operations.
  • a dedicated processor eg, embedded processor
  • a general-purpose processor eg, CPU or application processor
  • an 'Augmented Reality (AR) system' refers to a system that shows a virtual image together in a physical environment space of the real world or a real object and a virtual image together.
  • an 'Augmented Reality Device (AR device)' is a device capable of expressing 'Augmented Reality', and is a glasses-shaped augmented reality glasses device worn on a face by a user.
  • AR device a glasses-shaped augmented reality glasses device worn on a face by a user.
  • HMD Head Mounted Display
  • VRH virtual reality headset
  • a 'real scene' is a scene in the real world that a user sees through an augmented reality device, and may include a real world object.
  • a 'virtual image' is an image generated through an optical engine, and may include both static and dynamic images.
  • the virtual image may be observed together with a real scene, and may be an image representing information about a real object in the real scene, information about an operation of an augmented reality device, or a control menu.
  • the augmented reality device guides an optical engine for generating a virtual image composed of light generated from a light source and the virtual image generated by the optical engine to the user's eyes and is transparent so that a scene of the real world can be viewed together.
  • a waveguide formed of a material is provided. Since the augmented reality device should be able to observe the scene of the real world as well, an optical element to change the path of the basically linear light is required to guide the light generated by the optical engine to the user's eyes through the light guide plate. need.
  • the light path may be changed using reflection by a mirror or the like, or the light path may be changed through diffraction by a diffraction element such as a diffractive optical element (DOE) or a holographic optical element (HOE), but is not limited thereto.
  • DOE diffractive optical element
  • HOE holographic optical element
  • FIG. 1 is a schematic diagram of a method of tracking a user's gaze in an augmented reality device (AR device) including a prescription lens according to an embodiment of the present disclosure.
  • AR device augmented reality device
  • An augmented reality device is a device capable of expressing augmented reality, and may display an image including a virtual object and a physical object existing in reality.
  • the augmented reality device is a glasses-type display device and may include a glasses-type body configured to be worn by a user.
  • the glasses-type body may include a support for fixing the augmented reality device to a user's face.
  • the support may include a temple 131 and a bridge 132 .
  • the temple 131 may be used to secure the augmented reality device to the user's head at the side of the spectacle body.
  • the bridge 132 may be used to seat the augmented reality device on the user's nose, and may include, for example, a nose bridge and a glasses nose, but is not limited thereto.
  • the eyeglass-shaped body may further include a frame.
  • a light guide plate 110, a vision correcting lens 120, and a light reflector 150 may be disposed in the frame.
  • the frame may be formed to surround outer circumferential surfaces of the light guide plate 110 and the vision correcting lens 120 .
  • the light guide plate 110 may be configured to receive projected light from an input area and output at least a part of the input light from an output area, and the vision correction lens 120 is disposed between the light guide plate 110 and the user's eyes, When a user recognizes a scene displayed on the light guide plate 110 or a real scene through the light guide plate 110 , the user's eyesight may be corrected.
  • the light guide plate 110 may include a light guide plate for the left eye and a light guide plate for the right eye
  • the vision correction lens 120 may include a vision correction lens for the left eye and a vision correction lens for the right eye.
  • the vision correction lens 120 for the left eye, the light reflector 150 for the left eye, and the light guide plate 110 for the left eye may be disposed at positions corresponding to the left eye of the user, and the vision correction lens for the right eye and the light reflector for the right eye may be disposed at positions corresponding to the user's left eye.
  • the light guide plate for the right eye may be disposed at a position corresponding to the user's right eye.
  • the light reflector 150 for the left eye may be disposed between the vision correcting lens 120 for the left eye and the light guide plate 110 for the left eye, and the light guide plate 110 for the left eye or the vision correcting lens 120 for the left eye It may be coated on one side of, but is not limited thereto.
  • the light reflector for the right eye may be disposed between the vision correcting lens for the right eye and the light guide plate for the right eye, and may be coated on one surface of the light guide plate for the right eye or the vision correcting lens for the right eye, but is not limited thereto.
  • the projector's optical engine projecting display light containing images may include a left-eye optical engine and a right-eye optical engine.
  • the left eye optical engine and the right eye optical engine may be located on either side of the augmented reality device.
  • one optical engine may be included in a central portion around the bridge 132 of the augmented reality device. Light emitted from the optical engine may be displayed through the light guide plate 110 .
  • the gaze tracking sensor may include a light emitting unit 141 and a light receiving unit 143 .
  • the light emitting unit 141 and the light receiving unit 143 may be disposed on an inner surface of the support unit, which is a position between the support unit and the user's eyes, in the support unit of the augmented reality device.
  • the light emitting unit 141 and the light receiving unit 143 may be disposed to face the light reflecting unit 150 in the support of the augmented reality device.
  • the light emitting unit 141 and the light receiving unit 143 may emit and receive IR light without being hindered by the user's hair, among the side surfaces of the temple 131 of the augmented reality device, the light guide plate. It may be disposed at a position spaced about 2 mm to 25 mm from (110).
  • the augmented reality device may include a vision correcting lens 120 for correcting the eyesight of a user wearing the augmented reality device.
  • the vision correcting lens 120 may have a predetermined fixed refractive characteristic or may have a variable refractive characteristic that can be changed as needed.
  • FIG. 2 is a flowchart of a method of detecting a gaze of a user by an augmented reality device according to an embodiment of the present disclosure.
  • the augmented reality device may acquire lens characteristic information of a vision correcting lens.
  • the augmented reality device may emit light for gaze tracking towards the light reflector through the light emitter.
  • the augmented reality device may receive light reflected by the user's eyes through the light receiving unit.
  • the augmented reality device may obtain an eye image of the user based on the received light.
  • the augmented reality device may compensate the user's eye image based on the lens characteristic information of the vision correcting lens.
  • the augmented reality device may acquire information on the gaze of the user based on the compensated eye image.
  • FIG. 3 is a block diagram of an augmented reality device 300 according to an embodiment of the present disclosure.
  • the augmented reality device 300 includes a display unit 310, a vision correcting lens 320, a support unit 330, an eye tracking sensor 340, a light reflecting unit ( 350), a processor 360, and a storage unit 370.
  • the display unit 310 displays and outputs information processed by the augmented reality device 300 .
  • the display unit 310 may display information related to a user interface for capturing the surroundings of the augmented reality device 300 and a service provided based on a photographed image of the surroundings of the augmented reality device 300. there is.
  • the display unit 310 may provide augmented reality (AR) images.
  • the display unit 310 may include a light guide plate (or waveguide) 311 and an optical engine 312 .
  • the light guide plate 311 may be made of a transparent material in which a portion of the rear surface is visible.
  • the light guide plate 311 may be formed of a single- or multi-layer flat plate made of a transparent material through which light is reflected and propagated therein.
  • the light guide plate 311 may face the output surface of the optical engine 312 to receive light of a virtual image projected from the optical engine 312 .
  • the transparent material means a material through which light can pass, and the transparency may not be 100% and may have a predetermined color.
  • the light guide plate 311 is made of a transparent material, the user can view a virtual object of a virtual image through the display unit 310 as well as an external real scene. 311 may be referred to as a see through display.
  • the display unit 310 may provide an augmented reality image by outputting a virtual object of a virtual image through the light guide plate 311 .
  • the display unit 310 may include a left display unit and a right display unit.
  • the vision correction lens 320 may correct the eyesight of a user wearing the augmented reality device 300 .
  • the vision correcting lens 320 may be disposed between the light guide plate 311 and the user's eyes, and may correct the eyesight of a user who recognizes a real scene and a virtual image through the light guide plate 311 .
  • the vision correcting lens 320 may have a predetermined fixed refractive characteristic or may have a variable refractive characteristic that can be changed as needed.
  • the lens characteristics of the vision correcting lens 320 mean that, when the light reflecting unit 350 is disposed between the vision correcting lens 320 and the light guide plate 311, the eye image is formed by the light emitting unit ( 341) - Vision correction lens 320 - Light reflector 350 - Vision correction lens 320 - User's eye - Vision correction lens 320 - Light reflector 350 - Vision correction lens 320 - Light It represents the characteristic of the lens that causes eye image distortion that occurs in the process of being acquired through the receiver 343 path.
  • the lens characteristics of the vision correcting lens 320 may indicate the degree to which the vision correcting lens 320 converges or spreads light.
  • Lens characteristics of the vision correcting lens 320 may be determined based on a refractive index and a curvature of a refractive surface of the lens.
  • the lens characteristics of the vision correcting lens 320 increase as the refractive index or curvature of the refracting surface increases.
  • the refractive index may represent the degree of refraction when light and waves pass through interfaces (refracting surfaces) of different media.
  • the refractive index may be determined based on the material of the vision correcting lens 320 .
  • the lens characteristic information of the vision correcting lens 320 may include various numerical values expressed to represent lens characteristics in addition to the refractive index or the curvature of a refracting surface.
  • the light reflector 350 may reflect light emitted from the light emitter 341 to be described later.
  • the light reflector 350 and the light guide plate 311 may be disposed at positions facing the user's eyes, and the light reflector 350 and the light guide plate 311 may be attached to each other.
  • the light reflection part 350 may be coated on at least a portion of the light guide plate 311 .
  • the light reflector 350 is attached to a cover glass installed to protect other components included in the glasses-type augmented reality device, for example, the vision correction lens 320 or the light guide plate 311, in addition to the light guide plate. or may be coated.
  • the light reflector 350 may be formed of a material capable of reflecting light such as IR light emitted from the light emitter 341 .
  • the light reflection part 350 may be, for example, silver, gold, copper, or a material including one or more of these metals, but is not limited thereto. Accordingly, the light emitted from the light emitting unit 341 may be reflected by the light reflecting unit 350 and directed toward the user's eyes, and the light reflected back from the user's eyes is reflected by the light reflecting unit 350. and may be directed toward the light receiving unit 343.
  • the light reflection part 350 may be coated on the light guide plate 311 to have a predetermined pattern.
  • the pattern formed on the light reflector 350 may include, for example, a dot pattern, a line pattern, a grid pattern, a 2D marker, and the like, but is not limited thereto.
  • the pattern formed on the light reflection part 350 may be formed on a part of the light guide plate 311 where the user's gaze is directed at a low frequency, for example.
  • the pattern formed on the light reflector 350 may be formed on a portion of the light guide plate 311 that does not interfere with photographing or scanning the user's eyes.
  • the predetermined pattern may refer to a pattern formed by a portion where light emitted from the light emitter 341 is reflected and a portion where the light emitted from the light emitter 341 is not reflected in the light reflector 350 . Since the light emitted from the light reflecting unit 350 toward the non-reflecting portion is not reflected by the light reflecting portion 350, the light receiving unit 343 transmits the light emitted towards the non-reflecting portion. will not receive Accordingly, a pattern formed by the light reflecting portion and the non-reflective portion of the light reflecting unit 350 may be detected from the light received by the light receiving unit 343 .
  • a predetermined pattern when the light emitted from the light emitting unit 341 is IR light, a predetermined pattern may be formed of a material for reflecting IR light, and the material for reflecting IR light is invisible to the user's eyes. May contain invisible materials. Since most of the real world light or real scene observed by the user through the augmented reality device 300 is composed of visible light, the user is not disturbed by the light reflector 350 having a predetermined pattern, and the real world Light or real scenes can be observed.
  • the gaze tracking sensor 340 may include a light emitting unit 341 and a light receiving unit 343 .
  • the gaze tracking sensor 340 includes a light emitter 341 that emits light for detecting the user's gaze and a light receiver 343 that receives light reflected from the user's eyes, and the augmented reality device 300 It is possible to detect data related to the gaze of the user wearing the .
  • the light emitter 341 of the gaze tracking sensor 340 may emit light toward the light reflector 350 so that the light reflected by the light reflector 350 may be directed toward the user's eyes.
  • the light emitting unit 341 may emit light toward the light reflecting unit 350 , the emitted light may be reflected by the light reflecting unit 350 , and the reflected light may be directed toward the user's eyes.
  • the light emitting unit 341 may be disposed at a position capable of emitting light toward the light reflecting unit 350 in the augmented reality device 300 .
  • the light emitting unit 341 may be located on the support unit 330 supporting the augmented reality device 300 on the user's face, such as the temple 331 and the bridge 332 .
  • light reflected from the user's eyes may be reflected by the light reflector 350 and received by the light receiver 343 of the gaze tracking sensor 340 .
  • Light toward the user's eyes is reflected from the user's eyes, the light reflected from the user's eyes may be reflected by the light reflector 350, and the light receiver 343 is reflected by the light reflector 350.
  • the light receiving unit 343 may be disposed at a position capable of receiving light reflected from the light reflecting unit 350 in the augmented reality device 300 .
  • the light receiving unit 343 may be located on the support unit 330 supporting the augmented reality device 300 on the user's face, such as the temple 331 and the bridge 332 .
  • the bridge 332 may include a nose bridge and a spectacle nose.
  • the bridge of the nose and the nose of the glasses may be integrally configured, but are not limited thereto.
  • the light emitting unit 341 may be an IR LED emitting IR light
  • the light receiving unit 343 may be an IR camera capturing IR light.
  • the IR camera may capture the user's eyes using the IR light reflected by the light reflector 350 .
  • the light emitting unit 341 is an IR LED and the light receiving unit 343 is an IR camera
  • the light emitting unit 341 transmits at least one IR light selected from planar light and point light to the light reflecting unit. 350
  • the light receiving unit 343 identifies IR light emitted from the light emitting unit 341 as being sequentially reflected by the light reflecting unit 350, the user's eye, and the light reflecting unit 350. reflected light can be received.
  • the surface light may be light emitted in the form of a surface, and the surface light emitted from the light emitting unit 341 may be directed to at least a part of the entire area of the light reflecting unit 350 . At least a portion of the entire area of the light reflector 350 may be set so that surface light reflected from at least a portion of the entire area of the light reflector 350 covers the user's eyes.
  • the light emitting unit 341 and the light receiving unit 343 may be disposed on the temple 331 of the augmented reality device 300 .
  • the light emitting unit 341 and the light receiving unit 343 may be disposed on the inner side of the temple 331 of the augmented reality device 300, which is between the temple 331 and the user's eyes.
  • the light emitting unit 341 and the light receiving unit 343 may be disposed at a position spaced apart from the light guide plate 311 by about 2 mm to 25 mm from the side of the temple 331 of the augmented reality device 300.
  • the light emitting unit 341 and the light receiving unit 343 may be disposed to face the light reflecting unit 350 at the temple 331 of the augmented reality device 300 .
  • the light emitting unit 341 and the light receiving unit 343 may be disposed on the bridge 332 of the augmented reality device 300 .
  • the light emitting unit 341 and the light receiving unit 343 may be disposed on the inner side of the bridge 332 of the augmented reality device 300 between the bridge 332 and the user's eyes.
  • the light emitting unit 341 and the light receiving unit 343 may be disposed at a distance of about 2 mm to 25 mm from the light guide plate 311 on the side of the bridge 332 of the augmented reality device 300.
  • the light emitting unit 341 and the light receiving unit 343 may be disposed to face the light reflecting unit 350 in the bridge 332 of the augmented reality device 300 .
  • the gaze tracking sensor 340 may provide data related to the gaze of the user's eyes to the processor 360, and the processor 360 may obtain gaze information of the user based on the data related to the gaze of the user's eyes.
  • the data related to the gaze of the user's eyes is data acquired by the gaze tracking sensor 340, and includes data on the wavelength of light emitted from the light emitting unit 341, the emitting area, the characteristics of the light, the emitting direction, and the like, and the light receiving unit ( 343) may include data representing characteristics of the reflected light received.
  • the user's gaze information is information related to the user's gaze, and may be generated by analyzing data related to the user's gaze, for example, the location of the user's pupil, the location of the central point of the pupil, the user's iris Information about the location of the user's eyes, the center of the user's eyes, the location of the user's eye twinkle feature point, the user's gaze point, and the user's gaze direction may be included, but is not limited thereto.
  • the direction of the user's gaze may be, for example, a direction of the gaze from the center of the user's eyes to the gaze point at which the user gazes.
  • the user's gaze direction may be represented by a vector value from the center of the user's left eye to the gaze point and a vector value from the center of the user's right eye to the gaze point, but is not limited thereto.
  • the gaze tracking sensor 340 may detect data related to the gaze of the user wearing the augmented reality apparatus 300 at predetermined time intervals.
  • the storage unit 370 may store programs to be executed by the processor 360 to be described later, and may store data input to or output from the augmented reality device 300 .
  • the storage unit 370 may include at least one of an internal memory (not shown) or an external memory (not shown).
  • the built-in memory includes, for example, volatile memory (eg, DRAM (Dynamic RAM), SRAM (Static RAM), SDRAM (Synchronous Dynamic RAM), etc.), non-volatile memory (eg, OTPROM (One Time Programmable ROM) ), PROM (Programmable ROM), EPROM (Erasable and Programmable ROM), EEPROM (Electrically Erasable and Programmable ROM), Mask ROM, Flash ROM, etc.), hard disk drive (HDD), or solid state drive (SSD).
  • volatile memory eg, DRAM (Dynamic RAM), SRAM (Static RAM), SDRAM (Synchronous Dynamic RAM), etc.
  • non-volatile memory eg, OTPROM (One Time Programmable ROM)
  • PROM Programmable ROM
  • EPROM Erasable and Programmable ROM
  • the processor 360 may load and process a command or data received from at least one of a non-volatile memory or other components into a volatile memory. Also, the processor 360 may store data received or generated from other components in a non-volatile memory.
  • the external memory may include, for example, at least one of CF (Compact Flash), SD (Secure Digital), Micro-SD (Micro Secure Digital), Mini-SD (Mini Secure Digital), xD (extreme Digital), or Memory Stick. can include
  • Programs stored in the storage unit 370 may be classified into a plurality of modules according to their functions.
  • a lens characteristic acquisition module 371, an eye image acquisition module 372, a distortion compensation module 373, A feature point detection module 374 and a gaze detection module 375 may be included.
  • a memory (not shown) may be included in the gaze tracking sensor 340, and in this case, the eye image acquisition module 372 is firmware (firmware) in the memory (not shown) included in the gaze tracking sensor 340. ) may be stored.
  • the processor 360 controls overall operations of the augmented reality device 300 .
  • the processor 360 executes programs stored in the storage unit 370 to operate the display unit 310, the vision correction lens 320, the gaze tracking sensor 340, and the storage unit 370. overall control.
  • the processor 360 stores the lens characteristic acquisition module 371, the eye image acquisition module 372, the distortion compensation module 373, the feature point detection module 374, and the gaze detection module 375 stored in the storage unit 370. By executing it, it is possible to determine the user's gaze point and gaze direction.
  • the augmented reality device 300 may include a plurality of processors 360, a lens characteristic acquisition module 371, an eye image acquisition module 372, a distortion compensation module 373, and feature point detection.
  • Module 374 and gaze detection module 375 may be executed by a plurality of processors 360 .
  • some of the lens characteristic acquisition module 371, the eye image acquisition module 372, the distortion compensation module 373, the feature point detection module 374, and the gaze detection module 375 may be configured by a first processor (not shown). ), and the rest of the lens characteristic acquisition module 371, the eye image acquisition module 372, the distortion compensation module 373, the feature point detection module 374, and the gaze detection module 375 are executed by the second processor (not shown), but is not limited thereto.
  • the gaze tracking sensor 340 may include another processor (not shown) and a memory (not shown), and the other processor (not shown) may include an eye image acquisition module 372 stored in a memory (not shown). and the processor 360 may execute the lens characteristic acquisition module 371, the distortion compensation module 373, the feature point detection module 374, and the gaze detection module 375 stored in the storage unit 370.
  • the processor 360 may acquire lens characteristic information of the vision correcting lens 320 by executing the lens characteristic obtaining module 371 stored in the storage unit 370 .
  • the light reflection part 350 may include a pattern.
  • the processor 360 executes the lens characteristic acquisition module 371 stored in the storage unit 370 to emit light for obtaining lens characteristic information toward the light reflector 350 through the light emitter 341, A pattern may be identified based on the light received through the light receiver 343, and lens characteristic information of the vision correcting lens 320 may be obtained based on the identified pattern.
  • the pattern may be formed to correspond to a partial area on the light guide plate 311 .
  • a predetermined pattern may be formed on a portion of the light guide plate 311 to reflect the light emitted from the light emitting unit 341 and direct the reflected light toward the light receiving unit 343 .
  • the pattern may be attached to or coated on a cover glass installed to protect the vision correcting lens 320 or the light guide plate 311 for correcting the user's eyesight.
  • an indicator used to acquire lens characteristic information of the vision correcting lens 320 is included, and the processor 360 executes the lens characteristic acquisition module 371 stored in the storage unit 370. By doing so, it is possible to obtain lens characteristic information of the vision correcting lens 320 by identifying the indicator.
  • the indicator may include a barcode, a label such as a QR code, a test, and the like.
  • the vision correcting lens 320 includes a coupling unit for coupling to the support unit 330 of the augmented reality device 300, and the processor 360 includes a lens characteristic acquisition module 371 stored in the storage unit 370. ), an electromagnetic signal may be obtained through the coupler, and lens characteristic information of the vision correcting lens 320 may be obtained based on the obtained electromagnetic signal.
  • the processor 360 applies an electromagnetic signal to the vision correcting lens 320 through a coupling unit and obtains a corresponding electromagnetic return signal from the vision correcting lens 320, thereby providing a Lens characteristic information may be obtained.
  • the coupling unit may be disposed at a portion where the vision correcting lens 320 contacts the support unit 330 .
  • the coupler may be disposed along an outer surface of the vision correcting lens 320 , where the vision correcting lens 320 contacts the frame of the support 330 .
  • vision correction lens 320 may include a variable focus lens.
  • a variable focus lens is a lens having a variable focus, for example, a liquid crystal lens (LC lens), a liquid membrane lens, an electrowetting lens, or an Alvarez lens. ) may be included.
  • the variable focus lens may be implemented in a form in which a flexible plastic membrane surrounds a transparent fluid.
  • the refractive index (diopter) of the variable focus lens may be changed by moving the fluid in the variable focus lens according to the electric signal applied to the variable focus lens.
  • the processor 360 may identify lens characteristic information of the vision correcting lens 320 from refractive parameters set in the variable focus lens by executing the lens characteristic acquisition module 371 stored in the storage unit 370. .
  • the processor 360 may obtain an eye image from the reflected light received through the light receiving unit 343 by executing the eye image acquisition module 372 stored in the storage unit 370 .
  • the reflected light received through the light receiver 343 may indicate light that is identified by light reflected from the user's eyes and reflected again by the light reflector 350 .
  • the light emitting unit 341 is an IR LED and the corresponding light receiving unit 343 is an IR camera
  • the obtained eye image may be an IR image.
  • the processor 360 may compensate the user's eye image based on the lens characteristic information of the vision correction lens 320 by executing the distortion compensation module 373 stored in the storage unit 370 .
  • the processor 360 may detect features related to the line of sight of the user's eyes by executing the feature point detection module 374 stored in the storage unit 370 .
  • the processor 360 may detect the position of the pupil feature point and the central point of the user's eyes by executing the feature point detection module 374 .
  • the pupil feature point may include, for example, a glint feature point of the eye.
  • the eye twinkle feature point may be a part having a brightness greater than or equal to a predetermined value in the detected region of the eye.
  • the position of the feature point of the pupil and the position of the central point may be identified by, for example, a coordinate value indicating a position in the coordinate system of the light receiving unit 343 .
  • the coordinate system of the light receiving unit 343 may be the coordinate system of the IR camera, and the coordinate values in the coordinate system of the light receiving unit 343 may be 2D coordinate values.
  • the processor 360 may detect features related to the gaze of the eyes by analyzing the light received by the light receiving unit 343 . For example, when the light receiving unit 343 is an IR camera, the processor 360 may identify the location of the feature point and the center point of the pupil in an image captured by the IR camera. When the positions of the feature points are detected, the position of the feature point or the center point of the pupil may have a corrected value by reflecting the lens characteristic information of the vision correcting lens 320 . The position of the feature point and the center point of the pupil corrected by reflecting the lens characteristic information of the vision correcting lens 320 will be described in more detail with reference to FIG. 8 to be described later.
  • the processor 360 may obtain a coordinate value indicating a location of a feature point of the pupil and a coordinate value indicating a location of a center point of the pupil by analyzing the light received by the light receiving unit 343 .
  • the processor 360 may obtain coordinate values of a feature point and a coordinate value of a center point of the pupil in the coordinate system of the camera.
  • the coordinate system of the camera may be used to indicate the location of the feature point and the central point of the pupil, and for example, coordinate values on the camera coordinate system corresponding to pixels of an image photographed by the camera may be preset.
  • coordinate values corresponding to eye feature points may be identified based on properties (eg, brightness) of light received through the camera.
  • the processor 360 may acquire information about the user's gaze by executing the gaze detection module 375 stored in the storage unit 370 .
  • the processor 360 may calculate the location of the center of the eye of the user by executing the gaze detection module 375 .
  • the center of the user's eye may indicate the center of the region corresponding to the iris in the user's eyeball, that is, the position of the pupil.
  • the position of the point of gaze at which the user gazes and the direction of the user's gaze may be obtained from the position of the pupil.
  • the location on the light guide plate 311 corresponding to the central point of the user's pupil may be identified as the location of the gaze point at which the user gazes, and the direction from the user's pupil toward the gaze point may be identified as the user's gaze direction.
  • the processor 360 may calculate the position of the user's pupil through lens characteristic information of the lens and feature points included in the user's eye image.
  • the processor 360 may calculate the position of the user's gaze point by executing the gaze detection module 375 .
  • the processor 360 may previously generate a mapping function for calculating the position of the gaze point from the characteristics of the user's eyes in order to calculate the position of the user's gaze point.
  • the mapping function is a function for calculating the position of the user's gazing point in consideration of the characteristics of the user's eyes and the lens characteristic information of the vision correcting lens 320, and may be generated through a previously performed calibration process.
  • the position of the gaze point may have a 3D coordinate value in a real space coordinate system, but is not limited thereto.
  • the position of the gaze point is the position on the light guide plate 311 corresponding to the center point of the user's pupil. It may have a coordinate value in the light guide plate coordinate system, but is not limited thereto.
  • the processor 360 may correct features related to the gaze of the user's eyes obtained from the feature point detection module 374 based on the lens characteristic information of the vision correcting lens 320 by executing the gaze detection module 375. there is.
  • the processor 360 may calculate the location of the user's gaze point by applying features related to the gaze of the user's eyes, corrected based on the lens characteristics, to a mapping function.
  • the direction of the user's gaze may be determined based on the position of the central point of the eye calculated by the gaze detection module 375 and the gaze point of the user.
  • the processor 360 may perform a calibration operation in advance before performing an operation of detecting the user's gaze.
  • the mapping function may be calibrated based on lens characteristic information of the vision correcting lens 320 .
  • the processor 360 may calibrate the mapping function to obtain a gaze point of the user based on lens characteristics and eye feature points. For example, in the calibration operation, the degree of distortion of the eye image according to the lens characteristic information of the vision correcting lens 320 may be calculated to calculate compensation values for the positions of the feature points and central points of the eyes.
  • the processor 360 may calibrate the mapping function so that a target gaze direction value may be output from the mapping function inputted with the position of feature points of the user's eye and the lens characteristic information of the vision correcting lens 320 .
  • an augmented reality device including a vision correction lens may include a user calibration process and an eye-tracking process.
  • lens characteristic information of the vision correction lens may be identified, and a degree of distortion of the user's eye image acquired by the augmented reality device including the vision correction lens may be estimated.
  • the gaze of the user wearing the augmented reality device may be tracked by reflecting the degree of distortion estimated in the user calibration process.
  • FIG. 5 is a diagram for explaining an operation of obtaining lens characteristic information of a vision correcting lens 620 according to an embodiment of the present disclosure.
  • the augmented reality device may include a display unit 610, a vision correction lens 620, and a light reflector 650 disposed between the display unit 610 and the vision correction lens 620. there is.
  • the light reflection part 650 may include a pattern RP.
  • the pattern RP may be formed to correspond to a partial area on the display unit 610 .
  • a predetermined pattern RP may be formed on a portion of the display unit 610 to direct light emitted from the light emitting unit to be reflected toward the light receiving unit.
  • the gaze tracking sensor 640 may emit light for acquiring lens characteristics of the vision correction lens 620 toward the light reflector 650 through the light emitter.
  • Light emitted from the eye tracking sensor 640 through the light emitter may be directed to the light reflector 650 through the vision correcting lens 620 .
  • the light may be reflected by the light reflector 650, pass through the vision correcting lens 620, and reach the light receiver of the gaze tracking sensor 640.
  • the augmented reality device identifies a distorted pattern DP formed by distorting the pattern RP included in the light reflection unit 650 based on the light received through the light receiver, and determines the distorted pattern DP.
  • Lens characteristic information of the vision correcting lens 620 may be obtained based on .
  • information related to the actual pattern RP included in the light reflector 650 may be pre-stored in the augmented reality device.
  • the augmented reality device may identify a distorted pattern DP from light received through the light receiving unit of the gaze tracking sensor 640 .
  • the gaze tracking sensor 640 captures the actual pattern RP through the vision correcting lens 620, so that light reflected from the actual pattern RP passes through the vision correcting lens 620. It can be refracted and formed.
  • the augmented reality device compares the actual pattern RP included in the light reflector 650 and the distorted pattern DP identified from the light received through the light receiver, thereby providing lens characteristic information of the vision correction lens 620. can be obtained. For example, the augmented reality device compares the positions of the vertices on the real pattern RP with the positions of the vertices on the distorted pattern DP, and compares the edges of the real pattern RP with the distorted pattern.
  • Lens characteristic information of the vision correcting lens 620 may be obtained by comparing the length, position, direction, degree of curvature, and the like of edges on the DP.
  • lens characteristic information of the vision correcting lens 620 may include difference value information for each vertex or characteristic change information for each edge in the pattern.
  • the difference value information for a specific vertex may indicate information related to a difference value between a position of a specific vertex in the actual pattern RP and a position of a corresponding vertex in the distorted pattern DP. For example, when considering a vector from the position of a specific vertex in the actual pattern RP to the position of the corresponding vertex in the distorted pattern DP, information about the size and direction of the vector is included. can do.
  • the characteristic change information for a specific edge may indicate information related to a difference between a characteristic of a specific edge in the real pattern RP and a characteristic of a corresponding edge in the distorted pattern DP.
  • information related to the difference between the length of a specific edge within the actual pattern RP and the length of a corresponding edge within the distorted pattern DP, or the degree of curvature of a specific edge within the actual pattern RP and the distorted may include information related to the difference in the degree of curvature of the corresponding edge within the pattern DP.
  • the degree of deformation of each point in the image captured through the vision correcting lens 620 when compared with the actual image may be obtained from the difference value information for each vertex. Also, from the characteristic change information for each edge, the degree of deformation of each line in the image captured through the vision correcting lens 620 when compared with the actual image may be obtained. Therefore, according to the lens characteristic information of the vision correction lens 620, it is possible to know how much the image captured through the vision correction lens 620 is deformed from the actual image, and the degree of distortion of the acquired (distorted) image is compensated. to produce an actual image.
  • the operation of acquiring the lens characteristic information of the vision correcting lens 620 by the augmented reality device is not limited to the above operation, and may be obtained through various operations.
  • the acquired lens characteristic information of the vision correcting lens 620 may be used in an operation of compensating for distortion of an eye image and an operation of compensating for a gaze tracking result accordingly.
  • FIG. 6 is a diagram for explaining an operation of compensating an eye image based on lens characteristic information of a vision correcting lens according to an embodiment of the present disclosure.
  • the light emitter - the vision correction lens - the light reflector - the vision correction lens - the user's eye - the vision correction lens - light Reflector - vision correcting lens - light receiver The user's eye image obtained from the light moving through the path may include distortion due to the vision correcting lens.
  • the obtained user's gaze information may have a difference from the direction of the eye gaze of the actual user. Therefore, in order to increase the accuracy of eye tracking, it is necessary to compensate for the degree of distortion of the user's eye image.
  • a distortion compensation function H(x,y) may be used to compensate for the degree of distortion of the image.
  • Lens characteristic information of a vision correcting lens may be used to generate the distortion compensation function H(x,y).
  • the grid pattern image i is located at a position where the user's eyes are to be placed when the user wears the augmented reality device.
  • the light emitter - the vision correction lens - the light reflector - the vision correction lens - the grid pattern image - the vision correction lens - the light reflector - the vision correction lens - the light receiver distorted from the light moving through the path d the grid pattern image can be obtained.
  • the degree of distortion of the user's eye image may be calculated using lens characteristic information of the vision correcting lens.
  • i(x,y) is represents the coordinate value of the vertex (x,y) from the center point (or preset origin) in the actual grid pattern image i
  • d(x,y) is the center point (or preset origin) in the distorted grid pattern image
  • d represents the coordinate value of the vertex (x,y) from Before compensating for the degree of distortion of the image, for at least one vertex (x,y), the coordinate value i(x,y) on the real grid pattern image and the coordinate value d(x,y) on the distorted grid pattern image y) can be seen to be different.
  • the coordinate value D(x,y) on the compensated grid pattern image D may be obtained by multiplying d(x,y) by the distortion compensation function H(x,y). That is, Equation 1 below may be satisfied.
  • Lens characteristic information of the vision correcting lens may be obtained through the method described above with reference to FIG. 5 or the like.
  • the lens characteristic information may include information about which points in an image captured through a vision correcting lens have moved in which direction and by how much distance when compared to an actual image.
  • the lens characteristic information may include information on how much the length or degree of curvature of each line in the image captured through the vision correcting lens is deformed when compared with the actual image.
  • the lens characteristic information of the vision correction lens it is possible to know how much the image captured through the vision correction lens is deformed from the actual image, and the distortion compensation function H for compensating the degree of distortion of the obtained (distorted) image. (x,y) can be obtained.
  • the distortion of the eye image is compensated for using the obtained distortion compensation function H(x,y), and the user's gaze is detected from the compensated eye image, so that the gaze tracking result is accurate. This may increase
  • FIG. 7 is a diagram for explaining an operation of obtaining user gaze information from a compensated eye image based on lens characteristic information of a vision correcting lens 820 according to an embodiment of the present disclosure.
  • the augmented reality device may include a display unit 810, a vision correction lens 820, and a light reflector 850 disposed between the display unit 810 and the vision correction lens 820. there is.
  • the gaze tracking sensor 840 may emit light for eye gaze tracking of a user wearing an augmented reality device toward the light reflector 850 through the light emitter.
  • Light emitted from the eye tracking sensor 840 through the light emitter may be directed to the light reflector 850 through the vision correcting lens 820 . Thereafter, the light may be sequentially reflected from the light reflector 850, the user's eyes, and again from the light reflector 850, and reach the light receiver of the gaze tracking sensor 840.
  • the augmented reality device may acquire an eye image of the user based on the light received through the light receiving unit.
  • the user's eye image obtained from the light moving through the receiver path may include distortion due to the vision correcting lens 820 . Therefore, in order to increase the accuracy of eye tracking, it is necessary to compensate for the degree of distortion of the user's eye image.
  • the augmented reality device may acquire an eyeball image d(x,y) through a light receiving unit.
  • the obtained eye image d(x,y) includes distortion due to the vision correcting lens 820 .
  • the eyeball feature point is extracted directly from the eyeball image d(x,y) and the user's gaze direction, that is, the user's pupil position information is obtained, the obtained user's pupil position corresponds to the gaze direction of the actual user due to image distortion. It may not be.
  • the augmented reality device compensates for the eyeball image d(x,y) using the distortion compensation function H(x,y) obtained by the method described above with reference to FIG. 6,
  • the user's pupil position information and the user's gaze information are detected from the compensated eye image. That is, according to an embodiment of the present disclosure, since the user's gaze is detected from the compensated eye image using the distortion compensation function H(x,y) obtained using the lens characteristic information of the vision correction lens 820, the gaze The accuracy of tracking results can be increased.
  • FIG. 8 is a diagram for explaining an operation of obtaining lens characteristic information of a vision correcting lens according to an embodiment of the present disclosure
  • FIG. 9 is a diagram for obtaining lens characteristic information of a vision correcting lens according to an embodiment of the present disclosure. It is a drawing for explaining the operation.
  • an indicator 922 used to acquire lens characteristic information of the vision correcting lens 920 may be displayed on the vision correcting lens 920 .
  • the processor of the augmented reality device may obtain lens characteristic information of the vision correcting lens 920 by identifying the indicator 922 .
  • the processor emits light toward the indicator 922 by controlling the light emitter included in the gaze tracking sensor 940 and based on the light received through the light receiver included in the gaze tracking sensor 940.
  • the indicator 922 can be identified.
  • the vision correcting lens 1020 may include a coupler 1022 coupled to the support of the augmented reality device.
  • the processor of the augmented reality device applies an electromagnetic signal to the vision correction lens 1020 through the coupler 1022 and obtains a corresponding electromagnetic return signal from the vision correction lens 1020, thereby correcting vision.
  • Lens characteristic information of the lens 1020 may be acquired.
  • the augmented reality device includes a display unit 1110, a light reflection unit 1150, and a vision correction lens, and the vision correction lens has a variable focus.
  • a lens 1123 may be included.
  • the augmented reality device of FIG. 10 may correspond to the augmented reality device of FIG. 3 .
  • the variable focus lens 1123 may be controlled using a refractive index according to a position and a position of an aperture center as control parameters.
  • the processor may set a control parameter for controlling the variable focus lens 1123 and obtain lens characteristic information of the vision correcting lens based on the set control parameter.
  • FIG. 11 is a diagram illustrating an augmented reality device 1200 according to an embodiment of the present disclosure.
  • an augmented reality device 1200 for detecting a user's gaze is shown.
  • the augmented reality device 1200 may include glasses-shaped AR glasses worn on the face of a user, a head mounted display (HMD) worn on the head, a virtual reality headset (VRH), or It may include an AR helmet and the like.
  • HMD head mounted display
  • VRH virtual reality headset
  • the augmented reality device 1200 by placing the display in front of the user's eyes, since the screen moves according to the user's movement, it is possible to provide a real scene and a realistic virtual image.
  • a user may wear an augmented reality device 1200, capable of displaying visual augmented reality content.
  • the augmented reality device 1200 may include an audio module capable of providing audio augmented reality content to a user.
  • the augmented reality device 1200 may include one or more cameras capable of capturing images and video of the surroundings.
  • the augmented reality device 1200 may include an eye tracking system to determine a user's vergence distance.
  • the augmented reality device 1200 may include a lightweight head-worn display (HMD) (eg, goggles, glasses, visor, etc.).
  • the augmented reality device 1200 is laser projection glasses (e.g., capable of projecting a low-powered laser onto the user's retina to project and display images or depth content to the user). eyeglasses), non-HMD devices.
  • the augmented reality apparatus 1200 may provide an AR service in which at least one virtual object is output so as to overlap an area determined as a user's field of view (FOV).
  • FOV field of view
  • the area determined as the user's field of view is an area determined to be perceptible by a user wearing the augmented reality device 1200 through the augmented reality device 1200, and the entire display of the augmented reality device 1200 is displayed.
  • it may be a region including at least a part of it.
  • the augmented reality device 1200 may include a plurality of transparent members (eg, displays 1220 and 1230) corresponding to both eyes of the user.
  • the augmented reality device 1200 may include a display module 1214, a camera, an audio output unit, and support units 1221 and 1222.
  • the camera may capture an image corresponding to the user's field of view or measure a distance to an object.
  • the camera may be used for head tracking and spatial awareness. Also, the camera may recognize the user's movement.
  • the camera may further include an 'eye tracking (ET) camera 1212' in addition to the camera 1213 used for detecting an image corresponding to the user's field of view, that is, motion of an object, or spatial recognition. there is.
  • the ET camera 1212 may be used to detect and track the pupil of the user.
  • the ET camera 1212 may be used for adjusting the center of a virtual image projected on the augmented reality device 1200 to be positioned according to the direction in which the eyes of the user wearing the augmented reality device 1200 gaze.
  • the ET camera 1212 may correspond to the light receiver 343 of FIG. 3 described above.
  • a global shutter (GS) camera may be used in the ET camera 1212 to detect pupils and track fast pupil movements without delay.
  • the ET camera 1212 may separately include a left-eye camera 1212-1 and a right-eye camera 1212-2.
  • the display module 1214 may include a first display 1220 and a second display 1230 .
  • the display module 1214 may correspond to the display unit 310 of FIG. 3 described above.
  • the virtual object output through the display module 1214 may include information related to an application program executed on the augmented reality device 1200 or information related to an external object located in a real space corresponding to a region determined by the user's field of view. there is.
  • the augmented reality apparatus 1200 may check an external object included in at least a part corresponding to a region determined as the user's field of view among image information related to the real space obtained through the camera 1213 .
  • the augmented reality device 1200 may output a virtual object related to an external object checked at least in part through an area determined to be the user's field of view among display areas of the augmented reality device 1200 .
  • External objects may include objects existing in a real space.
  • the displays 1220 and 1230 may include a condensing lens, a corrective lens, or a waveguide in a transparent member.
  • the light guide plate may correspond to the above-described light guide plate 311 of FIG. 3 .
  • the transparent member may be formed of a glass plate, plastic plate, or polymer, and may be made completely transparent or translucent.
  • the transparent member may include a first transparent member facing the right eye of the user wearing the augmented reality device 1200 (eg, the second display 1230) and a second transparent member facing the left eye of the user. (eg, the first display 1220). If the display is transparent, it may be disposed at a position facing the user's eyes to display a screen.
  • the light guide plate may transmit light generated from a light source of the display to the user's eyes.
  • the light guide plate may be at least partially positioned on a portion of a transparent member (eg, the display 1220 or 1230).
  • light emitted from the display may be incident to one end of the light guide plate, and the incident light may be transmitted to the user's eyes through total internal reflection within the light guide plate.
  • the light guide plate may be made of a transparent material such as glass, plastic, or polymer, and may include a nanopattern formed on an inner or outer surface, for example, a polygonal or curved grating structure.
  • the incident light may be propagated or reflected inside the light guide plate by the nanopattern and provided to the user's eyes.
  • the light guide plate may include at least one of at least one diffractive element (eg, a diffractive optical element (DOE) or a holographic optical element (HOE)) or a reflective element (eg, a mirror).
  • the light guide plate may guide the display light emitted from the light source unit to the user's eyes by using at least one diffractive element or reflective element.
  • the displays 1220 and 1230 may include a display panel or lens (eg, glass).
  • the display panel may include a transparent material such as glass or plastic.
  • the display may be composed of a transparent element, and the user may perceive the real space behind the display by passing through the display.
  • the display may display the virtual object on at least a partial region of the transparent element so that the user sees that the virtual object is added to at least a portion of the real space.
  • the supports 1221 and 1222 may include printed circuit boards (PCBs) 1231-1 and 1231-2 for transmitting electrical signals to each component of the augmented reality device 1200, audio Speakers 1232-1 and 1232-2 for outputting signals or batteries 1233-1 and 1233-2 for supplying power may be included.
  • the support portions 1221 and 1222 may correspond to the aforementioned support portion 330 of FIG. 3 .
  • the support parts 1221 and 1222 may be disposed on the temple parts of the glasses.
  • the support units 1221 and 1222 may include hinge units 1240 - 1 and 1240 - 2 coupled to the main body of the augmented reality device 1200 .
  • the speakers 1232-1 and 1232-2 include a first speaker 1232-1 for transmitting audio signals to the user's left ear and a second speaker 1232-2 for transmitting audio signals to the user's right ear. can do.
  • the augmented reality device 1200 may include a microphone 1241 for receiving a user's voice and ambient sounds.
  • the augmented reality device 1200 includes at least one camera (eg, the ET camera 1212, the outward facing camera 1213, or the recognition cameras 1211-1 and 1211-2) to increase accuracy. It may include one illumination LED 1242 .
  • the light emitting device 1242 may be used as an auxiliary means for increasing accuracy when photographing a user's pupil with the ET camera 1212, and the light emitting device 1242 may use an IR LED of an infrared wavelength rather than a visible light wavelength.
  • the light emitting device 1242 may correspond to the light emitting portion 341 of FIG. 3 described above.
  • the light emitting device 1242 may be used as an auxiliary means when it is not easy to detect a subject due to a dark environment when a user's gesture is photographed by the recognition cameras 1211-1 and 1211-2.
  • the display module 1214 includes a first light guide plate corresponding to the left eye (eg, the first display 1220) and a second light guide plate corresponding to the right eye (eg, the second display 1230). ), and may provide visual information to a user through a first light guide plate (eg, the first display 1220) and a second light guide plate (eg, the second display 1230).
  • the display module 1214 may include a display panel and a lens (eg, a glass lens, a plastic lens, or an LC lens).
  • the display panel may include a transparent material such as glass or plastic.
  • the display module 1214 may be formed of a transparent element, and a user may pass through the display module 1214 and perceive a real space in front of the user as well as a rear surface of the display module 1214 .
  • the display module 1214 may display the virtual object on at least a partial region of the transparent device so that the user sees that the virtual object is added to at least a portion of the real space.
  • the augmented reality device 1200 determines an external object included in at least a part corresponding to an area determined by the user's field of view (FoV) among the image information related to the real space acquired through the outward facing camera 1213.
  • the augmented reality device 1200 may output (or display) a virtual object related to an external object checked at least in part through an area determined by a user's viewing angle among display areas of the augmented reality device 1200 .
  • External objects may include objects existing in a real space.
  • a display area where the augmented reality device 1200 displays a virtual object may include a portion of the display module 1214 (eg, at least a portion of the display panel).
  • the display area may correspond to at least a portion of the first light guide plate (eg, the first display 1220) and the second light guide plate (eg, the second display 1230). .
  • the augmented reality device 1200 may measure a distance to a physical object located in the front direction of the augmented reality device 1200 by using the outward facing camera 1213 .
  • the outward facing camera 1213 may include a high resolution (HR) camera such as a photo video (PV) camera.
  • the augmented reality device 1200 is not limited to the above-described configuration, and may include various components in various locations and in various numbers.
  • Various embodiments of the present disclosure may be implemented or supported by one or more computer programs, and the computer programs may be formed from computer readable program codes and recorded in a computer readable medium.
  • application and “program” mean one or more computer programs, software components, sets of instructions, procedures, functions, objects suitable for implementation in computer readable program code. ), class, instance, related data, or part thereof.
  • Computer readable program code may include various types of computer code, including source code, object code, and executable code.
  • Computer readable medium means read only memory (ROM), random access memory (RAM), hard disk drive (HDD), compact disc (CD), digital video disc (DVD), or various types of memory; It may include various types of media that can be accessed by a computer.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • a 'non-transitory storage medium' is a tangible device, and may exclude wired, wireless, optical, or other communication links that transmit transitory electrical or other signals. Meanwhile, this 'non-temporary storage medium' does not distinguish between a case in which data is semi-permanently stored in the storage medium and a case in which data is temporarily stored in the storage medium.
  • the 'non-temporary storage medium' may include a buffer in which data is temporarily stored.
  • Computer readable media can be any available media that can be accessed by a computer and can include both volatile and nonvolatile media, removable and non-removable media. Computer readable media include media on which data can be permanently stored and media on which data can be stored and later overwritten, such as rewritable optical discs or removable memory devices.
  • the method according to various embodiments disclosed in this document may be provided by being included in a computer program product.
  • Computer program products may be traded between sellers and buyers as commodities.
  • a computer program product is distributed in the form of a device-readable storage medium (eg, compact disc read only memory (CD-ROM)), or through an application store or on two user devices (eg, smart It can be distributed (eg, downloaded or uploaded) online, directly between phones).
  • a part of a computer program product eg, a downloadable app
  • a storage medium readable by a device such as a manufacturer's server, an application store server, or a relay server's memory. It can be at least temporarily stored in or temporarily created.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)

Abstract

시력 보정 렌즈를 포함하는 증강 현실 장치가 사용자의 시선을 검출하는 방법이 제공된다. 방법은, 사용자의 시선 방향에서 도광판과 중첩되어 배치된 시력 보정 렌즈의 렌즈 특성 정보를 획득하는 단계; 광 방출부를 통해 광 반사부를 향해 시선 추적을 위한 광을 방출하고, 방출된 광은 광 반사부에 의해 반사되어 사용자의 눈을 향하는 것인, 단계; 사용자의 눈에 의해 반사된 광을 광 수신부를 통해 수신하는 단계; 수신된 광에 기초하여 사용자의 눈 이미지를 획득하는 단계; 시력 보정 렌즈의 렌즈 특성 정보에 기초하여 사용자의 눈 이미지를 보상하는 단계; 및 보상된 눈 이미지에 기초하여 시선 정보를 획득하는 단계를 포함할 수 있다.

Description

사용자의 시선을 검출하는 증강 현실 장치 및 방법
본 개시는 사용자의 시선을 검출하는 증강 현실 장치 및 방법에 관한 것이다. 보다 상세하게는, 본 개시는 시력 보정 렌즈를 포함하는 증강 현실 장치에서 사용자의 시선을 검출하는 시선 추적 센서 및 방법에 관한 것이다.
증강 현실(augmented reality, AR) 기술은 현실의 환경에 가상 사물이나 정보를 합성하여, 가상 사물이나 정보가 현실의 물리적 환경에 존재하는 사물처럼 보이도록 하는 기술이다. 현대의 컴퓨팅 및 디스플레이 기술은 증강 현실 경험을 위한 시스템의 개발을 가능하게 하였는데, 증강 현실 경험에서는, 디지털적으로 재 생성된 이미지 또는 그 일부가, 이들이 현실인 것처럼 생각되거나, 또는 현실로서 인식될 수 있는 방식으로 사용자에게 제시될 수 있다.
한편, 대부분의 증강 현실 장치는 헤드 마운트 디스플레이(head mounted display, HMD)의 형태를 갖는데, 이러한 증강 현실 장치는 시력 교정용 안경을 착용한 상태로 사용하기 불편함이 있다. 시력 교정용 안경을 착용하는 사람의 교정 전 시력은 근시, 원시, 난시, 또는 이들의 조합으로 인해 복합적으로 나타날 수 있다. 시력 교정이 필요한 사용자가 시력 교정용 안경을 착용하지 않고 증강 현실 장치를 사용하는 경우, 현실의 물리적 환경에 대해 이미지를 설명하게 인식할 수 없고, 증강 현실의 몰입도가 떨어진다. 이에 따라, 별도의 안경을 착용하지 않은 사용자에게도 실감나는 증강 현실 서비스를 제공하기 위해, 시력 보정 렌즈를 포함하는 증강 현실 장치가 개발되고 있다.
증강 현실 또는 가상 현실(virtual reality, VR) 장치를 이용한 다양한 애플리케이션에서는, 장치를 착용한 사용자의 시선 방향에 대한 정보가 요구되는 경우가 많다. 시선 방향 정보는 사용자 인터페이스를 구축하거나, 사용자에게 제공되는 이미지의 렌더링(예를 들어, 포비티드 렌더링(foveated rendering))을 최적화하거나, 사용자가 바라보는 객체까지의 거리를 결정하는 등, 다양한 동작들에 이용될 수 있다. 시선 방향 정보는 사용자의 안구 위치 추적 센서(이하, 시선 추적 센서(eye-tracking sensor, ET sensor)라고 한다)에 의해 생성될 수 있다.
따라서, 시력 보정 렌즈를 포함하는 증강 현실 장치에서 사용자의 시선 검출의 정확성을 높일 수 있는 시선 추적 방법의 개발이 필요하다.
본 개시의 일 실시예는, 시력 보정 렌즈를 포함하는 증강 현실 장치에서 시선 검출의 정확성을 높일 수 있는, 시선 추적 방법 및 장치를 제공할 수 있다.
본 개시의 일 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 이하의 실시예들로부터 또 다른 기술적 과제들이 유추될 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서 개시된 증강 현실 장치는, 도광판, 증강 현실 장치를 착용한 사용자의 시선 방향에서 도광판과 중첩되어 배치된 시력 보정 렌즈, 증강 현실 장치를 증강 현실 장치의 사용자의 얼굴에 고정하기 위한 지지부, 지지부의 일부분에 설치되는 광 방출부 및 광 수신부를 포함하는 시선 추적 센서, 시선 추적을 위한 광을 반사시키기 위한 광 반사부, 및 적어도 하나의 프로세서를 포함할 수 있다. 프로세서는, 시력 보정 렌즈의 렌즈 특성 정보를 획득하고, 광 방출부를 제어함으로써 광 반사부를 향해 시선 추적을 위한 광을 방출하고, 광 수신부를 통해 수신된 광에 기초하여 사용자의 눈 이미지를 획득하고, 렌즈 특성 정보에 기초하여 사용자의 눈 이미지를 보상하고, 보상된 눈 이미지로부터 사용자의 시선 정보를 획득할 수 있다. 광 반사부를 향해 방출된 광은 광 반사부에 의해 반사되어 사용자의 눈을 향하고, 광 수신부에 의해 수신된 광은 사용자의 눈을 향한 광이 사용자의 눈에 의해 반사된 광을 포함할 수 있다. 광 반사부는 패턴을 포함할 수 있다. 프로세서는, 광 방출부를 제어함으로써 광 반사부를 향해 시력 보정 렌즈의 렌즈 특성 정보 획득을 위한 광을 방출하고, 광 수신부를 통해 수신된 광에 기초하여 왜곡된 패턴을 식별하고, 왜곡된 패턴에 기초하여 시력 보정 렌즈의 렌즈 특성 정보를 획득할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서 개시된 시력 보정 렌즈를 포함하는 증강 현실 장치가 사용자의 시선을 검출하는 방법은, 사용자의 시선 방향에서 증강 현실 장치로부터 출력되는 영상을 디스플레이하기 위한 도광판과 중첩되어 배치된, 시력 보정 렌즈의 렌즈 특성 정보를 획득하는 단계; 증강 현실 장치의 지지부의 일부분에 설치되는 광 방출부를 통해 광 반사부를 향해 시선 추적을 위한 광을 방출하고, 방출된 광은 광 반사부에 의해 반사되어 증강 현실 장치를 착용한 사용자의 눈을 향하는 것인, 단계; 사용자의 눈에 의해 반사된 광을 지지부에 설치되는 광 수신부를 통해 수신하는 단계; 광 수신부를 통해 수신된 광에 기초하여, 사용자의 눈 이미지를 획득하는 단계; 시력 보정 렌즈의 렌즈 특성 정보에 기초하여 사용자의 눈 이미지를 보상하는 단계; 및 보상된 눈 이미지에 기초하여 사용자의 시선 정보를 획득하는 단계를 포함할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서 개시된, 컴퓨터로 읽을 수 있는 기록 매체는, 개시된 방법의 실시예들 중에서 적어도 하나를 컴퓨터에서 실행시키기 위한 프로그램이 저장된 것일 수 있다.
도 1은 본 개시의 일 실시예에 따른 시력 보정 렌즈를 포함하는 증강 현실 장치에서 사용자의 시선을 추적하는 방법의 개요도이다.
도 2는 본 개시의 일 실시예에 따른 증강 현실 장치가 사용자의 시선을 검출하는 방법의 흐름도이다.
도 3은 본 개시의 일 실시예에 따른 증강 현실 장치의 블록도이다.
도 4는 본 개시의 일 실시예에 따른 증강 현실 장치가 사용자의 시선을 검출하는 동작을 설명하기 위한 도면이다.
도 5는 본 개시의 일 실시예에 따른 시력 보정 렌즈의 렌즈 특성 정보를 획득하는 동작을 설명하기 위한 도면이다.
도 6은 본 개시의 일 실시예에 따른 시력 보정 렌즈의 렌즈 특성 정보에 기초하여 눈 이미지를 보상하는 동작을 설명하기 위한 도면이다.
도 7은 본 개시의 일 실시예에 따른 시력 보정 렌즈의 렌즈 특성 정보에 기초하여 보상된 눈 이미지로부터 사용자의 시선 정보를 획득하는 동작을 설명하기 위한 도면이다.
도 8은 본 개시의 일 실시예에 따른 시력 보정 렌즈의 렌즈 특성 정보를 획득하는 동작을 설명하기 위한 도면이다.
도 9는 본 개시의 일 실시예에 따른 시력 보정 렌즈의 렌즈 특성 정보를 획득하는 동작을 설명하기 위한 도면이다.
도 10은 본 개시의 일 실시예에 따른 시력 보정 렌즈의 제어 파라미터를 설명하기 위한 도면이다.
도 11은 본 개시의 일 실시예에 따른 증강 현실 장치를 도시한 도면이다.
아래에서는 첨부한 도면을 참조하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 개시의 실시예를 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 개시의 실시예들에서 사용되는 용어는 본 개시의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 실시예의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 명세서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다.
본 개시 전체에서 어떤 부분이 어떤 구성요소를 “포함”한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 본 명세서에 기재된 “~부”, “~모듈” 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
명세서 전체에서, 어떤 부분이 다른 부분과 “연결”되어 있다고 할 때, 이는 “직접적으로 연결”되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 “전기적으로 연결”되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 “포함”한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 명세서에서 사용된 표현 “~하도록 구성된(또는 설정된)(configured to)”은 상황에 따라, 예를 들면, “~에 적합한(suitable for)”, “~하는 능력을 가지는(having the capacity to)”, “~하도록 설계된(designed to)”, “~하도록 변경된(adapted to)”, “~하도록 만들어진(made to)”, 또는 “~를 할 수 있는(capable of)”과 바꾸어 사용될 수 있다. 용어 “~하도록 구성된(또는 설정된)”은 하드웨어적으로 “특별히 설계된(specifically designed to)” 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, “~하도록 구성된 시스템”이라는 표현은, 그 시스템이 다른 장치 또는 부품들과 함께 “~할 수 있는” 것을 의미할 수 있다. 예를 들면, 문구 “A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서”는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
본 개시에서, '증강 현실(AR: Augmented Reality) 시스템'은 현실 세계의 물리적 환경 공간 내에 가상 이미지를 함께 보여주거나 현실 객체와 가상 이미지를 함께 보여주는 시스템을 나타낸다.
본 개시에서, '증강 현실 장치(Augmented Reality Device, AR device)'는 '증강 현실(Augmented Reality)'을 표현할 수 있는 장치로서, 사용자가 안면부(顔面部)에 착용하는 안경 형상의 증강 현실 안경 장치(Augmented Reality Glasses), 두부(頭部)에 착용하는 헤드 마운트 디스플레이(Head Mounted Display, HMD) 장치, 가상 현실 헤드셋(virtual reality headset, VRH), 또는 증강 현실 헬멧(augmented reality helmet) 등을 포함할 수 있다.
본 개시에서, '현실 장면(real scene)'은 사용자가 증강 현실 장치를 통해서 보는 현실 세계의 장면으로서, 현실 객체(real world object)를 포함할 수 있다. '가상 이미지(virtual image)'는 광학 엔진을 통해 생성되는 이미지로 정적 이미지와 동적 이미지를 모두 포함할 수 있다. 가상 이미지는 현실 장면과 함께 관측될 수 있고, 현실 장면 속의 현실 객체에 대한 정보 또는 증강 현실 장치의 동작에 대한 정보나 제어 메뉴 등을 나타내는 이미지일 수 있다.
일 실시예에서, 증강 현실 장치는 광원에서 생성된 광으로 구성되는 가상 이미지를 생성하기 위한 광학 엔진과 광학 엔진에서 생성된 가상 이미지를 사용자의 눈까지 안내하고 현실 세계의 장면도 함께 볼 수 있도록 투명한 재질로 형성된 도광판(waveguide)을 구비한다. 증강 현실 장치는 현실 세계의 장면도 함께 관측할 수 있어야 하므로 광학 엔진에서 생성된 광을 도광판을 통해 사용자의 눈까지 안내하기 위해서는 기본적으로 직진성을 가지는 광의 경로를 변경하기 위한 광학 소자(Optical element)가 필요하다. 이 때, 미러 등에 의한 반사를 이용하여 광 경로를 변경할 수도 있고, DOE(Diffractive optical element), HOE(Holographic optical element) 등과 같은 회절 소자에 의한 회절을 통해 광 경로를 변경할 수도 있으나 이에 한정되는 것은 아니다.
이하 첨부된 도면을 참고하여 본 개시를 상세히 설명하기로 한다.
도 1은 본 개시의 일 실시예에 따른 시력 보정 렌즈(prescription lens)를 포함하는 증강 현실 장치(augmented reality device, AR device)에서 사용자의 시선을 추적하는 방법의 개요도이다.
본 개시의 일 실시예에 따른 증강 현실 장치는, 증강 현실을 표현할 수 있는 장치로서, 가상 대상체(virtual object) 및 현실에 존재하는 물리적 대상체(physical object)를 포함하는 이미지를 표시할 수 있다.
도 1을 참조하면, 증강 현실 장치는 안경형 디스플레이 장치로서 사용자가 착용할 수 있도록 구성된 안경형 몸체를 포함할 수 있다.
안경형 몸체는 증강 현실 장치를 사용자의 얼굴에 고정하기 위한 지지부를 포함할 수 있다. 지지부는 템플(131) 및 브릿지(132)를 포함할 수 있다. 템플(131)은 안경형 몸체의 측면부에서 사용자의 머리에 증강 현실 장치를 고정하는데 이용될 수 있다. 브릿지(132)는 사용자의 코 부분에 증강 현실 장치를 안착시키는데 이용될 수 있으며, 예를 들어, 코 다리 및 안경 코를 포함할 수 있으나, 이에 제한되지 않는다.
일 실시예에서, 안경형 몸체는 프레임을 더 포함할 수 있다. 프레임에는 도광판(110), 시력 보정 렌즈(120), 및 광 반사부(150)가 배치될 수 있다. 예를 들어, 프레임은 도광판(110) 및 시력 보정 렌즈(120)의 외주면을 둘러싸도록 형성될 수 있다. 도광판(110)은 투사된 광을 입력 영역에서 입력 받고 입력된 광의 적어도 일부를 출력 영역에서 출력하도록 구성될 수 있고, 시력 보정 렌즈(120)는 도광판(110)과 사용자의 눈 사이에 배치되어, 사용자가 도광판(110)에 디스플레이된 장면 또는 도광판(110)을 통해 현실 장면을 인지할 때의 시력을 보정할 수 있다. 일 실시예에서, 도광판(110)은 좌안용 도광판 및 우안용 도광판을 포함할 수 있고, 시력 보정 렌즈(120)는 좌안용 시력 보정 렌즈 및 우안용 시력 보정 렌즈를 포함할 수 있다.
좌안용 시력 보정 렌즈(120), 좌안용 광 반사부(150), 및 좌안용 도광판(110)이 사용자의 좌안에 대응되는 위치에 배치될 수 있으며, 우안용 시력 보정 렌즈, 우안용 광 반사부, 및 우안용 도광판은 사용자의 우안에 대응되는 위치에 배치될 수 있다. 예를 들어, 좌안용 광 반사부(150)는 좌안용 시력 보정 렌즈(120) 및 좌안용 도광판(110) 사이에 배치될 수 있고, 좌안용 도광판(110) 또는 좌안용 시력 보정 렌즈(120)의 일면에 코팅될 수 있으나, 이에 제한되지 않는다. 마찬가지로, 우안용 광 반사부는 우안용 시력 보정 렌즈 및 우안용 도광판 사이에 배치될 수 있고, 우안용 도광판 또는 우안용 시력 보정 렌즈의 일면에 코팅될 수 있으나, 이에 제한되지 않는다.
일 실시예에서, 화상을 담은 디스플레이 광을 투사하는 프로젝터의 광학 엔진은 좌안용 광학 엔진 및 우안용 광학 엔진을 포함할 수 있다. 좌안용 광학 엔진 및 우안용 광학 엔진은 증강 현실 장치의 양 측면에 위치할 수 있다. 또는 하나의 광학 엔진이 증강 현실 장치의 브릿지(132) 주변 중앙 부분에 포함될 수도 있다. 광학 엔진으로부터 출사된 광은 도광판(110)을 통해 표시될 수 있다.
일 실시예에서, 시선 추적 센서는 광 방출부(141) 및 광 수신부(143)를 포함할 수 있다. 광 방출부(141) 및 광 수신부(143)는 증강 현실 장치의 지지부에서, 지지부와 사용자의 눈 사이의 위치인 지지부의 내측면 부분에 배치될 수 있다. 광 방출부(141) 및 광 수신부(143)는 증강 현실 장치의 지지부에서 광 반사부(150)를 향하도록 배치될 수 있다. 예를 들어, 광 방출부(141) 및 광 수신부(143)는 사용자의 머리카락 등의 방해를 받지 않으면서 IR 광을 방출하고 수신할 수 있도록, 증강 현실 장치의 템플(131)의 측면 중에서, 도광판(110)으로부터 2mm ~ 25mm 정도 이격된 위치에 배치될 수 있다.
증강 현실 장치는, 증강 현실 장치를 착용한 사용자의 시력을 보정하기 위한 시력 보정 렌즈(120)를 포함할 수 있다. 일 실시예에서, 시력 보정 렌즈(120)는 기 설정된 고정된 굴절 특성을 가질 수도 있고, 필요에 따라 변화할 수 있는 가변적 굴절 특성을 가질 수도 있다.
도 2는 본 개시의 일 실시예에 따른 증강 현실 장치가 사용자의 시선을 검출하는 방법의 흐름도이다.
도 2를 참조하면, 단계 S210에서, 증강 현실 장치는 시력 보정 렌즈의 렌즈 특성 정보를 획득할 수 있다. 단계 S220에서, 증강 현실 장치는 광 방출부를 통해 광 반사부를 향해 시선 추적을 위한 광을 방출할 수 있다. 단계 S230에서 증강 현실 장치는 사용자의 눈에 의해 반사된 광을 광 수신부를 통해 수신할 수 있다. 단계 S240에서 증강 현실 장치는 수신된 광에 기초하여 사용자의 눈 이미지를 획득할 수 있다. 단계 S250에서, 증강 현실 장치는 시력 보정 렌즈의 렌즈 특성 정보에 기초하여 사용자의 눈 이미지를 보상할 수 있다. 단계 S260에서 증강 현실 장치는 보상된 눈 이미지에 기초하여 사용자의 시선 정보를 획득할 수 있다.
도 3은 본 개시의 일 실시예에 따른 증강 현실 장치(300)의 블록도이다.
도 3을 참조하면, 본 개시의 일 실시예에 따른 증강 현실 장치(300)는 디스플레이부(310), 시력 보정 렌즈(320), 지지부(330), 시선 추적 센서(340), 광 반사부(350), 프로세서(360), 및 저장부(370)를 포함할 수 있다.
디스플레이부(310)는 증강 현실 장치(300)에서 처리되는 정보를 표시 출력한다. 예를 들어, 디스플레이부(310)는, 증강 현실 장치(300)의 주변을 촬영하기 위한 사용자 인터페이스 및 증강 현실 장치(300) 주변의 촬영된 이미지를 기반으로 제공되는 서비스에 관련된 정보를 디스플레이할 수 있다.
일 실시예에 의하면, 디스플레이부(310)는 AR(Augmented Reality) 영상을 제공할 수 있다. 일 실시예에 따른 디스플레이부(310)는, 도광판(light guide plate 또는 waveguide)(311) 및 광학 엔진(312)을 포함할 수 있다. 도광판(311)은 사용자가 증강 현실 장치(300)를 착용할 때, 배면의 일부 영역이 보이는 투명한 소재로 구성될 수 있다. 도광판(311)은 광이 내부에서 반사되면서 전파될 수 있는 투명 재질의 단층 혹은 다층 구조의 평판으로 구성될 수 있다. 도광판(311)은 광학 엔진(312)의 출사면에 마주하여 광학 엔진(312)으로부터 투사된 가상 이미지의 광을 입력 받을 수 있다. 여기서, 투명 재질이라 함은, 광이 통과될 수 있는 재질이라는 의미이며, 투명도가 100%가 아닐 수 있으며, 소정의 색상을 지닐 수도 있다. 일 실시 예에서, 도광판(311)은 투명 재질로 형성됨에 따라, 사용자는 디스플레이부(310)를 통해 가상 이미지의 가상 객체를 볼 수 있을 뿐만 아니라, 외부 실제 장면(scene)을 볼 수도 있으므로, 도광판(311)은 시스루 디스플레이(see through display)로 지칭될 수 있다. 디스플레이부(310)는 도광판(311)을 통해 가상 이미지의 가상 객체를 출력함으로써, 증강 현실(argumented reality) 영상을 제공할 수 있다. 증강 현실 장치(300)가 안경 형태의 장치인 경우에, 디스플레이부(310)는 좌측 디스플레이부 및 우측 디스플레이부를 포함할 수 있다.
시력 보정 렌즈(320)는 증강 현실 장치(300)를 착용한 사용자의 시력을 보정할 수 있다. 일 실시예에서, 시력 보정 렌즈(320)는 도광판(311) 및 사용자의 눈 사이에 배치될 수 있고, 도광판(311)을 통해 현실 장면 및 가상 영상을 인식하는 사용자의 시력을 보정할 수 있다. 시력 보정 렌즈(320)는 기 설정된 고정된 굴절 특성을 가질 수도 있고, 필요에 따라 변화할 수 있는 가변적 굴절 특성을 가질 수도 있다. 본 개시의 일 실시예에서 시력 보정 렌즈(320)의 렌즈 특성이란, 광 반사부(350)가 시력 보정 렌즈(320) 및 도광판(311) 사에에 배치되는 경우, 눈 이미지가 광 방출부(341) - 시력 보정 렌즈(320) - 광 반사부(350) - 시력 보정 렌즈(320) - 사용자의 눈 - 시력 보정 렌즈(320) - 광 반사부(350) - 시력 보정 렌즈(320) - 광 수신부(343) 경로를 통해 획득되는 과정에서 발생하는 눈 이미지 왜곡을 야기시키는 렌즈의 특성을 나타낸다. 예를 들어, 시력 보정 렌즈(320)의 렌즈 특성은 시력 보정 렌즈(320)가 빛을 모으거나 벌리는 정도를 나타낼 수 있다. 시력 보정 렌즈(320)의 렌즈 특성은 굴절률(refractive index)과 렌즈 굴절면의 곡률(curvature) 등에 기초하여 결정될 수 있다. 예를 들어, 시력 보정 렌즈(320)의 렌즈 특성은 굴절률 또는 굴절면의 곡률이 증가할수록 커진다. 굴절률은 빛과 파동이 서로 다른 매질의 경계면(굴절면)을 지날 때 굴절되는 정도를 나타낼 수 있다. 예를 들어, 굴절률은 시력 보정 렌즈(320)의 재질에 기초하여 결정될 수 있다. 일 실시예에서, 시력 보정 렌즈(320)의 렌즈 특성 정보는 굴절률 또는 굴절면의 곡률 외에도, 렌즈 특성을 나타내기 위해 표현되는 다양한 수치들을 포함할 수 있다.
광 반사부(350)는 후술할 광 방출부(341)로부터 방출된 광을 반사할 수 있다. 광 반사부(350) 및 도광판(311)이 사용자의 눈을 대향하는 위치에 배치될 수 있으며, 광 반사부(350) 및 도광판(311)이 서로 부착될 수 있다. 예를 들어, 광 반사부(350)는 도광판(311) 상의 적어도 일부 영역에 코팅될 수 있다. 또한, 광 반사부(350)는 도광판 이외에 안경 형태의 증강 현실 장치에 포함되는 다른 구성 요소들, 예를 들어, 시력 보정 렌즈(320) 또는 도광판(311)을 보호하기 위해 설치되는 커버 글래스에 부착되거나 코팅 될 수도 있다. 광 반사부(350)는 광 방출부(341)로부터 방출된 IR 광 등의 광을 반사할 수 있는 물질로 형성될 수 있다. 광 반사부(350)는, 예를 들어, 은, 금, 구리 또는 이러한 금속 중 하나 이상을 포함하는 물질일 수 있으나, 이에 제한되지 않는다. 이에 따라, 광 방출부(341)로부터 방출된 광은 광 반사부(350)에 의해 반사되어 사용자의 눈을 향할 수 있으며, 사용자의 눈으로부터 다시 반사된 광이 광 반사부(350)에 의해 반사되어 광 수신부(343)를 향할 수 있다.
광 반사부(350)는 소정의 패턴을 가지도록 도광판(311) 상에 코팅될 수 있다. 광 반사부(350)에 형성되는 패턴은, 예를 들어, 점 패턴, 선 패턴, 격자 패턴, 2D 마커 등을 포함할 수 있으나, 이에 제한되지 않는다. 또한, 광 반사부(350)에 형성되는 패턴은, 예를 들어, 도광판(311) 상에서 사용자의 시선이 향하는 빈도가 낮은 부분에 형성될 수 있다. 광 반사부(350)에 형성되는 패턴은, 예를 들어, 도광판(311) 상에서 사용자의 눈을 촬영하거나 스캔하는데 방해가 되지 않는 부분에 형성될 수 있다. 예를 들어, 소정의 패턴은, 광 반사부(350)에서, 광 방출부(341)로부터 방출된 광이 반사되는 부분과 반사되지 않는 부분에 의해 형성되는 무늬를 가리킬 수 있다. 광 반사부(350)에서 광이 반사되지 않는 부분을 향하여 방출된 광은, 광 반사부(350)에 의해 반사되지 않게 되므로, 광 수신부(343)는 광이 반사되지 않는 부분을 향하여 방출된 광을 받지 못하게 된다. 이에 따라, 광 반사부(350)의 광을 반사하는 부분 및 광을 반사하지 않는 부분에 의해 형성되는 패턴이 광 수신부(343)에 의해 수신된 광으로부터 검출될 수 있다.
일 실시예에서, 광 방출부(341)로부터 방출되는 광이 IR 광일 경우, 소정의 패턴은 IR 광을 반사하기 위한 물질로 형성될 수 있고, IR 광을 반사하기 위한 물질은 사용자의 눈으로는 보이지 않는 물질을 포함할 수 있다. 증강 현실 장치(300)를 통해 사용자에 의해 관측되는 현실 세계의 광 또는 현실 장면은 대부분 가시광으로 구성되므로, 사용자는 소정의 패턴이 형성된 광 반사부(350)에 의한 방해를 받지 않고, 현실 세계의 광 또는 현실 장면을 관측할 수 있다.
시선 추적 센서(340)는 광 방출부(341) 및 광 수신부(343)를 포함할 수 있다. 시선 추적 센서(340)는 사용자의 시선을 검출하기 위한 광을 방출하는 광 방출부(341) 및 사용자의 눈으로부터 반사된 광을 수신하는 광 수신부(343)를 포함하며, 증강 현실 장치(300)를 착용한 사용자의 시선에 관련된 데이터를 검출할 수 있다.
시선 추적 센서(340)의 광 방출부(341)는 광 반사부(350)에 의해 반사된 광이 사용자의 눈을 향할 수 있도록 광 반사부(350)를 향하여 광을 방출할 수 있다. 광 방출부(341)는 광 반사부(350)를 향하여 광을 방출할 수 있고, 방출된 광은 광 반사부(350)에 의해 반사되며, 반사된 광은 사용자의 눈을 향할 수 있다. 광 방출부(341)는 증강 현실 장치(300)에서 광 반사부(350)를 향하여 광을 방출할 수 있는 위치에 배치될 수 있다. 광 방출부(341)는, 예를 들어, 템플(331) 및 브릿지(332)와 같이, 증강 현실 장치(300)를 사용자의 얼굴에 지지시키는 지지부(330)에 위치할 수 있다.
또한, 사용자의 눈으로부터 반사된 광이 광 반사부(350)에 의해 반사되어, 시선 추적 센서(340)의 광 수신부(343)에 의해 수신될 수 있다. 사용자의 눈을 향하는 광은 사용자의 눈으로부터 반사되고, 사용자의 눈으로부터 반사된 광이 광 반사부(350)에 의해 반사될 수 있으며, 광 수신부(343)는 광 반사부(350)에 의해 반사된 광을 수신할 수 있다. 광 수신부(343)는 증강 현실 장치(300)에서 광 반사부(350)로부터 반사된 광을 수신할 수 있는 위치에 배치될 수 있다. 광 수신부(343)는, 예를 들어, 템플(331) 및 브릿지(332)와 같이, 증강 현실 장치(300)를 사용자의 얼굴에 지지시키는 지지부(330)에 위치할 수 있다. 또한, 예를 들어, 브릿지(332)는 코 다리 및 안경 코를 포함할 수 있다. 또한, 코 다리 및 안경 코는 일체형으로 구성될 수 있으나 이에 제한되어 않는다.
예를 들어, 광 방출부(341)는 IR 광을 방출하는 IR LED이며, 광 수신부(343)는 IR 광을 촬영하는 IR 카메라일 수 있다. 이 경우, IR 카메라는 광 반사부(350)에 의해 반사되는 IR 광을 이용하여 사용자의 눈을 촬영할 수 있다. 광 방출부(341)가 IR LED이며 광 수신부(343)가 IR 카메라인 경우에, 광 방출부(341)는 면광(planar light) 또는 점광(Point light) 중 적어도 하나 이상의 IR 광을 광 반사부(350)를 향하여 방출하며, 광 수신부(343)는 광 방출부(341)에서 방출된 IR 광이 광 반사부(350), 사용자의 눈, 및 광 반사부(350)에서 순차적으로 반사되어 식별된 반사광을 수신할 수 있다. 면광은 면의 형태로 방출되는 광일 수 있으며, 광 방출부(341)로부터 방출된 면광은 광 반사부(350)의 전체 영역 중에서 적어도 일부의 영역을 향할 수 있다. 광 반사부(350)의 전체 영역 중 적어도 일부의 영역으로부터 반사된 면광이 사용자의 눈을 커버할 수 있도록, 광 반사부(350)의 전체 영역 중 적어도 일부의 영역이 설정될 수 있다.
증강 현실 장치(300)가 안경 형태의 장치인 경우에, 광 방출부(341) 및 광 수신부(343)는 증강 현실 장치(300)의 템플(331)에 배치될 수 있다. 예를 들어, 광 방출부(341) 및 광 수신부(343)는 증강 현실 장치(300)의 템플(331)에서, 템플(331)과 사용자의 눈 사이의 위치인 내측면 부분에 배치될 수 있다. 예를 들어, 광 방출부(341) 및 광 수신부(343)는 증강 현실 장치(300)의 템플(331)의 측면 중에서, 도광판(311)으로부터 2mm ~ 25mm 정도 이격된 위치에 배치될 수 있다. 광 방출부(341) 및 광 수신부(343)는 증강 현실 장치(300)의 템플(331)에서 광 반사부(350)를 향하도록 배치될 수 있다.
또한, 예를 들어, 광 방출부(341) 및 광 수신부(343)는 증강 현실 장치(300)의 브릿지(332)에 배치될 수 있다. 광 방출부(341) 및 광 수신부(343)는 증강 현실 장치(300)의 브릿지(332)에서, 브릿지(332)와 사용자의 눈 사이의 위치인 내측면 부분에 배치될 수 있다. 예를 들어, 광 방출부(341) 및 광 수신부(343)는 증강 현실 장치(300)의 브릿지(332)의 측면 중에서, 도광판(311)으로부터 2mm ~ 25mm 정도 이격된 위치에 배치될 수 있다. 광 방출부(341) 및 광 수신부(343)는 증강 현실 장치(300)의 브릿지(332)에서 광 반사부(350)를 향하도록 배치될 수 있다.
시선 추적 센서(340)는 사용자 눈의 시선에 관련된 데이터를 프로세서(360)에게 제공할 수 있으며, 프로세서(360)는 사용자 눈의 시선에 관련된 데이터에 기초하여 사용자의 시선 정보를 획득할 수 있다. 사용자의 눈의 시선에 관련된 데이터는 시선 추적 센서(340)에 의해 획득되는 데이터로서, 광 방출부(341)로부터 방출된 광의 파장, 방출 면적, 광의 특성, 방출 방향 등에 관한 데이터, 및 광 수신부(343)로부터 수신된 반사광의 특성을 나타내는 데이터를 포함할 수 있다. 또한, 사용자의 시선 정보는 사용자의 시선에 관련된 정보로서, 사용자의 눈의 시선에 관련된 데이터를 분석함으로써 생성될 수 있으며, 예를 들어, 사용자의 동공의 위치, 동공의 중심점의 위치, 사용자의 홍채의 위치, 사용자의 눈의 중심, 사용자의 눈의 반짝임 특징점의 위치, 사용자의 응시점, 사용자의 시선 방향 등에 관한 정보를 포함할 수 있으나, 이에 제한되지 않는다. 사용자의 시선 방향은, 예를 들어, 사용자의 눈의 중심으로부터 사용자가 응시하는 응시점을 향하는 시선의 방향일 수 있다. 예를 들어, 사용자의 시선 방향은, 사용자의 좌측 눈의 중심으로부터 응시점을 향하는 벡터 값 및 사용자의 우측 눈의 중심으로부터 응시점을 향하는 벡터 값에 의해 나타내어질 수 있으나, 이에 제한되지 않는다. 일 실시 예에 따라, 시선 추적 센서(340)는 미리 정해진 시간 간격으로 증강 현실 장치(300)를 착용 중인 사용자의 눈의 시선에 관련된 데이터를 검출할 수 있다.
저장부(370)는 후술할 프로세서(360)에 의해 실행될 프로그램을 저장할 수 있고, 증강 현실 장치(300)로 입력되거나 증강 현실 장치(300)로부터 출력되는 데이터를 저장할 수 있다.
저장부(370)는 내장 메모리(Internal Memory)(미도시) 또는 외장 메모리(External Memory)(미도시) 중 적어도 하나를 포함할 수 있다. 내장 메모리는, 예를 들어, 휘발성 메모리(예를 들면, DRAM(Dynamic RAM), SRAM(Static RAM), SDRAM(Synchronous Dynamic RAM) 등), 비휘발성 메모리(예를 들면, OTPROM(One Time Programmable ROM), PROM(Programmable ROM), EPROM(Erasable and Programmable ROM), EEPROM(Electrically Erasable and Programmable ROM), Mask ROM, Flash ROM 등), 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 중 적어도 하나를 포함할 수 있다. 일 실시 예에 따르면, 프로세서(360)는 비휘발성 메모리 또는 다른 구성요소 중 적어도 하나로부터 수신한 명령 또는 데이터를 휘발성 메모리에 로드(load)하여 처리할 수 있다. 또한, 프로세서(360)는 다른 구성요소로부터 수신하거나 생성된 데이터를 비휘발성 메모리에 보존할 수 있다. 외장 메모리는, 예를 들어, CF(Compact Flash), SD(Secure Digital), Micro-SD(Micro Secure Digital), Mini-SD(Mini Secure Digital), xD(extreme Digital), 또는 Memory Stick 중 적어도 하나를 포함할 수 있다.
저장부(370)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 예를 들어, 렌즈 특성 획득 모듈(371), 눈 이미지 획득 모듈(372), 왜곡 보상 모듈(373), 특징점 검출 모듈(374), 및 시선 검출 모듈(375)을 포함할 수 있다. 예를 들어, 시선 추적 센서(340)에 메모리(미도시)가 포함될 수 있으며, 이 경우, 시선 추적 센서(340)에 포함된 메모리(미도시)에 눈 이미지 획득 모듈(372)이 펌웨어(firmware)로 저장될 수도 있다.
프로세서(360)는 증강 현실 장치(300)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(360)는, 저장부(370)에 저장된 프로그램들을 실행함으로써, 디스플레이부(310), 시력 보정 렌즈(320), 시선 추적 센서(340), 및 저장부(370) 등을 전반적으로 제어할 수 있다.
프로세서(360)는 저장부(370)에 저장된 렌즈 특성 획득 모듈(371), 눈 이미지 획득 모듈(372), 왜곡 보상 모듈(373), 특징점 검출 모듈(374), 및 시선 검출 모듈(375)을 실행함으로써, 사용자의 응시점 및 시선 방향을 판단할 수 있다.
일 실시예에 따르면, 증강 현실 장치(300)는 복수의 프로세서(360)를 포함할 수 있으며, 렌즈 특성 획득 모듈(371), 눈 이미지 획득 모듈(372), 왜곡 보상 모듈(373), 특징점 검출 모듈(374), 및 시선 검출 모듈(375)은 복수의 프로세서(360)에 의해 실행될 수 있다.
예를 들어, 렌즈 특성 획득 모듈(371), 눈 이미지 획득 모듈(372), 왜곡 보상 모듈(373), 특징점 검출 모듈(374), 및 시선 검출 모듈(375) 중 일부는 제1 프로세서(미도시)에 의해 실행되고, 렌즈 특성 획득 모듈(371), 눈 이미지 획득 모듈(372), 왜곡 보상 모듈(373), 특징점 검출 모듈(374), 및 시선 검출 모듈(375) 중 나머지는 제2 프로세서(미도시)에 의해 실행될 수 있으나, 이에 제한되지 않는다.
예를 들어, 시선 추적 센서(340)은 다른 프로세서(미도시) 및 메모리(미도시)를 포함할 수 있으며, 다른 프로세서(미도시)는 메모리(미도시)에 저장된 눈 이미지 획득 모듈(372)을 실행하고, 프로세서(360)가 저장부(370)에 저장된 렌즈 특성 획득 모듈(371), 왜곡 보상 모듈(373), 특징점 검출 모듈(374), 및 시선 검출 모듈(375)을 실행할 수 있다.
프로세서(360)는 저장부(370)에 저장된 렌즈 특성 획득 모듈(371)을 실행함으로써, 시력 보정 렌즈(320)의 렌즈 특성 정보를 획득할 수 있다. 일 실시예에서, 광 반사부(350)는 패턴을 포함할 수 있다. 프로세서(360)는 저장부(370)에 저장된 렌즈 특성 획득 모듈(371)을 실행함으로써, 광 방출부(341)를 통해 광 반사부(350)를 향해 렌즈 특성 정보 획득을 위한 광을 방출하고, 광 수신부(343)를 통해 수신된 광에 기초하여 패턴을 식별하고, 식별된 패턴에 기초하여 시력 보정 렌즈(320)의 렌즈 특성 정보를 획득할 수 있다.
일 실시예에서, 패턴은 도광판(311) 상 일부 영역에 대응되도록 형성될 수 있다. 예를 들어, 광 방출부(341)로부터 방출된 광을 반사하여 반사된 광이 광 수신부(343)를 향하도록 할 수 있는, 도광판(311)의 일부분에 소정의 패턴이 형성될 수 있다. 일 실시예에서 패턴은, 사용자의 시력 교정을 위한 시력 보정 렌즈(320) 또는 도광판(311)을 보호하기 위해 설치되는 커버 글래스에 부착되거나 코팅될 수도 있다.
일 실시예에서, 시력 보정 렌즈(320)의 렌즈 특성 정보를 획득하기 위해 이용되는 지시자(indicator)를 포함하고, 프로세서(360)는 저장부(370)에 저장된 렌즈 특성 획득 모듈(371)을 실행함으로써, 지시자를 식별하여 시력 보정 렌즈(320)의 렌즈 특성 정보를 획득할 수 있다. 예를 들어, 지시자는 바코드, QR 코드 등의 라벨, 테스트 등을 포함할 수 있다.
일 실시예에서, 시력 보정 렌즈(320)는 증강 현실 장치(300)의 지지부(330)에 결합하기 위한 결합부를 포함하고, 프로세서(360)는 저장부(370)에 저장된 렌즈 특성 획득 모듈(371)을 실행함으로써, 결합부를 통해 전자기적 신호를 획득하고, 획득된 전자기적 신호에 기초하여 시력 보정 렌즈(320)의 렌즈 특성 정보를 획득할 수 있다. 예를 들어, 프로세서(360)는 결합부를 통해 시력 보정 렌즈(320)로 전자기적 신호를 인가하고, 시력 보정 렌즈(320)로부터 대응되는 전자기적 리턴 신호를 획득함으로써, 시력 보정 렌즈(320)의 렌즈 특성 정보를 획득할 수 있다. 일 실시예에서, 결합부는 시력 보정 렌즈(320)가 지지부(330)에 접촉하는 부분에 배치될 수 있다. 예를 들어, 결합부는 시력 보정 렌즈(320)가 지지부(330) 프레임에 접촉하는, 시력 보정 렌즈(320)의 외곽 면을 따라 배치될 수 있다.
일 실시예에서, 시력 보정 렌즈(320)는 가변 초점 렌즈를 포함할 수 있다. 가변 초점 렌즈는, 가변적인 초점을 갖는 렌즈로서, 예를 들어, LC렌즈(liquid crystal lens, 액정렌즈), 액체막 렌즈(liquid membrane lens), 전기 습윤 렌즈(electrowetting lens), 또는 알바레즈 렌즈(Alvarez lens)를 포함할 수 있다. 예를 들어, 가변 초점 렌즈는, 플렉시블한 플라스틱 막(flexible plastic membrane)이 투명한 유체(transparent fluid)를 감싸는 형태로 구현될 수 있다. 또한, 가변 초점 렌즈에 가해지는 전기적 신호에 따라 가변 초점 렌즈 내의 유체가 이동함으로써, 가변 초점 렌즈의 굴절률(diopter)이 변경될 수 있다. 이 경우, 프로세서(360)는 저장부(370)에 저장된 렌즈 특성 획득 모듈(371)을 실행함으로써, 가변 초점 렌즈에 설정된 굴절 파라미터들로부터 시력 보정 렌즈(320)의 렌즈 특성 정보를 식별할 수 있다.
프로세서(360)는 저장부(370)에 저장된 눈 이미지 획득 모듈(372)을 실행함으로써, 광 수신부(343)를 통해 수신된 반사광으로부터 눈 이미지를 획득할 수 있다. 광 수신부(343)를 통해 수신된 반사광은 사용자의 눈에서 반사된 광이 광 반사부(350)에서 다시 반사되어 식별된 광을 나타낼 수 있다. 예를 들어, 광 방출부(341)가 IR LED이고 대응되는 광 수신부(343)가 IR 카메라인 경우, 획득된 눈 이미지는 IR 이미지일 수 있다.
프로세서(360)는 저장부(370)에 저장된 왜곡 보상 모듈(373)을 실행함으로써, 시력 보정 렌즈(320)의 렌즈 특성 정보에 기초하여 사용자의 눈 이미지를 보상할 수 있다.
프로세서(360)는 저장부(370)에 저장된 특징점 검출 모듈(374)을 실행함으로써, 사용자의 눈의 시선에 관련된 특징들을 검출할 수 있다. 예를 들어, 프로세서(360)는 특징점 검출 모듈(374)을 실행함으로써, 사용자의 눈의 동공의 특징점(pupil feature point)의 위치 및 중심점의 위치를 검출할 수 있다. 동공의 특징점은, 예를 들어, 눈의 반짝임 특징점(glint feature point)을 포함할 수 있다. 눈의 반짝임 특징점은 눈의 검출된 영역 중에서 소정 수치 이상의 밝기를 가지는 부분일 수 있다. 동공의 특징점의 위치 및 중심점의 위치는, 예를 들어, 광 수신부(343)의 좌표계에서 위치를 나타내는 좌표 값에 의해 식별될 수 있다. 예를 들어, 광 수신부(343)의 좌표계는 IR 카메라의 좌표계일 수 있으며, 광 수신부(343)의 좌표계에서의 좌표 값은 2D 좌표 값일 수 있다.
프로세서(360)는 광 수신부(343)에 의해 수신된 광을 분석함으로써 눈의 시선에 관련된 특징들을 검출할 수 있다. 예를 들어, 광 수신부(343)가 IR 카메라인 경우에, 프로세서(360)는 IR 카메라에 의해 촬영된 이미지에서 동공의 특징점의 위치 및 중심점의 위치를 식별할 수 있다. 특징점들의 위치가 검출되는 경우, 동공의 특징점의 위치 또는 중심점의 위치는 시력 보정 렌즈(320)의 렌즈 특성 정보를 반영하여 보정된 값을 가질 수 있다. 시력 보정 렌즈(320)의 렌즈 특성 정보를 반영하여 보정된 동공의 특징점의 위치 및 중심점의 위치에 관하여는 후술할 도 8에서 보다 상세히 설명하기로 한다.
또한, 프로세서(360)는 광 수신부(343)에 의해 수신된 광을 분석함으로써 동공의 특징점의 위치를 나타내는 좌표 값 및 중심점의 위치를 나타내는 좌표 값을 획득할 수 있다. 예를 들어, 광 수신부(343)가 카메라를 포함하는 경우, 프로세서(360)는 카메라의 좌표계에서, 동공의 특징점의 좌표 값 및 중심점의 좌표 값을 획득할 수 있다. 카메라의 좌표계는 동공의 특징점 및 중심점의 위치를 나타내기 위하여 이용될 수 있으며, 예를 들어, 카메라에 의해 촬영된 이미지의 픽셀들에 대응되는 카메라의 좌표계 상의 좌표 값들이 미리 설정될 수 있다. 또한, 카메라를 통하여 수신된 광의 속성(예를 들어, 밝기)에 기초하여, 눈의 특징점에 대응되는 좌표 값이 식별될 수 있다.
프로세서(360)는 저장부(370)에 저장된 시선 검출 모듈(375)을 실행함으로써, 사용자의 시선에 관한 정보를 획득할 수 있다. 프로세서(360)는 시선 검출 모듈(375)을 실행함으로써, 사용자의 눈의 중심의 위치를 산출할 수 있다. 사용자의 눈의 중심은 사용자의 안구에서 홍채에 대응되는 영역의 중심, 즉, 동공의 위치를 나타낼 수 있다. 동공의 위치로부터 사용자가 응시하는 응시점의 위치 및 사용자의 시선 방향을 획득할 수 있다. 예를 들어, 사용자의 동공의 중심점에 대응되는 도광판(311) 상의 위치를 사용자가 응시하는 응시점의 위치로 식별할 수 있고, 사용자의 동공에서 응시점을 향하는 방향을 사용자의 시선 방향으로 식별할 수 있다. 프로세서(360)는, 렌즈의 렌즈 특성 정보, 및 사용자의 눈 이미지에 포함된 특징점을 통해 사용자의 동공의 위치를 산출할 수 있다.
프로세서(360)는 시선 검출 모듈(375)을 실행함으로써, 사용자의 응시점의 위치를 산출할 수 있다. 프로세서(360)는 사용자의 응시점의 위치를 산출하기 위하여, 사용자의 눈의 특징들로부터 응시점의 위치를 산출하기 위한 매핑 함수를 미리 생성할 수 있다. 매핑 함수는 사용자의 눈의 특징들 및 시력 보정 렌즈(320)의 렌즈 특성 정보를 고려하여 사용자의 응시점의 위치를 산출하기 위한 함수이며, 기 수행된 캘리브레이션 과정을 통해 생성될 수 있다. 예를 들어, 응시점의 위치는 현실 공간의 좌표계에서의 3D 좌표 값을 가질 수 있으나, 이에 제한되지 않는다. 예를 들어, 도광판(311)의 중심점을 원점으로 하고 도광판(311) 면에 나란한 2차원 좌표계를 도광판 좌표계로 나타낼 때, 응시점의 위치는 사용자의 동공 중심점에 대응되는 도광판(311) 상의 위치를 나타내는 도광판 좌표계에서의 좌표 값을 가질 수도 있으나, 이에 제한되지 않는다.
프로세서(360)는 시선 검출 모듈(375)을 실행함으로써, 특징점 검출 모듈(374)로부터 획득된 사용자의 눈의 시선에 관련된 특징들을, 시력 보정 렌즈(320)의 렌즈 특성 정보에 기초하여 보정할 수 있다. 또한, 프로세서(360)는, 렌즈 특성에 기초하여 보정된, 사용자의 눈의 시선에 관련된 특징들을 매핑 함수에 적용함으로써, 사용자의 응시점의 위치를 산출할 수 있다. 또한, 시선 검출 모듈(375)에 의해 산출된 눈의 중심점의 위치 및 사용자의 응시점에 기초하여 사용자의 시선 방향이 결정될 수 있다.
프로세서(360)는 사용자의 시선을 검출하는 동작의 수행 이전에 미리 캘리브레이션 동작을 수행할 수 있다. 캘리브레이션 동작에서는 시력 보정 렌즈(320)의 렌즈 특성 정보에 기초하여 매핑 함수를 캘리브레이션할 수 있다. 프로세서(360)는 캘리브레이션 동작에서, 렌즈 특성 및 눈의 특징점들에 기초하여 사용자의 응시점을 획득할 수 있도록 매핑 함수를 캘리브레이션할 수 있다. 예를 들어, 캘리브레이션 동작에서는 시력 보정 렌즈(320)의 렌즈 특성 정보에 따라 눈 이미지가 왜곡되는 정도를 계산하여, 눈의 특징점 및 중심점의 위치에 대한 보상 값을 산출할 수 있다. 프로세서(360)는 사용자의 눈의 특징점들의 위치 및 시력 보정 렌즈(320)의 렌즈 특성 정보가 입력된 매핑 함수로부터 타겟 시선 방향 값이 출력될 수 있도록 매핑 함수를 캘리브레이션할 수 있다.
도 4는 본 개시의 일 실시예에 따른 증강 현실 장치가 사용자의 시선을 검출하는 동작을 설명하기 위한 도면이다. 도 4를 참조하면, 시력 보정 렌즈를 포함하는 증강 현실 장치는 User calibration 프로세스 및 Eye-tracking 프로세스를 포함할 수 있다. User calibration 프로세스에서는 시력 보정 렌즈의 렌즈 특성 정보를 식별하고, 시력 보정 렌즈를 포함하는 증강 현실 장치가 획득한 사용자의 눈 이미지의 왜곡 정도를 추정할 수 있다. Eye-tracking 프로세스에서는 User calibration 프로세스에서 추정된 왜곡 정도를 반영하여 증강 현실 장치를 착용한 사용자의 시선을 추적할 수 있다.
도 5는 본 개시의 일 실시예에 따른 시력 보정 렌즈(620)의 렌즈 특성 정보를 획득하는 동작을 설명하기 위한 도면이다.
도 5를 참조하면, 증강 현실 장치는 디스플레이부(610), 시력 보정 렌즈(620), 및 디스플레이부(610)와 시력 보정 렌즈(620) 사이에 배치된 광 반사부(650)를 포함할 수 있다. 광 반사부(650)는 패턴(RP)을 포함할 수 있다.
일 실시예에서, 패턴(RP)은 디스플레이부(610) 상 일부 영역에 대응되도록 형성될 수 있다. 예를 들어, 소정의 패턴(RP)은 광 방출부로부터 방출된 광이 반사되어 광 수신부를 향하도록 할 수 있는, 디스플레이부(610) 상 일부분에 형성될 수 있다.
일 실시예에서, 시선 추적 센서(640)는 광 방출부를 통해 광 반사부(650)를 향해 시력 보정 렌즈(620)의 렌즈 특성 획득을 위한 광을 방출할 수 있다. 시선 추적 센서(640)에서 광 방출부를 통해 방출된 광은 시력 보정 렌즈(620)를 통해 광 반사부(650)로 향할 수 있다. 이후, 광은 광 반사부(650)에서 반사되어, 시력 보정 렌즈(620)를 통과하여, 시선 추적 센서(640)의 광 수신부로 도달할 수 있다. 증강 현실 장치는 광 수신부를 통해 수신된 광에 기초하여, 광 반사부(650)에 포함된 패턴(RP)이 왜곡되어 형성된 왜곡된 패턴(DP)을 식별하고, 식별된 왜곡된 패턴(DP)에 기초하여 시력 보정 렌즈(620)의 렌즈 특성 정보를 획득할 수 있다.
예를 들어, 증강 현실 장치에는 광 반사부(650)에 포함된 실제 패턴(RP)에 관련된 정보가 기 저장되어 있을 수 있다. 증강 현실 장치는 시선 추적 센서(640)의 광 수신부를 통해 수신된 광으로부터 왜곡된 패턴(DP)을 식별할 수 있다. 왜곡된 패턴(DP)은, 시선 추적 센서(640)가 시력 보정 렌즈(620)를 통해 실제 패턴(RP)을 촬영함으로써, 실제 패턴(RP)에서 반사된 빛이 시력 보정 렌즈(620)를 통해 굴절되어 형성될 수 있다.
증강 현실 장치는, 광 반사부(650)에 포함된 실제 패턴(RP) 및 광 수신부를 통해 수신된 광으로부터 식별된 왜곡된 패턴(DP)을 비교함으로써, 시력 보정 렌즈(620)의 렌즈 특성 정보를 획득할 수 있다. 예를 들어, 증강 현실 장치는 실제 패턴(RP) 상의 꼭지점(vertex)들의 위치를 왜곡된 패턴(DP) 상의 꼭지점들의 위치와 비교하고, 실제 패턴(RP) 상의 에지(edge)들과 왜곡된 패턴(DP) 상의 에지들의 길이, 위치, 방향, 및 휨 정도 등을 비교하여 시력 보정 렌즈(620)의 렌즈 특성 정보를 획득할 수 있다.
본 개시의 일 실시예에서, 시력 보정 렌즈(620)의 렌즈 특성 정보는 패턴 내의 각각의 꼭지점에 대한 차이 값 정보 또는 각각의 에지에 대한 특성 변화 정보를 포함할 수 있다.
특정 꼭지점에 대한 차이 값 정보란, 실제 패턴(RP) 내에서 특정 꼭지점의 위치와 왜곡된 패턴(DP) 내에서 대응되는 꼭지점의 위치의 차이 값과 관련된 정보를 나타낼 수 있다. 예를 들어, 실제 패턴(RP) 내에서 특정 꼭지점의 위치로부터 왜곡된 패턴(DP) 내에서 대응되는 꼭지점의 위치까지의 벡터(vector)를 고려할 때, 해당 벡터의 크기와 방향에 대한 정보를 포함할 수 있다.
특정 에지에 대한 특성 변화 정보란, 실제 패턴(RP) 내에서 특정 에지의 특성과 왜곡된 패턴(DP) 내에서 대응되는 에지의 특성의 차이에 관련된 정보를 나타낼 수 있다. 예를 들어, 실제 패턴(RP) 내에서 특정 에지의 길이와 왜곡된 패턴(DP) 내에서 대응되는 에지의 길이의 차이와 관련된 정보 또는 실제 패턴(RP) 내에서 특정 에지의 휨 정도와 왜곡된 패턴(DP) 내에서 대응되는 에지의 휨 정도의 차이와 관련된 정보를 포함할 수 있다.
일 실시예에서, 각각의 꼭지점에 대한 차이 값 정보로부터, 시력 보정 렌즈(620)를 통해 캡쳐된 이미지 내의 각각의 포인트(point)들이 실제 이미지와 비교하였을 때 변형된 정도를 획득할 수 있다. 또한, 각각의 에지에 대한 특성 변화 정보로부터, 시력 보정 렌즈(620)를 통해 캡쳐된 이미지 내의 각각의 선(line)들이 실제 이미지와 비교하였을 때 변형된 정도를 획득할 수 있다. 따라서, 시력 보정 렌즈(620)의 렌즈 특성 정보에 따르면, 시력 보정 렌즈(620)를 통해 캡쳐된 이미지가 실제 이미지로부터 어느 정도로 변형되었는지 알 수 있고, 획득된 (왜곡된) 이미지의 왜곡 정도를 보상하여 실제 이미지를 산출할 수 있다.
증강 현실 장치가 시력 보정 렌즈(620)의 렌즈 특성 정보를 획득하는 동작은 전술한 동작에 한정되는 것은 아니며, 다양한 동작을 통해 획득될 수 있다. 획득된 시력 보정 렌즈(620)의 렌즈 특성 정보는 이후 눈 이미지의 왜곡을 보상하는 동작 및 그에 따라 시선 추적 결과를 보상하는 동작 등에 이용될 수 있다.
도 6은 본 개시의 일 실시예에 따른 시력 보정 렌즈의 렌즈 특성 정보에 기초하여 눈 이미지를 보상하는 동작을 설명하기 위한 도면이다.
시력 보정 렌즈를 포함하는 증강 현실 장치에서, 광 반사부가 시력 보정 렌즈 및 도광판 사이에 배치된 경우, 광 방출부 - 시력 보정 렌즈 - 광 반사부 - 시력 보정 렌즈 - 사용자의 눈 - 시력 보정 렌즈 - 광 반사부 - 시력 보정 렌즈 - 광 수신부 경로를 통해 이동하는 광으로부터 획득된 사용자의 눈 이미지는 시력 보정 렌즈로 인한 왜곡을 포함할 수 있다. 왜곡을 포함하는 눈 이미지를 통해 사용자의 시선 정보를 획득할 경우, 획득된 사용자의 시선 정보는 실제 사용자가 바라보는 시선 방향과 차이를 가질 수 있다. 따라서, 시선 추적의 정확성을 높이기 위해, 사용자의 눈 이미지의 왜곡 정도를 보상할 필요가 있다.
이미지의 왜곡 정도를 보상하는 동작에는 왜곡 보상 함수 H(x,y)가 이용될 수 있다. 왜곡 보상 함수 H(x,y)의 생성에는 시력 보정 렌즈의 렌즈 특성 정보가 이용될 수 있다.
일 실시예에서, 사용자가 증강 현실 장치를 착용할 때 사용자의 눈이 배치될 위치에 격자 패턴 이미지 i가 위치한 경우를 고려할 수 있다. 이 때, 광 방출부 - 시력 보정 렌즈 - 광 반사부 - 시력 보정 렌즈 - 격자 패턴 이미지 - 시력 보정 렌즈 - 광 반사부 - 시력 보정 렌즈 - 광 수신부 경로를 통해 이동하는 광으로부터 왜곡된 격자 패턴 이미지 d가 획득될 수 있다.
한편, 일 실시예에서, 시력 보정 렌즈의 렌즈 특성 정보를 이용하여 사용자의 눈 이미지가 왜곡될 정도를 산출할 수도 있다.
도 6을 참조하면, x가 격자 패턴 상 특정 꼭지점(vertex)의 x축 방향의 인덱스(index), y가 격자 패턴 상 특정 꼭지점의 y축 방향의 인덱스를 나타낼 때, i(x,y)는 실제 격자 패턴 이미지 i에서 중심점(또는, 기 설정된 원점)으로부터의 꼭지점 (x,y)의 좌표 값을 나타내고, d(x,y)는 왜곡된 격자 패턴 이미지 d에서 중심점(또는, 기 설정된 원점)으로부터의 꼭지점 (x,y)의 좌표 값을 나타낸다. 이미지의 왜곡 정도를 보상하기 이전(Before)에 적어도 하나의 꼭지점 (x,y)에 대해, 실제 격자 패턴 이미지 상 좌표 값 i(x,y)와 왜곡된 격자 패턴 이미지 상 좌표 값 d(x,y)가 상이한 것을 볼 수 있다.
이미지의 왜곡 정도를 보상하는 동작은, 모든 꼭지점 (x,y)에 대해, 보상된 격자 패턴 이미지 D 상 좌표 값 D(x,y)와 실제 격자 패턴 이미지 상 좌표 값 i(x,y)의 차이
Figure PCTKR2022011693-appb-img-000001
d(x,y) = i(x,y) - D(x,y)가 기 설정된 임계 값 δ보다 작도록, 왜곡된 격자 패턴 이미지 d로부터 보상된 격자 패턴 이미지 D를 획득하는 동작을 나타낸다.
여기서, 보상된 격자 패턴 이미지 D 상 좌표 값 D(x,y)은, d(x,y)에 왜곡 보상 함수 H(x,y)를 곱하여 획득될 수 있다. 즉, 아래의 수학식 1이 만족될 수 있다.
Figure PCTKR2022011693-appb-img-000002
즉, 본 개시의 일 실시예에 따르면, 시력 보정 렌즈의 렌즈 특성 정보를 이용하여, 실제 눈 이미지가 시선 추적 센서를 통해 획득될 때 어느 정도의 왜곡량을 포함하는지 판단할 수 있고, 획득된 눈 이미지를 보상하기 위한 왜곡 보상 함수 H(x,y)를 획득할 수 있다.
시력 보정 렌즈의 렌즈 특성 정보는, 도 5를 참조하여 전술한 방법 등을 통해 획득될 수 있다. 예를 들어, 렌즈 특성 정보는 시력 보정 렌즈를 통해 캡쳐된 이미지 내의 각각의 포인트(point)들이, 실제 이미지와 비교하였을 때 어느 방향으로 어느 정도의 거리로 이동 하였는지에 대한 정보를 포함할 수 있다. 또한, 렌즈 특성 정보는 시력 보정 렌즈를 통해 캡쳐된 이미지 내의 각각의 선(line)들이, 실제 이미지와 비교하였을 때 길이나 휨 정도가 어느 정도로 변형 되었는지에 대한 정보를 포함할 수 있다.
따라서, 시력 보정 렌즈의 렌즈 특성 정보에 따르면, 시력 보정 렌즈를 통해 캡쳐된 이미지가 실제 이미지로부터 어느 정도로 변형되었는지 알 수 있고, 획득된 (왜곡된) 이미지의 왜곡 정도를 보상하기 위한 왜곡 보상 함수 H(x,y)를 획득할 수 있다.
이와 같이, 본 개시의 일 실시예에 따르면, 획득된 왜곡 보상 함수 H(x,y)를 이용해 눈 이미지의 왜곡을 보상하고, 보상된 눈 이미지로부터 사용자의 시선을 검출하므로, 시선 추적 결과의 정확성이 높아질 수 있다.
도 7은 본 개시의 일 실시예에 따른 시력 보정 렌즈(820)의 렌즈 특성 정보에 기초하여 보상된 눈 이미지로부터 사용자의 시선 정보를 획득하는 동작을 설명하기 위한 도면이다.
도 7을 참조하면, 증강 현실 장치는 디스플레이부(810), 시력 보정 렌즈(820), 및 디스플레이부(810)와 시력 보정 렌즈(820) 사이에 배치된 광 반사부(850)를 포함할 수 있다.
일 실시예에서, 시선 추적 센서(840)는 광 방출부를 통해 광 반사부(850)를 향해 증강 현실 장치를 착용한 사용자의 시선 추적을 위한 광을 방출할 수 있다. 시선 추적 센서(840)에서 광 방출부를 통해 방출된 광은 시력 보정 렌즈(820)를 통해 광 반사부(850)로 향할 수 있다. 이후, 광은 광 반사부(850), 사용자의 눈, 및 다시 광 반사부(850)에서 순차적으로 반사되어, 시선 추적 센서(840)의 광 수신부로 도달할 수 있다. 증강 현실 장치는 광 수신부를 통해 수신된 광에 기초하여, 사용자의 눈 이미지를 획득할 수 있다.
도 6을 참조하여 전술한 바와 같이, 시력 보정 렌즈(820)를 포함하는 증강 현실 장치에서, 광 반사부(850)가 시력 보정 렌즈(820) 및 디스플레이부(810) 사이에 배치된 경우, 광 방출부 - 시력 보정 렌즈(820) - 광 반사부(850) - 시력 보정 렌즈(820) - 사용자의 눈 - 시력 보정 렌즈(820) - 광 반사부(850) - 시력 보정 렌즈(820) - 광 수신부 경로를 통해 이동하는 광으로부터 획득된 사용자의 눈 이미지는 시력 보정 렌즈(820)로 인한 왜곡을 포함할 수 있다. 따라서, 시선 추적의 정확성을 높이기 위해, 사용자의 눈 이미지의 왜곡 정도를 보상할 필요가 있다.
도 7을 참조하면, 증강 현실 장치는 광 수신부를 통해 안구 이미지 d(x,y)를 획득할 수 있다. 획득된 안구 이미지 d(x,y)는 시력 보정 렌즈(820)로 인한 왜곡을 포함한다. 안구 이미지 d(x,y)에서 곧바로 안구 특징점을 추출해 사용자의 시선 방향, 즉 사용자의 동공 위치 정보를 획득할 경우, 획득된 사용자의 동공 위치는 이미지 왜곡으로 인해 실제 사용자가 바라보는 시선 방향에 대응되지 않을 수 있다.
따라서, 본 개시의 일 실시예에 따른 증강 현실 장치는, 도 6을 참조하여 전술한 방법 등으로 획득한 왜곡 보상 함수 H(x,y)를 이용해 안구 이미지 d(x,y)를 보상하고, 보상된 눈 이미지로부터 사용자의 동공 위치 정보 및 사용자의 시선 정보를 검출한다. 즉, 본 개시의 일 실시예에 따르면, 시력 보정 렌즈(820)의 렌즈 특성 정보를 이용하여 획득한 왜곡 보상 함수 H(x,y)를 이용해 보상된 눈 이미지로부터 사용자의 시선을 검출하므로, 시선 추적 결과의 정확성이 높아질 수 있다.
도 8은 본 개시의 일 실시예에 따른 시력 보정 렌즈의 렌즈 특성 정보를 획득하는 동작을 설명하기 위한 도면이고, 도 9는 본 개시의 일 실시예에 따른 시력 보정 렌즈의 렌즈 특성 정보를 획득하는 동작을 설명하기 위한 도면이다.
도 8을 참조하면, 시력 보정 렌즈(920)의 렌즈 특성 정보를 획득하기 위해 이용되는 지시자(indicator)(922)가 시력 보정 렌즈(920) 상에 표시될 수 있다. 증강 현실 장치의 프로세서는, 지시자(922)를 식별하여 시력 보정 렌즈(920)의 렌즈 특성 정보를 획득할 수도 있다. 일 실시예에서, 프로세서는 시선 추적 센서(940)에 포함된 광 방출부를 제어함으로써 지시자(922)를 향해 광을 방출하고, 시선 추적 센서(940)에 포함된 광 수신부를 통해 수신된 광에 기초하여 지시자(922)를 식별할 수 있다.
도 9의 (a) 및 (b)를 참조하면, 시력 보정 렌즈(1020)는 증강 현실 장치의 지지부에 결합하기 위한 결합부(1022)를 포함할 수 있다. 이 때, 증강 현실 장치의 프로세서는, 결합부(1022)를 통해 시력 보정 렌즈(1020)로 전자기적 신호를 인가하고, 시력 보정 렌즈(1020)로부터 대응되는 전자기적 리턴 신호를 획득함으로써, 시력 보정 렌즈(1020)의 렌즈 특성 정보를 획득할 수도 있다.
도 10은 본 개시의 일 실시예에 따른 시력 보정 렌즈의 제어 파라미터를 설명하기 위한 도면이다. 도 10의 (a) 및 (b)를 참조하면, 일 실시예에서, 증강 현실 장치는 디스플레이부(1110), 광반사부(1150), 및 시력 보정 렌즈를 포함하고, 시력 보정 렌즈는 가변 초점 렌즈(1123)를 포함할 수 있다. 도 10의 증강 현실 장치는 도 3의 증강 현실 장치에 대응될 수 있다. 가변 초점 렌즈(1123)는 위치에 따른 굴절률(refractive index) 및 중심점(aperture center)의 위치를 제어 파라미터로 하여 제어될 수 있다. 이 때, 프로세서는, 가변 초점 렌즈(1123)를 제어하기 위한 제어 파라미터를 설정하고, 설정된 제어 파라미터에 기초하여 시력 보정 렌즈의 렌즈 특성 정보를 획득할 수도 있다.
도 11은 본 개시의 일 실시예에 따른 증강 현실 장치(1200)를 도시한 도면이다.
도 11을 참조하면, 사용자의 시선을 검출하는 증강 현실 장치(1200)가 도시된다. 증강 현실 장치(1200)는 사용자가 안면부에 착용하는 안경 형상의 AR 안경(AR glasses), 두부에 착용하는 헤드 마운트 디스플레이(head mounted display, HMD), 가상 현실 헤드셋(virtual reality headset, VRH), 또는 AR 헬멧(AR helmet) 등을 포함할 수 있다. 증강 현실 장치(1200)의 경우, 사용자의 눈 앞에 디스플레이를 배치함으로써, 사용자의 움직임에 따라 화면이 움직이므로 현실 장면 및 사실적인 가상 영상을 제공할 수 있다.
일 실시예에서, 사용자는 시각적 확장 현실 콘텐트를 표시할 수 있는, 증강 현실 장치(1200)를 착용할 수 있다. 증강 현실 장치(1200)는 오디오 확장 현실 콘텐트를 사용자에게 제공할 수 있는 오디오 모듈을 포함할 수 있다. 일 실시예에서, 증강 현실 장치(1200)는 주변의 이미지 및 비디오를 캡쳐할 수 있는 하나 이상의 카메라를 포함할 수 있다. 증강 현실 장치(1200)는 사용자의 수렴 거리(vergence distance)를 결정하기 위해 시선 추적(eye tracking) 시스템을 포함할 수 있다. 일 실시예에서, 증강 현실 장치(1200)는 경량의 머리 착용형 디스플레이(HMD)(예를 들어, 고글(goggles), 안경, 바이저(visor) 등)를 포함할 수 있다. 일 실시예에서, 증강 현실 장치(1200)는 레이저 투사 안경(예를 들어, 사용자에게 이미지 또는 깊이 콘텐트를 투사 및 표시하기 위해 사용자의 망막 상에 저전력 레이저(low-powered laser)를 투사할 수 있는 안경)과 같은, 비-HMD 장치를 포함할 수 있다.
일 실시예에서, 증강 현실 장치(1200)는 사용자의 시야(field of view, FOV)로 판단되는 영역에 적어도 하나의 가상 객체가 겹쳐 보이도록 출력하는 AR 서비스를 제공할 수 있다. 예를 들어, 사용자의 시야로 판단되는 영역은 증강 현실 장치(1200)를 착용한 사용자가 증강 현실 장치(1200)를 통해 인지할 수 있다고 판단되는 영역으로, 증강 현실 장치(1200)의 디스플레이의 전체 또는 적어도 일부를 포함하는 영역일 수 있다. 일 실시예에서, 증강 현실 장치(1200)는 사용자의 양안 각각에 대응하는 복수개의 투명 부재(예를 들어, 디스플레이(1220, 1230))를 포함할 수 있다.
일 실시예에서, 증강 현실 장치(1200)는 디스플레이 모듈(1214), 카메라, 오디오 출력부, 및 지지부(1221, 1222)를 포함할 수 있다.
카메라는 사용자의 시야에 대응되는 영상을 촬영하거나 객체와의 거리를 측정할 수 있다. 일 실시예에서, 카메라는 헤드 트래킹(head tracking) 및 공간 인식을 위해 사용될 수 있다. 또한, 카메라는 사용자의 움직임을 인식할 수도 있다.
일 실시예에서, 카메라는 사용자의 시야에 대응되는 영상, 즉 객체의 움직임을 검출하거나, 공간 인식을 위해 사용되는 카메라(1213) 이외에 'ET(eye tracking) 카메라(1212)'를 더 포함할 수도 있다. 일 실시예에서, ET 카메라(1212)는 사용자의 눈동자를 검출하고 추적하는 용도로 사용될 수 있다. ET 카메라(1212)는 증강 현실 장치(1200)에 투영되는 가상 영상의 중심이, 증강 현실 장치(1200)를 착용하는 사용자의 눈동자가 응시하는 방향에 따라 위치하도록 조절하기 위한 용도로 사용될 수 있다. ET 카메라(1212)는 전술한 도 3의 광 수신부(343)에 대응될 수 있다. 예를 들어, ET 카메라(1212)에는 눈동자(pupil)를 검출하고 빠른 눈동자 움직임을 지연 없이 추적할 수 있도록 GS(Global shutter) 카메라가 이용될 수 있다. ET 카메라(1212)는 좌안용 카메라(1212-1) 및 우안용 카메라(1212-2)를 별도로 포함할 수도 있다.
일 실시예에서 디스플레이 모듈(1214)은 제1 디스플레이(1220) 및 제2 디스플레이(1230)를 포함할 수 있다. 디스플레이 모듈(1214)은 전술한 도 3의 디스플레이부(310)에 대응될 수 있다. 디스플레이 모듈(1214)를 통해 출력되는 가상 객체는 증강 현실 장치(1200)에서 실행되는 애플리케이션 프로그램과 관련된 정보 또는 사용자의 시야로 판단되는 영역에 대응하는 실제 공간에 위치한 외부 객체와 관련된 정보를 포함할 수 있다. 예를 들어, 증강 현실 장치(1200)는 카메라(1213)를 통해 획득한 실제 공간과 관련된 영상 정보 중 사용자의 시야로 판단되는 영역에 대응하는 적어도 일부에 포함되는 외부 객체를 확인할 수 있다. 증강 현실 장치(1200)는 적어도 일부에서 확인한 외부 객체와 관련된 가상 객체를 증강 현실 장치(1200)의 표시 영역 중 사용자의 시야로 판단되는 영역을 통해 출력할 수 있다. 외부 객체는 실제 공간에 존재하는 사물을 포함할 수 있다.
일 실시예에서, 디스플레이(1220, 1230)는 투명 부재에 집광 렌즈, 시력 교정 렌즈 또는 도광판(waveguide)을 포함할 수 있다. 도광판은 전술한 도 3의 도광판(311)에 대응될 수 있다. 예를 들어, 투명 부재는 글래스 플레이트, 플라스틱 플레이트, 또는 폴리머로 형성될 수 있고, 완전히 투명하거나 반투명하게 제작될 수 있다. 일 실시예에서, 투명 부재는 증강 현실 장치(1200)를 착용한 사용자의 우안에 대면하는 제1 투명 부재(예를 들어, 제2 디스플레이(1230)) 및 사용자의 좌안에 대면하는 제2 투명 부재(예를 들어, 제1 디스플레이(1220))를 포함할 수 있다. 디스플레이가 투명인 경우, 사용자의 눈과 대면하는 위치에 배치되어 화면을 표시할 수 있다.
도광판은 디스플레이의 광원에서 생성된 빛을 사용자의 눈으로 전달할 수 있다. 예를 들어, 도광판은 투명 부재(예를 들어, 디스플레이(1220, 1230))의 일부에 적어도 부분적으로 위치할 수 있다. 일 실시예에 따르면, 디스플레이에서 방출된 광은 도광판의 일단으로 입사될 수 있고, 입사된 광이 도광판 내에서 내부 전반사를 통해 사용자 눈으로 전달될 수 있다. 도광판은 유리, 플라스틱, 또는 폴리머등 투명한 소재로 제작될 수 있으며, 내부 또는 외부의 일 표면에 형성된 나노 패턴, 예를 들어, 다각형 또는 곡면 형상의 격자 구조(grating structure)를 포함할 수 있다. 일 실시예에서, 입광된 광은 나노 패턴에 의해 도광판 내부에서 전파 또는 반사되어 사용자의 눈으로 제공될 수 있다. 일 실시예에서, 도광판은 적어도 하나의 회절요소(예를 들어, DOE(diffractive optical element), HOE(holographic optical element)) 또는 반사요소(예를 들어, 거울) 중 적어도 하나를 포함할 수 있다. 일 실시예에서, 도광판은 적어도 하나의 회절요소 또는 반사요소를 이용하여 광원부로부터 방출된 디스플레이 광을 사용자의 눈으로 유도할 수 있다.
일 실시예에서, 디스플레이(1220, 1230)는 디스플레이 패널 또는 렌즈(예를 들어, 글라스)를 포함할 수 있다. 예를 들어, 디스플레이 패널은 유리 또는 플라스틱과 같은 투명한 재질을 포함할 수 있다. 일 실시예에서, 디스플레이는 투명 소자로 구성될 수 있고, 사용자가 디스플레이를 투과하여, 디스플레이 후면의 실제 공간을 인지할 수도 있다. 디스플레이는 사용자에게 실제 공간의 적어도 일부에 가상 객체가 덧붙여진 것으로 보여지도록 투명 소자의 적어도 일부 영역에 가상 객체를 표시할 수 있다.
일 실시예에서, 지지부(1221, 1222)는 증강 현실 장치(1200)의 각 구성요소에 전기적 신호를 전달하기 위한 인쇄 회로 기판(printed circuit board, PCB)(1231-1, 1231-2), 오디오 신호를 출력하기 위한 스피커(1232-1, 1232-2), 또는 전력을 공급하기 위한 배터리(1233-1, 1233-2)를 포함할 수 있다. 지지부(1221, 1222)는 전술한 도 3의 지지부(330)에 대응될 수 있다. 예를 들어, 안경 타입의 증강 현실 장치(1200)에서, 지지부(1221, 1222)는 안경 다리부에 배치될 수 있다. 지지부(1221, 1222)는 증강 현실 장치(1200)의 본체부에 결합하기 위한 힌지부(1240-1, 1240-2)를 포함할 수 있다. 스피커(1232-1, 1232-2)는 사용자의 좌측 귀에 오디오 신호를 전달하기 위한 제1 스피커(1232-1) 및 사용자의 우측 귀에 오디오 신호를 전달하기 위한 제2 스피커(1232-2)를 포함할 수 있다.
도 11을 참조하면, 증강 현실 장치(1200)는 사용자의 음성 및 주변 소리를 수신하기 위한 마이크(1241)를 포함할 수 있다. 또한, 증강 현실 장치(1200)는 적어도 하나의 카메라(예를 들어, ET 카메라(1212), 외향 카메라(1213), 또는 인식용 카메라(1211-1, 1211-2))의 정확도를 높이기 위해 적어도 하나의 발광 장치(illumination LED)(1242)를 포함할 수 있다. 예를 들어, 발광 장치(1242)는 ET 카메라(1212)로 사용자의 동공을 촬영할 때 정확도를 높이기 위한 보조 수단으로 사용될 수 있고, 발광 장치(1242)는 가시광 파장이 아닌 적외선 파장의 IR LED를 사용할 수 있다. 일 실시예에서 발광 장치(1242)는 전술한 도 3의 광 방출부(341)에 대응될 수도 있다. 예를 들어, 발광 장치(1242)는 인식용 카메라(1211-1, 1211-2)로 사용자의 제스처를 촬영할 때 어두운 환경으로 인해 피사체의 검출이 용이하지 않을 때 보조 수단으로 사용될 수 있다.
일 실시예에 따르면, 디스플레이 모듈(1214)은 좌안에 대응하는 제1 도광판(예를 들어, 제1 디스플레이(1220)) 및 우안에 대응하는 제2 도광판(예를 들어, 제2 디스플레이(1230))를 포함할 수 있고, 제1 도광판(예를 들어, 제1 디스플레이(1220)) 및 제2 도광판(예를 들어, 제2 디스플레이(1230))를 통해 사용자에게 시각적인 정보를 제공할 수 있다. 일 실시예에 따르면, 디스플레이 모듈(1214)은 디스플레이 패널 및 렌즈(예를 들어, 유리렌즈, 플라스틱렌즈, LC렌즈)를 포함할 수 있다. 디스플레이 패널은 유리 또는 플라스틱과 같은 투명한 재질을 포함할 수 있다.
일 실시예에 따르면, 디스플레이 모듈(1214)은 투명 소자로 구성될 수 있고, 사용자가 디스플레이 모듈(1214)을 투과하여, 디스플레이 모듈(1214)의 후면이자 사용자 전방의 실제 공간을 인지할 수 있다. 디스플레이 모듈(1214)은 사용자에게 실제 공간의 적어도 일부에 가상 객체가 덧붙여진 것으로 보여지도록 투명 소자의 적어도 일부 영역에 가상 객체를 표시할 수 있다.
일 실시예에서, 증강 현실 장치(1200)는 외향 카메라(1213)를 통해 획득한 실제 공간과 관련된 영상 정보 중 사용자의 시야각(FoV)으로 판단되는 영역에 대응하는 적어도 일부에 포함되는 외부 객체를 확인할 수 있다. 증강 현실 장치(1200)는 적어도 일부에서 확인한 외부 객체와 관련된 가상 객체를 증강 현실 장치(1200)의 표시 영역 중 사용자의 시야각으로 판단되는 영역을 통해 출력(또는 표시)할 수 있다. 외부 객체는 실제 공간에 존재하는 사물을 포함할 수 있다. 다양한 실시예에 따르면, 증강 현실 장치(1200)가 가상 객체를 표시하는 표시 영역은 디스플레이 모듈(1214)의 일부(예를 들어, 디스플레이 패널의 적어도 일부)를 포함할 수 있다. 일 실시예에 따르면, 표시 영역은 제1 도광판(예를 들어, 제1 디스플레이(1220)) 및 제2 도광판(예를 들어, 제2 디스플레이(1230))의 적어도 일부분에 대응되는 영역일 수 있다.
일 실시예에 따르면, 증강 현실 장치(1200)는 외향 카메라(1213)를 사용하여, 증강 현실 장치(1200)의 전면 방향에 위치한 물리적 대상체와의 거리를 측정할 수도 있다. 외향 카메라(1213)는 PV(photo video) 카메라와 같은 고해상도(high resolution, HR) 카메라를 포함할 수 있다.
본 개시의 일 실시예에 따른 증강 현실 장치(1200)는 전술한 구성으로 제한되는 것은 아니며, 다양한 구성요소를 다양한 위치에 다양한 개수로 포함할 수 있다.
본 개시의 다양한 실시예들은 하나 이상의 컴퓨터 프로그램들에 의해 구현 또는 지원될 수 있고, 컴퓨터 프로그램들은 컴퓨터 판독 가능한 프로그램 코드(code)로부터 형성되고, 컴퓨터로 판독 가능한 매체에 수록될 수 있다. 본 개시에서, "애플리케이션(application)" 및 "프로그램(program)"은 컴퓨터 판독 가능한 프로그램 코드에서의 구현에 적합한 하나 이상의 컴퓨터 프로그램, 소프트웨어 컴포넌트, 명령어 세트, 프로시저(procedure), 함수, 개체(object), 클래스, 인스턴스, 관련 데이터, 또는 그것의 일부를 나타낼 수 있다. "컴퓨터 판독 가능한 프로그램 코드"는, 소스 코드, 목적 코드, 및 실행 가능한 코드를 포함하는 다양한 유형의 컴퓨터 코드를 포함할 수 있다. "컴퓨터 판독 가능한 매체"는, ROM(read only memory), RAM(random access memory), 하드 디스크 드라이브(HDD), CD(compact disc), DVD(digital video disc), 또는 다양한 유형의 메모리와 같이, 컴퓨터에 의해 액세스될 수 있는 다양한 유형의 매체를 포함할 수 있다.
또한, 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, ‘비일시적 저장 매체'는 실재(tangible)하는 장치이고, 일시적인 전기적 또는 다른 신호들을 전송하는 유선, 무선, 광학적, 또는 다른 통신 링크들을 배제할 수 있다. 한편, 이 '비일시적 저장 매체'는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예를 들어, '비일시적 저장 매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다. 컴퓨터 판독 가능한 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함할 수 있다. 컴퓨터 판독 가능한 매체는, 데이터가 영구적으로 저장될 수 있는 매체와 데이터가 저장되고 나중에 덮어쓰기 될 수 있는 매체, 이를테면 재기입 가능한 광 디스크 또는 소거 가능한 메모리 디바이스를 포함한다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예를 들어, compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어를 통해 또는 두 개의 사용자 장치들(예를 들어, 스마트폰) 간에 직접, 온라인으로 배포(예를 들어, 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예를 들어, 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
전술한 본 개시의 설명은 예시를 위한 것이며, 본 개시가 속하는 기술분야의 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 개시의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다.

Claims (15)

  1. 증강 현실 장치에 있어서,
    도광판;
    상기 증강 현실 장치를 착용한 사용자의 시선 방향에서 상기 도광판과 중첩하는 시력 보정 렌즈;
    상기 증강 현실 장치를 상기 증강 현실 장치의 사용자의 얼굴에 고정하기 위한 지지부;
    상기 지지부의 일부분에 배치되는 광 방출부 및 광 수신부를 포함하는 시선 추적 센서;
    시선 추적을 위한 광을 반사시키기 위한 광 반사부; 및
    적어도 하나의 프로세서를 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 시력 보정 렌즈의 렌즈 특성 정보를 획득하고, 상기 광 방출부를 제어함으로써 상기 광 반사부를 향해 광을 방출하고, 상기 광 수신부를 통해 수신된 광에 기초하여 상기 사용자의 눈 이미지를 획득하고, 상기 렌즈 특성 정보에 기초하여 상기 사용자의 눈 이미지를 보상하고, 상기 보상된 눈 이미지로부터 상기 사용자의 시선 정보를 획득하며,
    상기 광 반사부를 향해 방출된 광은 상기 광 반사부에 의해 반사되어 상기 사용자의 눈을 향하고, 상기 광 수신부에 의해 수신된 광은 상기 사용자의 눈을 향한 광이 상기 사용자의 눈에 의해 반사되어 수신된 광을 포함하고,
    상기 광 반사부는 패턴을 포함하고,
    상기 적어도 하나의 프로세서는, 상기 광 방출부를 제어함으로써 상기 광 반사부를 향해 상기 시력 보정 렌즈의 렌즈 특성 정보 획득을 위한 광을 방출하고, 상기 광 수신부를 통해 수신된 광에 기초하여 왜곡된 패턴을 식별하고, 상기 왜곡된 패턴에 기초하여 상기 시력 보정 렌즈의 렌즈 특성 정보를 획득하는 것을 특징으로 하는, 증강 현실 장치.
  2. 제1항에 있어서,
    상기 프로세서는, 상기 광 반사부에 포함된 패턴 및 상기 광 반사부에 반사되어 상기 광 수신부를 통해 수신된 광으로부터 식별되는 왜곡된 패턴을 비교함으로써, 상기 시력 보정 렌즈의 렌즈 특성 정보를 획득하는 것을 특징으로 하는, 증강 현실 장치.
  3. 제1항에 있어서,
    상기 시력 보정 렌즈의 렌즈 특성 정보를 획득하기 위해 이용되는 지시자(indicator)가 상기 시력 보정 렌즈 상에 표시되고,
    상기 프로세서는, 상기 지시자를 식별하여 상기 시력 보정 렌즈의 렌즈 특성 정보를 획득하는 것을 특징으로 하는, 증강 현실 장치.
  4. 제3항에 있어서,
    상기 프로세서는, 상기 광 방출부를 제어함으로써 상기 지시자를 향해 광을 방출하고, 상기 광 수신부를 통해 수신된 광에 기초하여 상기 지시자를 식별하는 것을 특징으로 하는, 증강 현실 장치.
  5. 제1항에 있어서,
    상기 시력 보정 렌즈는 상기 증강 현실 장치의 지지부에 결합하기 위한 결합부를 포함하고,
    상기 프로세서는, 상기 결합부를 통해 상기 시력 보정 렌즈로 전자기적 신호를 인가하고, 상기 시력 보정 렌즈로부터 상기 인가된 전자기적 신호에 대한 응답에 대응되는 전자기적 리턴 신호를 획득함으로써, 상기 시력 보정 렌즈의 렌즈 특성 정보를 획득하는 것을 특징으로 하는, 증강 현실 장치.
  6. 제1항에 있어서,
    상기 시력 보정 렌즈는 가변 초점 렌즈를 포함하고,
    상기 프로세서는, 상기 가변 초점 렌즈를 제어하기 위한 제어 파라미터를 설정하고, 상기 설정된 제어 파라미터에 기초하여 상기 시력 보정 렌즈의 렌즈 특성 정보를 획득하는 것을 특징으로 하는, 증강 현실 장치.
  7. 제1항에 있어서,
    상기 적어도 하나의 프로세서는, 상기 보상된 눈 이미지로부터 적어도 하나의 기 설정된 특징점들의 위치 및 중심점의 위치를 획득하고, 상기 특징점들의 위치 및 중심점의 위치에 기초하여 상기 사용자의 시선 정보를 획득하는 것을 특징으로 하는, 증강 현실 장치.
  8. 시력 보정 렌즈를 포함하는 증강 현실 장치가 사용자의 시선을 검출하는 방법에 있어서,
    상기 사용자의 시선 방향에서 상기 증강 현실 장치로부터 출력되는 영상을 디스플레이하기 위한 도광판과 중첩하는, 시력 보정 렌즈의 렌즈 특성 정보를 획득하는 단계;
    상기 증강 현실 장치의 지지부의 일부분에 배치되는 광 방출부를 통해 광 반사부를 향해 시선 추적을 위한 광을 방출하고, 상기 방출된 광은 상기 광 반사부에 의해 반사되어 상기 증강 현실 장치를 착용한 상기 사용자의 눈을 향하는 것인, 단계;
    상기 사용자의 눈에 의해 반사된 광을 상기 지지부에 배치되는 광 수신부를 통해 수신하는 단계;
    상기 광 수신부를 통해 수신된 광에 기초하여, 상기 사용자의 눈 이미지를 획득하는 단계;
    상기 시력 보정 렌즈의 렌즈 특성 정보에 기초하여 상기 사용자의 눈 이미지를 보상하는 단계; 및
    상기 보상된 눈 이미지에 기초하여 상기 사용자의 시선 정보를 획득하는 단계를 포함하는, 방법.
  9. 제8항에 있어서,
    상기 광 반사부는 패턴을 포함하고,
    상기 시력 보정 렌즈의 렌즈 특성 정보를 획득하는 단계는,
    상기 광 방출부를 통해 상기 광 반사부를 향해 렌즈 특성 정보 획득을 위한 광을 방출하는 단계;
    상기 광 수신부를 통해 수신된 광에 기초하여 왜곡된 패턴을 식별하는 단계; 및
    상기 왜곡된 패턴에 기초하여 상기 시력 보정 렌즈의 렌즈 특성 정보를 획득하는 단계를 포함하는, 방법.
  10. 제9항에 있어서,
    상기 왜곡된 패턴에 기초하여 상기 시력 보정 렌즈의 렌즈 특성 정보를 획득하는 단계는,
    상기 광 반사부에 포함된 패턴 및 상기 광 반사부에 반사되어 상기 광 수신부를 통해 수신된 광으로부터 식별되는 왜곡된 패턴을 비교함으로써, 상기 시력 보정 렌즈의 렌즈 특성 정보를 획득하는 단계를 포함하는, 방법.
  11. 제8항에 있어서,
    상기 시력 보정 렌즈의 렌즈 특성 정보를 획득하기 위해 이용되는 지시자(indicator)가 상기 시력 보정 렌즈 상에 표시되고,
    상기 시력 보정 렌즈의 렌즈 특성 정보를 획득하는 단계는,
    상기 지시자를 식별하는 단계; 및
    상기 식별된 지시자에 기초하여 상기 시력 보정 렌즈의 렌즈 특성 정보를 획득하는 단계를 포함하는, 방법.
  12. 제8항에 있어서,
    상기 시력 보정 렌즈는 상기 증강 현실 장치의 지지부에 결합하기 위한 결합부를 포함하고
    상기 시력 보정 렌즈의 렌즈 특성 정보를 획득하는 단계는,
    상기 결합부를 통해 상기 시력 보정 렌즈로 전자기적 신호를 인가하는 단계;
    상기 시력 보정 렌즈로부터 상기 인가된 전자기적 신호에 대한 응답에 대응되는 전자기적 리턴 신호를 획득하는 단계; 및
    상기 획득된 전자기적 리턴 신호에 기초하여 상기 시력 보정 렌즈의 렌즈 특성 정보를 획득하는 단계를 포함하는, 방법.
  13. 제8항에 있어서,
    상기 시력 보정 렌즈는 가변 초점 렌즈를 포함하고,
    상기 시력 보정 렌즈의 렌즈 특성 정보를 획득하는 단계는,
    상기 가변 초점 렌즈를 제어하기 위한 제어 파라미터를 설정하는 단계; 및
    상기 설정된 제어 파라미터에 기초하여 상기 시력 보정 렌즈의 렌즈 특성 정보를 획득하는 단계를 더 포함하는, 방법.
  14. 제8항에 있어서,
    상기 보상된 눈 이미지에 기초하여 상기 사용자의 시선 정보를 획득하는 단계는,
    상기 보상된 눈 이미지로부터 적어도 하나의 기 설정된 특징점들의 위치 및 중심점의 위치를 획득하는 단계; 및
    상기 특징점들의 위치 및 중심점의 위치에 기초하여 상기 사용자의 시선 정보를 획득하는 단계를 포함하는, 방법.
  15. 제8항 내지 제14항 중 어느 한 항의 방법을 컴퓨터에서 수행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체.
PCT/KR2022/011693 2021-08-05 2022-08-05 사용자의 시선을 검출하는 증강 현실 장치 및 방법 WO2023014185A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202280052797.2A CN117730271A (zh) 2021-08-05 2022-08-05 用于检测用户注视的增强现实装置和方法
EP22853560.5A EP4321923A1 (en) 2021-08-05 2022-08-05 Augmented reality device and method for detecting gaze of user
US17/903,616 US11983315B2 (en) 2021-08-05 2022-09-06 Augmented reality device and method for detecting gaze of user

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20210103476 2021-08-05
KR10-2021-0103476 2021-08-05
KR1020210152571A KR20230021551A (ko) 2021-08-05 2021-11-08 사용자의 시선을 검출하는 증강 현실 장치 및 방법
KR10-2021-0152571 2021-11-08

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/903,616 Continuation US11983315B2 (en) 2021-08-05 2022-09-06 Augmented reality device and method for detecting gaze of user

Publications (1)

Publication Number Publication Date
WO2023014185A1 true WO2023014185A1 (ko) 2023-02-09

Family

ID=85154683

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/011693 WO2023014185A1 (ko) 2021-08-05 2022-08-05 사용자의 시선을 검출하는 증강 현실 장치 및 방법

Country Status (1)

Country Link
WO (1) WO2023014185A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170041862A (ko) * 2014-08-11 2017-04-17 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 유저 안경 특성을 결정하는 눈 추적용 디바이스를 갖는 헤드업 디스플레이
JP2019516204A (ja) * 2016-04-06 2019-06-13 北京七▲シン▼易▲維▼信息技▲術▼有限公司Ｂｅｉｊｉｎｇ ７Ｉｎｖｅｎｓｕｎ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ． ビデオメガネの眼球追跡モジュール
KR20190069563A (ko) * 2016-10-26 2019-06-19 밸브 코포레이션 광학적 렌즈 왜곡을 교정하기 위한 동공 위치의 사용
KR20200136449A (ko) * 2018-04-23 2020-12-07 칼 자이스 비전 인터내셔널 게엠베하 사용자에 의한 개별 착용 상황에 대해 광학 렌즈를 측정하기 위한 방법 및 장치
KR20210023921A (ko) * 2021-02-18 2021-03-04 주식회사 레티널 시력 보정 기능을 구비하는 증강 현실용 광학 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170041862A (ko) * 2014-08-11 2017-04-17 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 유저 안경 특성을 결정하는 눈 추적용 디바이스를 갖는 헤드업 디스플레이
JP2019516204A (ja) * 2016-04-06 2019-06-13 北京七▲シン▼易▲維▼信息技▲術▼有限公司Ｂｅｉｊｉｎｇ ７Ｉｎｖｅｎｓｕｎ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ． ビデオメガネの眼球追跡モジュール
KR20190069563A (ko) * 2016-10-26 2019-06-19 밸브 코포레이션 광학적 렌즈 왜곡을 교정하기 위한 동공 위치의 사용
KR20200136449A (ko) * 2018-04-23 2020-12-07 칼 자이스 비전 인터내셔널 게엠베하 사용자에 의한 개별 착용 상황에 대해 광학 렌즈를 측정하기 위한 방법 및 장치
KR20210023921A (ko) * 2021-02-18 2021-03-04 주식회사 레티널 시력 보정 기능을 구비하는 증강 현실용 광학 장치

Similar Documents

Publication Publication Date Title
US10031579B2 (en) Automatic calibration for reflective lens
US9711072B1 (en) Display apparatus and method of displaying using focus and context displays
US9711114B1 (en) Display apparatus and method of displaying using projectors
EP3228072B1 (en) Virtual focus feedback
JP6089705B2 (ja) 表示装置、および、表示装置の制御方法
US10048750B2 (en) Content projection system and content projection method
EP2499962B1 (en) Optical measuring device and method for capturing at least one parameter of at least one eye wherein an illumination characteristic is adjustable
US10002293B2 (en) Image collection with increased accuracy
WO2018100242A1 (en) Display apparatus and method of displaying using optical combiners and context and focus image renderers
WO2022010152A1 (ko) 사용자의 시력을 교정하고 캘리브레이션을 수행하는 디바이스 및 방법
US11983315B2 (en) Augmented reality device and method for detecting gaze of user
KR20220046494A (ko) 시선 방향을 결정하는 방법 및 시선 추적 센서
WO2023014185A1 (ko) 사용자의 시선을 검출하는 증강 현실 장치 및 방법
US11934571B2 (en) Methods and systems for a head-mounted device for updating an eye tracking model
WO2023282524A1 (ko) 시력 측정 및 시력 교정을 제공하는 증강 현실 장치 및 방법
KR20230021551A (ko) 사용자의 시선을 검출하는 증강 현실 장치 및 방법
US10859832B1 (en) Mitigating light exposure to elements of a focus adjusting head mounted display
CN117730271A (zh) 用于检测用户注视的增强现实装置和方法
US20190347833A1 (en) Head-mounted electronic device and method of utilizing the same
WO2022124638A1 (ko) 사용자 렌즈가 삽입되는 렌즈 클립 및 렌즈 클립에 사용자 렌즈의 삽입 여부를 검출하는 머리 장착형 전자 장치
WO2024111804A1 (ko) 증강 현실에서 이미지 획득 장치 및 방법
WO2022158795A1 (ko) 사용자의 시선을 검출하는 증강 현실 장치 및 방법
KR20220106011A (ko) 사용자의 시선을 검출하는 증강 현실 장치 및 방법
CN117452591A (zh) 具有集成式可调谐透镜的镜筒

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22853560

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2022853560

Country of ref document: EP

Ref document number: 22853560.5

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2022853560

Country of ref document: EP

Effective date: 20231108

WWE Wipo information: entry into national phase

Ref document number: 202280052797.2

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE