WO2022019482A1 - 증강 현실용 화상의 영상 보정 장치 - Google Patents

증강 현실용 화상의 영상 보정 장치 Download PDF

Info

Publication number
WO2022019482A1
WO2022019482A1 PCT/KR2021/007525 KR2021007525W WO2022019482A1 WO 2022019482 A1 WO2022019482 A1 WO 2022019482A1 KR 2021007525 W KR2021007525 W KR 2021007525W WO 2022019482 A1 WO2022019482 A1 WO 2022019482A1
Authority
WO
WIPO (PCT)
Prior art keywords
augmented reality
image
function
reflector
corrected
Prior art date
Application number
PCT/KR2021/007525
Other languages
English (en)
French (fr)
Inventor
하정훈
박순기
Original Assignee
주식회사 레티널
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 레티널 filed Critical 주식회사 레티널
Priority to JP2023502939A priority Critical patent/JP2023534280A/ja
Priority to CN202180038548.3A priority patent/CN115699076A/zh
Priority to US18/016,300 priority patent/US11927733B2/en
Publication of WO2022019482A1 publication Critical patent/WO2022019482A1/ko
Priority to US18/434,548 priority patent/US20240176121A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B17/00—Systems with reflecting surfaces, with or without refracting elements
    • G02B17/002—Arrays of reflective systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/011—Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Definitions

  • the present invention relates to an apparatus for correcting an image for augmented reality, and more particularly, to an apparatus for correcting an image for augmented reality that can provide an image for augmented reality having a uniform luminance distribution.
  • Augmented reality means providing a virtual image or image provided by a computer or the like overlaid on a real image of the real world.
  • an optical system capable of providing a virtual image or image generated by a device such as a computer overlaid on an image of the real world is required.
  • a technique using optical means such as a prism that reflects or refracts a virtual image using a head mounted display (HMD) or a glasses-type device is known.
  • HMD head mounted display
  • the present applicant has augmented by projecting a virtual image, that is, an image for augmented reality through the pupil to the retina using a reflector having a size smaller than that of the human pupil, as described in Patent Document 1
  • a virtual image that is, an image for augmented reality through the pupil to the retina using a reflector having a size smaller than that of the human pupil
  • FIG. 1 is a view showing an optical device 100 for augmented reality as disclosed in Patent Document 1 filed by the present applicant.
  • the optical device 100 for augmented reality of FIG. 1 includes an optical unit 10 , a reflection unit 20 , an image output unit 30 , and a frame unit 40 .
  • the optical means 10 may be, for example, a spectacle lens as a means for transmitting at least a part of the real object image light, which is the image light emitted from the real object, and the reflecting unit 30 is embedded therein. Also, the optical means 10 transmits the augmented reality image light reflected from the reflector 20 to the pupil.
  • the frame part 40 is a means for fixing and supporting the image output part 30 and the optical means 10 , and may be, for example, a spectacle frame.
  • the image output unit 30 is a virtual image, that is, a means for emitting augmented reality image light that is image light corresponding to an image for augmented reality, for example, a small display device for emitting augmented reality image light by displaying an image for augmented reality on the screen and a collimator for collimating image light emitted from the display device into parallel light.
  • the reflection unit 20 provides an image for augmented reality by reflecting the image light for augmented reality emitted from the image output unit 30 toward the user's pupil 50 .
  • the reflector 20 of FIG. 1 is formed to have a size smaller than that of a human pupil, that is, 8 mm or less. It is possible to make the depth of the light almost to infinity, that is, the depth of field can be very deep.
  • Depth of field refers to a range recognized as being in focus, and increasing the depth means that the focal length of an image for augmented reality also becomes deeper. Accordingly, if the depth of field is increased, even if the user changes the focal length for the real world while gazing at the real world, it is recognized that the focus of the augmented reality image is always correct regardless of this. This can be seen as a kind of pinhole effect. Accordingly, even if the user changes the focal length while gazing at a real object existing in the real world, a clear virtual image can always be viewed for the augmented reality image.
  • FIG. 2 and 3 show an optical device 200 for augmented reality in which a plurality of reflectors 20 are disposed.
  • FIG. 2 is a side view of the optical device 200 for augmented reality
  • FIG. 3 is an optical device for augmented reality.
  • (200) is a front view.
  • the reflector 20 is disposed in the form of a plurality of arrays to provide a wider viewing angle. There is a difference.
  • the reflectors 20 are arranged in a 4 ⁇ 9 array form, and each of the reflectors 20 is emitted from the image output unit 30 .
  • the reflectors 20 constituting the lower row when viewed from the side of the augmented reality optical device 200 are located closer to the pupil 50 . placed to do
  • the image output unit 30 receives augmented reality image information that enables the image output unit 30 to display an augmented reality image from an image reproducing device (not shown) such as a computer or a smartphone, and corresponds to the augmented reality image information
  • the augmented reality image light is emitted and transmitted to the plurality of reflection units 20 .
  • the plurality of reflection units 20 reflect the augmented reality image light emitted from the image output unit 30 and transmit it to the pupil 50 of the user's eye to provide an augmented reality image corresponding to the augmented reality image light to the user. do.
  • the optical device 200 for augmented reality having the plurality of reflectors 20 has the advantage of providing a wider viewing angle, but there is a problem in that the luminance distribution of the augmented reality image provided to the user is not uniform.
  • FIG. 4 is a diagram for explaining a problem of non-uniformity in the luminance distribution of an image for augmented reality observed by a user through the optical device 200 for augmented reality of FIGS. 2 and 3 .
  • Figure 4 (A) shows a screen in a state in which the image for augmented reality is displayed in the image output unit 30,
  • (B) is the augmented reality image of Fig. 4 (A) for augmented reality optics
  • an image for augmented reality which is an observed image observed by a user through the device 200
  • the contrast of the screen is somewhat exaggerated in FIG. 4 to explain the principle of the present invention. .
  • an image for augmented reality with a uniform luminance distribution is displayed on the display unit of the image output unit 30 .
  • the augmented reality image is transmitted to the pupil 50 through the plurality of reflection units 20 , the user observes an image in which the luminance distribution is not uniform as shown in FIG. 4B .
  • the portion indicated in white in FIG. 4B is an area that appears brighter than the surrounding area due to the light reflected from the adjacent reflector 20 .
  • the non-uniformity of the luminance distribution is the shape, size, and arrangement of the reflection unit 20, the pupil diameter, the eyepiece distance (the distance between the pupil and the reflection unit 20, eye relief), the focal position of the eye, the horizontal position of the eye, etc. are related
  • the optical device 200 for augmented reality using the plurality of reflectors 20 there may be a problem that the augmented reality image finally observed by the user is unclear or not clear due to the non-uniformity of the luminance distribution. .
  • the present invention provides an augmented reality optical device for providing an augmented reality image using a plurality of reflection units, so that the luminance of the augmented reality image can be solved to solve the problem of non-uniform luminance distribution.
  • An object of the present invention is to provide an image correction device for an augmented reality image capable of providing an augmented reality image having a uniform luminance distribution by correcting distribution information in advance.
  • the present invention provides an image output unit for emitting an augmented reality image light corresponding to an image for augmented reality; optical means for transmitting at least a portion of the image light of the real object, which is the image light emitted from the real object, toward the pupil of the user; and a plurality of reflection units disposed inside the optical means to reflect the augmented reality image light emitted from the image output unit and transmit it to the user's pupil as an image correction device for augmented reality combined with an optical device for augmented reality.
  • a compensation function determining unit for determining a compensation function for correcting luminance information of an observation image observed by a user through the optical device for augmented reality when the original augmented reality image is output from the image output unit; and a corrected image information generation unit configured to generate corrected augmented reality image information based on the compensation function determined by the compensation function determining unit and original augmented reality image information, wherein the image output unit generates the corrected image information generated by the corrected image information generation unit.
  • Augmented reality characterized in that the corrected augmented reality image light corresponding to the corrected augmented reality image information is emitted, and the plurality of reflection units reflect the corrected augmented reality image light emitted from the image output unit and transmit it to the user's pupil.
  • An image correction device for an image for a user is provided.
  • ⁇ is a scaling factor, is the shape function of the reflector, is the array function of the reflector, is the Eye Point Spread Function (PSF), and * is the convolution operator
  • the compensation function can be determined by the formula of .
  • x, y are coordinate values when the plane on which the reflector is disposed is displayed in a two-dimensional coordinate system, r is the radius of the reflector, is 1 if less than r, and 0 otherwise)
  • the arrangement function of the reflector may be a function indicating the positions of the centers of the plurality of reflection units.
  • ⁇ Dirac delta It is a function (Dirac delta function), and x and y are the coordinate values of each reflector when the plane on which the reflector is arranged is expressed in a two-dimensional coordinate system)
  • ⁇ Dirac delta It is a function (Dirac delta function), and x and y are the coordinate values of each reflector when the plane on which the reflector is arranged is expressed in a two-dimensional coordinate system)
  • the eyeball point spread function may be determined based on the diameter of the pupil, the reference image distance, and the eyepiece distance.
  • the image compensating apparatus may further include a depth camera for measuring a reference image distance, and the compensation function determiner may receive the reference image distance from the depth camera to calculate an eyeball point spread function.
  • the image correction device further comprises an eye tracking device for measuring the diameter and eyepiece distance of the pupil
  • the compensation function determining unit receives the diameter and eyepiece distance of the pupil from the eye tracking device to determine the eyeball point spread function can be calculated
  • the compensation function determining unit receives the relative position information of the pupil from the eye tracking device, calculates an offset value of the arrangement function of the reflector, and based on this, the arrangement function of the reflector can be decided
  • an optical device for augmented reality that provides an image for augmented reality using a plurality of reflection units, by correcting the brightness distribution information of the image for augmented reality in advance so as to solve the problem of non-uniform brightness distribution, It is possible to provide an image correction apparatus for an augmented reality image capable of providing an augmented reality image having a uniform luminance distribution.
  • FIG. 1 is a view showing an optical device 100 for augmented reality as disclosed in Patent Document 1 filed by the present applicant.
  • FIG. 2 and 3 show an optical device 200 for augmented reality in which a plurality of reflectors 20 are disposed.
  • FIG. 2 is a side view of the optical device 200 for augmented reality
  • FIG. 3 is an optical device for augmented reality.
  • (200) is a front view.
  • FIG. 4 is a diagram for explaining a problem of non-uniformity in the luminance distribution of an image for augmented reality observed by a user through the optical device 200 for augmented reality of FIGS. 2 and 3 .
  • FIG. 5 is a diagram illustrating an image correction apparatus 300 for augmented reality and an optical apparatus 200 for augmented reality according to an embodiment of the present invention.
  • FIG. 6 shows another example of an arrangement function of the reflector 20 .
  • FIG. 7 is a diagram illustrating an example of an eyeball point spread function.
  • FIG. 8 is a diagram for explaining c, d a , d o , d m of an eyeball point spread function.
  • FIG. 10 illustrates a principle in which a luminance distribution of an observation image observed by a user is expressed by a convolution operation of a shape function of the reflector 20, an arrangement function of the reflector 20, and an eyeball point spread function.
  • 11 is for explaining the principle of the present invention by which an observation image having a uniform luminance distribution can be obtained by pre-correcting an observation image observed by a user.
  • FIG. 12 is a diagram illustrating an observation image when the image correction apparatus 300 according to the present invention is applied compared with an observation image when the image correction apparatus 300 is not applied.
  • FIG. 5 is a diagram illustrating an image correction apparatus 300 for augmented reality and an optical apparatus 200 for augmented reality according to an embodiment of the present invention.
  • the image correction apparatus 300 for augmented reality images of the embodiment of FIG. 5 (hereinafter simply referred to as "image correction apparatus 300") generates corrected augmented reality image information based on the original image information for augmented reality, and , by transmitting the generated corrected augmented reality image information to the image output unit 30 of the augmented reality optical device 200, the corrected augmented reality image having a uniform luminance distribution through the augmented reality optical device 200 is It performs a function to be provided to the user.
  • the image correction apparatus 300 includes a compensation function determiner 310 and a corrected image information generation unit 320 , which will be described later. First, the augmentation to which the image correction apparatus 300 according to the present invention is applied. The configuration and operation of the optical device 200 for reality will be schematically described.
  • the optical device 200 for augmented reality includes an optical means 10 , a plurality of reflection units 20 , and an image output unit 30 , as described in the background art with reference to FIGS. 2 and 3 .
  • the optical means 10 is a means for transmitting at least a part of the real object image light, which is the image light emitted from the real object, toward the pupil 50 of the user's eye, and the plurality of reflection units 20 are the optical means 10 . It is a means disposed inside to reflect the corrected augmented reality image light emitted from the image output unit 30 and deliver it to the user's pupil 50 .
  • each of the plurality of reflective units 20 has a size smaller than the average human pupil size, that is, 8 mm or less, more preferably 4 mm, so as to obtain a pinhole effect by increasing the depth, as described in the background art. formed below.
  • the image output unit 30 is a means for receiving corrected augmented reality image information from the image correction device 300 and emitting corrected augmented reality image light corresponding thereto.
  • the image output unit 30 may include, for example, a display device such as a small LCD and a collimator. Since the image output unit 30 itself is not a direct object of the present invention and is known in the prior art, a detailed description thereof will be omitted.
  • the plurality of reflection units 20 are shown to receive the corrected augmented reality image light directly from the image output unit 30 , but this is exemplary and the corrected augmented reality image light from the image output unit 30 . Of course, it may be configured to be totally reflected at least once on the inner surface of the optical means 10 and transmitted to the reflection unit 20 .
  • the plurality of reflection units 20 are arranged such that the reflection units 20 constituting the lower row when viewed from the side of the optical means 10 are located closer to the pupil 50 , but Of course, this is also exemplary, and may have other arrangement structures.
  • the optical device 200 for augmented reality to which the image correction device 300 according to the present invention is applied has a specific arrangement structure of the reflection unit 20 or the view between the image output unit 30 and the pupil 50 .
  • the image correction apparatus 300 includes a compensation function determiner 310 and a corrected image information generator 320 .
  • the compensation function determining unit 310 calculates a compensation function for correcting the luminance information of the observation image observed by the user through the optical device 200 for augmented reality when the original augmented reality image is output from the image output unit 30 . After determining, the corrected image information generating unit 320 performs a function of generating image information for augmented reality based on the compensation function determined by the compensation function determining unit 310 .
  • the compensation function determining unit 310 receives, for example, original augmented reality image information from an image reproducing apparatus (not shown) included in a device such as a computer or a smartphone, and based on this, the original augmented reality image is converted to an image.
  • a compensation function for correcting luminance information of an observation image observed by a user when emitted through the emission unit 30 is determined and transmitted to the corrected image information generation unit 320 .
  • the augmented reality image information is information that enables the augmented reality image to be output as image light for augmented reality from the image output unit 30, and a display unit included in the image output unit 30 (not shown). ) means information for displaying an image for augmented reality.
  • information for displaying an image on the display unit is, when the image is composed of m ⁇ n pixels, the intensity ( It is composed of a three-dimensional array of m ⁇ n ⁇ 3 composed of intensity values).
  • the intensity value for each R (red), G (green), and B (blue) color of each pixel corresponds to the luminance for each R, G, and B color of the corresponding pixel.
  • the range of intensity values is usually expressed in 8 bits to have a value between 0 and 255, and 256 ⁇ 256 ⁇ 256 combinations can be obtained through each color combination.
  • the augmented reality image information is also composed of m ⁇ n pixels so that the augmented reality image can be displayed on the display unit included in the image output unit 30, the image information for each pixel It is composed of a three-dimensional array of m ⁇ n ⁇ 3 consisting of intensity values for each R, G, and B color, which can be expressed as a matrix.
  • original augmented reality image information refers to image information for an augmented reality image in a state in which luminance information is not corrected by the image correction device 300 according to the present invention.
  • pre-compensated augmented reality image information means image information for a corrected augmented reality image having luminance information corrected by the image correction apparatus 300 according to the present invention.
  • a compensation function for correcting luminance information of an observation image observed by a user when the original augmented reality image is output through the image output unit 30 may be determined by the following equation.
  • ⁇ is a scaling factor, and when the luminance of the corrected augmented reality image exceeds the range that the display unit of the image output unit 30 can express, it is normalized to correspond to the range that the display unit can express. It is a value for normalization. This may vary according to the maximum value of the image for the corrected augmented reality.
  • the shape function of the reflector 20 is an arrangement function of the reflector 20, is an eye point spread function (PSF), and * is a convolution operator.
  • x and y mean coordinate values of the x-axis and y-axis when the plane or retina on which the reflector 20 is disposed is displayed in a two-dimensional coordinate system.
  • shape function of the reflector 20 is a function mathematically representing the shape of the reflective unit 20, for example, when the reflective unit 20 is circular, it can be defined as follows.
  • x and y are coordinate values when the plane on which the reflector 20 is disposed is displayed in a two-dimensional coordinate system, and r is the radius of the reflector 20 .
  • the arrangement function of the reflector 20 ( ) is a function describing the arrangement structure of the reflectors 20 in the plane in which the reflectors 20 are arranged, and the position of the center of each reflector 20 is a two-dimensional plane in which the reflectors 20 are disposed. This is a function that displays in the coordinate system.
  • an arrangement function of the reflection unit 20 indicating the position of the center of each reflection unit 20 may be defined as follows.
  • h is the number of the reflective parts 20 in the horizontal direction
  • w is the number of the reflective parts 20 in the vertical direction
  • w h is the distance between the reflective parts 20 in the horizontal direction
  • w v is the reflection It is the interval in the longitudinal direction of the part 20, and ⁇ is a Dirac delta function.
  • x and y are coordinate values of each reflector 20 when the plane on which the reflector 20 is disposed is expressed in a two-dimensional coordinate system.
  • FIG. 6 shows another example of an arrangement function of the reflector 20 .
  • the plurality of reflection units 20 are arranged in a hexagonal two-dimensional lattice form, each row is spaced apart by w v , and each column is spaced apart by w h /2.
  • the arrangement function of the reflector 20 may be defined as follows.
  • the sigma operation on the left indicates the arrangement of the reflectors 20 in odd-numbered columns from the left
  • the sigma operation on the right indicates the arrangement of the reflectors 20 in even-numbered columns.
  • h is the number of the reflective parts 20 in the horizontal direction
  • w is the number of the reflective parts 20 in the vertical direction
  • w h is the distance between the reflective parts 20 in the horizontal direction
  • w v is the reflection It is the interval in the longitudinal direction of the part 20, and ⁇ is a Dirac delta function.
  • x and y are coordinate values of each reflector 20 when the plane on which the reflector 20 is disposed is expressed in a two-dimensional coordinate system.
  • Eye Point Spread Function denotes a two-dimensional spatial distribution function in the retinal plane of the intensity value of an image formed on the retina when a point light source located at a distance d m from the pupil 50 is observed.
  • FIG. 7 is a diagram illustrating an example of an eyeball point spread function.
  • the eyeball point spread function of FIG. 7 may be defined by the following Gaussian distribution.
  • d a is the diameter of the pupil 50
  • d o is the reference image distance (the focal position for the object included in the augmented reality image)
  • d m is the eyepiece distance (the pupil 50 and the reflector 20) distance, eye relief)
  • x and y mean the coordinate values when displaying the retina in a two-dimensional coordinate system.
  • FIG. 8 is a diagram for explaining c, d a , d o , d m of an eyeball point spread function.
  • d a is the diameter of the pupil 50
  • d m is the eye relief (the distance from the pupil 50 to the reflector 20 ).
  • d o is a reference image distance and means a distance between a focal point, which is a location of a virtual object, which is an object included in an image for augmented reality, and the pupil 50 .
  • c is the blur diameter, and when one point light source is transparent to the retina through the reflector 20, it means the diameter of the circle of confusion in which the point light source is blurred.
  • the equation of can be derived from the proportional expression of triangles as shown in FIG. 8 .
  • the luminance at the position corresponding to the radius of the pupil 50 from the origin is highest, and the luminance at the position corresponding to the center of the pupil 50 is slightly lower than the radius of the pupil 50 . From the outside, it can be seen that the distribution shows a sharp decrease in luminance.
  • the eyeball point spread function of FIG. 9 is It can be generalized to , where d a , d o , and d m denoted as subscripts mean that the eyeball point spread function is changed by these values.
  • Such an eyeball point spread function is a function determined by a person's eye characteristics, and in the individual eyeball point spread function, the detailed shape of the eyeball point spread function may vary depending on each person's eyesight, age, eye condition, etc., but in general, the central takes the form of bright concentric circles, and the individual eyeball point spread function changes according to the pupil diameter, reference image distance, and eyepiece distance, but has the same value under the same conditions.
  • the eyeball point spread function in FIGS. 7 and 9 is expressed as a one-dimensional function for convenience of explanation, it is actually a distribution function according to the retinal plane, so it is a two-dimensional function that changes according to the position (x, y) of the retina. point should be noted.
  • eyeball point spread function shown in FIGS. 7 and 9 is exemplary, and it goes without saying that other eyeball point spread functions may be used.
  • the shape function ( ), the array function of the reflector 20 ( ) and the ocular point spread function ( ) and the compensation function can be determined by the scaling factor ( ⁇ ), which is based on the following principle.
  • the luminance of the observation image observed by the user is the shape function of the reflector 20 ( ), the array function of the reflector 20 ( ) and the ocular point spread function ( ) can be expressed as a result of multiplying a convolution operation of the original augmented reality image.
  • FIG. 10 illustrates a principle in which a luminance distribution of an observation image observed by a user is expressed by a convolution operation of a shape function of the reflector 20, an arrangement function of the reflector 20, and an eyeball point spread function.
  • the original image has the same luminance distribution regardless of position, and the reflector 20 is disposed with the width and spacing as shown in (B), ( Assuming that it has the eyeball point spread function as shown in C), the luminance of the observed image finally observed by the user is the shape function ( ), the array function of the reflector 20 ( ) and Eye Point Spread Function (PSF, ), it can be seen that the result of the convolution operation is expressed by the value obtained by multiplying the original image.
  • PSF Eye Point Spread Function
  • multiplying the original image by the result of the convolution operation of the shape function of the reflector 20, the array function of the reflector 20, and the eyeball point spread function means that the original image has m ⁇ n pixels, as described above.
  • the final observed image as shown in (D) of FIG. 10 is the result of the convolution operation in (B) and (C), that is, unlike the uniform luminance distribution of the original image in (A), It can be seen that the luminance distribution is not uniform according to the position.
  • the augmented reality image information transmitted to the image output unit 30 can be corrected in advance to make the luminance distribution of the final observation image uniform, the final observation image having a uniform luminance distribution can be obtained.
  • 11 is for explaining the principle of the present invention by which an observation image having a uniform luminance distribution can be obtained by pre-correcting an observation image observed by a user.
  • FIG. 11 (B) and (C) are the same as (B) and (C) of FIG. 10 , and instead of the original image, a pre-compensated image having a luminance distribution as shown in FIG. 11 (A). ) is different from that in FIG. 10 in that it is input.
  • the luminance distribution of the observed image is the pre-corrected image ⁇
  • the final observation image for the pre-corrected image having the luminance distribution as shown in (A) of FIG. 11 has a uniform luminance distribution as shown in (D).
  • the compensation function determiner 310 determines the compensation function is determined by the formula of
  • the shape function and the arrangement function of the reflector 20 are values that can be known in advance, and the eye point In the diffusion function, except for the diameter of the pupil 50 , that is, d a , d o , d m are also preset values that are not particularly changed when designing the optical device 200 for augmented reality.
  • the compensation function can be calculated by measuring only the diameter of the pupil 50 of the user of the optical device 200 for augmented reality.
  • the diameter of the user's pupil 50 changes according to the depth information of the main object included and displayed in the augmented reality image, the luminance information of the original augmented reality image, etc., and the depth information of the main object and the original augmented reality image Since the luminance information is also a value that can be known in advance, the compensation function can be easily obtained by experimentally obtaining the average value of the diameter of the user's pupil 50 corresponding to these values in advance.
  • the corrected image information generation unit 320 generates corrected augmented reality image information based on the compensation function determined by the compensation function determiner 310 and the original augmented reality image information, and transmits the generated image information to the image output unit 30 . carry out
  • the image information for corrected augmented reality can be obtained by the following formula.
  • Image information for corrected augmented reality image information for original augmented reality ⁇ compensation function
  • the original augmented reality image is composed of m ⁇ n pixels
  • m ⁇ n ⁇ 3 pixel matrix composed of intensity values for each R, G, and B color of each pixel and a compensation function are added to the matrix. This means that the multiplication operation is performed for each component.
  • the luminance distribution of the image for corrected augmented reality by the image information for corrected augmented reality generated by this is the same as that shown in FIG.11(A).
  • the image output unit 30 that has received this corrected augmented reality image information emits a corresponding corrected augmented reality image light, and the reflector 20 reflects the corrected augmented reality image light and transmits it to the pupil 50 ,
  • An image for corrected augmented reality is provided to the user, which is a convolution of the shape function of the reflector 20, the arrangement function of the reflector 20, and the eyeball point spread function in FIGS. 11B and 11C. Since it corresponds to the calculation, the corrected augmented reality image finally observed by the user has a uniform luminance distribution as shown in (D) of FIG. 11 .
  • FIG. 12 is a diagram illustrating an observation image when the image correction apparatus 300 according to the present invention is applied compared with an observation image when the image correction apparatus 300 is not applied.
  • (A) shows the state in which the original augmented reality image is displayed on the image output unit 30, (B) is the original augmented reality image without application of the image correction device 300 for augmented reality optics It shows an observation image that a user observes when it is transmitted to the pupil 50 through the device 200 . It can be seen that this has a non-uniform luminance distribution as described above with reference to FIGS. 4 and 10 (D).
  • FIG. 12(C) shows a state in which the corrected augmented reality image corresponding to the corrected augmented reality image information generated by the image correction apparatus 300 is displayed on the image output unit 30 as described above.
  • (D) shows the final observation image that the user observes when the corrected augmented reality image is transmitted to the pupil 50 through the augmented reality optical device 200 .
  • FIG. 12D it can be seen that the observed image for the corrected augmented reality image for which the luminance information is corrected by the image correction apparatus 300 has a uniform luminance distribution. Accordingly, the user may be provided with a sharper and clearer augmented reality image than in the case of FIG. 12B .
  • the eye point spread function is also changed by the diameter d a and the eyepiece distance d m, and the reference image distance d o of the pupil 50, the reference image distance where d o is the case changing them
  • a distance between the position of the virtual object and the pupil 50 may be dynamically measured using a depth camera.
  • the diameter d a of the pupil 50 and the eyepiece distance d m can be dynamically measured.
  • the arrangement function ( ) has been described with respect to the fixed position of the pupil 50, but when the position of the pupil 50 moves, the arrangement function ( ) may be offset. At this time, if the eye tracking device is used, the relative position of the pupil 50 can be known in real time, so the arrangement function ( ) can be corrected, which is an arrangement function ( ) can be applied to all
  • the arrangement function of the reflector 20 indicating the position of the center of the reflector 20 as described above may be modified as follows.
  • x o and y o are offset values in the x-axis and y-axis directions, respectively.
  • the diameter d a of the pupil 50 , the eyepiece distance d m , the reference image distance d o , and the relative position of the pupil 50 can all be measured in real time. .
  • the present invention can be easily applied to a case where the augmented reality image is a moving picture and the reference image distance changes and the diameter of the pupil frequently changes due to a change in luminance.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)

Abstract

본 발명은 증강 현실용 화상의 영상 보정 장치에 관한 것으로서, 증강 현실용 화상에 상응하는 증강 현실 화상광을 출사하는 화상 출사부; 실제 사물로부터 출사된 화상광인 실제 사물 화상광의 적어도 일부를 사용자의 동공을 향해 투과시키는 광학 수단; 및 상기 광학 수단 내부에 배치되어 화상 출사부에서 출사된 증강 현실 화상광을 반사시켜 사용자의 동공으로 전달하는 복수개의 반사부를 구비하는 증강 현실용 광학 장치와 결합하는 증강 현실용 화상의 영상 보정 장치로서, 상기 화상 출사부에서 원본 증강 현실용 화상이 출사될 때, 상기 증강 현실용 광학 장치를 통해 사용자가 관찰하게 되는 관찰 영상의 휘도 정보를 보정하기 위한 보상 함수를 결정하는 보상 함수 결정부; 및 상기 보상 함수 결정부에서 결정된 보상 함수와 원본 증강 현실용 화상 정보에 기초하여 보정 증강 현실용 화상 정보를 생성하는 보정 화상 정보 생성부를 포함하고, 상기 화상 출사부는 상기 보정 화상 정보 생성부에서 생성된 보정 증강 현실용 화상 정보에 상응하는 보정 증강 현실 화상광을 출사하고, 상기 복수개의 반사부는 상기 화상 출사부에서 출사된 보정 증강 현실 화상광을 반사시켜 사용자의 동공으로 전달하는 것을 특징으로 하는 증강 현실용 화상의 영상 보정 장치를 제공한다.

Description

증강 현실용 화상의 영상 보정 장치
본 발명은 증강 현실용 화상의 영상 보정 장치에 관한 것으로서, 보다 상세하게는 균일한 휘도 분포를 갖는 증강 현실용 화상을 제공할 수 있는 증강 현실용 화상의 영상 보정 장치에 관한 것이다.
증강 현실(AR, Augmented Reality)이라 함은, 주지된 바와 같이, 현실 세계의 실제 영상에 컴퓨터 등에 의해 제공되는 가상의 영상이나 이미지를 겹쳐서 제공하는 것을 의미한다.
이러한 증강 현실을 구현하기 위해서는, 컴퓨터와 같은 디바이스에 의해 생성되는 가상의 영상이나 이미지를 현실 세계의 영상에 겹쳐서 제공할 수 있도록 하는 광학계를 필요로 한다. 이러한 광학계로서는 HMD(Head Mounted Display)나 안경형의 장치를 이용하여 가상 영상을 반사 또는 굴절시키는 프리즘 등과 같은 광학 수단을 사용하는 기술이 알려져 있다.
그러나, 이러한 종래의 광학계를 이용한 장치들은, 그 구성이 복잡하여 무게와 부피가 상당하므로 사용자가 착용하기에 불편함이 있고 제조 공정 또한 복잡하므로 제조 비용이 높다는 문제가 있다.
또한, 종래의 장치들은, 사용자가 현실 세계를 응시할 때 초점 거리를 변경하는 경우 가상 영상의 초점이 맞지 않게 된다는 한계가 있다. 이를 해결하기 위하여 가상 영상에 대한 초점 거리를 조절할 수 있는 프리즘과 같은 구성을 이용하거나 초점 거리의 변경에 따라 가변형 초점 렌즈를 전기적으로 제어하는 등의 기술이 제안되어 있다. 그러나, 이러한 기술 또한 초점 거리를 조절하기 위하여 사용자가 별도의 조작을 해야 하거나 초점 거리의 제어를 위한 별도의 프로세서 등과 같은 하드웨어와 소프트웨어를 필요로 한다는 점에서 문제가 있다.
이와 같은 종래 기술의 문제점을 해결하기 위하여, 본 출원인은 특허 문헌 1에 기재된 바와 같이, 사람의 동공보다 작은 크기의 반사부를 이용하여 가상 영상 즉, 증강 현실용 화상을 동공을 통해 망막에 투영함으로써 증강 현실을 구현할 수 있는 장치를 개발한 바 있다.
도 1은 본 출원인에 의해 출원된 특허 문헌 1에 개시된 바와 같은 증강 현실용 광학 장치(100)를 나타낸 도면이다.
도 1의 증강 현실용 광학 장치(100)는, 광학 수단(10), 반사부(20), 화상 출사부(30) 및 프레임부(40)를 포함한다.
광학 수단(10)은 실제 사물로부터 출사된 화상광인 실제 사물 화상광의 적어도 일부를 투과시키는 수단으로써 예컨대 안경 렌즈일 수 있으며, 그 내부에는 반사부(30)가 매립 배치되어 있다. 또한, 광학 수단(10)은 반사부(20)로부터 반사된 증강 현실 화상광을 동공으로 전달하도록 투과시키는 기능도 수행한다.
프레임부(40)는 화상 출사부(30)와 광학 수단(10)을 고정 및 지지하는 수단으로서, 예컨대 안경테와 같은 것일 수 있다.
화상 출사부(30)는 가상 영상 즉, 증강 현실용 화상에 상응하는 화상광인 증강 현실 화상광을 출사하는 수단으로서, 예컨대 증강 현실용 화상을 화면에 표시하여 증강 현실 화상광을 방사하는 소형 디스플레이 장치와 디스플레이 장치로부터 방사되는 화상광을 평행광으로 시준하기 위한 콜리메이터(collimator)를 구비할 수 있다.
반사부(20)는 화상 출사부(30)로부터 출사된 증강 현실용 화상광을 사용자의 동공(50)을 향해 반사시킴으로써 증강 현실용 화상을 제공한다.
도 1의 반사부(20)는, 사람의 일반적인 동공의 크기보다 작은 크기 즉, 8mm 이하로 형성되어 있는데, 반사부(20)를 동공보다 작게 형성하면, 반사부(20)를 통해 동공으로 입사하는 빛에 대한 심도를 거의 무한대에 가깝게 즉, 심도를 매우 깊게 할 수 있다.
심도(Depth of Field)란, 초점이 맞는 것으로 인식되는 범위를 말하는데, 심도가 깊어진다는 것은 증강 현실용 화상에 대한 초점 거리도 깊어진다는 것을 의미한다. 따라서, 심도가 깊어지면, 사용자가 실제 세계를 응시하면서 실제 세계에 대한 초점 거리를 변경하더라도 이와 관계없이 증강 현실용 화상의 초점은 항상 맞는 것으로 인식하게 된다. 이는 일종의 핀홀 효과(pinhole effect)라고 볼 수 있다. 따라서, 사용자가 실제 세계에 존재하는 실제 사물을 응시하면서 초점 거리를 변경하더라도 증강 현실용 화상에 대해서는 항상 선명한 가상 영상을 볼 수 있다.
도 2 및 도 3은 반사부(20)를 복수개 배치한 증강 현실용 광학 장치(200)를 나타낸 것으로서, 도 2는 증강 현실용 광학 장치(200)의 측면도이고, 도 3은 증강 현실용 광학 장치(200)의 정면도이다.
도 2 및 도 3은 도 1의 증강 현실용 광학 장치(100)와 기본적으로 동일하되, 보다 넓은 시야각을 제공할 수 있도록 반사부(20)가 복수개의 어레이(array) 형태로 배치되어 있다는 점에서 차이가 있다.
즉, 도 2 및 도 3의 증강 현실용 광학 장치(200)에서의 반사부(20)는 4×9 어레이 형태로 배치되며, 각각의 반사부(20)들이 화상 출사부(30)로부터 출사되는 증강 현실용 화상을 전달받을 수 있도록, 도 2에 나타낸 바와 같이 증강 현실용 광학 장치(200)를 측면에서 보았을 때 아래쪽의 행을 구성하는 반사부(20)들이 동공(50)에 보다 더 가깝게 위치하도록 배치한다.
화상 출사부(30)는 컴퓨터, 스마트폰 등과 같은 영상 재생 장치(미도시)로부터 화상 출사부(30)에서 증강 현실 화상을 표시할 수 있도록 하는 증강 현실 화상 정보를 전달받아 증강 현실 화상 정보에 상응하는 증강 현실 화상광을 출사하여 복수개의 반사부(20)로 전달한다.
복수개의 반사부(20)는 화상 출사부(30)로부터 출사된 증강 현실 화상광을 반사시켜 사용자의 눈의 동공(50)으로 전달함으로써 사용자에게 증강 현실 화상광에 상응하는 증강 현실 화상을 제공하게 된다.
이러한 복수개의 반사부(20)를 갖는 증강 현실용 광학 장치(200)는 보다 넓은 시야각을 제공할 수 있다는 장점이 있으나, 사용자에게 제공되는 증강 현실용 화상의 휘도 분포가 균일하지 않다는 문제점이 있다.
도 4는 도 2 및 도 3의 증강 현실용 광학 장치(200)를 통해 사용자가 관측하는 증강 현실용 화상의 휘도 분포의 불균일 문제를 설명하기 위한 도면이다.
도 4의 (A)는 증강 현실용 화상이 화상 출사부(30)에서 표시된 상태의 화면을 나타낸 것이고, 도 4의 (B)는 도 4의 (A)의 증강 현실용 화상을 증강 현실용 광학 장치(200)를 통해 사용자가 관측하는 관찰 영상(observed image)인 증강 현실용 화상을 나타낸 것으로서, 도 4에서는 본 발명의 원리를 설명하기 위해 화면의 명암이 다소 과장되게 표현되어 있음을 유의해야 한다.
도 4의 (A)에 나타낸 바와 같이, 휘도 분포가 균일한 증강 현실용 화상이 화상 출사부(30)의 디스플레이부에 표시된다. 그렇지만, 이러한 증강 현실용 화상이 복수개의 반사부(20)를 거쳐 동공(50)으로 전달되면, 도 4의 (B)에 나타낸 바와 같이 휘도 분포가 균일하지 않은 영상을 사용자가 관찰하게 된다.
도 4의 (B)에서 흰색으로 나타낸 부분은 인접하는 반사부(20)에서 반사된 빛으로 인하여 주변 영역보다 더 밝게 보이는 영역이다.
이러한 휘도 분포의 불균일성은, 반사부(20)의 형상, 크기 및 배열 구조와 동공 지름, 접안 거리(동공과 반사부(20)의 거리, eye relief), 안구의 초점 위치, 안구의 수평 위치 등과 관련되어 있다.
따라서, 복수개의 반사부(20)를 이용한 증강 현실용 광학 장치(200)에 있어서 휘도 분포의 불균일성으로 인하여 사용자가 최종적으로 관찰하게 되는 증강 현실용 화상이 불명확하거나 선명하지 못하다는 문제가 발생할 수 있다.
[특허문헌 1]
대한민국 등록특허공보 10-1660519호(2016.09.29 공고)
상기한 바와 같은 문제점을 해결하기 위하여 본 발명은, 복수개의 반사부를 사용하여 증강 현실용 화상을 제공하는 증강 현실용 광학 장치에 있어서, 휘도 분포가 불균일한 문제점을 해결할 수 있도록 증강 현실용 화상의 휘도 분포 정보를 사전에 보정함으로써, 균일한 휘도 분포를 갖는 증강 현실용 화상을 제공할 수 있는 증강 현실용 화상의 영상 보정 장치를 제공하는 것을 목적으로 한다.
상기한 바와 같은 과제를 해결하기 위하여 본 발명은, 증강 현실용 화상에 상응하는 증강 현실 화상광을 출사하는 화상 출사부; 실제 사물로부터 출사된 화상광인 실제 사물 화상광의 적어도 일부를 사용자의 동공을 향해 투과시키는 광학 수단; 및 상기 광학 수단 내부에 배치되어 화상 출사부에서 출사된 증강 현실 화상광을 반사시켜 사용자의 동공으로 전달하는 복수개의 반사부를 구비하는 증강 현실용 광학 장치와 결합하는 증강 현실용 화상의 영상 보정 장치로서, 상기 화상 출사부에서 원본 증강 현실용 화상이 출사될 때, 상기 증강 현실용 광학 장치를 통해 사용자가 관찰하게 되는 관찰 영상의 휘도 정보를 보정하기 위한 보상 함수를 결정하는 보상 함수 결정부; 및 상기 보상 함수 결정부에서 결정된 보상 함수와 원본 증강 현실용 화상 정보에 기초하여 보정 증강 현실용 화상 정보를 생성하는 보정 화상 정보 생성부를 포함하고, 상기 화상 출사부는 상기 보정 화상 정보 생성부에서 생성된 보정 증강 현실용 화상 정보에 상응하는 보정 증강 현실 화상광을 출사하고, 상기 복수개의 반사부는 상기 화상 출사부에서 출사된 보정 증강 현실 화상광을 반사시켜 사용자의 동공으로 전달하는 것을 특징으로 하는 증강 현실용 화상의 영상 보정 장치를 제공한다.
여기에서, 상기 보상 함수 결정부는,
Figure PCTKR2021007525-appb-img-000001
(α는 스케일링 팩터(scaling factor)이며,
Figure PCTKR2021007525-appb-img-000002
는 반사부의 형태 함수이고,
Figure PCTKR2021007525-appb-img-000003
는 반사부의 배열 함수이고,
Figure PCTKR2021007525-appb-img-000004
는 안구 점확산 함수(Eye Point Spread Function, PSF)이고, *는 컨볼루션 연산자(convolution operator))
의 수식에 의해 보상 함수를 결정할 수 있다.
또한, 상기 반사부의 형태 함수
Figure PCTKR2021007525-appb-img-000005
는,
Figure PCTKR2021007525-appb-img-000006
(여기서, x,y는 반사부가 배치된 평면을 2차원 좌표계로 표시할 때의 좌표값이고, r은 반사부의 반지름이며,
Figure PCTKR2021007525-appb-img-000007
은 r보다 작으면 1이고, 다른 경우에는 0을 가짐)
에 의해 결정될 수 있다.
또한, 상기 반사부의 배열 함수
Figure PCTKR2021007525-appb-img-000008
는 복수개의 반사부들의 중심의 위치를 나타내는 함수일 수 있다.
또한, 상기 반사부의 배열 함수
Figure PCTKR2021007525-appb-img-000009
는,
Figure PCTKR2021007525-appb-img-000010
(여기에서, h는 가로 방향의 반사부의 갯수이고, w는 세로 방향의 반사부의 갯수이고, wh는 반사부의 가로 방향의 간격이고, wv는 반사부의 세로 방향의 간격이며, δ는 디랙 델타 함수(Dirac delta function)이고, x,y는 반사부가 배치된 평면을 2차원 좌표계로 나타냈을 때 각 반사부의 좌표값임)
의 수식에 의해 결정될 수 있다.
또한, 상기 반사부의 배열 함수
Figure PCTKR2021007525-appb-img-000011
는,
Figure PCTKR2021007525-appb-img-000012
(여기에서, h는 가로 방향의 반사부의 갯수이고, w는 세로 방향의 반사부의 갯수이고, wh는 반사부의 가로 방향의 간격이고, wv는 반사부의 세로 방향의 간격이며, δ는 디랙 델타 함수(Dirac delta function)이고, x,y는 반사부가 배치된 평면을 2차원 좌표계로 나타냈을 때 각 반사부의 좌표값임)
의 수식에 의해 결정될 수 있다.
또한, 상기 안구 점확산 함수는 동공의 지름, 기준 영상 거리 및 접안 거리에 기초하여 결정될 수 있다.
또한, 상기 안구 점확산 함수는,
Figure PCTKR2021007525-appb-img-000013
(여기서, c는 블러 직경(blur diameter)이며,
Figure PCTKR2021007525-appb-img-000014
임)
에 의해 결정될 수 있다.
또한, 상기 보정 화상 정보 생성부는, "보정 증강 현실용 화상 정보 = 원본 증강 현실용 화상 정보×보상 함수"의 수식에 의해 보정 증강 현실용 화상 정보를 생성할 수 있다.
또한, 상기 영상 보정 장치는 기준 영상 거리를 측정하는 깊이 카메라를 더 포함하고, 상기 보상 함수 결정부는, 상기 깊이 카메라로부터 기준 영상 거리를 수신하여 안구 점확산 함수를 계산할 수 있다.
또한, 상기 영상 보정 장치는, 동공의 지름 및 접안 거리를 측정하는 안구 추적 장치를 더 포함하고, 상기 보상 함수 결정부는, 상기 안구 추적 장치로부터 동공의 지름 및 접안 거리를 수신하여 안구 점확산 함수를 계산할 수 있다.
또한, 상기 보상 함수 결정부는, 상기 안구 추적 장치로부터 동공의 상대 위치 정보를 수신하여 반사부의 배열 함수의 오프셋값을 계산하고, 이에 기초하여 반사부의 배열 함수
Figure PCTKR2021007525-appb-img-000015
를 결정할 수 있다.
본 발명에 의하면, 복수개의 반사부를 사용하여 증강 현실용 화상을 제공하는 증강 현실용 광학 장치에 있어서, 휘도 분포가 불균일한 문제점을 해결할 수 있도록 증강 현실용 화상의 휘도 분포 정보를 사전에 보정함으로써, 균일한 휘도 분포를 갖는 증강 현실용 화상을 제공할 수 있는 증강 현실용 화상의 영상 보정 장치를 제공할 수 있다.
도 1은 본 출원인에 의해 출원된 특허 문헌 1에 개시된 바와 같은 증강 현실용 광학 장치(100)를 나타낸 도면이다.
도 2 및 도 3은 반사부(20)를 복수개 배치한 증강 현실용 광학 장치(200)를 나타낸 것으로서, 도 2는 증강 현실용 광학 장치(200)의 측면도이고, 도 3은 증강 현실용 광학 장치(200)의 정면도이다.
도 4는 도 2 및 도 3의 증강 현실용 광학 장치(200)를 통해 사용자가 관측하는 증강 현실용 화상의 휘도 분포의 불균일 문제를 설명하기 위한 도면이다.
도 5는 본 발명의 일실시예에 의한 증강 현실용 화상의 영상 보정 장치(300) 및 증강 현실용 광학 장치(200)를 나타낸 도면이다.
도 6은 반사부(20)의 배열 함수의 다른 예를 나타낸 것이다.
도 7은 안구 점확산 함수의 일예를 나타낸 도면이다.
도 8은 안구 점확산 함수의 c, da, do, dm을 설명하기 위한 도면이다.
도 9는 안구 점확산 함수의 또 다른 일예를 나타낸 것이다.
도 10은 사용자가 관찰하는 관찰 영상의 휘도 분포가 반사부(20)의 형태 함수, 반사부(20)의 배열 함수 및 안구 점확산 함수의 컨볼루션 연산에 의해 표현되는 원리를 나타낸 것이다.
도 11은 사용자가 관찰하는 관찰 영상을 사전 보정함으로써 균일한 휘도 분포를 갖는 관찰 영상을 얻을 수 있는 본 발명의 원리를 설명하기 위한 것이다.
도 12는 본 발명에 의한 영상 보정 장치(300)가 적용된 경우의 관찰 영상을 영상 보정 장치(300)가 적용되지 않은 경우의 관찰 영상과 비교하여 나타낸 것이다.
이하, 첨부 도면을 참조하여 본 발명에 의한 실시예를 상세하게 설명하기로 한다.
도 5는 본 발명의 일실시예에 의한 증강 현실용 화상의 영상 보정 장치(300) 및 증강 현실용 광학 장치(200)를 나타낸 도면이다.
도 5의 실시예의 증강 현실용 화상의 영상 보정 장치(300, 이하, 간단히 "영상 보정 장치(300)"라 한다)는, 원본 증강 현실용 화상 정보에 기초하여 보정 증강 현실용 화상 정보를 생성하고, 생성된 보정 증강 현실용 화상 정보를 증강 현실용 광학 장치(200)의 화상 출사부(30)로 전송함으로써, 증강 현실 광학 장치(200)를 통해 균일한 휘도 분포를 갖는 보정 증강 현실용 화상이 사용자에게 제공되도록 하는 기능을 수행한다.
영상 보정 장치(300)는 보상 함수 결정부(310) 및 보정 화상 정보 생성부(320)를 포함하는데, 이에 대해서는 후술하기로 하고, 우선, 본 발명에 의한 영상 보정 장치(300)가 적용되는 증강 현실용 광학 장치(200)의 구성 및 동작에 대해 개략적으로 설명한다.
증강 현실용 광학 장치(200)는 앞서 도 2 및 도 3을 참조하여 배경 기술에서 설명한 바와 같이, 광학 수단(10), 복수개의 반사부(20) 및 화상 출사부(30)를 구비한다.
광학 수단(10)은, 실제 사물로부터 출사된 화상광인 실제 사물 화상광의 적어도 일부를 사용자의 눈의 동공(50)을 향해 투과시키는 수단이며, 복수개의 반사부(20)는 상기 광학 수단(10) 내부에 배치되어 화상 출사부(30)에서 출사된 보정 증강 현실 화상광을 반사시켜 사용자의 동공(50)으로 전달하는 수단이다.
여기에서, 복수개의 반사부(20) 각각은, 앞서 배경 기술에서 설명한 바와 같이, 심도를 깊게 하여 핀홀 효과를 얻을 수 있도록 사람의 평균적인 동공 크기보다 작은 크기 즉, 8mm 이하, 보다 바람직하게는 4mm 이하로 형성된다.
화상 출사부(30)는 영상 보정 장치(300)로부터 보정 증강 현실용 화상 정보를 수신하고, 이에 상응하는 보정 증강 현실 화상광을 출사하는 수단이다. 화상 출사부(30)는 예컨대 소형의 LCD와 같은 디스플레이 장치와 콜리메이터로 구성될 수 있다. 이러한 화상 출사부(30) 자체는 본 발명의 직접적인 목적이 아니며 종래 기술에 의해 알려져 있는 것이므로 상세 설명은 생략한다.
도 5에서는, 복수개의 반사부(20)가 화상 출사부(30)로부터 직접 보정 증강 현실 화상광을 전달받는 것으로 나타내었으나, 이는 예시적인 것이며, 화상 출사부(30)로부터의 보정 증강 현실 화상광은 광학 수단(10)의 내면에서 적어도 1회 이상 전반사되어 반사부(20)로 전달되도록 구성할 수도 있음은 물론이다.
또한, 복수개의 반사부(20)는 앞서 설명한 바와 같이, 광학 수단(10)의 측면에서 볼 때 아래쪽의 행을 구성하는 반사부(20)들이 동공(50)에 보다 더 가깝게 위치하도록 배치되어 있으나 이 또한 예시적인 것이며, 다른 배치 구조를 가질 수도 있음은 물론이다.
즉, 본 발명에 의한 영상 보정 장치(300)가 적용되는 증강 현실용 광학 장치(200)는, 반사부(20)의 구체적인 배치 구조나 화상 출사부(30)로부터 동공(50) 사이에서의 광경로에 있어서 특별한 제한이 없으며, 복수개의 반사부(20)를 사용하여 증강 현실 화상광을 사용자의 동공(50)으로 전달하는 증강 현실용 광학 장치(200)에는 모두 적용될 수 있다.
다음으로, 영상 보정 장치(300)에 대해 설명한다.
영상 보정 장치(300)는 보상 함수 결정부(310)와 보정 화상 정보 생성부(320)를 포함한다.
보상 함수 결정부(310)는 화상 출사부(30)에서 원본 증강 현실용 화상이 출사될 때 증강 현실용 광학 장치(200)를 통해 사용자가 관찰하는 관찰 영상의 휘도 정보를 보정하기 위한 보상 함수를 결정하고, 보정 화상 정보 생성부(320)는 상기 보상 함수 결정부(310)에서 결정된 보상 함수에 기초하여 보정 증강 현실용 화상 정보를 생성하는 기능을 수행한다.
우선, 보상 함수 결정부(310)는, 예컨대 컴퓨터나 스마트폰과 같은 디바이스에 포함된 영상 재생 장치(미도시)로부터 원본 증강 현실용 화상 정보를 수신하고, 이에 기초하여 원본 증강 현실용 화상이 화상 출사부(30)를 통해 출사될 때 사용자가 관찰하게 되는 관찰 영상의 휘도 정보를 보정하기 위한 보상 함수를 결정하여 보정 화상 정보 생성부(320)로 전송한다.
여기에서, 증강 현실용 화상 정보란, 증강 현실용 화상이 화상 출사부(30)에서 증강 현실용 화상광으로 출사될 수 있도록 하는 정보로서, 화상 출사부(30)에 포함된 디스플레이부(미도시)에 증강 현실용 화상을 표시하기 위한 정보를 의미한다.
일반적으로 디스플레이부에서 화상을 표시하기 위한 정보는, 해당 화상이 m×n개의 화소(pixel)로 구성된 경우, 각 화소에 대한 R(red),G(green),B(blue) 색상별 세기(intensity value)값으로 구성되는 m×n×3의 3차원 배열(array)로 구성된다. 여기에서, 각 화소의 R(red),G(green),B(blue) 색상별 세기값은 해당 화소의 R,G,B 색상별 휘도에 대응한다. 세기 값의 범위는 보통 0~255 사이의 값을 가지도록 8비트로 표현되고, 각 색상별 조합을 통해 256×256×256가지의 조합을 가질 수 있다.
증강 현실용 화상 정보 또한 화상 출사부(30)에 포함되는 디스플레이부에서 증강 현실용 화상을 표시할 수 있도록, 해당 증강 현실용 화상이 m×n개의 화소(pixel)로 구성된 경우, 각 화소에 대한 R,G,B 색상별 세기값으로 구성되는 m×n×3의 3차원 배열로 구성되며, 이는 행렬(matrix)로 표기할 수 있다.
한편, 본 발명에서, "원본(original)" 증강 현실용 화상 정보란, 본 발명에 의한 영상 보정 장치(300)에 의해 휘도 정보의 보정이 이루어지지 않은 상태의 증강 현실용 화상에 대한 화상 정보를 의미하고, "보정(pre-compensated)" 증강 현실용 화상 정보는 본 발명에 의한 영상 보정 장치(300)에 의해 보정된 휘도 정보를 갖는 보정 증강 현실용 화상에 대한 화상 정보를 의미한다.
원본 증강 현실용 화상이 화상 출사부(30)를 통해 출사될 때 사용자가 관찰하게 되는 관찰 영상의 휘도 정보를 보정하기 위한 보상 함수(compensation function)는 다음과 같은 수식에 의해 결정할 수 있다.
Figure PCTKR2021007525-appb-img-000016
여기에서, α는 스케일링 팩터(scaling factor)로서, 보정 증강 현실용 화상의 휘도가 화상 출사부(30)의 디스플레이부가 표현할 수 있는 범위를 초과하는 경우, 이를 디스플레이부가 표현할 수 있는 범위에 상응하도록 정규화(normalization)하기 위한 값이다. 이는 보정 증강 현실용 화상의 최대값에 따라서 변동될 수 있다.
또한,
Figure PCTKR2021007525-appb-img-000017
는 반사부(20)의 형태 함수이고,
Figure PCTKR2021007525-appb-img-000018
는 반사부(20)의 배열 함수이고,
Figure PCTKR2021007525-appb-img-000019
는 안구 점확산 함수(Eye Point Spread Function, PSF)이고, *는 컨볼루션 연산자(convolution operator)이다.
또한, x,y는 반사부(20)가 배치된 평면 또는 망막을 2차원 좌표계로 표시할 때의 x축 및 y축의 좌표값을 의미한다.
반사부(20)의 형태 함수
Figure PCTKR2021007525-appb-img-000020
는, 반사부(20)의 형상을 수학적으로 나타낸 함수로서, 예컨대 반사부(20)가 원형인 경우 다음과 같이 정의할 수 있다.
Figure PCTKR2021007525-appb-img-000021
여기서, x,y는 반사부(20)가 배치된 평면을 2차원 좌표계로 표시할 때의 좌표값이고, r은 반사부(20)의 반지름이다.
또한,
Figure PCTKR2021007525-appb-img-000022
은 r보다 작으면 1이고, 다른 경우에는 0을 갖는다.
반사부(20)의 배열 함수(
Figure PCTKR2021007525-appb-img-000023
)는, 반사부(20)들이 배치된 평면에서 반사부(20)들의 배치 구조를 기술하는 함수로서, 각 반사부(20)들의 중심의 위치를 반사부(20)가 배치된 평면의 2차원 좌표계에 표시하는 함수이다.
예컨대, 복수개의 반사부(20)들이 2차원의 격자 형태로 배열되어 있다고 가정하면, 각 반사부(20)들의 중심의 위치를 나타내는 반사부(20)의 배열 함수는 아래와 같이 정의할 수 있다.
Figure PCTKR2021007525-appb-img-000024
여기에서, h는 가로 방향의 반사부(20)의 갯수이고, w는 세로 방향의 반사부(20)의 갯수이고, wh는 반사부(20)의 가로 방향의 간격이고, wv는 반사부(20)의 세로 방향의 간격이며, δ는 디랙 델타 함수(Dirac delta function)이다. 또한, x,y는 반사부(20)가 배치된 평면을 2차원 좌표계로 나타냈을 때 각 반사부(20)의 좌표값이다.
도 6은 반사부(20)의 배열 함수의 다른 예를 나타낸 것이다.
도 6을 참조하면, 복수개의 반사부(20)들이 육각형의 2차원 격자 형태로 배열되어 있으며, 각 행은 wv만큼 떨어져 있고, 각 열은 wh/2 만큼 떨어지도록 배치되어 있다.
이러한 경우에는 반사부(20)의 배열 함수는 아래와 같이 정의할 수 있다.
Figure PCTKR2021007525-appb-img-000025
상기 수식에서 좌측의 시그마 연산은 좌측으로부터 홀수번째 열의 반사부(20)의 배열을 나타낸 것이고, 우측의 시그마 연산은 짝수번째 열의 반사부(20)의 배열을 나타낸 것이다.
여기에서, h는 가로 방향의 반사부(20)의 갯수이고, w는 세로 방향의 반사부(20)의 갯수이고, wh는 반사부(20)의 가로 방향의 간격이고, wv는 반사부(20)의 세로 방향의 간격이며, δ는 디랙 델타 함수(Dirac delta function)이다. 또한, x,y는 반사부(20)가 배치된 평면을 2차원 좌표계로 나타냈을 때 각 반사부(20)의 좌표값이다.
안구 점확산 함수(Eye Point Spread Function,
Figure PCTKR2021007525-appb-img-000026
)는 동공(50)에서 거리 dm만큼 떨어진 곳에 있는 점 광원을 관찰할 때 망막에 맺히는 영상의 세기(intensity)값의 망막 면에서의 2차원 공간 분포 함수를 의미한다.
도 7은 안구 점확산 함수의 일예를 나타낸 도면이다.
도 7의 안구 점확산 함수는, 아래와 같은 가우시안 분포(Gaussian distribution)에 의해 정의할 수 있다.
Figure PCTKR2021007525-appb-img-000027
여기에서, c는 블러 직경(blur diameter)이며,
Figure PCTKR2021007525-appb-img-000028
로 정의된다.
또한, da는 동공(50)의 지름이며, do는 기준 영상 거리(증강 현실용 화상에 포함된 객체에 대한 초점 위치), dm은 접안 거리(동공(50)과 반사부(20)의 거리, eye relief)이고, x,y는 망막을 2차원 좌표계로 표시할 때의 좌표값을 의미한다.
도 8은 안구 점확산 함수의 c, da, do, dm을 설명하기 위한 도면이다.
도 8을 참조하면, da는 동공(50)의 지름이고, dm은 접안 거리(eye relief, 동공(50)으로부터 반사부(20)까지의 거리)이다.
또한, do는 기준 영상 거리로서, 증강 현실용 화상에 포함된 객체인 가상 물체의 위치인 초점 위치와 동공(50) 사이의 거리를 의미한다.
한편, c는 블러 직경으로서 하나의 점 광원이 반사부(20)를 통해 망막에 투명되었을 때 점광원이 번져 보이는 착란원(circle of confusion)의 직경을 의미한다.
Figure PCTKR2021007525-appb-img-000029
의 수식은 도 8에 나타낸 바와 같은 삼각형들의 비례식에 의해 유도될 수 있다.
도 9는 안구 점확산 함수의 또 다른 일예를 나타낸 것이다.
도 9의 안구 점확산 함수는 원점에서 동공(50)의 반지름에 해당하는 위치에서의 휘도가 가장 높게 나타나고 동공(50) 중심에 해당하는 위치의 휘도가 다소 낮게 나타나며, 동공(50)의 반지름보다 바깥쪽에서는 휘도가 급격히 낮아지는 분포를 보이고 있음을 알 수 있다.
도 9의 안구 점확산 함수는
Figure PCTKR2021007525-appb-img-000030
로 일반화하여 나타낼 수 있는데, 여기에서 첨자로 표시한 da, do, dm은 안구 점확산 함수가 이들 값에 의해 변화되는 것을 의미한다.
이러한 안구 점확산 함수는, 사람의 안구 특성에 의해 결정되는 함수로서, 개인별 안구 점확산 함수는 사람 별로 시력, 나이, 안구 상태 등에 따라 안구 점확산 함수의 세부적인 형태는 달라질 수 있으나, 일반적으로 중심부가 밝은 동심원 형태를 띠게 되고, 개인별 안구 점확산 함수는 동공 지름, 기준 영상 거리, 접안 거리에 따라서 변화하지만, 동일한 조건에서는 동일한 값을 갖는다.
한편, 도 7 및 도 9에서 안구 점확산 함수는 설명의 편의를 위하여 1차원 함수로 표현하였으나, 실제로는 망막 면에 따른 분포 함수이므로, 망막의 위치 (x,y)에 따라 변하는 2차원 함수라는 점을 유의해야 한다.
또한, 도 7 및 도 9에서 나타낸 안구 점확산 함수는 예시적인 것이며, 기타 다른 안구 점확산 함수를 사용할 수도 있음은 물론이다.
이러한 반사부(20)의 형태 함수(
Figure PCTKR2021007525-appb-img-000031
), 반사부(20)의 배열 함수(
Figure PCTKR2021007525-appb-img-000032
) 및 안구 점확산 함수(
Figure PCTKR2021007525-appb-img-000033
) 그리고 스케일링 팩터(α)에 의해 보상 함수를 결정할 수 있는데, 이는 아래와 같은 원리에 기초한 것이다.
사용자가 관찰하는 관찰 영상은 화상 출사부(30)에서 출사된 증강 현실용 화상이 반사부(20)에서 반사되어 동공(50)을 통해 망막에 투영된 영상이므로, 사용자가 관찰하는 관찰 영상의 휘도는 반사부(20)의 형태 함수(
Figure PCTKR2021007525-appb-img-000034
), 반사부(20)의 배열 함수(
Figure PCTKR2021007525-appb-img-000035
) 및 안구 점확산 함수(
Figure PCTKR2021007525-appb-img-000036
)의 컨볼루션 연산(convolution operation)에 원본 증강 현실용 화상을 곱한 값의 결과로 나타낼 수 있다.
도 10은 사용자가 관찰하는 관찰 영상의 휘도 분포가 반사부(20)의 형태 함수, 반사부(20)의 배열 함수 및 안구 점확산 함수의 컨볼루션 연산에 의해 표현되는 원리를 나타낸 것이다.
도 10의 (A)에 나타낸 바와 같이, 원본 영상(original image)은 위치에 관계없이 동일한 휘도 분포를 가지고, (B)에 나타낸 바와 같은 폭 및 간격을 가지고 반사부(20)가 배치되고, (C)에 나타낸 바와 같은 안구 점확산 함수를 가진다고 할 때, 최종적으로 사용자가 관찰하는 관찰 영상(Observed image)의 휘도는 도 10의 (D)에 나타낸 바와 같이, 반사부(20)의 형태 함수(
Figure PCTKR2021007525-appb-img-000037
), 반사부(20)의 배열 함수(
Figure PCTKR2021007525-appb-img-000038
) 및 안구 점확산 함수(Eye Point Spread Function, PSF,
Figure PCTKR2021007525-appb-img-000039
)의 컨볼루션 연산의 결과에 원본 영상을 곱한 값에 의해 표현됨을 알 수 있다.
여기서, 원본 영상을 반사부(20)의 형태 함수, 반사부(20)의 배열 함수 및 안구 점확산 함수의 컨볼루션 연산의 결과에 곱한다는 것은, 앞서 설명한 바와 같이 원본 영상이 m×n개의 화소(pixel)로 구성된 경우, 각 화소의 R,G,B 색상별 세기값으로 구성되는 m×n×3개의 화소 행렬과
Figure PCTKR2021007525-appb-img-000040
의 결과를 행렬의 성분별로 곱셈 연산을 수행한다는 의미이다.
즉, 관찰 영상의 휘도 분포는,
Figure PCTKR2021007525-appb-img-000041
에 의해 얻을 수 있다.
한편, 도 10의 (D)에 나타낸 바와 같은 최종 관찰 영상은, (A)에서 원본 영상의 휘도 분포가 균일했던 것과는 달리, (B) 및 (C)에서의 컨볼루션 연산의 결과 즉,
Figure PCTKR2021007525-appb-img-000042
에 의해 위치에 따라 균일하지 않은 휘도 분포를 나타냄을 알 수 있다.
이러한 원리를 고려하여, 최종 관찰 영상의 휘도 분포를 균일하게 할 수 있도록 화상 출사부(30)로 전달되는 증강 현실용 화상 정보를 사전에 보정할 수 있다면 균일한 휘도 분포를 갖는 최종 관찰 영상을 얻을 수 있을 것이다.
도 11은 사용자가 관찰하는 관찰 영상을 사전 보정함으로써 균일한 휘도 분포를 갖는 관찰 영상을 얻을 수 있는 본 발명의 원리를 설명하기 위한 것이다.
도 11의 (B) 및 (C)는 도 10의 (B) 및 (C)와 동일하며, 원본 영상 대신 도 11의 (A)에 나타낸 바와 같은 휘도 분포를 갖는 사전 보정 영상(Pre-compensated image)이 입력된다는 점에서 도 10에서와 차이가 있다.
도 10에서 설명한 바와 같이, 관찰 영상의 휘도 분포는 사전 보정 영상×
Figure PCTKR2021007525-appb-img-000043
에 의해 얻을 수 있으므로, 도 11의 (A)와 같은 휘도 분포를 갖는 사전 보정 영상에 대한 최종 관찰 영상은 (D)에 나타낸 바와 같이 균일한 휘도 분포를 갖게 된다.
이러한 원리에 기초하여, 보상 함수 결정부(310)는 보상 함수를
Figure PCTKR2021007525-appb-img-000044
의 수식으로 결정한다.
한편, 반사부(20)의 형태 및 배열은 증강 현실용 광학 장치(200)를 제조할 때 미리 결정되어 있으므로 반사부(20)의 형태 함수 및 배열 함수는 사전에 알 수 있는 값들이고, 안구 점확산 함수에서 동공(50)의 지름 즉, da를 제외하고, do, dm 또한 증강 현실용 광학 장치(200)를 설계할 때 미리 설정되어 특별히 변경되지 않는 값이다.
따라서, 보상 함수는 증강 현실용 광학 장치(200)의 사용자의 동공(50)의 지름만 측정하면 계산할 수 있다.
사용자의 동공(50)의 지름은, 증강 현실용 화상에 포함되어 표시되는 주요 객체의 깊이 정보, 원본 증강 현실용 화상의 휘도 정보 등에 따라 변하는데, 주요 객체의 깊이 정보, 원본 증강 현실용 화상의 휘도 정보 또한 미리 알 수 있는 값이므로 이들 값에 상응하는 사용자의 동공(50)의 지름의 평균값을 미리 실험적으로 구해 두면 보상 함수를 간편하게 얻을 수 있다.
다음으로, 보정 화상 정보 생성부(320)에 대해 설명한다.
보정 화상 정보 생성부(320)는, 보상 함수 결정부(310)에서 결정된 보상 함수와 원본 증강 현실용 화상 정보에 기초하여 보정 증강 현실용 화상 정보를 생성하여 화상 출사부(30)로 전달하는 기능을 수행한다.
여기에서, 보정 증강 현실용 화상 정보는, 다음과 같은 수식에 의하여 얻을 수 있다.
보정 증강 현실용 화상 정보 = 원본 증강 현실용 화상 정보×보상 함수
이는 앞서 설명한 바와 같이, 원본 증강 현실용 화상이 m×n개의 화소로 구성된 경우, 각 화소의 R,G,B 색상별 세기값으로 구성되는 m×n×3개의 화소 행렬과 보상 함수를 행렬의 성분별로 곱셈 연산을 수행한다는 의미이다.
이에 의해 생성되는 보정 증강 현실용 화상 정보에 의한 보정 증강 현실용 화상의 휘도 분포는, 도 11의 (A)에 표현된 것과 같다.
이러한 보정 증강 현실용 화상 정보를 전달받은 화상 출사부(30)는 이에 상응하는 보정 증강 현실 화상광을 출사하고, 반사부(20)는 보정 증강 현실 화상광을 반사시켜 동공(50)으로 전달하여 보정 증강 현실용 화상을 사용자에게 제공하게 되는데, 이는 도 11의 (B) 및 (C)에서의 반사부(20)의 형태 함수, 반사부(20)의 배열 함수 및 안구 점확산 함수의 컨볼루션 연산에 상응하므로, 사용자가 최종적으로 관찰하게 되는 보정 증강 현실용 화상은 도 11의 (D)와 같은 균일한 휘도 분포를 가지게 된다.
도 12는 본 발명에 의한 영상 보정 장치(300)가 적용된 경우의 관찰 영상을 영상 보정 장치(300)가 적용되지 않은 경우의 관찰 영상과 비교하여 나타낸 것이다.
도 12에서, (A)는 원본 증강 현실용 화상이 화상 출사부(30)에 표시된 상태를 나타낸 것이고, (B)는 영상 보정 장치(300)의 적용 없이 원본 증강 현실용 화상이 증강 현실용 광학 장치(200)를 통해 동공(50)으로 전달될 때 사용자가 관찰하게 되는 관찰 영상을 나타낸 것이다. 이는 앞서 도 4 및 도 10의 (D)에서 설명한 바와 같이 불균일한 휘도 분포를 가짐을 알 수 있다.
한편, 도 12의 (C)는, 앞서 설명한 바와 같이 영상 보정 장치(300)에 의해 생성된 보정 증강 현실용 화상 정보에 상응하는 보정 증강 현실용 화상이 화상 출사부(30)에 표시된 상태를 나타낸 것이고, (D)는 보정 증강 현실용 화상이 증강 현실용 광학 장치(200)를 통해 동공(50)으로 전달될 때 사용자가 관찰하게 되는 최종 관찰 영상을 나타낸 것이다. 도 12의 (D)에 나타난 바와 같이, 영상 보정 장치(300)에 의해 휘도 정보가 보정된 보정 증강 현실용 화상에 대한 관찰 영상은 균일한 휘도 분포를 가짐을 알 수 있다. 따라서, 사용자는 도 12의 (B)의 경우에 비해 선명하고 명확한 증강 현실용 화상을 제공받을 수 있다.
한편, 앞서 설명한 바와 같이, 안구 점확산 함수는 동공(50)의 지름 da와, 접안 거리 dm, 그리고 기준 영상 거리 do에 의해 변경되는데, 여기에서 기준 영상 거리 do가 변하는 경우에는 이를 측정하기 위해 깊이 카메라(depth camera)를 사용하여 가상 물체의 위치와 동공(50) 사이의 거리를 동적으로 측정할 수 있다.
또한, 안구 추적 장치를 사용한다면, 동공(50)의 지름 da와, 접안 거리 dm, 을 동적으로 측정할 수 있다.
또한, 상기 실시예에서, 반사부(20)의 배열 함수(
Figure PCTKR2021007525-appb-img-000045
)는 고정된 동공(50) 위치에 대하여 설명하였으나, 동공(50)의 위치가 움직이게 되면 반사부(20)의 배열 함수(
Figure PCTKR2021007525-appb-img-000046
)에 오프셋이 발생할 수 있다. 이 때, 안구 추적 장치를 사용하면, 실시간으로 동공(50)의 상대 위치를 알 수 있으므로, 반사부(20)의 배열 함수(
Figure PCTKR2021007525-appb-img-000047
)의 오프셋을 보정할 수 있고, 이는 임의의 반사부(20)의 배열 함수(
Figure PCTKR2021007525-appb-img-000048
)에 모두 적용할 수 있다.
이 경우, 앞서 살펴 보았던 반사부(20)들의 중심의 위치를 나타내는 반사부(20)의 배열 함수는 아래와 같이 수정할 수 있다.
Figure PCTKR2021007525-appb-img-000049
여기에서, xo, yo는 각각 x축, y축 방향의 오프셋값이다.
또한, 깊이 카메라와 안구 추적 장치를 함께 사용한다면, 동공(50)의 지름 da와, 접안 거리 dm, 그리고 기준 영상 거리 do, 동공(50)의 상대 위치를 모두 실시간으로 측정할 수 있다.
따라서, 예컨대 증강 현실용 화상이 동영상이고 기준 영상 거리가 변화하는 경우 및 휘도의 변화로 인해 동공의 지름이 자주 변하는 경우에 대해서도 본 발명을 용이하게 적용할 수 있다.
이러한 깊이 카메라 및 안구 추적 장치는 종래 기술에 의해 알려져 있는 것들이므로 여기에서는 상세 설명은 생략한다.
이상에서 본 발명에 의한 바람직한 실시예를 참조하여 본 발명을 설명하였으나 본 발명은 상기 실시예에 한정되는 것이 아니며, 다양한 수정 및 변형 실시가 가능함은 물론이다.

Claims (12)

  1. 증강 현실용 화상에 상응하는 증강 현실 화상광을 출사하는 화상 출사부; 실제 사물로부터 출사된 화상광인 실제 사물 화상광의 적어도 일부를 사용자의 동공을 향해 투과시키는 광학 수단; 및 상기 광학 수단 내부에 배치되어 화상 출사부에서 출사된 증강 현실 화상광을 반사시켜 사용자의 동공으로 전달하는 복수개의 반사부를 구비하는 증강 현실용 광학 장치와 결합하는 증강 현실용 화상의 영상 보정 장치로서,
    상기 화상 출사부에서 원본 증강 현실용 화상이 출사될 때, 상기 증강 현실용 광학 장치를 통해 사용자가 관찰하게 되는 관찰 영상의 휘도 정보를 보정하기 위한 보상 함수를 결정하는 보상 함수 결정부; 및
    상기 보상 함수 결정부에서 결정된 보상 함수와 원본 증강 현실용 화상 정보에 기초하여 보정 증강 현실용 화상 정보를 생성하는 보정 화상 정보 생성부
    를 포함하고,
    상기 화상 출사부는 상기 보정 화상 정보 생성부에서 생성된 보정 증강 현실용 화상 정보에 상응하는 보정 증강 현실 화상광을 출사하고, 상기 복수개의 반사부는 상기 화상 출사부에서 출사된 보정 증강 현실 화상광을 반사시켜 사용자의 동공으로 전달하는 것을 특징으로 하는 증강 현실용 화상의 영상 보정 장치.
  2. 청구항 1에 있어서,
    상기 보상 함수 결정부는,
    Figure PCTKR2021007525-appb-img-000050
    의 수식에 의해 보상 함수를 결정- 여기에서, α는 스케일링 팩터(scaling factor)이며,
    Figure PCTKR2021007525-appb-img-000051
    는 반사부의 형태 함수이고,
    Figure PCTKR2021007525-appb-img-000052
    는 반사부의 배열 함수이고,
    Figure PCTKR2021007525-appb-img-000053
    는 안구 점확산 함수(Eye Point Spread Function, PSF)이고, *는 컨볼루션 연산자(convolution operator)임-하는 것을 특징으로 하는 증강 현실용 화상의 영상 보정 장치.
  3. 청구항 2에 있어서,
    상기 반사부의 형태 함수
    Figure PCTKR2021007525-appb-img-000054
    는,
    Figure PCTKR2021007525-appb-img-000055
    (여기서, x,y는 반사부가 배치된 평면을 2차원 좌표계로 표시할 때의 좌표값이고, r은 반사부의 반지름이며,
    Figure PCTKR2021007525-appb-img-000056
    은 r보다 작으면 1이고, 다른 경우에는 0을 가짐)
    에 의해 결정되는 것을 특징으로 하는 증강 현실용 화상의 영상 보정 장치.
  4. 청구항 2에 있어서,
    상기 반사부의 배열 함수
    Figure PCTKR2021007525-appb-img-000057
    는 복수개의 반사부들의 중심의 위치를 나타내는 함수인 것을 특징으로 하는 증강 현실용 화상의 영상 보정 장치.
  5. 청구항 4에 있어서,
    상기 반사부의 배열 함수
    Figure PCTKR2021007525-appb-img-000058
    는,
    Figure PCTKR2021007525-appb-img-000059
    (여기에서, h는 가로 방향의 반사부의 갯수이고, w는 세로 방향의 반사부의 갯수이고, wh는 반사부의 가로 방향의 간격이고, wv는 반사부의 세로 방향의 간격이며, δ는 디랙 델타 함수(Dirac delta function)이고, x,y는 반사부가 배치된 평면을 2차원 좌표계로 나타냈을 때 각 반사부의 좌표값임)의 수식에 의해 결정되는 것을 특징으로 하는 증강 현실용 화상의 영상 보정 장치.
  6. 청구항 4에 있어서,
    상기 반사부의 배열 함수
    Figure PCTKR2021007525-appb-img-000060
    는,
    Figure PCTKR2021007525-appb-img-000061
    (여기에서, h는 가로 방향의 반사부의 갯수이고, w는 세로 방향의 반사부의 갯수이고, wh는 반사부의 가로 방향의 간격이고, wv는 반사부의 세로 방향의 간격이며, δ는 디랙 델타 함수(Dirac delta function)이고, x,y는 반사부가 배치된 평면을 2차원 좌표계로 나타냈을 때 각 반사부의 좌표값임)의 수식에 의해 결정되는 것을 특징으로 하는 증강 현실용 화상의 영상 보정 장치.
  7. 청구항 2에 있어서,
    상기 안구 점확산 함수는 동공의 지름, 기준 영상 거리 및 접안 거리에 기초하여 결정되는 것을 특징으로 하는 증강 현실용 화상의 영상 보정 장치.
  8. 청구항 7에 있어서,
    상기 안구 점확산 함수는,
    Figure PCTKR2021007525-appb-img-000062
    (여기서, c는 블러 직경(blur diameter)이며,
    Figure PCTKR2021007525-appb-img-000063
    임)
    에 의해 결정되는 것을 특징으로 하는 증강 현실용 화상의 영상 보정 장치.
  9. 청구항 1에 있어서,
    상기 보정 화상 정보 생성부는,
    보정 증강 현실용 화상 정보 = 원본 증강 현실용 화상 정보×보상 함수
    의 수식에 의해 보정 증강 현실용 화상 정보를 생성하는 것을 특징으로 하는 증강 현실용 화상의 영상 보정 장치.
  10. 청구항 7에 있어서,
    상기 영상 보정 장치는 기준 영상 거리를 측정하는 깊이 카메라를 더 포함하고,
    상기 보상 함수 결정부는, 상기 깊이 카메라로부터 기준 영상 거리를 수신하여 안구 점확산 함수를 계산하는 것을 특징으로 하는 증강 현실용 화상의 영상 보정 장치.
  11. 청구항 7 또는 10에 있어서,
    상기 영상 보정 장치는, 동공의 지름 및 접안 거리를 측정하는 안구 추적 장치를 더 포함하고,
    상기 보상 함수 결정부는, 상기 안구 추적 장치로부터 동공의 지름 및 접안 거리를 수신하여 안구 점확산 함수를 계산하는 것을 특징으로 하는 증강 현실용 화상의 영상 보정 장치.
  12. 청구항 11에 있어서,
    상기 보상 함수 결정부는, 상기 안구 추적 장치로부터 동공의 상대 위치 정보를 수신하여 반사부의 배열 함수의 오프셋값을 계산하고, 이에 기초하여 반사부의 배열 함수
    Figure PCTKR2021007525-appb-img-000064
    를 결정하는 것을 특징으로 하는 증강 현실용 화상의 영상 보정 장치.
PCT/KR2021/007525 2020-07-24 2021-06-16 증강 현실용 화상의 영상 보정 장치 WO2022019482A1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2023502939A JP2023534280A (ja) 2020-07-24 2021-06-16 拡張現実用画像の映像補正装置
CN202180038548.3A CN115699076A (zh) 2020-07-24 2021-06-16 增强现实用图像的影像校正装置
US18/016,300 US11927733B2 (en) 2020-07-24 2021-06-16 Image compensation device for image for augmented reality
US18/434,548 US20240176121A1 (en) 2020-07-24 2024-02-06 Image compensation device for image for augmented reality

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200092083A KR102281834B1 (ko) 2020-07-24 2020-07-24 증강 현실용 화상의 영상 보정 장치
KR10-2020-0092083 2020-07-24

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US18/016,300 A-371-Of-International US11927733B2 (en) 2020-07-24 2021-06-16 Image compensation device for image for augmented reality
US18/434,548 Continuation US20240176121A1 (en) 2020-07-24 2024-02-06 Image compensation device for image for augmented reality

Publications (1)

Publication Number Publication Date
WO2022019482A1 true WO2022019482A1 (ko) 2022-01-27

Family

ID=77124759

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/007525 WO2022019482A1 (ko) 2020-07-24 2021-06-16 증강 현실용 화상의 영상 보정 장치

Country Status (5)

Country Link
US (2) US11927733B2 (ko)
JP (1) JP2023534280A (ko)
KR (2) KR102281834B1 (ko)
CN (1) CN115699076A (ko)
WO (1) WO2022019482A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101660519B1 (ko) * 2015-03-09 2016-09-29 하정훈 증강 현실 구현 장치
KR102099785B1 (ko) * 2018-11-06 2020-04-10 주식회사 레티널 증강 현실용 광학 장치
KR20200048386A (ko) * 2018-10-30 2020-05-08 엘지디스플레이 주식회사 표시장치
KR20200052251A (ko) * 2020-02-03 2020-05-14 주식회사 레티널 증강 현실용 광학 장치
KR20200079764A (ko) * 2018-12-26 2020-07-06 주식회사 레티널 증강 현실용 광학 장치

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0173704B1 (ko) * 1995-07-25 1999-03-20 배순훈 투사형 화상표시시스템의 비대칭화면 보정장치
KR100188218B1 (ko) * 1995-11-13 1999-06-01 전주범 투사형 화상표시시스템의 비대칭화면 보정위치제어 방법
US20010055034A1 (en) * 2000-02-02 2001-12-27 Goertzen Kenbe D. System and method for optimizing image resolution using pixelated imaging devices
US8406562B2 (en) * 2006-08-11 2013-03-26 Geo Semiconductor Inc. System and method for automated calibration and correction of display geometry and color
KR102255781B1 (ko) * 2019-02-22 2021-05-25 주식회사 레티널 컴팩트형 증강 현실용 광학 장치
KR102192941B1 (ko) * 2019-03-26 2020-12-18 주식회사 레티널 복수개의 증강 현실용 화상을 이용한 증강 현실용 광학 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101660519B1 (ko) * 2015-03-09 2016-09-29 하정훈 증강 현실 구현 장치
KR20200048386A (ko) * 2018-10-30 2020-05-08 엘지디스플레이 주식회사 표시장치
KR102099785B1 (ko) * 2018-11-06 2020-04-10 주식회사 레티널 증강 현실용 광학 장치
KR20200079764A (ko) * 2018-12-26 2020-07-06 주식회사 레티널 증강 현실용 광학 장치
KR20200052251A (ko) * 2020-02-03 2020-05-14 주식회사 레티널 증강 현실용 광학 장치

Also Published As

Publication number Publication date
CN115699076A (zh) 2023-02-03
US20240176121A1 (en) 2024-05-30
KR102372048B1 (ko) 2022-03-10
US20230273416A1 (en) 2023-08-31
US11927733B2 (en) 2024-03-12
KR102281834B1 (ko) 2021-07-26
KR20220013306A (ko) 2022-02-04
JP2023534280A (ja) 2023-08-08

Similar Documents

Publication Publication Date Title
US20200236331A1 (en) Image projection system
US11202043B1 (en) Self-testing display device
JP6415608B2 (ja) 目用投影システム
US9618746B2 (en) High resolution wide field of view digital night vision system
JP5160852B2 (ja) 動的視差修正システム及びその方法
US6529331B2 (en) Head mounted display with full field of view and high resolution
KR20150048789A (ko) 시각 보조 프로젝터
JPH10239634A (ja) 立体映像表示装置
WO2018139880A1 (en) Head-mounted display apparatus, and method thereof for generating 3d image information
US6517206B2 (en) Display device
WO2018001323A1 (zh) 近眼显示***、虚拟现实设备及增强现实设备
WO2017179938A1 (ko) 눈 촬영 장치
WO2017164573A1 (en) Near-eye display apparatus and near-eye display method
WO2020096188A1 (ko) 증강 현실용 광학 장치
US20020181097A1 (en) System and method for using multiple beams to respectively scan multiple regions of an image
CN110780445A (zh) 用于装配光学成像***的主动校准的方法及***
EP3514606A1 (en) Eye tracking for head-worn display
WO2023128167A1 (ko) 음굴절 광학 소자를 이용한 컴팩트 증강 현실용 광학 장치
US20020171776A1 (en) System and method for capturing, transmitting, and displaying an image
WO2018001325A1 (zh) 近眼显示***、虚拟现实设备及增强现实设备
WO2022019482A1 (ko) 증강 현실용 화상의 영상 보정 장치
WO2020197134A1 (ko) 복수개의 증강 현실용 화상을 이용한 증강 현실용 광학 장치
WO2021034096A1 (ko) 시력 보정 기능을 구비하는 증강 현실용 광학 장치
WO2020096186A1 (ko) 증강 현실용 광학 장치
US10679416B1 (en) Crosstalk mitigation for virtual reality

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21846798

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023502939

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21846798

Country of ref document: EP

Kind code of ref document: A1