WO2019207350A1 - Оптическая система гибридной реальности с цифровой коррекцией аберраций - Google Patents

Оптическая система гибридной реальности с цифровой коррекцией аберраций Download PDF

Info

Publication number
WO2019207350A1
WO2019207350A1 PCT/IB2018/060631 IB2018060631W WO2019207350A1 WO 2019207350 A1 WO2019207350 A1 WO 2019207350A1 IB 2018060631 W IB2018060631 W IB 2018060631W WO 2019207350 A1 WO2019207350 A1 WO 2019207350A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
optical
image
optical system
neural network
Prior art date
Application number
PCT/IB2018/060631
Other languages
English (en)
French (fr)
Inventor
Дмитрий Валерьевич ШМУНК
Original Assignee
Алмаленс Инк.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from RU2018116223A external-priority patent/RU2679915C9/ru
Application filed by Алмаленс Инк. filed Critical Алмаленс Инк.
Priority to JP2021502427A priority Critical patent/JP7426118B2/ja
Priority to EP18916372.8A priority patent/EP3789812A4/en
Priority to CN201880092894.8A priority patent/CN112055827A/zh
Priority to US16/981,022 priority patent/US11372243B2/en
Priority to KR1020207027223A priority patent/KR20210005555A/ko
Publication of WO2019207350A1 publication Critical patent/WO2019207350A1/ru

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0189—Sight systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/011—Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0112—Head-up displays characterised by optical features comprising device for genereting colour display
    • G02B2027/0116—Head-up displays characterised by optical features comprising device for genereting colour display comprising devices for correcting chromatic aberration
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B2027/0192—Supplementary details
    • G02B2027/0198—System for aligning or maintaining alignment of an image in a predetermined direction

Definitions

  • the present invention in a broad sense relates to the field of optical systems, and more specifically to the field of optical image acquisition devices for virtual and augmented reality systems.
  • the invention allows the aberration of the BP and DR systems to be corrected using a digital component (ie, computer software).
  • a digital component ie, computer software.
  • the invention allows to get rid of the restrictions imposed by the design of optical systems, and to expand the scope of optical systems of virtual reality and augmented reality by improving their quality without introducing additional optical elements or other changes into the design.
  • VR virtual reality
  • the two main properties of BP are the presence effect and interactivity.
  • the effect of presence occurs with the participation in BP of all five senses; interactivity - if possible, the user to interact with BP through body movements.
  • the virtual world refers to virtual objects and their relationships within the environment, giving the virtual environment meaning. Under the influence on the senses is understood as a change in the state of the senses of the user with a certain frequency.
  • Augmented reality involves changing the user's current perception of the real world, that is, displaying a real environment with “augmented” (or deleted) elements by means of computer perceptual information, ideally for several senses (vision, hearing, smell, touch and somatosensory system), spatially placed in the real world to ensure the effect of presence.
  • augmented reality is meant the technology of obtaining images for VR and DR.
  • Head-mounted (helmet-mounted) displays (hereinafter also referred to as “ID”) (for example, “virtual reality glasses”) are the most famous devices for creating VR and DR.
  • ID head-mounted (helmet-mounted) displays
  • the technology of creating hybrid reality using ID has found many applications — from rehabilitation to data visualization, from the gaming industry to the military industry, aviation, medicine, and design.
  • an ID is a small display facing one or both eyes that is worn on the head (on the helmet).
  • an ID can be understood as a device mounted on the user's head, transmitting visual information, including for peripheral vision, directly to the user's eyes.
  • ID variants differ in technology and presentation of visual information, namely computer graphics, real-world images, or a combination thereof.
  • IDs are also subdivided into eyepiece types: monoculars (for one eye) and binoculars (for both eyes), representing slightly different image perspectives for each eye to create a stereo effect.
  • NDs can also be subdivided into devices with video transparency, optical transparency, and projection.
  • video-transparent devices the virtual environment is replaced by a real-world video stream with DR elements added to digital images.
  • optically transparent devices direct superposition of DR effects on the image of the real world is performed by means of a transparent optical adder (for example, a translucent mirror, prism, or holographic optical element).
  • a transparent optical adder for example, a translucent mirror, prism, or holographic optical element.
  • projection NDs the DR image is projected onto real images and is perceived by the user's eye as a reflection.
  • retinal projection technology (retinal scanning or retinal projection) is also applicable to ND. This technology involves direct projection of the image onto the retina of the user's eye, which allows the user to see the display hanging in front of him in the air. Retinal projection technology eliminates the need for external screens and complex optical elements. In the current generation of retinal projection BP devices, special lenses are used to correct the visual distance to small screens near eyes.
  • One of the design options for ND includes oculography tools that record the direction of the user's gaze and allowing computer methods to determine the line of sight of the user. This information is important for different BP and DR applications that use user interface navigation. Tracking the user's gaze allows the system to change the information displayed by the ND, showing the user specific (for example, additional) elements.
  • ND can change the depth of the displayed field to better simulate natural vision, which increases the effect of presence.
  • BP objects can also respond to the user's gaze — for example, the user can gaze to select certain BP and DR elements.
  • the technology of oculography in ND which allows the user to more easily and naturally interact with the interface, is extremely important to ensure a truly realistic representation of BP and DR.
  • imaging optics has become much more complex, allowing you to work with high-quality optical components and systems, such as single-lens reflex cameras.
  • the high complexity of optical elements is usually required to effectively use the available aperture and, more importantly, to compensate for unwanted artifacts inherent in images obtained from single-lens cameras.
  • Optical artifacts are generally inherent in all optical systems without exception: geometric distortions, chromatic (focal plane depending on the wavelength) and spherical aberrations (focal length depending on the distance along the optical axis), as well as coma (angular focus dependence). Reducing such artifacts (i.e., non-linear deviations from the thin lens model) is an important task for optimizing the overall efficiency of the image system.
  • Patent W02017 / 108211 (Anton) describes an ND with an eyepiece and an image plane relatively inclined at a certain (preferably 1 ° and 5 °) angle to compensate for optical aberrations (astigmatism, etc.) on the axis and outside the axis of view over the entire field of vision.
  • the optical surfaces of the non-fresnel optical components may be a particular diffraction surface to reduce chromatic aberrations.
  • Image correction methods based on lens profile information typically involve using the known characteristics of the lens or the optical system as a whole to (automatically) correct various lens distortions (for example, the appearance of color ghosting on high-contrast faces, vignetting, etc.) .
  • various lens distortions for example, the appearance of color ghosting on high-contrast faces, vignetting, etc.
  • the method described in US Pat. No. 6,862,373 involves obtaining input from an image obtained by an optical element (lens), and at the same time, data about the lens itself used to obtain this image.
  • This method further describes how to process the image using focal length information and apertures (openings of the iris diagram) of the lens at the time of image acquisition, as well as the characteristics of the lens for correcting aberrations and vignetting of the image.
  • Beuret et al. Described experimental compensation for aberrations for transparent NDs using a diffraction element — a spatial light modulator that allows dynamic compensation of ND aberrations.
  • a spatial light modulator that allows dynamic compensation of ND aberrations.
  • Such a system may not find practical application due to the elements used — a spatial light modulator, a holographic device for converting light beams, and a laborious process of real-time image processing.
  • the present invention provides real-time processing of an input image obtained on the basis of mixed data (ie, simulated and photographed images of BP and DR) by applying a digital algorithm that includes known information about a given ND optical system — for example, the calculated profile and position user's eye (s).
  • mixed data ie, simulated and photographed images of BP and DR
  • a digital algorithm that includes known information about a given ND optical system — for example, the calculated profile and position user's eye (s).
  • the described technology also includes an oculography system for tracking a user's pupil position (for example, for determining a line of sight).
  • oculography for tracking a user's pupil position (for example, for determining a line of sight).
  • the general principles of oculography are well known and described, for example, in US Pat. No. 8,120,577 (Bouvin), which provides for the placement of an eye-sensing camera in the frame of a user's glasses.
  • the "digital lens” is based on a blind-blind convolution for electronic correction of optical aberrations, specifically optimized for use in lightweight BP systems for BP.
  • WO2012018282 Shmunk
  • HC artificial neural network
  • the “digital lens” is based on extracting PSF for different image elements (simulated and photographed) and subsequent training of NS.
  • the present invention describes a BP / DR system (for LP), characterized by high quality when using cheap (conventional) optical components.
  • the proposed design allows you to get rid of complex (bulky, heavy and expensive) optical systems, at the same time improving image quality and increasing user experience of BP / DR.
  • enhancing the perception of VR is achieved not by using complex optics, but by a computing component for correcting aberrations of the optical system ND, superimposed before or after image acquisition.
  • a computing component i.e., computer calculation based on the described algorithm
  • Such a component hereinafter referred to as the “digital lens” of the optical system.
  • the digital lens hereinafter also referred to as “CL”
  • CL includes information about the optical profile of a given optical system, as well as the position of the user's pupil, as described in detail below.
  • the described method expands the scope of application of ND systems for BP and DR. It can be used both in existing lens-display systems and in new ND designs that are free from conventional hardware limitations.
  • the described invention is applicable to any variants and technologies of ND (using prisms, a translucent mirror, projectors, Fresnel lenses, etc.).
  • the invention is a head-mounted display (ND), which is an optical system designed to receive hybrid reality data: computer graphics, real-world images, or combinations thereof in the form of an incoming image.
  • ND head-mounted display
  • An optical system for processing these images inevitably imposes optical aberrations on them.
  • the invention includes a digital lens (i.e., a digital algorithm) for correcting said optical aberrations.
  • the invention also describes means for determining the position of the eyes or the direction of the user's gaze (oculo decanter).
  • the digital lens itself is based on two sequentially performed actions.
  • the first action involves the generation of eyepiece and optical system profile data (for example, the weights of the neural network [hereinafter also referred to as the “NS”]), the second is the acquisition of oculography data and the use of the optical system profile to correct the image and eliminate the indicated optical aberrations. The corrected image is then shown to the ND user.
  • optical system profile data for example, the weights of the neural network [hereinafter also referred to as the “NS”]
  • the second is the acquisition of oculography data and the use of the optical system profile to correct the image and eliminate the indicated optical aberrations.
  • the corrected image is then shown to the ND user.
  • the first step may also include extracting the point spread function (hereinafter also referred to as the “PSF”), training and extracting the NS weighting factors, separating the PSF into parts of the near and far fields, calculating the core of the far field and generating the corrected image of the far field .
  • the second action may include starting the NS, calculating the adjusted output value and summing the corrected output NS value with the initial low-frequency (hereinafter also referred to as “LF”) component.
  • LF initial low-frequency
  • the invention is applicable to various ND variants, including using a translucent mirror, prism, waveguide, retinal scan, and can also be optionally designed separately for each eye of the user.
  • the oculography data includes three-dimensional coordinates of the pupil / eyeball or the direction of view.
  • oculography data allows foveal rendering.
  • the invention describes a method for optical image acquisition by the described ND system with the elimination of optical aberrations.
  • a method may include the Levenberg-Marquard algorithm for training NS.
  • FIG. 1a, b Prior art. Examples of ND systems.
  • FIG. 2. The prior art. General description of existing applicable ND systems.
  • FIG. 3 General description of the use of a digital lens for the ND BP and DR system.
  • FIG. 4 General description of the correction method for optical aberrations.
  • FIG. 5 Geometric and radiometric alignment of tables and images (step 1)
  • FIG. 6. Creating a profile of the optical system (step 1).
  • FIG. 7 Correction of the far field of the image and the extraction of the point spread function (PSF) (step 1).
  • FIG. 8 The dependence of chromatic aberration on the position of the eye.
  • a housing is provided adapted to be worn on the user's head and placed an ND optical system for processing mixed data and presenting the result of such processing to the user's vision in the form of a displayed image.
  • display image means the image observed by the viewer.
  • mixed data refers to images obtained by computer graphics methods (ie, simulated), optionally supplemented with real-world images (in DR applications) received from the camera or delivered directly to the user's eye by the ND optical system.
  • the input image is visual information generated by the specified mixed data (ie, computer graphics with or without a real world image).
  • incoming image means an image with computer graphics, an image of the real world, or a combination thereof.
  • optical system allows you to receive an incoming image and convert its contents to the displayed image.
  • optical system here is meant all the components of the optical system of the ND used to form the displayed image, including a digital lens (hereinafter also referred to as “CL”), that is, a CL with an oculography system that provides data for the CL.
  • CL digital lens
  • photographed image here is meant an image obtained by a digital camera.
  • the photographed image may be part of the incoming image (for example, in the ND DR) or completely excluded from the incoming image (for example, in the ND VR).
  • Digital computer graphics can be created by computer processing (using a graphics processor) performed by means housed in the CD case or separately, with wired or wireless data transmission between such means and the specified optical system.
  • the optical system can be transparent, allowing the user to observe the real situation through the optical system.
  • the optical system may use a projection ND or a projection on the retina ND.
  • oculography system a system for measuring (real-time tracking) the position of the pupil (s) of the user's eyes (a) and, possibly, the direction of his gaze. Such measurements here are called “oculography data.”
  • the oculography data is used to pre-correct the displayed information.
  • Oculography data allows foveal imaging.
  • foveal visualization is a digital image processing method that involves changing the resolution (detail) of the image throughout the image, depending on the presence of one or more “fixation points”.
  • the fixation point is understood as the region of the highest resolution of the incoming image corresponding to the center of the retina, that is, the foveolar zone.
  • foveal imaging using the oculography function allows the digital lens algorithm to be selectively applied to the incoming image.
  • the strongest aberration correction (the region with the highest resolution of the incoming image) is performed along the line of sight of the user, i.e. around the observation point (in the incoming image) corresponding to the foveolar region of the user's eye.
  • Such a strong correction of aberration allows you to get rid of distortions due to astigmatism and spherical aberrations. Processing the rest of the incoming image is performed in a simpler way, for example, only by correction of transverse chromatic aberrations.
  • FIG. 1 (a) and 1 (b) taken, respectively, from US patents 9,429,772 (Heinrich) and 9,658,453 (Kress).
  • Kress patent optical elements are described that correct various optical defects that occur in a screen or diffraction adder (often used in ND).
  • the author of the patent acknowledges that the reflection of the screen light by an optical diffraction adder (flat) is not an ideal solution, since it generates such optical aberrations (in the light reflected from the screen) such as distortion, blurred colors, spherical aberrations, coma and astigmatism.
  • the diffractive optical adder may have a curved shape, but this complicates the design and requires additional manufacturing steps.
  • FIG. Figure 2 shows some examples of optically transparent head-mounted displays (OPDs).
  • OPDs optically transparent head-mounted displays
  • FIG. Figure 2 schematically shows the device of an OPD with a translucent mirror (flat or cubic prism) (a), a prism (b), a waveguide (c) and scanning of the retina (d).
  • the image (31) is initially passed through the correction element of the digital lens (32), and then it is fed to the ND device (33) with the usual optical element (s) (s) (34) for example, a thin plastic lens.
  • the corrected image (36) is observed by the user (37).
  • the corrected image (36) has no aberrations and has a higher resolution compared to the image processed in the standard way (35), without a digital lens (32).
  • This document describes the use of a corrected image (36) to obtain a better, more realistic representation of BP and DR compared to a standard image (35).
  • the present disclosure proposes the use of a digital lens (CL) as a preliminary correction step in an image acquisition chain.
  • CL digital lens
  • Such a CL acts as a “corrective lens”, eliminating the need to use additional (heavy and complex) optical elements to correct aberrations.
  • a high-quality high-resolution video camera is placed exactly in the eye position of an observer paying for ND, taking photographs to create an optical system profile, as described in detail below.
  • ND includes a function for tracking the position of the pupil (in the form of an oculography system). Tracking the position of the eye relative to the optical system makes it possible to accurately correct the aberrations inherent in such a system using CL.
  • the CL makes it possible to remove color halos and restore contrast and fine details of the original image subject to aberration.
  • the CL can compensate for all the above types of aberrations, including longitudinal chromatic and aberrations that cause the degradation of the PMF (modulation transfer function) in the optical elements of the ND.
  • FIG. 4 The use of a CL as a virtual element of an optical system in a BP ND system is shown schematically in FIG. 4, where the ND (410) is represented by the components of the optical system ND (40) - (47).
  • the mixed data (40) (ie, the image of BP and DR) is represented either by one computer graphic (41) (for example, for VR) or a combination of computer graphics (41) with a real world image (43), photographed by a camera (42).
  • the result of the process is the input image defined above (44), which essentially represents the input data sent to the ND (410).
  • the computing component (45) i.e., the CL
  • the computing component (45) performs digital correction of the aberrations included in the input image (44) before the image arrives at the conventional lens ND (49).
  • the digital algorithm of the CL (45) uses certain "external” data, in particular, data on the “optical profile” (48) and oculography data (49) (for example, the position of the pupil).
  • the oculography data (47) comes from the oculography system, the optical profile data (46) from the ND (410).
  • the optical profile data (46) is formed by profiling the optical system ND (410) without using the CL (45) (that is, before the actual start of the ND operation).
  • the process of forming the optical profile of ND is further described in detail (as Action G).
  • the invention is intended to correct optical aberrations, preferably in optical systems adapted for use with NDs, preferably using the non-blind reverse convolution technique described in detail below.
  • non-blind is used here in the sense that the point spread function (PSF) is calculated and known in advance by forming the profile of the optical system of interest.
  • PSF refers to the three-dimensional response of an imaging system to the presence of a point object or a point light source.
  • PSF is a function of the imaging system responsible for spatial transport.
  • the described method is based on dividing the computational correction of aberrations of the optical system into the following two actions:
  • Step I forming an optical system profile containing data about such a system (eg, based on ND). This action involves obtaining information about the possibility of optimal correction of aberrations introduced by the optical system. This information is then stored as the “optical profile” of this optical system. Usually, the process of forming an optical profile is long and iterative. Fortunately, for each specific optical system, it is enough to compile a profile once, for example, during design or production.
  • Step II Correction of the aberrations of the optical system.
  • This action involves the direct application of the CL to the data (image) obtained by the optical system.
  • the CL includes information on the optical profile (obtained during Step I), as well as oculography data (obtained by the oculography system).
  • the resulting corrected image can then be used by image signal processing means and displayed on the screen, just as if the CL was not used.
  • This action requires only a single and relatively quick execution, which allows you to correct the optical aberration of the image, for example, with the frequency of the video signal, both on existing video processors and on limited power mobile devices.
  • Actions I and II can be optimized for different imaging applications, including for the BP and DR systems described in the present invention.
  • Action I is performed in the selected optical ND system by placing a high-quality photographing device in place of the human eye, which allows to efficiently profile the selected optical system.
  • action II can be performed, which involves the elimination of aberrations inherent in such an imperfect optical system.
  • Action I in a preferred embodiment of the invention includes the following two main steps: Stage 1. Image creation (photographing) for profile formation, geometric and radiometric alignment. Stage 2. Creation of the optical profile of the optical system. These two steps are described in more detail below.
  • Step 1 Photographing for profile formation, geometric and radiometric alignment. This stage, shown in detail in Fig. 5, involves the computer generation of a series of tables shown on ND. Then, these tables are recorded on the optical system to be profiled (also shown as [44] in Fig. 4) in the form of a sequence of N images (51).
  • This sequence of images (51) includes information about the parameters of the optical system (that is, metadata about the camera used during photographing) —focal length, aperture (lens aperture), focal length, etc.
  • Such data includes information about aberration characteristics for different positions of the observer’s eye and actually simulates oculography data without the presence of the observer proper. These data may depend on the following parameters of the eyepiece: position of the eyeball, position of the pupil or direction of view. All these parameters are recorded relative to the position of the optical system ND, i.e. the eyepiece.
  • geometric and radiometric alignment (53) of the tables (51) from the sequence of captured images is performed.
  • part of the series of images used for profiling from the sequence (51) and their captured images are used for geometric (ie, for spatial details) and radiometric (that is, estimates of the nonlinear function of the color values of each images and its application for radiometric alignment of images in such a way that the color values for all images of the alignment sequence coincide.
  • the computer-generated tables (51) are aligned with the images of the tables captured by the profiled system itself. All such images are obtained with the same camera settings and under the same lighting conditions, i.e., their alignment with each other is not required.
  • a pair of aligned images (54) is obtained, part of which in a preferred embodiment of the invention is a subseries of table images geometrically and radiometrically aligned with respect to their computer-generated variants. As shown in FIG. 5, such a pair of images includes t. And. “Tables” and their corresponding “aligned” images.
  • Such images (54) are then used to create the profile of the optical system, in particular, to obtain data on the possibility of correcting the aberrations of this optical system.
  • Step 2 Creating an optical profile of an optical system.
  • the complete profile creation process (Step I) of the optical system is shown in detail in FIG. 6.
  • the process begins with a pair of incoming images — a table and an aligned image (61) (also see [54] in Fig. 5), (optionally) divided into tiles (62).
  • This data is used to correct the far field (64), which includes the actual correction of the far field of the image and the extraction of the point spread function (PSF).
  • PSF point spread function
  • two sets of data are obtained — the coefficients of the far-field nuclei stored in the profile of the optical system (63), and the pixel data, which preserve only near-field aberrations.
  • This data is fed into the separation of low frequencies (LF) and high frequencies (hereinafter also referred to as “HF”) (66).
  • the output signal of the process (66) is an input signal for the NS (69).
  • Pixel data containing spatial LF information (LF part) are sent to the NS (69) directly, while pixel data containing spatial LF information (HF part) is sent to the NS after processing (68).
  • NS (69) the coordinates of pixel data (in the image plane or in a tile) are also sent, obtained directly from process (62) (or [61], if division into tiles is not performed).
  • target pixel data is also required for training the NS (69). These data come from an aligned image that has passed the low-pass filter (65) and processing (67). The weights and displacements obtained after NS training (691) are also stored in the profile of the optical system (63).
  • One part (65) includes only the high spatial frequencies (extracted from the HF part), the other (66) includes both the LF and HF parts (the content of low and high spatial frequencies extracted from the data).
  • any of the known linear filters based on the LF or HF core can be used.
  • the LF part (66) is usually not subject to aberrations and therefore can be used as is, without processing.
  • the RF part (65) must be suitably processed to obtain an improved image.
  • both the LF (66) and HF (65) parts are separately extracted for tables and images aligned on them (or tiles, if the above option is used to divide the image into tiles).
  • preliminary obtained pixel data from the HF part are prepared (processed [37]) for use as input (reference) data for training NS (69).
  • NS (69) uses machine learning to estimate (or approximate) the coefficients of functions (691), which depend on a large number of usually unknown input signals.
  • image processing NS can use a reference (input) image for preliminary self-training. This process is described in detail in the relevant literature.
  • correction (67) can be used (data manipulation after NS training). Correction (67) is performed similarly (but not necessarily the same) to preliminary preparation (68), but in the reverse order. For example, if the dynamic range of the NS data was somehow reduced, the output of the NS should be corrected by expanding the dynamic range accordingly.
  • preliminary preparation (68) and correction (67) include any combination of the following operations.
  • the introduced non-linearity can take the form A L (1 - alpha), where: A is the pixel value, alpha is a small (usually 0.02-0.2) constant.
  • the NS algorithm (along with preliminary processing and correction of data) receives information (63) (that is, the system profile) about the aberration correction capabilities (for example, blurriness) of the image so that the output would be as close as possible to incoming image, i.e., without aberration.
  • information (63) that is, the system profile
  • the aberration correction capabilities for example, blurriness
  • the HC (69) processes the data pixel by pixel. Accordingly, in order to correct aberrations for a specific pixel, a certain region adjacent to this pixel is processed (within [62]). In a preferred embodiment of the present invention, data are prepared for the inputs and outputs of the HC, as shown in detail in FIG. 6.
  • the NS (69) data on the position of the processed pixel is recorded, which allows the NS (69) to adapt to different PSFs on this tile. To this end, the pixel coordinates of the incoming image are transmitted to the inputs of the NS (63) from the step of dividing the image (61) into tiles (62).
  • the RF part (66) of the image tiles (62) is transmitted to the inputs of the HC (69) after the preparation of data (68) described above.
  • the RF part (66) is extracted using pixels in some neighborhood of the processed (for example, less than nine pixels) in the incoming image.
  • the RF part (65) of the pixels processed from the cells (62) also goes to the outputs of the NS (69) after the “data preparation” described above (67) and acts as the output of the NS.
  • the LF part (66) from the cells of the incoming image (62) also arrives at the NS inputs (69).
  • this low-frequency part (66) is extracted using pixels in a more distant neighborhood of the processed pixel (for example, more than eight pixels) in the input image.
  • training is performed using known training algorithms, for example, the Levenberg-Marquard algorithm.
  • Weights of trained NS [691] in Fig. 6) are extracted and stored in the form of an “optical system profile” together with the core obtained at the stage of far-field correction (64). Weights and core are unique for each tile, so for each tile there is its own set of parameters.
  • PSF is extremely variable and depends on the size, concentration and distribution of various parameters across the field of view of the optical system, the most important of which is the position of the eye of the observer. Accordingly, as shown in FIG. 7, optional steps (71) and (72) are generally performed to reduce the range of PSF shapes in the field of view of this optical system.
  • the variability (aberration) of PSF within one tile remains, but becomes smaller, which allows it to be more effectively compensated in comparison with the original images (tables and aligned images).
  • the approximation of the PSF (73) is extracted and divided into two parts: a part of the near field (74) calculated within a certain number of pixels adjacent to the processed one (for example, within a radius of six pixels) and a part of the far field (76), PSF (and aberration ) which are extracted for pixels lying outside the radius of the near field.
  • the indicated process of extracting the PSF approximation (73) from the input data can be performed by one of the known methods, see, for example, Felix et al. Despite the fact that this method allows one to determine the PSF with high accuracy, it takes a lot of time. To reduce the computational load, it is preferable to use a simpler method.
  • FIG. 7 shows the application of the following approach for (73) in a preferred embodiment of the present invention: i) The two-dimensional Fourier transform of the input image tile is divided into the two-dimensional Fourier transform of the corresponding tile of the aligned image ii) The result is converted back to a two-dimensional inverted Fourier transform.
  • far-field correction of the image using the far-field core can be performed during application of the CL.
  • Calculation of the core of the far field (75) and convolution (77) make it possible to obtain an image with corrected aberrations and opacities in the far field.
  • the parameters of the selected far field correction namely, the core coefficients (75) obtained from the results of the far field correction (76), are recorded for further use together with the profile of the optical system, as described below.
  • the core refers to a convolution matrix (significantly smaller than the image itself) used to change the image (for example, increase or decrease the sharpness, edge detection, etc.). For this, convolution of the matrix between the specified core and the selected image is performed.
  • a portion of the PSF corresponding to the near field (74) is not used due to the impossibility of simple handling, since this will lead to a significant increase in noise in the output image.
  • the frequency coefficients are multiplied by a window having zero amplitude for high frequencies, but reaching a certain value at low frequencies.
  • a clear example of such a window would be a two-dimensional Gaussian distribution.
  • the inverse two-dimensional transformation is performed. Due to the fact that far-field correction does not include RF spatial components, its implementation does not cause amplification of RF noise components. Thus, obtaining the core of the far field (75) is a simple process performed by known methods.
  • the method uses the convolution of the incoming image using the obtained PSF far field, followed by subtracting the result from the incoming image. This (relatively simple) approach effectively corrects the haze and aberrations of the first order caused by the optical system.
  • the coefficients are transmitted to the profile of the optical system. Then, the core is convolved (77) using tile pixel data, which results in additional output data for far field correction ([64] - [66] in Fig. 6 above). The output is a tile containing only the remaining near-field aberrations (78).
  • FIG. Figure 8 shows that the ordinary single (plastic) element (82) used in the ND (ordinary lens or Fresnel lens) leads to a high dispersion of the optical system and, accordingly, to strong chromatic aberrations.
  • Transverse chromatic aberration appears as different color channels that fall into different places of the retina.
  • FIG. Figure 8 shows the dependence of such transverse chromatic aberrations on the position of the user's eye, in particular when the eye (81) is located directly on the optical axis (Fig. 8a) and outside the axis within the eyepiece (Fig. 86).
  • the size of the optical aberrations shown as the propagation of optical rays to retina for these two cases is different.
  • oculography data is used to pre-adjust the displayed information.
  • Act II in a preferred embodiment of the invention involves obtaining real-time oculography data and applying the above-described CL to the incoming image, as described in detail here and shown in FIG. 9.
  • Oculography data The position of the user's pupil recorded by the oculography system.
  • data on the position of the pupil / gaze (993) are used (see also [47] in Fig. 4) in the National Assembly (990), and, optionally, for the correction of the far field (95).
  • the input data for image processing are the actual incoming image (92) and the profile of the optical system (96).
  • the pixel data of the original image can be split into tiles (94).
  • the far-field correction (95) is optionally carried out using the coefficients of the nuclei obtained from the profile of the optical system (96).
  • the pixel data is separated by the LF from the HF (97) and, separated, is fed to the input of the NS (990).
  • Pixel data containing spatial LF information is sent directly to the National Assembly (990), while pixel data containing spatial LF information is sent to the National Assembly after processing (991).
  • the coordinates of the pixel data (in the image plane or in the tile), obtained directly from the process (94) (or [92], if division into tiles is not performed) are also sent to the National Assembly (990).
  • NS weights and offsets (990) are obtained for a given tile from the profile of the optical system (96).
  • step I Processing of any incoming image (provided that the optical profile of the system [96] is prepared according to the results of step I) is performed similar to step I (formation of the optical profile of the system), with only some changes in the data stream.
  • the input of this process (92) receives an incoming image, divided into tiles (94) in a similar way as in Step I, see FIG. 6 and 7.
  • the far field correction (95) is optionally performed in a similar way as in Step I (also see [76] in Fig. 7), with the only difference that the core for the far field correction is already known and is taken from the profile optical system (Act I).
  • the image data is divided into the HF and LF parts (97), similar to the division into HF and LF parts in Action I (see [66] in FIG. 6). Then, the HF part is subjected to the preparation of pixel data (991), also similar to that provided for Action I.
  • results of the described actions (92), (94) and (95), as well as the optical profile of the system (96) constitute input data for the NS (990), similar to those obtained during Step I at the stage creating a system profile — pixel coordinates in the processed low-frequency part and the high-frequency part of the pixels in a certain radius.
  • step (93) all processed cells (93) of the input image are recombined to produce one output image (91).
  • the tiles are connected to the overlap.
  • the processing result (93) is gently damped from tile to tile, thereby eliminating visible seams in the resulting image (91). Such seams are caused by a visible deviation from tile to tile from the adjusted output value.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

В заявленном изобретении описаны наголовная система отображения виртуальной и дополненной реальности и способ коррекции оптических аберраций. Система включает начальное профилирование наголовной системы отображения и средства окулографии.

Description

ОПТИЧЕСКАЯ СИСТЕМА ГИБРИДНОЙ РЕАЛЬНОСТИ С ЦИФРОВОЙ КОРРЕКЦИЕЙ АБЕРРАЦИЙ
ОБЛАСТЬ ТЕХНИКИ
[0001] Настоящее изобретение в широком смысле относится к области оптических систем, а точнее— к области устройств получения оптических изображений для систем виртуальной и дополненной реальности.
[0002] Конкретнее, изобретение позволяет корректировать аберрации систем ВР и ДР при помощи цифрового компонента (т. е. компьютерного программного обеспечения). Изобретение позволяет избавиться от ограничений, накладываемых конструкцией оптических систем, и расширить область применения оптических систем виртуальной реальности и дополненной реальности посредством повышения их качества без внесения в конструкцию дополнительных оптических элементов или иных изменений.
УРОВЕНЬ ТЕХНИКИ
[0003] Под виртуальной реальностью (далее также «ВР») понимается искусственно созданная трехмерная среда, обеспечивающая эффект присутствия в ней пользователя. Два основных свойства ВР — эффект присутствия и интерактивность. Эффект присутствия возникает при участии в ВР всех пяти органов чувств; интерактивность— при возможности пользователя взаимодействовать с ВР посредством телодвижений.
[0004] Таким образом, двумя необходимыми составляющими для создания виртуальной среды является воздействие на органы чувств и виртуальный мир. Под виртуальным миром понимаются виртуальные объекты и их взаимоотношения внутри среды, придающие виртуальной среде смысл. Под воздействием на органы чувств понимается изменение состояния органов чувств пользователя с определенной периодичностью.
[0005] В то время как ВР подменяет реальную среду симулированной, Дополненная реальность (далее также - «ДР») предполагает изменение текущего восприятия пользователем реального мира, т. е. отображение реальной среды с «дополненными» (или удаленными) элементами посредством компьютерной перцептивной информации, в идеале— для нескольких органов чувств (зрения, слуха, обоняния, осязания и соматосенсорной системы), пространственно помещенных в реальный мир для обеспечения эффекта присутствия. Под «гибридной реальностью» понимается технология получения изображений для ВР и ДР.
[0006] Наголовные (нашлемные) дисплеи (далее также - «ИД») (например, «очки виртуальной реальности»)— самые известные приборы для создания ВР и ДР. Технология создания гибридной реальности при помощи ИД нашла множество применений— от реабилитации до визуализации данных, от игровой индустрии до военной промышленности, авиации, медицины и проектирования.
[0007] Обычно ИД представляет собой носимый на голове (на шлеме) небольшой обращенный к одному или обоим глазам дисплей. В более широком же смысле ИД можно понимать как устройство, закрепленное на голове пользователя, передающее визуальную информацию, в т. ч. и для периферийного зрения, непосредственно на глаза пользователя.
[0008] Варианты ИД различаются технологией и представлением визуальной информации, а именно компьютерной графики, изображения реального мира или их сочетания.
[0009] ИД также подразделяются по типам окуляров: монокуляры (для одного глаза) и бинокуляры (для обоих глаз), представляющие немного различающиеся перспективы изображения для каждого глаза для создания стереоэффекта. [0010] Кроме того, НД также можно подразделить на устройства с видеопрозрачностью, оптической прозрачностью и проекционные. В видеопрозрачных устройствах виртуальная среда заменяется видеопотоком реального мира с элементами ДР, добавляемыми в цифровые изображения. В оптически прозрачных устройствах выполняется прямое наложение эффектов ДР на изображение реального мира посредством прозрачного оптического сумматора (например, полупрозрачного зеркала, призмы или голографического оптического элемента). В проекционных НД изображение ДР проецируется на реальные изображения и воспринимается глазом пользователя как отражение.
[ООН] Кроме того, для НД также применима технология проецирования на сетчатку (сканирование сетчатки или проекция на сетчатку). Эта технология предполагает прямое проецирование изображение на сетчатку глаза пользователя, что позволяет пользователю видеть висящий перед ним в воздухе дисплей. Технология проецирования на сетчатку устраняет потребность во внешних экранах и сложных оптических элементах. В нынешнем поколении устройств BP с проецированием на сетчатку используются особые линзы для коррекции визуального расстояния до небольших экранов, установленных рядом с глазами.
[0012] При проектировании НД сложнее всего сочетать высокое качество изображения с компактностью устройства ввиду геометрических ограничений (устройство должно помещаться на голове пользователя), вызывающих значительные геометрические аберрации.
[0013] Большинство систем ВР и ДР используют ту или иную методику отслеживания положения, часто при помощи внешних по отношению к НД камер и датчиков. Эти периферийные устройства позволяют отслеживать положение головы, туловища и рук пользователя в пределах их зоны действия.
[0014] Один из вариантов конструкции НД включает средства окулографии, регистрирующие направление взгляда пользователя и позволяющие компьютерными методами определять линию взгляда пользователя. Эта информация важна для разных приложений ВР и ДР, использующих навигацию по пользовательскому интерфейсу. Отслеживание взгляда пользователя позволяет системе изменять отображаемую НД информацию, показывая пользователю конкретные (например, дополнительные) элементы.
[0015] Измерение и экстраполяция направления взгляда в реальном времени используются для изменения представляемых НД данных. Например, НД может изменить глубину отображаемого поля для лучшей симуляции естественного зрения, что повышает эффект присутствия. Объекты ВР также могут реагировать на взгляд пользователя— например, пользователь может взглядом выбирать те или иные элементы ВР и ДР. Технология окулографии в НД, позволяющая пользователю проще и естественнее взаимодействовать с интерфейсом, крайне важна для обеспечения по-настоящему реалистичного представления ВР и ДР.
[0016] В последние десятилетия изображающая оптика заметно усложнилась, позволяя работать с высококачественными оптическими компонентами и системами, такими как однообъективные зеркальные камеры. Высокая сложность оптических элементов обычно требуется для эффективного использования имеющейся в распоряжении апертуры и, что более важно, для компенсации нежелательных артефактов, присущих изображениям, полученным с однообъективных камер.
[0017] Оптические артефакты вообще присущи всем без исключения оптическим системам: геометрические искажения, хроматические (фокальная плоскость, зависящая от длины волны) и сферические аберрации (фокусное расстояние, зависящее от расстояния по оптической оси), а также кома (угловая зависимость от фокуса). Уменьшение подобных артефактов (то есть нелинейных отклонений от модели тонкой линзы)— важная задача для оптимизации общей эффективности системы изображения.
[0018] Ввиду того, что подобные артефакты присущи каждому оптическому элементу, обычно используются сочетания разных линз, в особенности при необходимости получения изображения высокого качества (например, в фотографии). Вместе с тем, сложные оптические системы с компенсацией аберраций, отличаясь высококачественным геометрическим представлением изображения, отличаются и высокой стоимостью производства, массой, бликованием, ненадежностью и т. и.
[0019] В обычных системах НД для ВР, которые требуется носить на голове, используются сравнительно тонкие, легкие и удобные для пользователя объективы ВР и ДР. Разумеется, подобные компактные, легкие и относительно недорогие в массовом производстве оптические элементы снижают качество оптической системы, в сравнении, например, с высококачественными объективами, часто состоящими из десятков отдельных оптических элементов. Такое снижение качества связано с тем, что используемые в НД тонкие компактные объективы (часто пластиковые или с линзами Френеля) подвержены аберрациям, снижающим восприятие пользователем ВР.
[0020] Современные производители НД для ВР стремятся повысить разрешение экранов, но качество изображения уже достигло пределов возможностей для оптических систем. Альтернативные подходы включают громоздкие многокомпонентные системы повышения разрешения изображения. Подобная система, например, описана в патенте США 6 529 331 (Massof), предполагающем использование набора экранов (например, 13 на каждый глаз, с соответствующими оптическими элементами) для создания НД ВР с высоким разрешением.
[0021] В патенте W02017/108211 (Anton) описан НД с окуляром и плоскостью изображения, относительно наклоненных под определенным (предпочтительно 1° и 5°) углом для компенсации оптических аберраций (астигматизма и т. и.) на оси и вне оси зрения на всем поле зрения. Кроме того, в этом изобретении оптические поверхности нефренелевых оптических компонентов могут представлять собой особую дифракционную поверхность для уменьшения хроматических аберраций.
[0022] Представляется, что обычные оптические конструкции не в состоянии устранить взаимопротиворечащие требования современных систем ВР и ДР к малой массе, компактности и экономичности, но вместе с тем высокому разрешению и малым оптическим аберрациям.
[0023] Важную роль в устранении нежелательных артефактов могут играть не только физические изменения НД (ограниченные требованиями к портативности), но и подробные знания об оптической системе НД, используемой для формирования представляемых изображений. Эти знания о профиле линзы могут использоваться для компьютерной (цифровой) коррекции аберраций.
[0024] Способы коррекции изображений на основании информации о профиле линзы обычно предполагают использование известных характеристик линзы или оптической системы в целом для (автоматической) коррекции разных искажений линзы (например, появления цветных ореолов на высоко- контрастных гранях, виньетирование и т. и.). К примеру, метод, описанный в патенте США 6 862 373 (Enomoto) предполагает получение входных данных с изображения, полученного оптическим элементом (линзой), и вместе с тем данных о самой линзе, использованной для получения данного изображения. В данном методе далее описан порядок обработки изображения с использованием информации о фокусном расстоянии и апертуры (отверстия ирисовой диаграммы) линзы на момент получения изображения, а также характеристик линзы для коррекции аберраций и виньетирования изображения.
[0025] К примеру, в работе Beuret и др. описана экспериментальная компенсация аберраций для прозрачных НД при помощи дифракционного элемента— пространственного модулятора света, позволяющего динамически компенсировать аберрации НД. Такая система, однако, может не найти практического применения ввиду используемых элементов— пространственного модулятора света, голографического устройства сведения световых пучков и трудоемкого процесса обработки изображения в реальном времени.
[0026] Насколько нам известно, в настоящее время цифровую коррекцию аберраций еще не удалось эффективно применить в системах гибридной реальности на основе НД (кроме стандартной коррекции дисторсии и поперечных хроматических аберраций).
[0027] Настоящее изобретение предлагает обработку в реальном времени входящего изображения, получаемого на основании смешанных данных (т. е. симулированных и сфотографированных изображений ВР и ДР) посредством применения цифрового алгоритма, включающего известную информацию о данной оптической системе НД— например расчетного профиля и положения глаз(а) пользователя.
[0028] Описанная технология также включает систему окулографии для отслеживания положения зрачка пользователя (например, для определения линии взгляда). Общие принципы окулографии хорошо известны и описаны, например, в патенте США 8 120 577 (Bouvin), предполагающим размещение камеры, регистрирующей движение глаза, в оправе очков пользователя.
[0029] В предпочтительном варианте настоящего изобретения «цифровая линза» основана на неслепой обратной свертки для электронной коррекции оптических аберраций, специально оптимизированной для применения в легких системах НД для ВР. Подобный метод был изначально описан в международной патентной заявке WO2012018282 (Shmunk), где предлагалась подобная неслепая методика обратной свертки, основанная на знаниях об используемой оптической системе получения изображения (ее профиле). В данной заявке WO2012018282 подобным же образом применялась искусственная нейросеть (НС); однако, акцент был сделан на повышение оптического разрешения посредством применения множества входящих изображений, в отличие от методики уменьшения аберраций одного входящего изображения, описываемой в настоящем изобретении.
[0030] В общем случае важным свойством прогнозирования распространения света и характеристик системы получения изображения является функция рассеяния точки (ФРТ). Соответственно, в предпочтительном варианте изобретения «цифровая линза» основывается на извлечении ФРТ для разных элементов изображения (симулированных и сфотографированных) и последующем обучении НС.
[0031] В настоящем изобретении описаны системы ВР/ДР (для НД), отличающиеся высоким качеством при использовании дешевых (обычных) оптических компонентов. Предлагаемая конструкция позволяет избавиться от сложных (громоздких, тяжелых и дорогих) оптических систем, вместе с тем повышая качество изображения и повышая восприятие пользователем ВР/ДР.
[0032] В частности, повышение восприятия ВР достигается не использованием сложной оптики, а вычислительным компонентом для коррекции аберраций оптической системы НД, накладываемым до или после получения изображения. Такой компонент (т. е. компьютерное вычисление на основании описанного алгоритма) далее называется «цифровой линзой» оптической системы. Обычно такая цифровая линза (далее также - «ЦЛ») включает информацию об оптическом профиле заданной оптической системы, а также о положении зрачка пользователя, как подробно описано ниже.
[0033] Описываемый метод расширяет сферу применения систем НД для ВР и ДР. Он может применяться как в существующих системах объектив-дисплей, так и в новых конструкциях НД, свободных от обычных аппаратных ограничений. Кроме того, описываемое изобретение применимо к любым вариантам и технологиям НД (с использованием призм, полупрозрачного зеркала, проекторов, линз Френеля и т. и.).
[0034] Прочие свойства и аспекты предлагаемого изобретения очевидны из нижеследующего описания предпочтительного и опциональных вариантов и прилагаемых чертежей.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
[0035] Изобретение— наголовный дисплей (НД), представляющий собой оптическую систему, предназначенную для приема данных гибридной реальности: компьютерной графики, изображений реального мира или их сочетаний в форме входящего изображения. Оптическая система для обработки этих изображений неизбежно накладывает на них оптические аберрации. Кроме того, изобретение включает цифровую линзу (т. е. цифровой алгоритм) для коррекции указанных оптических аберраций.
[0036] Изобретение также описывает средства определения положения глаз или направления взгляда пользователя (оку ло графин).
[0037] Сама цифровая линза основана на двух последовательно выполняемых действиях. Первое действие предполагает формирование данных окуляра и профиля оптической системы (например, весовых коэффициентов нейронной сети [далее также «НС»]), второе— получение данных окулографии и применение профиля оптической системы для коррекции изображения и устранения указанных оптических аберраций. Скорректированное изображение затем показывается пользователю НД.
[0038] Кроме того, первое действие также может включать извлечение функции рассеяния точки (далее также - «ФРТ»), обучения и извлечения весовых коэффициентов НС, разделение ФРТ на части ближнего и дальнего полей, расчет ядра дальнего поля и формирование скорректированного изображения дальнего поля. Второе же действие, в свою очередь, может включать запуск НС, расчет скорректированного выходного значения и суммирование исправленного выходного значения НС с изначальным низкочастотным (далее также «НЧ») компонентом.
[0039] Изобретение применимо для разных вариантов НД, в т. ч. с использованием полупрозрачного зеркала, призмы, волновода, сканирования сетчатки, а также может опционально конструироваться отдельно для каждого глаза пользователя.
[0040] Данные окулографии включают трехмерные координаты зрачка/глазного яблока или направление взгляда. Кроме того, данные окулографии позволяют выполнять фовеальный рендеринг.
[0041] Кроме того, изобретение описывает способ оптического получения изображения описанной системой НД с устранением оптических аберраций. Такой метод может включать алгоритм Левенберга- Маркварда для обучения НС.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
[0042] Фиг. 1, а, б: Известный уровень техники. Примеры систем НД. [0043] Фиг. 2. Известный уровень техники. Общее описание существующих применимых систем НД.
[0044] Фиг. 3. Общее описание применения цифровой линзы для системы НД ВР и ДР.
[0045] Фиг. 4. Общее описание метода коррекции оптических аберраций.
[0046] Фиг. 5. Геометрическое и радиометрическое выравнивание таблиц и изображений (действие 1)
[0047] Фиг. 6. Создание профиля оптической системы (действие 1).
[0048] Фиг. 7. Коррекция дальнего поля изображения и извлечение функции рассеяния точки (ФРТ) (действие 1).
[0049] Фиг. 8. Зависимость хроматической аберрации от положения глаза.
[0050] Фиг. 9. Полная обработка изображения (действия 1 и 2).
ПОДРОБНОЕ ОПИСАНИЕ ПРЕДПОЧТИТЕЛЬНОГО ОСУЩЕСТВЛЕНИЯ
[0051] В данном описании в качестве наголовного дисплея (НД) предлагается корпус, приспособленный для ношения на голове пользователя и размещения оптической системы НД для обработки смешанных данных и представления результата такой обработки зрению пользователя в форме показываемого изображения.
[0052] В данном описании под «показываемым изображением» понимается наблюдаемое зрителем изображение.
[0053] В настоящем описании под «смешанными данными» понимаются изображения, полученные методами компьютерной графики (т. е. симулированные), опционально дополненные изображениями реального мира (в приложениях ДР), получаемыми с камеры или доставляемыми непосредственно в глаз пользователя оптической системой НД.
[0054] Входящее изображение представляет собой визуальную информацию, сформированную указанными смешанными данными (т. е. компьютерной графикой с изображением реального мира или без него). В частности, в настоящем описании под «входящим изображением» понимается изображение с компьютерной графикой, изображение реального мира или их сочетание.
[0055] Конструкция оптической системы (НД) позволяет принимать входящее изображение и преобразовывать его содержание в показываемое изображение. Под «оптической системой» здесь понимаются все компоненты оптической системы НД, используемые для формирования показываемого изображения, в т. ч. цифровая линза (далее также «ЦЛ»), т. е. ЦЛ с системой окулографии, предоставляющей данные для ЦЛ.
[0056] Под «сфотографированным изображением» здесь понимается изображение, полученное цифровой камерой. Сфотографированное изображение может являться частью входящего изображения (например, в НД ДР) или полностью исключаться из входящего изображения (например в НД ВР).
[0057] Цифровая компьютерная графика может быть создана посредством компьютерной обработки (при помощи графического процессора), выполняемой средствами, размещенными в корпусе НД или отдельно, с проводной или беспроводной передачей данных между такими средствами и указанной оптической системой.
[0058] Оптическая система (НД) может быть прозрачной, позволяя пользователю наблюдать реальную обстановку через оптическую систему. В других вариантах оптическая система может использовать проецирующий НД или проецирующий на сетчатку НД.
[0059] В предпочтительном варианте настоящего изобретения определение направления взгляда выполняется системой окулографии, интегрированной в НД или используемой отдельно. Под «системой окулографии» понимается система для измерения (отслеживания в реальном времени) положения зрачка (зрачков) глаз(а) пользователя и, возможно, направления его взгляда. Такие измерения здесь называются «данными окулографии».
[0060] Данные окулографии используются для предварительной коррекции показываемой информации. В предпочтительном варианте изобретения предусмотрена технология интеграции функции окулографии (с камерой или без нее) и отображения при помощи установленной прозрачной (видео- или оптически) оптики, расположенной рядом с глазом, устройства отображения гибридной реальности.
[0061] Данные окулографии (например, положение зрачка) позволяют выполнять фовеальную визуализацию. Как известно, фовеальная визуализация является методом обработки цифрового изображения, предполагающим изменение разрешения (детализации) изображения на протяжении изображения, в зависимости от наличия одной или нескольких «точек фиксации». В связи с описываемым изобретением под точкой фиксации понимается область наивысшего разрешения входящего изображения, соответствующая центру сетчатки глаза, т. е. фовеолярной зоне.
[0062] В предпочтительном варианте изобретения фовеальная визуализация при помощи функции окулографии позволяет выборочно применять алгоритм цифровой линзы для входящего изображения. В частности, сильнейшая коррекция аберрации (область с наивысшим разрешением входящего изображения) выполняется по линии взгляда пользователя, т. е. вокруг точки наблюдения (во входящем изображении), соответствующей фовеолярной зоне глаза пользователя. Такая сильнейшая коррекция аберрации позволяет избавиться от искажений вследствие астигматизма и сферических аберраций. Обработка остальной части входящего изображения выполняется более простым способом, например, только коррекцией поперечных хроматических аберраций.
[0063] Известный уровень техники на примере обычной системы НД показан на фиг. 1 (а) и 1 (б), взятых, соответственно, из патентов США 9 429 772 (Heinrich) и 9 658 453 (Kress). Во втором случае (патент Kress) описаны оптические элементы, корректирующие разные оптические дефекты, возникающие в экране или дифракционном сумматоре (часто применяемых в НД). Автор патента признает, что отражение света экрана дифракционным оптическим сумматором (плоским) не является идеальным решением, т. к. порождает такие оптические аберрации (в отраженном от экрана свете) как искажение, помутнение цвета, сферические аберрации, кому и астигматизм.
[0064] В некоторых конструкциях дифракционный оптический сумматор может иметь изогнутую форму, но это усложняет конструкцию и требует дополнительных этапов производства. Кроме того, для устранения помутнения цвета достаточно добавить источник одного цвета или монохроматический источник, но из остальных оптических аберраций наиболее ухудшающей качество изображения является астигматизм. Далее описаны возможные действия для коррекции оптических аберраций, внесенных дифракционным оптическим сумматором на попадающее в глаз отражение, включающие добавление дополнительных оптических элементов для предварительной компенсации хотя бы части астигматизма, вызванного использованием дифракционного сумматора, а также прочих описанных выше оптических аберраций. Подобные оптические элементы могут быть вставлены, вдвинуты, прикреплены зажимом, поворотной защелкой, прозрачным клеем, трением или иным способом. [0065] На фиг. 2 показаны некоторые примеры оптически прозрачных наголовных дисплеев (ОПНД). В частности, на рис. 2 схематически показано устройство ОПНД с полупрозрачным зеркалом (плоским или кубической призмой) (а), призмой (б), волноводом (в) и сканированием сетчатки (г).
[0066] Как далее указано со ссылкой на фиг. 3, для получения скорректированного изображения во время работы НД изображение (31) изначально пропускается через корректирующий элемент цифровой линзы (32), а затем поступает на устройство НД (33) с обычным(и) оптическим(и) элементом(ами) (34), например, тонкой пластиковой линзой. Скорректированное изображение (36) наблюдается пользователем (37). Как показано на фиг. 3, скорректированное изображение (36) не имеет аберраций и отличается более высоким разрешением сравнительно с изображением, обработанным стандартным способом (35), без цифровой линзы (32). В настоящем документе описано использование скорректированного изображения (36) для получения лучшего, более реалистичного представления ВР и ДР по сравнению со стандартным изображением (35).
[0067] В настоящем описании предлагается использование цифровой линзы (ЦЛ) в качестве предварительного этапа коррекции в цепочке получения изображения. Такая ЦЛ выступает в качестве «корректирующей линзы», избавляя от необходимости использовать дополнительные (тяжелые и сложные) оптические элементы для коррекции аберраций. Для формирования подобного элемента ЦЛ в предпочтительном варианте настоящего изобретения точно в позиции глаза наблюдателя, платно использующего НД, размещается высококачественная видеокамера высокого разрешения, делающая фотографии для создания профиля оптической системы, как подробно описано ниже.
[0068] Кроме того, как указано выше, НД включает функцию отслеживания положения зрачка (в виде системы окулографии). Отслеживание положения глаза относительно оптической системы позволяет точно корректировать аберрации, присущие такой системе, при помощи ЦЛ.
[0069] Использование ЦЛ позволяет удалять цветные ореолы и восстанавливать контрастность и мелкие детали подверженного аберрации изначального изображения. ЦЛ может компенсировать все указанные выше типы аберраций, в т. ч. продольные хроматические и аберрации, вызывающие деградацию ФПМ (функции передачи модуляции) в оптических элементах НД.
[0070] Применение ЦЛ как виртуального элемента оптической системы в системе НД ВР схематически показано на фиг. 4, где НД (410) представлен компонентами оптической системы НД (40) - (47).
[0071] В приведенном примере смешанные данные (40) (т. е. изображение ВР и ДР) представлены либо одной компьютерной графикой (41) (например, для ВР) или сочетанием компьютерной графики (41) с изображением реального мира (43), сфотографированным камерой (42).
[0072] Результат процесса— определенное выше входящее изображение (44), по сути своей представляющее входные данные, направляемые в НД (410).
[0073] Затем вычислительным компонентом (45) (т. е. ЦЛ) выполняется цифровая коррекция аберраций, включенных во входящее изображение (44) до поступления изображения на обычную линзу НД (49).
[0074] В итоге после применения обычного объектива или оптической линзы (46) получается показываемое изображение (47), скорректированное для значительного улучшения входящего изображения (44) и не имеющее присущих последнему описанных выше аберраций.
[0075] Что важно, цифровой алгоритм ЦЛ (45) использует определенные «внешние» данные, в частности, данные об «оптическом профиле» (48) и данные окулографии (49) (например, положение зрачка).
[0076] Данные окулографии (47) поступают с системы окулографии, данные оптического профиля (46)— с НД (410).
[0077] В частности, данные оптического профиля (46) формируются профилированием оптической системы НД (410) без применения ЦЛ (45) (т. е. до фактического начала работы НД). Процесс формирования оптического профиля НД далее описан подробно (как Действие Г).
[0078] Описываемое изобретение предназначено для коррекции оптических аберраций, предпочтительно— в оптических системах, приспособленных для использования с НД, предпочтительно с использованием неслепой техники обратной свертки, подробно описанной далее. Термин «неслепая» используется здесь в том смысле, что функция рассеяния точки (ФРТ) заранее рассчитана и известна посредством формирования профиля интересуемой оптической системы. В общем случае под ФРТ понимается трехмерный отклик системы формирования изображения на наличие точечного объекта или точечного источника света. В функциональном отношении ФРТ— функция системы формирования изображения, отвечающая за пространственный перенос.
[0079] В частности, описываемый метод основывается на разделении вычислительной коррекции аберраций оптической системы на два следующих действия:
[0080] Действие I: формирование профиля оптической системы, содержащего данные о такой системе (например, основанной на НД). Данное действие предполагает получение информации о возможности оптимальной коррекции аберраций, внесенных оптической системой. Эта информация затем сохраняется как «оптический профиль» данной оптической системы. Обычно процесс формирования оптического профиля длителен и имеет итерационный характер. К счастью, для каждой конкретной оптической системы составление профиля достаточно выполнить один раз, например, при проектировании или производстве.
[0081] Действие II: коррекция аберраций оптической системы. Это действие предполагает непосредственное применение ЦЛ к данным (изображению), полученным оптической системой. ЦЛ включает информацию об оптическом профиле (полученную в ходе Действия I), а также данные окулографии (полученные системой окулографии). Полученное в итоге скорректированное изображение может использоваться далее средствами обработки сигнала изображения и показываться на экране, так же как если бы ЦЛ не применялась. Данное действие требует лишь однократного и относительно быстрого выполнения, что позволяет корректировать оптические аберрации изображения, например, с частотой поступления видеосигнала, как на существующих видеопроцессорах, так и на ограниченных по мощности мобильных устройствах.
[0082] Описанные отдельные Действия I и II могут быть оптимизированы для разных приложений формирования изображения, в т. ч. и для систем НД ВР и ДР, описываемых в настоящем изобретении. В предпочтительном варианте настоящего изобретения Действие I выполняется в выбранной оптической системе НД посредством помещения на место человеческого глаза высококачественного устройства фотографирования, позволяющего эффективно составлять профиль выбранной оптической системы. Впоследствии для любого изображения, полученного данной оптической системой, может выполняться действие II, предполагающее устранение аберраций, присущих такой несовершенной оптической системе.
[0083] Действие I в предпочтительном варианте изобретения включает два следующих основных этапа : Этап 1. Создание изображения (фотографирование) для формирования профиля, геометрическое и радиометрическое выравнивание. Этап 2. Создание оптического профиля оптической системы. Ниже эти два этапа описаны подробней.
[0084] Этап 1 (Действие I). Фотографирование для формирования профиля, геометрическое и радиометрическое выравнивание. Данный этап, подробно показанный на рис. 5, предполагает компьютерную генерацию серии таблиц, показываемых на НД. Затем эти таблицы снимаются на подлежащей профилированию оптической системе (также показанной как [44] на фиг. 4) в виде последовательности N изображений (51).
[0085] Данная последовательность изображений (51) включает информацию о параметрах оптической системы (т. е. метаданные о камере, используемой во время фотографирования)— о фокусном расстоянии, апертуре (диафрагме объектива), фокусной длине и т. п.
[0086] Несколько последовательностей (серия) таких сформированных компьютером таблиц записываются несколькими внешними оптическими системами (камерами), расположенными в разных точках, в которых может находиться человеческий глаз во время нормального использования НД. Такие точки (некоторый объем пространства, в котором может находиться зрачок относительно НД) называются «окуляром». Такие сформированные компьютером таблицы представляют собой данные об окуляре оптической системы, используемые при ее профилировании.
[0087] Такие данные включают информацию о характеристиках аберраций для разных положений глаза наблюдателя и фактически симулируют данные окулографии без наличия собственно наблюдателя. Эти данные могут зависеть от следующих параметров окуляра: положения глазного яблока, положения зрачка или направления взгляда. Все эти параметры регистрируются относительно положения оптической системы НД, т. е. окуляра.
[0088] Кроме того, как показано на фиг. 5, выполняются геометрическое и радиометрическое выравнивание (53) таблиц (51) из последовательности запечатленных изображений. С этой целью часть серии используемых для профилирования изображений из последовательности (51) и их запечатленные изображения (выходной сигнал [52]) используются для геометрического (т. е. по деталям пространства) и радиометрического (т. е. оценки нелинейной функции цветовых значений каждого изображения и применения ее для радиометрического выравнивания изображений таким образом, чтобы совпадали значения цветов для всех изображений последовательности) выравниваний.
[0089] Следует отметить, что сформированные компьютером таблицы (51) выравниваются относительно изображений таблиц, запечатленных самой профилируемой системой. Все такие изображения получаются с одинаковыми настройками камеры и при одинаковых условиях освещения, т. е. их выравнивание друг относительно друга не требуется.
[0090] Для описываемого геометрического и радиометрического выравнивания могут использоваться самые разные неоднократно описанные методики обработки изображений, позволяющие насколько возможно точнее выравнивать изображения по цветам и геометрическим параметрам.
[0091] На выходе процесса выравнивания (53) получается пара выровненных изображений (54), частью которых в предпочтительном варианте изобретения является подсерия изображений таблиц, геометрически и радиометрически выровненных относительно их сформированных компьютером вариантов. Как показано на фиг. 5, такая пара изображений включает т. и. «таблицы» и соответствующие им «выровненные» изображения.
[0092] Такие изображения (54) (т. е. таблицы вместе с их выровненными вариантами) далее используются для создания профиля оптической системы, в частности— для получения данных о возможности коррекции аберраций данной оптической системы.
[0093] Этап 2 (Действие I). Создание оптического профиля оптической системы. Полный процесс создания профиля (Действие I) оптической системы подробно показан на фиг. 6. Процесс начинается с пары входящих изображений— таблицы и выровненного изображения (61) (также см. [54] на фиг. 5), (опционально) разделенных на тайлы (62). Эти данные используются для коррекции дальнего поля (64), включающую собственно коррекцию дальнего поля изображения и извлечение функции рассеяния точки (ФРТ). На выходе процесса коррекции дальнего поля (64), в свою очередь, получаются два набора данных— коэффициенты ядер дальнего поля, сохраняемые в профиле оптической системы (63), и данные о пикселях, сохраняющие лишь аберрации ближнего поля.
[0094] Эти данные поступают на разделение низких частот (НЧ) и высоких частот (далее также - «ВЧ») (66). Выходной сигнал процесса (66) представляет собой входной сигнал для НС (69). Данные о пикселях, содержащие информацию о пространственных НЧ (НЧ часть), направляются в НС (69) напрямую, тогда как данные о пикселях, содержащие информацию о пространственных ВЧ (ВЧ часть), направляются в НС после обработки (68). В НС (69) также направляются координаты данных о пикселях (в плоскости изображения или в тайле), получаемые непосредственно с процесса (62) (или [61], если разделение на тайлы не выполняется).
[0095] Кроме того, для обучения НС (69) также требуются целевые данные о пикселях. Эти данные поступают с выровненного изображения, прошедшего фильтр НЧ (65) и обработку (67). Полученные после обучения НС весовые коэффициенты и смещения (691) также сохраняются в профиле оптической системы (63).
[0096] Как показано на фиг. 6, данные таблиц и выровненных по ним изображений (61) (или тайлов [62]) разделяются на две части по следующим частотам пространственных данных:
[0097] Одна часть (65) включает только высокие пространственные частоты (извлеченная из данных ВЧ часть), другая (66)— и НЧ и ВЧ части (содержание низких и высоких пространственных частот, извлеченное из данных). Для этого разделения может применяться любой из известных линейных фильтров, основанных на НЧ или ВЧ ядре. Важно отметить, что НЧ часть (66) обычно не подвержена аберрациям и поэтому может использоваться как есть, без обработки. В то же время ВЧ часть (65) должна быть соответственно обработана для получения улучшенного изображения. Как указывалось выше, и НЧ (66) и ВЧ (65) части по отдельности извлекаются для таблиц и выровненных по ним изображений (или тайлов, если используется указанный выше вариант разделения изображения на тайлы).
[0098] Как показано на фиг. 6, на данном этапе подготавливаются (обрабатываются [37]) предварительно полученные данные о пикселях из ВЧ части для использования в качестве входных (справочных) данных для обучения НС (69). Обычно НС (69) использует машинное обучение для оценки (или аппроксимирования) коэффициентов функций (691), зависящих от большого числа обычно неизвестных входных сигналов. В обработке изображений НС может использовать справочное (входное) изображение для предварительного самообучения. Этот процесс подробно описан в соответствующей литературе.
[0099] До запуска обучения НС могут использоваться различные известные методики исправления данных. Для повышения эффективности обучения НС, например для уменьшения погрешности, может использоваться исправление (67) данных (манипуляции с данными после обучения НС). Исправление (67) выполняется подобно (но не обязательно одинаково) предварительной подготовке (68), но в обратном порядке. Например, если динамический диапазон данных НС каким-то образом был уменьшен, выходные данные НС следует исправить, соответственно расширив динамический диапазон.
[00100] В предпочтительном варианте изобретения предварительная подготовка (68) и исправление (67) включают любое сочетание следующих операций.
[00101] Уменьшение динамического диапазона данных. Обычно НС работает оптимально, если вводимые в нее данные имеют ограниченный динамический диапазон. Известно множество способов уменьшить динамический диапазон данных, например, нормализация входных данных, суммирование значений пикселей на входе либо по максимальному значению пикселей на входе.
[00102] Приложение нелинейности к значению пикселей. Такая нелинейность позволяет повысить значимость пикселей, имеющих малые значения, тем самым указывая НС на необходимость получения более точных результатов для входных данных малой амплитуды. Это, в свою очередь, позволяет улучшить отношение «сигнал-шум» в изображении на выходе. Например, внесенная нелинейность может иметь форму АЛ(1 - альфа), где: А— значение пикселя, альфа— небольшая (обычно 0,02-0,2) константа.
[00103] По завершении обучения алгоритм НС (вместе с предварительной обработкой и исправлением данных) получает информацию (63) (т. е. профиль системы) о возможностях коррекции аберраций (например, расплывчатости) изображения таким образом, чтобы на выходе получалось максимально близкое к входящему изображение, т. е. не имеющее аберраций.
[00104] НС (69) обрабатывает данные попиксельно. Соответственно, для коррекции аберраций для конкретного пикселя обрабатывается некоторая соседняя с данным пикселем область (в пределах [62]). В предпочтительном варианте настоящего изобретения подготавливаются данные для входов и выходов НС, как подробно показано на фиг. 6.
[00105] В НС (69) заносятся данные о положении обработанного пикселя, что позволяет НС (69) адаптироваться к разным ФРТ на данном тайле. С этой целью координаты пикселя входящего изображения передаются на входы НС (63) с этапа разбиения изображения (61) на тайлы (62).
[00106] ВЧ часть (66) тайлов изображения (62) передается на входы НС (69) после описанной выше подготовки данных (68). ВЧ часть (66) извлекается с использованием пикселей в некотором соседстве от обрабатываемого (например, менее чем в девяти пикселях) на входящем изображении.
[00107] ВЧ часть (65) пикселей, обрабатываемых с клеток (62), также поступает на выходы НС (69) после описанной выше «подготовки данных» (67) и выступает как выходные данные НС.
[00108] Кроме того, на входы НС (69) также поступает НЧ часть (66) с клеток входящего изображения (62). Как описано выше, эта НЧ часть (66) извлекается с использованием пикселей в более удаленном соседстве от обрабатываемого пикселя (например, более чем в восьми пикселях) на входящем изображении.
[00109] После подготовки входных и выходных данных запускается обучение НС.
[00110] В предпочтительном варианте изобретения обучение выполняется с использованием известных обучающих алгоритмов, например, алгоритма Левенберга-Маркварда. Весовые коэффициенты обученной НС ([691] на фиг. 6) извлекаются и сохраняются в форме «профиля оптической системы» вместе с ядром, полученным на этапе коррекции дальнего поля (64). Весовые коэффициенты и ядро уникальны для каждого тайла, так что для каждого тайла существует собственный набор параметров.
[00111] Процесс коррекции дальнего поля изображения (64) и извлечения функции рассеяния точки (ФРТ) подробно показан на фиг. 7 и описан ниже. Таким образом, изображения (в поле обзора камеры, изначально показанные как [54] на фиг. 5) могут разделяться на меньшие части, называемые «тайлами» таблиц (72) и выровненных изображений (71). Разделение выполняется посредством действия, называемого «разделением на тайлы» (70).
[00112] По своей сути ФРТ крайне изменчива и зависит от размера, концентрации и распределения разных параметров по полю обзора оптической системы, наиболее важным из которых является положение глаза наблюдателя. Соответственно, как показано на фиг. 7, опциональные этапы (71) и (72) в общем случае выполняют для уменьшения диапазона форм ФРТ в поле обзора данной оптической системы. Вариативность (аберрации) ФРТ в пределах одного тайла остается, но становится меньше, что позволяет более эффективно ее компенсировать, в сравнении с оригиналами изображений (таблицами и выровненными изображениями).
[00113] Затем выполняется т. н. удаленная коррекция, описанная ниже и показанная на фиг. 7. Аппроксимация ФРТ (73) извлекается и разделяется на две части: часть ближнего поля (74), рассчитанная в пределах определенного числа соседних с обрабатываемым пикселей (например, в радиусе шести пикселей) и часть дальнего поля (76), ФРТ (и аберрации) которой извлекаются для пикселей, лежащих снаружи радиуса ближнего поля.
[00114] Указанный процесс извлечения аппроксимации ФРТ (73) из входных данных может выполняться одним из известных методов, см., например, Felix и др. Несмотря на то, что такой метод позволяет определять ФРТ с высокой точностью, он занимает много времени. Для уменьшения вычислительной нагрузки предпочтительно использовать более простой метод.
[00115] На фиг. 7 показано применение в предпочтительном варианте настоящего изобретения следующего подхода для (73): i) Двумерный фурье -образ тайла входящего изображения делится на двумерный фурье-образ соответствующего тайла выровненного изображения ii) Результат преобразуется обратно в двумерный инвертированный фурье-образ.
[00116] Этот метод широко известен специалистам. Следует отметить, что, во избежание переусиления шумовых компонентов при низкой амплитуде частотных компонентов выровненного изображения, к значениям таких компонентов следует добавлять защитный(ые) сдвиг(и).
[00117] Опционально, коррекция дальнего поля изображения с помощью ядра дальнего поля может выполняться во время применения ЦЛ. Расчет ядра дальнего поля (75) и свертка (77) позволяют получить изображение со скорректированными аберрациями и помутнениями в дальнем поле. Параметры выбранной коррекции дальнего поля, а именно коэффициенты ядра (75), полученные по результатам коррекции дальнего поля (76), регистрируются для применения в дальнейшем вместе с профилем оптической системы, как описано ниже.
[00118] В обработке изображений под ядром понимается матрица свертки (значительно меньше самого изображения), используемая для изменения изображения (например, повышения или снижения резкости, обнаружения краев и т. п.). Для этого выполняют свертку матрицы между указанным ядром и выбранным изображением.
[00119] Часть ФРТ соответствующая ближнему полю (74) не используется ввиду невозможности простого обращения, т. к. это приведет к значительному повышению шума в выходном изображении.
[00120] Существуют две причины, по которой выполняется разделение на ближнее (74) и дальнее (76) поля. Во-первых, коррекция дальнего поля не усиливает шум, позволяет избавиться от нежелательных артефактов и, следовательно, может выполняться сравнительно более простыми методами, требующими меньших вычислительных мощностей. Во-вторых, такая коррекция ближнего поля требует обработки лишь ограниченного объема входящих данных, что также снижает вычислительную нагрузку. Такое разделение выполняется арифметически. В простейшем случае все значения ФРТ в некотором радиусе принимаются ближним полем, все значения вне данного радиуса— дальним. На практике, однако, между двумя этими полями существует нечеткая переходная область.
[00121] Для получения части дальнего поля (76) частотные коэффициенты умножаются на окно, обладающее нулевой амплитудой для высоких частот, но достигающей определенного значения при низких. Понятным примером подобного окна будет двумерное гауссово распределение. Для получения части дальнего поля (76) в пространственной области выполняется обратное двумерное преобразование. Ввиду того, что коррекция дальнего поля не включает ВЧ пространственные компоненты, ее выполнение не вызывает усиление ВЧ шумовых компонентов. Таким образом, получение ядра дальнего поля (75)— простой процесс, выполняемый известными методами.
[00122] Используемый в предпочтительном варианте метод использует свертку входящего изображения при помощи полученной ФРТ дальнего поля с последующим вычитанием полученного результата из входящего изображения. Такой (сравнительно простой) подход эффективно корректирует помутнения и аберрации первого порядка, вызванные оптической системой.
[00123] Следует отметить, что при этом возможно появление т. н. вторичных аберраций вследствие наличия аберраций уже во входящем изображении, используемом при обработке. Однако вследствие того, что в типичных оптических системах эффекты дальнего поля отличаются низкой амплитудой, подобными вторичными эффектами указанной коррекции можно пренебречь.
[00124] После получения ядра дальнего поля (75) коэффициенты передаются на профиль оптической системы. Затем ядро подвергается свертке (77) с использованием данных о пикселях тайла, результатом чего являются дополнительные выходные данные для коррекции дальнего поля ([64]— [66] на фиг. 6 выше). Выходные данные— тайл, содержащий лишь оставшиеся аберрации ближнего поля (78).
[00125] На фиг. 8 показано, что используемый в НД обычный одиночный (пластиковый) элемент (82) (обычная линза или линза Френеля) приводит к высокой дисперсии оптической системы и, соответственно, сильным хроматическим аберрациям. Поперечные хроматические аберрации проявляются как разные цветовые каналы, попадающие в разные места сетчатки. На фиг. 8 показана зависимость таких поперечных хроматических аберраций от положения глаза пользователя, в частности при нахождении глаза (81) непосредственно на оптической оси (фиг. 8а) и вне оси в пределах окуляра (фиг. 86). Как показано на увеличенных видах (83), размер оптических аберраций (показаны как распространение оптических лучей до сетчатки) для этих двух случаев различается.
[00126] Для уменьшения аберраций для разных положений глаза используются данные окулографии, позволяющие предварительно корректировать показываемую информацию. Действие II в предпочтительном варианте изобретения предполагает получение в реальном времени данных окулографии и применение описанной выше ЦЛ к входящему изображению, как подробно описано здесь и показано на фиг. 9.
[00127] Данные окулографии— положение зрачка пользователя, регистрируемое системой окулографии. В предпочтительном варианте изобретения предусмотрена технология интеграции функции окулографии (с камерой или без нее) и отображения при помощи установленной прозрачной (видео- или оптически) оптики, расположенной рядом с глазом, устройства отображения гибридной реальности (см., например, патент США 8 998 414 [Bohn]). Как показано на фиг. 9, данные о положении зрачка/взгляде (993) используются (см. также [47] на рис. 4) в НС (990), и, опционально, для коррекции дальнего поля (95).
[00128] Ниже подробно описано применение ЦЛ. Как показано на фиг. 9, входными данными для обработки изображения являются собственно входящее изображение (92) и профиль оптической системы (96). Данные о пикселях оригинального изображения могут быть разбиты на тайлы (94). Опционально проводится коррекция дальнего поля (95) с использованием коэффициентов ядер, полученных с профиля оптической системы (96).
[00129] Затем данные о пикселях проходят разделение НЧ от ВЧ (97) и, разделенные, подаются на вход НС (990). Данные о пикселях, содержащие информацию о пространственных НЧ, направляются в НС (990) напрямую, тогда как данные о пикселях, содержащие информацию о пространственных ВЧ, направляются в НС после обработки (991). В НС (990) также направляются координаты пиксельных данных (в плоскости изображения или в тайле), получаемые непосредственно с процесса (94) (или [92], если разделение на тайлы не выполняется). Весовые коэффициенты и смещения НС (990) получаются для данного тайла из профиля оптической системы (96).
[00130] Как было описано, данные о положении зрачка или взгляда (993) используются в НС (990) в реальном времени, и, опционально, для коррекции дальнего поля (95).
[00131] Данные на выходе НС (990) проходят исправление (993) и суммируются (88) с выходным значением НЧ после фильтра разделения НЧ и ВЧ (97). Суммированный результат рекомбинируется (93) из отдельных тайлов (если разделение выполнялось), в результате образуя скорректированное выходное изображение (91).
[00132] Обработка любого входящего изображения (при условии, что по результатам действия I подготовлен оптический профиль системы [96]) выполняется подобно действию I (формирования оптического профиля системы), лишь с некоторыми изменениями в потоке данных.
[00133] На вход данного процесса (92) поступает входящее изображение, разбитое на тайлы (94) подобным образом, как и в Действии I, см. фиг. 6 и 7.
[00134] Затем опционально выполняется коррекция дальнего поля (95) подобным образом, как и в Действии I (также см. [76] на фиг. 7), с той лишь разницей, что ядро для коррекции дальнего поля уже известно и берется из профиля оптической системы (Действие I).
[00135] Затем данные изображения разделяются на ВЧ и НЧ части (97), подобно разделению на ВЧ и НЧ части в Действии I (см. [66] на фиг. 6). Затем ВЧ часть подвергается подготовке данных пикселей (991), также подобной предусмотренной для Действия I.
[00136] Результаты описанных действий (92), (94) и (95), а также оптический профиль системы (96) (полученный по результатам Действия I) составляют входящие данные для НС (990), подобные получаемым в ходе Действия I на этапе создания профиля системы— пиксельные координаты в обрабатываемой НЧ части и ВЧ части пикселей в определенном радиусе.
[00137] Последующая обработка выходных данных НС (990) в конечном итоге образует «совершенное» изображение (91) (посредством слияния тайлов [93]), отображаемое через оптическую систему НД без видимых наблюдателю скомпенсированных аберраций. В частности, выходное значение НС (990) проходит «исправление» (992), в предпочтительном варианте изобретения представляющее собой арифметическую инверсию предварительной подготовки данных (990). Этот результат суммируется действием (98), предполагающим обработку НЧ части (97) пикселей.
[00138] Наконец, все обработанные клетки (93) входящего изображения рекомбинируются для получения одного выходного изображения (91). В предпочтительном варианте настоящего изобретения в ходе действия (93) тайлы соединяются с перекрытием. В областях перекрытия результат обработки (93) мягко заглушается от тайла к тайлу, устраняя тем самым видимые швы в полученном изображении (91). Такие швы вызваны видимым отклонением от тайла к тайлу от скорректированного выходного значения.
[00139] Несмотря на то, что выше были представлены и описаны несколько вариантов изобретения, специалистам очевидно, что, не отклоняясь от существа и масштаба изобретения, возможно создать множество его модификаций и вариантов. Изобретение, таким образом, предполагается оценивать только по прилагаемой формуле.

Claims

Формула изобретения:
1. Наго ловный дисплей, состоящий из:
оптической системы;
смешанных данных, состоящих из данных, сгенерированных на компьютере или реальных изображений или их сочетания;
входящего изображения, получаемого оптической системой, формируемого указанными смешанными данными; оптических аберраций, включаемых в указанное входящее изображение указанной оптической системой;
системы окулографии;
цифровой линзы для коррекции оптических аберраций, состоящей из:
первого и второго действий для оптимальной коррекции оптических аберраций указанной оптической системы, где первое действие осуществляется перед вторым действием и предполагает:
сбор данных с окуляра;
создание профиля оптической системы, включающего данные с окуляра
где второе действие предполагает:
формирование системой окулографии данных окулографии;
формирование скорректированного изображения с устраненными указанными оптическими аберрациями посредством применения профиля оптической системы и данных окулографии;
формирование показываемого пользователю скорректированного изображения.
2. Система, описанная в пункте 1, первое действие которой далее предполагает:
извлечение функции рассеяния точки;
запуск обучения нейронной сети;
извлечение весовых коэффициентов нейронной сети из нейронной сети.
3. Система, описанная в пункте 1, второе действие которой далее предполагает:
запуск нейронной сети;
расчет выходного значения нейронной сети;
расчет исправленного значения нейронной сети на основании выходного значения нейронной сети; суммирование исправленного выходного значения нейронной сети с изначальной низкочастотной частью.
4. Система, описанная в пункте 1, профиль оптической системы которой представляет собой данные, содержащие весовые коэффициенты нейронной сети.
5. Система, описанная в пункте 1, оптическая система которой представляет собой систему с полупрозрачным зеркалом.
6. Система, описанная в пункте 1, оптическая система которой представляет собой призматическую систему.
7. Система, описанная в пункте 1, оптическая система которой представляет собой систему с волноводной передачей.
8. Система, описанная в пункте 1, оптическая система которой представляет собой систему со сканированием сетчатки.
9. Система, описанная в пункте 1, изображение которой формируется отдельно для каждого глаза пользователя.
10. Система, описанная в пункте 1, данные окулографии которой представляют собой трехмерные координаты зрачка глаза пользователя.
11. Система, описанная в пункте 1, данные окулографии которой включают фовеальную визуализацию.
12. Система, описанная в пункте 1, данные окулографии которой представляют собой данные о направлении взгляда пользователя.
13. Система, описанная в пункте 1, данные окулографии которой представляют собой трехмерные координаты глазного яблока пользователя.
14. Система, описанная в пункте 1, первое действие которой далее предполагает:
разделение функции рассеяния точки на две части— ближнее поле и дальнее поле;
расчет ядра дальнего поля для части дальнего поля;
формирование скорректированного изображения дальнего поля;
15. Способ удаления оптических аберраций для получения оптического изображения при помощи наголовного дисплея, состоящего из:
оптической системы;
смешанных данных, состоящих из данных, сгенерированных на компьютере, реальных изображений или их сочетания;
входящего изображения, получаемого оптической системой, формируемого указанными смешанными данными; оптических аберраций, включаемых в указанное входящее изображение указанной оптической системой;
системы окулографии;
цифровой линзы для коррекции оптических аберраций, состоящей из:
первого и второго действий для оптимальной коррекции оптических аберраций указанной оптической системы, где первое действие осуществляется перед вторым и предполагает:
сбор данных с окуляра;
создание профиля оптической системы, включающего данные с окуляра;
где второе действие предполагает:
формирование системой окулографии данных окулографии;
формирование скорректированного изображения с устраненными указанными оптическими аберрациями посредством применения профиля оптической системы и данных окулографии;
формирование показываемого пользователю скорректированного изображения.
16. Способ, описанный в пункте 15, первое действие которого далее предполагает:
извлечение функции рассеяния точки;
запуск обучения нейронной сети;
извлечение весовых коэффициентов нейронной сети из нейронной сети.
17. Способ, описанный в пункте 15, второе действие которого далее предполагает:
запуск нейронной сети;
расчет выходного значения нейронной сети;
расчет исправленного значения нейронной сети на основании выходного значения нейронной сети; суммирование исправленного выходного значения нейронной сети с изначальной низкочастотной частью.
18. Способ, описанный в пункте 15, профиль оптической системы которого представляет собой данные, содержащие весовые коэффициенты нейронной сети.
19. Способ, описанный в пункте 15, изображение которого формируется отдельно для каждого глаза пользователя.
20. Способ, описанный в пункте 15, обучение нейронной сети, в котором выполняется по обучающему алгоритму Левенберга-Марквардта.
PCT/IB2018/060631 2018-04-28 2018-12-27 Оптическая система гибридной реальности с цифровой коррекцией аберраций WO2019207350A1 (ru)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2021502427A JP7426118B2 (ja) 2018-04-28 2018-12-27 デジタル収差補正を有する複合現実光学システム
EP18916372.8A EP3789812A4 (en) 2018-04-28 2018-12-27 HYBRID REALITY OPTICAL SYSTEM WITH DIGITAL ABERRATION CORRECTION
CN201880092894.8A CN112055827A (zh) 2018-04-28 2018-12-27 具有数字校正像差的光学混合现实***
US16/981,022 US11372243B2 (en) 2018-04-28 2018-12-27 Optical hybrid reality system having digital correction of aberrations
KR1020207027223A KR20210005555A (ko) 2018-04-28 2018-12-27 디지털 가능하게 보정된 수차가 있는 혼합 현실 광학 시스템

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
RU2018116223 2018-04-28
RU2018116223A RU2679915C9 (ru) 2018-04-28 Оптическая система гибридной реальности с цифровой коррекцией аберраций

Publications (1)

Publication Number Publication Date
WO2019207350A1 true WO2019207350A1 (ru) 2019-10-31

Family

ID=65442831

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/IB2018/060631 WO2019207350A1 (ru) 2018-04-28 2018-12-27 Оптическая система гибридной реальности с цифровой коррекцией аберраций

Country Status (6)

Country Link
US (1) US11372243B2 (ru)
EP (1) EP3789812A4 (ru)
JP (1) JP7426118B2 (ru)
KR (1) KR20210005555A (ru)
CN (1) CN112055827A (ru)
WO (1) WO2019207350A1 (ru)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111246118A (zh) * 2020-04-27 2020-06-05 成都派沃特科技股份有限公司 Ar元素的显示方法、装置、设备及存储介质
US11287655B2 (en) * 2019-06-21 2022-03-29 Samsung Electronics Co.. Ltd. Holographic display apparatus and method for providing expanded viewing window
WO2022153759A1 (ja) * 2021-01-14 2022-07-21 ソニーグループ株式会社 画像表示装置および画像表示システム

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6725733B2 (ja) * 2018-07-31 2020-07-22 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置および電子機器
US11347056B2 (en) 2018-08-22 2022-05-31 Microsoft Technology Licensing, Llc Foveated color correction to improve color uniformity of head-mounted displays
US11768375B2 (en) * 2021-09-03 2023-09-26 Microsoft Technology Licensing, Llc Control of variable-focus lenses in a mixed-reality device for presbyopes
WO2024058436A1 (ko) * 2022-09-13 2024-03-21 삼성전자 주식회사 영상을 표시하는 전자 장치 및 이의 제어 방법
JP7442774B1 (ja) 2023-07-11 2024-03-05 国立大学法人富山大学 リハビリ支援システム

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6272392B1 (en) * 1998-12-04 2001-08-07 Advanced Micro Devices, Inc. Methodology for extracting effective lens aberrations using a neural network
US6529331B2 (en) 2001-04-20 2003-03-04 Johns Hopkins University Head mounted display with full field of view and high resolution
US6862373B2 (en) 1998-04-30 2005-03-01 Fuji Photo Film Co., Ltd. Image processing method and apparatus
WO2012018282A1 (ru) 2010-08-06 2012-02-09 Shmunk Dmitry Valerievich Способ суперразрешения изображений и нелинейный цифровой фильтр для его осуществления
US8120577B2 (en) 2005-10-28 2012-02-21 Tobii Technology Ab Eye tracker with visual feedback
US20140327604A1 (en) * 2008-10-14 2014-11-06 Canon Kabushiki Kaisha Image processing apparatus and image processing method
US8998414B2 (en) 2011-09-26 2015-04-07 Microsoft Technology Licensing, Llc Integrated eye tracking and display system
US9429772B1 (en) 2012-03-07 2016-08-30 Google Inc. Eyeglass frame with input and output functionality
US9658453B1 (en) 2013-04-29 2017-05-23 Google Inc. Head-mounted display including diffractive combiner to integrate a display and a sensor
WO2017108211A1 (en) 2015-12-24 2017-06-29 Starbreeze Ip Lux Ii S.À R.L. Virtual reality head mounted display
US20180084232A1 (en) * 2015-07-13 2018-03-22 Michael Belenkii Optical See-Through Head Worn Display

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5576548A (en) * 1995-06-05 1996-11-19 University Of South Florida Nuclear imaging enhancer
US6623346B2 (en) * 1999-12-23 2003-09-23 Georgia Tech Research Corporation Automated transfer of live objects to shackle line method and apparatus
JP2004233867A (ja) 2003-01-31 2004-08-19 Nikon Corp 画像表示装置
US20090002574A1 (en) * 2007-06-29 2009-01-01 Samsung Electronics Co., Ltd. Method and a system for optical design and an imaging device using an optical element with optical aberrations
US9137526B2 (en) * 2012-05-07 2015-09-15 Microsoft Technology Licensing, Llc Image enhancement via calibrated lens simulation
US9841537B2 (en) * 2012-07-02 2017-12-12 Nvidia Corporation Near-eye microlens array displays
CN104603673B (zh) * 2012-09-03 2017-03-15 Smi创新传感技术有限公司 头戴式***以及使用头戴式***计算和渲染数字图像流的方法
US10228562B2 (en) 2014-02-21 2019-03-12 Sony Interactive Entertainment Inc. Realtime lens aberration correction from eye tracking
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
WO2017151752A1 (en) * 2016-03-01 2017-09-08 Mirus Llc Augmented visualization during surgery
US10379356B2 (en) * 2016-04-07 2019-08-13 Facebook Technologies, Llc Accommodation based optical correction
US10373297B2 (en) * 2016-10-26 2019-08-06 Valve Corporation Using pupil location to correct optical lens distortion

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6862373B2 (en) 1998-04-30 2005-03-01 Fuji Photo Film Co., Ltd. Image processing method and apparatus
US6272392B1 (en) * 1998-12-04 2001-08-07 Advanced Micro Devices, Inc. Methodology for extracting effective lens aberrations using a neural network
US6529331B2 (en) 2001-04-20 2003-03-04 Johns Hopkins University Head mounted display with full field of view and high resolution
US8120577B2 (en) 2005-10-28 2012-02-21 Tobii Technology Ab Eye tracker with visual feedback
US20140327604A1 (en) * 2008-10-14 2014-11-06 Canon Kabushiki Kaisha Image processing apparatus and image processing method
WO2012018282A1 (ru) 2010-08-06 2012-02-09 Shmunk Dmitry Valerievich Способ суперразрешения изображений и нелинейный цифровой фильтр для его осуществления
US8998414B2 (en) 2011-09-26 2015-04-07 Microsoft Technology Licensing, Llc Integrated eye tracking and display system
US9429772B1 (en) 2012-03-07 2016-08-30 Google Inc. Eyeglass frame with input and output functionality
US9658453B1 (en) 2013-04-29 2017-05-23 Google Inc. Head-mounted display including diffractive combiner to integrate a display and a sensor
US20180084232A1 (en) * 2015-07-13 2018-03-22 Michael Belenkii Optical See-Through Head Worn Display
WO2017108211A1 (en) 2015-12-24 2017-06-29 Starbreeze Ip Lux Ii S.À R.L. Virtual reality head mounted display

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3789812A4

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11287655B2 (en) * 2019-06-21 2022-03-29 Samsung Electronics Co.. Ltd. Holographic display apparatus and method for providing expanded viewing window
CN111246118A (zh) * 2020-04-27 2020-06-05 成都派沃特科技股份有限公司 Ar元素的显示方法、装置、设备及存储介质
WO2022153759A1 (ja) * 2021-01-14 2022-07-21 ソニーグループ株式会社 画像表示装置および画像表示システム

Also Published As

Publication number Publication date
EP3789812A4 (en) 2022-02-09
JP2021526700A (ja) 2021-10-07
JP7426118B2 (ja) 2024-02-01
EP3789812A1 (en) 2021-03-10
RU2679915C1 (ru) 2019-02-14
KR20210005555A (ko) 2021-01-14
US20210018751A1 (en) 2021-01-21
CN112055827A (zh) 2020-12-08
US11372243B2 (en) 2022-06-28

Similar Documents

Publication Publication Date Title
WO2019207350A1 (ru) Оптическая система гибридной реальности с цифровой коррекцией аберраций
US9720238B2 (en) Method and apparatus for a dynamic “region of interest” in a display system
JP5341462B2 (ja) 収差補正方法、画像処理装置および画像処理システム
JP6023801B2 (ja) シミュレーション装置
TW201907204A (zh) 用以在外部場景與虛擬影像之間對位的方法與系統
CN107452031B (zh) 虚拟光线跟踪方法及光场动态重聚焦显示***
US10237544B2 (en) Open head mount display device and display method thereof
EP1158338A3 (en) Method for simulating an ocular optical system and apparatus therefor
CN105359024B (zh) 摄像装置和摄像方法
US20210118177A1 (en) Method and system for calibrating a plenoptic camera system
US20220301294A1 (en) Method and device for determining a refraction feature of an eye of a subject using an image-capture device
EP0756246B1 (en) Image processing device
Itoh et al. Vision enhancement: defocus correction via optical see-through head-mounted displays
Zhong et al. Reproducing reality with a high-dynamic-range multi-focal stereo display
Itoh et al. Gaussian light field: Estimation of viewpoint-dependent blur for optical see-through head-mounted displays
CN107924229A (zh) 一种虚拟现实设备中的图像处理方法和装置
JP2012513604A5 (ru)
JP4042356B2 (ja) 画像表示システムおよび画像表示システム用画像補正サービス方法
US9829721B2 (en) Method for determining a visual effect of an ophthalmic lens
RU2679915C9 (ru) Оптическая система гибридной реальности с цифровой коррекцией аберраций
US20160295183A1 (en) Image processing device and image display apparatus
WO2012049022A1 (en) Method and device for digital image processing
Acevedo et al. Real-time low vision simulation in mixed reality
CN117178221A (zh) 用于校准包括集成处方透镜的可佩戴平视显示器的方法和***
Hanisch et al. Better HST Point-Spread Functions: Phase Retrieval and Blind Deconvolution

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18916372

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018916372

Country of ref document: EP

Effective date: 20201130

ENP Entry into the national phase

Ref document number: 2021502427

Country of ref document: JP

Kind code of ref document: A