WO2009101957A1 - 画像表示装置 - Google Patents

画像表示装置 Download PDF

Info

Publication number
WO2009101957A1
WO2009101957A1 PCT/JP2009/052273 JP2009052273W WO2009101957A1 WO 2009101957 A1 WO2009101957 A1 WO 2009101957A1 JP 2009052273 W JP2009052273 W JP 2009052273W WO 2009101957 A1 WO2009101957 A1 WO 2009101957A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
light
display device
exit pupil
pupil
Prior art date
Application number
PCT/JP2009/052273
Other languages
English (en)
French (fr)
Inventor
Mitsuyoshi Watanabe
Original Assignee
Brother Kogyo Kabushiki Kaisha
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Brother Kogyo Kabushiki Kaisha filed Critical Brother Kogyo Kabushiki Kaisha
Publication of WO2009101957A1 publication Critical patent/WO2009101957A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0081Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. enlarging, the entrance or exit pupil
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02FOPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/1333Constructional arrangements; Manufacturing methods
    • G02F1/1347Arrangement of liquid crystal layers or cells in which the final condition of one light beam is achieved by the addition of the effects of two or more layers or cells
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/18Diffraction gratings

Definitions

  • the present invention relates to a technique for optically displaying an image, and more particularly to an improvement in a technique for moving an exit pupil of an image display apparatus.
  • image light representing an image to be displayed is projected directly onto the retina of the observer, thereby enabling the observer to observe the image as a virtual image.
  • image light representing an image to be displayed is projected directly onto the retina of the observer, thereby enabling the observer to observe the image as a virtual image.
  • planar light incident from the light source is simultaneously applied to each pixel using a spatial modulation element such as an LCD.
  • Spatial modulation thereby forming a planar image light, or a beam-shaped light incident from a light source and intensity-modulated for each pixel using a scanner
  • Japanese National Patent Publication No. 8-502372 discloses a conventional head-mounted display device as a device for optically displaying an image.
  • This head-mounted display device directly projects image light representing an image to be displayed on the retina, thereby enabling an observer to observe the image as a virtual image and a beam incident from a light source.
  • This conventional head-mounted display device further employs a technique for detecting the position of the pupil of the observer who wants to observe the display image and moving the exit pupil of the head-mounted display device according to the movement of the pupil. Yes.
  • the present inventor has proposed and studied a technique using a diffraction grating and a deflection mirror, which are examples of optical elements, in order to move the exit pupil of the image display device.
  • a diffraction grating and a deflection mirror which are examples of optical elements
  • the image quality may be deteriorated due to the movement of the exit pupil.
  • the present invention provides an image display device capable of moving the exit pupil and having a function of suppressing deterioration in image quality due to the movement of the exit pupil. It was made as an issue.
  • each section in the form of quoting the numbers of the other sections does not necessarily prevent the technical features described in each section from being separated from the technical features described in the other sections. It should not be construed as meaning, but it should be construed that the technical features described in each section can be appropriately made independent depending on the nature.
  • An image display device for optically displaying an image, A light source unit; An image light forming unit that forms the image light by converting the light emitted from the light source unit into image light representing an image to be displayed to the observer; An exit pupil control unit that controls the position of the exit pupil of the image display device, The exit pupil control unit An optical element disposed in the path of the image light traveling in the image display device; Exit pupil control means for controlling the position of the exit pupil by controlling the optical element, The image light forming unit is configured to control a control amount of the optical element or a physical quantity related to the control amount so that a change in a geometric characteristic of an image recognized by an observer due to the control of the optical element is canceled out.
  • the image display device includes a conversion characteristic correction unit that corrects a conversion characteristic in which the image light forming unit converts light emitted from the light source unit into the image light.
  • the conversion characteristic that the image light forming unit converts the light emitted from the light source unit into image light is corrected so as to be canceled out partially or partially.
  • this image display device the change in the geometric characteristics of the image recognized by the observer due to the movement of the exit pupil is suppressed, and as a result, the image quality is deteriorated due to the movement of the exit pupil. Is suppressed.
  • the position of the image that is actually recognized by the observer is more likely to be maintained at a normal position regardless of whether or not the exit pupil has moved.
  • the position of the display image is stabilized regardless of whether the exit pupil moves during display.
  • the scale of the image actually recognized by the observer is maintained at a normal scale regardless of whether or not the exit pupil is moved.
  • the size of the display image is stabilized regardless of whether or not the exit pupil moves during display.
  • the optical element includes an electric control element that diffracts the image light incident from the image light forming unit and that has an electrically variable angle of the diffracted light (1) to (3).
  • the image display device according to any one of the items.
  • the electrical control element includes a liquid crystal optical device,
  • the liquid crystal optical device is configured to include a plurality of electrodes each having a stripe shape and a liquid crystal layer having a surface on which the plurality of electrodes are formed, and the liquid crystal optical device is applied to each of the plurality of electrodes simultaneously.
  • optical element includes at least one of an electro-optic effect deflector EOD and an acousto-optic deflector AOD.
  • the image display device has an intermediate image plane in the middle of the path of the image light, The image display device according to any one of (1) to (6), wherein the optical element is disposed at a position substantially equal to a position of the intermediate image plane.
  • the image display device has an intermediate image plane in the middle of the path of the image light, The image display device according to any one of (1) to (6), wherein the optical element is disposed at a position deviated from the position of the intermediate image plane.
  • this image display device light having a larger cross-sectional area is incident on the optical element than when the optical element is arranged at a position generally equal to the position of the intermediate image plane.
  • the optical element is a diffraction grating
  • the advantage of not being noticeable is obtained.
  • the image light forming unit includes a flat panel display that forms the image light by performing spatial modulation on the planar light incident from the light source unit for each pixel based on an image signal.
  • the flat panel display converts the light emitted from the light source unit into the image light according to the image signal,
  • the conversion characteristic depends on the image signal.
  • the image display device according to any one of (1) to (8), wherein the conversion characteristic correction unit corrects the image signal based on a control amount of the optical element or a physical quantity related thereto.
  • the image signal to be supplied to the flat panel display is corrected, whereby the geometric characteristics of the image recognized by the observer due to the movement of the exit pupil (for example, the image Of the image quality due to movement of the exit pupil is suppressed.
  • the optical element includes a deflection mirror whose angle with respect to incident light is variable
  • the exit pupil control means controls the position of the exit pupil so as to follow the change in the pupil position of the observer by changing the angle of the deflecting mirror with respect to the incident light
  • the image display apparatus according to (1), wherein the conversion characteristic correcting unit corrects the conversion characteristic based on an angle of the deflecting mirror with respect to incident light or a physical quantity related to the angle.
  • the light source unit generates beam-like light that realizes luminance for each pixel of the image to be displayed to the observer based on the image signal
  • the image light forming unit includes an optical scanner that forms the image light by two-dimensionally scanning the beam-shaped light incident from the light source unit using at least one oscillating mirror,
  • the conversion characteristic depends on the image signal
  • the image display device according to any one of (1) to (8), wherein the conversion characteristic correction unit corrects the image signal based on a control amount of the optical element or a physical quantity related thereto.
  • the image signal to be supplied to the light source unit that emits light to the optical scanner is corrected, so that the geometry of the image recognized by the observer due to the movement of the exit pupil.
  • the possibility that the target characteristic (for example, the position and size of the image) changes is reduced, and as a result, the deterioration of the image quality due to the movement of the exit pupil is suppressed.
  • the image light forming unit forms the image light by two-dimensionally scanning the beam-shaped light incident from the light source unit using at least one oscillating mirror.
  • the conversion characteristic depends on the maximum swing angle of the swing mirror,
  • the image display device according to any one of (1) to (8), wherein the conversion characteristic correction unit corrects a maximum swing angle of the swing mirror based on a control amount of the optical element or a physical amount related thereto. .
  • this image display device by correcting the maximum swing angle of the swing mirror in the optical scanner, the geometric characteristics of the image recognized by the observer due to the movement of the exit pupil (for example, The possibility that the image size will change is reduced, and as a result, deterioration of image quality due to movement of the exit pupil is suppressed.
  • the exit pupil control means controls the optical element to move the exit pupil so as to follow the movement of the observer's pupil based on an output signal from the pupil position detection unit (1) to ( The image display device according to any one of 13).
  • the exit pupil is automatically moved so as to follow the movement of the observer's pupil.
  • the exit pupil control means moves the position of the exit pupil to a position corresponding to the input signal by controlling the optical element in accordance with an input signal representing a command from the user.
  • the image display device according to any one of (1) to (13), which is controlled.
  • the user can move the position of the exit pupil to an arbitrary position.
  • the user can manually move the exit pupil so as to follow the movement of the observer's pupil.
  • the conversion characteristic correction unit determines an enlargement / reduction ratio of the image in the swing direction of the swing mirror based on a control amount of the optical element or a physical quantity related thereto.
  • Image display device
  • FIG. 1 conceptually shows an optical path diagram of the head mounted display device 10 according to the first embodiment of the present invention.
  • the head mounted display device 10 is an image display device of a type that is used by being mounted on the head of an observer (not shown).
  • the head-mounted display device 10 spatially modulates planar light incident from a light source at the same time for each pixel using a spatial modulation element, and an image formed in this manner. Light is projected directly onto the viewer's retina via the viewer's pupil, thereby allowing the viewer to view the image as a virtual image.
  • the head-mounted display device 10 includes a light source unit 12, an image light forming unit 14, a relay optical system 16, an exit pupil control unit 18, a pupil position detection unit 20, and an eyepiece optical system 22.
  • a light source unit 12 an image light forming unit 14
  • a relay optical system 16 an exit pupil control unit 18, a pupil position detection unit 20, and an eyepiece optical system 22.
  • An exit pupil control unit 18 a pupil position detection unit 20
  • an eyepiece optical system 22 is arranged in series with each other in that order. A collection of these elements is prepared for each of the observer's right eye and left eye, and image light is incident on any eye of the observer.
  • the light source unit 12 is configured to include a white LED 30 as a light source and a field lens 32 into which white light from the white LED 30 is incident.
  • the white LED 30 is driven by the LED driver 34, and thereby emits white light.
  • the image light forming unit 14 is configured to include an LCD (liquid crystal display) 40 as a flat panel display (an example of a spatial modulation element).
  • the LCD 40 includes a color filter (RGB filter) that separates the white light from the collimating lens 32 into three color component lights (RGB) for each pixel, and a liquid crystal panel that controls the transmittance of each component light. It is configured as follows.
  • the liquid crystal panel has a plurality of pixels, and controls the transmittance of each component light for each pixel.
  • LCD 40 Some examples of LCD 40 are disclosed in Japanese Patent Application Laid-Open No. 11-194313, which is incorporated herein by reference in its entirety.
  • the LCD 40 is driven by the LCD driver 42, thereby applying spatial modulation to the white light emitted from the white LED 30.
  • the image light forming unit 14 is mainly composed of a flat panel display, but is not limited to this, and can be composed mainly of an optical scanner, for example.
  • the head mounted display device 10 is also referred to as a retinal scanning display device.
  • the LCD 40 is used as an example of a flat panel display.
  • the present invention is not limited to this, and for example, organic electroluminescence or a digital micromirror device can be used.
  • the relay optical system 16 is configured to include a front relay lens 60 and a rear relay lens 62.
  • the exit pupil control unit 18 is provided to control the exit pupil position of the head mounted display device 10 so as to follow the change in the pupil position of the observer.
  • the exit pupil control unit 18 is mainly configured by a liquid crystal optical device 70 which is an example of an electrical control element.
  • this liquid crystal optical device 70 is offset by a distance d from the intermediate image plane located between the relay optical system 16 and the eyepiece optical system 22 (in this embodiment, the eyepiece optical system 22). (Close position). The effect of the offset arrangement will be described in detail later.
  • the liquid crystal optical device 70 functions as a diffraction grating whose diffraction angle is electrically variable. Further, the liquid crystal optical device 70 functions as a transmissive diffraction grating, but is not limited thereto, and a liquid crystal optical device that functions as a reflective diffraction grating can be employed.
  • the liquid crystal optical device 70 is designed to perform two-dimensional diffraction, but is not limited to this, and can be designed to perform one-dimensional diffraction. As shown in a sectional view in FIG. 2, the liquid crystal optical device 70 includes a first portion 72 for diffracting incident light in the X direction, that is, the horizontal direction, and a first portion 72 for diffracting incident light in the Y direction, that is, the vertical direction. The two portions 74 are laminated and integrated with each other via a common transparent glass substrate.
  • the first portion 72 is configured by laminating a transparent glass substrate 80 and a liquid crystal layer 82.
  • a plurality of striped electrodes 84 are formed so as to extend in parallel with each other.
  • the plurality of electrodes 84 are a plurality of transparent electrodes arranged in the X direction.
  • FIG. 3 shows the plurality of electrodes 84 in a front view.
  • a ground electrode 86 common to the plurality of electrodes 84 is formed on the back surface of the liquid crystal layer 82.
  • the ground electrode 86 is also a transparent electrode.
  • a voltage is applied between a selected one of the plurality of electrodes 84 and the ground electrode 86, whereby an electric field corresponding to the position of the selected electrode 84 is generated in the liquid crystal.
  • Applied to layer 82 the liquid crystal molecules in the liquid crystal layer 82 are tilted, whereby the refractive index of the liquid crystal layer 82 changes.
  • mode 1, mode 2 and mode 3 are prepared as a distribution pattern of voltage values applied to the plurality of electrodes 84.
  • mode 1 When mode 1 is adopted, no voltage is applied to any electrode 84 as shown in FIG. This is shown graphically in FIG.
  • the first portion 72 transmits the incident light from the relay optical system 16 as it is as the 0th-order light.
  • the first portion 72 when mode 3 is selected, as shown in FIG. 3C, a voltage is applied to the electrodes 84 every other line. This is shown graphically in FIG. As a result, as shown in FIG. 3C, the first portion 72 generates two diffracted lights, that is, a + 1st order light and a ⁇ 1st order light from the incident light from the relay optical system 16. The angle (deflection angle or diffraction angle) at which these primary lights exit from the first portion 72 is larger than the angle in mode 2.
  • the exit pupil moves as shown by the optical path diagram in FIG. Specifically, when mode 1 is selected, light is emitted from the liquid crystal optical device 70 along an optical path indicated by a dotted line in FIG. 5, and as a result, the exit pupil is at a neutral position P1 on the optical axis. Is located.
  • the liquid crystal optical device 70 emits the + 1st order light and the ⁇ 1st order light in the mode 2 or 3, but FIG. 5 shows the + 1st order light and the ⁇ 1st order light for the sake of simplicity. Of these, only the diffracted light that forms the exit pupil that will enter the pupil is shown.
  • the angle of the diffracted light emitted from the first portion 72 changes discretely. Therefore, the position of the exit pupil of the head mounted display device 10 is also changed discretely (that is, discontinuously or stepwise).
  • the second portion 74 is configured by laminating a transparent glass substrate 90 and a liquid crystal layer 92 in the same manner as the first portion 72.
  • a plurality of stripe-shaped electrodes 94 are formed so as to extend in parallel with each other.
  • Each of the plurality of electrodes 94 is a transparent electrode that extends at right angles to the plurality of electrodes 84 in the first portion 72.
  • the plurality of electrodes 94 are arranged in the Y direction.
  • a ground electrode 96 common to the plurality of electrodes 94 is formed on the back surface of the liquid crystal layer 92.
  • the ground electrode 96 is also a transparent electrode.
  • the operation of the second portion 74, the type of mode prepared for the operation, and the relationship between the mode and the diffraction angle are the same as those in the case of the first portion 72, and thus redundant description is omitted.
  • the liquid crystal optical device 70 is driven by a liquid crystal optical device driver 72.
  • the liquid crystal optical device 70 is selected as the optical element used to move the exit pupil, but the present invention is not limited to this.
  • an electro-optic effect deflector EOD is used. It is possible to select an acousto-optic deflector AOD.
  • the grating light valve GLV includes, for example, a fixed grating having a ribbon-like reflecting surface, and a movable grating having a ribbon-like reflecting surface and movable with respect to the fixed grating according to an electric signal. It is comprised so that it may contain.
  • grating light valve GLV Some examples of the grating light valve GLV are disclosed in Japanese Patent Application Laid-Open No. 2003-341128, which is incorporated herein by reference in its entirety.
  • the above-described optical element it is possible to select a diffractive element that is made of a material that extends electrically in the direction of the diffraction pitch, and thereby the diffraction pitch is electrically variable.
  • a pupil position detector 20 is arranged immediately downstream of the exit pupil controller 18 described above.
  • the exit pupil control unit 18 moves the exit pupil of the head mounted display device 10 so as to follow the change in the pupil position for each eye of the observer based on the pupil position detected by the pupil position detection unit 20.
  • the pupil position detection unit 20 includes a half mirror 100 that extracts reflected light from the eyes of the observer as a device used to acquire information useful for detecting the pupil position of the eyes of the observer. .
  • the pupil position detection unit 20 further includes a pupil position detection circuit 102 that optically detects the pupil position based on the incident light from the half mirror 100.
  • the half mirror 100 transmits incident light from the liquid crystal optical device 70 toward the eyepiece optical system 22, while reflecting light from the eye of the observer, and converts incident light from the eyepiece optical system 22 into the pupil position. It is designed to reflect toward the light receiving part (not shown) of the detection circuit 102.
  • the pupil position detection circuit 102 determines the relative position of the pupil position (for example, the center position of the pupil) with respect to the exit pupil (exit pupil at the neutral position) on the optical axis of the head mounted display device 10 in the horizontal direction (X direction). ) And the vertical direction (Y direction).
  • the pupil position detection circuit 102 is mainly composed of a CCD camera, for example. Accordingly, the pupil position detection circuit 102 outputs a signal representing the horizontal position X of the pupil and a signal representing the vertical position Y of the pupil.
  • the eyepiece optical system 22 is configured to include an eyepiece lens 110 and a half mirror 112 as a light guide that guides image light from the eyepiece lens 110 to the pupil of the user.
  • the head-mounted display device 10 is a see-through type capable of observing a display image superimposed on the actual outside world.
  • FIG. 6 conceptually shows an electrical part of the head mounted display device 10 in a block diagram.
  • the head mounted display device 10 includes a signal processing device 120.
  • the signal processing device 120 is configured to include a computer 122, a memory unit 124, an input / output interface 126, and a clock oscillator 128.
  • the aforementioned LED driver 32, LCD driver 42, pupil position detection circuit 102, and liquid crystal optical device driver 72 are electrically connected to the input interface 126.
  • the signal processing device 120 generally generates a signal necessary for displaying the content based on data representing the content input from the outside, and based on the signal, the LED
  • the white LED 30 is controlled via the driver 34 and the LCD 40 is controlled via the LCD driver 42.
  • an image position signal is input to the LCD driver 42 in addition to an image signal representing a color and luminance to be realized for each pixel.
  • the image position signal is input to the LCD driver 42 in order to displace the display position of the image for the observer in the horizontal direction and the vertical direction from the default position. Therefore, the image position signal is generated so as to have a component representing the horizontal movement amount from the default position and a component representing the vertical movement amount of the display image.
  • R luminance signal is expressed by R luminance signal, G luminance signal and B luminance signal.
  • the computer 122 stores the R luminance signal, the G luminance signal, and the B luminance signal in the R / G / B buffer 130.
  • the computer 122 generates an R image signal, a G image signal, and a B image signal for controlling the LCD 40 from the R luminance signal, the G luminance signal, and the B luminance signal for each frame, and sends the image signals to the LCD driver 42. Supply.
  • an image display program, a pupil tracking program, and an image position correction program are stored in advance in a nonvolatile manner.
  • the image display program is executed by the computer 122 to generate an image signal based on the luminance signal representing the content and supply it to the LCD driver 42, thereby displaying the target image. Since this image display program is executed by a well-known procedure, the description by text and illustration is omitted.
  • the pupil tracking program moves the exit pupil of the head-mounted display device 10 so as to follow the change of the pupil position based on the signal from the pupil position detection circuit 102 and representing the pupil position. Executed by the computer 122. That is, the pupil tracking program is executed by the computer 122 so that the exit pupil tracks the pupil position.
  • FIG. 8 conceptually shows the pupil tracking program in a flowchart.
  • the pupil tracking program is automatically executed periodically after the power (not shown) of the head mounted display device 10 is turned on by the user, or is executed in response to a request from the user.
  • step S1 the horizontal position X of the pupil is detected based on the signal from the pupil position detection circuit 102.
  • step S2 the signal from the pupil position detection circuit 102 is detected. Based on this, the vertical position Y of the pupil is detected.
  • step S3 an appropriate mode is selected based on the detected horizontal position X so that the exit pupil tracks the pupil position in the horizontal direction among the modes 1 to 3 described above.
  • step S4 an appropriate mode is selected for tracking the pupil position in the vertical direction among the above-described modes 1 to 3 based on the detected horizontal position Y.
  • the mode selection for horizontal tracking and the mode selection for vertical tracking are performed according to a common algorithm.
  • the algorithm will be described in detail with reference to FIG.
  • the positions of a plurality of exit pupils that can be adopted by the head mounted display device 10 are indicated by five circles arranged in a horizontal row for each mode. Further, for each mode, the pupil is indicated by a circle larger than the circle representing the exit pupil. In fact, the pupil is larger than the exit pupil.
  • the liquid crystal optical device 70 when mode 1 is selected, the liquid crystal optical device 70 generates 0th order light, and when mode 2 is selected, the liquid crystal optical device 70 is changed to + first order light.
  • the liquid crystal optical device 70 causes the + 1st order light and ⁇ 1st order light to be generated under a large deflection angle. generate.
  • the voltage is applied among the plurality of electrodes 84 and 94.
  • the plurality of electrodes 84 and 94 arranged at a constant pitch with one isolated electrode as a repeating unit (see FIG. 3C). ), Or a plurality of electrodes 84 and 94 (see FIG. 3B) arranged at a constant pitch with a set of adjacent electrodes as a repeating unit.
  • the smaller the pitch in which a plurality of repeating units are arranged the larger the deflection angle of the diffracted light.
  • the liquid crystal optical device 70 is configured so that the movement amount of the exit pupil is substantially equal between the case where the mode is changed from mode 1 to mode 2 and the case where the mode is changed from mode 2 to mode 3.
  • the configuration and its control method are preset. Furthermore, if the average diameter of the pupil is represented by A and the diameter of the exit pupil is represented by B, the exit is the same regardless of whether the mode 1 is changed to the mode 2 or the mode 2 is changed to the mode 3.
  • the configuration of the liquid crystal optical device 70 and its control method are set in advance so that the pupil moves by a distance substantially equal to (AB).
  • the position of the exit pupil is changed discretely instead of continuously.
  • a condition that only one exit pupil exists in the pupil when the pupil position changes, (1) a condition that only one exit pupil exists in the pupil, and (2) a condition that one exit pupil exists entirely in the pupil. Any one of a plurality of exit pupils that can be taken discretely is selected so that.
  • the mode 3 is selected, and as a result, the + 1st order having a large deflection angle An exit pupil of light or ⁇ 1st order light is made to exist in the pupil.
  • mode 2 or mode 3 when mode 2 or mode 3 is selected instead of mode 1, two diffracted lights are generated. Of these, only one diffracted light contributes to the formation of the exit pupil existing in the pupil. Therefore, unlike when mode 1 is selected, when mode 2 or mode 3 is selected, the output of the emitted light from light source unit 12 is increased or decreased in order to maintain the brightness of the display image. It is necessary to take output correction measures such as. That is, it is necessary to prevent the amount of light incident on the pupil from fluctuating by changing the output of the emitted light from the light source unit 12 in accordance with the movement of the exit pupil, that is, the mode change.
  • the voltage values monotonously increase for each of the plurality of electrodes 82 and 92 in the liquid crystal optical device 70 as shown by mode 4 in FIG.
  • the liquid crystal optical device 70 functions as a blazed grating.
  • the diffracted light emitted to the positive side and the diffracted light emitted to the negative side with respect to the optical axis of the liquid crystal optical device 70 are predetermined.
  • the power of the other diffracted light is greater than the power of the other diffracted light.
  • the device 70 is applied in a voltage value distribution pattern for functioning as a blazed grating.
  • step S3 a mode to be adopted for horizontal tracking is selected based on the horizontal position X of the pupil in accordance with the mode selection algorithm described above. Thereafter, in step S4, a mode to be adopted for vertical tracking is selected based on the vertical position Y of the pupil according to the mode selection algorithm described above.
  • step S5 voltages are applied to the plurality of electrodes 84 in the first portion 72 of the liquid crystal optical device 70, that is, the portion for moving the exit pupil in the horizontal direction, and the voltages corresponding to the mode selected in step S3. Applied in a distribution pattern. Thus, the position of the exit pupil in the horizontal direction is brought close to or coincident with the current horizontal position of the pupil.
  • step S6 voltages are applied to the plurality of electrodes 94 in the second portion 74 of the liquid crystal optical device 70, that is, the portion for moving the exit pupil in the vertical direction, and the voltage distribution corresponding to the mode selected in step S4. Applied in a pattern. As a result, the vertical position of the exit pupil approaches or coincides with the current vertical position of the pupil.
  • FIG. 11 conceptually shows a flowchart of the above-described image position correction program.
  • the liquid crystal optical device 70 is offset by a distance d from the intermediate image plane located between the relay optical system 16 and the eyepiece optical system 22 (in this embodiment, , A position near the eyepiece optical system 22).
  • FIG. 12 (a) shows that the liquid crystal optical device 70 emits 0th-order light in mode 1, and as a result, the exit pupil is located at the neutral position P1.
  • the laser beam incident on the liquid crystal optical device 70 at each moment is considered to be a bundle of a plurality of light beams passing through different points.
  • “A” indicates one vertical line passing through the intersection point O between the optical axis of the laser beam (center ray) incident on the liquid crystal optical device 70 and the intermediate image plane, and among the plurality of rays. It means the intersection with the center line of the uppermost one.
  • “B” means the intersection of the one vertical line and the center line of the lowermost one of the plurality of configurations.
  • the position defined by A, O, and B is projected as a virtual image behind the liquid crystal optical device 70, and the positional relationship is equal to the positional relationship of the display image for the observer.
  • the liquid crystal optical device 70 emits primary light in mode 2 or 3, and as a result, the exit pupil is located at a position P2 that is offset from the neutral position P1 by a distance a. It is shown.
  • the liquid crystal optical device 70 emits the + 1st order light and the ⁇ 1st order light in the mode 2 or 3.
  • FIG. 12B shows the + 1st order light and the ⁇ 1st order light for the sake of simplicity. Of the light, only the diffracted light that forms the exit pupil that will enter the pupil is shown.
  • the liquid crystal optical device 70 is disposed at a position offset by a distance d from the intermediate image plane located between the relay optical system 16 and the eyepiece optical system 22.
  • the position of the virtual image formed behind the device 70 is defined by A ′ offset upward from A, O ′ offset upward from O, and B ′ offset upward from B.
  • FIGS. 13A and 13B show images (virtual images) observed by the observer in the mode 1 shown in FIG. 12A and the mode 2 or 3 shown in FIG. 12B, respectively. An example is shown.
  • mode 2 or 3 When mode 2 or 3 is selected, the observer observes the image so as to move upward when mode 1 is selected. Since such movement is unscheduled, it is necessary to eliminate or reduce it in order to enable the observer to observe the image stably.
  • the amount that the image moves unscheduled depends on the amount of movement of the exit pupil. Therefore, if the amount of movement of the exit pupil is determined, the amount by which the image moves unscheduled is uniquely determined. As a result, the amount by which the display image should be moved to cancel the unscheduled amount of movement is also uniquely determined.
  • This image position correction program is repeatedly executed periodically while the power of the head mounted display device 10 is turned on.
  • step S101 the horizontal movement amount of the exit pupil is obtained from the type of horizontal tracking mode selected by the execution of step S3 shown in FIG.
  • the relationship between the mode type and the horizontal movement amount of the exit pupil is stored in the memory 124 in advance, and the current value of the horizontal movement amount of the exit pupil is obtained from the current mode type according to the relationship.
  • step S102 in accordance with step S101, the vertical movement amount of the exit pupil is obtained from the type of vertical tracking mode selected by executing step S4 shown in FIG.
  • the relationship between the mode type and the vertical movement amount of the exit pupil is stored in the memory 124 in advance, and the current value of the vertical movement amount of the exit pupil is obtained from the current mode type according to the relationship.
  • the horizontal correction amount of the image position is determined to have a value for canceling the horizontal movement amount of the image position, which is uniquely determined according to the horizontal movement amount of the exit pupil.
  • the relationship between the horizontal movement amount of the exit pupil and the horizontal movement amount of the image position is stored in the memory 124 in advance, and the horizontal direction of the image position is determined from the current value of the horizontal movement amount of the exit pupil according to the relationship. The current value of the movement amount is obtained, and thus the current value of the horizontal correction amount of the image position is obtained.
  • step S104 in accordance with step S103, the vertical correction amount of the image position has a value for canceling out the vertical movement amount of the image position, which is uniquely determined according to the vertical movement amount of the exit pupil.
  • Asking The relationship between the vertical movement amount of the exit pupil and the vertical movement amount of the image position is stored in advance in the memory unit 124, and the vertical direction of the image position is determined from the current value of the vertical movement amount of the exit pupil according to the relationship. The current value of the movement amount is obtained, and thus the current value of the vertical correction amount of the image position is obtained.
  • step S105 the aforementioned image position signal is generated so as to represent the horizontal direction correction amount and the vertical direction correction amount of the image position obtained as described above. Thereafter, the generated image position signal is output to the LCD driver 42 in step S106.
  • the observer regardless of whether or not the exit pupil moves, the observer can observe the image at a stable position, and as a result, the display quality of the image by the head mounted display device 10 is improved. improves.
  • the liquid crystal optical device 70 and the portion of the signal processing device 120 that executes the pupil tracking program shown in FIG. Configure the example of the “exit pupil control unit” in the item (1), the liquid crystal optical device 70 configures an example of the “optical element” in the item, and execute the pupil tracking program shown in FIG.
  • the portion to be configured constitutes an example of the “exit pupil control unit” in the same term, and the part that executes the image position correction program shown in FIG. 11 in the signal processing device 120 is an example of the “conversion characteristic correction unit” in the same term. It is possible to think that it constitutes.
  • the combination of the image signal and the image position signal supplied to the LCD driver 42 constitutes an example of the “image signal” in the above item (9), and the horizontal level of the exit pupil. It can be considered that the combination of the direction movement amount and the vertical direction movement amount constitutes an example of “physical quantity related to the control amount of the optical element” in the same term.
  • the exit pupil is automatically moved so as to follow the movement of the pupil, but the liquid crystal optical device 70 so that the exit pupil is moved to a position according to a command from the user. It is possible to implement the present invention in such a manner that is electrically controlled.
  • FIG. 14 conceptually shows an optical path diagram of the head mounted display device 150 according to the second embodiment of the present invention.
  • the head-mounted display device 150 is generally a beam-shaped light incident from a light source, which is intensity-modulated for each pixel, and converted into a planar image light using a scanner.
  • the image light thus formed is projected directly onto the viewer's retina via the viewer's pupil, thereby allowing the viewer to view the image as a virtual image. .
  • the head mounted display device 150 includes a light source unit 152 and an image light forming unit 154 as elements different from those in the first embodiment, while an exit pupil control unit 18 and pupil position detection.
  • the unit 20 and the eyepiece optical system 22 are provided as elements common to the first embodiment.
  • the light source unit 152 includes a laser 160 that emits a red laser beam, a laser 162 that emits a green laser beam, and a laser 164 that emits a blue laser beam.
  • Each of the lasers 160, 162, and 164 is an individual laser driver. 170, 172, and 174 modulate the intensity of the generated laser beam. Specifically, each laser driver 170, 172, 174 generates a laser beam that realizes intensity (luminance) for each pixel from each laser 160, 162, 164 based on an image signal corresponding to each color laser beam. Let The intensity of each generated laser beam varies with time.
  • an image position signal is also input to each laser driver 170, 172, 174.
  • the image position signal is generated by each laser in order to displace the position of the image finally formed two-dimensionally using three color laser beams with respect to the observer from the default position in the horizontal direction and in the vertical direction.
  • the laser beams of three colors generated from the lasers 160, 162, and 164 are combined as one laser beam that reflects the color and luminance of the corresponding pixel.
  • the combined laser beam is incident on the image light forming unit 154.
  • the image light forming unit 154 now receives a main scanning mirror 180 (for example, a polygon mirror) that is driven to scan the laser beam incident from the light source unit 152 in the horizontal direction, and the laser beam incident from the main scanning mirror 180.
  • a main scanning mirror 180 for example, a polygon mirror
  • a sub-scanning mirror 182 for example, a galvanometer mirror
  • the main scanning mirror 180 is driven by a main scanning mirror driver 190
  • the sub scanning mirror 182 is driven by a sub scanning mirror driver 192.
  • the image light forming unit 154 further includes a front relay lens 200 and a rear relay lens 202.
  • the front-stage relay lens 200 is configured to form an image of the main scanning mirror 180 on the sub-scanning mirror 182, while the rear-stage relay lens 202 has a light beam scanned by the sub-scanning mirror 182 on the liquid crystal optical device 70. In order to form an intermediate image plane.
  • liquid crystal optical device 70 is arranged at the same position as the intermediate image plane between the rear relay lens 202 and the eyepiece lens 110. However, in FIG. are described differently.
  • the exit pupil control unit 18 changes the pupil position of the exit pupil of the head mounted display device 150 based on the detection result of the pupil position by the pupil position detection unit 20. Move to follow. As a result, the observer can continue to observe the display image in the same display state regardless of the presence or absence of pupil movement.
  • the conversion characteristic that the image light forming unit 14 converts the emitted light from the light source unit 12 into image light depends on the image position signal input to the LCD driver 42, and the image The position signal is generated according to the movement amount of the exit pupil, and as a result, the observer can continue to observe the image at a stable position regardless of whether or not the exit pupil has moved.
  • the conversion characteristic that the image light forming unit 154 converts the light emitted from the light source unit 152 into image light depends on the image position signal input to the laser drivers 170, 172, and 174.
  • the image position signal is generated according to the movement amount of the exit pupil, and as a result, the observer can continue to observe the image at a stable position regardless of whether or not the exit pupil has moved. .
  • the combination of the image signal and the image position signal supplied to the laser drivers 170, 172, and 174 is the “image signal” in the above item (12). It can be considered that the amount of horizontal movement and the amount of vertical movement of the exit pupil are examples of “physical quantities related to the control amount of the optical element” in the same term. is there.
  • this embodiment is different from the first embodiment only in the exit pupil control unit, and the other elements are common, so only the exit pupil control unit will be described.
  • the duplicate description is abbreviate
  • FIG. 15 shows an optical path diagram of the head mounted display device 300 according to the present embodiment.
  • the exit pupil control unit 18 is mainly composed of a liquid crystal optical device 70 as a transmissive optical element, but in this embodiment, it is shown in FIG. As described above, the exit pupil control unit 310 is mainly configured by the deflection mirror 312 as a reflective optical element.
  • the exit pupil control unit 310 is provided for controlling the position of the exit pupil of the head mounted display device 300 so as to follow the change in the pupil position of the observer.
  • the deflection mirror 312 in the exit pupil control unit 310 is disposed at a position that matches the position of a certain intermediate image plane in the head mounted display device 300.
  • the deflection mirror 312 is a oscillating mirror mounted on a frame 314 that can oscillate about the X axis extending in the horizontal direction so as to oscillate about the Y axis extending in the vertical direction.
  • the frame 314 is swung by an X-axis actuator (not shown) mounted on a stationary member of the head mounted display device 300, while the deflection mirror 312 is swung by a Y-axis actuator (not shown) mounted on the frame 314. It is done.
  • the angle of the deflection mirror 312 with respect to the stationary member in the head mounted display device 300 can be adjusted two-dimensionally.
  • the deflection mirror 312 is driven by a deflection mirror driver 320.
  • the exit pupil control unit 310 Based on the pupil position detected by the pupil position detection unit 20, the exit pupil control unit 310 changes the angle of the deflection mirror 312 so as to follow the change in the pupil position for each eye of the observer, thereby Then, the exit pupil of the head mounted display device 300 is moved.
  • the pupil position detection unit 20 includes a half mirror 330 that extracts reflected light from the observer's eyes as a device used to acquire information useful for detecting the pupil position of the observer's eyes. .
  • the pupil position detection unit 20 further includes a pupil position detection circuit 102 that optically detects the pupil position based on the incident light from the half mirror 330.
  • the half mirror 330 transmits incident light from the relay optical system 16 toward the deflecting mirror 312 and reflects the transmitted light toward the eyepiece optical system 22.
  • the half mirror 330 further transmits the incident light from the eyepiece optical system 22 toward the light receiving unit (not shown) of the pupil position detection circuit 102, which is reflected light from the eyes of the observer.
  • the half mirror 330 performs not only the function of guiding the reflected light from the observer's eye to the pupil position detection circuit 102 but also the function of guiding the emitted light from the deflection mirror 312 to the eyepiece optical system 22. Is designed.
  • FIG. 17 conceptually shows an electrical part of the head-mounted display device 300 in a block diagram.
  • the head mounted display device 300 includes a signal processing device 120 as in the first embodiment.
  • the signal processing device 120 is electrically connected to the LED driver 32, the LCD driver 42, the pupil position detection circuit 102, the deflection mirror driver 320, and the variable focus lens driver 72.
  • an image display program, a pupil tracking program, and an image scale correction program are stored in advance in a nonvolatile manner. Since the image display program is the same as the image display program in the first embodiment, a duplicate description is omitted.
  • the pupil tracking program moves the exit pupil of the head mounted display device 300 so as to follow the change of the pupil position based on the signal from the pupil position detection circuit 102 and representing the pupil position. Executed by the computer 122. That is, the pupil tracking program is executed by the computer 122 so that the exit pupil tracks the pupil position.
  • FIG. 19 conceptually shows the pupil tracking program in a flowchart. This pupil tracking program is automatically executed periodically after the power (not shown) of the head mounted display device 300 is turned on by the user, or is executed in response to a request from the user.
  • step S201 the horizontal position X of the pupil is detected based on the signal from the pupil position detection circuit 102.
  • step S202 the pupil is detected based on the signal from the pupil position detection circuit 102.
  • the vertical position Y is detected.
  • step S203 based on the detected horizontal position X, the angle at which the deflection mirror 312 should rotate around the Y axis in order to track the pupil position in the horizontal direction, that is, the angle around the Y axis is changed.
  • the amount (including the direction in which the deflection mirror 312 is rotated) is determined.
  • the correspondence between the horizontal position X (the amount of horizontal displacement of the pupil position from the neutral position) and the amount of rotation angle from the neutral position around the Y axis of the deflection mirror 312 is stored as a table in the memory unit.
  • the angle change amount around the Y axis of the deflection mirror 312 corresponding to the current value of the horizontal position X of the pupil is determined in accordance with the relationship.
  • step S204 in accordance with step S203, based on the detected vertical position Y, the angle at which the deflection mirror 312 should rotate around the X axis in order to track the pupil position in the vertical direction, An angle change amount (including a direction in which the deflection mirror 312 is rotated) about the X axis is determined.
  • the correspondence between the vertical position Y (vertical shift amount of the pupil position from the neutral position) and the rotation angle amount from the neutral position around the X axis of the deflection mirror 312 is stored as a table in the memory unit.
  • the angle change amount around the X axis of the deflection mirror 312 corresponding to the current value of the vertical position Y of the pupil is determined in accordance with the relationship.
  • step S205 a control signal to be output to the deflection mirror driver 320 for realizing the angle change amount around the Y axis and the angle change amount around the X axis determined in steps S203 and S204, respectively, is generated.
  • step S206 the generated control signal is output to the deflecting mirror driver 320.
  • the horizontal position and the vertical position of the exit pupil are respectively set to the current horizontal position and the vertical position of the pupil. Approached or matched.
  • FIG. 20 conceptually shows a flowchart of the above-described image scale correction program.
  • this image scale correction program will be described.
  • the background and purpose of using this image scale correction program will be described.
  • FIG. 21 shows a light path among the relay optical system 16, the half mirror 100, the deflection mirror 312 and the eyepiece optical system 22 in the head mounted display device 300 shown in FIG. Further, it is also shown that the light emitted from the eyepiece optical system 22 reaches the retina of the observer's eye through the exit pupil and the observer's eyeball lens in order.
  • FIG. 21 shows an image plane formed by the light emitted from the eyepiece optical system 22 when the deflection mirror 312 is in the neutral position and the exit pupil coincides with the neutral position P1.
  • the observer perceives a virtual image on which the image plane having the dimension dA is projected.
  • the deflection mirror 312 when the deflection mirror 312 is at a position rotated from the neutral position and the exit pupil coincides with the position P2 shifted by the distance a from the neutral position P1, the deflection mirror 312 is Incoming light and outgoing light are shown.
  • the state in which the deflecting mirror 312 is rotated from the neutral position means that not all points on the deflecting mirror 312 are located on the intermediate image plane as shown in FIG. It is. That is, the deflection mirror 312 is not entirely coincident with the intermediate image plane.
  • the observer perceives the virtual image as if it exists on the intermediate image plane. Therefore, when the deflection mirror 312 generally matches the intermediate image plane, the virtual image is a virtual image on which an image plane with a dA size is projected, but the deflection mirror 312 generally matches the intermediate image plane. If this is not the case, the size of the virtual image coincides with the projected image of the image plane of dB. Since the dimension dB is larger than the dimension dA, the observer perceives the displayed image as being larger than the ideal image when the exit pupil deviates from the neutral position P1.
  • the scale of the actually perceived display image size with respect to the ideal image size is larger than 1, and the scale is unambiguous according to the movement amount a of the exit pupil from the neutral position P1. Is determined. Further, the size of the display image can be changed by correcting the image signal supplied to the LCD driver 42.
  • This image scale correction program is repeatedly executed periodically while the power of the head mounted display device 300 is turned on.
  • step S301 the horizontal direction of the exit pupil according to the angle change amount (deviation amount from the neutral position) of the deflection mirror 312 determined by the execution of step S203 shown in FIG.
  • the amount of movement (the amount of deviation from the neutral position) is determined.
  • the horizontal direction of the pupil detected by the execution of step S201 shown in FIG. It may be acquired as the direction position X.
  • the relationship between the angle change amount around the Y axis of the deflection mirror 312 and the horizontal movement amount of the exit pupil is stored in the memory unit 124 in advance, and the horizontal movement amount of the exit pupil is determined according to the relationship. The value is calculated this time.
  • step S302 in accordance with step S301, the angle of the exit pupil is changed according to the angle change amount (deviation amount from the neutral position) of the deflection mirror 312 determined by execution of step S204 shown in FIG. A vertical movement amount (deviation amount from the neutral position) is obtained.
  • the vertical direction of the pupil detected by executing step S202 shown in FIG. It may be acquired as the direction position Y.
  • the relationship between the angle change amount around the X axis of the deflection mirror 312 and the vertical movement amount of the exit pupil is stored in the memory unit 124 in advance, and the vertical movement amount of the exit pupil is determined according to the relationship. The value is calculated this time.
  • step S303 a scale correction factor to be realized in order to suppress the horizontal expansion of the display image due to the horizontal movement of the exit pupil is determined.
  • the magnitude of this scale correction factor is determined based on the amount of horizontal movement of the exit pupil (the amount of horizontal deviation from the neutral position).
  • the current horizontal scale correction rate is determined according to a predetermined relationship between the horizontal movement amount of the exit pupil and the horizontal scale correction rate, which is stored in advance in the memory unit 124. It is determined.
  • step S304 a scale correction factor to be realized in order to suppress the vertical expansion of the display image due to the vertical movement of the exit pupil is determined.
  • the magnitude of this scale correction factor is determined based on the amount of vertical movement of the exit pupil (the amount of vertical deviation from the neutral position). Specifically, according to a predetermined relationship between the vertical movement amount of the exit pupil and the vertical scale correction factor, which is stored in the memory unit 124 in advance, the current vertical scale correction factor is It is determined.
  • step S305 the original image signal is fetched from the R / G / B buffer 130.
  • step S306 the fetched original image signal is corrected so that the determined horizontal scale correction factor and vertical scale correction factor are simultaneously realized.
  • the image display program shown in FIG. 18 is executed to display an image by supplying the corrected image signal to the LCD driver 42.
  • the observer regardless of whether or not the exit pupil has moved, the observer can observe the image in a state where unexpected enlargement of the image is suppressed, and as a result, the head The display quality of the image by the mount display device 300 is improved.
  • variable focus lens 70 and the portion of the signal processing device 120 that executes the pupil tracking program shown in FIG. The “exit pupil control unit” in the item (1) is configured, and the portion of the signal processing device 120 that executes the pupil tracking program shown in FIG. 19 configures an example of the “exit pupil control unit” in the same term.
  • the portion of the signal processing device 120 that executes the image scale correction program shown in FIG. 20 constitutes an example of “conversion characteristic correction means” in the same term, and the deflection mirror 312 is an example of “optical element” in the same term. It is possible to think that it is composed.
  • the image signal supplied to the LCD driver 42 constitutes an example of the “image signal” in the item (9), and the horizontal movement amount and the vertical movement of the exit pupil. It can be considered that each quantity constitutes an example of “physical quantity related to the control amount of the optical element” in the same term.
  • FIG. 1 is an optical path diagram conceptually showing a head mounted display device 10 according to a first embodiment of the present invention. It is sectional drawing which shows the liquid crystal optical device 70 shown in FIG.
  • FIG. 3 is a diagram for explaining the relationship between a diffraction pattern by the liquid crystal optical device 70 shown in FIG. 2 and types of modes for applying a voltage to a plurality of electrodes 84 of the liquid crystal optical device 70. 3 is a graph for explaining types of modes for applying a voltage to a plurality of electrodes 84 of the liquid crystal optical device 70 shown in FIG. 2.
  • FIG. 3 is an optical path diagram for explaining the principle that the exit pupil of the head mounted display device 10 shown in FIG. 1 moves due to the diffraction of the liquid crystal optical device 70 shown in FIG.
  • FIG. 10A is a graph for explaining another mode 4 for applying a voltage to the plurality of electrodes 84 of the liquid crystal optical device 70 shown in FIG. 2, and FIG. It is an optical path diagram for demonstrating the diffraction pattern of the liquid crystal optical device 70 implement
  • achieved when selecting. 8 is a flowchart conceptually showing the image position correction program shown in FIG.
  • FIG. 16 is a block diagram for conceptually explaining the electrical configuration of the head mounted display device 300 shown in FIG. 15.
  • FIG. 19 is a flowchart conceptually showing the pupil tracking program shown in FIG. 18.
  • 19 is a flowchart conceptually showing the image scale correction program shown in FIG.
  • FIG. 21 is an optical path diagram for explaining the image scale correction program shown in FIG. 20.
  • FIG. 21 is another optical path diagram for explaining the image scale correction program shown in FIG. 20.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Nonlinear Science (AREA)
  • Mathematical Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Liquid Crystal (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

射出瞳を移動させることが可能な画像表示装置であって射出瞳の移動に起因した画像品質の劣化を抑制する機能を有するものを提供する。そのために、画像表示装置10に、光源部12と、その光源部12から出射する光を、観察者に表示すべき画像を表す画像光に変換することにより、その画像光を形成する画像光形成部14と、当該画像表示装置の射出瞳の位置を制御する射出瞳制御部18とを設ける。その射出瞳制御部18は、液晶光学デバイス70と、その液晶光学デバイス70を制御することにより、射出瞳の位置を制御する射出瞳制御手段とを含んでいる。画像光形成部14は、液晶光学デバイス70の制御に起因する、観察者によって認識される画像の幾何学的特性の変化が打ち消されるように、液晶光学デバイス70の制御量に基づき、画像光形成部14が光源部12からの出射光を画像光に変換する変換特性を補正する。

Description

画像表示装置
 本発明は、画像を光学的に表示する技術に関するものであり、特に、画像表示装置の射出瞳を移動させる技術の改良に関するものである。
 画像を光学的に表示する技術として、例えば、表示すべき画像を表す画像光を直接的に観察者の網膜上に投影し、それにより、観察者が画像を虚像として観察することを可能にする技術や、そのような画像光を物理的なスクリーンに投影し、それにより、観察者が画像を実像として観察することを可能にする技術が存在する。
 さらに、光源からの光を、表示すべき画像を表す画像光に変換する技術として、例えば、光源から一斉に入射した面状の光を、LCD等、空間変調素子を用いて、各画素ごとに空間的に変調し、それにより、面状の画像光を形成する技術や、光源から入射したビーム状の光であって各画素ごとに強度変調されたものを、スキャナを用いて、面状の画像光に変換する技術が存在する。
 日本国特表平8-502372号公報は、画像を光学的に表示する装置としての従来のヘッドマウントディスプレイ装置を開示している。このヘッドマウントディスプレイ装置は、表示すべき画像を表す画像光を直接的に網膜上に投影し、それにより、観察者が画像を虚像として観察することを可能にする技術と、光源から入射したビーム状の光であって各画素ごとに強度変調されたものを、スキャナを用いて、面状の画像光に変換する技術とを採用している。
 この従来のヘッドマウントディスプレイ装置は、さらに、表示画像を観察しようとする観察者の瞳孔位置を検出し、その瞳孔の移動に合わせて当該ヘッドマウントディスプレイ装置の射出瞳を移動させる技術も採用している。
 本発明者は、画像表示装置の射出瞳を移動させるために、各々、光学素子の一例である回折格子および偏向ミラーを用いる技術を提案し、それについて研究を行った。その結果、それら回折格子および偏向ミラーを用いれば、射出瞳を移動させることは可能であるが、射出瞳の移動に起因して、表示画像の幾何学的特性、すなわち、例えば、位置やサイズが正規のものから異なってしまう可能性があることに気がついた。その可能性およびその原因については、後に詳述する。
 このように、本発明者の提案した技術では、射出瞳の移動に起因して画像品質が劣化する可能性があった。
 以上説明した事情を背景として、本発明は、射出瞳を移動させることが可能な画像表示装置であって射出瞳の移動に起因した画像品質の劣化を抑制する機能を有するものを提供することを課題としてなされたものである。
 本発明によって下記の各態様が得られる。各態様は、項に区分し、各項には番号を付し、必要に応じて他の項の番号を引用する形式で記載する。これは、本発明が採用し得る技術的特徴の一部およびそれの組合せの理解を容易にするためであり、本発明が採用し得る技術的特徴およびそれの組合せが以下の態様に限定されると解釈すべきではない。すなわち、下記の態様には記載されていないが本明細書には記載されている技術的特徴を本発明の技術的特徴として適宜抽出して採用することは妨げられないと解釈すべきなのである。
 さらに、各項を他の項の番号を引用する形式で記載することが必ずしも、各項に記載の技術的特徴を他の項に記載の技術的特徴から分離させて独立させることを妨げることを意味するわけではなく、各項に記載の技術的特徴をその性質に応じて適宜独立させることが可能であると解釈すべきである。
(1) 画像を光学的に表示する画像表示装置であって、
 光源部と、
 その光源部から出射する光を、観察者に表示すべき画像を表す画像光に変換することにより、その画像光を形成する画像光形成部と、
 当該画像表示装置の射出瞳の位置を制御する射出瞳制御部と
 を含み、
 その射出瞳制御部は、
 当該画像表示装置において前記画像光が進行する経路の途中に配置された光学素子と、
 その光学素子を制御することにより、前記射出瞳の位置を制御する射出瞳制御手段と
 を含み、
 前記画像光形成部は、前記光学素子の制御に起因する、観察者によって認識される画像の幾何学的特性の変化が打ち消されるように、前記光学素子の制御量またはその制御量に関連する物理量に基づき、前記画像光形成部が前記光源部からの出射光を前記画像光に変換する変換特性を補正する変換特性補正手段を含む画像表示装置。
 この画像表示装置によれば、射出瞳を移動させるための光学素子の制御に起因して、観察者によって認識される画像の幾何学的特性が変化する可能性がある場合に、その変化が完全にまたは部分的に打ち消されるように、画像光形成部が光源部からの出射光を画像光に変換する変換特性が補正される。
 したがって、この画像表示装置によれば、射出瞳の移動に起因する、観察者によって認識される画像の幾何学的特性の変化が抑制され、その結果、射出瞳の移動に起因した画像品質の劣化が抑制される。
(2) 前記幾何学的特性は、観察者によって実際に認識される画像の位置を含む(1)項に記載の画像表示装置。
 この画像表示装置によれば、射出瞳の移動の有無にかかわらず、観察者によって実際に認識される画像の位置が、正規の位置に維持される傾向が増す。その結果、表示画像の位置が、表示中、射出瞳の移動の有無にかかわらず、安定化させられる。
(3) 前記幾何学的特性は、観察者によって実際に認識される画像のスケールを含む(1)または(2)項に記載の画像表示装置。
 この画像表示装置によれば、射出瞳の移動の有無にかかわらず、観察者によって実際に認識される画像のスケールが、正規のスケールに維持される傾向が増す。その結果、表示画像のサイズが、表示中、射出瞳の移動の有無にかかわらず、安定化させられる。
(4) 前記光学素子は、前記画像光形成部から入射した画像光に対して回折を行うとともに、回折光の角度が電気的に可変である電気的制御素子を含む(1)ないし(3)項のいずれかに記載の画像表示装置。
(5) 前記電気的制御素子は、液晶光学デバイスを含み、
 その液晶光学デバイスは、各々ストライプ状を成す複数の電極と、それら複数の電極が形成された表面を有する液晶層とを含むように構成されるとともに、前記複数の電極にそれぞれ一斉に印加される複数の電圧値の分布パターンに応じて、当該液晶光学デバイスから出射する回折光の角度が変化する特性を有している(4)項に記載の画像表示装置。
(6) 前記光学素子は、電気光学効果偏向器EODと、音響光学偏向器AODとのうちの少なくとも一方を含む(1)ないし(3)項のいずれかに記載の画像表示装置。
(7) 当該画像表示装置は、前記画像光の経路の途中に中間像面を有し、
 前記光学素子は、その中間像面の位置と概して等しい位置に配置された(1)ないし(6)項のいずれかに記載の画像表示装置。
(8) 当該画像表示装置は、前記画像光の経路の途中に中間像面を有し、
 前記光学素子は、その中間像面の位置から外れた位置に配置された(1)ないし(6)項のいずれかに記載の画像表示装置。
 この画像表示装置によれば、光学素子が中間像面の位置と概して等しい位置に配置される場合より大きな断面積を有する光がこの光学素子に入射する。その結果、例えば、その光学素子が回折格子である場合には、回折効率が向上するという利点や、光学素子にほこりなどの異物が付着した場合にそれにもかかわらずそれに起因する画像の欠陥がそれほど目立たずに済むという利点などが得られる。
(9) 前記画像光形成部は、画像信号に基づき、前記光源部から入射した面状の光に対して各画素ごとに空間変調を施すことにより、前記画像光を形成するフラットパネルディスプレイを含み、
 そのフラットパネルディスプレイは、前記画像信号に応じて、前記光源部からの出射光を前記画像光に変換し、
 前記変換特性は、前記画像信号に依存しており、
 前記変換特性補正手段は、前記光学素子の制御量またはそれに関連する物理量に基づき、前記画像信号を補正する(1)ないし(8)項のいずれかに記載の画像表示装置。
 この画像表示装置によれば、フラットパネルディスプレイに供給されるべき画像信号が補正されることにより、射出瞳の移動に起因して、観察者によって認識される画像の幾何学的特性(例えば、画像の位置やサイズ)が変化する可能性が軽減され、その結果、射出瞳の移動に起因した画像品質の劣化が抑制される。
(10) 前記フラットパネルディスプレイは、液晶ディスプレイと、有機エレクトロルミネッセンスと、デジタルマイクロミラーデバイスとのうちの少なくとも一つを含む(9)項に記載の画像表示装置。
(11) 前記光学素子は、入射光に対する角度が可変である偏向ミラーを含み、
 前記射出瞳制御手段は、その偏向ミラーの、入射光に対する角度を変化させることにより、観察者の瞳孔位置の変化に追従するように、前記射出瞳の位置を制御し、
 前記変換特性補正手段は、前記偏向ミラーの、入射光に対する角度またはその角度に関連する物理量に基づいて前記変換特性を補正する(1)項に記載の画像表示装置。
(12) 前記光源部は、画像信号に基づき、観察者に表示すべき画像の各画素ごとに輝度を実現するビーム状の光を発生させ、
 前記画像光形成部は、前記光源部から入射したビーム状の光を、少なくとも1枚の揺動ミラーを用いて、2次元的にスキャンすることにより、前記画像光を形成する光スキャナを含み、
 前記変換特性は、前記画像信号に依存しており、
 前記変換特性補正手段は、前記光学素子の制御量またはそれに関連する物理量に基づき、前記画像信号を補正する(1)ないし(8)項のいずれかに記載の画像表示装置。
 この画像表示装置によれば、光スキャナに光を出射する光源部に供給されるべき画像信号が補正されることにより、射出瞳の移動に起因して、観察者によって認識される画像の幾何学的特性(例えば、画像の位置やサイズ)が変化する可能性が軽減され、その結果、射出瞳の移動に起因した画像品質の劣化が抑制される。
(13) 前記画像光形成部は、前記光源部から入射したビーム状の光を、少なくとも1枚の揺動ミラーを用いて、2次元的にスキャンすることにより、前記画像光を形成する光スキャナを含み、
 前記変換特性は、前記揺動ミラーの最大揺動角に依存しており、
 前記変換特性補正手段は、前記光学素子の制御量またはそれに関連する物理量に基づき、前記揺動ミラーの最大揺動角を補正する(1)ないし(8)項のいずれかに記載の画像表示装置。
 この画像表示装置によれば、光スキャナにおける揺動ミラーの最大揺動角が補正されることにより、射出瞳の移動に起因して、観察者によって認識される画像の幾何学的特性(例えば、画像のサイズ)が変化する可能性が軽減され、その結果、射出瞳の移動に起因した画像品質の劣化が抑制される。
(14) さらに、前記瞳孔の位置を検出する瞳孔位置検出部を含み、
 前記射出瞳制御手段は、その瞳孔位置検出部からの出力信号に基づき、観察者の瞳孔の動きに追従するように前記射出瞳を移動させるために、前記光学素子を制御する(1)ないし(13)項のいずれかに記載の画像表示装置。
 この画像表示装置によれば、観察者の瞳孔の動きに追従するように射出瞳が自動的に移動させられる。
(15) 前記射出瞳制御手段は、ユーザからの指令を表す入力信号に応じて、前記光学素子を制御することにより、前記射出瞳の位置を、前記入力信号に応じた位置に移動するように制御する(1)ないし(13)項のいずれかに記載の画像表示装置。
 この画像表示装置によれば、ユーザは、射出瞳の位置を任意の位置に移動させることが可能となる。例えば、ユーザは、手動で、観察者の瞳孔の動きに追従するように射出瞳を移動させることが可能となる。
(16) 前記変換特性補正手段は、前記光学素子の制御量またはそれに関連する物理量に基づき、前記画像の、前記回折の方向における平行移動量を決定する(4)項に記載の画像表示装置。
(17) 前記変換特性補正手段は、前記光学素子の制御量またはそれに関連する物理量に基づき、前記画像の、前記揺動ミラーの揺動方向における拡大・縮小率を決定する(13)項に記載の画像表示装置。
(18) 前記変換特性補正手段は、前記射出瞳の移動量に応じて、前記画像の位置の補正量を決定する(2)項に記載の画像表示装置。
(19) 前記変換特性補正手段は、前記射出瞳の移動量に応じて、前記画像のスケールの補正量を決定する(3)項に記載の画像表示装置。
 以下、本発明のさらに具体的な実施の形態のいくつかを図面に基づいて詳細に説明する。
 図1には、本発明の第1実施形態に従うヘッドマウントディスプレイ装置10が概念的に光路図で示されている。このヘッドマウントディスプレイ装置10は、図示しない観察者の頭部に装着されて使用される形式の画像表示装置である。
 このヘッドマウントディスプレイ装置10は、概略的には、光源から一斉に入射した面状の光を、空間変調素子を用いて、各画素ごとに空間的に変調し、そのようにして形成された画像光を観察者の瞳孔を経て直接的に観察者の網膜上に投影し、それにより、観察者が画像を虚像として観察することを可能にするように構成されている。
 具体的には、このヘッドマウントディスプレイ装置10は、光源部12と、画像光形成部14と、リレー光学系16と、射出瞳制御部18と、瞳孔位置検出部20と、接眼光学系22とを、それらの順に、互いに直列に並ぶように備えている。それら要素の集まりは、観察者の右眼用と左眼用とにそれぞれ、用意されており、観察者のいずれの眼にも、画像光が入射させられる。
 光源部12は、光源としての白色LED30と、その白色LED30からの白色光が入射するフィールドレンズ32とを含むように構成されている。白色LED30は、LEDドライバ34によって駆動され、それにより、白色光を発光する。
 画像光形成部14は、フラットパネルディスプレイ(空間変調素子の一例)としてのLCD(液晶ディスプレイ)40を含むように構成されている。LCD40は、コリメートレンズ32からの白色光を、各画素ごとに、3色の成分光(RGB)に分解するカラーフィルタ(RGBフィルタ)と、各成分光の透過度を制御する液晶パネルとを含むように構成されている。その液晶パネルは、複数個の画素を有しており、各画素ごとに、各成分光の透過度を制御する。
 LCD40のいくつかの例が日本国特開平11-194313号公報に開示されており、その公報は、引用によって本明細書に全体的に合体させられる。LCD40は、LCDドライバ42によって駆動され、それにより、白色LED30から出射した白色光に対して空間変調を施す。
 本実施形態においては、画像光形成部14がフラットパネルディスプレイを主体として構成されているが、これに限定されることなく、例えば、光スキャナを主体として構成することが可能である。この場合、このヘッドマウントディスプレイ装置10は、網膜走査型ディスプレイ装置とも称される。
 また、本実施形態においては、フラットパネルディスプレイの一例としてLCD40が採用されているが、これに限定されることなく、例えば、有機エレクトロルミネッセンスとしたり、デジタルマイクロミラーデバイスとすることが可能である。
 リレー光学系16は、前段リレーレンズ60と後段リレーレンズ62とを含むように構成されている。
 射出瞳制御部18は、観察者の瞳孔位置の変化に追従するように、ヘッドマウントディスプレイ装置10の射出瞳の位置を制御するために設けられている。この射出瞳制御部18は、電気的制御素子の一例である液晶光学デバイス70を主体として構成されている。
 この液晶光学デバイス70は、図12に示すように、リレー光学系16と接眼光学系22との間に位置する中間像面から距離dだけオフセットした位置(本実施形態においては、接眼光学系22寄りの位置)に配置されている。そのオフセット配置の影響については、後に詳述する。
 この液晶光学デバイス70は、回折角が電気的に可変である回折格子として機能する。さらに、この液晶光学デバイス70は、透過型回折格子として機能するが、これに限定されることなく、反射型回折格子として機能する液晶光学デバイスを採用することが可能である。
 この液晶光学デバイス70は、2次元回折を行うように設計されているが、これに限定されず、1次元回折を行うように設計することが可能である。この液晶光学デバイス70は、図2に断面図で示すように、入射光をX方向すなわち水平方向に回折するための第1部分72と、入射光をY方向すなわち垂直方向に回折するための第2部分74とが、共通の透明なガラス基板を介して、互いに積層されて一体的に構成されている。
 この液晶光学デバイス70の一従来例が日本国特開2001-100026号公報に開示されており、この公報は、引用されることにより、全体的に本明細書に合体させられる。
 図2に示すように、第1部分72は、透明なガラス基板80と液晶層82とが積層されて構成されている。液晶層82の表面には、各々ストライプ状を成す複数の電極84が互いに並列に延びるように形成されている。それら複数の電極84は、X方向に並んでいる複数の透明電極である。図3には、それら複数の電極84が正面図で示されている。
 これに対し、液晶層82の裏面には、複数の電極84に共通の接地電極86が形成されている。この接地電極86も透明電極である。
 この第1部分72を作動させるために、複数の電極84のうち選択されたものと接地電極86との間に電圧が印加され、それにより、選択された電極84の位置に応じた電界が液晶層82に印加される。その結果、液晶層82内の液晶分子が傾き、それにより、液晶層82の屈折率が変化する。
 図3に示すように、複数の電極84に印加される電圧値の分布パターンとして、モード1、モード2およびモード3が用意されている。モード1が採用されると、図3(a)に示すように、いずれの電極84にも電圧が印加されない。このことが図4(a)にはグラフで表されている。その結果、図3(a)に示すように、第1部分72は、リレー光学系16からの入射光をそのまま、0次光として透過する。
 これに対し、モード2が選択されると、図3(b)に示すように、互いに隣接した2本の電極84には電圧が印加されるが、その隣の2本の電極84には電圧が印加されないというように、2本ずつ、2本置きに、電極84に電圧が印加される。このことが図4(b)にはグラフで表されている。その結果、図3(b)に示すように、第1部分72は、リレー光学系16からの入射光から、2本の回折光、すなわち、+1次光と-1次光とを発生させる。
 また、モード3が選択されると、図3(c)に示すように、1本ずつ、1本置きに、電極84に電圧が印加される。このことが図4(c)にはグラフで表されている。その結果、図3(c)に示すように、第1部分72は、リレー光学系16からの入射光から、2本の回折光、すなわち、+1次光と-1次光とを発生させる。それら1次光が第1部分72から出射する角度(偏向角ないし回折角)は、モード2における角度より大きい。
 したがって、第1部分72に印加される電圧値の分布パターンをモード1、モード2およびモード3に変化させると、第1部分72から出射する回折光の角度が変化する。
 このようにして回折光の角度が変化すると、図5に光路図で示すように、射出瞳が移動する。具体的には、モード1が選択された場合には、液晶光学デバイス70から光が、図5において点線で示す光路に沿って出射し、その結果、射出瞳が、光軸上の中立位置P1に位置させられる。
 これに対し、モード2または3が選択されると、液晶光学デバイス70から光が、図5において二重破線で示す光路に沿って出射し、その結果、射出瞳が、光軸から距離aずれた位置P2に移動させられる。例えば、回折角θが7.1[deg]、距離bが40[mm]である場合には、距離aが5[mm]となる。
 液晶光学デバイス70は、モード2または3において、+1次光と-1次光とを出射するが、図5には、説明を簡単にするために、それら+1次光と-1次光とのうち、瞳孔に入射することとなる射出瞳を形成する回折光のみが示されている。
 本実施形態においては、第1部分72に印加される電圧値の分布パターンをモード1、モード2およびモード3に変化させると、第1部分72から出射する回折光の角度が離散的に変化するため、ヘッドマウントディスプレイ装置10の射出瞳の位置も離散的に(すなわち、不連続的にないし段階的に)変化させられる。
 図2に示すように、第2部分74は、第1部分72と同様に、透明なガラス基板90と液晶層92とが積層されて構成されている。液晶層92の表面には、各々ストライプ状を成す複数の電極94が互いに並列に延びるように形成されている。それら複数の電極94はいずれも、第1部分72における複数の電極84に対して直角に延びる透明電極である。それら複数の電極94は、Y方向に並んでいる。
 これに対し、液晶層92の裏面には、複数の電極94に共通の接地電極96が形成されている。この接地電極96も透明電極である。
 この第2部分74の作動、その作動のために用意されているモードの種類およびモードと回折角との関係については、第1部分72の場合と共通するため、重複した説明を省略する。
 図1に示すように、この液晶光学デバイス70は、液晶光学デバイスドライバ72によって駆動される。
 なお付言するに、本実施形態においては、射出瞳を移動させるために使用される光学素子として液晶光学デバイス70が選択されているが、これに限定されず、例えば、電気光学効果偏向器EODを選択したり、音響光学偏向器AODを選択することが可能である。
 さらに、そのような光学素子として、グレーティング・ライト・バルブGLVを選択することが可能である。このグレーティング・ライト・バルブGLVは、例えば、リボン状の反射面を備えた固定格子と、リボン状の反射面を有するとともに、電気信号に応じて、前記固定格子に対して移動可能な可動格子とを含むように構成される。
 このグレーティング・ライト・バルブGLVのいくつかの例が日本国特開2003-341128号公報に開示されており、この公報は、引用されることにより、全体として本明細書に合体させられる。
 さらにまた、上述の光学素子として、回折ピッチの方向に電気的に伸張する素材により構成され、それにより、回折ピッチが電気的に可変である回折素子を選択することも可能である。
 図1に示すように、以上説明した射出瞳制御部18の直ぐ下流に、瞳孔位置検出部20が配置されている。射出瞳制御部18は、その瞳孔位置検出部20によって検出された瞳孔位置に基づき、観察者の各眼ごとに、瞳孔位置の変化に追従するように、ヘッドマウントディスプレイ装置10の射出瞳を移動させる。
 瞳孔位置検出部20は、観察者の眼の瞳孔位置を検出するために有用な情報を取得するために使用されるデバイスとして、観察者の眼からの反射光を取り出すハーフミラー100を備えている。この瞳孔位置検出部20は、さらに、そのハーフミラー100からの入射光に基づき、瞳孔位置を光学的に検出する瞳孔位置検出回路102を備えている。
 ハーフミラー100は、液晶光学デバイス70からの入射光を、接眼光学系22に向けて透過させる一方、観察者の眼からの反射光であって、接眼光学系22からの入射光を、瞳孔位置検出回路102の受光部(図示しない)に向けて反射するように設計されている。
 瞳孔位置検出回路102は、瞳孔位置(例えば、瞳孔の中心位置)の、ヘッドマウントディスプレイ装置10の光軸上の射出瞳(中立位置にある射出瞳)に対する相対的な位置を水平方向(X方向)と垂直方向(Y方向)とについてそれぞれ検出する。この瞳孔位置検出回路102は、例えば、CCDカメラを主体として構成される。したがって、この瞳孔位置検出回路102は、瞳孔の水平方向位置Xを表す信号と、瞳孔の垂直方向位置Yを表す信号とを出力する。
 接眼光学系22は、接眼レンズ110と、その接眼レンズ110からの画像光をユーザの瞳孔に誘導する光ガイドとしてのハーフミラー112とを含むように構成されている。
 本実施形態においては、その光ガイドがハーフミラー112として構成されているため、ユーザは、ハーフミラー112を通して現実外界を観察すると同時に、接眼レンズ110からの画像光を、ハーフミラー112の反射によって受光して表示画像を観察することが可能である。すなわち、このヘッドマウントディスプレイ装置10は、現実外界に重ねて表示画像を観察可能なシースルー型なのである。
 図6には、このヘッドマウントディスプレイ装置10のうちの電気的な部分がブロック図で概念的に表されている。このヘッドマウントディスプレイ装置10は、信号処理装置120を備えている。
 その信号処理装置120は、コンピュータ122と、メモリ部124と、入出力インターフェイス126と、クロック発振器128とを含むように構成されている。入力インターフェイス126に、前述のLEDドライバ32、LCDドライバ42、瞳孔位置検出回路102および液晶光学デバイスドライバ72が電気的に接続されている。
 図6に示すように、信号処理装置120は、概略的には、外部から入力されたコンテンツを表すデータに基づき、そのコンテンツを表示するために必要な信号を生成し、その信号に基づき、LEDドライバ34を介して白色LED30、LCDドライバ42を介してLCD40をそれぞれ制御する。
 本実施形態においては、図1に示すように、LCDドライバ42には、各画素ごとに、実現すべき色および輝度を表す画像信号に加えて、画像位置信号も入力される。その画像位置信号は、観察者に対する画像の表示位置を、デフォールト位置から水平方向と垂直方向とにそれぞれ変位するためにLCDドライバ42に入力される。そのため、その画像位置信号は、表示画像の、デフォールト位置からの水平方向移動量を表す成分と、垂直方向移動量を表す成分とを有するように生成される。
 コンテンツは、R輝度信号、G輝度信号およびB輝度信号によって表現される。コンピュータ122は、それら信号を入力すると、R輝度信号、G輝度信号およびB輝度信号をR/G/Bバッファ130に保存する。コンピュータ122は、各フレームごとに、R輝度信号、G輝度信号およびB輝度信号から、LCD40制御用のR画像信号、G画像信号およびB画像信号を生成して、それら画像信号をLCDドライバ42に供給する。
 図7に示すように、メモリ部124には、画像表示プログラムと、瞳孔トラッキングプログラムと、画像位置補正プログラムとが不揮発的に予め記憶されている。
 画像表示プログラムは、コンテンツを表す輝度信号に基づいて画像信号を生成してそれをLCDドライバ42に供給し、それにより、目標画像を表示するためにコンピュータ122によって実行される。この画像表示プログラムは、よく知られた手順で実行されるものであるため、文章および図示による説明を省略する。
 これに対し、瞳孔トラッキングプログラムは、瞳孔位置検出回路102からの信号であって瞳孔位置を表すものに基づき、その瞳孔位置の変化に追従するようにヘッドマウントディスプレイ装置10の射出瞳を移動させるためにコンピュータ122によって実行される。すなわち、瞳孔トラッキングプログラムは、射出瞳が瞳孔位置をトラッキングするようにするためにコンピュータ122によって実行されるのである。
 図8には、その瞳孔トラッキングプログラムが概念的にフローチャートで表されている。この瞳孔トラッキングプログラムは、ヘッドマウントディスプレイ装置10の電源(図示しない)がユーザによって投入された後に、自動的に定期的に実行されるか、またはユーザからのリクエストに応答して実行される。
 この瞳孔トラッキングプログラムの実行時には、まず、ステップS1において、瞳孔位置検出回路102からの信号に基づき、瞳孔の水平方向位置Xが検出され、次に、ステップS2において、瞳孔位置検出回路102からの信号に基づき、瞳孔の垂直方向位置Yが検出される。
 続いて、ステップS3において、検出された水平方向位置Xに基づき、前述のモード1ないし3のうち、射出瞳が水平方向に瞳孔位置をトラッキングするために適切なモードが選択される。その後、ステップS4において、検出された水平方向位置Yに基づき、前述のモード1ないし3のうち、射出瞳が垂直方向に瞳孔位置をトラッキングするために適切なモードが選択される。
 水平方向トラッキングのためのモード選択および垂直方向トラッキングのためのモード選択は、共通のアルゴリズムに従って行われる。以下、そのアルゴリズムを図9を参照して詳細に説明する。
 図9には、このヘッドマウントディスプレイ装置10が採用し得る複数の射出瞳の位置が、各モードごとに、横一列に並んだ5個の丸印でそれぞれ示されている。さらに、各モードごとに、瞳孔が、射出瞳を表す丸印より大きい丸印で示されている。実際に、瞳孔は射出瞳より大きい。
 本実施形態においては、前述のように、モード1が選択されると、液晶光学デバイス70が0次光を発生させ、また、モード2が選択されると、液晶光学デバイス70が+1次光と-1次光とを、小さな偏向角のもとに発生させ、また、モード3が選択されると、液晶光学デバイス70が+1次光と-1次光とを、大きな偏向角のもとに発生させる。
 この液晶光学デバイス70においては、複数の電極84,94のうち電圧が印加されるのは、1個の孤立電極を繰返し単位として一定ピッチで並ぶ複数の電極84,94(図3(c)参照)、または1組の隣接電極を繰返し単位として一定ピッチで並ぶ複数の電極84,94(図3(b)参照)である。この液晶光学デバイス70においては、複数の繰返し単位が並ぶピッチが小さいほど、回折光の偏向角が大きくなる。
 本実施形態においては、モードをモード1からモード2に変化させた場合と、モード2からモード3に変化させた場合とで、射出瞳の移動量がほぼ等しくなるように、液晶光学デバイス70の構成およびその制御方法が予め設定されている。しかも、瞳孔の平均的直径の寸法をA、射出瞳の直径寸法をBでそれぞれ表すとすると、モード1からモード2に変化させた場合も、モード2からモード3に変化させた場合も、射出瞳が、(A-B)にほぼ等しい距離だけ移動するように、液晶光学デバイス70の構成およびその制御方法が予め設定されている。
 図9に示すように、本実施形態においては、射出瞳の位置が連続的にではなく離散的に変化させられる。一方、各瞬間において、瞳孔には1つの射出瞳のみが存在することが、画像多重化を防止する観点から望ましく、さらに、瞳孔には、1つの射出瞳が全体的に存在することが、表示画像の明るさを確保する観点から望ましい。
 本実施形態においては、瞳孔位置が変化した場合、(1)瞳孔には1つの射出瞳のみが存在するという条件と、(2)瞳孔には、1つの射出瞳が全体的に存在するという条件とが同時に成立するように、離散的に取り得る複数個の射出瞳のうちのいずれか一つが選択される。
 具体的には、例えば、水平方向トラッキングを例にとり説明すると、中立位置(水平方向位置X=0)に対する瞳孔の水平方向位置X(すなわち、瞳孔の中心点の、中立位置からのずれ量)が、(A-B)/2より小さい場合には、モード1が選択され、その結果、0次光による射出瞳が瞳孔内に存在するようにされる。
 また、水平方向位置Xが、(A-B)/2以上、かつ、3(A-B)/2より小さい場合には、モード2が選択され、その結果、小さい偏向角を有する+1次光または-1次光による射出瞳が瞳孔内に存在するようにされる。
 また、水平方向位置Xが、3(A-B)/2以上、かつ、5(A-B)/2より小さい場合には、モード3が選択され、その結果、大きい偏向角を有する+1次光または-1次光による射出瞳が瞳孔内に存在するようにされる。
 なお付言するに、本実施形態においては、図9から明らかなように、モード1ではなく、モード2またはモード3が選択される場合には、2つの回折光が発生するが、それら回折光のうち、瞳孔内に存在する射出瞳の形成に寄与するのは1つの回折光のみである。そのため、モード1が選択される場合とは異なり、モード2またはモード3が選択される場合には、表示画像の明るさを維持するためには、光源部12からの出射光の出力を増減させるなどの出力補正措置を講ずることが必要となる。すなわち、射出瞳の移動すなわちモード変化に合わせて光源部12からの出射光の出力を変化させることにより、瞳孔に入射する光の光量が変動しないようにすることが必要なのである。
 これに対し、液晶光学デバイス70における複数の電極82,92に、図10(a)にモード4として示すように、互いに連続した複数の電極から成る電極群ごとに、電圧値が単調に増加するように、電圧を印加すると、液晶光学デバイス70がブレーズド格子として機能する。
 液晶光学デバイス70がブレーズド格子として機能すると、図10(b)に示すように、液晶光学デバイス70の光軸に関する正側に出射する回折光と負側に出射する回折光とのうち予め定められた一方の回折光のパワーが他方の回折光のパワーより増加する。
 したがって、瞳孔位置検出回路102からの信号に基づき、瞳孔位置が中立位置からずれた量のみならずずれた方向も検出され、その検出結果に基づき、複数の電極82,92に電圧が、液晶光学デバイス70がブレーズド格子として機能するための電圧値分布パターンで印加される態様で本発明を実施することが可能である。
 図8に戻ると、本実施形態においては、ステップS3において、上述のモード選択アルゴリズムに従い、瞳孔の水平方向位置Xに基づき、水平方向トラッキングのために採用すべきモードが選択される。その後、ステップS4において、上述のモード選択アルゴリズムに従い、瞳孔の垂直方向位置Yに基づき、垂直方向トラッキングのために採用すべきモードが選択される。
 続いて、ステップS5において、液晶光学デバイス70の第1部分72、すなわち、射出瞳を水平方向に移動させるための部分における複数の電極84に電圧が、ステップS3において選択されたモードに対応する電圧分布パターンで印加される。これにより、射出瞳の、水平方向における位置が、瞳孔の、現在の水平方向位置に接近ないし一致させられる。
 その後、ステップS6において、液晶光学デバイス70の第2部分74、すなわち、射出瞳を垂直方向に移動させるための部分における複数の電極94に電圧が、ステップS4において選択されたモードに対応する電圧分布パターンで印加される。これにより、射出瞳の垂直方向位置が、瞳孔の、現在の垂直方向位置に接近ないし一致させられる。
 以上で、この瞳孔トラッキングプログラムの一回の実行が終了する。
 図11には、前述の画像位置補正プログラムが概念的にフローチャートで表されている。
 前述のように、この液晶光学デバイス70は、図12に示すように、リレー光学系16と接眼光学系22との間に位置する中間像面から距離dだけオフセットした位置(本実施形態においては、接眼光学系22寄りの位置)に配置されている。
 図12(a)には、液晶光学デバイス70が、モード1において、0次光を出射し、その結果、射出瞳が中立位置P1に位置することが示されている。一方、液晶光学デバイス70に各瞬間ごとに入射するレーザビームは、異なる点を通過する複数の光線の束であると考えられる。
 図12(a)において、「A」は、液晶光学デバイス70に入射するレーザビーム(中心光線)の光軸と中間像面との交点Oを通過する一垂直線と、前記複数の光線のうち最も上側に位置するものの中心線との交点を意味する。これに対し、「B」は、上記一垂直線と、前記複数の構成のうち最も下側に位置するものの中心線との交点を意味する。AとOとBとによって規定される位置は、液晶光学デバイス70の背後に虚像として投影され、その位置関係は、観察者にとっては、表示画像の位置関係と等しい。
 図12(b)には、液晶光学デバイス70が、モード2または3において、1次光を出射し、その結果、射出瞳が、中立位置P1から距離aだけオフセットした位置P2に位置することが示されている。
 液晶光学デバイス70は、モード2または3において、+1次光と-1次光とを出射するが、図12(b)には、説明を簡単にするために、それら+1次光と-1次光とのうち、瞳孔に入射することとなる射出瞳を形成する回折光のみが示されている。
 図12(b)においては、液晶光学デバイス70が、リレー光学系16と接眼光学系22との間に位置する中間像面から距離dだけオフセットした位置に配置されているという理由から、液晶光学デバイス70の背後に形成される虚像の位置が、Aから上方にずれたA’と、Oから上方にずれたO’と、Bから上方にずれたB’とによって規定される。
 図13(a)および図13(b)にはそれぞれ、図12(a)に示すモード1および図12(b)に示すモード2または3の場合に観察者によって観察される画像(虚像)の一例が示されている。観察者は、モード2または3が選択されると、画像を、モード1が選択されたときより上方に移動するように観察する。このような移動は、予定されていないものであるため、解消ないし軽減することが、観察者が画像を安定的に観察することを可能にするために必要である。
 一方、画像が予定外に移動する量は、射出瞳の移動量に依存する。したがって、射出瞳の移動量が決まれば、画像が予定外に移動する量が一義的に決まり、ひいては、その予定外移動量をキャンセルするために表示画像を移動させるべき量も一義的に決まる。
 ここで、図11を参照することにより、前述の画像位置補正プログラムを具体的に説明する。
 この画像位置補正プログラムは、ヘッドマウントディスプレイ装置10の電源が投入されている間、定期的に繰り返し実行される。
 各回の実行時には、まず、ステップS101において、図8に示すステップS3の実行によって選択された水平方向トラッキング用モードの種類から、射出瞳の水平方向移動量が求められる。モードの種類と射出瞳の水平方向移動量との関係が予めメモリ部124に記憶されており、その関係に従い、今回のモードの種類から、射出瞳の水平方向移動量の今回値が求められる。
 次に、ステップS102において、ステップS101に準じて、図8に示すステップS4の実行によって選択された垂直方向トラッキング用モードの種類から、射出瞳の垂直方向移動量が求められる。モードの種類と射出瞳の垂直方向移動量との関係が予めメモリ部124に記憶されており、その関係に従い、今回のモードの種類から、射出瞳の垂直方向移動量の今回値が求められる。
 続いて、ステップS103において、画像位置の水平方向補正量が、射出瞳の水平方向移動量に応じて一義的に決まる、画像位置の水平方向移動量を打ち消すための値を有するように求められる。射出瞳の水平方向移動量と画像位置の水平方向移動量との関係が予めメモリ部124に記憶されており、その関係に従い、射出瞳の水平方向移動量の今回値から、画像位置の水平方向移動量の今回値が求められ、ひいては、画像位置の水平方向補正量の今回値が求められる。
 その後、ステップS104において、ステップS103に準じて、画像位置の垂直方向補正量が、射出瞳の垂直方向移動量に応じて一義的に決まる、画像位置の垂直方向移動量を打ち消すための値を有するように求められる。射出瞳の垂直方向移動量と画像位置の垂直方向移動量との関係が予めメモリ部124に記憶されており、その関係に従い、射出瞳の垂直方向移動量の今回値から、画像位置の垂直方向移動量の今回値が求められ、ひいては、画像位置の垂直方向補正量の今回値が求められる。
 続いて、ステップS105において、前述の画像位置信号が、上述のようにして求められた画像位置の水平方向補正量および垂直方向補正量を表すように生成される。その後、ステップS106において、その生成された画像位置信号がLCDドライバ42に出力される。
 以上で、この画像位置補正プログラムの一回の実行が終了する。
 したがって、本実施形態によれば、射出瞳の移動の有無にかかわらず、観察者は、安定した位置において画像を観察することが可能となり、その結果、ヘッドマウントディスプレイ装置10による画像の表示品質が向上する。
 以上の説明から明らかなように、本実施形態においては、説明の便宜上、液晶光学デバイス70と、信号処理装置120のうち図8に示す瞳孔トラッキングプログラムを実行する部分とが互いに共同して、前記(1)項における「射出瞳制御部」の一例を構成し、液晶光学デバイス70が同項における「光学素子」の一例を構成し、信号処理装置120のうち図8に示す瞳孔トラッキングプログラムを実行する部分が、同項における「射出瞳制御手段」の一例を構成し、信号処理装置120のうち図11に示す画像位置補正プログラムを実行する部分が、同項における「変換特性補正手段」の一例を構成していると考えることが可能である。
 さらに、本実施形態においては、説明の便宜上、LCDドライバ42に供給される画像信号と画像位置信号との組合せが、前記(9)項における「画像信号」の一例を構成し、射出瞳の水平方向移動量と垂直方向移動量との組合せが、同項における「光学素子の制御量に関連する物理量」の一例を構成していると考えることが可能である。
 なお付言するに、本実施形態においては、瞳孔の動きに追従するように自動的に射出瞳が移動させられるが、ユーザからの指令に応じた位置に射出瞳が移動するように液晶光学デバイス70が電気的に制御される態様で本発明を実施することが可能である。
 次に、本発明の第2実施形態を説明する。ただし、本実施形態は、第1実施形態に対して、光源部および画像光形成部についてのみ異なり、他の要素については共通するため、光源部および画像光形成部についてのみ説明する。
 図14には、本発明の第2実施形態に従うヘッドマウントディスプレイ装置150が概念的に光路図で示されている。
 このヘッドマウントディスプレイ装置150は、概略的には、光源から入射したビーム状の光であって各画素ごとに強度変調されたものを、スキャナを用いて、面状の画像光に変換し、そのようにして形成された画像光を観察者の瞳孔を経て直接的に観察者の網膜上に投影し、それにより、観察者が画像を虚像として観察することを可能にするように構成されている。
 図14に示すように、このヘッドマウントディスプレイ装置150は、光源部152と、画像光形成部154とを、第1実施形態とは異なる要素として有する一方、射出瞳制御部18と、瞳孔位置検出部20と、接眼光学系22とを、第1実施形態と共通する要素として有している。
 光源部152は、赤色レーザビームを発するレーザ160と、緑色レーザビームを発するレーザ162と、青色レーザビームを発するレーザ164とを備えている、それらレーザ160,162,164はそれぞれ、個別のレーザドライバ170,172,174により、発生させるレーザビームの強度が変調される。具体的には、各レーザドライバ170,172,174は、各色のレーザビームに対応する画像信号に基づき、各画素ごとに強度(輝度)を実現するレーザビームを各レーザ160,162,164から発生させる。発生させられる各レーザビームの強度は時間的に変化する。
 本実施形態においては、各レーザドライバ170,172,174に、上述の画像信号に加えて、画像位置信号も入力される。その画像位置信号は、3色のレーザビームを用いて最終的に2次元的に形成される画像の、観察者に対する位置を、デフォールト位置から水平方向と垂直方向とにそれぞれ変位するために各レーザドライバ170,172,174に入力される。そのため、その画像位置信号は、表示画像の、デフォールト位置からの水平方向移動量を表す成分と、垂直方向移動量を表す成分とを有するように生成される。
 レーザ160,162,164から発生する3色のレーザビームは、対応する画素の色および輝度を反映する1つのレーザビームとして合成される。その合成されたレーザビームは、画像光形成部154に入射する。
 画像光形成部154は、光源部152から入射したレーザビームを水平方向に走査するために駆動される主走査ミラー180(例えば、ポリゴンミラー)と、その主走査ミラー180から入射したレーザビームを今度は、垂直方向に走査するために駆動される副走査ミラー182(例えば、ガルバノミラー)とを備えている。主走査ミラー180は、主走査ミラードライバ190によって駆動され、また、副走査ミラー182は、副走査ミラードライバ192によって駆動される。
 画像光形成部154は、さらに、前段リレーレンズ200と、後段リレーレンズ202とを備えている。前段リレーレンズ200は、主走査ミラー180の像を副走査ミラー182上に結像するように構成され、一方、後段リレーレンズ202は、副走査ミラー182によって走査された光束が液晶光学デバイス70上で中間像面を形成するように配置されている。
 なお付言するに、液晶光学デバイス70は、後段リレーレンズ202と接眼レンズ110との間の中間像面と同じ位置に配置されているが、図14においては、説明の便宜上、実際の距離関係とは異なって記載されている。
 本実施形態においても、第1実施形態と同様にして、射出瞳制御部18が、瞳孔位置検出部20による瞳孔位置の検出結果に基づき、ヘッドマウントディスプレイ装置150の射出瞳を、瞳孔位置の変化に追従するように移動させる。その結果、観察者は、瞳孔移動の有無にかかわらず、表示画像を同じ表示状態で観察し続けることが可能となる。
 ところで、第1実施形態においては、光源部12からの出射光を画像光形成部14が画像光に変換する変換特性が、LCDドライバ42に入力される画像位置信号に依存しており、その画像位置信号は、射出瞳の移動量に応じて生成され、その結果、射出瞳の移動の有無にかかわらず、観察者が画像を安定した位置において観察し続けることが可能となる。
 これに対し、本実施形態においては、光源部152からの出射光を画像光形成部154が画像光に変換する変換特性が、レーザドライバ170,172,174に入力される画像位置信号に依存しており、その画像位置信号は、射出瞳の移動量に応じて生成され、その結果、射出瞳の移動の有無にかかわらず、観察者が画像を安定した位置において観察し続けることが可能となる。
 以上の説明から明らかなように、本実施形態においては、説明の便宜上、レーザドライバ170,172,174に供給される画像信号と画像位置信号との組合せが、前記(12)項における「画像信号」の一例を構成し、射出瞳の水平方向移動量と垂直方向移動量とがそれぞれ、同項における「光学素子の制御量に関連する物理量」の一例を構成していると考えることが可能である。
 次に、本発明の第3実施形態を説明する。ただし、本実施形態は、第1実施形態に対して、射出瞳制御部についてのみ異なり、他の要素については共通するため、射出瞳制御部についてのみ説明する。本実施形態につき、第1実施形態と共通する要素については、同一の符号または名称を用いて引用することにより、重複した説明を省略する。
 図15には、本実施形態に従うヘッドマウントディスプレイ装置300が光路図で示されている。
 図1に示すように、第1実施形態においては、射出瞳制御部18が、透過型光学素子としての液晶光学デイバス70を主体として構成されているが、本実施形態においては、図15に示すように、射出瞳制御部310が、反射型光学素子としての偏向ミラー312を主体として構成されている。
 具体的には、射出瞳制御部310は、観察者の瞳孔位置の変化に追従するように、ヘッドマウントディスプレイ装置300の射出瞳の位置を制御するために設けられている。この射出瞳制御部310における偏向ミラー312は、ヘッドマウントディスプレイ装置300におけるある中間像面の位置に一致する位置に配置されている。
 図16に示すように、偏向ミラー312は、水平方向に延びるX軸まわりに揺動可能なフレーム314に、垂直方向に延びるY軸まわりに揺動可能に装着された揺動ミラーである。フレーム314は、ヘッドマウントディスプレイ装置300のうちの静止部材に装着された図示しないX軸アクチュエータによって揺動させられる一方、偏向ミラー312は、フレーム314に装着された図示しないY軸アクチュエータによって揺動させられる。その結果、ヘッドマウントディスプレイ装置300のうちの静止部材に対する偏向ミラー312の角度は、2次元的に調整可能となる。
 図15に示すように、この偏向ミラー312は、偏向ミラードライバ320によって駆動される。
 射出瞳制御部310は、瞳孔位置検出部20によって検出された瞳孔位置に基づき、観察者の各眼ごとに、瞳孔位置の変化に追従するように、偏向ミラー312の角度を変更し、それにより、ヘッドマウントディスプレイ装置300の射出瞳を移動させる。
 瞳孔位置検出部20は、観察者の眼の瞳孔位置を検出するために有用な情報を取得するために使用されるデバイスとして、観察者の眼からの反射光を取り出すハーフミラー330を備えている。この瞳孔位置検出部20は、さらに、そのハーフミラー330からの入射光に基づき、瞳孔位置を光学的に検出する瞳孔位置検出回路102を備えている。
 ハーフミラー330は、リレー光学系16からの入射光を偏向ミラー312に向けて透過させるとともに、その透過光を接眼光学系22に向けて反射する。このハーフミラー330は、さらに、観察者の眼からの反射光であって、接眼光学系22からの入射光を、瞳孔位置検出回路102の受光部(図示しない)に向けて透過させる。
 すなわち、このハーフミラー330は、観察者の眼からの反射光を瞳孔位置検出回路102に誘導する機能のみならず、偏向ミラー312からの出射光を接眼光学系22に誘導する機能をも果たすように設計されているのである。
 図17には、このヘッドマウントディスプレイ装置300のうちの電気的な部分がブロック図で概念的に表されている。このヘッドマウントディスプレイ装置300は、第1実施形態におけると同様に、信号処理装置120を備えている。
 その信号処理装置120は、LEDドライバ32、LCDドライバ42、瞳孔位置検出回路102、偏向ミラードライバ320および可変焦点レンズドライバ72に電気的に接続されている。
 図18に示すように、メモリ部124には、画像表示プログラムと、瞳孔トラッキングプログラムと、画像スケール補正プログラムとが不揮発的に予め記憶されている。画像表示プログラムは、第1実施形態における画像表示プログラムと共通するため、重複した説明を省略する。
 これに対し、瞳孔トラッキングプログラムは、瞳孔位置検出回路102からの信号であって瞳孔位置を表すものに基づき、その瞳孔位置の変化に追従するようにヘッドマウントディスプレイ装置300の射出瞳を移動させるためにコンピュータ122によって実行される。すなわち、瞳孔トラッキングプログラムは、射出瞳が瞳孔位置をトラッキングするようにするためにコンピュータ122によって実行されるのである。
 図19には、その瞳孔トラッキングプログラムが概念的にフローチャートで表されている。この瞳孔トラッキングプログラムは、ヘッドマウントディスプレイ装置300の電源(図示しない)がユーザによって投入された後に、自動的に定期的に実行されるか、またはユーザからのリクエストに応答して実行される。
 その実行時には、まず、ステップS201において、瞳孔位置検出回路102からの信号に基づき、瞳孔の水平方向位置Xが検出され、次に、ステップS202において、瞳孔位置検出回路102からの信号に基づき、瞳孔の垂直方向位置Yが検出される。
 続いて、ステップS203において、検出された水平方向位置Xに基づき、射出瞳が水平方向に瞳孔位置をトラッキングするために偏向ミラー312がY軸まわりに回転すべき角度、すなわち、Y軸まわり角度変更量(偏向ミラー312を回転させる向きを含む)が決定される。
 本実施形態においては、水平方向位置X(瞳孔位置の、中立位置からの水平方向ずれ量)と偏向ミラー312のY軸まわりの、中立位置からの回転角度量との対応関係がテーブルとしてメモリ部124に予め記憶されており、その関係に従い、瞳孔の水平方向位置Xの今回値に対応する偏向ミラー312のY軸まわり角度変更量が決定される。
 その後、ステップS204において、ステップS203に準じて、検出された垂直方向位置Yに基づき、射出瞳が垂直方向に瞳孔位置をトラッキングするために偏向ミラー312がX軸まわりに回転すべき角度、すなわち、X軸まわり角度変更量(偏向ミラー312を回転させる向きを含む)が決定される。
 本実施形態においては、垂直方向位置Y(瞳孔位置の、中立位置からの垂直方向ずれ量)と偏向ミラー312のX軸まわりの、中立位置からの回転角度量との対応関係がテーブルとしてメモリ部124に予め記憶されており、その関係に従い、瞳孔の垂直方向位置Yの今回値に対応する偏向ミラー312のX軸まわり角度変更量が決定される。
 続いて、ステップS205において、ステップS203およびS204においてそれぞれ決定されたY軸まわり角度変更量およびX軸まわり角度変更量を実現することを偏向ミラードライバ320に出力すべき制御信号が生成される。
 その後、ステップS206において、その生成された制御信号が偏向ミラードライバ320に出力され、その結果、射出瞳の水平方向位置および垂直方向位置がそれぞれ、瞳孔の、現在の水平方向位置および垂直方向位置に接近ないし一致させられる。
 以上で、この瞳孔トラッキングプログラムの一回の実行が終了する。
 図20には、前述の画像スケール補正プログラムが概念的にフローチャートで表されている。以下、この画像スケール補正プログラムを説明するが、それに先立ち、この画像スケール補正プログラムを用いる背景および目的を説明する。
 図21には、図15に示すヘッドマウントディスプレイ装置300のうち、リレー光学系16と、ハーフミラー100と、偏向ミラー312と、接眼光学系22との間における光の経路が示されている。さらに、接眼光学系22から出射した光が、射出瞳および観察者の眼球レンズを順に経て、観察者の眼の網膜上に到達する様子も示されている。
 図21には、偏向ミラー312が中立位置にあって、射出瞳が中立位置P1に一致する場合に、接眼光学系22から出射する光によって形成される像面が示されている。この場合には、観察者は、寸法dAの像面が投影された虚像を知覚することになる。
 これに対して、図22には、偏向ミラー312が、中立位置から回転した位置にあって、射出瞳が、中立位置P1から距離aだけずれた位置P2に一致する場合に、偏向ミラー312に入射する光とそこから出射する光とが示されている。ここに、「偏向ミラー312が、中立位置から回転した位置にある状態」とは、偏向ミラー312上のすべての点が、図22に示すように、中間像面上に位置するわけではない状態である。すなわち、偏向ミラー312が全体的に中間像面に一致するわけではない状態なのである。
 図22に示すように、各瞬間においてある2次元画像を構成する複数個の画素をそれぞれ形成する複数本の光線に着目すると、偏向ミラー312のうち、中間像面に対して射出瞳に近い部分(図22においては、偏向ミラー312のうちの上部)に入射する光線は、中間像面より手前の位置で反射して射出瞳に向かう。
 これに対し、図22に示すように、偏向ミラー312のうち、中間像面に対して射出瞳から遠い部分(図22においては、偏向ミラー312のうちの下部)に入射する光線は、中間像面より遠い位置で反射して射出瞳に向かう。
 一方、観察者は、虚像を、中間像面上に存在するように知覚する。そのため、偏向ミラー312が全体的に中間像面に一致する場合には、虚像の大きさがdAの像面が投影された虚像となるが、偏向ミラー312が全体的に中間像面に一致するわけではない場合には、虚像の大きさがdBの像面が投影された像に一致する。寸法dBは、寸法dAより大きいから、結局、射出瞳が中立位置P1から外れている場合には、観察者は、表示画像を、理想的な画像より大きいものとして知覚することになる。
 一方、実際に知覚される表示画像の大きさの、理想的な画像の大きさに対するスケールは、1より大きく、かつ、そのスケールは、射出瞳の、中立位置P1から移動量aに応じて一義的に決まる。また、表示画像の大きさは、LCDドライバ42に供給される画像信号を補正すれば、変更することが可能である。
 そこで、本実施形態においては、射出瞳を移動させることが必要である場合に、その射出瞳の移動に起因する表示画像の拡大が、画像信号の事前補正によって抑制されるのである。
 ここで、図20を参照することにより、前述の画像スケール補正プログラムを具体的に説明する。
 この画像スケール補正プログラムは、ヘッドマウントディスプレイ装置300の電源が投入されている間、定期的に繰り返し実行される。
 各回の実行時には、まず、ステップS301において、図19に示すステップS203の実行によって決定された偏向ミラー312のY軸まわり角度変更量(中立位置からのずれ量)に応じて、射出瞳の水平方向移動量(中立位置からのずれ量)が求められる。
 なお、射出瞳の水平方向移動量は、瞳孔の水平方向位置Xに常に実質的に一致させられることを前提としてもよい場合には、図19に示すステップS201の実行によって検出された瞳孔の水平方向位置Xとして取得してもよい。
 本実施形態においては、偏向ミラー312のY軸まわり角度変更量と射出瞳の水平方向移動量との関係が予めメモリ部124に記憶されており、その関係に従い、射出瞳の水平方向移動量の今回値が求められる。
 次に、ステップS302において、ステップS301に準じて、図19に示すステップS204の実行によって決定された偏向ミラー312のX軸まわり角度変更量(中立位置からのずれ量)に応じて、射出瞳の垂直方向移動量(中立位置からのずれ量)が求められる。
 なお、射出瞳の垂直方向移動量は、瞳孔の垂直方向位置Yに常に実質的に一致させられることを前提としてもよい場合には、図19に示すステップS202の実行によって検出された瞳孔の垂直方向位置Yとして取得してもよい。
 本実施形態においては、偏向ミラー312のX軸まわり角度変更量と射出瞳の垂直方向移動量との関係が予めメモリ部124に記憶されており、その関係に従い、射出瞳の垂直方向移動量の今回値が求められる。
 続いて、ステップS303において、射出瞳の水平方向移動に起因する表示画像の水平方向拡大を抑制するために実現すべきスケール補正率が決定される。このスケール補正率の大きさは、射出瞳の水平方向移動量(中立位置からの水平方向ずれ量)に基づいて決定される。具体的には、射出瞳の水平方向移動量と水平方向スケール補正率との間に予め定められた関係であってメモリ部124に予め記憶されているものに従い、今回の水平方向スケール補正率が決定される。
 その後、ステップS304において、射出瞳の垂直方向移動に起因する表示画像の垂直方向拡大を抑制するために実現すべきスケール補正率が決定される。このスケール補正率の大きさは、射出瞳の垂直方向移動量(中立位置からの垂直方向ずれ量)に基づいて決定される。具体的には、射出瞳の垂直方向移動量と垂直方向スケール補正率との間に予め定められた関係であってメモリ部124に予め記憶されているものに従い、今回の垂直方向スケール補正率が決定される。
 続いて、ステップS305において、もと画像信号がR/G/Bバッファ130から取り込まれる。その後、ステップS306において、その取り込まれたもと画像信号が、上記決定された水平方向スケール補正率および垂直方向スケール補正率が同時に実現されるように、補正される。図18に示す画像表示プログラムは、その補正された画像信号をLCDドライバ42に供給することにより、画像を表示するように実行される。
 以上で、この画像スケール補正プログラムの一回の実行が終了する。
 したがって、本実施形態によれば、射出瞳の移動の有無にかかわらず、観察者は、画像を、その画像の予定外の拡大が抑制された状態で観察することが可能となり、その結果、ヘッドマウントディスプレイ装置300による画像の表示品質が向上する。
 以上の説明から明らかなように、本実施形態においては、説明の便宜上、可変焦点レンズ70と、信号処理装置120のうち図19に示す瞳孔トラッキングプログラムを実行する部分とが互いに共同して、前記(1)項における「射出瞳制御部」の一例を構成し、信号処理装置120のうち図19に示す瞳孔トラッキングプログラムを実行する部分が、同項における「射出瞳制御手段」の一例を構成し、信号処理装置120のうち図20に示す画像スケール補正プログラムを実行する部分が、同項における「変換特性補正手段」の一例を構成し、偏向ミラー312が同項における「光学素子」の一例を構成していると考えることが可能である。
 さらに、本実施形態においては、説明の便宜上、LCDドライバ42に供給される画像信号が、前記(9)項における「画像信号」の一例を構成し、射出瞳の水平方向移動量と垂直方向移動量とがそれぞれ、同項における「光学素子の制御量に関連する物理量」の一例を構成していると考えることが可能である。
 以上、本発明の実施の形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、前記[発明の開示]の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
本発明の第1実施形態に従うヘッドマウントディスプレイ装置10を概念的に表す光路図である。 図1に示す液晶光学デバイス70を示す断面図である。 図2に示す液晶光学デバイス70による回折パターンと、その液晶光学デバイス70の複数の電極84に電圧を印加するためのモードの種類との関係を説明するための図である。 図2に示す液晶光学デバイス70の複数の電極84に電圧を印加するためのモードの種類を説明するためのグラフである。 図2に示す液晶光学デバイス70の回折により、図1に示すヘッドマウントディスプレイ装置10の射出瞳が移動する原理を説明するための光路図である。 図1に示すヘッドマウントディスプレイ装置10のうちの電気的な構成を概念的に説明するためのブロック図である。 図6に示すメモリ部124に予め記憶されているプログラムを示す図である。 図7に示す瞳孔トラッキングプログラムを概念的に表すフローチャートである。 図8に示す瞳孔トラッキングプログラムにおいて、瞳孔位置に応じて3つのモードのうちのいずれかを選択するために従うアルゴリズムを説明するための図である。 図10(a)は、図2に示す液晶光学デバイス70の複数の電極84に電圧を印加するための別のモード4を説明するためのグラフであり、図10(b)は、そのモード4を選択したときに実現される液晶光学デバイス70の回折パターンを説明するための光路図である。 図7に示す画像位置補正プログラムを概念的に表すフローチャートである。 図1に示す液晶光学デバイス70による回折によって射出瞳が移動するのに伴って中間像面上の虚像が移動する原理を説明するための光路図である。 図1に示す液晶光学デバイス70による回折によって射出瞳が移動するのに伴って表示画像が観察者に対して相対的に移動する様子を説明するための図である。 本発明の第2実施形態に従うヘッドマウントディスプレイ装置150を概念的に表す光路図である。 本発明の第3実施形態に従うヘッドマウントディスプレイ装置300を概念的に表す光路図である。 図15に示す偏向ミラー312を拡大して示す正面図である。 図15に示すヘッドマウントディスプレイ装置300のうちの電気的な構成を概念的に説明するためのブロック図である。 図17に示すメモリ部124に予め記憶されているプログラムを示す図である。 図18に示す瞳孔トラッキングプログラムを概念的に表すフローチャートである。 図18に示す画像スケール補正プログラムを概念的に表すフローチャートである。 図20に示す画像スケール補正プログラムを説明するための光路図である。 図20に示す画像スケール補正プログラムを説明するための別の光路図である。

Claims (19)

  1.  画像を光学的に表示する画像表示装置であって、
     光源部と、
     その光源部から出射する光を、観察者に表示すべき画像を表す画像光に変換することにより、その画像光を形成する画像光形成部と、
     当該画像表示装置の射出瞳の位置を制御する射出瞳制御部と
     を含み、
     その射出瞳制御部は、
     当該画像表示装置において前記画像光が進行する経路の途中に配置された光学素子と、
     その光学素子を制御することにより、前記射出瞳の位置を制御する射出瞳制御手段と
     を含み、
     前記画像光形成部は、前記光学素子の制御に起因する、観察者によって認識される画像の幾何学的特性の変化が打ち消されるように、前記光学素子の制御量またはその制御量に関連する物理量に基づき、前記画像光形成部が前記光源部からの出射光を前記画像光に変換する変換特性を補正する変換特性補正手段を含む画像表示装置。
  2.  前記幾何学的特性は、観察者によって実際に認識される画像の位置を含む請求の範囲第1項に記載の画像表示装置。
  3.  前記幾何学的特性は、観察者によって実際に認識される画像のスケールを含む請求の範囲第1項に記載の画像表示装置。
  4.  前記光学素子は、前記画像光形成部から入射した画像光に対して回折を行うとともに、回折光の角度が電気的に可変である電気的制御素子を含む請求の範囲第1項に記載の画像表示装置。
  5.  前記電気的制御素子は、液晶光学デバイスを含み、
     その液晶光学デバイスは、各々ストライプ状を成す複数の電極と、それら複数の電極が形成された表面を有する液晶層とを含むように構成されるとともに、前記複数の電極にそれぞれ一斉に印加される複数の電圧値の分布パターンに応じて、当該液晶光学デバイスから出射する回折光の角度が変化する特性を有している請求の範囲第4項に記載の画像表示装置。
  6.  前記光学素子は、電気光学効果偏向器EODと、音響光学偏向器AODとのうちの少なくとも一方を含む請求の範囲第1項に記載の画像表示装置。
  7.  当該画像表示装置は、前記画像光の経路の途中に中間像面を有し、
     前記光学素子は、その中間像面の位置と概して等しい位置に配置された請求の範囲第1項に記載の画像表示装置。
  8.  当該画像表示装置は、前記画像光の経路の途中に中間像面を有し、
     前記光学素子は、その中間像面の位置から外れた位置に配置された請求の範囲第1項に記載の画像表示装置。
  9.  前記画像光形成部は、画像信号に基づき、前記光源部から入射した面状の光に対して各画素ごとに空間変調を施すことにより、前記画像光を形成するフラットパネルディスプレイを含み、
     そのフラットパネルディスプレイは、前記画像信号に応じて、前記光源部からの出射光を前記画像光に変換し、
     前記変換特性は、前記画像信号に依存しており、
     前記変換特性補正手段は、前記光学素子の制御量またはそれに関連する物理量に基づき、前記画像信号を補正する請求の範囲第1項に記載の画像表示装置。
  10.  前記フラットパネルディスプレイは、液晶ディスプレイと、有機エレクトロルミネッセンスと、デジタルマイクロミラーデバイスとのうちの少なくとも一つを含む請求の範囲第9項に記載の画像表示装置。
  11.  前記光学素子は、入射光に対する角度が可変である偏向ミラーを含み、
     前記射出瞳制御手段は、その偏向ミラーの、入射光に対する角度を変化させることにより、観察者の瞳孔位置の変化に追従するように、前記射出瞳の位置を制御し、
     前記変換特性補正手段は、前記偏向ミラーの、入射光に対する角度またはその角度に関連する物理量に基づいて前記変換特性を補正する請求の範囲第1項に記載の画像表示装置。
  12.  前記光源部は、画像信号に基づき、観察者に表示すべき画像の各画素ごとに輝度を実現するビーム状の光を発生させ、
     前記画像光形成部は、前記光源部から入射したビーム状の光を、少なくとも1枚の揺動ミラーを用いて、2次元的にスキャンすることにより、前記画像光を形成する光スキャナを含み、
     前記変換特性は、前記画像信号に依存しており、
     前記変換特性補正手段は、前記光学素子の制御量またはそれに関連する物理量に基づき、前記画像信号を補正する請求の範囲第1項に記載の画像表示装置。
  13.  前記画像光形成部は、前記光源部から入射したビーム状の光を、少なくとも1枚の揺動ミラーを用いて、2次元的にスキャンすることにより、前記画像光を形成する光スキャナを含み、
     前記変換特性は、前記揺動ミラーの最大揺動角に依存しており、
     前記変換特性補正手段は、前記光学素子の制御量またはそれに関連する物理量に基づき、前記揺動ミラーの最大揺動角を補正する請求の範囲第1項に記載の画像表示装置。
  14.  さらに、前記瞳孔の位置を検出する瞳孔位置検出部を含み、
     前記射出瞳制御手段は、その瞳孔位置検出部からの出力信号に基づき、観察者の瞳孔の動きに追従するように前記射出瞳を移動させるために、前記光学素子を制御する請求の範囲第1項に記載の画像表示装置。
  15.  前記射出瞳制御手段は、ユーザからの指令を表す入力信号に応じて、前記光学素子を制御することにより、前記射出瞳の位置を、前記入力信号に応じた位置に移動するように制御する請求の範囲第1項に記載の画像表示装置。
  16.  前記変換特性補正手段は、前記光学素子の制御量またはそれに関連する物理量に基づき、前記画像の、前記回折の方向における平行移動量を決定する請求の範囲第4項に記載の画像表示装置。
  17.  前記変換特性補正手段は、前記光学素子の制御量またはそれに関連する物理量に基づき、前記画像の、前記揺動ミラーの揺動方向における拡大・縮小率を決定する請求の範囲第13項に記載の画像表示装置。
  18.  前記変換特性補正手段は、前記射出瞳の移動量に応じて、前記画像の位置の補正量を決定する請求の範囲第2項に記載の画像表示装置。
  19.  前記変換特性補正手段は、前記射出瞳の移動量に応じて、前記画像のスケールの補正量を決定する請求の範囲第3項に記載の画像表示装置。
PCT/JP2009/052273 2008-02-12 2009-02-12 画像表示装置 WO2009101957A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008-029944 2008-02-12
JP2008029944A JP2009192559A (ja) 2008-02-12 2008-02-12 画像表示装置

Publications (1)

Publication Number Publication Date
WO2009101957A1 true WO2009101957A1 (ja) 2009-08-20

Family

ID=40956987

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/052273 WO2009101957A1 (ja) 2008-02-12 2009-02-12 画像表示装置

Country Status (2)

Country Link
JP (1) JP2009192559A (ja)
WO (1) WO2009101957A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2732327A4 (en) * 2011-07-12 2015-06-24 Google Inc MIRROR DISPLAY SYSTEM WITH COLLECTION OF FULL IMAGES

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5953311B2 (ja) * 2010-11-08 2016-07-20 シーリアル テクノロジーズ ソシエテ アノニムSeereal Technologies S.A. 表示装置
KR20200108666A (ko) * 2019-03-11 2020-09-21 삼성전자주식회사 영상의 횡이동이 가능한 디스플레이 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08502372A (ja) * 1992-10-22 1996-03-12 ボード オブ リージェンツ オブ ザ ユニバーシティ オブ ワシントン 仮想網膜表示装置
JPH09270979A (ja) * 1996-03-29 1997-10-14 Fujitsu General Ltd 投写型表示装置
JP2002215114A (ja) * 2001-01-19 2002-07-31 Victor Co Of Japan Ltd 台形歪み補正装置
JP2009002982A (ja) * 2007-06-19 2009-01-08 Seiko Epson Corp 表示装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08502372A (ja) * 1992-10-22 1996-03-12 ボード オブ リージェンツ オブ ザ ユニバーシティ オブ ワシントン 仮想網膜表示装置
JPH09270979A (ja) * 1996-03-29 1997-10-14 Fujitsu General Ltd 投写型表示装置
JP2002215114A (ja) * 2001-01-19 2002-07-31 Victor Co Of Japan Ltd 台形歪み補正装置
JP2009002982A (ja) * 2007-06-19 2009-01-08 Seiko Epson Corp 表示装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2732327A4 (en) * 2011-07-12 2015-06-24 Google Inc MIRROR DISPLAY SYSTEM WITH COLLECTION OF FULL IMAGES

Also Published As

Publication number Publication date
JP2009192559A (ja) 2009-08-27

Similar Documents

Publication Publication Date Title
JP5169272B2 (ja) 画像表示装置
JP5650661B2 (ja) 透過型表示装置
EP3607381B1 (en) Wide field of view scanning display
JP5169253B2 (ja) 画像表示装置
JP5226528B2 (ja) 像誘導基板を有するディスプレイ
JP5842419B2 (ja) ヘッドアップディスプレイ装置
US8403490B2 (en) Beam scanning-type display device, method, program and integrated circuit
JP5732808B2 (ja) 虚像表示装置
US20120280956A1 (en) Display apparatus
WO2010116726A1 (ja) ビーム走査型表示装置
WO2006035737A1 (ja) 網膜走査型ディスプレイ
WO2018190007A1 (ja) 画像表示装置
US11789274B2 (en) Displays and methods of operating thereof
JP5901321B2 (ja) 画像表示装置
JP5353361B2 (ja) カラー画像表示装置
WO2009101957A1 (ja) 画像表示装置
JP5163166B2 (ja) 画像表示装置
JP4591123B2 (ja) 網膜走査型ディスプレイ
CN114174893A (zh) 具有降低功耗的显示装置
JP7163868B2 (ja) 虚像表示装置
US11495194B1 (en) Display apparatuses and methods incorporating pattern conversion
JP4380258B2 (ja) 画像表示装置
US20240192500A1 (en) Optical system for a retinal scan display and method for projecting image contents onto a retina
JP2005266187A (ja) 波面曲率変調器および画像表示装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09710363

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09710363

Country of ref document: EP

Kind code of ref document: A1