WO2021157204A1 - 映像追従情報検出装置、映像追従装置、映像追従情報検出方法及び映像追従方法 - Google Patents
映像追従情報検出装置、映像追従装置、映像追従情報検出方法及び映像追従方法 Download PDFInfo
- Publication number
- WO2021157204A1 WO2021157204A1 PCT/JP2020/046682 JP2020046682W WO2021157204A1 WO 2021157204 A1 WO2021157204 A1 WO 2021157204A1 JP 2020046682 W JP2020046682 W JP 2020046682W WO 2021157204 A1 WO2021157204 A1 WO 2021157204A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- information detection
- detection device
- tracking information
- reflection
- Prior art date
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 249
- 238000000034 method Methods 0.000 title claims description 40
- 230000003287 optical effect Effects 0.000 claims abstract description 88
- 210000005252 bulbus oculi Anatomy 0.000 claims abstract description 75
- 210000001747 pupil Anatomy 0.000 claims description 91
- 230000005540 biological transmission Effects 0.000 claims description 59
- 230000008569 process Effects 0.000 claims description 11
- 238000005516 engineering process Methods 0.000 description 38
- 238000004364 calculation method Methods 0.000 description 11
- 239000000758 substrate Substances 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 239000011521 glass Substances 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 210000004087 cornea Anatomy 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000010408 sweeping Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/02—Viewing or reading apparatus
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J1/00—Photometry, e.g. photographic exposure meter
- G01J1/02—Details
- G01J1/04—Optical or mechanical part supplementary adjustable parts
- G01J1/0407—Optical elements not provided otherwise, e.g. manifolds, windows, holograms, gratings
- G01J1/0411—Optical elements not provided otherwise, e.g. manifolds, windows, holograms, gratings using focussing or collimating elements, i.e. lenses or mirrors; Aberration correction
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J1/00—Photometry, e.g. photographic exposure meter
- G01J1/02—Details
- G01J1/04—Optical or mechanical part supplementary adjustable parts
- G01J1/0407—Optical elements not provided otherwise, e.g. manifolds, windows, holograms, gratings
- G01J1/0414—Optical elements not provided otherwise, e.g. manifolds, windows, holograms, gratings using plane or convex mirrors, parallel phase plates, or plane beam-splitters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J1/00—Photometry, e.g. photographic exposure meter
- G01J1/02—Details
- G01J1/04—Optical or mechanical part supplementary adjustable parts
- G01J1/0407—Optical elements not provided otherwise, e.g. manifolds, windows, holograms, gratings
- G01J1/0429—Optical elements not provided otherwise, e.g. manifolds, windows, holograms, gratings using polarisation elements
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J1/00—Photometry, e.g. photographic exposure meter
- G01J1/60—Photometry, e.g. photographic exposure meter by measuring the pupil of the eye
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0176—Head mounted characterised by mechanical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B5/00—Optical elements other than lenses
- G02B5/32—Holograms used as optical elements
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/02—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes by tracing or scanning a light beam on a screen
- G09G3/025—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes by tracing or scanning a light beam on a screen with scanning or deflecting the beams in two directions or dimensions
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/64—Constructional details of receivers, e.g. cabinets or dust covers
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0123—Head-up displays characterised by optical features comprising devices increasing the field of view
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0464—Positioning
Definitions
- the technology according to the present disclosure (hereinafter, also referred to as "the present technology”) relates to a video tracking information detection device, a video tracking device, a video tracking information detection method, and a video tracking method.
- Patent Document 1 discloses a display device equipped with a line-of-sight detection device and allowing a user to visually recognize an image as a virtual image through a half mirror serving as a projection surface.
- the present technology provides an image tracking information detection device capable of obtaining information for following the central portion of an image to the user's line of sight, an image tracking device provided with the image tracking information detection device, and the image tracking information detection device.
- An object of the present invention is to provide a video tracking information detection method to be used and a video tracking method using the video tracking information detection device.
- the present technology includes an image light projection unit that projects image light, and a transmission / reflection member that reflects a part of the image light projected from the image light projection unit toward the eyeball and transmits the other part.
- Display system and A diffractive optical element that is integrally provided with at least one invisible light source and the transmitted / reflecting member and includes a reflective diffractometer that reflects and diffracts invisible light from the invisible light source toward the eyeball, and the eyeball.
- a line-of-sight detection system including a light receiving element that receives the invisible light that has been reflected and reflected and diffracted by the reflection diffractometer.
- an image tracking information detection device in which a portion of the transmission / reflection member that is irradiated with a central portion of the image light and the reflection / diffraction portion overlap when viewed from the thickness direction of the transmission / reflection member.
- the portion of the transmission / reflection member that is irradiated with the central portion of the image light and the central portion of the reflection / diffraction portion may overlap.
- the size of the reflection diffracting portion may be equal to or smaller than the maximum diameter of the pupil of the eyeball.
- the maximum diameter of the pupil may be 8 mm.
- the image light projection unit may be provided integrally with the transmission / reflection member.
- the light receiving element may have a plurality of light receiving regions.
- the plurality of light receiving regions may be four light receiving regions arranged two-dimensionally.
- the diffractive optical element has a plurality of reflection diffractometers having different diffraction wavelengths and sizes stacked in the thickness direction, and the line-of-sight detection system includes a pupil diameter acquisition section for acquiring the pupil diameter of the eyeball.
- the plurality of invisible light sources having different emission wavelengths, and a lighting control unit capable of selectively lighting the plurality of invisible light sources based on the acquisition result by the pupil diameter acquisition unit may be included.
- the pupil diameter acquisition unit may include an illuminance sensor and obtain the pupil diameter based on the detection result of the illuminance sensor.
- the diffractive optical element has a plurality of the reflected diffractive portions having different diffraction wavelengths and sizes, which are laminated in the thickness direction.
- the line-of-sight detection system includes a plurality of the invisible light sources having different emission wavelengths, and each time the plurality of invisible light sources are turned on, the center of the image displayed by the image display system and the line of sight which is the direction of the eyeball. Information for calculating the deviation may be obtained.
- a beam splitter which is arranged between the reflection diffractometer and the light receiving element and in which invisible light from the invisible light source is incident is further provided, and the beam splitter is one of the invisible light from the invisible light source.
- the portion may be reflected toward the reflection diffusing portion, and a part of invisible light directed from the reflection diffusing portion toward the light receiving element may be transmitted.
- the line-of-sight detection system may have a collimating lens that uses invisible light emitted from the invisible light source as parallel light.
- the line-of-sight detection system may have a polarizing plate arranged on the optical path of the invisible light between the invisible light source and the reflected diffraction unit.
- the line-of-sight detection system may have a wavelength selection filter arranged on the optical path of the invisible light between the reflection diffractometer and the light receiving element.
- the image light projection unit may be provided integrally with the transmission / reflection member.
- the present technology includes the image tracking information detection device in which the image light projection unit is integrally provided with the transmission / reflection member.
- An actuator that moves the image display system and the diffractive optical element in a direction parallel to the in-plane direction of the transmission / reflection member, and an actuator.
- a control device that controls the actuator based on a signal from a light receiving element of the image tracking information detection device, and a control device that controls the actuator.
- a video tracking device may include a collimator lens that makes invisible light from the invisible light source parallel light having a cross-sectional size corresponding to the assumed movement range of the image display system and the diffractive optical element. ..
- the light receiving element has a plurality of light receiving regions arranged two-dimensionally, and the control device has a center of an image displayed by the image display system and the eyeball based on signals from the plurality of light receiving regions.
- the actuator may be controlled based on the detection result of detecting the deviation from the line of sight which is the direction.
- the control device may control the actuator so that the image of the image light follows the line of sight.
- the reflection diffracting portion has a vertically long shape, and the actuator may move the image display system and the diffracting optical element in a direction orthogonal to the longitudinal direction of the reflection diffracting portion.
- the reflection diffracting portion has a horizontally long shape, and the actuator may move the image display system and the diffracting optical element in a direction orthogonal to the longitudinal direction of the reflection diffracting portion.
- the diffraction optical element has a plurality of vertically elongated reflection diffraction portions having different diffraction wavelengths and sizes, which are laminated in the thickness direction, and the line-of-sight detection system obtains the pupil diameter of the eyeball. It has an acquisition unit, a plurality of invisible light sources having different emission wavelengths, and a lighting control unit capable of selectively lighting the plurality of invisible light sources based on the acquisition results of the pupil diameter acquisition unit.
- the actuator may move the image display system in a direction orthogonal to the longitudinal direction of the reflection diffraction unit.
- the diffractive optical element has a plurality of horizontally elongated reflection diffractive portions having different diffraction wavelengths and sizes, which are laminated in the thickness direction, and the line-of-sight detection system obtains the pupil diameter of the eyeball. It has an acquisition unit, a plurality of invisible light sources having different emission wavelengths, and a lighting control unit capable of selectively lighting the plurality of invisible light sources based on the acquisition results of the pupil diameter acquisition unit.
- the actuator may move the image display system in a direction orthogonal to the longitudinal direction of the reflection diffraction unit.
- the present technology also provides a video display device including the video tracking device.
- the present technology is a method of detecting image tracking information for making an image follow a line of sight by using the image tracking information detection device.
- the present technology is an image tracking method in which an image is made to follow a line of sight by using the image tracking information detection device.
- the process of displaying an image by the image display system of the image tracking information detection device and A step of acquiring the detection result of the line-of-sight detection system of the image tracking information detection device as deviation information between the line of sight and the center of the image, and A moving step of integrally moving at least the image light projecting unit, the transmitted reflection member, and the diffractive optical element based on the deviation information.
- video tracking methods including. In the moving step, at least the image light projection unit, the transmission reflection member, and the reflection diffraction unit may be integrally moved so as to make the image follow the line of sight.
- FIG. 7A to 7C are diagrams for explaining an example of a method of making a video center follow a line of sight by a video tracking device including a video tracking information detection device according to a first embodiment of the present technology. It is sectional drawing (the 1) for demonstrating the structural example of the image tracking information detection apparatus which concerns on 2nd Embodiment of this technique.
- FIG. 1 shows the state which the image center is deviated from the line of sight in the image tracking device provided with the image tracking information detection device which concerns on 1st Embodiment of this technique. It is a figure which shows the state which made the image center follow a line of sight by the image tracking device which includes the image tracking information detection device which concerns on 1st Embodiment of this technique.
- 7A to 7C are diagrams for explaining an example of a method of making a video center follow a line of sight by a video tracking device including a video tracking information detection device according to a first embodiment of the present technology. It is sectional drawing (the 1) for demonstrating the structural example of
- FIG. 2 is a cross-sectional view (No. 2) for explaining a configuration example of the image tracking information detection device according to the second embodiment of the present technology. It is a block diagram which shows the structural example of the control device of the image tracking device which includes the image tracking information detection device which concerns on 2nd Embodiment of this technique. It is a flowchart for demonstrating the operation example of the image tracking apparatus provided with the image tracking information detection apparatus which concerns on 2nd Embodiment of this technique. It is a flowchart for demonstrating the operation example of the image tracking apparatus provided with the image tracking information detection apparatus which concerns on 3rd Embodiment of this technique.
- 13A and 13B are cross-sectional views of a diffractive optical element for explaining configuration examples 1 and 2 of an image tracking device including an image tracking information detection device according to a fourth embodiment of the present technology, respectively.
- 14A and 14B are cross-sectional views of a diffractive optical element for explaining configuration examples 1 and 2 of an image tracking device including an image tracking information detection device according to a fifth embodiment of the present technology, respectively.
- the HMD displays an augmented reality (AR) image to the user, for example.
- AR augmented reality
- the video tracking information detection device 10 and the video tracking device including the video tracking information detection device 10 according to the first embodiment of the present technology will be described with reference to the drawings.
- the image tracking information detection device 10 is mounted on, for example, an HMD (head-mounted display) which is an example of an image display device worn on the user's head.
- the HMD is also called, for example, eyewear. That is, the image tracking information detection device 10 is a head-mounted type.
- FIG. 1 is a cross-sectional view schematically showing the configuration of the image tracking information detection device 10 according to the first embodiment. In the following, the description will proceed on the assumption that the image tracking information detection device 10 is mounted on the user's head.
- the image tracking information detection device 10 includes an image display system 100 and a line-of-sight detection system 200.
- the image display system 100 includes an image light projection unit 110 and a transmission / reflection member 120 (also referred to as a combiner).
- the image light projection unit 110 projects image light IL (visible light).
- the image light projection unit 110 is arranged on a light source unit that emits the image light IL and an optical path of the image light IL from the light source unit, and projects the image light IL toward the transmission reflection member 120. Including with lens.
- the image light projection unit 110 is provided integrally with the transmission / reflection member 120.
- the transmission / reflection member 120 reflects a part of the image light IL projected from the image light projection unit 110 toward the eyeball 1 and transmits the other part.
- the transmission / reflection member 120 faces the eyeball 1 on the surface of the transmission substrate 300 (for example, a transparent or translucent substrate held in the frame of the HMD) having at least transparency to visible light on the eyeball 1 side. It is provided.
- the transmissive substrate 300 is provided with a bracket 350 that supports the image light projection unit 110 in a cantilevered state.
- the transmission / reflection member 120 is, for example, a reflection type diffractive optical element that reflects and diffracts visible light IL in a specific direction with high efficiency in a specific direction according to its wavelength.
- the transmission / reflection member 120 may be, for example, a half mirror, a glass plate, or the like.
- the direction in which the eyeball 1 and the transmission / reflection member 120 face each other is the Z-axis direction
- the directions orthogonal to each other are the X-axis direction and the Y-axis direction.
- the coordinate system is set.
- the XYZ three-dimensional Cartesian coordinate system will be described as appropriate.
- the line-of-sight detection system 200 includes an irradiation system 210 and a light receiving system 220.
- the irradiation system 210 irradiates the eyeball 1 with invisible light IVL (for example, infrared light).
- the irradiation system 210 includes an invisible light source 211 (for example, an infrared light source) and an irradiation optical system 212 that guides invisible light IVL (for example, infrared light) from the invisible light source 211 to the eyeball 1.
- the invisible light source 211 is, for example, a light source such as a semiconductor laser or a light emitting diode that emits invisible light IVL (for example, infrared light).
- a light source such as a semiconductor laser or a light emitting diode that emits invisible light IVL (for example, infrared light).
- the irradiation optical system 212 includes a collimating lens 212a, a beam splitter 212b, and a diffractive optical element 212c. Collimating lenses are also called coupling lenses.
- the collimating lens 212a is arranged on the optical path of the invisible light IVL from the invisible light source 211, and the invisible light is made substantially parallel light.
- the beam splitter 212b is arranged on the optical path of the invisible light IVL via the collimating lens 212a, reflects a part of the invisible light IVL, and transmits the other part.
- the beam splitter 212b is, for example, a half mirror.
- the diffractive optical element 212c is arranged on the optical path of the invisible light IVL reflected by the beam splitter 212b, and reflects and diffracts the invisible light toward the eyeball 1.
- the diffractive optical element 212c includes a reflection diffracting unit 212c1 that reflects and diffracts the invisible light IVL from the invisible light source 211 toward the eyeball 1 (more specifically, the pupil 1a).
- the reflection diffracting unit 212c1 reflects and diffracts light in a specific wavelength band (invisible light, for example, infrared light) in a specific direction according to the wavelength with high efficiency.
- the diffractive optical element 212c is provided integrally with the transmission / reflection member 120.
- the diffractive optical element 212c is integrally provided with the image light projection unit 110. More specifically, the diffractive optical element 212c is provided at a position corresponding to the transmissive reflection member 120 on the surface of the transmissive substrate 300 opposite to the eyeball 1 side. The diffractive optical element 212c may be integrally (directly) provided on the transmission / reflection member 120. The details of the reflection diffraction unit 212c1 will be described later.
- the light receiving system 220 receives the invisible light IVL that is irradiated from the irradiation system 210 to the eyeball 1 and reflected by the eyeball 1 (for example, the fundus of the eyeball 1).
- the light receiving system 220 includes a light receiving element 220a and a light receiving optical system 220b that guides the invisible light IVL that is irradiated from the irradiation system 210 to the eyeball 1 and reflected by the eyeball 1 to the light receiving element 220a.
- the light receiving optical system 220b includes a diffractive optical element 212c that reflects and diffracts the reflected light (invisible light IVL) from the eyeball 1 toward the beam splitter 212b and a non-visible light IVL that is reflected and diffracted by the diffractive optical element 212c. It includes a condenser lens 220b1 which is arranged on the optical path of the invisible light IVL transmitted through the beam splitter 212b and concentrates the invisible light IVL on the light receiving element 220a. That is, the light receiving optical system 220b shares the beam splitter 212b and the diffractive optical element 212c with the irradiation optical system 212.
- the optical path of the invisible light IVL from the beam splitter 212b to the diffractive optical element 212c in the irradiation system 210 and the optical path of the invisible light IVL from the diffractive optical element 212c to the beam splitter 212b in the light receiving system 220 overlap. (It is almost the same).
- the light receiving element 220a has a plurality of light receiving regions.
- the plurality of light receiving regions are, for example, four light receiving regions (220a-1 to 220a-4) arranged two-dimensionally.
- Each light receiving region is, for example, a photodiode (PD). That is, the light receiving element 220a is, for example, a quadrant photodiode.
- the light receiving element 220a may be an image sensor including a large number of pixels arranged two-dimensionally at high density, but here, as an example of a subdivided photodiode which is superior in terms of low power consumption and low latency. A 4-split photodiode is used.
- the line of sight (direction of the eyeball) of the user can be detected by the amount of light received in the four light receiving regions 220a-1 to 220a-4 of the light receiving element 220a.
- the received light amounts of the four light receiving regions 220a-1 to 220a-4 are A, B, C, and D, respectively.
- the XY coordinates for example, the X-axis direction is the horizontal direction and the Y-axis direction is the vertical direction
- the center of the pupil 1a is set.
- the total received light amount (A + B + C + D) has the waveform shown in the upper figure of FIG. 2B
- the horizontal signal ((A + C)-(B + D)) has the waveform shown in the lower figure of FIG. 2B.
- the waveform is the same as that shown in FIG. 2B. Therefore, by acquiring the total received light amount (total light amount), the horizontal signal, and the vertical signal, the pupil 1a The position of the center, that is, the line of sight (direction of the eyeball 1) can be detected.
- the reflection / diffraction unit 212c1 is the image light IL of the transmission / reflection member 120 when viewed from the thickness direction of the transmission / reflection member 120 (direction orthogonal to the in-plane direction of the transmission / reflection member 120, Z-axis direction).
- the central portion overlaps with the irradiated portion 120a.
- the portion 120a irradiated with the central portion of the image light IL of the transmissive reflection member 120 coincides with the central portion of the transmissive reflection member 120 (hereinafter, also referred to as “combiner center”).
- the reflection diffraction unit 212c1 overlaps with the center of the combiner.
- the portion 120a of the transmission / reflection member 120 to which the central portion of the image light IL is irradiated may be slightly deviated from the central portion (combiner center) of the transmission / reflection member 120.
- the central portion of the reflective diffraction unit 212c1 overlaps with the portion 120a (for example, the center of the combiner) of the transmissive reflective member 120 where the central portion of the image light IL is irradiated when viewed from the thickness direction of the transmissive reflective member 120. Is preferable.
- the amount of received light in the four light receiving regions 220a-1 to 220a-4 (see FIG. 2A) of the light receiving element 220a is also referred to as the combiner center (the center of the image displayed by the image light IL, hereinafter referred to as the "image center”.
- the received light amounts in the four light receiving regions 220a-1 to 220a-2 indicate the deviation of the image center from the user's line of sight (pupil center).
- the size of the reflection diffraction unit 212c1 is preferably not more than the maximum diameter of the pupil 1a of the eyeball 1.
- the image center shifts from the line of sight (pupil center). Can be obtained with high accuracy.
- the size of the reflected diffraction portion is larger than the maximum diameter of the pupil 1a, the reflected light from other than the cornea is also detected, so that the detection sensitivity of the center of the pupil 1a is lowered.
- the size of the reflection diffraction unit 212c1 may be equal to or larger than the minimum diameter of the pupil 1a.
- the diameter of the pupil 1a is 2 mm to 8 mm. That is, in general, the maximum diameter of the pupil 1a is 8 mm, and the minimum diameter of the pupil 1a is 2 mm.
- the invisible light IVL emitted from the invisible light source 211 is diffused to a predetermined diffusion angle and then parallel to a predetermined beam diameter (a beam diameter sufficiently larger than the reflection diffracting portion 212c1) by the collimating lens 212a. It is regarded as light, and while maintaining the beam diameter, a part of it is reflected by the beam splitter 212b and incident on the reflection diffraction unit 212c1. In this case, for example, even if the image tracking information detection device 10 is slightly displaced from the user's head, the invisible light IVL from the invisible light source 211 is irradiated to the reflected diffraction unit 212c1.
- the image tracking device including the image tracking information detection device 10 further includes an actuator 400 and a control device 500.
- the actuator 400 moves at least the image display system 100 and the diffractive optical element 212c with respect to the HMD glasses frame in a direction parallel to the in-plane direction of the transmission / reflection member 120 (a direction parallel to the XY plane).
- the actuator 400 can move the integrally provided image display system 100, the diffractive optical element 212c, and the transmission substrate 300 independently in the X-axis direction and the Y-axis direction. ..
- the image display system 100, the diffractive optical element 212c, and the transmission substrate 300 are also collectively referred to as “moving objects”.
- the transparent substrate 300 is attached to the spectacle frame of the HMD via the actuator 400. That is, the moving target can be independently moved in the X-axis direction and the Y-axis direction with respect to the spectacle frame by the actuator 400.
- the actuator 400 includes, for example, a combination of a 2-axis linear motor, a 2-axis ball screw mechanism, and a motor as a drive source thereof, a 2-axis rack and pinion mechanism, and a motor as a drive source thereof. Examples include combinations.
- the collimating lens 212a of the image tracking information detection device 10 sets the invisible light IVL from the invisible light source 211 as parallel light having a cross-sectional size corresponding to the assumed movement range of the moving target.
- the size of the cross section is such that the reflected diffraction unit 212c1 can be irradiated with the invisible light IVL from the invisible light source 211 even if the moving object moves within the assumed movement range. ..
- the control device 500 includes a main control unit 500a and a deviation detection unit 500b.
- the control device 500 is realized by a hardware configuration including, for example, a CPU, a chipset, and the like.
- the deviation detection unit 500a detects the deviation (deviation amount and deviation direction) from the line of sight of the image based on the output of the light receiving element 220a, and sends the detection result to the main control unit 500a.
- the main control unit 500a drives the moving object in the X-axis direction (pulse signal) and in the Y-axis direction based on the deviation (deviation direction and deviation amount) from the line of sight of the center of the image.
- a drive signal (pulse signal) is generated and output to the actuator 400.
- the actuator 400 is driven based on the deviation from the line of sight at the center of the image.
- the main control unit 500a irradiates the combiner (transmissive reflection member 120) with the image light IL. Specifically, the main control unit 500a projects the image light IL from the image light projection unit 110 toward the combiner.
- the main control unit 500a executes step S1 when, for example, the power switch of the image tracking device is turned on by the user.
- the main control unit 500a detects the initial position of the center of the pupil 1a (the center of the pupil). Specifically, the main control unit 500a controls the actuator 400 to sweep the moving object in the X-axis direction and the Y-axis direction, respectively, so that the initial position of the pupil center (for example, the XY coordinates of the pupil center in FIG. 2A). Ask for. For example, the main control unit 500a sweeps the moving object in the X-axis direction and the Y-axis direction, respectively, and sets the position of the combiner center when the received light amount in each light receiving region in FIG. 2 is the same as the initial position of the pupil center. Detect as a position.
- this state (the state where the initial position of the center of the pupil is detected, the deviation of the center of the combiner from the line of sight is 0 (the state where the line of sight and the center of the combiner intersect). Therefore, this state (the state shown in FIG. 1 or the state shown in FIG. 7A) is set as the initial position of the movement target by the actuator 400.
- the main control unit 500a turns on the invisible light source 211 (for example, an infrared light source).
- the invisible light IVL emitted from the invisible light source 211 is guided to the eyeball 1 by the irradiation optical system 212.
- At least a part of the invisible light IVL reflected by the eyeball 1 is guided to the light receiving element 220a by the light receiving optical system 220b.
- the deviation detection unit 500b detects the deviation of the combiner center from the line of sight. Specifically, the deviation detection unit 500b detects the deviation (deviation direction and deviation amount) based on the amount of received light in the four light receiving regions 220a-1 to 220a-4 of the light receiving element 220a, and causes the main control unit 500a to detect the deviation. send.
- the deviation detection unit 500b detects the deviation (deviation direction and deviation amount) based on the amount of received light in the four light receiving regions 220a-1 to 220a-4 of the light receiving element 220a, and causes the main control unit 500a to detect the deviation. send.
- the glasses on which the image tracking device is mounted are misaligned, the center of the combiner is largely displaced from the line of sight, and the image light IL is hardly incident on the pupil 1a. In this case, the image may be lost.
- the main control unit 500a integrally moves the image display system 100, the diffractive optical element 212c, and the transmission substrate 300 based on the deviation of the combiner center from the line of sight.
- the main control unit 500a generates a drive signal that is preferably 0 so that the deviation from the line of sight of the image is as small as possible, and applies the drive signal to the actuator 400.
- the actuator 400 is controlled from the state shown in FIG. 5 to detect the pupil center position (line of sight) by the line-of-sight detection system 200, thereby causing the deviation of the combiner center from the line of sight. It is possible to eliminate it. That is, it is possible to eliminate the deviation between the line of sight and the center of the image.
- FIG. 7C it is possible to eliminate the deviation of the combiner center from the line of sight by controlling the actuator 400 to perform the pupil center position detection operation from the state shown in FIG. 7B.
- the main control unit 500a determines whether or not the processing is completed. Specifically, for example, the main control unit 500a determines that the processing is completed when the switch of the image tracking device is turned off by the user, and does not perform the processing when it remains on (ongoing). Judge that. If the judgment in step S6 is denied, the process returns to step S4, and if affirmed, the flow ends.
- the image tracking information detection device 10 of the first embodiment described above directs the image light projection unit 110 that projects the image light IL and a part of the image light IL projected from the image light projection unit 110 toward the eyeball 1.
- the image display system 100 including the transmission / reflection member 120 that reflects the light and transmits the other portion, the at least one invisible light source 211, and the transmission / reflection member 120 are integrally provided and are invisible from the invisible light source 211.
- the image tracking information detection device 10 includes a portion 120a in which the central portion of the image light IL of the transmission / reflection member 120 is irradiated and a reflection / diffraction portion when viewed from the thickness direction (for example, the Z-axis direction) of the transmission / reflection member 120. It overlaps with 212c1.
- the output of the light receiving element 220a can be used to determine the deviation between the center of the image displayed by the center of the image light IL and the line of sight.
- the image tracking information detection device 10 it is possible to obtain information for making the central portion of the image follow the user's line of sight.
- the image tracking information detection device 10 the light from the invisible light source 211 is reflected and diffracted by the diffractive optical element 212c to be incident on the eyeball 1. Therefore, for example, the image tracking information detection device 10 It is not necessary to arrange a light source or a light receiving element on the HMD eyeglass frame on which the light source or the light receiving element is mounted, and a wide field of view of the user can be secured.
- the deviation between the center of the image and the line of sight can be obtained with higher accuracy, and by extension, more accurate information for making the image follow the line of sight of the user can be obtained.
- the image tracking device including the image tracking information detection device 10 of the first embodiment includes an actuator 400 that moves the image display system 100 and the diffractive optical element 212c in a direction parallel to the in-plane direction of the transmission / reflection member 120, and image tracking.
- a control device 500 that controls an actuator based on a signal from a light receiving element 220a of the information detection device 10 is provided. As a result, the image can be made to follow the line of sight of the user.
- the light receiving element 220a has a plurality of (for example, four) light receiving regions 220a-1 to 220a-4 arranged in two dimensions, and the control device 500 receives signals from the plurality of light receiving regions 220a-1 to 220a-4. Based on this, the deviation between the center of the image displayed by the image display system 100 and the line of sight, which is the direction of the eyeball 1, is detected, and the actuator 400 is controlled based on the detection result. As a result, the image can be made to follow the user's line of sight with low latency and low power consumption.
- the combiner center follows the line of sight, so that the user always looks at the image center. Can be done. That is, the state in which the user's visibility to the image is good is continuously maintained.
- the image tracking information detection method for detecting the image tracking information for making the image follow the line of sight using the image tracking information detection device 10 of the first embodiment is performed by the image display system 100 of the image tracking information detection device 10.
- the invisible light IVL is reflected and diffracted by the reflection diffractometer 212c1 provided on the transmission and reflection member 120 to irradiate the eyeball 1, and the reflected light is reflected and diffracted by the reflection diffractometer 212c1 to receive light.
- the deviation between the center of the image displayed by the center of the image light IL and the line of sight can be obtained.
- the video tracking information detection method it is possible to obtain information for tracking the video to the user's line of sight.
- the image tracking method of using the image tracking information detection device 10 of the first embodiment to make the image follow the line of sight includes a step of displaying the image by the image display system 100 of the image tracking information detection device 10 and the line of sight detection system 200.
- the image tracking information detection device 20 according to the second embodiment has a configuration for responding to such a change in pupil diameter.
- the line-of-sight detection system 200 acquires the pupil diameter of the eyeball 1 (the diameter of the pupil 1a). Based on the acquisition results of the pupil diameter acquisition unit 500c, a plurality of (for example, two) invisible light sources having different emission wavelengths (for example, the first and second invisible light sources 211a and 211b), and the pupil diameter acquisition unit 500c.
- a lighting control unit 500d capable of selectively lighting a plurality of invisible light sources 211a and 211b.
- the diffraction optical elements 212d are laminated in the thickness direction (Z-axis direction), and the diffraction wavelength and the size are large. It has a plurality of (for example, two) reflection diffracting portions (for example, first and second reflection diffracting portions 212d1 and 212d2) having different wavelengths.
- the first reflection diffraction unit 212d1 uses the emission wavelength of the first invisible light source 211a as the diffraction wavelength.
- the first reflection diffracting unit 212d1 diffracts the invisible light IVL1 from the first invisible light source 211a with high efficiency in a specific direction.
- the second reflection diffraction unit 212d2 uses the emission wavelength of the second invisible light source 211b as the diffraction wavelength. That is, the second reflection diffracting unit 212d2 diffracts the invisible light IVL2 from the second invisible light source 211b in a specific direction with high efficiency.
- the second reflection diffracting unit 212d2 is larger than the first reflection diffracting unit 212d1.
- the size of each reflection diffracting portion is, for example, equal to or smaller than the maximum diameter of the pupil 1a (for example, 8 mm).
- the lighting control unit 500d sequentially lights the first and second invisible light sources 211a and 211b.
- the pupil diameter acquisition unit 500c acquires the pupil diameter of the eyeball 1 each time the first and second invisible light sources 211a and 211b are turned on.
- the lighting control unit 500d selects an invisible light source to be lit from the plurality of invisible light sources 211a and 211b based on the acquisition result of the pupil diameter acquisition unit 500c.
- the pupil diameter acquisition unit 500c includes, as an example, an illuminance sensor 500c1 and a pupil system estimation unit 500c2 that estimates the pupil diameter of the eyeball 1 based on the detection result of the illuminance sensor 500c1.
- the illuminance sensor 500c1 is provided on, for example, a bracket 350 that supports the image light projection unit 110.
- the flowchart of FIG. 11 is based on a processing algorithm executed by the main control unit 500a of the control device 550 (see FIG. 10).
- the main control unit 500a irradiates the combiner (transmissive reflection member 120) with the image light IL. Specifically, the main control unit 500a projects the image light IL from the image light projection unit 110 toward the combiner.
- the main control unit 500a executes step S11, for example, when the power switch of the image tracking device is turned on by the user.
- the illuminance sensor 500c1 detects the illuminance information around the eyeball 1.
- the pupil diameter estimation unit 500c2 estimates the pupil diameter based on the illuminance information detected by the illuminance sensor 500c1. Specifically, for example, the pupil diameter estimation unit 500c2 stores in advance a table showing the correspondence between the pupil diameter and the illuminance, and the pupil diameter estimation unit 500c2 is detected by referring to the table. The pupil diameter corresponding to the illuminance information is estimated to be the pupil diameter at the time of detecting the illuminance information.
- the lighting control unit 500d selects an invisible light source according to the pupil diameter estimated by the pupil diameter estimation unit 500c2.
- the lighting control unit 500d is a non-visible light source corresponding to the larger reflection diffraction unit 212d2 when the estimated pupil diameter is equal to or larger than a threshold value (for example, 4 mm) (in the case of a dark pupil).
- a threshold value for example, 4 mm
- the invisible light source 211b of 2.
- the lighting control unit 500d is a first non-visible light source corresponding to the smaller reflection diffraction unit 212d1. Select the visible light source 211a.
- the main control unit 500a lights the invisible light source selected by the lighting control unit 500d to detect the initial position of the center of the pupil.
- the main control unit 500a controls the actuator 400 in the same manner as in step S2 of the first embodiment to sweep the moving target in the X-axis direction and the Y-axis direction, respectively, so that the initial stage of the pupil center Find the position.
- the invisible light IVL1 emitted from the first invisible light source 211a via the collimating lens 212a and the beam splitter 212b It is diffracted toward the eyeball 1 by the first reflection diffracting unit 212d1.
- At least a part of the invisible light IVL1 incident on the eyeball 1 is reflected and diffracted by the first reflection diffracting unit 212d1, and is incident on the light receiving element 220a via the beam splitter 212b and the condenser lens 220b1.
- the invisible light IVL2 emitted from the second invisible light source 211b via the collimating lens 212a and the beam splitter 212b It is diffracted toward the eyeball 1 by the second reflection diffracting unit 212d2.
- At least a part of the invisible light IVL2 incident on the eyeball 1 is reflected and diffracted by the second reflection diffracting unit 212d2, and is incident on the light receiving element 220a via the beam splitter 212b and the condenser lens 220b1. That is, since the eyeball 1 is irradiated with invisible light having a size corresponding to the pupil diameter, the detection accuracy of the pupil center position is improved. In the state where the initial position of the center of the pupil is detected, the deviation of the center of the combiner from the line of sight is 0 (the state where the line of sight and the center of the combiner intersect). Therefore, this state (the state shown in FIG. 8) is set as the initial position of the movement target by the actuator 400.
- the deviation detection unit 500b turns on the selected invisible light source and detects the deviation of the combiner center from the line of sight. Also in this case, as described above, since the detection accuracy of the pupil center position is improved, the detection accuracy of the deviation is also improved. Specifically, the deviation detection unit 500b detects the deviation (deviation direction and deviation amount) based on the amount of received light in the four light receiving regions 220a-1 to 220a-4 of the light receiving element 220a, and causes the main control unit 500a to detect the deviation. send.
- the main control unit 500a moves the moving target by the actuator based on the detected deviation. Specifically, the main control unit 500a generates a drive signal that is preferably 0 so that the deviation from the line of sight of the image is as small as possible, and applies the drive signal to the actuator 400.
- the main control unit 500a determines whether or not the processing is completed. Specifically, for example, the main control unit 500a determines that the processing is completed when the switch of the image tracking device is turned off by the user, and does not perform the processing when it remains on (ongoing). ). If the determination in step S18 is denied, the process returns to step S12, and if affirmed, the flow ends.
- the image tracking information detection device 20 since the eyeball 1 is irradiated with invisible light having a size corresponding to the pupil diameter, the deviation of the image center from the line of sight is accurately obtained. be able to. According to the image tracking device including the image tracking information detection device 20 according to the second embodiment, the image center can be accurately followed with respect to the line of sight. 4.
- a video tracking information detection device according to a third embodiment of the present technology and a video tracking device including the video tracking information detection device.
- the configuration of the image tracking information detection device according to the third embodiment is the same as that of the second embodiment shown in FIGS. 8 to 10 except that the pupil diameter acquisition unit 500c and the lighting control unit 500d are not provided.
- the configuration is the same as that of the image tracking information detection device.
- the configuration of the video tracking device including the video tracking information detection device according to the third embodiment relates to the second embodiment, except that the video tracking information detection device does not have the pupil diameter acquisition unit 500c.
- the configuration is the same as that of the image tracking device including the image display position adjustment information detection device.
- the diffractive optical elements 212d see FIGS.
- the line-of-sight detection system 200 having 212d2 includes a plurality of invisible light sources (for example, first and second invisible light sources 211a and 211b) having different emission wavelengths, and each time the plurality of invisible light sources 211a and 211b are turned on.
- Information for calculating the deviation between the center of the image displayed by the image display system 100 and the line of sight which is the direction of the eyeball 1 is obtained.
- the main control unit 500a irradiates the combiner (transmissive reflection member 120) with the image light IL. Specifically, the main control unit 500a projects the image light IL from the image light projection unit 110 toward the combiner.
- the main control unit 500a executes step S21, for example, when the power switch of the image tracking device is turned on by the user. Irradiate the combiner with the image light IL.
- the main control unit 500a turns on the first invisible light source 211a and obtains the first initial position calculation information at the center of the pupil. Specifically, the main control unit 500a controls the actuator 400 in the same manner as in step S2 of the first embodiment with the first invisible light source 211a turned on to move the moving target in the X-axis direction. By sweeping in the Y-axis direction, the first initial position calculation information (for example, XY coordinates) of the center of the pupil is obtained.
- the first initial position calculation information for example, XY coordinates
- the main control unit 500a turns on the second invisible light source 211b and detects the second initial position calculation information at the center of the pupil. Specifically, the main control unit 500a controls the actuator 400 in the same manner as in step S2 of the first embodiment with the second invisible light source 211b turned on to move the moving target in the X-axis direction, Y. By sweeping each in the axial direction, the second initial position calculation information (for example, XY coordinates) of the center of the pupil is obtained.
- the second initial position calculation information for example, XY coordinates
- the main control unit 500a calculates the initial position of the center of the pupil based on the first and second initial position calculation information. Specifically, for example, the main control unit 500a sets the average value of the X coordinate and the average value of the Y coordinate of the first and second initial position calculation information as the X coordinate and the Y coordinate of the initial position of the pupil center, respectively. ..
- the main control unit 500a aligns the combiner center with the calculated initial position of the pupil center. Specifically, the main control unit 500a uses only the difference between the XY coordinates of the combiner center at the present time and the calculated XY coordinates of the initial position of the pupil center (difference between the X coordinates and the difference between the Y coordinates) of the actuator 400. Moves the moving target along the XY plane.
- the deviation detection unit 500b turns on the first invisible light source 211a, and the first deviation calculation information (for example, deviation information in the X-axis direction, deviation information in the Y-axis direction) at the center of the combiner from the line of sight is turned on. ).
- the first deviation calculation information for example, deviation information in the X-axis direction, deviation information in the Y-axis direction
- the deviation detection unit 500b turns on the second invisible light source 211b, and the second deviation calculation information (for example, deviation information in the X-axis direction, deviation information in the Y-axis direction) at the center of the combiner from the line of sight is turned on. ).
- the second deviation calculation information for example, deviation information in the X-axis direction, deviation information in the Y-axis direction
- the deviation detection unit 500b calculates the deviation of the combiner center from the line of sight based on the first and second deviation calculation information. Specifically, for example, the main control unit 500a sets the average value in the X-axis direction and the average value in the Y-axis direction of the first and second deviation calculation information in the X-axis direction and the Y-axis of the combiner center from the line of sight, respectively. The direction is off.
- the main control unit 500a moves the moving target by the actuator based on the calculated deviation. Specifically, the main control unit 500a generates a drive signal that is preferably 0 so that the deviation from the line of sight of the image is as small as possible, and applies the drive signal to the actuator 400.
- the main control unit 500a determines whether or not the processing is completed. Specifically, for example, the main control unit 500a determines that the processing is completed when the switch of the image tracking device is turned off by the user, and does not perform the processing when it remains on (ongoing). ). If the determination in step S30 is denied, the process returns to step S26, and if affirmed, the flow ends.
- the image tracking information detection device since the eyeball 1 is irradiated with invisible light having a size corresponding to the pupil diameter, the deviation of the image center from the line of sight can be accurately obtained. Can be done. According to the image tracking device including the image tracking information detection device according to the third embodiment, the image center can be accurately followed with respect to the line of sight.
- FIG. 13A and 13B are diagrams for explaining a configuration example 1 and a configuration example 2 of a video tracking device including a video tracking information detection device according to a fourth embodiment of the present technology, respectively.
- Configuration example 1 shown in FIG. 13A has the same configuration as the video tracking device including the video tracking information detection device of the first embodiment, except that the actuator configuration is different.
- Configuration example 2 shown in FIG. 13B has the same configuration as the video tracking device including the video tracking information detection device of the second or third embodiment, except that the actuator configuration is different.
- the actuators of the configuration example 1 and the configuration example 2 of the image tracking device according to the fourth embodiment are actuators that move the moving target only in the uniaxial direction, for example, the X-axis direction.
- the actuator include a uniaxial linear motor, a combination of a ball screw mechanism and a drive source (for example, a motor), a combination of a rack and pinion and a drive source (for example, a motor), and the like.
- the reflection diffractometer 212e1 of the diffractive optical element 212e is orthogonal to the moving direction (X-axis direction) of the moving target by the actuator. It has a vertically long shape (a shape in which the Y-axis direction is the longitudinal direction) with the direction of the longitudinal direction as the longitudinal direction.
- the reflection diffracting unit 212e1 can cover a certain range in the Y-axis direction, even if the moving object is moved in the X-axis direction, the deviation of the combiner center from the line of sight is obtained and the deviation is reduced.
- the actuator can be driven.
- a plurality of (for example, two) diffraction wavelengths and sizes in which the diffraction optical elements 212f are stacked in the Z-axis direction are different. It has different reflection diffractometers 212f1 and 212f2. Each of the two reflection diffractometers 212f1 and 212f2 has a vertically elongated shape (a shape having the Y-axis direction as the longitudinal direction) whose longitudinal direction is orthogonal to the moving direction (X-axis direction) of the moving object by the actuator.
- the reflection diffractometers 212f1 and f2 can cover a certain range in the Y-axis direction, even if the moving object is moved in the X-axis direction, the deviation of the combiner center from the line of sight is obtained and the deviation is reduced.
- the actuator can be driven to make it. Further, in the configuration example 2, since the reflection diffractive portions having different diffraction wavelengths and sizes are laminated, the same operation and effect as those of the second or third embodiment can be obtained.
- Configuration example 1 shown in FIG. 14A has the same configuration as the video tracking device including the video tracking information detection device of the first embodiment, except that the actuator configuration is different.
- Configuration example 2 shown in FIG. 14B has the same configuration as the video tracking device including the video tracking information detection device of the second or third embodiment, except that the actuator configuration is different.
- the actuators of the configuration example 1 and the configuration example 2 of the image tracking device according to the fifth embodiment are actuators that move the moving target only in the uniaxial direction, for example, the Y-axis direction.
- the actuator include a uniaxial linear motor, a combination of a ball screw mechanism and a drive source (for example, a motor), a combination of a rack and pinion and a drive source (for example, a motor), and the like.
- the reflection diffusing portion 212g1 of the diffractive optical element 212g is orthogonal to the moving direction (Y-axis direction) of the moving target by the actuator. It has a horizontally long shape (a shape having the X-axis direction as the longitudinal direction) with the longitudinal direction as the longitudinal direction.
- the reflection diffracting unit 212g1 can cover a certain range in the X-axis direction, even if the moving object is moved in the Y-axis direction, the deviation of the combiner center from the line of sight is obtained and the deviation is reduced.
- the actuator can be driven.
- the diffraction wavelengths and sizes of a plurality (for example, two) of the diffraction optical elements 212h stacked in the Z-axis direction are different. It has different reflection diffractometers 212h1 and 212h2. Each of the two reflection diffractometers 212h1 and 212h2 has a horizontally long shape (a shape having the X-axis direction as the longitudinal direction) whose longitudinal direction is orthogonal to the moving direction (Y-axis direction) of the moving object by the actuator.
- the reflection diffractometers 212h1 and h2 can cover a certain range in the X-axis direction, even if the moving target is moved in the Y-axis direction, the deviation of the combiner center from the line of sight is obtained and the deviation is reduced.
- the actuator can be driven to make it. Further, in the configuration example 2, since the reflection diffractive portions having different diffraction wavelengths and sizes are laminated, the same operation and effect as those of the second or third embodiment can be obtained. 7. ⁇ Modification example of this technology>
- the configuration of the video tracking information detection device of the present technology and the video tracking device including the video tracking information detection device can be changed as appropriate.
- the line-of-sight detection system 200 is polarized light arranged on an optical path of invisible light between the invisible light source and the reflection diffractometer (for example, on the optical path of invisible light between the collimating lens 212a and the beam splitter 212b). It may have a plate. Thereby, it is possible to remove the optical noise (for example, Purkinje image) of the invisible light.
- the line-of-sight detection system 200 is arranged on an optical path of invisible light between the reflection diffractometer and the light receiving element 220a (for example, on an optical path of invisible light between the condenser lens 220b1 and the light receiving element 220a). It may have a wavelength selection filter (for example, a bandpass filter). Thereby, for example, the wavelength of the invisible light (for example, infrared rays) received by the light receiving element 220a can be selected.
- a wavelength selection filter for example, a bandpass filter
- the actuator integrally moves the entire image tracking information detection device (including, for example, an invisible light source, a collimating lens, a beam splitter, a condenser lens, and a light receiving element) to be centered on the combiner with respect to the line of sight.
- the deviation may be reduced (including 0).
- the actuator integrally moves the entire image tracking information detection device (including, for example, an invisible light source, a collimating lens, a beam splitter, a condenser lens, and a light receiving element) to be centered on the combiner with respect to the line of sight.
- the deviation may be reduced (including 0).
- the actuator integrally moves the entire image tracking information detection device (including, for example, an invisible light source, a collimating lens, a beam splitter, a condenser lens, and a light receiving element) to be centered on the combiner with respect to the line of sight.
- the deviation may be reduced (including 0).
- the positional relationship between the invisible light source and the light receiving element with respect to the beam splitter 212b may be reversed.
- the image light IL from the image light projection unit 110 may be applied to the reflection diffraction unit via the beam splitter 212b.
- a diffractive optical element is used as the transmission / reflection member 120, but the present invention is not limited to this, and for example, a glass plate, a half mirror, or the like may be used.
- An image display including an image light projection unit that projects image light and a transmission / reflection member that reflects a part of the image light projected from the image light projection unit toward the eyeball and transmits the other part.
- System and A diffractive optical element that is integrally provided with at least one invisible light source and the transmitted / reflecting member and includes a reflective diffractometer that reflects and diffracts invisible light from the invisible light source toward the eyeball, and the eyeball.
- a line-of-sight detection system including a light receiving element that receives the invisible light that has been reflected and reflected and diffracted by the reflection diffractometer.
- An image tracking information detection device in which a portion of the transmission / reflection member that is irradiated with the central portion of the image light and the reflection / diffraction portion overlap when viewed from the thickness direction of the transmission / reflection member.
- the portion of the transmission / reflection member that is irradiated with the central portion of the image light and the central portion of the reflection / diffraction portion overlap, according to (1).
- the video tracking information detection device described.
- the image tracking information detection device (4) The image tracking information detection device according to (3), wherein the maximum diameter of the pupil is 8 mm. (5) The image tracking information detection device according to any one of (1) to (4), wherein the image light projection unit is provided integrally with the transmission / reflection member. (6) The image tracking information detection device according to any one of (1) to (5), wherein the light receiving element has a plurality of light receiving regions. (7) The image tracking information detection device according to (6), wherein the plurality of light receiving regions are four light receiving regions arranged two-dimensionally. (8) The diffractive optical element has a plurality of the reflection diffractometers having different diffraction wavelengths and sizes, which are stacked in the thickness direction, and the line-of-sight detection system obtains the pupil diameter of the eyeball.
- the acquisition unit includes the plurality of invisible light sources having different emission wavelengths, and a lighting control unit capable of selectively lighting the plurality of invisible light sources based on the acquisition result of the pupil diameter acquisition unit.
- the image tracking information detection device according to any one of 1) to (7).
- the diffractive optical element has a plurality of the reflection diffractive portions having different diffraction wavelengths and sizes, which are laminated in the thickness direction, and the line-of-sight detection system has a plurality of the invisible light sources having different emission wavelengths.
- the image tracking information detection device according to any one of. (11) A beam splitter is further provided between the reflection diffractometer and the light receiving element to which invisible light from the invisible light source is incident, and the beam splitter is invisible from the invisible light source. 10. Video tracking information detection device. (12) The image tracking information detection device according to any one of (1) to (11), wherein the line-of-sight detection system has a collimated lens that uses invisible light emitted from the invisible light source as parallel light. ..
- the line-of-sight detection system is any one of (1) to (12) having a polarizing plate arranged on the optical path of the invisible light between the invisible light source and the reflected diffraction unit.
- the line-of-sight detection system is any one of (1) to (13) having a wavelength selection filter arranged on the optical path of the invisible light between the reflection diffractometer and the light receiving element.
- the image tracking information detection device described in 1. (15) The image tracking information detection device according to any one of (1) to (14), wherein the image light projection unit is integrally provided with the transmission / reflection member.
- An actuator that moves the image display system and the diffractive optical element in a direction parallel to the in-plane direction of the transmission / reflection member, and an actuator.
- a control device that controls the actuator based on a signal from a light receiving element of the image tracking information detection device, and a control device that controls the actuator.
- Video tracking device 17.
- the light receiving element has a plurality of light receiving regions arranged two-dimensionally, and the control device is a center of an image displayed by the video display system based on signals from the plurality of light receiving regions.
- the image tracking device which detects a deviation from the line of sight, which is the direction of the eyeball, and controls the actuator based on the detection result.
- the image tracking device according to any one of (15) to (17), wherein the control device controls the actuator so that the image produced by the image light follows the line of sight.
- the reflection diffracting portion has a vertically long shape, and the actuator moves the image display system and the diffractive optical element in a direction orthogonal to the longitudinal direction of the reflection diffracting portion, according to (15) to (18).
- the image tracking device according to any one.
- the reflection diffracting portion has a horizontally long shape, and the actuator moves the image display system and the diffractive optical element in a direction orthogonal to the longitudinal direction of the reflection diffracting portion, according to (15) to (18).
- the image tracking device according to any one.
- the diffraction optical element has a plurality of vertically elongated reflection diffraction portions having different diffraction wavelengths and sizes, which are laminated in the thickness direction, and the line-of-sight detection system acquires the pupil diameter of the eyeball.
- the pupil diameter acquisition unit, the plurality of invisible light sources having different emission wavelengths, and the lighting control unit capable of selectively lighting the plurality of invisible light sources based on the acquisition results of the pupil diameter acquisition unit.
- the image tracking device according to any one of (15) to (18), wherein the actuator moves the image display system in a direction orthogonal to the longitudinal direction of the reflection diffraction unit.
- the diffractive optical element has a plurality of horizontally elongated reflection diffractive portions having different diffraction wavelengths and sizes, which are laminated in the thickness direction, and the line-of-sight detection system acquires the pupil diameter of the eyeball.
- the pupil diameter acquisition unit, the plurality of invisible light sources having different emission wavelengths, and the lighting control unit capable of selectively lighting the plurality of invisible light sources based on the acquisition results of the pupil diameter acquisition unit.
- the image tracking device according to any one of (15) to (18), wherein the actuator moves the image display system in a direction orthogonal to the longitudinal direction of the reflection diffraction unit.
- An image display device including the image tracking device according to any one of (15) to (22).
- a video tracking method for tracking a video to a line of sight using the video tracking information detection device according to any one of (1) to (14).
- Video tracking methods including.
- 1 Eyeball, 1a: pupil, 10, 20: image tracking information detection device, 100: image display system, 110: image light projection unit, 120: transmitted reflection member, 120a: portion where the central portion of image light is irradiated, 200: Line-of-sight detection system, 211, 211a, 211b: Invisible light source, 212a: Collimating lens, 212b: Beam splitter, 212c: Diffraction optical element, 212c1: Reflection diffractometer, 220a: Light receiving element, 220a-1 to 220a-4 : Light receiving area, 400: Actuator, IL: Video light, IVL: Invisible light.
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Optics & Photonics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Surgery (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Human Computer Interaction (AREA)
- Biophysics (AREA)
- Animal Behavior & Ethology (AREA)
- Heart & Thoracic Surgery (AREA)
- Biomedical Technology (AREA)
- Eye Examination Apparatus (AREA)
- Position Input By Displaying (AREA)
- Studio Devices (AREA)
- Burglar Alarm Systems (AREA)
Abstract
本発明は、ユーザの視線に映像の中心部を追従させるための情報を得ることができる映像追従情報検出装置を提供することを目的とする。 本発明の映像追従情報検出装置(10)は、映像光を投射する映像光投射部(110)と、前記映像光投射部(110)から投射された前記映像光の一部を眼球(1)に向けて反射し、他部を透過させる透過反射部材(120)とを含む映像表示系(100)と、少なくとも1つの非可視光源(211)と、前記透過反射部材(120)と一体的に設けられ、前記非可視光源(211)からの非可視光を前記眼球(1)に向けて反射回折する反射回折部(212c1)を含む回折光学素子(212c)と、前記眼球(1)で反射され前記反射回折部(212c1)で反射回折された前記非可視光を受光する受光素子(220a)とを含む視線検出系(200)と、を備え、前記透過反射部材(120)の厚さ方向から見て、前記透過反射部材(120)の前記映像光の中心部が照射される部分(120a)と、前記反射回折部(212c1)とが重なっている。
Description
本開示に係る技術(以下「本技術」とも呼ぶ)は、映像追従情報検出装置、映像追従装置、映像追従情報検出方法及び映像追従方法に関する。
従来、ユーザの視界にある投影面上に映像光を照射することにより映像を虚像として視認させるディスプレイ装置が知られている。
例えば特許文献1には、視線検出装置が搭載され、投影面となるハーフミラーを介して映像を虚像としてユーザに視認させるディスプレイ装置が開示されている。
例えば特許文献1には、視線検出装置が搭載され、投影面となるハーフミラーを介して映像を虚像としてユーザに視認させるディスプレイ装置が開示されている。
しかしながら、従来のディスプレイ装置では、ユーザの視線に映像の中心部を追従させるための情報を得ることができなかった。
そこで、本技術は、ユーザの視線に映像の中心部を追従させるための情報を得ることができる映像追従情報検出装置、該映像追従情報検出装置を備える映像追従装置、前記映像追従情報検出装置を用いる映像追従情報検出方法、前記映像追従情報検出装置を用いる映像追従方法を提供することを主目的とする。
本技術は、映像光を投射する映像光投射部と、前記映像光投射部から投射された前記映像光の一部を眼球に向けて反射し、他部を透過させる透過反射部材とを含む映像表示系と、
少なくとも1つの非可視光源と、前記透過反射部材と一体的に設けられ、前記非可視光源からの非可視光を前記眼球に向けて反射回折する反射回折部を含む回折光学素子と、前記眼球で反射され前記反射回折部で反射回折された前記非可視光を受光する受光素子とを含む視線検出系と、
を備え、
前記透過反射部材の厚さ方向から見て、前記透過反射部材の前記映像光の中心部が照射される部分と、前記反射回折部とが重なっている、映像追従情報検出装置を提供する。
前記透過反射部材の厚さ方向から見て、前記透過反射部材の、前記映像光の中心部が照射される部分と前記反射回折部の中心部とが重なっていてもよい。
前記反射回折部の大きさは、前記眼球の瞳孔の最大径以下であってもよい。
前記瞳孔の最大径は、8mmであってもよい。
前記映像光投射部は、前記透過反射部材と一体的に設けられていてもよい。
前記受光素子は、複数の受光領域を有していてもよい。
前記複数の受光領域は、2次元配列された4つの受光領域であってもよい。
前記回折光学素子は、厚さ方向に積層された、回折波長及び大きさが異なる複数の前記反射回折部を有し、前記視線検出系は、前記眼球の瞳孔径を取得する瞳孔径取得部と、発光波長が異なる複数の前記非可視光源と、前記瞳孔径取得部での取得結果に基づいて、前記複数の非可視光源を選択的に点灯可能な点灯制御部とを含んでいてもよい。
前記瞳孔径取得部は、照度センサを含み、前記照度センサの検出結果に基づいて前記瞳孔径を求めてもよい。
前記回折光学素子は、厚さ方向に積層された、回折波長及び大きさが異なる複数の前記反射回折部を有し、
前記視線検出系は、発光波長が異なる複数の前記非可視光源を含み、前記複数の非可視光源の点灯毎に前記映像表示系により表示される映像の中心と前記眼球の向きである視線とのずれを算出するための情報を求めてもよい。
前記反射回折部と前記受光素子との間に配置され、前記非可視光源からの非可視光が入射されるビームスプリッタを更に備え、前記ビームスプリッタは、前記非可視光源からの非可視光の一部を前記反射回折部に向けて反射させ、前記反射回折部から前記受光素子に向かう非可視光の一部を透過させてもよい。
前記視線検出系は、前記非可視光源から射出された非可視光を平行光とするコリメートレンズを有していてもよい。
前記視線検出系は、前記非可視光源と前記反射回折部との間の前記非可視光の光路上に配置された偏光板を有していてもよい。
前記視線検出系は、前記反射回折部と前記受光素子との間の前記非可視光の光路上に配置された波長選択フィルタを有していてもよい。
前記映像光投射部が前記透過反射部材と一体的に設けられていてもよい。
本技術は、前記映像光投射部が前記透過反射部材と一体的に設けられた前記映像追従情報検出装置と、
前記映像表示系及び前記回折光学素子を前記透過反射部材の面内方向に平行な方向に移動させるアクチュエータと、
前記映像追従情報検出装置の受光素子からの信号に基づいて、前記アクチュエータを制御する制御装置と、
を備える、映像追従装置も提供する。
前記映像追従装置は、前記非可視光源からの非可視光を、前記映像表示系及び前記回折光学素子の移動想定範囲に応じた断面の大きさの平行光とするコリメータレンズを含んでいてもよい。
前記受光素子は、2次元配列された複数の受光領域を有し、前記制御装置は、前記複数の受光領域からの信号に基づいて、前記映像表示系により表示される映像の中心と前記眼球の向きである視線とのずれを検出し、その検出結果に基づいて前記アクチュエータを制御してもよい。
前記制御装置は、前記映像光による映像を前記視線に追従させるように前記アクチュエータを制御してもよい。
前記反射回折部は縦長形状であり、前記アクチュエータは、前記映像表示系及び前記回折光学素子を前記反射回折部の長手方向に直交する方向に移動させてもよい。
前記反射回折部は横長形状であり、前記アクチュエータは、前記映像表示系及び前記回折光学素子を前記反射回折部の長手方向に直交する方向に移動させてもよい。
前記回折光学素子は、厚さ方向に積層された、回折波長及び大きさが異なる複数の縦長形状の前記反射回折部を有し、前記視線検出系は、前記眼球の瞳孔径を取得する瞳孔径取得部と、発光波長が異なる複数の前記非可視光源と、前記瞳孔径取得部での取得結果に基づいて、前記複数の非可視光源を選択的に点灯可能な点灯制御部とを有し、前記アクチュエータは、前記映像表示系を前記反射回折部の長手方向に直交する方向に移動させてもよい。
前記回折光学素子は、厚さ方向に積層された、回折波長及び大きさが異なる複数の横長形状の前記反射回折部を有し、前記視線検出系は、前記眼球の瞳孔径を取得する瞳孔径取得部と、発光波長が異なる複数の前記非可視光源と、前記瞳孔径取得部での取得結果に基づいて、前記複数の非可視光源を選択的に点灯可能な点灯制御部とを有し、前記アクチュエータは、前記映像表示系を前記反射回折部の長手方向に直交する方向に移動させてもよい。
本技術は、前記映像追従装置を備える映像表示装置も提供する。
本技術は、前記映像追従情報検出装置を用いて、映像を視線に追従させるための映像追従情報を検出する方法であって、
前記映像追従情報検出装置の映像表示系により映像を表示する工程と、
前記映像追従情報検出装置の視線検出系の検出結果を前記視線と前記映像の中心部とのずれ情報として取得する工程と、
を含む、映像追従情報検出方法も提供する。
本技術は、前記映像追従情報検出装置を用いて、映像を視線に追従させる映像追従方法であって、
前記映像追従情報検出装置の映像表示系により映像を表示する工程と、
前記映像追従情報検出装置の視線検出系の検出結果を前記視線と前記映像の中心部とのずれ情報として取得する工程と、
前記ずれ情報に基づいて、少なくとも前記映像光投射部、前記透過反射部材及び前記回折光学素子を一体的に移動させる移動工程と、
を含む、映像追従方法も提供する。
前記移動工程では、前記映像を前記視線に追従させるように、少なくとも前記映像光投射部、前記透過反射部材及び前記反射回折部を一体的に移動させてもよい。
少なくとも1つの非可視光源と、前記透過反射部材と一体的に設けられ、前記非可視光源からの非可視光を前記眼球に向けて反射回折する反射回折部を含む回折光学素子と、前記眼球で反射され前記反射回折部で反射回折された前記非可視光を受光する受光素子とを含む視線検出系と、
を備え、
前記透過反射部材の厚さ方向から見て、前記透過反射部材の前記映像光の中心部が照射される部分と、前記反射回折部とが重なっている、映像追従情報検出装置を提供する。
前記透過反射部材の厚さ方向から見て、前記透過反射部材の、前記映像光の中心部が照射される部分と前記反射回折部の中心部とが重なっていてもよい。
前記反射回折部の大きさは、前記眼球の瞳孔の最大径以下であってもよい。
前記瞳孔の最大径は、8mmであってもよい。
前記映像光投射部は、前記透過反射部材と一体的に設けられていてもよい。
前記受光素子は、複数の受光領域を有していてもよい。
前記複数の受光領域は、2次元配列された4つの受光領域であってもよい。
前記回折光学素子は、厚さ方向に積層された、回折波長及び大きさが異なる複数の前記反射回折部を有し、前記視線検出系は、前記眼球の瞳孔径を取得する瞳孔径取得部と、発光波長が異なる複数の前記非可視光源と、前記瞳孔径取得部での取得結果に基づいて、前記複数の非可視光源を選択的に点灯可能な点灯制御部とを含んでいてもよい。
前記瞳孔径取得部は、照度センサを含み、前記照度センサの検出結果に基づいて前記瞳孔径を求めてもよい。
前記回折光学素子は、厚さ方向に積層された、回折波長及び大きさが異なる複数の前記反射回折部を有し、
前記視線検出系は、発光波長が異なる複数の前記非可視光源を含み、前記複数の非可視光源の点灯毎に前記映像表示系により表示される映像の中心と前記眼球の向きである視線とのずれを算出するための情報を求めてもよい。
前記反射回折部と前記受光素子との間に配置され、前記非可視光源からの非可視光が入射されるビームスプリッタを更に備え、前記ビームスプリッタは、前記非可視光源からの非可視光の一部を前記反射回折部に向けて反射させ、前記反射回折部から前記受光素子に向かう非可視光の一部を透過させてもよい。
前記視線検出系は、前記非可視光源から射出された非可視光を平行光とするコリメートレンズを有していてもよい。
前記視線検出系は、前記非可視光源と前記反射回折部との間の前記非可視光の光路上に配置された偏光板を有していてもよい。
前記視線検出系は、前記反射回折部と前記受光素子との間の前記非可視光の光路上に配置された波長選択フィルタを有していてもよい。
前記映像光投射部が前記透過反射部材と一体的に設けられていてもよい。
本技術は、前記映像光投射部が前記透過反射部材と一体的に設けられた前記映像追従情報検出装置と、
前記映像表示系及び前記回折光学素子を前記透過反射部材の面内方向に平行な方向に移動させるアクチュエータと、
前記映像追従情報検出装置の受光素子からの信号に基づいて、前記アクチュエータを制御する制御装置と、
を備える、映像追従装置も提供する。
前記映像追従装置は、前記非可視光源からの非可視光を、前記映像表示系及び前記回折光学素子の移動想定範囲に応じた断面の大きさの平行光とするコリメータレンズを含んでいてもよい。
前記受光素子は、2次元配列された複数の受光領域を有し、前記制御装置は、前記複数の受光領域からの信号に基づいて、前記映像表示系により表示される映像の中心と前記眼球の向きである視線とのずれを検出し、その検出結果に基づいて前記アクチュエータを制御してもよい。
前記制御装置は、前記映像光による映像を前記視線に追従させるように前記アクチュエータを制御してもよい。
前記反射回折部は縦長形状であり、前記アクチュエータは、前記映像表示系及び前記回折光学素子を前記反射回折部の長手方向に直交する方向に移動させてもよい。
前記反射回折部は横長形状であり、前記アクチュエータは、前記映像表示系及び前記回折光学素子を前記反射回折部の長手方向に直交する方向に移動させてもよい。
前記回折光学素子は、厚さ方向に積層された、回折波長及び大きさが異なる複数の縦長形状の前記反射回折部を有し、前記視線検出系は、前記眼球の瞳孔径を取得する瞳孔径取得部と、発光波長が異なる複数の前記非可視光源と、前記瞳孔径取得部での取得結果に基づいて、前記複数の非可視光源を選択的に点灯可能な点灯制御部とを有し、前記アクチュエータは、前記映像表示系を前記反射回折部の長手方向に直交する方向に移動させてもよい。
前記回折光学素子は、厚さ方向に積層された、回折波長及び大きさが異なる複数の横長形状の前記反射回折部を有し、前記視線検出系は、前記眼球の瞳孔径を取得する瞳孔径取得部と、発光波長が異なる複数の前記非可視光源と、前記瞳孔径取得部での取得結果に基づいて、前記複数の非可視光源を選択的に点灯可能な点灯制御部とを有し、前記アクチュエータは、前記映像表示系を前記反射回折部の長手方向に直交する方向に移動させてもよい。
本技術は、前記映像追従装置を備える映像表示装置も提供する。
本技術は、前記映像追従情報検出装置を用いて、映像を視線に追従させるための映像追従情報を検出する方法であって、
前記映像追従情報検出装置の映像表示系により映像を表示する工程と、
前記映像追従情報検出装置の視線検出系の検出結果を前記視線と前記映像の中心部とのずれ情報として取得する工程と、
を含む、映像追従情報検出方法も提供する。
本技術は、前記映像追従情報検出装置を用いて、映像を視線に追従させる映像追従方法であって、
前記映像追従情報検出装置の映像表示系により映像を表示する工程と、
前記映像追従情報検出装置の視線検出系の検出結果を前記視線と前記映像の中心部とのずれ情報として取得する工程と、
前記ずれ情報に基づいて、少なくとも前記映像光投射部、前記透過反射部材及び前記回折光学素子を一体的に移動させる移動工程と、
を含む、映像追従方法も提供する。
前記移動工程では、前記映像を前記視線に追従させるように、少なくとも前記映像光投射部、前記透過反射部材及び前記反射回折部を一体的に移動させてもよい。
以下に添付図面を参照しながら、本技術の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。以下に説明する実施形態は、本技術の代表的な実施形態を示したものであり、これにより本技術の範囲が狭く解釈されることはない。本明細書において、本技術に係る映像追従情報検出装置、映像追従装置、映像追従情報検出方法及び映像追従方法の各々が複数の効果を奏することが記載される場合でも、本技術に係る映像追従情報検出装置、映像追従装置、映像追従情報検出方法及び映像追従方法の各々は、少なくとも1つの効果を奏すればよい。本明細書に記載された効果はあくまで例示であって限定されるものではなく、また他の効果があってもよい。
また、以下の順序で説明を行う。
1.導入
2.本技術の第1の実施形態に係る映像追従情報検出装置及び該映像追従情報検出装置を備える映像追従装置
3.本技術の第2の実施形態に係る映像追従情報検出装置及び該映像追従情報検出装置を備える映像追従装置
4.本技術の第3の実施形態に係る映像追従情報検出装置及び該映像追従情報検出装置を備える映像追従装置
5.本技術の第4の実施形態に係る映像追従情報検出装置及び該映像追従情報検出装置を備える映像追従装置
6.本技術の第5の実施形態に係る映像追従情報検出装置及び該映像追従情報検出装置を備える映像追従装置
7.本技術の変形例
1.導入
2.本技術の第1の実施形態に係る映像追従情報検出装置及び該映像追従情報検出装置を備える映像追従装置
3.本技術の第2の実施形態に係る映像追従情報検出装置及び該映像追従情報検出装置を備える映像追従装置
4.本技術の第3の実施形態に係る映像追従情報検出装置及び該映像追従情報検出装置を備える映像追従装置
5.本技術の第4の実施形態に係る映像追従情報検出装置及び該映像追従情報検出装置を備える映像追従装置
6.本技術の第5の実施形態に係る映像追従情報検出装置及び該映像追従情報検出装置を備える映像追従装置
7.本技術の変形例
1.<導入>
近年、開発競争が激化しているヘッドマウントディスプレイHMDにおいては、視線検出等の眼球情報の検出が、例えばフォービエイテッド・レンダリング(Foveated Rendering)、視聴可能領域(アイボックス)の拡大に使用される。HMDは、例えば使用者に対して拡張現実(AR)の映像を表示する。
近年、開発競争が激化しているヘッドマウントディスプレイHMDにおいては、視線検出等の眼球情報の検出が、例えばフォービエイテッド・レンダリング(Foveated Rendering)、視聴可能領域(アイボックス)の拡大に使用される。HMDは、例えば使用者に対して拡張現実(AR)の映像を表示する。
2.<本技術の第1の実施形態に係る映像追従情報検出装置及び該映像追従情報検出装置を備える映像追従装置>
本技術の第1の実施形態に係る映像追従情報検出装置10及び該映像追従情報検出装置10を備える映像追従装置について、図面を用いて説明する。
映像追従情報検出装置10は、例えば、ユーザの頭部に装着される映像表示装置の一例であるHMD(ヘッドマウントディスプレイ)に搭載される。HMDは、例えばアイウェアとも呼ばれる。
すなわち、映像追従情報検出装置10は、頭部装着型である。
本技術の第1の実施形態に係る映像追従情報検出装置10及び該映像追従情報検出装置10を備える映像追従装置について、図面を用いて説明する。
映像追従情報検出装置10は、例えば、ユーザの頭部に装着される映像表示装置の一例であるHMD(ヘッドマウントディスプレイ)に搭載される。HMDは、例えばアイウェアとも呼ばれる。
すなわち、映像追従情報検出装置10は、頭部装着型である。
(第1の実施形態に係る映像追従情報検出装置)
図1は、第1の実施形態に係る映像追従情報検出装置10の構成を模式的に示す断面図である。以下では、映像追従情報検出装置10がユーザの頭部に装着されていることを前提として説明を進める。
図1は、第1の実施形態に係る映像追従情報検出装置10の構成を模式的に示す断面図である。以下では、映像追従情報検出装置10がユーザの頭部に装着されていることを前提として説明を進める。
映像追従情報検出装置10は、図1に示すように、映像表示系100と、視線検出系200とを備える。
[映像表示系]
映像表示系100は、映像光投射部110と、透過反射部材120(コンバイナとも呼ばれる)とを含む。
映像表示系100は、映像光投射部110と、透過反射部材120(コンバイナとも呼ばれる)とを含む。
映像光投射部110は、映像光IL(可視光)を投射する。映像光投射部110は、一例として、映像光ILを射出する光源部と、該光源部からの映像光ILの光路上に配置され、該映像光ILを透過反射部材120に向けて投射する投射レンズとを含む。
映像光投射部110は、透過反射部材120と一体的に設けられている。
映像光投射部110は、透過反射部材120と一体的に設けられている。
透過反射部材120は、該映像光投射部110から投射された映像光ILの一部を眼球1に向けて反射し、他部を透過させる。
透過反射部材120は、一例として、少なくとも可視光に対する透過性を有する透過基板300(例えばHMDのフレームに保持される透明又は半透明の基板)の眼球1側の面に眼球1に対向するように設けられている。
透過基板300には、一例として、映像光投射部110を支持するブラケット350が片持ち状態で設けられている。
透過反射部材120は、一例として、反射型の回折光学素子であり、可視光である映像光ILをその波長に応じた特定の方向に高効率で反射回折する。なお、透過反射部材120は、例えばハーフミラー、ガラス板等であってもよい。
図1には、眼球1と透過反射部材120とが対向する方向をZ軸方向とし、透過反射部材120の面内方向において、互いに直交する方向をX軸方向及びY軸方向とするXYZ3次元直交座標系が設定されている。以下では、当該XYZ3次元直交座標系を適宜用いて説明する。
透過反射部材120は、一例として、少なくとも可視光に対する透過性を有する透過基板300(例えばHMDのフレームに保持される透明又は半透明の基板)の眼球1側の面に眼球1に対向するように設けられている。
透過基板300には、一例として、映像光投射部110を支持するブラケット350が片持ち状態で設けられている。
透過反射部材120は、一例として、反射型の回折光学素子であり、可視光である映像光ILをその波長に応じた特定の方向に高効率で反射回折する。なお、透過反射部材120は、例えばハーフミラー、ガラス板等であってもよい。
図1には、眼球1と透過反射部材120とが対向する方向をZ軸方向とし、透過反射部材120の面内方向において、互いに直交する方向をX軸方向及びY軸方向とするXYZ3次元直交座標系が設定されている。以下では、当該XYZ3次元直交座標系を適宜用いて説明する。
[視線検出系]
視線検出系200は、照射系210と、受光系220とを含む。
照射系210は、眼球1に非可視光IVL(例えば赤外光)を照射する。
照射系210は、非可視光源211(例えば赤外光源)と、非可視光源211からの非可視光IVL(例えば赤外光)を眼球1に導く照射光学系212とを有する。
視線検出系200は、照射系210と、受光系220とを含む。
照射系210は、眼球1に非可視光IVL(例えば赤外光)を照射する。
照射系210は、非可視光源211(例えば赤外光源)と、非可視光源211からの非可視光IVL(例えば赤外光)を眼球1に導く照射光学系212とを有する。
(非可視光源)
非可視光源211は、一例として、非可視光IVL(例えば赤外光)を射出する例えば半導体レーザ、発光ダイオード等の光源である。
非可視光源211は、一例として、非可視光IVL(例えば赤外光)を射出する例えば半導体レーザ、発光ダイオード等の光源である。
(照射光学系)
照射光学系212は、コリメートレンズ212aと、ビームスプリッタ212bと、回折光学素子212cとを含む。コリメートレンズは、カップリングレンズとも呼ばれる。
コリメートレンズ212aは、非可視光源211からの非可視光IVLの光路上に配置され、該非可視光を略平行光とする。
ビームスプリッタ212bは、コリメートレンズ212aを介した非可視光IVLの光路上に配置され、該非可視光IVLの一部を反射させ、他部を透過させる。ビームスプリッタ212bは、例えばハーフミラーである。
回折光学素子212cは、ビームスプリッタ212bで反射された非可視光IVLの光路上に配置され、該非可視光を眼球1に向けて反射回折する。
回折光学素子212cは、非可視光源211からの非可視光IVLを眼球1(より詳細には瞳孔1a)に向けて反射回折する反射回折部212c1を含む。
反射回折部212c1は、特定の波長帯の光(非可視光、例えば赤外光)をその波長に応じた特定の方向に高効率で反射回折する。
回折光学素子212cは、透過反射部材120と一体的に設けられている。
すなわち、回折光学素子212cは、映像光投射部110とも一体的に設けられている。
詳述すると、回折光学素子212cは、透過基板300の眼球1側とは反対側の面における透過反射部材120に対応する位置に設けられている。
なお、回折光学素子212cは、透過反射部材120に一体に(直接)設けられていてもよい。
反射回折部212c1の詳細については、後述する。
照射光学系212は、コリメートレンズ212aと、ビームスプリッタ212bと、回折光学素子212cとを含む。コリメートレンズは、カップリングレンズとも呼ばれる。
コリメートレンズ212aは、非可視光源211からの非可視光IVLの光路上に配置され、該非可視光を略平行光とする。
ビームスプリッタ212bは、コリメートレンズ212aを介した非可視光IVLの光路上に配置され、該非可視光IVLの一部を反射させ、他部を透過させる。ビームスプリッタ212bは、例えばハーフミラーである。
回折光学素子212cは、ビームスプリッタ212bで反射された非可視光IVLの光路上に配置され、該非可視光を眼球1に向けて反射回折する。
回折光学素子212cは、非可視光源211からの非可視光IVLを眼球1(より詳細には瞳孔1a)に向けて反射回折する反射回折部212c1を含む。
反射回折部212c1は、特定の波長帯の光(非可視光、例えば赤外光)をその波長に応じた特定の方向に高効率で反射回折する。
回折光学素子212cは、透過反射部材120と一体的に設けられている。
すなわち、回折光学素子212cは、映像光投射部110とも一体的に設けられている。
詳述すると、回折光学素子212cは、透過基板300の眼球1側とは反対側の面における透過反射部材120に対応する位置に設けられている。
なお、回折光学素子212cは、透過反射部材120に一体に(直接)設けられていてもよい。
反射回折部212c1の詳細については、後述する。
(受光系)
受光系220は、照射系210から眼球1に照射され眼球1(例えば眼球1の眼底)で反射された非可視光IVLを受光する。
受光系220は、受光素子220aと、照射系210から眼球1に照射され眼球1で反射された非可視光IVLを受光素子220aに導光する受光光学系220bとを含む。
受光光学系220bは、眼球1からの反射光(非可視光IVL)をビームスプリッタ212bに向けて反射回折する回折光学素子212cと、該回折光学素子212cで反射回折された非可視光IVLのうちビームスプリッタ212bを透過した非可視光IVLの光路上に配置され、該非可視光IVLを受光素子220aに集光させる集光レンズ220b1とを含む。
すなわち、受光光学系220bは、ビームスプリッタ212b及び回折光学素子212cを照射光学系212と共有している。
換言すると、照射系210におけるビームスプリッタ212bから回折光学素子212cまでの非可視光IVLの光路と、受光系220における回折光学素子212cからビームスプリッタ212bまでの非可視光IVLの光路とが重なっている(略一致している)。
受光系220は、照射系210から眼球1に照射され眼球1(例えば眼球1の眼底)で反射された非可視光IVLを受光する。
受光系220は、受光素子220aと、照射系210から眼球1に照射され眼球1で反射された非可視光IVLを受光素子220aに導光する受光光学系220bとを含む。
受光光学系220bは、眼球1からの反射光(非可視光IVL)をビームスプリッタ212bに向けて反射回折する回折光学素子212cと、該回折光学素子212cで反射回折された非可視光IVLのうちビームスプリッタ212bを透過した非可視光IVLの光路上に配置され、該非可視光IVLを受光素子220aに集光させる集光レンズ220b1とを含む。
すなわち、受光光学系220bは、ビームスプリッタ212b及び回折光学素子212cを照射光学系212と共有している。
換言すると、照射系210におけるビームスプリッタ212bから回折光学素子212cまでの非可視光IVLの光路と、受光系220における回折光学素子212cからビームスプリッタ212bまでの非可視光IVLの光路とが重なっている(略一致している)。
受光素子220aは、複数の受光領域を有する。
複数の受光領域は、例えば2次元配列された4つの受光領域(220a-1~220a-4)である。各受光領域は、例えばフォトダイオード(PD)である。すなわち、受光素子220aは、例えば4分割フォトダイオードである。
なお、受光素子220aは、高密度に2次元配列された多数の画素を含むイメージセンサであってもよいが、ここでは、低消費電力及び低レイテンシーの点で優位な小分割フォトダイオードの一例として4分割フォトダイオードを用いている。
受光素子220aの4つの受光領域220a-1~220a-4の受光光量によって、ユーザの視線(眼球の向き)を検出することができる。
具体的には、例えば図2Aにおいて、4つの受光領域220a-1~220a-4の受光光量は、それぞれA、B、C、Dである。
ここで、図2Aに示すように、例えば受光素子220aの中心を原点OとするXY座標(例えばX軸方向を水平方向、Y軸方向を垂直方向)を設定した場合に、瞳孔1aの中心がX軸方向の任意の位置にあるとき、総受光光量(A+B+C+D)が図2B上図に示す波形となり、水平信号((A+C)-(B+D))が図2B下図に示す波形となる。
複数の受光領域は、例えば2次元配列された4つの受光領域(220a-1~220a-4)である。各受光領域は、例えばフォトダイオード(PD)である。すなわち、受光素子220aは、例えば4分割フォトダイオードである。
なお、受光素子220aは、高密度に2次元配列された多数の画素を含むイメージセンサであってもよいが、ここでは、低消費電力及び低レイテンシーの点で優位な小分割フォトダイオードの一例として4分割フォトダイオードを用いている。
受光素子220aの4つの受光領域220a-1~220a-4の受光光量によって、ユーザの視線(眼球の向き)を検出することができる。
具体的には、例えば図2Aにおいて、4つの受光領域220a-1~220a-4の受光光量は、それぞれA、B、C、Dである。
ここで、図2Aに示すように、例えば受光素子220aの中心を原点OとするXY座標(例えばX軸方向を水平方向、Y軸方向を垂直方向)を設定した場合に、瞳孔1aの中心がX軸方向の任意の位置にあるとき、総受光光量(A+B+C+D)が図2B上図に示す波形となり、水平信号((A+C)-(B+D))が図2B下図に示す波形となる。
瞳孔1aの中心がY軸方向の任意の位置にあるときも、図2Bに示す波形と同様になるので、総受光光量(総光量)、水平信号、垂直信号を取得することにより、瞳孔1aの中心の位置、すなわち視線(眼球1の向き)を検出することができる。
(反射回折部)
図1に戻り、反射回折部212c1は、透過反射部材120の厚さ方向(透過反射部材120の面内方向に直交する方向、Z軸方向)から見て、透過反射部材120の映像光ILの中心部が照射される部分120aと重なっている。
ここでは、一例として、透過反射部材120の映像光ILの中心部が照射される部分120aは、透過反射部材120の中心部(以下では「コンバイナ中心」とも呼ぶ)に一致している。
この場合に、反射回折部212c1は、コンバイナ中心と重なっている。
なお、透過反射部材120の映像光ILの中心部が照射される部分120aは、透過反射部材120の中心部(コンバイナ中心)から多少ずれていてもよい。
図1に戻り、反射回折部212c1は、透過反射部材120の厚さ方向(透過反射部材120の面内方向に直交する方向、Z軸方向)から見て、透過反射部材120の映像光ILの中心部が照射される部分120aと重なっている。
ここでは、一例として、透過反射部材120の映像光ILの中心部が照射される部分120aは、透過反射部材120の中心部(以下では「コンバイナ中心」とも呼ぶ)に一致している。
この場合に、反射回折部212c1は、コンバイナ中心と重なっている。
なお、透過反射部材120の映像光ILの中心部が照射される部分120aは、透過反射部材120の中心部(コンバイナ中心)から多少ずれていてもよい。
さらに、反射回折部212c1の中心部が、透過反射部材120の厚さ方向から見て、透過反射部材120の、映像光ILの中心部が照射される部分120a(例えばコンバイナ中心)と重なっていることが好ましい。
この場合、例えば受光素子220aの4つの受光領域220a-1~220a-4(図2A参照)の受光光量は、コンバイナ中心(映像光ILにより表示される映像の中心、以下では「映像中心」とも呼ぶ)からのユーザの視線(瞳孔中心)のずれを示す。逆に言うと、4つの受光領域220a-1~220a-2の受光光量は、ユーザの視線(瞳孔中心)からの映像中心のずれを示す。
この場合、例えば受光素子220aの4つの受光領域220a-1~220a-4(図2A参照)の受光光量は、コンバイナ中心(映像光ILにより表示される映像の中心、以下では「映像中心」とも呼ぶ)からのユーザの視線(瞳孔中心)のずれを示す。逆に言うと、4つの受光領域220a-1~220a-2の受光光量は、ユーザの視線(瞳孔中心)からの映像中心のずれを示す。
さらに、反射回折部212c1の大きさは、眼球1の瞳孔1aの最大径以下であることが好ましい。
この場合には、図1において、受光系220は、照射系210から眼球1の角膜に照射され該角膜からの反射光を受光することができるため、視線(瞳孔中心)からの映像中心のずれを精度良く求めることができる。
一方、例えば反射回折部の大きさが瞳孔1aの最大径よりも大きい場合は、角膜以外からの反射光も検出されるため、瞳孔1aの中心の検出感度が低くなる。
この場合には、図1において、受光系220は、照射系210から眼球1の角膜に照射され該角膜からの反射光を受光することができるため、視線(瞳孔中心)からの映像中心のずれを精度良く求めることができる。
一方、例えば反射回折部の大きさが瞳孔1aの最大径よりも大きい場合は、角膜以外からの反射光も検出されるため、瞳孔1aの中心の検出感度が低くなる。
また、反射回折部212c1の大きさは、瞳孔1aの最小径以上であってもよい。
一般的に、瞳孔1aの径は、2mm~8mmである。
すなわち、一般的に、瞳孔1aの最大径は、8mmであり、瞳孔1aの最小径は、2mmである。
一般的に、瞳孔1aの径は、2mm~8mmである。
すなわち、一般的に、瞳孔1aの最大径は、8mmであり、瞳孔1aの最小径は、2mmである。
図1において、非可視光源211から射出された非可視光IVLは、所定の拡散角まで拡散した後、コリメートレンズ212aで所定のビーム径(反射回折部212c1よりも十分に大きいビーム径)の平行光とされ、当該ビーム径を保ちつつ、一部がビームスプリッタ212bで反射されて、反射回折部212c1に入射される。
この場合に、例えば、映像追従情報検出装置10がユーザの頭部に対して多少ずれても、非可視光源211からの非可視光IVLが反射回折部212c1に照射される。
この場合に、例えば、映像追従情報検出装置10がユーザの頭部に対して多少ずれても、非可視光源211からの非可視光IVLが反射回折部212c1に照射される。
(映像追従装置の構成)
第1の実施形態に係る映像追従情報検出装置10を備える映像追従装置は、さらに、アクチュエータ400と制御装置500とを備える。
アクチュエータ400は、例えば、HMDのメガネフレームに対して、少なくとも映像表示系100及び回折光学素子212cを透過反射部材120の面内方向に平行な方向(XY平面に平行な方向)に移動させる。
具体的には、アクチュエータ400は、一例として、一体的に設けられた映像表示系100、回折光学素子212c及び透過基板300をX軸方向及びY軸方向に独立して移動させることが可能である。以下では、映像表示系100、回折光学素子212c及び透過基板300を併せて「移動対象」とも呼ぶ。
ここでは、一例として、透過基板300がアクチュエータ400を介してHMDのメガネフレームに取付けられている。
すなわち、移動対象は、アクチュエータ400によりメガネフレームに対してX軸方向及びY軸方向に独立に移動可能となっている。
アクチュエータ400としては、例えば、2軸のリニアモータ、2軸のボールねじ機構及びこれの駆動源としてのモータを組み合わせたもの、2軸のラック・アンド・ピニオン機構とこれの駆動源としてのモータを組み合わせたもの等が挙げられる。
アクチュエータ400は、例えば、HMDのメガネフレームに対して、少なくとも映像表示系100及び回折光学素子212cを透過反射部材120の面内方向に平行な方向(XY平面に平行な方向)に移動させる。
具体的には、アクチュエータ400は、一例として、一体的に設けられた映像表示系100、回折光学素子212c及び透過基板300をX軸方向及びY軸方向に独立して移動させることが可能である。以下では、映像表示系100、回折光学素子212c及び透過基板300を併せて「移動対象」とも呼ぶ。
ここでは、一例として、透過基板300がアクチュエータ400を介してHMDのメガネフレームに取付けられている。
すなわち、移動対象は、アクチュエータ400によりメガネフレームに対してX軸方向及びY軸方向に独立に移動可能となっている。
アクチュエータ400としては、例えば、2軸のリニアモータ、2軸のボールねじ機構及びこれの駆動源としてのモータを組み合わせたもの、2軸のラック・アンド・ピニオン機構とこれの駆動源としてのモータを組み合わせたもの等が挙げられる。
当該映像追従装置において、映像追従情報検出装置10のコリメートレンズ212aは、非可視光源211からの非可視光IVLを、移動対象の移動想定範囲に応じた断面の大きさの平行光とする。
具体的には、例えば、当該断面の大きさは、移動対象が移動想定範囲内で移動しても、非可視光源211からの非可視光IVLを反射回折部212c1に照射可能な大きさである。
具体的には、例えば、当該断面の大きさは、移動対象が移動想定範囲内で移動しても、非可視光源211からの非可視光IVLを反射回折部212c1に照射可能な大きさである。
制御装置500は、図3に示すように、主制御部500a及びずれ検出部500bを含む。制御装置500は、例えばCPU、チップセット等を含むハードウェア構成により実現される。
ずれ検出部500aは、受光素子220aの出力に基づいて、映像の視線からのずれ(ずれ量及びずれ方向)を検出し、その検出結果を主制御部500aに送る。
主制御部500aは、映像中心の視線からのずれ(ずれ方向及びずれ量)に基づいて、移動対象をX軸方向に駆動するための駆動信号(パルス信号)及びY軸方向に駆動するための駆動信号(パルス信号)を生成し、アクチュエータ400に出力する。これにより、映像中心の視線からのずれに基づいて、アクチュエータ400が駆動される。
ずれ検出部500aは、受光素子220aの出力に基づいて、映像の視線からのずれ(ずれ量及びずれ方向)を検出し、その検出結果を主制御部500aに送る。
主制御部500aは、映像中心の視線からのずれ(ずれ方向及びずれ量)に基づいて、移動対象をX軸方向に駆動するための駆動信号(パルス信号)及びY軸方向に駆動するための駆動信号(パルス信号)を生成し、アクチュエータ400に出力する。これにより、映像中心の視線からのずれに基づいて、アクチュエータ400が駆動される。
(映像追従装置の動作)
以下に、図4のフローチャートを参照して、第1の実施形態に係る映像追従情報検出装置10を備える映像追従装置の動作について説明する。図4のフローチャートは、制御装置500の主制御部500aで実行される処理アルゴリズムに基づいている。
以下に、図4のフローチャートを参照して、第1の実施形態に係る映像追従情報検出装置10を備える映像追従装置の動作について説明する。図4のフローチャートは、制御装置500の主制御部500aで実行される処理アルゴリズムに基づいている。
最初のステップS1では、主制御部500aが、映像光ILをコンバイナ(透過反射部材120)に照射する。具体的には、主制御部500aが、映像光投射部110からコンバイナに向けて映像光ILを投射する。主制御部500aは、例えば、ユーザにより映像追従装置の電源スイッチがオンにされたときに、ステップS1を実行する。
次のステップS2では、主制御部500aが、瞳孔1aの中心(瞳孔中心)の初期位置を検出する。
具体的には、主制御部500aは、アクチュエータ400を制御して移動対象をX軸方向、Y軸方向にそれぞれ掃引することで、瞳孔中心の初期位置(例えば図2Aにおける瞳孔中心のXY座標)を求める。例えば、主制御部500aは、移動対象をX軸方向、Y軸方向にそれぞれ掃引して、図2における各受光領域での受光光量が同一となったときのコンバイナ中心の位置を瞳孔中心の初期位置として検出する。
この瞳孔中心の初期位置が検出された状態では、視線からのコンバイナ中心のずれが0の状態である(視線とコンバイナ中心とが交わる状態である)。
そこで、この状態(図1に示す状態又は図7Aに示す状態)を、アクチュエータ400による移動対象の初期位置とする。
具体的には、主制御部500aは、アクチュエータ400を制御して移動対象をX軸方向、Y軸方向にそれぞれ掃引することで、瞳孔中心の初期位置(例えば図2Aにおける瞳孔中心のXY座標)を求める。例えば、主制御部500aは、移動対象をX軸方向、Y軸方向にそれぞれ掃引して、図2における各受光領域での受光光量が同一となったときのコンバイナ中心の位置を瞳孔中心の初期位置として検出する。
この瞳孔中心の初期位置が検出された状態では、視線からのコンバイナ中心のずれが0の状態である(視線とコンバイナ中心とが交わる状態である)。
そこで、この状態(図1に示す状態又は図7Aに示す状態)を、アクチュエータ400による移動対象の初期位置とする。
次のステップS3では、主制御部500aが、非可視光源211(例えば赤外光源)を点灯させる。このとき、非可視光源211から射出された非可視光IVLは、照射光学系212により眼球1に導かれる。眼球1で反射された非可視光IVLの少なくとも一部は、受光光学系220bにより受光素子220aに導かれる。
次のステップS4では、ずれ検出部500bが、視線からのコンバイナ中心のずれを検出する。具体的には、ずれ検出部500bは、受光素子220aの4つの受光領域220a-1~220a-4の受光光量に基づいて当該ずれ(ずれ方向及びずれ量)を検出し、主制御部500aに送る。
例えば、図5及び図7Aにおいては、映像追従装置を搭載するメガネの掛けずれが起き、視線からのコンバイナ中心のずれが大きく、映像光ILが瞳孔1aにほとんど入射しない状態となっている。この場合には、映像の消失が発生するおそれがある。
例えば、図5及び図7Aにおいては、映像追従装置を搭載するメガネの掛けずれが起き、視線からのコンバイナ中心のずれが大きく、映像光ILが瞳孔1aにほとんど入射しない状態となっている。この場合には、映像の消失が発生するおそれがある。
次のステップS5では、主制御部500aが、視線からのコンバイナ中心のずれに基づいて、映像表示系100、回折光学素子212c及び透過基板300を一体的に移動させる。具体的には、主制御部500aは、映像の視線からのずれが極力小さくなるように、好ましくは0となるような駆動信号を生成し、アクチュエータ400に印加する。
例えば、図6に示すように、図5に示す状態から、アクチュエータ400を制御して、視線検出系200による瞳孔中心位置(視線)の検出動作を行うことにより、視線からのコンバイナ中心のずれをなくすことが可能である。すなわち、視線と映像中心のずれをなくすことが可能である。
例えば、図7Cに示すように、図7Bに示す状態から、アクチュエータ400を制御して、瞳孔中心位置の検出動作を行うことより、視線からのコンバイナ中心のずれをなくすことが可能である。
例えば、図6に示すように、図5に示す状態から、アクチュエータ400を制御して、視線検出系200による瞳孔中心位置(視線)の検出動作を行うことにより、視線からのコンバイナ中心のずれをなくすことが可能である。すなわち、視線と映像中心のずれをなくすことが可能である。
例えば、図7Cに示すように、図7Bに示す状態から、アクチュエータ400を制御して、瞳孔中心位置の検出動作を行うことより、視線からのコンバイナ中心のずれをなくすことが可能である。
最後のステップS6では、主制御部500aが、処理が終了したか否かを判断する。具体的には、例えば、主制御部500aは、ユーザにより映像追従装置のスイッチがオフにされときに処理が終了したと判断し、オンの状態のままのときには処理がしていない(継続中)であると判断する。ステップS6での判断が否定されるとステップS4に戻り、肯定されるとフローは終了する。
(映像追従情報検出装置、映像追従装置、映像追従情報検出方法及び映像追従方法の効果)
以上説明した第1の実施形態の映像追従情報検出装置10は、映像光ILを投射する映像光投射部110と、映像光投射部110から投射された映像光ILの一部を眼球1に向けて反射し、他部を透過させる透過反射部材120とを含む映像表示系100と、少なくとも1つの非可視光源211と、透過反射部材120に一体的に設けられ、非可視光源211からの非可視光IVLを眼球1に向けて反射回折する反射回折部212c1を含む回折光学素子212cと、眼球1で反射され反射回折部212c1で反射回折された非可視光IVLを受光する受光素子220aとを含む視線検出系200と、を備える。さらに、映像追従情報検出装置10は、透過反射部材120の厚さ方向(例えばZ軸方向)から見て、透過反射部材120の映像光ILの中心部が照射される部分120aと、反射回折部212c1とが重なっている。
この場合、受光素子220aの出力により、映像光ILの中心部により表示される映像の中心と視線とのずれを求めることができる。
この結果、映像追従情報検出装置10によれば、ユーザの視線に映像の中心部を追従させるための情報を得ることができる。
また、映像追従情報検出装置10によれば、非可視光源211からの光を回折光学素子212cで反射回折させて眼球1に入射させる構成を採用しているので、例えば、映像追従情報検出装置10が搭載される、HMDのメガネフレーム上に光源や受光素子を配置する必要がなく、ユーザの視野を広く確保することができる。
以上説明した第1の実施形態の映像追従情報検出装置10は、映像光ILを投射する映像光投射部110と、映像光投射部110から投射された映像光ILの一部を眼球1に向けて反射し、他部を透過させる透過反射部材120とを含む映像表示系100と、少なくとも1つの非可視光源211と、透過反射部材120に一体的に設けられ、非可視光源211からの非可視光IVLを眼球1に向けて反射回折する反射回折部212c1を含む回折光学素子212cと、眼球1で反射され反射回折部212c1で反射回折された非可視光IVLを受光する受光素子220aとを含む視線検出系200と、を備える。さらに、映像追従情報検出装置10は、透過反射部材120の厚さ方向(例えばZ軸方向)から見て、透過反射部材120の映像光ILの中心部が照射される部分120aと、反射回折部212c1とが重なっている。
この場合、受光素子220aの出力により、映像光ILの中心部により表示される映像の中心と視線とのずれを求めることができる。
この結果、映像追従情報検出装置10によれば、ユーザの視線に映像の中心部を追従させるための情報を得ることができる。
また、映像追従情報検出装置10によれば、非可視光源211からの光を回折光学素子212cで反射回折させて眼球1に入射させる構成を採用しているので、例えば、映像追従情報検出装置10が搭載される、HMDのメガネフレーム上に光源や受光素子を配置する必要がなく、ユーザの視野を広く確保することができる。
透過反射部材120の厚さ方向から見て、透過反射部材120の、映像光ILの中心部が照射される部分120aと反射回折部212c1の中心部とが重なっていることが好ましい。これにより、映像中心と視線とのずれをより精度良く求めることができ、ひいては、ユーザの視線に映像を追従させるためのより高精度な情報を得ることができる。
第1の実施形態の映像追従情報検出装置10を備える映像追従装置は、映像表示系100及び回折光学素子212cを透過反射部材120の面内方向に平行な方向に移動させるアクチュエータ400と、映像追従情報検出装置10の受光素子220aからの信号に基づいて、アクチュエータを制御する制御装置500と、を備える。これにより、ユーザの視線に映像を追従させることができる。
受光素子220aは、2次元配列された複数(例えば4つ)の受光領域220a-1~220a-4を有し、制御装置500は、複数の受光領域220a-1~220a-4からの信号に基づいて、映像表示系100により表示される映像の中心と眼球1の向きである視線とのずれを検出し、その検出結果に基づいてアクチュエータ400を制御する。これにより、低レイテンシー且つ低消費電力で、ユーザの視線に映像を追従させることができる。
第1の実施形態の映像追従情報検出装置10を含む映像追従装置を備える映像表示装置(例えばHMD)によれば、コンバイナ中心が視線に追従するので、ユーザは、常時、映像中心を視ることができる。つまり、映像に対するユーザの視認性が良好な状態が継続して維持される。
第1の実施形態の映像追従情報検出装置10を用いて、映像を視線に追従させるための映像追従情報を検出する映像追従情報検出方法は、映像追従情報検出装置10の映像表示系100により映像を表示する工程と、視線検出系200の検出結果を視線と映像の中心部とのずれ情報として取得する工程と、映像光ILを透過反射部材120で反射させて眼球1に照射する映像光照射工程と、非可視光IVLを--透過反射部材120に設けられた反射回折部212c1で反射回折させて眼球1に照射し、その反射光を反射回折部212c1で反射回折させて受光することにより、眼球1の向きである視線を検出する視線検出工程と、を含む。
この場合、眼球1からの反射光を受光することにより、映像光ILの中心部により表示される映像の中心と視線とのずれを求めることができる。
この結果、当該映像追従情報検出方法によれば、ユーザの視線に映像を追従させるための情報を得ることができる。
この場合、眼球1からの反射光を受光することにより、映像光ILの中心部により表示される映像の中心と視線とのずれを求めることができる。
この結果、当該映像追従情報検出方法によれば、ユーザの視線に映像を追従させるための情報を得ることができる。
第1の実施形態の映像追従情報検出装置10を用いて、映像を視線に追従させる映像追従方法は、映像追従情報検出装置10の映像表示系100により映像を表示する工程と、視線検出系200の検出結果を視線と映像の中心部とのずれ情報として取得する工程と、該ずれ情報に基づいて、少なくとも映像光投射部110、透過反射部材120及び回折光学素子212cを一体的に移動させる移動工程と、を含む。これにより、ユーザの視線に映像を追従させることができる。
3.<本技術の第2の実施形態に係る映像追従情報検出装置及び該映像追従情報検出装置を備える映像追従装置>
以下に、図8~図11を参照して、本技術の第2の実施形態に係る映像追従情報検出装置20及び該映像追従情報検出装置について説明する。
以下に、図8~図11を参照して、本技術の第2の実施形態に係る映像追従情報検出装置20及び該映像追従情報検出装置について説明する。
ところで、眼球の瞳孔径は、環境光や映像光の輝度に依存して変化する。
そこで、第2の実施形態に係る映像追従情報検出装置20は、このような瞳孔径の変化に対応するための構成を有している。
具体的には、第2の実施形態に係る映像追従情報検出装置20は、図8~図10に示すように、視線検出系200が、眼球1の瞳孔径(瞳孔1aの径)を取得する瞳孔径取得部500cと、発光波長が異なる複数(例えば2つ)の非可視光源(例えば第1及び第2の非可視光源211a、211b)と、瞳孔径取得部500cでの取得結果に基づいて、複数の非可視光源211a、211bを選択的に点灯可能な点灯制御部500dとを含む。
さらに、第2の実施形態に係る映像追従情報検出装置20は、図8及び図9に示すように、回折光学素子212dが、厚さ方向(Z軸方向)に積層された、回折波長及び大きさが異なる複数(例えば2つ)の反射回折部(例えば第1及び第2の反射回折部212d1、212d2)を有する。
第1の反射回折部212d1は、第1の非可視光源211aの発光波長を回折波長とする。すなわち、第1の反射回折部212d1は、第1の非可視光源211aからの非可視光IVL1を特定の方向に高効率で回折する。
第2の反射回折部212d2は、第2の非可視光源211bの発光波長を回折波長とする。すなわち、第2の反射回折部212d2は、第2の非可視光源211bからの非可視光IVL2を特定の方向に高効率で回折する。
一例として、第2の反射回折部212d2は、第1の反射回折部212d1よりも大きい。
各反射回折部の大きさは、一例として、瞳孔1aの最大径(例えば8mm)以下である。
そこで、第2の実施形態に係る映像追従情報検出装置20は、このような瞳孔径の変化に対応するための構成を有している。
具体的には、第2の実施形態に係る映像追従情報検出装置20は、図8~図10に示すように、視線検出系200が、眼球1の瞳孔径(瞳孔1aの径)を取得する瞳孔径取得部500cと、発光波長が異なる複数(例えば2つ)の非可視光源(例えば第1及び第2の非可視光源211a、211b)と、瞳孔径取得部500cでの取得結果に基づいて、複数の非可視光源211a、211bを選択的に点灯可能な点灯制御部500dとを含む。
さらに、第2の実施形態に係る映像追従情報検出装置20は、図8及び図9に示すように、回折光学素子212dが、厚さ方向(Z軸方向)に積層された、回折波長及び大きさが異なる複数(例えば2つ)の反射回折部(例えば第1及び第2の反射回折部212d1、212d2)を有する。
第1の反射回折部212d1は、第1の非可視光源211aの発光波長を回折波長とする。すなわち、第1の反射回折部212d1は、第1の非可視光源211aからの非可視光IVL1を特定の方向に高効率で回折する。
第2の反射回折部212d2は、第2の非可視光源211bの発光波長を回折波長とする。すなわち、第2の反射回折部212d2は、第2の非可視光源211bからの非可視光IVL2を特定の方向に高効率で回折する。
一例として、第2の反射回折部212d2は、第1の反射回折部212d1よりも大きい。
各反射回折部の大きさは、一例として、瞳孔1aの最大径(例えば8mm)以下である。
点灯制御部500dは、第1及び第2の非可視光源211a、211bを順次点灯させる。瞳孔径取得部500cは、第1及び第2の非可視光源211a、211bの点灯毎に眼球1の瞳孔径を取得する。点灯制御部500dは、瞳孔径取得部500cの取得結果に基づいて、複数の非可視光源211a、211bから点灯させる非可視光源を選択する。
瞳孔径取得部500cは、図10に示すように、一例として、照度センサ500c1と、該照度センサ500c1の検出結果に基づいて眼球1の瞳孔径を推定する瞳孔系推定部500c2とを含む。照度センサ500c1は、例えば、映像光投射部110を支持するブラケット350に設けられている。
(映像追従装置の動作)
以下に、第2の実施形態に係る映像追従情報検出装置20を備える映像追従装置の動作を、図11のフローチャートを参照して説明する。図11のフローチャートは、制御装置550(図10参照)の主制御部500aによって実行される処理アルゴリズムに基づいている。
以下に、第2の実施形態に係る映像追従情報検出装置20を備える映像追従装置の動作を、図11のフローチャートを参照して説明する。図11のフローチャートは、制御装置550(図10参照)の主制御部500aによって実行される処理アルゴリズムに基づいている。
最初のステップS11では、主制御部500aが、映像光ILをコンバイナ(透過反射部材120)に照射する。具体的には、主制御部500aが、映像光投射部110からコンバイナに向けて映像光ILを投射する。なお、主制御部500aは、例えば、ユーザにより映像追従装置の電源スイッチがオンにされたときに、ステップS11を実行する。
次のステップS12では、照度センサ500c1が眼球1周辺の照度情報を検出する。
次のステップS13では、瞳孔径推定部500c2が、照度センサ500c1で検出された照度情報に基づいて瞳孔径を推定する。具体的には、瞳孔径推定部500c2は、例えば、予め瞳孔径と照度との対応関係を表すテーブルをメモリに保存しておき、瞳孔径推定部500c2が、当該テーブルを参照して、検出された照度情報に対応する瞳孔径を該照度情報検出時での瞳孔径と推定する。
次のステップS14では、点灯制御部500dが、瞳孔径推定部500c2で推定された瞳孔径に応じて非可視光源を選択する。具体的には、点灯制御部500dは、当該推定された瞳孔径が閾値(例えば4mm)以上の場合(暗瞳孔の場合)に、大きい方の反射回折部212d2に対応する非可視光源である第2の非可視光源211bを選択する。一方、点灯制御部500dは、当該推定された瞳孔径が閾値(例えば4mm)未満の場合(明瞳孔の場合)に、小さい方の反射回折部212d1に対応する非可視光源である第1の非可視光源211aを選択する。
次のステップS15では、主制御部500aが、点灯制御部500dにより選択された非可視光源を点灯して瞳孔中心の初期位置を検出する。
具体的には、主制御部500aは、上記第1の実施形態のステップS2と同様にアクチュエータ400を制御して移動対象をX軸方向、Y軸方向にそれぞれ掃引することで、瞳孔中心の初期位置を求める。
例えば、第1の非可視光源211aが選択された場合には、図8に示すように、第1の非可視光源211aから射出されコリメートレンズ212a、ビームスプリッタ212bを介した非可視光IVL1は、第1の反射回折部212d1で眼球1に向けて回折される。眼球1に入射された非可視光IVL1の少なくとも一部は、第1の反射回折部212d1で反射回折され、ビームスプリッタ212b、集光レンズ220b1を介して受光素子220aに入射される。
例えば、第2の非可視光源211bが選択された場合には、図9に示すように、第2の非可視光源211bから射出されコリメートレンズ212a、ビームスプリッタ212bを介した非可視光IVL2は、第2の反射回折部212d2で眼球1に向けて回折される。眼球1に入射された非可視光IVL2の少なくとも一部は、第2の反射回折部212d2で反射回折され、ビームスプリッタ212b、集光レンズ220b1を介して受光素子220aに入射される。
すなわち、眼球1には瞳孔径に応じた大きさの非可視光が照射されるので、瞳孔中心位置の検出精度が向上する。
瞳孔中心の初期位置が検出された状態では、視線からのコンバイナ中心のずれが0の状態である(視線とコンバイナ中心とが交わる状態である)。
そこで、この状態(図8に示す状態)を、アクチュエータ400による移動対象の初期位置とする。
具体的には、主制御部500aは、上記第1の実施形態のステップS2と同様にアクチュエータ400を制御して移動対象をX軸方向、Y軸方向にそれぞれ掃引することで、瞳孔中心の初期位置を求める。
例えば、第1の非可視光源211aが選択された場合には、図8に示すように、第1の非可視光源211aから射出されコリメートレンズ212a、ビームスプリッタ212bを介した非可視光IVL1は、第1の反射回折部212d1で眼球1に向けて回折される。眼球1に入射された非可視光IVL1の少なくとも一部は、第1の反射回折部212d1で反射回折され、ビームスプリッタ212b、集光レンズ220b1を介して受光素子220aに入射される。
例えば、第2の非可視光源211bが選択された場合には、図9に示すように、第2の非可視光源211bから射出されコリメートレンズ212a、ビームスプリッタ212bを介した非可視光IVL2は、第2の反射回折部212d2で眼球1に向けて回折される。眼球1に入射された非可視光IVL2の少なくとも一部は、第2の反射回折部212d2で反射回折され、ビームスプリッタ212b、集光レンズ220b1を介して受光素子220aに入射される。
すなわち、眼球1には瞳孔径に応じた大きさの非可視光が照射されるので、瞳孔中心位置の検出精度が向上する。
瞳孔中心の初期位置が検出された状態では、視線からのコンバイナ中心のずれが0の状態である(視線とコンバイナ中心とが交わる状態である)。
そこで、この状態(図8に示す状態)を、アクチュエータ400による移動対象の初期位置とする。
次のステップS16では、ずれ検出部500bが、選択された非可視光源を点灯して視線からのコンバイナ中心のずれを検出する。この場合にも、上述したように、瞳孔中心位置の検出精度が向上するため、当該ずれの検出精度も向上する。
具体的には、ずれ検出部500bは、受光素子220aの4つの受光領域220a-1~220a-4の受光光量に基づいて当該ずれ(ずれ方向及びずれ量)を検出し、主制御部500aに送る。
具体的には、ずれ検出部500bは、受光素子220aの4つの受光領域220a-1~220a-4の受光光量に基づいて当該ずれ(ずれ方向及びずれ量)を検出し、主制御部500aに送る。
次のステップS17では、主制御部500aが、検出されたずれに基づいてアクチュエータにより移動対象を移動する。
具体的には、主制御部500aは、映像の視線からのずれが極力小さくなるように、好ましくは0となるような駆動信号を生成し、アクチュエータ400に印加する。
具体的には、主制御部500aは、映像の視線からのずれが極力小さくなるように、好ましくは0となるような駆動信号を生成し、アクチュエータ400に印加する。
最後のステップS18では、主制御部500aが、処理が終了したか否かを判断する。具体的には、例えば、主制御部500aは、ユーザにより映像追従装置のスイッチがオフにされたときに処理が終了したと判断し、オンの状態のままのときには処理がしていない(継続中)であると判断する。ステップS18での判断が否定されるとステップS12に戻り、肯定されるとフローは終了する。
以上説明した第2の実施形態に係る映像追従情報検出装置20によれば、眼球1に瞳孔径に応じた大きさの非可視光を照射するので、視線からの映像中心のずれを精度良く求めることができる。
第2の実施形態に係る映像追従情報検出装置20を備える映像追従装置によれば、視線に対して映像中心を精度良く追従させることができる。
4.<本技術の第3の実施形態に係る映像追従情報検出装置及び該映像追従情報検出装置を備える映像追従装置>
以下に、本技術の第3の実施形態に係る映像追従情報検出装置及び該映像追従情報検出装置を備える映像追従装置について説明する。
第2の実施形態に係る映像追従情報検出装置20を備える映像追従装置によれば、視線に対して映像中心を精度良く追従させることができる。
4.<本技術の第3の実施形態に係る映像追従情報検出装置及び該映像追従情報検出装置を備える映像追従装置>
以下に、本技術の第3の実施形態に係る映像追従情報検出装置及び該映像追従情報検出装置を備える映像追従装置について説明する。
第3の実施形態に係る映像追従情報検出装置の構成は、瞳孔径取得部500c及び点灯制御部500dを有していない点を除いて、図8~図10に示す上記第2の実施形態に係る映像追従情報検出装置の構成と同様である。
第3の実施形態に係る映像追従情報検出装置を備える映像追従装置の構成は、映像追従情報検出装置が瞳孔径取得部500cを有していない点を除いて、上記第2の実施形態に係る映像表示位置調整情報検出装置を備える映像追従装置の構成と同様である。
第3の実施形態に係る映像追従情報検出装置では、回折光学素子212d(図8及び図9参照)は、厚さ方向に積層された、回折波長及び大きさが異なる複数の反射回折部212d1、212d2を有し、視線検出系200は、発光波長が異なる複数の非可視光源(例えば第1及び第2の非可視光源211a、211b)を含み、複数の非可視光源211a、211bの点灯毎に映像表示系100により表示される映像の中心と眼球1の向きである視線とのずれを算出するための情報(ずれ算出情報)を求める。
第3の実施形態に係る映像追従情報検出装置を備える映像追従装置の構成は、映像追従情報検出装置が瞳孔径取得部500cを有していない点を除いて、上記第2の実施形態に係る映像表示位置調整情報検出装置を備える映像追従装置の構成と同様である。
第3の実施形態に係る映像追従情報検出装置では、回折光学素子212d(図8及び図9参照)は、厚さ方向に積層された、回折波長及び大きさが異なる複数の反射回折部212d1、212d2を有し、視線検出系200は、発光波長が異なる複数の非可視光源(例えば第1及び第2の非可視光源211a、211b)を含み、複数の非可視光源211a、211bの点灯毎に映像表示系100により表示される映像の中心と眼球1の向きである視線とのずれを算出するための情報(ずれ算出情報)を求める。
以下に、図12を参照して、第3の実施形態に係る映像追従情報検出装置を備える映像追従装置の動作を説明する。
最初のステップS21では、主制御部500aが、映像光ILをコンバイナ(透過反射部材120)に照射する。具体的には、主制御部500aが、映像光投射部110からコンバイナに向けて映像光ILを投射する。なお、主制御部500aは、例えば、ユーザにより映像追従装置の電源スイッチがオンにされたときに、ステップS21を実行する。
映像光ILをコンバナに照射する。
映像光ILをコンバナに照射する。
次のステップS22では、主制御部500aが、第1の非可視光源211aを点灯し、瞳孔中心の第1の初期位置算出情報を求める。具体的には、主制御部500aは、第1の非可視光源211aを点灯させた状態で、上記第1の実施形態のステップS2と同様にアクチュエータ400を制御して移動対象をX軸方向、Y軸方向にそれぞれ掃引することで、瞳孔中心の第1の初期位置算出情報(例えばXY座標)を求める。
次のステップS23では、主制御部500aが、第2の非可視光源211bを点灯し、瞳孔中心の第2の初期位置算出情報を検出する。具体的には、主制御部500aは、第2非可視光源211bを点灯させた状態で、上記第1の実施形態のステップS2と同様にアクチュエータ400を制御して移動対象をX軸方向、Y軸方向にそれぞれ掃引することで、瞳孔中心の第2の初期位置算出情報(例えばXY座標)を求める。
次のステップS24では、主制御部500aが、第1及び第2の初期位置算出情報に基づいて、瞳孔中心の初期位置を算出する。具体的には、例えば、主制御部500aは、第1及び第2の初期位置算出情報のX座標の平均値、Y座標の平均値をそれぞれ瞳孔中心の初期位置のX座標、Y座標とする。
次のステップS25では、主制御部500aが、算出された瞳孔中心の初期位置にコンバイナ中心を一致させる。具体的には、主制御部500aは、現時点でのコンバイナ中心のXY座標と、算出された瞳孔中心の初期位置のXY座標の差分(X座標間の差分、Y座標間の差分)だけアクチュエータ400により移動対象をXY平面に沿って移動させる。
次のステップS26では、ずれ検出部500bが、第1の非可視光源211aを点灯し、視線からのコンバイナ中心の第1のずれ算出情報(例えばX軸方向のずれ情報、Y軸方向のずれ情報)を求める。
次のステップS27では、ずれ検出部500bが、第2の非可視光源211bを点灯し、視線からのコンバイナ中心の第2のずれ算出情報(例えばX軸方向のずれ情報、Y軸方向のずれ情報)を求める。
次のステップS28では、ずれ検出部500bが、第1及び第2のずれ算出情報に基づいて、視線からのコンバイナ中心のずれを算出する。具体的には、例えば、主制御部500aは、第1及び第2のずれ算出情報のX軸方向の平均値、Y軸方向の平均値をそれぞれ視線からのコンバイナ中心のX軸方向、Y軸方向のずれとする。
次のステップS29では、主制御部500aが、算出されたずれに基づいてアクチュエータにより移動対象を移動する。
具体的には、主制御部500aは、映像の視線からのずれが極力小さくなるように、好ましくは0となるような駆動信号を生成し、アクチュエータ400に印加する。
具体的には、主制御部500aは、映像の視線からのずれが極力小さくなるように、好ましくは0となるような駆動信号を生成し、アクチュエータ400に印加する。
最後のステップS30では、主制御部500aが、処理が終了したか否かを判断する。具体的には、例えば、主制御部500aは、ユーザにより映像追従装置のスイッチがオフにされたときに処理が終了したと判断し、オンの状態のままのときには処理がしていない(継続中)であると判断する。ステップS30での判断が否定されるとステップS26に戻り、肯定されるとフローは終了する。
以上説明した第3の実施形態に係る映像追従情報検出装置によれば、眼球1に瞳孔径に応じた大きさの非可視光を照射するので、視線からの映像中心のずれを精度良く求めることができる。
第3の実施形態に係る映像追従情報検出装置を備える映像追従装置によれば、視線に対して映像中心を精度良く追従させることができる。
第3の実施形態に係る映像追従情報検出装置を備える映像追従装置によれば、視線に対して映像中心を精度良く追従させることができる。
5.<本技術の第4の実施形態に係る映像追従情報検出装置及び該映像追従情報検出装置を備える映像追従装置>
以下に、本技術の第4の実施形態に係る映像追従情報検出装置及び該映像追従情報検出装置を備える映像追従装置について説明する。
以下に、本技術の第4の実施形態に係る映像追従情報検出装置及び該映像追従情報検出装置を備える映像追従装置について説明する。
図13A及び図13Bは、それぞれ本技術の第4の実施形態に係る映像追従情報検出装置を備える映像追従装置の構成例1、構成例2を説明するための図である。
図13Aに示す構成例1は、アクチュエータの構成が異なる点を除いて、上記第1の実施形態の映像追従情報検出装置を備える映像追従装置と同様の構成を有する。
図13Bに示す構成例2は、アクチュエータの構成が異なる点を除いて、上記第2又は第3の実施形態の映像追従情報検出装置を備える映像追従装置と同様の構成を有する。
図13Aに示す構成例1は、アクチュエータの構成が異なる点を除いて、上記第1の実施形態の映像追従情報検出装置を備える映像追従装置と同様の構成を有する。
図13Bに示す構成例2は、アクチュエータの構成が異なる点を除いて、上記第2又は第3の実施形態の映像追従情報検出装置を備える映像追従装置と同様の構成を有する。
第4の実施形態に係る映像追従装置の構成例1及び構成例2のアクチュエータは、図13A及び図13Bに示すように、移動対象を一軸方向、例えばX軸方向のみに移動させるアクチュエータである。当該アクチュエータとしては、例えば、一軸のリニアモータ、ボールねじ機構と駆動源(例えばモータ)の組合せ、ラック・アンド・ピニオンと駆動源(例えばモータ)の組合せ等が挙げられる。
第4の実施形態に係る映像追従情報検出装置の構成例1では、図13Aに示すように、回折光学素子212eの反射回折部212e1が、アクチュエータによる移動対象の移動方向(X軸方向)に直交する方向を長手方向とする縦長形状(Y軸方向を長手方向とする形状)とされている。
この場合には、反射回折部212e1がY軸方向の一定範囲をカバーできるので、移動対象をX軸方向に移動させるだけでも、視線からのコンバイナ中心のずれを求めて、該ずれを低減させるべくアクチュエータを駆動することができる。
この場合には、反射回折部212e1がY軸方向の一定範囲をカバーできるので、移動対象をX軸方向に移動させるだけでも、視線からのコンバイナ中心のずれを求めて、該ずれを低減させるべくアクチュエータを駆動することができる。
第4の実施形態に係る映像追従情報検出装置の構成例2では、図13Bに示すように、回折光学素子212fがZ軸方向に積層された複数(例えば2つ)の回折波長及び大きさが異なる反射回折部212f1、212f2を有する。
2つの反射回折部212f1、212f2それぞれは、アクチュエータによる移動対象の移動方向(X軸方向)に直交する方向を長手方向とする縦長形状(Y軸方向を長手方向とする形状)とされている。
この場合には、反射回折部212f1、f2がY軸方向の一定範囲をカバーできるので、移動対象をX軸方向に移動させるだけでも、視線からのコンバイナ中心のずれを求めて、該ずれを低減させるべくアクチュエータを駆動することができる。
さらに、構成例2では、回折波長及び大きさが異なる反射回折部が積層されているので、上記第2又は第3の実施形態と同様の作用、効果を得ることができる。
2つの反射回折部212f1、212f2それぞれは、アクチュエータによる移動対象の移動方向(X軸方向)に直交する方向を長手方向とする縦長形状(Y軸方向を長手方向とする形状)とされている。
この場合には、反射回折部212f1、f2がY軸方向の一定範囲をカバーできるので、移動対象をX軸方向に移動させるだけでも、視線からのコンバイナ中心のずれを求めて、該ずれを低減させるべくアクチュエータを駆動することができる。
さらに、構成例2では、回折波長及び大きさが異なる反射回折部が積層されているので、上記第2又は第3の実施形態と同様の作用、効果を得ることができる。
6.<本技術の第5の実施形態に係る映像追従情報検出装置及び該映像追従情報検出装置を備える映像追従装置>
以下に、本技術の第5の実施形態に係る映像追従情報検出装置及び該映像追従情報検出装置を備える映像追従装置について説明する。
以下に、本技術の第5の実施形態に係る映像追従情報検出装置及び該映像追従情報検出装置を備える映像追従装置について説明する。
図14A及び図14Bは、それぞれ本技術の第5の実施形態に係る映像追従情報検出装置を備える映像追従装置の構成例1、構成例2を説明するための図である。
図14Aに示す構成例1は、アクチュエータの構成が異なる点を除いて、上記第1の実施形態の映像追従情報検出装置を備える映像追従装置と同様の構成を有する。
図14Bに示す構成例2は、アクチュエータの構成が異なる点を除いて、上記第2又は第3の実施形態の映像追従情報検出装置を備える映像追従装置と同様の構成を有する。
図14Aに示す構成例1は、アクチュエータの構成が異なる点を除いて、上記第1の実施形態の映像追従情報検出装置を備える映像追従装置と同様の構成を有する。
図14Bに示す構成例2は、アクチュエータの構成が異なる点を除いて、上記第2又は第3の実施形態の映像追従情報検出装置を備える映像追従装置と同様の構成を有する。
第5の実施形態に係る映像追従装置の構成例1及び構成例2のアクチュエータは、図14A及び図14Bに示すように、移動対象を一軸方向、例えばY軸方向のみに移動させるアクチュエータである。当該アクチュエータとしては、例えば、一軸のリニアモータ、ボールねじ機構と駆動源(例えばモータ)の組合せ、ラック・アンド・ピニオンと駆動源(例えばモータ)の組合せ等が挙げられる。
第5の実施形態に係る映像追従情報検出装置の構成例1では、図14Aに示すように、回折光学素子212gの反射回折部212g1が、アクチュエータによる移動対象の移動方向(Y軸方向)に直交する方向を長手方向とする横長形状(X軸方向を長手方向とする形状)とされている。
この場合には、反射回折部212g1がX軸方向の一定範囲をカバーできるので、移動対象をY軸方向に移動させるだけでも、視線からのコンバイナ中心のずれを求めて、該ずれを低減させるべくアクチュエータを駆動することができる。
この場合には、反射回折部212g1がX軸方向の一定範囲をカバーできるので、移動対象をY軸方向に移動させるだけでも、視線からのコンバイナ中心のずれを求めて、該ずれを低減させるべくアクチュエータを駆動することができる。
第4の実施形態に係る映像追従情報検出装置の構成例2では、図14Bに示すように、回折光学素子212hがZ軸方向に積層された複数(例えば2つ)の回折波長及び大きさが異なる反射回折部212h1、212h2を有する。
2つの反射回折部212h1、212h2それぞれは、アクチュエータによる移動対象の移動方向(Y軸方向)に直交する方向を長手方向とする横長形状(X軸方向を長手方向とする形状)とされている。
この場合には、反射回折部212h1、h2がX軸方向の一定範囲をカバーできるので、移動対象をY軸方向に移動させるだけでも、視線からのコンバイナ中心のずれを求めて、該ずれを低減させるべくアクチュエータを駆動することができる。
さらに、構成例2では、回折波長及び大きさが異なる反射回折部が積層されているので、上記第2又は第3の実施形態と同様の作用、効果を得ることができる。
7.<本技術の変形例>
2つの反射回折部212h1、212h2それぞれは、アクチュエータによる移動対象の移動方向(Y軸方向)に直交する方向を長手方向とする横長形状(X軸方向を長手方向とする形状)とされている。
この場合には、反射回折部212h1、h2がX軸方向の一定範囲をカバーできるので、移動対象をY軸方向に移動させるだけでも、視線からのコンバイナ中心のずれを求めて、該ずれを低減させるべくアクチュエータを駆動することができる。
さらに、構成例2では、回折波長及び大きさが異なる反射回折部が積層されているので、上記第2又は第3の実施形態と同様の作用、効果を得ることができる。
7.<本技術の変形例>
本技術の映像追従情報検出装置及び該映像追従情報検出装置を備える映像追従装置の構成は、適宜変更可能である。
例えば、視線検出系200は、非可視光源と反射回折部との間の非可視光の光路上(例えばコリメートレンズ212aとビームスプリッタ212bとの間の非可視光の光路上)に配置された偏光板を有していてもよい。これにより、当該非可視光の光学ノイズ(例えばプルキニエ像)を除去することが可能である。
例えば、視線検出系200は、反射回折部と受光素子220aとの間の非可視光の光路上(例えば集光レンズ220b1と受光素子220aとの間の非可視光の光路上)に配置された波長選択フィルタ(例えばバンドパスフィルタ)を有していてもよい。これにより、例えば、受光素子220aで受光する非可視光(例えば赤外線)の波長を選択することができる。
上記各実施形態において、アクチュエータにより映像追従情報検出装置の全体(例えば非可視光源、コリメートレンズ、ビームスプリッタ、集光レンズ、受光素子も含めて)を一体的に移動させて、視線に対するコンバイナ中心のずれを低減(0を含む)させるようにしてもよい。
この場合には、例えばHMDのメガネフレームのかけずれが起きて、視線に対するコンバイナ中心のずれが非常に大きくなっても、反射回折部が非可視光の照射範囲から外れるのを抑制できるので、各種検出を迅速に行うことができる。
この場合には、例えばHMDのメガネフレームのかけずれが起きて、視線に対するコンバイナ中心のずれが非常に大きくなっても、反射回折部が非可視光の照射範囲から外れるのを抑制できるので、各種検出を迅速に行うことができる。
上記各実施形態において、ビームスプリッタ212bに対する非可視光源と受光素子の位置関係を逆にしてもよい。
上記各実施形態において、映像光投射部110からの映像光ILを、ビームスプリッタ212bを介して反射回折部に照射してもよい。
上記各実施形態において、透過反射部材120として回折光学素子を用いているが、これに限らず、例えばガラス板、ハーフミラー等を用いてもよい。
また、本技術は、以下のような構成をとることもできる。
(1)映像光を投射する映像光投射部と、前記映像光投射部から投射された前記映像光の一部を眼球に向けて反射し、他部を透過させる透過反射部材とを含む映像表示系と、
少なくとも1つの非可視光源と、前記透過反射部材と一体的に設けられ、前記非可視光源からの非可視光を前記眼球に向けて反射回折する反射回折部を含む回折光学素子と、前記眼球で反射され前記反射回折部で反射回折された前記非可視光を受光する受光素子とを含む視線検出系と、
を備え、
前記透過反射部材の厚さ方向から見て、前記透過反射部材の前記映像光の中心部が照射される部分と、前記反射回折部とが重なっている、映像追従情報検出装置。
(2)前記透過反射部材の厚さ方向から見て、前記透過反射部材の、前記映像光の中心部が照射される部分と前記反射回折部の中心部とが重なっている、(1)に記載の映像追従情報検出装置。
(3)前記反射回折部の大きさは、前記眼球の瞳孔の最大径以下である、(1)又は(2)に記載の映像追従情報検出装置。
(4)前記瞳孔の最大径は、8mmである、(3)に記載の映像追従情報検出装置。
(5)前記映像光投射部は、前記透過反射部材と一体的に設けられる、(1)~(4)のいずれか1つに記載の映像追従情報検出装置。
(6)前記受光素子は、複数の受光領域を有する、(1)~(5)のいずれか1つに記載の映像追従情報検出装置。
(7)前記複数の受光領域は、2次元配列された4つの受光領域である、(6)に記載の映像追従情報検出装置。
(8)前記回折光学素子は、厚さ方向に積層された、回折波長及び大きさが異なる複数の前記反射回折部を有し、前記視線検出系は、前記眼球の瞳孔径を取得する瞳孔径取得部と、発光波長が異なる複数の前記非可視光源と、前記瞳孔径取得部での取得結果に基づいて、前記複数の非可視光源を選択的に点灯可能な点灯制御部とを含む、(1)~(7)のいずれか1つに記載の映像追従情報検出装置。
(9)前記瞳孔径取得部は、照度センサを含み、前記照度センサの検出結果に基づいて前記瞳孔径を求める、(8)に記載の映像追従情報検出装置。
(10)前記回折光学素子は、厚さ方向に積層された、回折波長及び大きさが異なる複数の前記反射回折部を有し、前記視線検出系は、発光波長が異なる複数の前記非可視光源を含み、前記複数の非可視光源の点灯毎に前記映像表示系により表示される映像の中心と前記眼球の向きである視線とのずれを算出するための情報を求める、(1)~(7)のいずれか1つに記載の映像追従情報検出装置。
(11)前記反射回折部と前記受光素子との間に配置され、前記非可視光源からの非可視光が入射されるビームスプリッタを更に備え、前記ビームスプリッタは、前記非可視光源からの非可視光の一部を前記反射回折部に向けて反射させ、前記反射回折部から前記受光素子に向かう非可視光の一部を透過させる、(1)~(10)のいずれか1つに記載の映像追従情報検出装置。
(12)前記視線検出系は、前記非可視光源から射出された非可視光を平行光とするコリメートレンズを有する、(1)~(11)のいずれか1つに記載の映像追従情報検出装置。
(13)前記視線検出系は、前記非可視光源と前記反射回折部との間の前記非可視光の光路上に配置された偏光板を有する、(1)~(12)のいずれか1つに記載の映像追従情報検出装置。
(14)前記視線検出系は、前記反射回折部と前記受光素子との間の前記非可視光の光路上に配置された波長選択フィルタを有する、(1)~(13)のいずれか1つに記載の映像追従情報検出装置。
(15)前記映像光投射部が前記透過反射部材と一体的に設けられた(1)~(14)のいずれか1つに記載の映像追従情報検出装置と、
前記映像表示系及び前記回折光学素子を前記透過反射部材の面内方向に平行な方向に移動させるアクチュエータと、
前記映像追従情報検出装置の受光素子からの信号に基づいて、前記アクチュエータを制御する制御装置と、
を備える、映像追従装置。
(16)前記非可視光源からの非可視光を、前記映像表示系及び前記回折光学素子の移動想定範囲に応じた断面の大きさの平行光とするコリメータレンズを含む、(15)に記載の映像追従装置。
(17)前記受光素子は、2次元配列された複数の受光領域を有し、前記制御装置は、前記複数の受光領域からの信号に基づいて、前記映像表示系により表示される映像の中心と前記眼球の向きである視線とのずれを検出し、その検出結果に基づいて前記アクチュエータを制御する、(15)又は(16)に記載の映像追従装置。
(18)前記制御装置は、前記映像光による映像を前記視線に追従させるように前記アクチュエータを制御する、(15)~(17)のいずれか1つに記載の映像追従装置。
(19)前記反射回折部は縦長形状であり、前記アクチュエータは、前記映像表示系及び前記回折光学素子を前記反射回折部の長手方向に直交する方向に移動させる、(15)~(18)のいずれか1つに記載の映像追従装置。
(20)前記反射回折部は横長形状であり、前記アクチュエータは、前記映像表示系及び前記回折光学素子を前記反射回折部の長手方向に直交する方向に移動させる、(15)~(18)のいずれか1つに記載の映像追従装置。
(21)前記回折光学素子は、厚さ方向に積層された、回折波長及び大きさが異なる複数の縦長形状の前記反射回折部を有し、前記視線検出系は、前記眼球の瞳孔径を取得する瞳孔径取得部と、発光波長が異なる複数の前記非可視光源と、前記瞳孔径取得部での取得結果に基づいて、前記複数の非可視光源を選択的に点灯可能な点灯制御部とを有し、前記アクチュエータは、前記映像表示系を前記反射回折部の長手方向に直交する方向に移動させる、(15)~(18)のいずれか1つに記載の映像追従装置。
(22)前記回折光学素子は、厚さ方向に積層された、回折波長及び大きさが異なる複数の横長形状の前記反射回折部を有し、前記視線検出系は、前記眼球の瞳孔径を取得する瞳孔径取得部と、発光波長が異なる複数の前記非可視光源と、前記瞳孔径取得部での取得結果に基づいて、前記複数の非可視光源を選択的に点灯可能な点灯制御部とを有し、前記アクチュエータは、前記映像表示系を前記反射回折部の長手方向に直交する方向に移動させる、(15)~(18)のいずれか1つに記載の映像追従装置。
(23)(15)~(22)のいずれか1つに記載の映像追従装置を備える映像表示装置。
(24)(1)~(14)のいずれか1つに記載の映像追従情報検出装置を用いて、映像を視線に追従させるための映像追従情報を検出する方法であって、
前記映像追従情報検出装置の映像表示系により映像を表示する工程と、
前記映像追従情報検出装置の視線検出系の検出結果を前記視線と前記映像の中心部とのずれ情報として取得する工程と、
を含む、映像追従情報検出方法。
(25)(1)~(14)のいずれか1つに記載の映像追従情報検出装置を用いて、映像を視線に追従させる映像追従方法であって、
前記映像追従情報検出装置の映像表示系により映像を表示する工程と、
前記映像追従情報検出装置の視線検出系の検出結果を前記視線と前記映像の中心部とのずれ情報として取得する工程と、
前記ずれ情報に基づいて、少なくとも前記映像光投射部、前記透過反射部材及び前記回折光学素子を一体的に移動させる移動工程と、
を含む、映像追従方法。
(26)前記移動工程では、前記映像を前記視線に追従させるように、少なくとも前記映像光投射部、前記透過反射部材及び前記反射回折部を一体的に移動させる、(25)に記載の映像追従方法。
(1)映像光を投射する映像光投射部と、前記映像光投射部から投射された前記映像光の一部を眼球に向けて反射し、他部を透過させる透過反射部材とを含む映像表示系と、
少なくとも1つの非可視光源と、前記透過反射部材と一体的に設けられ、前記非可視光源からの非可視光を前記眼球に向けて反射回折する反射回折部を含む回折光学素子と、前記眼球で反射され前記反射回折部で反射回折された前記非可視光を受光する受光素子とを含む視線検出系と、
を備え、
前記透過反射部材の厚さ方向から見て、前記透過反射部材の前記映像光の中心部が照射される部分と、前記反射回折部とが重なっている、映像追従情報検出装置。
(2)前記透過反射部材の厚さ方向から見て、前記透過反射部材の、前記映像光の中心部が照射される部分と前記反射回折部の中心部とが重なっている、(1)に記載の映像追従情報検出装置。
(3)前記反射回折部の大きさは、前記眼球の瞳孔の最大径以下である、(1)又は(2)に記載の映像追従情報検出装置。
(4)前記瞳孔の最大径は、8mmである、(3)に記載の映像追従情報検出装置。
(5)前記映像光投射部は、前記透過反射部材と一体的に設けられる、(1)~(4)のいずれか1つに記載の映像追従情報検出装置。
(6)前記受光素子は、複数の受光領域を有する、(1)~(5)のいずれか1つに記載の映像追従情報検出装置。
(7)前記複数の受光領域は、2次元配列された4つの受光領域である、(6)に記載の映像追従情報検出装置。
(8)前記回折光学素子は、厚さ方向に積層された、回折波長及び大きさが異なる複数の前記反射回折部を有し、前記視線検出系は、前記眼球の瞳孔径を取得する瞳孔径取得部と、発光波長が異なる複数の前記非可視光源と、前記瞳孔径取得部での取得結果に基づいて、前記複数の非可視光源を選択的に点灯可能な点灯制御部とを含む、(1)~(7)のいずれか1つに記載の映像追従情報検出装置。
(9)前記瞳孔径取得部は、照度センサを含み、前記照度センサの検出結果に基づいて前記瞳孔径を求める、(8)に記載の映像追従情報検出装置。
(10)前記回折光学素子は、厚さ方向に積層された、回折波長及び大きさが異なる複数の前記反射回折部を有し、前記視線検出系は、発光波長が異なる複数の前記非可視光源を含み、前記複数の非可視光源の点灯毎に前記映像表示系により表示される映像の中心と前記眼球の向きである視線とのずれを算出するための情報を求める、(1)~(7)のいずれか1つに記載の映像追従情報検出装置。
(11)前記反射回折部と前記受光素子との間に配置され、前記非可視光源からの非可視光が入射されるビームスプリッタを更に備え、前記ビームスプリッタは、前記非可視光源からの非可視光の一部を前記反射回折部に向けて反射させ、前記反射回折部から前記受光素子に向かう非可視光の一部を透過させる、(1)~(10)のいずれか1つに記載の映像追従情報検出装置。
(12)前記視線検出系は、前記非可視光源から射出された非可視光を平行光とするコリメートレンズを有する、(1)~(11)のいずれか1つに記載の映像追従情報検出装置。
(13)前記視線検出系は、前記非可視光源と前記反射回折部との間の前記非可視光の光路上に配置された偏光板を有する、(1)~(12)のいずれか1つに記載の映像追従情報検出装置。
(14)前記視線検出系は、前記反射回折部と前記受光素子との間の前記非可視光の光路上に配置された波長選択フィルタを有する、(1)~(13)のいずれか1つに記載の映像追従情報検出装置。
(15)前記映像光投射部が前記透過反射部材と一体的に設けられた(1)~(14)のいずれか1つに記載の映像追従情報検出装置と、
前記映像表示系及び前記回折光学素子を前記透過反射部材の面内方向に平行な方向に移動させるアクチュエータと、
前記映像追従情報検出装置の受光素子からの信号に基づいて、前記アクチュエータを制御する制御装置と、
を備える、映像追従装置。
(16)前記非可視光源からの非可視光を、前記映像表示系及び前記回折光学素子の移動想定範囲に応じた断面の大きさの平行光とするコリメータレンズを含む、(15)に記載の映像追従装置。
(17)前記受光素子は、2次元配列された複数の受光領域を有し、前記制御装置は、前記複数の受光領域からの信号に基づいて、前記映像表示系により表示される映像の中心と前記眼球の向きである視線とのずれを検出し、その検出結果に基づいて前記アクチュエータを制御する、(15)又は(16)に記載の映像追従装置。
(18)前記制御装置は、前記映像光による映像を前記視線に追従させるように前記アクチュエータを制御する、(15)~(17)のいずれか1つに記載の映像追従装置。
(19)前記反射回折部は縦長形状であり、前記アクチュエータは、前記映像表示系及び前記回折光学素子を前記反射回折部の長手方向に直交する方向に移動させる、(15)~(18)のいずれか1つに記載の映像追従装置。
(20)前記反射回折部は横長形状であり、前記アクチュエータは、前記映像表示系及び前記回折光学素子を前記反射回折部の長手方向に直交する方向に移動させる、(15)~(18)のいずれか1つに記載の映像追従装置。
(21)前記回折光学素子は、厚さ方向に積層された、回折波長及び大きさが異なる複数の縦長形状の前記反射回折部を有し、前記視線検出系は、前記眼球の瞳孔径を取得する瞳孔径取得部と、発光波長が異なる複数の前記非可視光源と、前記瞳孔径取得部での取得結果に基づいて、前記複数の非可視光源を選択的に点灯可能な点灯制御部とを有し、前記アクチュエータは、前記映像表示系を前記反射回折部の長手方向に直交する方向に移動させる、(15)~(18)のいずれか1つに記載の映像追従装置。
(22)前記回折光学素子は、厚さ方向に積層された、回折波長及び大きさが異なる複数の横長形状の前記反射回折部を有し、前記視線検出系は、前記眼球の瞳孔径を取得する瞳孔径取得部と、発光波長が異なる複数の前記非可視光源と、前記瞳孔径取得部での取得結果に基づいて、前記複数の非可視光源を選択的に点灯可能な点灯制御部とを有し、前記アクチュエータは、前記映像表示系を前記反射回折部の長手方向に直交する方向に移動させる、(15)~(18)のいずれか1つに記載の映像追従装置。
(23)(15)~(22)のいずれか1つに記載の映像追従装置を備える映像表示装置。
(24)(1)~(14)のいずれか1つに記載の映像追従情報検出装置を用いて、映像を視線に追従させるための映像追従情報を検出する方法であって、
前記映像追従情報検出装置の映像表示系により映像を表示する工程と、
前記映像追従情報検出装置の視線検出系の検出結果を前記視線と前記映像の中心部とのずれ情報として取得する工程と、
を含む、映像追従情報検出方法。
(25)(1)~(14)のいずれか1つに記載の映像追従情報検出装置を用いて、映像を視線に追従させる映像追従方法であって、
前記映像追従情報検出装置の映像表示系により映像を表示する工程と、
前記映像追従情報検出装置の視線検出系の検出結果を前記視線と前記映像の中心部とのずれ情報として取得する工程と、
前記ずれ情報に基づいて、少なくとも前記映像光投射部、前記透過反射部材及び前記回折光学素子を一体的に移動させる移動工程と、
を含む、映像追従方法。
(26)前記移動工程では、前記映像を前記視線に追従させるように、少なくとも前記映像光投射部、前記透過反射部材及び前記反射回折部を一体的に移動させる、(25)に記載の映像追従方法。
1:眼球、1a:瞳孔、10、20:映像追従情報検出装置、100:映像表示系、110:映像光投射部、120:透過反射部材、120a:映像光の中心部が照射される部分、200:視線検出系、211、211a、211b:非可視光源、212a:コリメートレンズ、212b:ビームスプリッタ、212c:回折光学素子、212c1:反射回折部、220a:受光素子、220a-1~220a-4:受光領域、400:アクチュエータ、IL:映像光、IVL:非可視光。
Claims (26)
- 映像光を投射する映像光投射部と、前記映像光投射部から投射された前記映像光の一部を眼球に向けて反射し、他部を透過させる透過反射部材とを含む映像表示系と、
少なくとも1つの非可視光源と、前記透過反射部材と一体的に設けられ、前記非可視光源からの非可視光を前記眼球に向けて反射回折する反射回折部を含む回折光学素子と、前記眼球で反射され前記反射回折部で反射回折された前記非可視光を受光する受光素子とを含む視線検出系と、
を備え、
前記透過反射部材の厚さ方向から見て、前記透過反射部材の前記映像光の中心部が照射される部分と、前記反射回折部とが重なっている、映像追従情報検出装置。 - 前記透過反射部材の厚さ方向から見て、前記透過反射部材の、前記映像光の中心部が照射される部分と前記反射回折部の中心部とが重なっている、請求項1に記載の映像追従情報検出装置 。
- 前記反射回折部の大きさは、前記眼球の瞳孔の最大径以下である、請求項1に記載の映像追従情報検出装置。
- 前記瞳孔の最大径は、8mmである、請求項3に記載の映像追従情報検出装置。
- 前記映像光投射部は、前記透過反射部材と一体的に設けられる、請求項1に記載の映像追従情報検出装置。
- 前記受光素子は、複数の受光領域を有する、請求項1に記載の映像追従情報検出装置。
- 前記複数の受光領域は、2次元配列された4つの受光領域である、請求項6に記載の映像追従情報検出装置。
- 前記回折光学素子は、厚さ方向に積層された、回折波長及び大きさが異なる複数の前記反射回折部を有し、
前記視線検出系は、前記眼球の瞳孔径を取得する瞳孔径取得部と、発光波長が異なる複数の前記非可視光源と、前記瞳孔径取得部での取得結果に基づいて、前記複数の非可視光源を選択的に点灯可能な点灯制御部とを含む、請求項1に記載の映像追従情報検出装置。 - 前記瞳孔径取得部は、照度センサを含み、前記照度センサの検出結果に基づいて前記瞳孔径を求める、請求項8に記載の映像追従情報検出装置。
- 前記回折光学素子は、厚さ方向に積層された、回折波長及び大きさが異なる複数の前記反射回折部を有し、
前記視線検出系は、発光波長が異なる複数の前記非可視光源を含み、前記複数の非可視光源の点灯毎に前記映像表示系により表示される映像の中心と前記眼球の向きである視線とのずれを算出するための情報を求める、請求項1に記載の映像追従情報検出装置。 - 前記反射回折部と前記受光素子との間に配置され、前記非可視光源からの非可視光が入射されるビームスプリッタを更に備え、
前記ビームスプリッタは、前記非可視光源からの非可視光の一部を前記反射回折部に向けて反射させ、前記反射回折部から前記受光素子に向かう非可視光の一部を透過させる、請求項1に記載の映像追従情報検出装置。 - 前記視線検出系は、前記非可視光源から射出された非可視光を平行光とするコリメートレンズを有する、請求項1に記載の映像追従情報検出装置。
- 前記視線検出系は、前記非可視光源と前記反射回折部との間の前記非可視光の光路上に配置された偏光板を有する、請求項1に記載の映像追従情報検出装置。
- 前記視線検出系は、前記反射回折部と前記受光素子との間の前記非可視光の光路上に配置された波長選択フィルタを有する、請求項1に記載の映像追従情報検出装置。
- 前記映像光投射部が前記透過反射部材と一体的に設けられた請求項1に記載の映像追従情報検出装置と、
前記映像表示系及び前記回折光学素子を前記透過反射部材の面内方向に平行な方向に移動させるアクチュエータと、
前記映像追従情報検出装置の受光素子からの信号に基づいて、前記アクチュエータを制御する制御装置と、
を備える、映像追従装置。 - 前記非可視光源からの非可視光を、前記映像表示系及び前記回折光学素子の移動想定範囲に応じた断面の大きさの平行光とするコリメータレンズを含む、請求項15に記載の映像追従装置。
- 前記受光素子は、2次元配列された複数の受光領域を有し、
前記制御装置は、前記複数の受光領域からの信号に基づいて、前記映像表示系により表示される映像の中心と前記眼球の向きである視線とのずれを検出し、その検出結果に基づいて前記アクチュエータを制御する、請求項15に記載の映像追従装置。 - 前記制御装置は、前記映像光による映像を前記視線に追従させるように前記アクチュエータを制御する、請求項15に記載の映像追従装置。
- 前記反射回折部は縦長形状であり、
前記アクチュエータは、前記映像表示系及び前記回折光学素子を前記反射回折部の長手方向に直交する方向に移動させる、請求項15に記載の映像追従装置。 - 前記反射回折部は横長形状であり、
前記アクチュエータは、前記映像表示系及び前記回折光学素子を前記反射回折部の長手方向に直交する方向に移動させる、請求項15に記載の映像追従装置。 - 前記回折光学素子は、厚さ方向に積層された、回折波長及び大きさが異なる複数の縦長形状の前記反射回折部を有し、
前記視線検出系は、前記眼球の瞳孔径を取得する瞳孔径取得部と、発光波長が異なる複数の前記非可視光源と、前記瞳孔径取得部での取得結果に基づいて、前記複数の非可視光源を選択的に点灯可能な点灯制御部とを有し、
前記アクチュエータは、前記映像表示系を前記反射回折部の長手方向に直交する方向に移動させる、請求項15に記載の映像追従装置。 - 前記回折光学素子は、厚さ方向に積層された、回折波長及び大きさが異なる複数の横長形状の前記反射回折部を有し、
前記視線検出系は、前記眼球の瞳孔径を取得する瞳孔径取得部と、発光波長が異なる複数の前記非可視光源と、前記瞳孔径取得部での取得結果に基づいて、前記複数の非可視光源を選択的に点灯可能な点灯制御部とを有し、
前記アクチュエータは、前記映像表示系を前記反射回折部の長手方向に直交する方向に移動させる、請求項15に記載の映像追従装置。 - 請求項15に記載の映像追従装置を備える映像表示装置。
- 請求項1に記載の映像追従情報検出装置を用いて、映像を視線に追従させるための映像追従情報を検出する方法であって、
前記映像追従情報検出装置の映像表示系により映像を表示する工程と、
前記映像追従情報検出装置の視線検出系の検出結果を前記視線と前記映像の中心部とのずれ情報として取得する工程と、
を含む、映像追従情報検出方法。 - 請求項1に記載の映像追従情報検出装置を用いて、映像を視線に追従させる映像追従方法であって、
前記映像追従情報検出装置の映像表示系により映像を表示する工程と、
前記映像追従情報検出装置の視線検出系の検出結果を前記視線と前記映像の中心部とのずれ情報として取得する工程と、
前記ずれ情報に基づいて、少なくとも前記映像光投射部、前記透過反射部材及び前記回折光学素子を一体的に移動させる移動工程と、
を含む、映像追従方法。 - 前記移動工程では、前記映像を前記視線に追従させるように、少なくとも前記映像光投射部、前記透過反射部材及び前記反射回折部を一体的に移動させる、請求項25に記載の映像追従方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP20917961.3A EP4086691A4 (en) | 2020-02-04 | 2020-12-15 | Video-tracking-information detection device, video tracking device, video-tracking-information detection method, and video tracking method |
US17/795,625 US20230095993A1 (en) | 2020-02-04 | 2020-12-15 | Image following information detecting device, image following device, image following information detecting method, and image following method |
KR1020227025675A KR20220130138A (ko) | 2020-02-04 | 2020-12-15 | 영상 추종 정보 검출 장치, 영상 추종 장치, 영상 추종 정보 검출 방법 및 영상 추종 방법 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020-016944 | 2020-02-04 | ||
JP2020016944 | 2020-02-04 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2021157204A1 true WO2021157204A1 (ja) | 2021-08-12 |
Family
ID=77199926
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2020/046682 WO2021157204A1 (ja) | 2020-02-04 | 2020-12-15 | 映像追従情報検出装置、映像追従装置、映像追従情報検出方法及び映像追従方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230095993A1 (ja) |
EP (1) | EP4086691A4 (ja) |
KR (1) | KR20220130138A (ja) |
WO (1) | WO2021157204A1 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003029198A (ja) | 2001-07-16 | 2003-01-29 | Denso Corp | スキャン型ディスプレイ装置 |
US20130016413A1 (en) * | 2011-07-12 | 2013-01-17 | Google Inc. | Whole image scanning mirror display system |
US20180232048A1 (en) * | 2014-09-26 | 2018-08-16 | Digilens, Inc. | Holographic waveguide optical tracker |
WO2018186046A1 (ja) * | 2017-04-04 | 2018-10-11 | 国立大学法人福井大学 | 映像生成装置及び映像生成方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9377623B2 (en) * | 2014-08-11 | 2016-06-28 | Microsoft Technology Licensing, Llc | Waveguide eye tracking employing volume Bragg grating |
KR20230151053A (ko) * | 2017-03-21 | 2023-10-31 | 매직 립, 인코포레이티드 | 광 스캐닝 프로젝터와 함께 눈 움직임을 추적하기 위한 방법 및 시스템 |
US10394034B2 (en) * | 2017-08-15 | 2019-08-27 | Microsoft Technology Licensing, Llc | Eye-tracking with MEMS scanning and optical relay |
CN107783297A (zh) * | 2017-11-22 | 2018-03-09 | 深圳创维新世界科技有限公司 | 近眼显示装置 |
-
2020
- 2020-12-15 WO PCT/JP2020/046682 patent/WO2021157204A1/ja active Application Filing
- 2020-12-15 US US17/795,625 patent/US20230095993A1/en active Pending
- 2020-12-15 KR KR1020227025675A patent/KR20220130138A/ko unknown
- 2020-12-15 EP EP20917961.3A patent/EP4086691A4/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003029198A (ja) | 2001-07-16 | 2003-01-29 | Denso Corp | スキャン型ディスプレイ装置 |
US20130016413A1 (en) * | 2011-07-12 | 2013-01-17 | Google Inc. | Whole image scanning mirror display system |
US20180232048A1 (en) * | 2014-09-26 | 2018-08-16 | Digilens, Inc. | Holographic waveguide optical tracker |
WO2018186046A1 (ja) * | 2017-04-04 | 2018-10-11 | 国立大学法人福井大学 | 映像生成装置及び映像生成方法 |
Non-Patent Citations (1)
Title |
---|
See also references of EP4086691A4 |
Also Published As
Publication number | Publication date |
---|---|
EP4086691A1 (en) | 2022-11-09 |
US20230095993A1 (en) | 2023-03-30 |
EP4086691A4 (en) | 2023-06-28 |
KR20220130138A (ko) | 2022-09-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10663735B2 (en) | Head-mounted display | |
US11407731B2 (en) | Holographic in-field illuminator | |
KR101878520B1 (ko) | 투시형 디스플레이를 위한 교감적 시각 적응 | |
US20180157908A1 (en) | Gaze-tracking system and method of tracking user's gaze | |
US10297180B2 (en) | Compensation of chromatic dispersion in a tunable beam steering device for improved display | |
JP2020514826A5 (ja) | ||
EP4094103A1 (en) | Optical assembly with holographic optics for folded optical path | |
TW201712371A (zh) | 資料眼鏡用的投影裝置,資料眼鏡,以及操作資料眼鏡用的投影裝置的方法 | |
US11256213B2 (en) | Holographic pattern generation for head-mounted display (HMD) eye tracking using an array of parabolic mirrors | |
US10948873B2 (en) | Holographic pattern generation for head-mounted display (HMD) eye tracking using a lens array | |
US10838362B2 (en) | Holographic pattern generation for head-mounted display (HMD) eye tracking using a prism array | |
JP7302592B2 (ja) | 情報検出装置、映像投影装置、情報検出方法、及び映像投影方法 | |
CN108693648A (zh) | 图像显示装置 | |
KR20220118445A (ko) | 도광 광학 엘리먼트와 연관된 광학 배열체를 사용하여 눈으로부터 광을 방향 전환시키는 것에 기초한 시선 추적을 위한 광학계 및 방법 | |
US11409240B2 (en) | Holographic pattern generation for head-mounted display (HMD) eye tracking using a diffractive optical element | |
WO2021157204A1 (ja) | 映像追従情報検出装置、映像追従装置、映像追従情報検出方法及び映像追従方法 | |
WO2020255562A1 (ja) | 画像表示装置及び表示装置 | |
US11281160B2 (en) | Holographic pattern generation for head-mounted display (HMD) eye tracking using a fiber exposure | |
JP7424823B2 (ja) | 画像表示装置 | |
JP3623482B2 (ja) | 映像表示装置 | |
US10942489B2 (en) | Wide-field holographic pattern generation for head-mounted display (HMD) eye tracking | |
KR102465800B1 (ko) | 근안 영상 표시 장치에 적용되는 시스루 광학 시스템 및 시스루 광학 시스템에서의 시선 추적 방법 | |
WO2022209236A1 (ja) | 画像表示装置 | |
KR101999425B1 (ko) | 허상 투영 디스플레이용 광학장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20917961 Country of ref document: EP Kind code of ref document: A1 |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2020917961 Country of ref document: EP |
|
ENP | Entry into the national phase |
Ref document number: 2020917961 Country of ref document: EP Effective date: 20220804 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
NENP | Non-entry into the national phase |
Ref country code: JP |