WO2019088071A1 - 虚像表示装置およびそれを用いたヘッドマウントディスプレイ - Google Patents

虚像表示装置およびそれを用いたヘッドマウントディスプレイ Download PDF

Info

Publication number
WO2019088071A1
WO2019088071A1 PCT/JP2018/040257 JP2018040257W WO2019088071A1 WO 2019088071 A1 WO2019088071 A1 WO 2019088071A1 JP 2018040257 W JP2018040257 W JP 2018040257W WO 2019088071 A1 WO2019088071 A1 WO 2019088071A1
Authority
WO
WIPO (PCT)
Prior art keywords
virtual image
user
distance
visual recognition
function
Prior art date
Application number
PCT/JP2018/040257
Other languages
English (en)
French (fr)
Inventor
大西 邦一
誠治 村田
Original Assignee
マクセル株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by マクセル株式会社 filed Critical マクセル株式会社
Priority to US16/758,437 priority Critical patent/US11297304B2/en
Priority to CN201880070301.8A priority patent/CN111295702A/zh
Publication of WO2019088071A1 publication Critical patent/WO2019088071A1/ja
Priority to US17/584,647 priority patent/US11991345B2/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/383Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10Beam splitting or combining systems
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/156Mixing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0129Head-up displays characterised by optical features comprising devices for correcting parallax
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • G02B2027/0174Head mounted characterised by optical features holographic
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0185Displaying image at variable distance

Definitions

  • the present invention relates to a virtual image display apparatus having a function of causing a user to visually recognize an arbitrary image as a virtual image by a predetermined optical system, and in particular, has a function of superimposing a virtual image in a real space visual field viewed by the user.
  • the present invention relates to a virtual image display device.
  • Examples of a virtual image display device having a function of superimposing and displaying a predetermined virtual image in the real space visual field viewed by the user include a head mounted display (hereinafter referred to as HMD) and a head up display (hereinafter referred to as HUD and Note) etc. are known.
  • HMD head mounted display
  • HUD and Note head up display
  • the function of matching the visual distance of the virtual image superimposed and displayed in the user's real space visual field to the real space visual distance of the real object within the visual field hereinafter referred to as virtual image visual distance adaptation function Note
  • the presence or absence of the condition is an important performance requirement that contributes to reducing the physiological burden on the user and improving the user's visibility.
  • the visual observation distance to the real space object at which the user is gazing by predetermined detection means The amount of relative deviation between the left-eye visual image and the right-eye visual image of the user generated when detecting (actual visual recognition distance) and gazing the object at this actual visual recognition distance, that is, “binocular parallax” is used Whether the visual recognition distance of the virtual image matches the real space visual recognition distance to the user by giving to the display virtual image for the left eye visible only with the left eye of the person and the display virtual image for the right eye visible only with the right eye There is disclosed a so-called "binocular parallax system" virtual image visual distance adapting means for causing an illusion.
  • the virtual image distance adaptation means according to the “binocular parallax system” as disclosed in Patent Document 1 is based on the perceived virtual image distance perceived by the user due to the binocular parallax and the user's eye actually on the virtual image. Since a deviation occurs between the in-focus distance, that is, the real virtual image distance, a physiological burden is placed on the user, and there is a problem that the user feels tired when using for a long time.
  • the binocular parallax itself changes depending on the gaze direction of the user's gaze in addition to the visual recognition distance, the user's viewpoint range so-called Eyebox which can correctly recognize the virtual image at a predetermined visual recognition distance is extremely There is also the problem of being narrow.
  • this "binocular disparity method" has to display different virtual images in which the positions of the display video items are shifted for the left eye and for the right eye, two independent images for the left eye and for the right eye are displayed in the HMD. It is necessary to provide an optical system for displaying a virtual image, and there are major limitations in reducing the size, weight and cost of the HMD.
  • an object of the present invention is to better ameliorate the above-mentioned problems of the physiological burden on the user and the narrow viewpoint range.
  • the present invention is, for example, a virtual image display device having a function of projecting a predetermined virtual image into a field of view of a user, as an example thereof.
  • a visual distance detection unit that detects an actual visual distance from a user to an object with respect to at least a part of a plurality of objects in an object or a field of view, and a function of generating a plurality of virtual image lights independent of each other Virtual image light generation unit having the function of transmitting virtual image light to the left and right eyes of the user via substantially the same optical path and projecting the virtual image light at a predetermined position within the user's field of view.
  • the present invention it is possible to provide a virtual image display device and a head mounted display using the virtual image display device capable of realizing a virtual image viewing distance adjustment function under a good viewing environment in which the physiological burden on the user is reduced.
  • FIG. 2 is a schematic perspective view of the HMD in the first embodiment.
  • FIG. 7 is a schematic perspective view showing a usage scene of the HMD in the first embodiment. It is a schematic plan view which shows an example of the visual recognition image in the user view in the use scene of FIG.
  • FIG. 10 is a schematic perspective view showing another usage scene of the HMD in the first embodiment. It is a schematic plan view which shows an example of the visual recognition image in the user view in the use scene of FIG. It is a schematic plan view which shows the visual recognition state in the user view in the further another usage scene of HMD in Example 1.
  • FIG. FIG. 1 is a block diagram showing a schematic configuration of an HMD in Embodiment 1.
  • 5 is a flowchart showing an operation procedure of the HMD in the first embodiment.
  • FIG. 7 is a schematic view for explaining the operation principle of the visual object real visual recognition distance detection unit of the HMD in the first embodiment. It is a flowchart which shows the operation
  • FIG. FIG. 6 is a plan view showing a schematic configuration of a virtual image light generation unit and a virtual image light transmission projection unit of the HMD in the first embodiment.
  • FIG. 6 is a schematic diagram for describing an operation outline of a virtual image light generation unit and a virtual image light transmission projection unit of the HMD in the first embodiment.
  • FIG. 7 is a schematic diagram for describing another operation outline of the virtual image light generation unit and virtual image light transmission projection unit of the HMD in the first embodiment.
  • FIG. 6 is a schematic view for explaining an outline of virtual image visible distance variable control of the HMD in the first embodiment.
  • FIG. 18 is a schematic view for explaining the operation principle of the visual object real visual recognition distance detection unit of the HMD in the second embodiment. It is a flowchart which shows the operation
  • FIG. FIG. 16 is a plan view showing a schematic configuration of a virtual image light generation unit and a virtual image light transmission projection unit of the HMD in the third embodiment.
  • FIG. 18 is a schematic diagram for describing an operation outline of a virtual image light generation unit and a virtual image light transmission projection unit of the HMD in the third embodiment.
  • FIG. 18 is a schematic diagram for describing another operation outline of the virtual image light generation unit and virtual image light transmission projection unit of the HMD in the third embodiment.
  • FIG. 16 is a plan view showing a schematic configuration of a virtual image light generation unit and a virtual image light transmission projection unit of the HMD in the fourth embodiment.
  • FIG. 21 is a plan view showing a schematic configuration of a virtual image light generation unit and a virtual image light transmission projection unit of the HMD in the fifth embodiment.
  • FIG. 21 is a plan view showing a schematic configuration of a virtual image light generation unit and a virtual image light transmission projection unit of the HMD in a sixth embodiment.
  • FIG. 21 is a schematic perspective view showing a use scene of a portable information terminal in Example 7.
  • FIG. 31 is a schematic front view showing a use scene of a vehicle head-up display in Example 8;
  • FIG. 1 is a schematic perspective view of a glasses-type HMD which is a virtual image display device in the present embodiment.
  • the eyeglass-type HMD 1 is mounted on the head of the user 100.
  • electronic circuits and an optical engine which will be described later, are stored in portions 2 and 3 corresponding to the strings of glasses for putting on the left and right ears.
  • transparent thin plates 4 and 5 made of an optical glass or a plastic member for an optical part are disposed at a portion corresponding to the spectacle lens.
  • the transparent thin plates 4 and 5 are optical devices called "light guide plates", and in the present embodiment, the light guide plates 4 and 5 are laminated, and the light guide plates having the same portions corresponding to the left and right eyeglass lenses are identical.
  • predetermined outgoing holograms 8a, 8b, 9a and 9b are disposed in portions that are in front of the left and right eyes.
  • the details of the functions and the like of the light guide plates 4 and 5 and the output holograms 8a, 8b, 9a and 9b will be described later.
  • a small electronic camera 20 for capturing an outside scene image in front of the user's eyes is provided at the string portions 2 and 3.
  • the compact electronic camera 20 is a twin-lens camera attached to both the left and right string parts 2 and 3 and also has a function to measure the distance to the object to be photographed by so-called stereo camera function.
  • the outside-view shooting camera mounted on the HMD as described in this embodiment is not limited to the above-mentioned twin-lens stereo camera, and it is natural that even a single-lens camera may be installed at one position. It is not limited to the position as shown in 1.
  • a predetermined sensor box 21 is disposed on the upper portion of the eyeglass frame.
  • the so-called eye tracking camera or TOF (T ime O f F light ) sensor any objects in the user before the eyes, etc., The sensor etc. which carry out ranging of distance are mounted.
  • the sensors provided in the sensor box 21 are not limited to eye tracking cameras or TOF sensors, and the distance to any object in the external scene in front of the user's eyes is measured. Any sensor may be used as long as it is a sensor that detects an information signal or the like necessary for detecting the distance information with a function of measuring distance or a predetermined means.
  • the installation position of the sensor box 21 itself is not limited to the position shown in the figure, and further, the sensor box itself is eliminated, and for example, each sensor is incorporated in a predetermined position in the HMD 1 I don't care.
  • the HMD 1 has a function of performing mutual wireless communication with the portable information terminal 50 carried by the user such as a smartphone, and acquires from the portable information terminal 50 data concerning a predetermined virtual image to be displayed by the HMD 1 It is a mechanism to However, this mechanism is not limited to the above-described mechanism, and for example, the HMD itself has some or all of the functions of the portable information terminal 50, and data on a virtual image to be displayed inside the HMD 1 It does not matter if it has a mechanism to hold The configuration and the like of the HMD 1 in the present embodiment will be specifically described below.
  • FIG. 2 is a schematic perspective view showing a scene in which the user 100 wearing the HMD 1 of the present invention gazes at the document 60 held by the hand
  • FIG. 10 shows an example of an actual visual recognition image of a document 60 visually recognized in an area 101 (an area surrounded by a broken line) and a virtual image 70 superimposed and displayed in the same visual field 101 by the HMD 1.
  • the visual recognition distance a is about several tens of centimeters at the maximum.
  • the virtual image 70 is viewed.
  • the distance needs to be substantially equal to the visible distance a at which the user's 100 eyes are in focus at least at that time. This is because, if the visual distance between the two is not the same, video items having different visual distances, ie, distances in which the eyes are in focus, are simultaneously present in the visual field of the user 100, and the HMD user Simultaneous viewing without discomfort or stress will be difficult.
  • FIG. 4 is a schematic perspective view showing a scene in which the user 100 wearing the HMD 1 gazes at a predetermined object 61 (picture in the example of FIG. 4) from a position several meters away.
  • FIG. 5 shows the actual visual recognition image of the target object 61 visually recognized in the visual field 101 (the area surrounded by the broken line) of the user 100 at that time and the virtual image superimposed and displayed in the same visual field 101 by the HMD 1.
  • An example of the image 71 is shown.
  • both eyes of the user 100 are in focus on the visual object 61, but the visual recognition distance b is extended to several meters unlike the case of the document gaze There is.
  • the visual distance of the virtual image 71 is the user It is difficult for the user 100 to simultaneously view the virtual image 71 and the object 61 without discomfort or a sense of stress unless the visual distance b at which the two eyes of the subject 100 are in focus is substantially matched.
  • the viewing distance of the virtual image superimposed and displayed by the HMD is In each case, it is necessary to substantially match the visual distance of the object which the user actually visually recognizes.
  • AR augmented reality using HMD: in order to achieve the visibility environment (A ugmented R eality abbreviated AR) is, for any of the object visible in the field of view of at least HMD user, the Since it is necessary to superimpose and display a predetermined virtual image as a virtual image in association with an object, the visual distance of the virtual image is made to substantially coincide with the actual visual distance of the object or a predetermined It is necessary to display by the visual distance of.
  • FIG. 6 shows an example of a real visual object visible in the field of view when the HMD user views the inside of a room, but the room of the table 62, the sofa 65, the curtain 67, etc.
  • Each of the furniture items 62 to 67 inside has, of course, different viewing distances depending on the position of the user at that time depending on the installation position.
  • the visual recognition distance changes successively according to the change of the standing position of the user.
  • this embodiment sequentially detects the actual visual recognition distance of the object the user is watching or the object seen in the field of view of the user, and the real-time viewing distance is substantially real time.
  • a virtual image display device such as an HMD provided with a function of displaying a predetermined virtual image at a predetermined visual distance substantially corresponding to the actual visual distance or associated with the actual visual distance.
  • the display virtual image video item is not limited to the thing of such a "balloon" aspect, and may be any aspect of the video item.
  • FIG. 7 is a block diagram showing a schematic configuration of the HMD 1 in the present embodiment.
  • the display virtual image information signal receiving unit 31 receives necessary data on a virtual image to be superimposed and displayed on the HMD 1 by mutual communication with the portable information terminal 50 carried by the user 100.
  • the image information acquisition unit 32 the outside scene image in front of the user's eyes taken with the small electronic camera 20 etc. for outside scene photographing and the images of the eyes of the user 100 taken with the eye tracking camera etc. in the sensor box 21. Is acquired as predetermined video data.
  • the display virtual image image data generation unit 33 displays superimposed images within the user's view.
  • the display image data for generating the virtual image 78 or 79 is generated.
  • the visual target object actual visual recognition distance detection unit 34 the actual visual recognition distance of the user 100 is sequentially detected using a predetermined means. Further, the virtual image visual recognition distance control unit 35 performs predetermined control processing for variably controlling the visual recognition distance of the display virtual image based on the actual visual recognition distance detected by the visual recognition object real visual recognition distance detection unit 34. The detection of the actual visual recognition distance in the visual recognition object real visual recognition distance detection unit 34 and the visual recognition distance variable control of the display virtual image in the virtual image visual recognition distance control unit 35 will be described later.
  • the memory 36 has a function of temporarily storing at least a part of various data signals generated in each block, but it is not always necessary to arrange in the HMD 1, for example, the same function
  • a memory having a may be disposed on the portable information terminal 50 side. The operation of the blocks 31 to 36 is appropriately controlled by the control unit 37.
  • the blocks from the display virtual image information signal receiving unit 31 to the control unit 37 are blocks consisting only of electronic circuits, and are simple in the following description. Therefore, the HMD drive control circuit 30 is collectively described.
  • the virtual image light generation units 40 and 41 are respectively configured of a display for displaying a predetermined virtual image and a drive circuit (display driver) of the display and a predetermined optical system, and the virtual image transmission projection unit 10 following that is A function configured to transmit virtual image light to the left and right eyes of the user via substantially the same optical path and project the virtual image light at a predetermined position in the user's field of vision. Is equipped. Note that specific configuration examples of the virtual image light generation units 40 and 41 and the virtual image light transmission projection unit 10 will be described later.
  • FIG. 8 is a flow chart showing the operation procedure of the HMD in the present embodiment shown in FIG. 1 and FIG.
  • step 201 (hereinafter, step is referred to as S in the figure and denoted as S201), N display virtual image video items (S 1 transmitted from portable information terminal 50) , S 2 ,: S N ) video data is received.
  • step 202 each image data of the real object within the user's field of view is acquired from the outside scene image in front of the user's eye captured by the small electronic camera 20 or the like for outside scene shooting.
  • image data of the user's binocular pupil is acquired by an eye tracking camera or the like.
  • the predetermined number variable n is set to 1 in step 204, and in the next step 205, the link of the n-th display virtual image video item Sn received out of the respective video data of the real object in the field of view acquired in step 202 Select an object to be displayed.
  • the next subprogram 300 S300
  • the actual visual recognition distance of the object is detected by means described later, and the visual recognition distance of the display virtual image video item Sn is decided.
  • the long distance reference virtual image and the short distance reference virtual image are data necessary for the predetermined control means used in the present embodiment to variably control the visible distance of the display virtual image video item Sn. Calculate the luminance apportionment data of The details of the near reference virtual image and the virtual image viewing distance variable control based on the luminance distribution thereof will be described later.
  • step 208 a display for displaying a virtual image, using the data for displaying the image regarding each of the determined N display virtual image items (S 1 , S 2 ,: S N ) and the near and near reference virtual image luminance proportional data.
  • the display for virtual image display is driven to perform predetermined image display. Then, by passing through a predetermined optical system, a predetermined near reference virtual image light is generated from the image light emitted from the display, and the virtual image light is transmitted and projected to the user's eyes.
  • FIG. 9 and FIG. 10 are a schematic diagram and a flowchart for explaining the detection procedure and principle of the actual visual recognition distance.
  • the user's 100 eyes are photographed using an eye tracking camera or the like, and from the image data, the reference positions of the left and right eye pupil centers 102 and 103 shown in the figure (the pupil center position at infinite distance gaze) 104 and shift amount and the so-called congestion amount P L and P R from 105 to detect the lateral Mehitomi center distance W LR in that case.
  • the distance from the center position of the left and right pupil distance of the user 100 to the gaze point 120 that is, the actual visual recognition distance S can be obtained also by the following relational expression (3).
  • a predetermined calibration process (a similar detection procedure is performed using a calibration target whose actual visual recognition distance is known, and the above equations (1) to (3) are reversed) It may be detected before use according to
  • FIG. 11 is a plan view showing a schematic configuration of the virtual image light generation units 40 and 41 and the virtual image light transmission projection unit 10 of the HMD in the present embodiment shown in FIGS. 1 and 7.
  • the drive control circuit 30 and virtual image light generation units 40 and 41 are disposed in the portions corresponding to the strings of the glasses of the HMD 1 shown in FIG. ing.
  • displays 42 and 43 for displaying a virtual image each including an image display such as a liquid crystal display, a display drive circuit 44 for driving the display, and virtual light generation Projection lens systems 46 and 47 are disposed.
  • the virtual image display displays 42 and 43 are not limited to the liquid crystal display described above, and may be any form and configuration of display, for example, small-sized image displays such as organic electroluminescent displays (abbr .: OLED). It does not matter.
  • the virtual image light transmission and projection unit 10 (a part surrounded by a dotted line in the figure), as shown in FIG. 1, two stacked transparent light guide plates 4 and 5 are disposed.
  • the light guide plates 4 and 5 have a function of confining light incident on the light guide plate at a predetermined incident angle inside the light guide plate by repeating total reflection on the upper and lower surfaces of the light guide plate and transmitting the light.
  • the light guide plates 4 and 5 respectively have incident holograms 6 and 7 having a function of causing a light wave to be incident in the light guide plate, and an output for emitting a light wave traveling in the light guide plate to the outside.
  • the holograms 8a, 8 and 9a, 9b are arranged.
  • the light guide plate equipped with the hologram for incidence and the hologram for emergence as described above is already known as an optical device for virtual image light transmission and projection for HMD, and thus the detailed description thereof will be omitted.
  • the display 42, 43 for virtual image display upon receiving a predetermined command signal or control signal from the HMD drive control circuit 30, displays an image corresponding to a display virtual image to generate predetermined image light.
  • first video light generated by the display 42 is firstly incident on the virtual image light generating projection lens system 46 as shown in FIG. 12, and there is a first visual light having a predetermined visual distance. It is converted to virtual image light. Then, the light passes through the incident hologram 6 disposed on the light guide plate 4 and enters the inside of the light guide plate 4. After advancing in the light guide plate 4 to the right in the figure, the light is emitted from the outgoing holograms 8a and 8b. The light is incident on both eyes 112 a and 112 b of the user 100. In this case the user 100, by the first virtual image light visually recognize the virtual image 78 to the position of the predetermined viewing distance D L of transparent light guide plate 4 and 5 over.
  • the virtual image 78 is referred to as a long distance reference virtual image in the present specification.
  • the second image light generated by the display 43 enters the projection lens system 47 for virtual image light generation and is converted there to a second virtual image light having a predetermined visual distance. . Then, the light passes through the incident hologram 7 disposed on the light guide plate 5 and enters the inside of the light guide plate 5, travels in the light guide plate 5 in the left direction in the figure, and is emitted from the emission holograms 9a and 9b Similarly to the virtual image light emitted from the holograms 8a and 8b, the light is incident on both eyes 112a and 112b of the user 100, respectively.
  • this virtual image 79 is referred to as a near reference virtual image in the present specification.
  • the long distance reference virtual image 78 is at the predetermined visible distance D L across the transparent light guide plates 4 and 5, and the near distance is at the visual distance D S (D S ⁇ D L ).
  • the optical constants and lens positions of the projection lens systems 46 and 47 for virtual image light generation are appropriately set so that the reference virtual image 79 can be correctly viewed.
  • the distance reference virtual image 78 and the short distance reference virtual image 79 are displayed on the virtual image display displays 42 and 43 and the virtual image so that they are superimposed and recognized in a complete projection relationship.
  • the viewing magnifications of virtual images of the projection lens systems for light generation 46 and 47 are appropriately set.
  • Such optical illusions are generally stereoscopic optical illusion: are called (D epth- f used 3 D abbreviation DFD).
  • the DFD which is an event of physiology, is a known event, so detailed explanation of its physiological generation mechanism and the like will be omitted, but stereovision using this DFD is the most widely used stereovision by illusions.
  • the viewpoint area (EyeBox) that can be stereoscopically correctly viewed is wide.
  • the visual distance of the illusion virtual image can be adapted to an arbitrary distance between the near reference virtual images by a relatively simple method of controlling the luminance distribution of the near reference virtual images.
  • this method is suitable for the case where user's actual visual recognition distance detection and variable control of the display virtual image visual recognition distance adapted to the actual visual recognition distance are executed in substantially real time. Therefore, in the present embodiment, variable control of the display virtual image visual recognition position is performed using this DFD.
  • a visual recognition distance detection unit that detects an actual visual recognition distance to a predetermined target within the visual field of the user, and at least two types of reference virtual image lights having different visual recognition distances
  • a virtual image light transmission projection unit having a function of transmitting and projecting a reference virtual image light to the user's eyes by a transparent light guide plate on which a virtual image light generation unit having a function to By controlling the video luminance distribution of the two types of virtual image light according to the visual recognition distance, a virtual image visual recognition distance control unit is provided which variably controls the visual recognition distance to a predetermined distance.
  • the user can perform variable control of the display virtual image visual recognition position using the DFD, and match the visual recognition distance of the user visual recognition virtual image with the actual visual recognition distance detected by the visual recognition distance detector. It is possible to provide a virtual image display device and a HMD using the same under a good visual recognition environment in which the physiological burden of the invention is reduced. Furthermore, it is possible to provide a virtual image display device suitable for reducing the size, weight and cost of the device.
  • variable control of the display virtual image visual recognition position using the DFD matches the visual recognition distance of the illusion virtual image at an arbitrary distance between the near reference virtual images by controlling the luminance distribution of the near reference virtual images.
  • the variable control range that is, the dynamic range is limited to the visible distance range between the near and far reference virtual images. Therefore, for example, the visual distance between the near and near reference virtual images themselves is changed by using means such as mechanical adjustment of the lens intervals of the individual projection lenses constituting the projection lens systems 46 and 47 for virtual image light generation. It is also possible to arbitrarily expand or reduce the dynamic range of the virtual image visual recognition distance.
  • the virtual image projection magnifications of the image display position on each display and the projection lens systems 46 and 47 for virtual image light generation are such that the near and far reference virtual images are always superimposed and recognized in a complete projection relationship. It must be properly controlled.
  • the reference virtual image for determining the dynamic range of the display virtual image visual position variable control by the DFD is not limited to two of the long distance reference virtual image 78 and the short distance reference virtual image 79 described above.
  • the virtual image light generation unit and the virtual image light transmission projection unit as described above, one or more intermediate distance reference virtual images are provided at any visual distance between the farthest distance reference virtual image and the latest distance reference virtual image;
  • the dynamic range of control can be arbitrarily changed.
  • the present embodiment is not limited to the display virtual image viewing position variable control by the DFD.
  • any means may be used as long as variable control is applicable to this embodiment.
  • the present invention is applied to display virtual image viewing position variable control based on a binocular parallax method widely applied conventionally.
  • the actual visual recognition distance detection of the user visual recognition object means for detecting only from the convergence amount of the user's binocular pupil as described in FIG. 9 and FIG. 10 is used.
  • the actual visual recognition distance detection is not limited to this.
  • FIG. 15 is a schematic diagram for explaining the detection principle
  • FIG. 16 is a flowchart summarizing the detection processing procedure. First, the detection processing procedure will be described with reference to FIG.
  • each image data of an object in the field of view is acquired from the outside scene image in front of the user's eye captured by the small electronic camera 20 for outside scene image capturing.
  • the user origin relative position of each object in the user's field of view is detected from the acquired video data.
  • the user base point azimuth angle of each object in the field of view (expected angle when the user gazes at the object from the user) ⁇ is calculated from the detected relative position.
  • step 354 the photographed image data of the user's eyes captured by the eye tracking camera etc. is acquired, and at the next step 355, the pupil center positions of the left and right eyes are detected from the video data. Then, in the next step 356, the sight line inclination angles ⁇ L and ⁇ R (see FIG. 15) of the left and right eyes are calculated.
  • the procedure from the step 354 to the step 356 is the same procedure as the procedure from the step 301 to the step 305 in the first embodiment concerning the detection of the user's actual visual recognition distance described in FIG. 9 and FIG.
  • the gaze gaze angle ⁇ (see FIG. 15) of the person 100 is calculated using the following relational expression (6).
  • tan ( ⁇ ) sin ( ⁇ L - ⁇ R ) / ⁇ cos ( ⁇ L + ⁇ R ) + cos ( ⁇ L - ⁇ R ) ⁇ --- (6)
  • step 358 the user base point azimuth angle ⁇ of the in-field object calculated in the above procedure is compared with the gaze gaze angle ⁇ of the user, and the in-field object where ⁇ and ⁇ coincide, ie, currently used Identify the object that the person is watching. Then, the effective distance S to the gazed object specified, that is, the actual visual recognition distance of the user at the current time, is measured using the distance measurement sensor provided in the HMD.
  • the distance measuring sensor any existing distance measuring sensor such as a so-called stereo camera, TOF sensor or ultrasonic sensor introduced in FIG. 1 may be used.
  • each effective distance from the user is detected for all the objects visible in the user's field of view, and they are superimposed and displayed in relation to the respective objects. Even if it is the display means which implement
  • AR augmented reality
  • a virtual image may be displayed at any viewing distance regardless of the effective distance of each object in the field of view or the user's actual viewing distance, and the viewing distance variable control of the display virtual image is used in real time,
  • the display method may be such that the visual recognition position of the display virtual image dynamically changes between arbitrary visual recognition distances.
  • FIG. 17 is a plan view showing a schematic configuration of a virtual image light generation unit and a virtual image light transmission projection unit of the HMD in the present embodiment.
  • the same components as those shown in FIG. 11 are denoted by the same reference numerals.
  • two independent virtual image light generating units 40 and 41 are disposed in the HMD in order to separately generate the far distance reference virtual image light and the short distance reference virtual image light.
  • the virtual image light transmission projection unit 10 is composed of two transparent light guide plates 4 and 5 arranged in a stack, and the virtual image light generated by each of the virtual image light generation units 40 and 41 is the two light guide plates It is configured to transmit in the light guide plate of either one of 4 and 5.
  • the far-distance reference virtual image light and the short-distance reference virtual image light may be transmitted together in a single light guide plate instead of being transmitted in separate light guide plates.
  • the optical system it is also possible to combine the two independent virtual image light generating parts as described above into one.
  • the present embodiment shown in FIG. 17 is an embodiment which achieves such an object.
  • the HMD 1 in the present embodiment is different from the first embodiment shown in FIG. 11 and includes only a single virtual image light generation unit 40 (a part surrounded by a dashed dotted line in the drawing).
  • the virtual image light generation unit 40 includes a display 42 for displaying a virtual image, a display drive circuit 44 for driving the display 42, and first and second projection lens systems 46a and 46b for generating virtual image light divided into two lens groups.
  • the polarization conversion element an existing device such as a liquid crystal type polarization conversion element used in a liquid crystal display may be used.
  • a single light guide plate 4 is disposed in the virtual image light transmission projection unit 10 (a portion surrounded by a dotted line in the drawing). Further, on the light guide plate 4, two entrance holograms 6 and 7 and two exit holograms 8a and 8b are installed.
  • the image for the long distance reference virtual image light and the image for the short distance reference virtual image light are alternately switched and displayed for each predetermined frame rate on the display for displaying a virtual image.
  • the image light generated was converted incident on the first virtual image light generating projection lens system 46a where a predetermined virtual image light having a visible distance, the long distance reference virtual image light having, for example, visible distance D L
  • the light enters the polarization conversion element 48.
  • the polarization conversion element 48 is set to switch to P-polarization or S-polarization of incident light in synchronization with the display switching timing of the far-distance reference virtual image light image and the short-distance reference virtual image light image displayed on the display 42 It is done.
  • the virtual image light incident on the polarization conversion element 48 by the polarization conversion element 48 is converted to P-polarized light at the timing when the image for the long distance reference virtual image light is displayed on the display 42. It is assumed that it is set to be converted into S-polarization at the timing when the reference virtual image light video is displayed.
  • the virtual image light converted to the P-polarization is referred to as a first virtual image light
  • the virtual image light converted to the S-polarization is referred to as a second virtual image light.
  • the first virtual image light converted to P-polarized light (polarization direction indicated by double-headed arrow lines in the figure) by the polarization conversion element 48 is a polarization separation film 49a of trapezoidal PBS 49. Then, the light passes through the first incident hologram 6 disposed in the light guide plate 4 and enters the inside of the light guide plate 4. The light travels in the light guide plate 4 in the right direction in the figure and then emits from the emission holograms 8a and 8b, and enters the both eyes 112a and 112b of the user 100, respectively.
  • the user 100 passes through the transparent light guide plate 4. the position of the predetermined viewing distance D L, viewing the far reference virtual image 78 in a predetermined viewing magnification.
  • the second virtual image light converted to S-polarized light having a polarization direction perpendicular to P-polarization by the polarization conversion element 48 is reflected on the polarization separation film 49a of the trapezoidal PBS 49. Further, the total reflection surface 49b is also reflected, follows an optical path different from the first virtual image light, and is incident on the second virtual image light generation projection lens system 46b.
  • the second virtual image light generation projection lens system 46 b is configured to generate a second virtual image light, which has been generated as light corresponding to a long distance reference virtual image light by the first virtual image light generation projection lens system 46 a, at a predetermined visual distance D It has a function to convert it into light equivalent to short-range reference virtual image light having S (D S ⁇ D L ).
  • the second virtual image light reconverted into the short-distance reference virtual image light is incident on the inside of the light guide plate 4 through the second incident hologram 7 disposed on the light guide plate 4 next.
  • the light guide plate 4 travels in the light guide plate 4 in the same direction as the first virtual image light, then emits from the output holograms 8a and 8b and enters the two eyes 112a and 112b of the user 100, respectively.
  • the second virtual image light is converted into virtual image light equivalent to the short-distance reference virtual image light by passing through both of the virtual image light generation projection lens systems 46a and 46b as described above.
  • person 100 the position of the predetermined viewing distance D S of the transparent light guide plate 4 over, viewing the short distance reference virtual image 79 in a predetermined viewing magnification.
  • the user 100 will alternately view the far reference virtual image 78 and the short reference virtual image 79 switched at a predetermined frame rate, the user 100 can not identify the individual virtual images switched fast. Therefore, it perceives as if the long distance reference virtual image 78 and the short distance reference virtual image 79 are simultaneously viewed. Therefore, as in the first and second embodiments, it is possible to perform display virtual image visual distance variable control using a stereoscopic illusion (DFD).
  • DMD stereoscopic illusion
  • the virtual image light generation unit and the light guide plate in the virtual image light transmission projection unit can be integrated into one and can be reduced, and the HMD is smaller than the first embodiment. It is possible to obtain a great effect on the cost reduction, weight reduction and cost reduction.
  • the relationship between the far / short distance reference virtual image light and the P / S polarization described in the present embodiment may be completely reversed.
  • the first projection lens system 46a for virtual image light generation generates light corresponding to the short distance reference virtual image light
  • the second projection lens system 46b for virtual image light generation generates the light further into the distance reference virtual image light Will have the function of reconverting to light.
  • FIG. 20 is a plan view showing a schematic configuration of a virtual image light generation unit and a virtual image light transmission projection unit of the HMD in the present embodiment.
  • the same components as those shown in FIGS. 11 and 17 are denoted by the same reference numerals.
  • a single virtual image display display is used to switch between long-distance reference virtual image light images and short-distance reference virtual image light images at a predetermined frame rate and display the frame rates.
  • the polarization direction of the generated virtual image light is also time-division switched in synchronization with this, thereby causing the user 100 to perceive as if the long-distance reference virtual image and the short-distance reference virtual image are simultaneously viewed.
  • the present embodiment is configured to simultaneously project the far and near reference virtual image light to both eyes 112 a and 112 b of the user 100 instead of the time division display as described above.
  • only a single light guide plate 4 is disposed in the virtual image light transmission and projection unit 10 (a portion surrounded by a dotted line in the drawing).
  • the light guide plate 4 is provided with one incident hologram 6 and two outgoing holograms 8a and 8b.
  • the display 42 for displaying a virtual image in the virtual image light generation unit 40 is divided into two display areas 42a and 42b and the display screen 42 is divided into two display areas 42a and 42b.
  • the display screen 42 is divided into two display areas 42a and 42b.
  • phase plates or polarizing filters 11 and 12 are disposed immediately after each display area.
  • the phase plate or polarizing filters 11 and 12 have a function of aligning the polarization direction of the image light emitted from each of the divided display areas 42a and 42b of the display 42 in a predetermined polarization direction.
  • phase plate or polarization filter 11 aligns the first image light emitted from the divided display area 42a with P-polarized light (polarization direction indicated by the double-headed arrow in the figure), and the polarization filter 12 divides the divided display area
  • the second image light emitted from the light source 42b is aligned with S-polarized light perpendicular to P-polarized light.
  • an image corresponding to the long distance reference virtual image light in the divided display area 42a and an image corresponding to the short distance reference virtual image light in the divided display area 42b are simultaneously displayed.
  • the first image light emitted from the divided display area 42a passes through the phase plate or polarizing filter 11 and enters the trapezoidal PBS 49.
  • This first image light is polarized by the phase plate or polarizing filter 11 as described above. Since the direction is aligned with P-polarization, the light passes through the polarization separation film 49a of the trapezoidal PBS 49, and enters the first virtual image light generation projection lens system 46a. Then, where after the far-reference virtual image light having a visible distance D L is generated, through the incidence hologram 6 disposed on the light guide plate 4 is incident on the light guide plate 4. Then, the light guide plate 4 travels in the right direction in the drawing and then emits from the emission holograms 8a and 8b and enters the both eyes 112a and 112b of the user 100, respectively.
  • the second image light emitted from the divided display area 42b is incident on the trapezoidal PBS 49 through the phase plate or polarizing filter 12 and the second projection lens system 46b for virtual image light generation, and is reflected on the total reflection surface 49b. After that, it reaches the polarization separation film 49a. At this time, since the polarization direction of the second image light is aligned with the S polarization by the phase plate or the polarization filter 12, the second image light is reflected on the polarization separation film 49a and combined with the optical path of the first image light. Similarly, it enters the first virtual image light generation projection lens system 46a.
  • the second image light passes through both the second virtual image light generation projection lens system 46 b and the first virtual image light generation projection lens system 46 a with the trapezoidal prism 49 interposed therebetween, and this lens system short-range reference virtual image light is generated with a combination by visible distance D S of.
  • the short distance reference virtual image light is incident on the inside of the light guide plate 4 through the incident hologram 6 disposed on the light guide plate 4 similarly to the long distance reference virtual image light generated from the first image light.
  • the light After traveling in the light plate 4 in the right direction in the drawing, the light is emitted from the emission holograms 8a and 8b and enters the both eyes 112a and 112b of the user 100, respectively.
  • the user 100 can simultaneously view the long distance reference virtual image light and the short distance reference virtual image light. Therefore, as in the first, second, and third embodiments, it is possible to perform variable control of the display virtual image visual distance utilizing the stereoscopic illusion phenomenon (DFD).
  • DMD stereoscopic illusion phenomenon
  • optical devices such as high-speed switching control of image light and relatively expensive polarization conversion elements as described in the third embodiment are not required, and therefore, a large effect can be obtained for reducing the cost of HMD. can get.
  • the relationship between the far / short distance reference virtual image light and the P / S polarization described in the present embodiment may be completely reversed.
  • the first virtual image light generation projection lens system 46a generates light corresponding to the short distance reference virtual image light
  • the first virtual image light generation projection lens system 46a and the second virtual image light generation projection The projection lens system combining the lens system 46b has a function of generating light corresponding to the long distance reference virtual image light.
  • the stereoscopic illusion phenomenon (DFD) is used as the display virtual image visual recognition distance variable control.
  • An HMD using H can also be realized.
  • an example in which the present invention is applied to a binocular parallax HMD will be described.
  • FIG. 21 is a plan view showing a schematic configuration of a virtual image light generation unit and a virtual image light transmission projection unit of the HMD in the present embodiment.
  • the same components as those shown in FIG. 20 are denoted by the same reference numerals.
  • the polarization filter is placed in the optical path between the output hologram 8a and the right eye 112a of the user 100.
  • 13 is a point in which a polarizing filter 14 is additionally disposed in the optical path between the outgoing hologram 8 b and the left eye 112 b of the user 100.
  • the polarizing filter 13 has, for example, a function of transmitting P-polarized light (polarization direction represented by the double-sided arrow line in the figure) and reflecting or absorbing S-polarized light. It has a function of transmitting light and reflecting or absorbing P-polarized light.
  • the combination of P / S polarization may be true or negative.
  • the display according to the binocular parallax method is performed by displaying the right-eye video and the left-eye video having the video item display position shift equivalent to the binocular parallax according to the desired viewing distance in the split display areas 42a and 42b.
  • Virtual image visual recognition distance variable control can be realized. The specific procedures and principles of the binocular parallax system are already known contents, and the detailed description will be omitted.
  • the optical path length until reaching the projection lens system 46a is different.
  • the second image light emitted from the divided display area 42b is longer by the optical path from the total reflection surface 49b in the trapezoidal PBS 49 to the polarization separation film 49a.
  • the projection lens system 46a for generating the first virtual image light Also with regard to the virtual image generated by the first virtual image light generated from the first image light and the second virtual image light generated from the second image light, the visual distance and the visual image magnification of the second virtual image light are different. .
  • the second virtual image light generating projection lens system 46b is capable of correcting the difference in the visible distance and the visible image magnification of the second virtual image light with respect to the first virtual image light due to the difference in optical path length.
  • the binocular parallax HMD using the optical configuration shown in the present embodiment is equipped with two virtual image light generation units separated for the left and right eyes, that is, an optical engine for image display as in the conventional binocular parallax HMD. Therefore, the binocular parallax HMD can be greatly reduced in size, weight and cost.
  • FIG. 22 is a plan view showing a schematic configuration of a virtual image light generation unit and a virtual image light transmission projection unit of the HMD in the present embodiment.
  • the HMD 1 has a virtual image light generation unit and a virtual image light transmission projection unit similar to those of the fourth embodiment shown in FIG.
  • a light blocking controllable device 15 which is an optical device whose light blocking property can be controlled by a signal
  • a light blocking controllable optical device there are, for example, an active polarization filter using liquid crystal and a light control glass, and by arranging such an optical device on the front surface of the light guide plate 4, this light guide plate 4 It is possible to arbitrarily block external scenic light that jumps into the left and right eyes of the user 100 and to clearly view only the display virtual image in front of the user's eyes.
  • a so-called augmented reality (AR) -compatible HMD in which a real visual image and a display virtual image can be fused and recognized by one HMD, and a so-called so-called visual virtual image alone by blocking the outside scene.
  • AR augmented reality
  • VR virtual reality
  • the light shielding property controllable device 15 is disposed so as to cover the entire surface of the light guide plate 4, it is disposed so as to cover only the opening of the emission holograms 8a and 8b and the vicinity thereof. I don't care.
  • this embodiment is an example in which the present invention is applied to a portable information terminal or portable personal computer (PC) 16 having a transparent display. It is.
  • FIG. 23 is a schematic perspective view showing a usage scene of the portable information terminal in the present embodiment.
  • the drive control circuit and virtual image light generation unit disclosed in at least one of the first to sixth embodiments are incorporated in the main body of the portable terminal or portable PC 16 and as a see-through image display
  • a virtual image light transmission and projection unit 10 is provided which includes a light guide plate 4 with a virtual image light incident / output hologram as shown in FIGS. 11, 17 and 20 to 22.
  • AR augmented reality
  • VR virtual reality
  • FIG. 24 shows an embodiment in which the present invention is applied to an on-vehicle head-up display (HUD).
  • the drive control circuit and virtual image light generation unit disclosed in at least one of the first to sixth embodiments are incorporated in the HUD main body 17 incorporated in or attached to the dashboard of a car, and
  • the virtual image light transmission projection unit 10 including the above-described light guide plate 4 with a virtual image light incidence / emission hologram is provided.
  • the virtual image light transmission projection unit 10 may be provided on a part or the whole surface of the windshield glass provided on the entire surface of the vehicle driver's seat, or a part of the windshield glass itself may be provided with the hologram for virtual image light incidence / emission.
  • the windshield glass itself can also be equipped with the function of a see-through display for HUD.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

所定の虚像映像を使用者の視野内に投影する機能を備えた虚像表示装置において、虚像映像視認時における使用者の生理的負担や視点範囲の狭さの問題を良好に改善する虚像表示装置を提供することを目的とする。 上記目的を達成するために、所定の虚像映像を使用者の視野内に投影する機能を備えた虚像表示装置において、使用者が注視している視認対象物もしくは視野内にある複数の対象物のうちの少なくとも一部の対象物に関し使用者から対象物までの実視認距離を検知する視認距離検知部と、互いに独立した複数の虚像光を生成する機能を備えた虚像光生成部と、虚像光を略同一の光学経路を経由して使用者の左右両眼に伝送、投影し使用者の視野内の所定位置に所定の虚像映像を視認させる機能を備えた虚像光伝送投影部と、複数の投影虚像光を用いて使用者に視認される虚像の視認距離を可変制御する機能を備えた虚像視認距離制御部とを有するように構成する。

Description

虚像表示装置およびそれを用いたヘッドマウントディスプレイ
 本発明は、所定の光学系により任意の映像を虚像として使用者に視認させる機能を備えた虚像表示装置に関し、特に使用者が視認している実空間視野内に虚像を重畳表示する機能を備えた虚像表示装置に関する。
 使用者が視認している実空間視野内に所定の虚像を重畳表示する機能を備えた虚像表示装置の例としては、ヘッドマウントディスプレイ(以下、HMDと記す)やヘッドアップディスプレイ(以下、HUDと記す)等が知られている。これら虚像表示装置においては、使用者の実空間視野内に重畳表示される虚像の視認距離を当該視野内にある実対象物の実空間視認距離に適合させる機能(以下、虚像視認距離適合機能と記す)の存否が、使用者に与える生理学的な負担を軽減し使用者の視認性向上に寄与する重要な性能要件となる。
 従来、特に使用者の頭部に装着するHMDにおける虚像視認距離適合機能の実現手段としては、例えば特許文献1に、所定の検知手段により使用者が注視している実空間対象物までの視認距離(実視認距離)を検知し、この実視認距離で対象物を注視する際に生じる使用者の左眼視認像と右眼視認像との相対的な乖離量すなわち「両眼視差」を、使用者の左眼でのみ視認させる左眼用表示虚像と右眼でのみ視認させる右眼用表示虚像に付与することで、使用者にあたかも虚像の視認距離が実空間視認距離に適合しているかのように錯視させる、いわゆる「両眼視差方式」による虚像視認距離適合手段が開示されている。
特開2016-186561号公報
 しかしながら、特許文献1に開示されているような「両眼視差方式」による虚像視認距離適合手段は、当該両眼視差により使用者が知覚する知覚虚像距離と実際に使用者の眼が虚像上に合焦している距離すなわち実虚像距離との間に乖離が生じるため、使用者に生理学的な負担をかけ、長時間使用時における使用者の疲労感が大きいという問題がある。また、両眼視差自体が、視認距離に加えて使用者の注視視線方向にも依存して変化するため、虚像を所定の視認距離で正しく視認することができる使用者の視点範囲いわゆるEyeboxが極めて狭いという問題もある。さらに、この「両眼視差方式」は、左目用と右目用で表示映像アイテムの位置がずれた互いに異なる虚像を表示しなければならないため、HMD内に左目用と右目用で独立した2個の虚像表示用光学系を具備しなければならず、HMDの小型軽量化や低コスト化に大きな制約がある。
 以上のような背景を基に本願発明の目的は、前記したような使用者の生理的負担や視点範囲の狭さの問題を良好に改善することにある。
 本発明は、上記背景技術及び課題に鑑み、その一例を挙げるならば、所定の虚像映像を使用者の視野内に投影する機能を備えた虚像表示装置において、使用者が注視している視認対象物もしくは視野内にある複数の対象物のうちの少なくとも一部の対象物に関し使用者から対象物までの実視認距離を検知する視認距離検知部と、互いに独立した複数の虚像光を生成する機能を備えた虚像光生成部と、虚像光を略同一の光学経路を経由して使用者の左右両眼に伝送、投影し使用者の視野内の所定位置に所定の虚像映像を視認させる機能を備えた虚像光伝送投影部と、複数の投影虚像光を用いて使用者に視認される虚像の視認距離を可変制御する機能を備えた虚像視認距離制御部とを有するように構成する。
 本願発明によれば、使用者の生理的負担を軽減した良好な視認環境下での虚像視認距離適合機能を実現できる、虚像表示装置およびそれを用いたヘッドマウントディスプレイを提供できる。
実施例1におけるHMDの概略斜視図である。 実施例1におけるHMDの使用シーンを示した概略斜視図である。 図2の使用シーンにおける使用者視野内の視認像の一例を示す概略平面図である。 実施例1におけるHMDの別の使用シーンを示した概略斜視図である。 図4の使用シーンにおける使用者視野内の視認像の一例を示す概略平面図である。 実施例1におけるHMDのさらに別の使用シーンにおける使用者視野内の視認状態を示す概略平面図である。 実施例1におけるHMDの概略構成を示すブロック図である。 実施例1におけるHMDの動作手順を示すフローチャートである。 実施例1におけるHMDの視認対象物実視認距離検知部の動作原理を説明するための模式図である。 実施例1におけるHMDの視認対象物実視認距離検知部の動作手順を示すフローチャートである。 実施例1におけるHMDの虚像光生成部および虚像光伝送投影部の概略構成を示す平面図である。 実施例1におけるHMDの虚像光生成部および虚像光伝送投影部の動作概要を説明するための模式図である。 実施例1におけるHMDの虚像光生成部および虚像光伝送投影部の別の動作概要を説明するための模式図である。 実施例1におけるHMDの虚像視認距離可変制御の概要を説明するための模式図である。 実施例2におけるHMDの視認対象物実視認距離検知部の動作原理を説明するための模式図である。 実施例2におけるHMDの視認対象物実視認距離検知部の動作手順を示すフローチャートである。 実施例3におけるHMDの虚像光生成部および虚像光伝送投影部の概略構成を示す平面図である。 実施例3におけるHMDの虚像光生成部および虚像光伝送投影部の動作概要を説明するための模式図である。 実施例3におけるHMDの虚像光生成部および虚像光伝送投影部の別の動作概要を説明するための模式図である。 実施例4におけるHMDの虚像光生成部および虚像光伝送投影部の概略構成を示す平面図である。 実施例5におけるHMDの虚像光生成部および虚像光伝送投影部の概略構成を示す平面図である。 実施例6におけるHMDの虚像光生成部および虚像光伝送投影部の概略構成を示す平面図である。 実施例7における携帯型情報端末の使用シーンを示した概略斜視図である。 実施例8における車両用ヘッドアップディスプレイの使用シーンを示した概略正面図である。
 以下、図面を用いて本発明の実施例について説明する。
 図1は、本実施例における虚像表示装置である眼鏡型HMDの概略斜視図である。図1に示すように、眼鏡型HMD1は使用者100の頭部に装着されている。このHMD1は、左右の耳にかけるための眼鏡の弦に相当する部位2および3に、後述する電子回路および光学エンジンが格納されている。また眼鏡レンズに相当する部位には、光学ガラスまたは光学部品用プラスチック部材で製作された透明薄板4、5が配置されている。この透明薄板4および5は「導光板」と呼ばれる光学デバイスで、本実施例では導光板4、5が積層された構造になっており、かつ左右の眼鏡レンズに相当する部分が同一の導光板でカバーされている。さらに、この導光板4、5には、左右眼の眼前に当たる部分に所定の出射用ホログラム8a、8b、9a、9bが配置されている。なお、この導光板4、5および出射用ホログラム8a、8b、9a、9bの機能等の詳細については後述する。
 なお、本実施例では、弦部位2および3に使用者眼前の外景映像を撮影するための小型電子カメラ20が具備されている。特に本実施例では、小型電子カメラ20は左右の弦部位2および3の両方に取り付けられた2眼カメラになっており、いわゆるステレオカメラ機能によって撮影対象物までの距離を測距する機能も兼ね備えた構成になっている。ただし、本実施例で説明するようなHMDに搭載される外景撮影用カメラは、前記の2眼ステレオカメラに限定されるものではなく、当然1眼のカメラでも一向に構わないし、その設置位置も図1に示したような位置に限定されるものではない。
 また、本実施例では、眼鏡枠部の上部に所定のセンサボックス21が配置されている。本センサボックス21内には、例えば使用者100の左右両眼瞳の位置をモニタする、いわゆるアイトラッキングカメラ、あるいはTOF(Time OFlight)センサなど使用者眼前にある任意の対象物までの距離を測距するセンサなどが搭載されている。なお、このセンサボックス21内に具備されるセンサについては、当然のことながらアイトラッキングカメラやTOFセンサに限定されるものではなく、使用者眼前の外部情景中の任意の対象物までの距離を測距する機能または所定の手段で当該距離情報を検知するために必要な情報信号等を検知するセンサであればどのようなセンサであっても構わない。また当該センサボックス21自体の設置位置も図中に示した位置に限定されるものではなく、さらに云えば当該センサボックス自体を無くし、例えば個々のセンサをHMD1内部の所定位置に組み込む構成であっても構わない。
 ところで、本実施例においては、HMD1はスマートフォンなど使用者が携帯する携帯情報端末50と相互無線通信する機能を備えており、HMD1が表示すべき所定の虚像映像に関するデータを携帯情報端末50から取得する仕組みになっている。ただし、この仕組みについても、前記の仕組みに限定されるものではなく、例えばHMD自身が前記携帯情報端末50の機能の一部または全部を兼ね備えていて、HMD1の内部に表示すべき虚像映像に関するデータを保有する仕組みであっても構わない。以下では本実施例におけるHMD1の構成等について具体的に説明する。
 なお、本実施例の具体的説明の前に、本実施例の虚像表示装置が実現しようとしている機能をより明確にするため、日常生活において使用者が本実施例の虚像表示装置を用いたHMDを使用するシーン例をいくつか紹介する。
 例えば、図2は、本願発明のHMD1を装着した使用者100が手に持った書類60を注視しているシーンを示した概略斜視図であり、図3は、その際、使用者100の視野101(破線で囲われた領域)内で視認される書類60の実視認像と、HMD1によって同じ視野101内に重畳表示されている虚像映像70の例を示している。この時、使用者100の両眼は、当然のことながら手に持った書類60上にピントが合っており、その視認距離aは高々数10センチ程度である。このような使用シーンにおいて、例えば書類60上に記載されている何らかの文言に関する関連情報あるいは解説情報を、HMD1による虚像映像70として視野101内の所定位置に重畳表示させる場合、その虚像映像70の視認距離は、少なくともその時点で使用者100の両眼のピントがあっている視認距離aに略一致させておく必要がある。なぜならば、もし両者の視認距離が一致していない場合、使用者100の視野内に視認距離すなわち眼のピントが合う距離が異なる映像アイテムが同時に存在することになり、HMD使用者は、これらを違和感やストレス感無く同時視認することが難しくなってしまう。
 同様に例えば、図4では、前記HMD1を装着した使用者100が数メートル離れた位置から所定の対象物61(図4の例では絵画)を注視しているシーンを示した概略斜視図であり、図5は、その際の使用者100の視野101(破線で囲われた領域)内で視認されている対象物61の実視認像と、HMD1によって同じ視野101内に重畳表示されている虚像映像71の例を示している。このシーンにおいても、前記した書類注視のシーンと同様、使用者100の両眼は視認対象物61上にピントが合っているが、その視認距離bは書類注視の場合と異なり数メートルに伸びている。このような使用シーンにおいても、例えば、対象物61に関する関連情報あるいは解説情報を、HMD1による虚像映像71として視野101内の所定位置に重畳表示させる場合、その虚像映像71の視認距離は、使用者100の両眼のピントがあっている視認距離bに略一致させておかないと、使用者100が当該虚像映像71と対象物61を違和感やストレス感無く同時視認するは難しい。
 このように、HMD使用者が、その視野内に見える実像とHMDによって重畳表示される虚像映像を違和感やストレス感無く同時視認し続けるためには、HMDによって重畳表示される虚像映像の視認距離を、その都度使用者が実際に視認している対象物の視認距離に略一致させておく必要がある。
 さらに云えば、HMDを用いていわゆる拡張現実(Augmented Reality:略称AR)の視認環境を実現するためには、少なくともHMD使用者の視野内に見えている任意の対象物に対して、その対象物に関連づけて所定の仮想映像を虚像として重畳表示する必要があるので、その仮想映像の視認距離を当該対象物の実視認距離に略一致させるか、あるいは当該実視認距離に関連づけられた所定の視認距離で表示する必要がある。
 例えば、図6は、HMD使用者がある部屋の内部を一望した場合に、その視野内に見えている実視認対象物の例を示しているが、テーブル62やソファ65やカーテン67など部屋の中にある各家具アイテム62乃至67は、当然のことながらその設置位置によってその時点における使用者の立ち位置に応じてそれぞれ異なった視認距離を有している。しかもその視認距離は、使用者の立ち位置の変化に応じて逐次変化する。したがって例えば、これら各家具アイテムにHMDを用いて何らかの仮想映像72乃至77を虚像映像として重畳表示してAR環境を実現する場合は、個々の家具アイテムの実視認距離を逐次検知し、対応する仮想映像の視認距離を検知した実視認距離に略一致させるか、あるいは当該実視認距離に関連づけられた所定の視認距離で表示する必要がある。
 以上述べたような必要性に応えるため、本実施例は、使用者が注視している対象物あるいは使用者の視野内に見えている対象物の実視認距離を逐次検知し、ほぼリアルタイムで当該実視認距離に略一致あるいは当該実視認距離に関連づけられた所定の視認距離に所定の虚像映像を表示する機能を備えたHMDなどの虚像表示装置を提供する。
 なお、図3、図5、図6では、説明を分かり易くする目的から、HMDによって使用者の視野内に重畳表示される虚像映像アイテムの例として、いわゆる「吹き出し」態様の情報表示アイテムに限定して掲載しているが、当然のことながら表示虚像映像アイテムは、このような「吹き出し」態様の物の限定されるわけではなく、どのような態様の映像アイテムであっても構わない。
 次に、本実施例における、図1に示したHMDの具体的構成について説明する。図7は本実施例におけるHMD1の概略構成を示すブロック図である。図7において、表示虚像用情報信号受信部31は、使用者100が携帯する携帯情報端末50との相互通信により、HMD1に用いて重畳表示すべき虚像映像に関する必要データを受信する。また同時に、映像情報取得部32では、外景撮影用の小型電子カメラ20等で撮影した使用者眼前の外景映像およびセンサボックス21内のアイトラッキングカメラ等で撮影した使用者100の両眼瞳の映像を所定の映像データとして取得する。そして、表示虚像用情報信号受信部31で受信した虚像映像データおよび映像情報取得部32で取得した所定の映像データを基に、表示虚像用画像データ生成部33において、使用者視野内で重畳表示される虚像映像78あるいは79を生成するためのディスプレイ用映像データを生成する。
 一方、視認対象物実視認距離検知部34では、所定の手段を用いて使用者100の実視認距離を逐次検知する。また、虚像視認距離制御部35では、視認対象物実視認距離検知部34で検知された実視認距離を基に、表示虚像の視認距離を可変制御するための所定の制御処理が行われる。なお、視認対象物実視認距離検知部34における実視認距離の検知、および虚像視認距離制御部35における表示虚像の視認距離可変制御に関しては、後ほど説明する。
 次に、メモリ36は、前記各ブロックで生成された各種データ信号の少なくとも一部を一時格納しておく機能を備えているが、必ずしもHMD1内に配置することが必須ではなく、例えば同様の機能を持つメモリが携帯情報端末50側に配置されていてもよい。また前記ブロック31乃至36は、制御部37によってその動作を適宜制御されている。
 なお、表示虚像用情報信号受信部31から制御部37までの各ブロック(図中一点鎖線で囲まれた領域内のブロック)は電子回路のみで構成されたブロックであり、以下の説明では簡単のために、HMD駆動制御回路30として一括表記する。
 一方、虚像光生成部40,41は、それぞれ所定の虚像映像表示用ディスプレイおよび当該ディスプレイの駆動回路(ディスプレイドライバ)と所定の光学系から構成されており、それに続く虚像光伝送投影部10は、所定の光学部品によってのみ構成されており、虚像光を略同一の光学経路を経由して使用者の左右両眼に伝送、投影し使用者視野内の所定位置に所定の虚像映像を視認させる機能を備えている。なお、虚像光生成部40,41および虚像光伝送投影部10の具体的な構成例についても、後ほど説明する。
 図8は、図1および図7で示した本実施例におけるHMDの動作手順を示すフローチャートである。図8において、フロー開始後、まずステップ201(以降、図中ではステップをSと称し、S201のように表記する)では、携帯情報端末50より送信されたN個の表示虚像映像アイテム(S,S,:S)の各映像データを受信する。同時にステップ202では、外景撮影用の小型電子カメラ20等によって撮影した使用者眼前の外景映像から使用者視野内にある実対象物の各映像データを取得する。さらにステップ203では、アイトラッキングカメラ等によって使用者両眼瞳の映像データを取得する。
 次に、ステップ204で所定の番号変数nを1とし、次のステップ205では、ステップ202で取得した視野内実対象物の各映像データの中から、受信したn番目の表示虚像映像アイテムSnのリンク表示対象となる対象物を選定する。そして、次のサブプログラム300(S300)において、後述する手段にて当該対象物の実視認距離を検知し表示虚像映像アイテムSnの視認距離を確定する。さらに、次のサブプログラム400(S400)において、表示虚像映像アイテムSnの視認距離を可変制御するために本実施例で用いる所定の制御手段に必要なデータとして、遠距離基準虚像と近距離基準虚像の輝度按分データを算定する。この遠近基準虚像およびその輝度按分による虚像視認距離可変制御の詳細については、後ほど説明する。
 次に、ステップ206では、虚像映像表示用ディスプレイ上での表示虚像映像アイテムSnの表示位置や表示寸法などの映像表示用データを確定する。そして、ステップ207において、n=Nか否か判定し、否の場合は、n=n+1としてステップ205にフィードバックする。
 以上の処理フローを繰り返すことにより、受信したN個の表示虚像映像アイテム(S,S,:S)の全てについて、前記の映像表示用データと前記の遠近基準虚像輝度按分データを確定させる。
 その後、ステップ208において、確定した前記N個の表示虚像映像アイテム(S,S,:S)の各々に関する映像表示用データと遠近基準虚像輝度按分データを用いて、虚像映像表示用ディスプレイに入力する映像データ信号を生成し、次のステップ209において実際に虚像映像表示用ディスプレイを駆動して所定の映像表示を行う。そして、さらに所定の光学系を経由することで、前記ディスプレイから出射された映像光から所定の遠近基準虚像光を生成し、当該虚像光を使用者の両眼まで伝送、投影する。
 次に、図8のフローチャート中のサブプログラム300(S300)で実行される使用者視認対象物の実視認距離検知について、その具体的実施例を説明する。
 図9および図10は、当該実視認距離の検知手順および原理を説明するための模式図とフローチャートである。まずアイトラッキングカメラ等を用いて使用者100の両眼瞳を撮影し、その映像データから、図中に示す左右眼瞳中心102および103の基準位置(無限遠方注視時の瞳中心位置)104および105からのシフト量いわゆる輻輳量PおよびPと、その際の左右眼瞳中心間隔WLRを検出する。
 今、左右眼球の回動中心106および107から左右眼瞳中心102および103までの距離、すなわち眼球回動半径をRとすると、任意の視認対象物68上の注視点120に向けた使用者100の左右眼の視線傾斜角ααは、以下の関係式(1)、(2)で求まる。
   tan(α)=P/R  ---(1)
  tan(α)=P/R  ---(2)
 さらに、使用者100の左右瞳間隔の中心位置から前記注視点120までの距離、すなわち実視認距離Sは、以下の関係式(3)でも求まる。
   S=WLR/{tan(α)+tan(α)}=R×WLR/{P+P}---(3)
 このような処理手順を逐次実行することにより、使用者100が視認している対象物までの実視認距離をほぼリアルタイムで検知することができる。
 なお、図10のフローチャート中の処理ステップS301~S306における個々の処理手順については、前記説明と重複するので説明を省略する。
 また、前記眼球回動半径Rについては、所定のキャリブレーション処理(実視認距離が既知のキャリブレーション用対象物を用いて同様の検知手順を実施し、前記(1)~(3)式を逆に演算することで算定する)によって使用前に検知しておけばよい。
 次に、図7のブロック図における虚像光生成部40,41および虚像光伝送投影部10の具体的な構成と、当該虚像光生成部40,41および虚像光伝送投影部10によって、使用者視野内に重畳表示される虚像映像の視認距離可変制御の具体的実施例について説明する。
 図11は、図1および図7で示した本実施例におけるHMDの虚像光生成部40,41および虚像光伝送投影部10の概略構成を示した平面図である。図1で示したHMD1の眼鏡の弦に相当する部位内には、前記の駆動制御回路30と、それぞれ独立した虚像光生成部40および41(図中一点鎖線で囲われた部位)が配置されている。そして、この虚像光生成部40および41内には、それぞれ例えば液晶ディスプレイ等の映像ディスプレイからなる虚像映像表示用ディスプレイ42,43、当該ディスプレイを駆動するためのディスプレイ駆動回路44,45、虚像光生成用投影レンズ系46,47が配置されている。なお虚像映像表示用ディスプレイ42,43は、前記の液晶ディスプレイに限定されるものではなく、例えば有機エレクトロルミネッセンスディスプレイ(略称:OLED)等小型の映像ディスプレイであればどのような形態、構成のディスプレイであっても構わない。
 一方、虚像光伝送投影部10(図中点線で囲われた部位)には、図1でも示したように、積層された2枚の透明導光板4および5が配置されている。この導光板4,5は、所定の入射角で当該導光板に入射した光を、当該導光板の上下面での全反射の繰り返しによって当該導光板内部に閉じ込め、伝送させる機能を備えている。また、この導光板4,5にはそれぞれ、導光板内に光波を入射させる機能を備えた入射用ホログラム6および7と、導光板内を進行する光波を外部に出射させる機能を備えた出射用ホログラム8a、8および9a,9bが配置されている。このように入射用ホログラムと出射用ホログラムを具備した導光板については、HMD用虚像光伝送投影用光学デバイスとして既に公知であるので、これ以上の詳しい説明は省略する。
 本実施例では、HMD駆動制御回路30からの所定の指令信号もしくは制御信号を受け、虚像映像表示用ディスプレイ42,43で表示虚像に相当する映像を映し出して所定の映像光を生成する。
 そして、前記映像光のうち、ディスプレイ42で生成された第1の映像光は、まず、図12に示すように、虚像光生成用投影レンズ系46に入射しそこで所定の視認距離を有する第1の虚像光に変換される。そして次に、導光板4に配置された入射用ホログラム6を経て導光板4の内部に入射し、この導光板4内を図の右向きに進行後、出射用ホログラム8aおよび8bから出射してそれぞれ使用者100の両眼112aおよび112bに入射する。この時使用者100は、この第1の虚像光によって、透明な導光板4および5越しの所定視認距離Dの位置に虚像映像78を視認する。本明細書では以降この虚像映像78を遠距離基準虚像と記す。
 一方、前記ディスプレイ43で生成された第2の映像光は、図13に示すように、虚像光生成用投影レンズ系47に入射しそこで所定の視認距離を有する第2の虚像光に変換される。そして次に導光板5に配置された入射用ホログラム7を経て導光板5の内部に入射し、この導光板5内を図の左向きに進行後、出射用ホログラム9aおよび9bから出射して前記出射用ホログラム8aおよび8bから出射した虚像光と同様それぞれ使用者100の両眼112aおよび112bに入射する。この時使用者100は、この第2の虚像光によって、透明導光板4および5越しの所定視認距離D(D<D)の位置に虚像映像79を視認する。本明細書では以降この虚像映像79を近距離基準虚像と記す。
 つまり、使用者100から見て、透明導光板4および5越しの所定の視認距離Dの位置に遠距離基準虚像78が、そして視認距離D(D<D)の位置に近距離基準虚像79を正しく視認されるように、虚像光生成用投影レンズ系46と47の光学定数やレンズ位置が適切に設定されている。
 しかも、この遠距離基準虚像78と近距離基準虚像79は、図14に示すように、完全な射影関係で重畳視認されるように、虚像映像表示用ディスプレイ42および43での映像表示位置や虚像光生成用投影レンズ系46および47の虚像の視認倍率が適切に設定されている。具体的には、遠距離基準虚像78の視認倍率Mに対して、近距離基準虚像79の視認倍率M’は、 M’=(D/D)×Mとなるように設定される。
 さらに、この状態で、前記遠距離基準虚像78と近距離基準虚像79の輝度VおよびVを以下に示すような所定の関係式(4)、(5)に基づいて按分すると、使用者100はあたかも距離DとDの中間の任意距離Doの位置に虚像が視認されるかのように錯視してしまう。すなわち、
  V=V×(D-D)/(D-D) ---(4)
  V=V×(D-D)/(D-D) ---(5)
 なお、Vは、任意距離Doの位置に錯視される虚像の輝度。
 このような錯視現象は、一般に立体錯視現象(Depth-fused 3D:略称DFD)と呼ばれている。生理学の一事象であるDFDに関しては、既に公知の事象であるので、その生理学的な発生メカニズムなど詳細な説明は省略するが、このDFDを用いた立体視は、錯視による立体視として従来最も広く適用されている両眼視差方式に比べ、観測者の疲労感が少なくかつ正しく立体視できる視点領域(EyeBox)が広いという特徴を持つとされている。またこのDFDを用いた立体視では、遠近の基準虚像の輝度按分を制御するという比較的簡便な方法で、当該遠近基準虚像間の任意距離に錯視虚像の視認距離を適合させることができるので、本実施例のように、使用者実視認距離検知とその実視認距離に適合させた表示虚像視認距離の可変制御をほぼリアルタイムに実行するようなケースに適した手法である。そこで本実施例では、このDFDを用いた表示虚像視認位置の可変制御を実施している。
 すなわち、本実施例では、虚像表示装置として、使用者の視野内にある所定の対象物までの実視認距離を検知する視認距離検知部と、視認距離が異なる少なくとも2種類の基準虚像光を生成する機能を備えた虚像光生成部と、光波入出射用ホログラムを配置した透明な導光板によって基準虚像光を使用者の両眼まで伝送投影する機能を備えた虚像光伝送投影部と、検知実視認距離に応じて2種類の虚像光の映像輝度按分を制御することにより、その視認距離を所定の距離に可変制御する虚像視認距離制御部を設けた。
 これにより、本実施例によれば、DFDを用いた表示虚像視認位置の可変制御を行い、使用者視認虚像の視認距離を視認距離検知部で検知した実視認距離と適合させることで、使用者の生理的負担を軽減した良好な視認環境下での虚像表示装置およびそれを用いたHMDを提供できる。また、さらには装置の小型軽量化や低コスト化にも適した虚像表示装置を提供することができる。
 なお、このDFDを用いた表示虚像視認位置の可変制御は、前記したように、遠近の基準虚像の輝度按分を制御することで、当該遠近基準虚像間の任意距離に錯視虚像の視認距離を適合させる方式であるため、その可変制御範囲すなわちダイナミックレンジは、遠近両基準虚像間の視認距離範囲に限定される。そこで例えば、虚像光生成用投影レンズ系46および47を構成する個々の投影レンズのレンズ間隔を機械的に調整する等の手段を用いて遠近両基準虚像自体の視認距離を可変することにより、錯視虚像視認距離のダイナミックレンジを任意に拡大、縮小することも可能である。ただし、このような場合においても、遠近両基準虚像は常に完全な射影関係で重畳視認されるように、各ディスプレイでの映像表示位置や虚像光生成用投影レンズ系46および47の虚像投影倍率は適切にコントロールされていなければならない。
 また、DFDによる表示虚像視認位置可変制御のダイナミックレンジを決める基準虚像は、前記の遠距離基準虚像78と近距離基準虚像79の2つに限定されるものではない。前記のような虚像光生成部および虚像光伝送投影部を追加することで、最遠距離基準虚像と最近距離基準虚像の間の任意の視認距離に一つもしくは複数の中間距離基準虚像を設け、それら複数の基準虚像の中から任意に二つの基準虚像を選択し、それを改めて遠距離基準虚像78と近距離基準虚像79として前記したような輝度按分制御を行うことにより、表示虚像視認位置可変制御のダイナミックレンジを任意に可変することができる。
 さらに云えば、本実施例はDFDによる表示虚像視認位置可変制御に限定されるものではない。本実施例が適用可能な可変制御であればどのような手段であっても勿論構わない。例えば後述する第5の実施例では、従来広く適用されている両眼視差方式による表示虚像視認位置可変制御に適用した例も開示している。
 実施例1では、使用者視認対象物の実視認距離検知として、図9および図10で説明したような使用者両眼瞳の輻輳量のみから検知する手段を用いていたが、当然のことながら、実視認距離検知はこれに限定されるものではない。
 以下では、本実施例として、前記検知手段とは異なる新たな実視認距離検知について説明する。図15はその検知原理を説明するための模式図であり、図16はその検知処理手順をまとめたフローチャートである。まず図16を用いて検知処理手順から説明する。
 図16において、まず、ステップ351で、外景映像撮影用の小型電子カメラ20等によって撮影した使用者眼前の外景映像から視野内対象物の各映像データを取得する。次にステップ352では、取得した映像データから使用者視野内の各対象物について、そのユーザ基点相対位置を検出する。そしてさらに、ステップ353において、検出された前記相対位置から視野内各対象物のユーザ基点方位角(ユーザから対象物を注視した場合の見込み角)βを算出する。
 一方、同時に、ステップ354でアイトラッキングカメラ等によって撮影された使用者両眼瞳の撮影映像データを取得し、次のステップ355で、前記映像データより左右眼の瞳中心位置を検出する。そして、さらに次のステップ356で、左右眼の視線傾斜角α、α(図15参照)を算出する。なお、前記ステップ354からステップ356に至る手順は、図9および図10で説明した使用者実視認距離検知に関する実施例1におけるステップ301からステップ305までの手順と同様の手順である。
 本実施例では、次のステップ357において、前記手順で算出した左右眼の視線傾斜角α、αから、現在使用者が注視している視認対象物68上の注視点120に向けた使用者100の注視視線傾斜角γ(図15参照)を以下の関係式(6)を用いて算出する。
  tan(γ)=sin(α-α)/{cos(α+α)+cos(α-α)}  ---(6)
 次に、ステップ358において、前記の手順で算出された視野内対象物のユーザ基点方位角βと使用者の注視視線傾斜角γを比較し、βとγが一致する視野内対象物すなわち現在使用者が注視している対象物を特定する。そして、特定された前記注視対象物までの実効距離Sすなわち現時点における使用者の実視認距離をHMDに装備された測距用センサを用いて測距する。なお、この測距用センサとしては、図1で紹介した、いわゆるステレオカメラやTOFセンサあるいは超音波センサなど既存の測距用センサであればどのようなセンサを用いても構わない。
 ところで、これまで説明してきた実施例1、2は、あくまでHMD使用者の実視認距離を検知して表示虚像をその実視認距離に適合させることを目的としていたが、当然本実施例そのような目的に限定されるものではない。
 例えば、使用者が注視しているか否かに関わらず、使用者の視野内に見えている全ての対象物について使用者からの各実効距離を検知して、当該各対象物に関連づけて重畳表示される表示虚像個々の視認距離をそれぞれの関連実対象物の実効距離に適合させることにより、いわゆるAR(拡張現実)対応を実現させた表示手段であっても一向に構わない。
 さらに云えば、視野内各対象物の実効距離あるいは使用者実視認距離に全く関わりなく、任意の視認距離で虚像を表示させても構わないし、表示虚像の視認距離可変制御をリアルタイムに活用し、当該表示虚像の視認位置が任意視認距離間をダイナミックに変化するような表示方法であっても構わない。
 図17は、本実施例におけるHMDの虚像光生成部および虚像光伝送投影部の概略構成を示した平面図である。なお図17において、図11に示した構成要素と同じ構成要素には、同じ番号を付している。
 図11では、遠距離基準虚像光と近距離基準虚像光をそれぞれ別個に生成するために、HMD内に2個の独立した虚像光生成部40および41が配置されていた。また虚像光伝送投影部10は、積層配置された2枚の透明導光板4および5で構成され、前記虚像光生成部40および41のそれぞれで生成された虚像光は、前記2枚の導光板4、5のどちらか一方の導光板の中を伝送する構成になっていた。しかしながら、遠距離基準虚像光と近距離基準虚像光をそれぞれに別個の導光板内に伝送させるのではなく、単一の導光板内を共に伝送させるような構成であっても一向に構わない。また光学系を工夫することにより、前記したような独立した2個の虚像光生成部を1個に集約することも可能である。図17に示す本実施例は、このような目的を実現した実施例である。
 まず、図17に示すように、本実施例におけるHMD1は、図11に示した実施例1と異なり、単一の虚像光生成部40(図中一点鎖線で囲われた部位)のみを備えている。この虚像光生成部40は、虚像映像表示用ディスプレイ42とそれを駆動するためのディスプレイ駆動回路44、2つのレンズ群に分割された第1および第2の虚像光生成用投影レンズ系46aと46b、台形PBS(偏光ビームスプリッタ)49、そして所定の電気信号に基づき入射した光の偏光方向を互いに垂直なP偏光およびS偏光に適宜変換する機能を備えた偏光変換素子48などから構成されている。なお前記偏光変換素子としては、液晶ディスプレイで用いられる液晶型偏光変換素子など既存のデバイスを用いて構わない。
 また、本実施例では、虚像光伝送投影部10(図中点線で囲われた部位)内には単一の導光板4しか配置されていない。さらにこの導光板4には、2個の入射用ホログラム6および7と2個の出射用ホログラム8aおよび8bが設置されている。
 本実施例では、まず前記虚像映像表示用ディスプレイ42において、前記遠距離基準虚像光用の映像と近距離基準虚像光用の映像が所定のフレームレートごとに交互に切り替えて表示される。そして生成された映像光は、第1の虚像光生成用投影レンズ系46aに入射しそこで所定の視認距離を持った虚像光、例えば視認距離Dを持つ前記遠距離基準虚像光に変換されたのち、偏光変換素子48に入射する。この偏光変換素子48は前記ディスプレイ42で表示される遠距離基準虚像光用映像と近距離基準虚像光用映像の表示切り替えのタイミングに同期して入射光のP偏光またはS偏光に切り替えるように設定されている。
 今、前記偏光変換素子48により当該偏光変換素子48に入射した虚像光が、例えば、前記ディスプレイ42で遠距離基準虚像光用映像が表示されているタイミングではP偏光に変換され、逆に近距離基準虚像光用映像が表示されているタイミングではS偏光に変換されるように設定されているものとする。なお、以下では、前記P偏光に変換された虚像光を第1の虚像光、S偏光に変換された虚像光を第2の虚像光と記す。
 さて、偏光変換素子48によってP偏光(図中の両端矢印線で表される偏光方向)光に変換された第1の虚像光は、図18に示すように、台形PBS49の偏光分離膜49aを透過し、次に導光板4に配置された第1の入射用ホログラム6を経て導光板4の内部に入射する。そしてこの導光板4内を図の右方向に進行したのち出射用ホログラム8aおよび8bから出射し、それぞれ使用者100の両眼112aおよび112bに入射する。
 このとき、この第1の虚像光は、第1の虚像光生成用投影レンズ系46aによって前記遠距離基準虚像光相当の光として生成されているため、使用者100は、透明導光板4越しの所定視認距離Dの位置に、所定の視認倍率で遠距離基準虚像78を視認する。
 一方、前記偏光変換素子48によってP偏光に対して垂直な偏光方向であるS偏光光に変換された第2の虚像光は、図19に示すように、台形PBS49の偏光分離膜49aを反射後、さらに全反射面49bも反射し、第1の虚像光とは別の光路を辿り第2の虚像光生成用投影レンズ系46bに入射する。この第2の虚像光生成用投影レンズ系46bは、第1の虚像光生成用投影レンズ系46aによりいったん遠距離基準虚像光相当の光に生成された第2の虚像光を所定の視認距離D(D<D)を持つ近距離基準虚像光相当の光に再変換する機能を持つ。
 そして、近距離基準虚像光相当光に再変換された第2の虚像光は、次に導光板4に配置された第2の入射用ホログラム7を経て導光板4の内部に入射する。そしてこの導光板4内を前記第1の虚像光と同様に図の右方向に進行したのち出射用ホログラム8aおよび8bから出射してそれぞれ使用者100の両眼112aおよび112bに入射する。このときこの第2の虚像光は、前記したように虚像光生成用投影レンズ系46aと46bの両方を通過したことによって、前記近距離基準虚像光相当の虚像光に変換されているため、使用者100は、透明導光板4越しの所定視認距離Dの位置に、所定の視認倍率で近距離基準虚像79を視認する。
 すなわち、使用者100は、所定のフレームレートで切り替わる遠距離基準虚像78と近距離基準虚像79を交互に視認することになるが、使用者100は高速に切り替わる個々の虚像を識別することはできないので、あたかも遠距離基準虚像78と近距離基準虚像79を同時に視認しているように知覚する。したがって前記前記第1および第2の実施例と同様、立体錯視現象(DFD)を利用した表示虚像視認距離可変制御が可能となる。
 以上、本実施例で示した構成にすることにより、虚像光生成部および虚像光伝送投影部内の導光板を一つに集約、削減することができ、前記第1の実施例に比べHMDの小型化、軽量化、低コスト化に大きな効果が得られる。
 なお、当然のことながら、本実施例で述べた、遠/近距離基準虚像光とP/S偏光の関係性はそれぞれ全く逆であっても一向に構わない。この場合は、第1の虚像光生成用投影レンズ系46aは近距離基準虚像光に相当する光を生成し、第2の虚像光生成用投影レンズ系46bは当該光をさらに遠距離基準虚像光に相当する光に再変換する機能を持つことになる。
 図20は、本実施例におけるHMDの虚像光生成部および虚像光伝送投影部の概略構成を示した平面図である。なお、図20において、図11および図17で示した構成要素と同じ構成要素には、同じ番号を付している。
 実施例3では、単一の虚像映像表示用ディスプレイを用い、遠距離基準虚像光用映像と近距離基準虚像光用映像を所定のフレームレートで時分割に切り替えて表示し、併せて当該フレームレートに同期して生成虚像光の偏光方向も時分割切り替えを行うことで、使用者100にあたかも遠距離基準虚像と近距離基準虚像を同時に視認しているかのように知覚させていた。これに対して本実施例は、前記のような時分割表示では無く、遠近両基準虚像光を同時に使用者100の両眼112aおよび112bに投影する構成になっている。
 また、本実施例では、図17と同様、虚像光伝送投影部10(図中点線で囲われた部位)内には単一の導光板4しか配置されていない。そいて、この導光板4には、1個の入射用ホログラム6と2個の出射用ホログラム8aおよび8bが設置されている。
 本実施例では、虚像光生成部40内の虚像映像表示用ディスプレイ42は、その映像表示面が2つの表示エリア42aと42bに分割されており、各々の表示エリアで独立した映像、あるいは同じ映像ではあるがその表示アイテムごとに輝度按分が独立に制御できる映像を同時に表示できるようになっている。さらに各表示エリアの直後にはそれぞれ位相板もしくは偏光フィルタ11および12が配置されている。この位相板もしくは偏光フィルタ11および12は、前記ディスプレイ42の各分割表示エリア42aおよび42bから出射した映像光の偏光方向をそれぞれ所定の偏光方向に揃える機能を持つ。すなわち位相板もしくは偏光フィルタ11は、分割表示エリア42aから出射した第1の映像光をP偏光(図中の両端矢印線で表される偏光方向)光に揃え、偏光フィルタ12は、分割表示エリア42bを出射した第2の映像光をP偏光とは垂直のS偏光光に揃える。
 そこで、例えば、分割表示エリア42aで遠距離基準虚像光に相当する映像を、分割表示エリア42bで近距離基準虚像光に相当する映像を同時に表示する。
 まず、分割表示エリア42aを出射した第1の映像光は、位相板もしくは偏光フィルタ11を経て台形PBS49に入射するが、この第1の映像光は前記したように位相板もしくは偏光フィルタ11によって偏光方向がP偏光に揃えられているので、台形PBS49の偏光分離膜49aを透過して、第1の虚像光生成用投影レンズ系46aに入射する。そして、そこで視認距離Dを持つ遠距離基準虚像光が生成されたのち、導光板4に配置された入射用ホログラム6を経て導光板4の内部に入射する。そして、この導光板4内を図の右方向に進行したのち出射用ホログラム8aおよび8bから出射して、それぞれ使用者100の両眼112aおよび112bに入射する。
 一方、分割表示エリア42bを出射した第2の映像光は、位相板もしくは偏光フィルタ12と第2の虚像光生成用投影レンズ系46bを経て台形PBS49に入射し、その全反射面49bを反射したのち偏光分離膜49aに達する。このとき、この第2の映像光は、位相板もしくは偏光フィルタ12によって偏光方向がS偏光に揃えられているので、当該偏光分離膜49aを反射して前記第1の映像光の光路と合成されて同じく第1の虚像光生成用投影レンズ系46aに入射する。つまり、第2の映像光は、台形プリズム49を挟んで第2の虚像光生成用投影レンズ系46bと第1の虚像光生成用投影レンズ系46aの両方を通過することになり、このレンズ系の組み合わせにより視認距離Dを持つ近距離基準虚像光が生成される。そして、この近距離基準虚像光は、第1の映像光から生成された遠距離基準虚像光と同じく導光板4に配置された入射用ホログラム6を経て導光板4の内部に入射し、この導光板4内を図の右方向に進行したのち出射用ホログラム8aおよび8bから出射して、それぞれ使用者100の両眼112aおよび112bに入射する。
 すなわち、以上述べたような本実施例の構成により、使用者100は遠距離基準虚像光と近距離基準虚像光を同時に視認することができる。したがって、実施例1、2、3と同様、立体錯視現象(DFD)を利用した表示虚像視認距離可変制御が可能となる。
 本実施例で示した構成では、実施例3で示したような映像光の高速切り替え制御や比較的高価な偏光変換素子等の光学デバイス必要としないので、HMDの低コスト化にさらに大きな効果が得られる。
 なお当然のことながら、本実施例で述べた、遠/近距離基準虚像光とP/S偏光の関係性はそれぞれ全く逆であっても一向に構わない。この場合は、第1の虚像光生成用投影レンズ系46aが近距離基準虚像光に相当する光を生成し、当該第1の虚像光生成用投影レンズ系46aと第2の虚像光生成用投影レンズ系46bを組み合わせた投射レンズ系が遠距離基準虚像光に相当する光を生成する機能を持つことになる。
 実施例4では、表示虚像視認距離可変制御として立体錯視現象(DFD)を利用する例を示したが、ほぼ同様の光学構成で、表示虚像視認距離可変制御として従来最も一般的な両眼視差方式を用いたHMDも実現することができる。本実施例では、両眼視差方式のHMDに本願発明を適用した例を説明する。
 図21は、本実施例におけるHMDの虚像光生成部および虚像光伝送投影部の概略構成を示した平面図である。なお、図21においては、図20に示した構成要素と同じ構成要素には、同じ番号を付している。
 図21において、図20と同様の虚像光生成部および虚像光伝送投影部を有しているが、唯一異なる点が、出射用ホログラム8aと使用者100の右眼112a間の光路中に偏光フィルタ13を、出射用ホログラム8bと使用者100の左眼112b間の光路中に偏光フィルタ14を追加配置している点である。このうち、偏光フィルタ13は、例えば、P偏光(図中の両端矢印線で表される偏光方向)光を透過しS偏光を反射または吸収する機能を備え、逆に偏光フィルタ14は、S偏光光を透過しP偏光を反射または吸収する機能を備えている。ただし、当然のことながらP/S偏光の組み合わせは真逆であっても一向に構わない。
 このような構成にすることで、使用者100の右眼112aにはディスプレイ42の分割表示エリア42aの表示画像から生成された虚像光のみを入射、視認させ、左眼112bには分割表示エリア42bの表示画像から生成された虚像光のみを入射、視認させることができる。そこで、所望の視認距離に応じた両眼視差相当の映像アイテム表示位置シフトを持つ右眼用映像と左眼用映像をそれぞれ分割表示エリア42aおよび42bで表示することにより、両眼視差方式による表示虚像視認距離可変制御を実現することができる。なお両眼視差方式の具体的な手順や原理等に関しては、既に公知の内容であるので詳細な説明は省略する。
 ただし、図21に示した本実施例の光学構成では、ディスプレイ42の分割表示エリア42aを出射した第1の映像光と分割表示エリア42bを出射した第2の映像光の第1の虚像光生成用投影レンズ系46aに達するまでの光路長が異なる。(分割表示エリア42bを出射した第2の映像光の方が台形PBS49内の全反射面49bから偏光分離膜49aに至る光路分だけ長い。)このため第1の虚像光生成用投影レンズ系46aで生成される虚像についても、第1の映像光から生成される第1の虚像光と前記第2の映像光から生成される第2の虚像光ではその視認距離や視認映像倍率が異なってしまう。
 しかしながら、両眼視差方式で表示虚像視認距離可変制御を行う場合、右眼で視認する虚像映像と左眼で視認する虚像映像の視認距離と映像寸法は完全に一致していなければならない。そこで本実施例では、第2の虚像光生成用投影レンズ系46bに、光路長の差異に起因する第1の虚像光に対する第2の虚像光の視認距離や視認映像倍率の差異を補正する機能を持たせている。このような光学構成にすることにより、本実施例においても右眼で視認する虚像映像と左眼で視認する虚像映像の視認距離と映像寸法を一致させることができるので、両眼視差方式による表示虚像視認距離可変制御を実現できる。
 本実施例で示した光学構成を用いた両眼視差方式HMDは、従来の両眼視差方式HMDのように左右眼用に分離独立した2個の虚像光生成部すなわち映像表示用光学エンジンを搭載する必要が無いため、両眼視差方式HMDの小型化、軽量化、低コスト化に大きな効果が得られる。
 ところで本実施例では、図20に示した実施例4の光学構成を両眼視差方式HMDに適用した例を示したが、当然のことながら図17に示した実施例3の光学構成に対しても、偏光フィルタと全く同様のフィルタ設置により、同様の効果を持つ両眼視差方式HMDを実現することができる。
 図22は、本実施例におけるHMDの虚像光生成部および虚像光伝送投影部の概略構成を示した平面図である。なお図22においては、図20に示した実施例4および図21に示した実施例5における構成要素と同じ構成要素には、同じ番号を付している。
 本実施例においても、HMD1は図20に示した実施例4と同様の虚像光生成部および虚像光伝送投影部を有しているが、唯一異なる点が、導光板4の前面に所定の電気信号により遮光性を制御できる光学デバイスである遮光性制御可デバイス15を追加配置している点である。このような遮光性可制御の光学デバイスとしては、例えば液晶を用いたアクティブ偏光フィルタや調光ガラスがあるが、このような光学デバイスを導光板4の前面に配置することにより、この導光板4越しに使用者100の左右眼に飛び込んでくる外景光を任意に遮断し、使用者の眼前に表示虚像だけを明瞭に視認させることができる。このような機能を備えることで、一台のHMDで、実視認像と表示虚像を融合視認できるいわゆる拡張現実(AR)対応のHMDと、外の景色を遮断して表示虚像だけを視認するいわゆる仮想現実(VR)対応のHMDとを、使用者が任意に切り替えて使い分けることができ、HMDの汎用性拡大に大きな効果がある。
 なお、図22では、導光板4の全面をカバーするように遮光性制御可デバイス15を配置しているが、出射用ホログラム8aおよび8bの開口部およびその近傍のみをカバーするように配置しても構わない。
 これまで述べてきた各実施例は、主にHMDに関する実施例であったが、本実施例は、透明ディスプレイを備えた携帯情報端末または携帯型パーソナルコンピュータ(PC)16に本発明を適用した例である。
 図23は、本実施例における携帯型情報端末の使用シーンを示した概略斜視図である。図23に示すように、携帯端末または携帯PC16の本体内に、少なくとも実施例1乃至6のいずれかの実施例で開示した駆動制御回路および虚像光生成部を組み込み、かつシースルー型映像ディスプレイとして、図11、図17、図20乃至図22で示したような虚像光入出射用ホログラム付き導光板4等からなる虚像光伝送投影部10を装備している。このように携帯端末または携帯PCに本発明を適用することにより、頭部装着タイプのHMDとは異なり、携帯用デバイスによる拡張現実(AR)あるいは仮想現実(VR)を実現できる。
 図24は、本発明を車載用ヘッドアップディスプレイ(HUD)に適用した実施例を示している。この例では、車のダッシュボード内に組み込むかダッシュボード上に取り付けたHUD本体17に、少なくとも実施例1乃至6のいずれかの実施例で開示した駆動制御回路および虚像光生成部を組み込み、かつ、いわゆるHUDコンバイナあるいはHUD用シースルーディスプレイとして、前記の虚像光入出射用ホログラム付き導光板4等からなる虚像光伝送投影部10を装備している。
 なお、この虚像光伝送投影部10については、車両運転席全面に備えられているウィンドシールドガラスの一部または全面に装備するか、ウィンドシールドガラス自体を一部前記虚像光入出射用ホログラム付き導光板4で形成することにより、ウィンドシールドガラス自体にHUD用シースルー型ディスプレイの機能も具備させることができる。
1:HMD、4,5:導光板、6,7:入射用ホログラム、8a,8b,9a,9b:出射用ホログラム、10:虚像光伝送投影部、20:外景映像撮影用の小型電子カメラ、30:駆動制御回路、34:視認対象物実視認距離検知部、35:虚像視認距離制御部、40,41:虚像光生成部、42,43:虚像映像表示用ディスプレイ、46,47:虚像光生成用投影レンズ系、49:台形PBS(偏光ビームスプリッタ)、50:携帯情報端末、100:使用者

Claims (10)

  1.  所定の虚像映像を使用者の視野内に投影する機能を備えた虚像表示装置において、
    前記使用者が注視している視認対象物もしくは前記視野内にある複数の対象物のうちの少なくとも一部の対象物に関し前記使用者から該対象物までの実視認距離を検知する視認距離検知部と、
     互いに独立した複数の虚像光を生成する機能を備えた虚像光生成部と、
     前記虚像光を略同一の光学経路を経由して前記使用者の左右両眼に伝送、投影し前記使用者の視野内の所定位置に所定の虚像映像を視認させる機能を備えた虚像光伝送投影部と、
     前記複数の投影虚像光を用いて使用者に視認される虚像の視認距離を可変制御する機能を備えた虚像視認距離制御部と、
    を具備したことを特徴とする虚像表示装置。
  2.  請求項1に記載の虚像表示装置であって、
     前記視認距離検知部は、前記使用者の左右両眼瞳中心の輻輳量から該左右両眼の視線傾斜角を検知し該視線傾斜角から所定の関係式を用いて前記実視認距離を算定する機能を備えたことを特徴とする虚像表示装置。
  3.  請求項1に記載の虚像表示装置であって、
     前記視認距離検知部は、前記使用者の左右両眼瞳中心の輻輳量から検知された該左右両眼の視線傾斜角から前記使用者の視野内にある複数対象物の中から前記使用者が注視している対象物を特定し、所定の測距手段を用いて前記使用者から前記使用者の注視対象物まで実距離を検知する機能を備えたことを特徴とする虚像表示装置。
  4.  請求項1に記載の虚像表示装置であって、
     前記虚像視認距離制御部は、前記使用者の視認虚像の視認距離を前記視認距離検知部で検知した前記実視認距離と適合させる機能を備えたことを特徴とする虚像表示装置。
  5.  請求項1に記載の虚像表示装置であって、
     前記虚像光生成部および前記虚像光伝送投影部は、互いに異なる視認距離を持つ第1および第2の虚像光を前記使用者から見て正しく射影重畳視認されるように投影する機能を備え、前記虚像視認距離制御部は、所定の関係式を用いて前記2種類の虚像光各々の輝度按分を表示映像アイテムごとに可変制御することにより前記使用者の視認虚像の視認距離を前記第1および第2の虚像光の視認距離の間の任意距離に可変制御する機能を備えたことを特徴とする虚像表示装置。
  6.  請求項1に記載の虚像表示装置であって、
     前記虚像光生成部は、互いに独立した第1および第2の虚像光を生成し、
     前記虚像光伝送投影部は、前記第1の虚像光を前記使用者の右眼にのみ投影すると共に前記第2の虚像光を前記使用者の左眼にのみ投影する機能を備え、
     前記虚像視認距離制御部は、前記第1および第2の虚像光により前記使用者に視認される虚像映像内の各表示映像アイテムの位置を所定の視認距離に応じた両眼視差に相当する距離だけ相対的に面内シフトさせることにより前記虚像の視認距離を可変制御する機能を備えたことを特徴とする虚像表示装置。
  7.  請求項5に記載の虚像表示装置であって、
     前記第1および第2の虚像光は少なくとも互いに略垂直な偏光方向を有しており、前記虚像光生成部内に配置された偏光ビームスプリッタにより前記第1および第2の虚像光の光路が分離または合成される構成であることを特徴とする虚像表示装置。
  8.  請求項6に記載の虚像表示装置であって、
     前記第1および第2の虚像光は少なくとも互いに略垂直な偏光方向を有しており、前記虚像光生成部内に配置された偏光ビームスプリッタにより前記第1および第2の虚像光の光路が分離または合成される構成であることを特徴とする虚像表示装置。
  9.  請求項1に記載の虚像表示装置であって、
     前記虚像光伝送投影部は1枚もしくは積層された複数枚の導光板から構成されており、該複数枚の導光板には、それぞれ該導光板内に光波を入射させる機能を備えた入射用ホログラムと前記導光板内を進行する光波を外部に出射させる機能を備えた出射用ホログラムが具備されていることを特徴とする虚像表示装置。
  10.  所定の虚像映像を使用者の視野内に投影する機能を備えた虚像表示装置を有し、使用者の頭部に装着するヘッドマウントディスプレイ装置であって、
     前記虚像表示装置は、
    前記使用者が注視している視認対象物もしくは前記視野内にある複数の対象物のうちの少なくとも一部の対象物に関し前記使用者から該対象物までの実視認距離を検知する視認距離検知部と、
     互いに独立した複数の虚像光を生成する機能を備えた虚像光生成部と、
     前記虚像光を略同一の光学経路を経由して前記使用者の左右両眼に伝送、投影し前記使用者の視野内の所定位置に所定の虚像映像を視認させる機能を備えた虚像光伝送投影部と、
     前記複数の投影虚像光を用いて使用者に視認される虚像の視認距離を可変制御する機能を備えた虚像視認距離制御部と、
    を具備したことを特徴とするヘッドマウントディスプレイ装置。
PCT/JP2018/040257 2017-11-02 2018-10-30 虚像表示装置およびそれを用いたヘッドマウントディスプレイ WO2019088071A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/758,437 US11297304B2 (en) 2017-11-02 2018-10-30 Virtual image display device and head mounted display using same
CN201880070301.8A CN111295702A (zh) 2017-11-02 2018-10-30 虚像显示装置以及使用该装置的头戴式显示器
US17/584,647 US11991345B2 (en) 2017-11-02 2022-01-26 Virtual image display device and head mounted display using same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-212339 2017-11-02
JP2017212339A JP7036572B2 (ja) 2017-11-02 2017-11-02 虚像表示装置およびそれを用いたヘッドマウントディスプレイ

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US16/758,437 A-371-Of-International US11297304B2 (en) 2017-11-02 2018-10-30 Virtual image display device and head mounted display using same
US17/584,647 Continuation US11991345B2 (en) 2017-11-02 2022-01-26 Virtual image display device and head mounted display using same

Publications (1)

Publication Number Publication Date
WO2019088071A1 true WO2019088071A1 (ja) 2019-05-09

Family

ID=66333097

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/040257 WO2019088071A1 (ja) 2017-11-02 2018-10-30 虚像表示装置およびそれを用いたヘッドマウントディスプレイ

Country Status (4)

Country Link
US (2) US11297304B2 (ja)
JP (2) JP7036572B2 (ja)
CN (1) CN111295702A (ja)
WO (1) WO2019088071A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114830012A (zh) * 2019-12-05 2022-07-29 株式会社小糸制作所 图像显示装置
WO2023153025A1 (ja) * 2022-02-10 2023-08-17 パナソニックIpマネジメント株式会社 画像表示装置

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017064797A1 (ja) * 2015-10-15 2017-04-20 日立マクセル株式会社 情報表示装置
JP6987346B2 (ja) * 2018-01-18 2021-12-22 マクセル株式会社 ウェアラブル装置およびこれに用いるバッテリーと給電システム
JP7198277B2 (ja) * 2018-05-15 2022-12-28 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイ、画像表示方法およびコンピュータプログラム
JP7349808B2 (ja) 2019-03-20 2023-09-25 任天堂株式会社 画像表示システム、画像表示プログラム、画像表示装置、および画像表示方法
JP7272040B2 (ja) * 2019-03-25 2023-05-12 セイコーエプソン株式会社 装着型表示装置
US11137607B2 (en) 2019-06-28 2021-10-05 Canon Kabushiki Kaisha Image capturing and display apparatus and wearable device
US20220343816A1 (en) * 2019-11-26 2022-10-27 Telefonaktiebolaget Lm Ericsson (Publ) Supply of multi-layer extended reality images to a user
US11816757B1 (en) * 2019-12-11 2023-11-14 Meta Platforms Technologies, Llc Device-side capture of data representative of an artificial reality environment
KR20220008118A (ko) * 2020-07-13 2022-01-20 삼성전자주식회사 가상 객체들의 밝기를 다르게 표시하는 방법 및 장치
CN114442319A (zh) * 2020-11-05 2022-05-06 群创光电股份有限公司 影像的显示方法
JP2022086237A (ja) * 2020-11-30 2022-06-09 セイコーエプソン株式会社 虚像表示装置
CN115128802A (zh) * 2021-03-24 2022-09-30 群创光电股份有限公司 影像的显示方法
WO2024040430A1 (en) * 2022-08-23 2024-02-29 Qualcomm Incorporated Method and apparatus to extend field of view of an augmented reality device

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000261832A (ja) * 1999-03-08 2000-09-22 Nippon Telegr & Teleph Corp <Ntt> 三次元表示方法およびヘッドマウントディスプレイ装置
JP2001021853A (ja) * 1999-07-06 2001-01-26 Fuji Xerox Co Ltd 映像表示装置
JP2005107038A (ja) * 2003-09-29 2005-04-21 Brother Ind Ltd 網膜走査表示装置
JP2005338346A (ja) * 2004-05-26 2005-12-08 Casio Comput Co Ltd 液晶表示装置
JP2008533507A (ja) * 2005-02-10 2008-08-21 ラマス リミテッド 特に視力強化光学系のための基板案内光学装置
JP2010271565A (ja) * 2009-05-22 2010-12-02 Seiko Epson Corp 頭部装着型表示装置
JP2011002778A (ja) * 2009-06-22 2011-01-06 Hoya Corp 映像表示装置、及びヘッドマウントディスプレイ
JP2011028141A (ja) * 2009-07-29 2011-02-10 Shimadzu Corp 表示装置
JP2015055638A (ja) * 2013-09-10 2015-03-23 テレパシー インク 画像の視認距離を調整できるヘッドマウントディスプレイ
JP2015099184A (ja) * 2013-11-18 2015-05-28 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
WO2016203654A1 (ja) * 2015-06-19 2016-12-22 日立マクセル株式会社 ヘッドマウントディスプレイ装置およびそれを用いた視覚補助方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3877080B2 (ja) 1996-05-24 2007-02-07 オリンパス株式会社 立体視ディスプレイ装置
US6525699B1 (en) 1998-05-21 2003-02-25 Nippon Telegraph And Telephone Corporation Three-dimensional representation method and an apparatus thereof
JP3790226B2 (ja) * 2003-03-27 2006-06-28 日本電信電話株式会社 三次元表示装置
IL166799A (en) 2005-02-10 2014-09-30 Lumus Ltd Aluminum shale surfaces for use in a conductive substrate
JP5402293B2 (ja) * 2009-06-22 2014-01-29 ソニー株式会社 頭部装着型ディスプレイ、及び、頭部装着型ディスプレイにおける画像表示方法
US20130278631A1 (en) * 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
JP6097919B2 (ja) 2011-09-01 2017-03-22 パナソニックIpマネジメント株式会社 立体視映像のための画像表示システム及び3次元表示装置
WO2014125789A1 (en) 2013-02-14 2014-08-21 Seiko Epson Corporation Head mounted display and control method for head mounted display
JP6369005B2 (ja) 2013-10-25 2018-08-08 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
EP3149939A4 (en) * 2014-05-30 2018-02-21 Magic Leap, Inc. Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
JP6341759B2 (ja) 2014-05-30 2018-06-13 キヤノン株式会社 頭部装着型情報表示装置及び頭部装着型情報表示装置の制御方法
US10663740B2 (en) * 2014-06-09 2020-05-26 Mentor Acquisition One, Llc Content presentation in head worn computing
US10852838B2 (en) * 2014-06-14 2020-12-01 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
WO2016105521A1 (en) 2014-12-23 2016-06-30 Meta Company Apparatuses, methods and systems coupling visual accommodation and visual convergence to the same plane at any depth of an object of interest
US10162412B2 (en) * 2015-03-27 2018-12-25 Seiko Epson Corporation Display, control method of display, and program
JP6707809B2 (ja) 2015-03-27 2020-06-10 セイコーエプソン株式会社 表示装置、表示装置の制御方法、及び、プログラム
US20180190011A1 (en) * 2017-01-04 2018-07-05 Osterhout Group, Inc. Content rendering systems for head-worn computers
WO2017179054A1 (en) * 2016-04-10 2017-10-19 Everysight Ltd. Binocular wide field of view (wfov) wearable optical display system
US10139644B2 (en) * 2016-07-01 2018-11-27 Tilt Five, Inc Head mounted projection display with multilayer beam splitter and color correction
US10353213B2 (en) * 2016-12-08 2019-07-16 Darwin Hu See-through display glasses for viewing 3D multimedia
JP2018169428A (ja) * 2017-03-29 2018-11-01 セイコーエプソン株式会社 画像表示装置
GB201709199D0 (en) * 2017-06-09 2017-07-26 Delamont Dean Lindsay IR mixed reality and augmented reality gaming system
JP2019082531A (ja) * 2017-10-30 2019-05-30 ソニー株式会社 頭部装着型ディスプレイ

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000261832A (ja) * 1999-03-08 2000-09-22 Nippon Telegr & Teleph Corp <Ntt> 三次元表示方法およびヘッドマウントディスプレイ装置
JP2001021853A (ja) * 1999-07-06 2001-01-26 Fuji Xerox Co Ltd 映像表示装置
JP2005107038A (ja) * 2003-09-29 2005-04-21 Brother Ind Ltd 網膜走査表示装置
JP2005338346A (ja) * 2004-05-26 2005-12-08 Casio Comput Co Ltd 液晶表示装置
JP2008533507A (ja) * 2005-02-10 2008-08-21 ラマス リミテッド 特に視力強化光学系のための基板案内光学装置
JP2010271565A (ja) * 2009-05-22 2010-12-02 Seiko Epson Corp 頭部装着型表示装置
JP2011002778A (ja) * 2009-06-22 2011-01-06 Hoya Corp 映像表示装置、及びヘッドマウントディスプレイ
JP2011028141A (ja) * 2009-07-29 2011-02-10 Shimadzu Corp 表示装置
JP2015055638A (ja) * 2013-09-10 2015-03-23 テレパシー インク 画像の視認距離を調整できるヘッドマウントディスプレイ
JP2015099184A (ja) * 2013-11-18 2015-05-28 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
WO2016203654A1 (ja) * 2015-06-19 2016-12-22 日立マクセル株式会社 ヘッドマウントディスプレイ装置およびそれを用いた視覚補助方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114830012A (zh) * 2019-12-05 2022-07-29 株式会社小糸制作所 图像显示装置
EP4071542A4 (en) * 2019-12-05 2023-01-25 Koito Manufacturing Co., Ltd. IMAGE DISPLAY DEVICE
WO2023153025A1 (ja) * 2022-02-10 2023-08-17 パナソニックIpマネジメント株式会社 画像表示装置

Also Published As

Publication number Publication date
JP2019086556A (ja) 2019-06-06
JP7431267B2 (ja) 2024-02-14
CN111295702A (zh) 2020-06-16
JP2022082551A (ja) 2022-06-02
US20220150466A1 (en) 2022-05-12
US11297304B2 (en) 2022-04-05
US11991345B2 (en) 2024-05-21
JP7036572B2 (ja) 2022-03-15
US20200252602A1 (en) 2020-08-06

Similar Documents

Publication Publication Date Title
JP7431267B2 (ja) 虚像表示装置およびそれを用いたヘッドマウントディスプレイ
JP7329105B2 (ja) ディスプレイシステムのための深度ベース中心窩化レンダリング
JP3984907B2 (ja) 画像観察システム
US20190243147A1 (en) Polarization-sensitive pancake optics
AU2013361148B2 (en) Auto-stereoscopic augmented reality display
JP7474317B2 (ja) 同心ライトフィールドおよび単眼から両眼への混成を提供するディスプレイシステム
CN109997070B (zh) 包括调制叠层的近眼显示***
US10282912B1 (en) Systems and methods to provide an interactive space over an expanded field-of-view with focal distance tuning
US10623722B2 (en) Head-up multiplex display with redirection optic
EP3759908A1 (en) Superstereoscopic display with enhanced off-angle separation
WO2020040808A1 (en) Near-eye display (ned) system and method using flexible reflector
JP2011085830A (ja) 映像表示システム
JP6577421B2 (ja) 表示装置
US10911743B2 (en) Field of view expansion by color separation
US20220163816A1 (en) Display apparatus for rendering three-dimensional image and method therefor
Hua et al. Near-eye displays: state-of-the-art and emerging technologies
US20230367125A1 (en) Balancing external light and generated image light in displays
WO2023220301A1 (en) Balancing external light and generated image light in displays
JP2021152564A (ja) 虚像表示装置及び光学ユニット
WO2023220282A1 (en) Waveguide with tunable bulk reflectors
CN115202047A (zh) 光学单元以及使用该光学单元的头戴式显示装置
CN114578554A (zh) 实现虚实融合的显示设备
JP2002077946A (ja) 立体画像を表示する装置および方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18873930

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18873930

Country of ref document: EP

Kind code of ref document: A1