WO2022255424A1 - 映像表示装置 - Google Patents

映像表示装置 Download PDF

Info

Publication number
WO2022255424A1
WO2022255424A1 PCT/JP2022/022391 JP2022022391W WO2022255424A1 WO 2022255424 A1 WO2022255424 A1 WO 2022255424A1 JP 2022022391 W JP2022022391 W JP 2022022391W WO 2022255424 A1 WO2022255424 A1 WO 2022255424A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
observer
vehicle
image data
unit
Prior art date
Application number
PCT/JP2022/022391
Other languages
English (en)
French (fr)
Inventor
勇志 新谷
宏道 定本
康 中島
昌彦 稲見
Original Assignee
京セラ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京セラ株式会社 filed Critical 京セラ株式会社
Priority to EP22816169.1A priority Critical patent/EP4328654A1/en
Priority to JP2023525900A priority patent/JPWO2022255424A1/ja
Publication of WO2022255424A1 publication Critical patent/WO2022255424A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/363Image reproducers using image projection screens
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/211Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays producing three-dimensional [3D] effects, e.g. stereoscopic images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23Head-up displays [HUD]
    • B60K35/232Head-up displays [HUD] controlling the projection distance of virtual images depending on the condition of the vehicle or the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23Head-up displays [HUD]
    • B60K35/235Head-up displays [HUD] with means for detecting the driver's gaze direction or eye points
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80Arrangements for controlling instruments
    • B60K35/81Arrangements for controlling instruments for controlling displays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/346Image reproducers using prisms or semi-transparent mirrors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/383Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20Optical features of instruments
    • B60K2360/21Optical features of instruments using cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20Optical features of instruments
    • B60K2360/23Optical features of instruments using reflectors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20Optical features of instruments
    • B60K2360/33Illumination features
    • B60K2360/347Optical elements for superposition of display information
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0132Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera

Definitions

  • the present disclosure relates to a video display device capable of guiding the fixation points of the left and right eyes of an observer such as a vehicle driver, for example, to an appropriate position where the projected video can be perceived as a stereoscopic video.
  • the video display device is an image capturing unit outside the vehicle that captures an image of the surroundings of the vehicle; a gaze point detection unit that detects the gaze point position of an observer seated on a vehicle seat; A screen provided in a shielding part of the vehicle that blocks the observer's view outside the vehicle; a projector that projects a stereoscopic image onto a screen; a first video data generation unit that generates first video data; a second image data generation unit that generates second image data based on data output from the outside imaging unit; a switching unit for switching between the first video data and the second video data to be projected on the screen; a spatial image forming unit, Store video data of a predetermined spatial image, correspond to the output of the switching unit, displaying a spatial image at a predetermined gaze point position when projecting the first image data on the screen by the switching unit; A space for displaying an aerial image at a position corresponding to the point of gaze detected by the point-of-regard detection unit and allowing an observer to see the image
  • FIG. 1 Schematic of three-dimensional display of meter content, which is predetermined video data, by the stereoscopic video display device 2 of the video display device 1 of the embodiment of the present disclosure, and three-dimensional display of the spatial image M1 in the vehicle by the in-vehicle spatial image display device 3.
  • 1 is a diagram showing a typical configuration;
  • FIG. 1 is a simplified plan view of vehicle 10.
  • FIG. 1 is a simplified side view of vehicle 10;
  • FIG. 1 is a simplified horizontal sectional view showing an observer 5, a retroreflective screen 21 arranged in front of the observer 5, and projectors 22L and 22R in a vehicle interior of a vehicle 10.
  • FIG. 2 is an enlarged cross-sectional view showing a configuration of part of the retroreflective screen 21.
  • Meter content video data from the stereoscopic video display device 2 is projected from the projectors 22L and 22R onto the retroreflective screen 21, and the projected video data is displayed to the observer 5 together with the spatial image M1 from the in-vehicle spatial image display device 3.
  • the transparent image data by the stereoscopic image display device 2 is projected onto the retroreflective screen 21 from the projectors 22L and 22R, and the projected transparent image data is observed together with the spatial image M2 by the external spatial image display device 4.
  • 5 is a horizontal sectional view showing a simplified state observed by a person 5;
  • FIG. 4 is a horizontal sectional view schematically showing a state in which image data projected onto a retroreflective screen 21 from projectors 22L and 22R of a stereoscopic image display device 2 cannot be viewed as a stereoscopic image by an observer 5.
  • FIG. 2 is a perspective view showing a state in which image data 15 of meter content is projected and stereoscopically displayed by a retroreflective screen 21 provided on a dashboard 11 of a vehicle 10.
  • FIG. FIG. 3 is a perspective view showing a state in which transparent image data is projected by a retroreflective screen 21 provided on a dashboard 11 of a vehicle 10 and stereoscopically displayed.
  • 1 is a block diagram showing an electrical configuration of an embodiment according to the present disclosure;
  • FIG. 7 is a flowchart for explaining the operation of a processing section 81 of a display control section 75; 14 is a flowchart for further explaining a part of the operation of step s4 of FIG. 13 by the processing unit 81 of the display control unit 75.
  • FIG. 14 is a flowchart for further explaining part of the operation of step s8 of FIG. 13 by the processing unit 81 of the display control unit 75;
  • FIG. A flow chart for explaining the operation of calculating the coordinates of the position where the aerial image M2 is formed when the processing unit 80 in the second image data generation unit 77 generates each transparent image data with parallax for the left and right eyes.
  • is. 4 is a simplified plan view for explaining the positions where left and right transparent image data with parallax are projected onto the retroreflective screen 21.
  • FIG. FIG. 4 is a simplified plan view illustrating virtual reference planes 100A-100C used to calculate and obtain the coordinates of the position where the aerial image M2 is formed according to the present disclosure;
  • FIG. 11 is a simplified plan view for explaining the operation of a second image data generation unit 77 for setting the coordinates of the position where the aerial image M2 is formed;
  • FIG. 11 is a plan view for explaining conditions for defining an area within the XY plane of the appropriate range 111;
  • FIG. 11 is a plan view for explaining conditions for defining a region within the YZ plane of the appropriate range 111;
  • FIG. 10 is a diagram showing a schematic configuration of an image display device 7 according to another embodiment of the present disclosure;
  • a video display device that utilizes a transparency technology that allows a user to perceive a projected video image as if the outside can be seen through an obstacle.
  • a projector is arranged at a position conjugate with the observer's viewpoint, and two different images, a left-eye image and a right-eye image having parallax between the left eye and the right eye, are displayed. are condensed at the same time, and two different images with parallax for the left eye and the right eye are perceived as a stereoscopic image with a sense of depth (see Patent Documents 1 and 2, for example).
  • a retroreflective screen, display means for displaying an image, and light from the display means are projected to project an enlarged image of the image displayed on the display means onto the screen.
  • the projection optical system to be formed, and the projection optical system and the screen are arranged close to the screen, allowing the light from the projection optical system to pass therethrough, and from each point of the display means included in the light from the projection optical system magnifying means such as a diffraction element that magnifies the luminous flux in two orthogonal directions with different magnification ratios.
  • Patent Document 2 there are an exterior camera that captures images of the surroundings of the vehicle, viewpoint recognition means that recognizes the spatial position of the viewpoint of the driver seated in the driver's seat, and a driver's visual field. Peripheral image data obtained by the camera outside the vehicle is used by the viewpoint recognition means to recognize the image of the scenery outside the vehicle that should be seen by the driver's eyes if the obstructing objects such as side pillars, doors, and dashboard are transparent.
  • An image generating means for processing the image according to the result, and an organic EL (Electro Luminescence) display for displaying the two-dimensional image generated by the image generating means at the position of the shield.
  • organic EL Electro Luminescence
  • the image on the display does not include information in the depth direction. Therefore, it is difficult to grasp the sense of distance from the projected image, and there is a risk of misjudging the distance to an object outside the vehicle that is obstructed by an obstacle.
  • the driver's gaze point is not correct, the image displayed at the position of the obstacle cannot be seen as an image connected to the scenery through the windshield, which is the windshield, etc., and the driver can correctly recognize objects outside the vehicle. There are things that are not enough to do.
  • FIG. 1 shows a stereoscopic image display device 2 of an image display device 1 according to an embodiment of the present disclosure that three-dimensionally displays meter content, which is predetermined image data, and an in-vehicle spatial image display device 3 that displays a spatial image M1 inside the vehicle.
  • FIG. 2 is a schematic configuration in which a stereoscopic image display device 2 of the image display device 1 according to the embodiment of the present disclosure displays a landscape outside the vehicle in a three-dimensional manner, and a spatial image M2 is displayed outside the vehicle by an exterior spatial image display device 4. It is a figure which shows.
  • the image display device 1 of the present embodiment is mounted on a vehicle 10 and displays an image to an observer 5 riding in the vehicle, especially a driver.
  • the meter content is, for example, a dashboard that displays the running speed of the vehicle 10, the rotational speed of the internal combustion engine, and the like.
  • the 3D image display device 2 projects image data that causes the observer 5 to perceive a 3D image on a retroreflective screen 21 provided on the dashboard 11 of the vehicle 10, and projectors 22L are arranged corresponding to the left and right eyes. , 22R.
  • the suffixes L, R, etc. attached to the reference numerals are omitted, and only the numerals are used collectively.
  • a dashboard 11 is provided under a transparent windshield 12 so as to face the interior of the vehicle, and is a front panel for the observer 5 .
  • the windshield 12 may be the transparent windshield of a typical vehicle, with a wedge-shaped transparent windshield between the glass layers to prevent misalignment of light due to internal and external reflections from causing double images to the observer 5 .
  • An intermediate film may be sandwiched, or an antireflection coating film may be formed on either the inner or outer surface so as not to reflect.
  • the in-vehicle spatial image display device 3 includes a display unit 41 and an aerial optical coupling element 43 that forms an optical system 42 together with the windshield 12 .
  • the display unit 41 of FIG. 1 includes a transmissive liquid crystal display element 44 for displaying the image data of the spatial image M1 when the stereoscopic image display device 2 stereoscopically displays the meter content, which is predetermined image data, and its liquid crystal display element. It is a projector realized by a projector 45 or the like that illuminates 44 from behind, and has a light-emitting display surface 46 .
  • the display unit 41 having the light-emitting display surface 46 may be realized by an organic EL (Electro Luminescence) display, a light-emitting display element such as a light-emitting diode, or the like.
  • Image data for the aerial image M1 of the light-emitting display surface 46 passes from the input side (left side in FIG. 1) of the aerial optical coupling element 43 to the output side (upper side in FIG. 1) to the cabin side of the windshield 12.
  • the optical system 42 forms a real image of the aerial image M1 at a predetermined position, which the observer 5 can visually recognize.
  • a predetermined position formed by forming the aerial image M1 corresponds to the position of the predetermined gaze point of the observer 5, and is a position where the observer 5 can see the stereoscopic video of the meter content.
  • the imaging position of this aerial image M1 can be set by the mutual arrangement of the light emitting display surface 46, the aerial optical coupling element 43, the reflecting concave surface of the windshield 12, etc., and each of these elements 46, 43, etc. can be moved by the drive unit 93 to a predetermined position in the depth Y direction.
  • the vehicle 10 is provided with a transparent windshield 12 having a concave surface on the passenger compartment side in front of the driver's seat 13, which is a seat, and the aerial image display device 3 is provided with a projector 22L for meter content.
  • the display unit 41 having the light emitting display surface 46 for displaying the image data of the aerial image M1 from the first image data generating unit 71 and the image displayed on the light emitting display surface 46, as described above. are reflected by the concave surface of the windshield 12 and imaged as a real image viewable by the observer 5 .
  • the aerial optical coupling element 43 is, for example, an optical element that causes bending of light rays when light passes through an element surface that constitutes one plane, and is arranged perpendicular to the element surface and is perpendicular to each other.
  • a plurality of unit optical elements functioning as dihedral corner reflectors that reflect light by two mirror surfaces are arranged. The light is reflected twice on each of the two mirror surfaces, so that an image of the light-emitting display surface is formed at a plane-symmetrical position of the light-emitting display surface with respect to the element surface. It is configured so that the imaged double reflection image can be observed from an angled viewpoint.
  • each unit optical element is a thin flat plate having a side of 100 ⁇ m and a thickness of 100 ⁇ m. As an example, tens of thousands to hundreds of thousands of such unit optical elements are provided on a 5 cm square substrate.
  • the vehicle exterior spatial image display device 4 includes a display unit 41 and two concave mirrors 51 and 52 that form an optical system 48 together with the windshield 12 .
  • the display unit 41 in FIG. 2 includes a liquid crystal display element 53 that displays the image data of the spatial image M2 and light from behind the liquid crystal display element 43 when the transparent image data is stereoscopically displayed by the stereoscopic image display device 2. It is a projector realized by a light projector 54 and the like, and has a light emitting display surface 55 . This display is similar to the display 41 of FIG. 1 described above.
  • the image data for the aerial image M2 on the light-emitting display surface 55 passes through the concave mirrors 51 and 52, is reflected by the concave surface of the windshield 12 toward the passenger compartment, and is displayed so that the observer 5 can visually recognize it.
  • the virtual image of the aerial image M2 corresponds to the detected fixation point of the observer 5 outside the vehicle through the windshield 12, and the observer 5 can see the stereoscopic image of the transparent image data.
  • the aerial image M2 is formed at a visible position, and the observer 5 can visually recognize this aerial image M2.
  • the position where this aerial image M2 is formed can be set by the mutual arrangement of the light emitting display surface 55, the concave mirrors 51 and 52, and the reflecting concave surface of the windshield 12.
  • the vehicle 10 is provided with a transparent windshield 12 having a concave surface on the passenger compartment side in front of the driver's seat 13, and the external spatial image display device 4 is a projector for transmitting transparent image data.
  • a display unit 41 having a light emitting display surface 55 that displays an image of the aerial image M2 when projected by 22L and 22R, and concave mirrors 51 and 52. The image displayed on the light emitting display surface 55 is displayed on the concave mirrors 51 and 52. and the concave surface of the windshield 12 to form a virtual image that can be seen by the observer 5 .
  • the aerial images M1 and M2 may be figures, symbols, characters such as letters, or the like, or may be the same two-dimensional image, and the viewing angle is narrowed.
  • the observer 5 by causing the observer 5 to see the aerial images M1 and M2, (1) the viewpoint of the observer 5, and thus the head, is positioned in a position within a specific range in which the stereoscopic image can be perceived; (2) it is easy to move the gaze point of the observer, that is, the focal point on the retina of both the left and right eyes of the observer 5, to a position suitable for viewing a stereoscopic image. As a result, it is easy for the observer 5 to perceive different images with parallax as stereoscopic images with a sense of depth.
  • the position of the point of gaze of the observer 5 described above in the present disclosure includes positions related to the point of gaze, such as the position of the observer's 5 point of view and the head, the center position of the left and right eyes, the direction of the line of sight, etc. and may be represented by three-dimensional or horizontal two-dimensional coordinates.
  • image data outside the vehicle that can be perceived as transparent is realized with stereoscopic images with parallax.
  • the gaze point of the observer 5, that is, the position to be focused on is determined by the amount of parallax between the left and right eyes.
  • the display positions of the aerial images M1 and M2 are set from parallax amount information determined when the transparent image is generated. The same applies to the meter content displayed on the retroreflective screen 21 on the dashboard 11, and the display positions of the aerial images M1 and M2 are set based on the parallax amount information.
  • this image display device 1 when the point of gaze of the observer 5 is at a position where the projection image data can be perceived as a stereoscopic image, the spatial images M1 and M2 can be visually recognized, and the point of gaze of the observer 5 is projected.
  • the spatial images M1 and M2 cannot be visually recognized. Therefore, the observer 5 can easily recognize whether or not the point of gaze is at a position where the stereoscopic image can be seen by whether or not the spatial images M1 and M2 can be seen, thereby increasing the size and complexity of the apparatus. In other words, it is possible to indirectly guide the gaze point position of the observer 5 to an appropriate position at which the stereoscopic image can be perceived.
  • the aerial images M1 and M2 do not require an operation to switch display/non-display, when the observer 5 is the driver of the vehicle 10, the safety of driving is not impaired, and the aerial images M1 and M2 are projected onto the retroreflective screen. It is possible to easily and reliably perceive the scenery outside the vehicle that is obstructed by shielding objects such as the dashboard 11, etc., as a three-dimensional image. can.
  • FIG. 3 is a simplified plan view of the vehicle 10, and FIG. 4 is a simplified side view of the vehicle 10.
  • FIG. The observer 5 sits on the driver's seat 13 .
  • An exterior camera 61 which is an exterior imaging unit, is provided at the front of the vehicle 10.
  • the exterior camera 61 captures the scenery around the vehicle 10 , particularly the scenery in front of the vehicle 10 that the observer 5 can see through the windshield 12 and the scenery that the observer 5 can see through the dashboard 11 .
  • the exterior camera 61 has a configuration for outputting video data with binocular parallax for binocular stereoscopic viewing corresponding to the left and right eyes of the observer 5, and may be realized by, for example, a stereo camera.
  • the exterior camera 61 may be realized by a camera that outputs a single image data. In this case, the image data with binocular parallax is obtained by computing the single image data.
  • An in-vehicle camera 62 that takes an image of the face of the observer 5 from near the front is provided in the interior of the vehicle 10, for example, on the ceiling. From the output of the in-vehicle camera 62, the eye-tracking information of the observer 5, such as the fixation point, viewpoint, line of sight, etc., can be detected by computation.
  • the viewpoint may be the center of each crystalline lens facing outward from the iris, the position of the head, or the center position of both the left and right eyes.
  • the line of sight also known as the visual axis, is a straight line that passes through the center of each crystalline lens that opens outward from the iris and the central fovea, which provides the best visual acuity.
  • the point of gaze is the position of the intersection within the virtual plane containing the lines of sight of the left and right eyes.
  • Each coordinate system of the vehicle exterior camera 61 and the vehicle interior camera 62 is the same.
  • FIG. 5 is a simplified horizontal cross-sectional view showing the observer 5 in the cabin of the vehicle 10, the retroreflective screen 21 arranged in front of the observer 5, and the projectors 22L and 22R.
  • the left and right projectors 22L and 22R include transmissive liquid crystal display elements 31L and 31R for displaying the image data of the meter content image data and the transparent image data in order to stereoscopically display the meter content image data and the transparent image data by the stereoscopic image display device 2, and their liquid crystals.
  • each of these left and right projectors 22L and 22R has an optical axis parallel to the Y axis in the XY plane, is arranged symmetrically in the YZ plane, and has the same configuration.
  • the projection lenses 33L, 33R of the projectors 22L, 22R are arranged at positions conjugate with the viewpoints of the left and right eyes EL, ER. Image data for the left and right eyes EL and ER are projected onto the retroreflective screen 21 so that the observer 5 can view the image stereoscopically.
  • FIG. 6 is a cross-sectional view showing an enlarged configuration of a portion of the retroreflective screen 21.
  • the retroreflective screen 21 has a retroreflective material 25 and a diffusion plate 26 arranged on the retroreflective material 25 on the side of the viewer 5 and the projectors 22L and 22R.
  • the retroreflector 25 has a structure in which a plurality of fine spherical glass beads 27 having a diameter of about 20 ⁇ m to 100 ⁇ m are arranged on a plane and adhered to a reflective film 28 .
  • the image light projected onto the diffuser plate 26 of the retroreflective screen 21 is incident on each glass bead 27.
  • the incident light is refracted on the surface of the glass bead 27 and reaches the rear surface of the glass bead 27 on the reflecting film 28 side. , are reflected by the reflective film 28 .
  • the light reflected by the reflective film 28 is refracted again on the surface of the glass bead 27, and the emitted light separated from the incident light by a minute distance equal to or less than the diameter of the glass bead 27 travels along an optical path parallel to the incident light, thus returning. reflection is achieved.
  • the screen is not limited to the retroreflective screen, and any screen that allows stereoscopic viewing may be used. For example, it may be a scattering screen or multiple screens.
  • the vehicle width direction is the X direction
  • the vehicle length direction is the Y direction
  • the height direction is the Z direction.
  • the XY plane is horizontal while the vehicle 10 is traveling on a horizontal road.
  • the meter content image data by the stereoscopic image display device 2 is projected onto the retroreflective screen 21 from the projectors 22L and 22R, and the projected image data is displayed together with the spatial image M1 by the in-vehicle spatial image display device 3.
  • 4 is a horizontal sectional view showing a simplified state of observation by an observer 5.
  • FIG. Each image light of the meter content from the projection lenses 33L, 33R (FIG. 5 described above) of the projectors 22L, 22R is incident on the retroreflective screen 21 through forward optical paths 34L, 34R, which are optical axes, and projected.
  • the retroreflective screen 21 Light reflected by the retroreflective screen 21 is diffused by a diffuser plate 26 mounted on the retroreflective material 25 and returned through return paths 35L and 35R.
  • the outgoing optical paths 34L, 34R and the incoming optical paths 35L, 35R are straight lines that match or substantially match in the Y-axis direction.
  • the aerial image M1 is formed at a predetermined display position 36 on the dashboard 11 where meter content is projected.
  • the aerial image M1 is imaged at a position 36 on the dashboard 11 where the meter content is projected.
  • the position 36 of the aerial image M1 corresponds to the position of the predetermined gaze point of the observer 5 and is set at a position where the observer can see the stereoscopic video of the meter content.
  • FIG. 8 the transparent image data by the stereoscopic image display device 2 is projected onto the retroreflective screen 21 from the projectors 22L and 22R, and the projected transparent image data is converted into a spatial image by the external spatial image display device 4.
  • FIG. 10 is a horizontal cross-sectional view showing a simplified state of observation by an observer 5 together with M2.
  • the outward optical paths 34L, 34R and the return optical paths 35L, 35R of the transparent image data match as shown in FIG.
  • the observer 5 can perceive the transparent image of the outside of the vehicle projected on the dashboard 11 as a stereoscopic image.
  • the aerial image M2 is displayed at a location 37 outside the vehicle where a transparent image is projected onto the retroreflective screen 21 on the dashboard 11 and perceived by the observer 5 .
  • a position 37 of the aerial image M2 corresponds to the position of the detected gaze point of the observer 5 and is a position at which the observer can see the stereoscopic image of the transparent image data.
  • the projection direction of the observer 5 must be on the same straight line as the outgoing optical paths 34L, 34R; 35L, 35R of the projectors 22L, 22R. Perceivable only when each line of sight is present.
  • FIG. 9 is a horizontal cross-sectional view showing a simplified state in which the image data projected onto the retroreflective screen 21 from the projectors 22L and 22R of the stereoscopic image display device 2 cannot be viewed by the observer 5 as a stereoscopic image. be.
  • the line of sight 38L, 38R corresponding to the position of the point of gaze by the observer 5 does not coincide with the return path 35L, 35R through which the stereoscopic image of the meter content and the transparent image by the retroreflective screen 21 can be seen. or slightly do not match, and the amount of deviation ⁇ d in the vehicle width direction X is undesirably large. Therefore, the observer 5 simultaneously sees the image data for the left eye and the image data for the right eye projected on the retroreflective screen 21 with both eyes. You cannot see stereoscopic images.
  • the diffuser plate 26 placed on the retroreflective material 25 in the retroreflective screen 21 has a slight deviation amount ⁇ d between the line of sight 38L, 38R of the observer 5 and the return paths 35L, 35R.
  • the line of sight 38L, 38R corresponding to the position of the gaze point by the retroreflective screen 21 substantially coincides with the return path 35L, 35R through which the stereoscopic image of the meter content and the transparent image can be seen by the retroreflective screen 21, clear Allows viewing stereoscopic images.
  • the diffuser plate 26 diffuses the incident light on the forward light paths 34L and 34R in the vehicle width direction X and the height direction Z in the orthogonal three-axis coordinate system, and emits light onto the return light paths 35L and 35R.
  • the diffusion plate 26 may be implemented by a diffraction element that diffuses the light beams from each point of the projectors 22L and 22R in the vehicle width direction X and the height direction Z.
  • the projection lenses 33L and 33R having the same optical path length have an exact conjugate relationship, and the observer 5 sees the point of gaze, and thus the line of sight 38L and 38R, as the direction of the reflected light. A clear image can be observed only when the return paths 35L and 35R are exactly matched.
  • the diffusion plate 26 solves this problem, facilitates the establishment of the conjugate relationship, and improves usability. Diffusion plate 26 may be omitted.
  • FIG. 10 is a perspective view showing a state in which the video data 15 of the meter content is projected and stereoscopically displayed by the retroreflective screen 21 provided on the dashboard 11 of the vehicle 10.
  • the video data 15 of the meter content includes a dashboard that displays speed, rotational speed, and the like.
  • Video data 15 of meter content is generated and projected onto a retroreflective screen 21 .
  • the aerial image M1 is displayed at a predetermined coordinate position stored in a coordinate memory 92, which will be described later, corresponding to the gaze point of the observer 5 near the image data 15 to be stereoscopically displayed.
  • the driver 93 is activated.
  • the observer 5 brings the point of gaze of the observer 5 into the range of positions where the observer 5 can see the displayed aerial image M1
  • the observer 5 is stereoscopically displayed by the retroreflective screen 21.
  • the user can clearly see the video data 15 of the meter content. Therefore, it can be said that the aerial image M1 guides the gaze point of the observer 5 .
  • FIG. 11 is a perspective view showing a state in which the transparent image data is projected by the retroreflective screen 21 provided on the dashboard 11 of the vehicle 10 and stereoscopically displayed.
  • the observer 5 sees the scenery outside the vehicle through the windshield 12, and the scenery outside the vehicle blocked by the dashboard 11 is projected onto the retroreflective screen 21 and projected onto the retroreflective screen 21, and the transparent image data creates a three-dimensional image with depth.
  • a gaze point is detected when the observer 5 sees a certain object in the scenery outside the vehicle through the windshield 12, and a spatial image M2 is displayed at a position outside the vehicle corresponding to the detected gaze point.
  • transparent image data stereoscopically displayed by the retroreflective screen 21 corresponding to the detected gaze point is generated and projected so as to be connected to the scenery outside the vehicle seen through the windshield 12, and the observer 5 , when the gazing point of the observer 5 is brought to the range of positions where the displayed aerial image M2 can be seen, the observer 5 clearly sees the transparent image 15 stereoscopically displayed by the retroreflective screen 21. can be seen in Therefore, it can be said that the aerial image M2 guides the gaze point of the observer 5 .
  • FIG. 12 is a block diagram showing the electrical configuration of the embodiment according to the present disclosure.
  • the first image data generation unit 71 includes a meter content image memory 72 that stores image data of meter content, a gaze point coordinate memory 73 that stores coordinates of a predetermined gaze point of the observer 5 in an orthogonal three-axis coordinate system,
  • a processing unit 76 such as a microcomputer is supplied with a detection signal of the detected numerical value from a numerical value detector 74 .
  • a numerical value detector 74 detects numerical values such as the traveling speed of the vehicle 10 and the rotational speed of the internal combustion engine.
  • the first video data generation unit 71 combines the numerical value represented by the detection signal from the numerical value detector 74 with the video data of the meter content in the memory 72 and supplies the combination to the display control unit 75 together with the gaze point coordinates in the memory 73 .
  • the display control unit 75 includes a processing unit 80 such as a microcomputer.
  • the second image data generation unit 77 includes an exterior image memory 78 that stores image data of the scenery around the vehicle 10 taken from the exterior camera 61, and a transparent image that is projected onto the retroreflective screen 21 on the dashboard 11. It includes a transparency image memory 79 for storing image data and a processing unit 80 such as a microcomputer.
  • the image display area of the retroreflective screen 21 is set in advance at the coordinates of the four corners if the area is rectangular, for example.
  • the image data captured by the outside camera 61 the image of the entire range of the field of view visually recognized by the observer 5 according to the position of the coordinates such as the gaze point when the observer 5 looks outside the vehicle through the windshield 12.
  • the data including the area blocked by the dashboard 11, is stored in the exterior image memory 78 and updated in correspondence with the coordinates of each picture element.
  • the image data corresponding to the area of the retroreflective screen 21 is extracted from the image data of the outside image memory 78 by coordinate calculation and stored as transparent image data.
  • the image data obtained by imaging the face of the observer 5 from the vicinity of the front from the in-vehicle camera 62 is given to the point-of-regard detection unit 82 .
  • the gazing point detection unit 82 performs arithmetic processing on video data including the coordinates of the left and right eyes of the observer 5 from the in-vehicle camera 62, and calculates the gazing point, viewpoint, line of sight, etc., which are eye tracking information of the observer 5. and supplied to the second video data generation unit 77 .
  • a magnetic sensor, a gyro sensor, or the like attached to the head of the observer 5 may be used to detect the gaze point of the observer 5 or the like.
  • the operation mode selection unit 84 includes an operation switch SW1 for selecting the image display mode of the meter content, and an operation switch SW2 for selecting the transparent image display mode.
  • the display switching unit 86 responds to the output of the operation mode selection unit 84, and outputs the signals of the selected operation switches SW1 and SW2 to the display control unit 75 for projection on the retroreflective screen 21 and the aerial images M1 and M2. and the display setting unit 88 of the aerial image forming unit 87 for display of .
  • the display position of the aerial image M2 can be set by the mutual arrangement of the light-emitting display surface 55, the concave mirrors 51 and 52, the windshield 12, etc., which constitute the optical system 48, as described above.
  • the arrangement of 52, 55, etc. can be performed by moving by a driving section 94 controlled by the display setting section 88.
  • the spatial image forming section 87 further includes a spatial image data generating section 90 .
  • the spatial image data generation unit 90 has a spatial image memory 91 for storing video data of the spatial images M1 and M2, and a coordinate memory 92 for storing predetermined coordinate positions for displaying the spatial image M1 for meter content. .
  • FIG. 13 is a flowchart for explaining the operation of the processing section 81 of the display control section 75.
  • FIG. Moving from step s1 to step s2, when the display switching unit 86 determines that the operation switch SW1 for displaying the meter contents has been selected from among the operation switches SW1 and SW2 of the operation mode selection unit 84, the next step s3 is performed. Then, an appropriate gaze point position is determined. That is, the parallax between the left and right eyes is obtained by combining the meter contents of the image memory 72 with the numerical value of the numerical value detector 74 so that the stereoscopic image can be obtained at the predetermined gaze point of the coordinate memory 73 of the first image data generation unit 71 .
  • Some image data are given to the liquid crystal display elements 31L, 31R of the left and right projectors 22L, 22R, projected onto the retroreflective screen 21, and the observer 5 perceives a stereoscopic image.
  • Video data in which the numerical value of the numerical value detector 74 is combined with the meter content is sometimes called meter content for the sake of simplification of explanation.
  • step s4 the aerial image M1 in the aerial image memory 91 is imaged and displayed by the display unit 41 at predetermined coordinates in the coordinate memory 92 corresponding to the gaze point in the gaze point coordinate memory 73, and the operation ends in step s5. do.
  • the meter content of the vehicle 10 is stereoscopically perceived using parallax, as shown in step s3 of FIG. , to guide the focus to the near side.
  • a combination of the map guide display and the aerial image M1 where the gazing point of the stereoscopic video is on the back side of the dashboard can be displayed.
  • Stereoscopic display may be provided on a retroreflective screen 21 on the dashboard 11 .
  • the coordinate memory 73 is referenced in step s3 to determine that the gaze point is on the back side, and the process advances to step s6, where the aerial image M1 is displayed in the space on the back side of the dashboard 11 by the display unit 41 and the optical system 42. to form.
  • the display position of the aerial image M1 can be set by the mutual arrangement of the light-emitting display surface 46, the aerial optical imaging element 43, the windshield 12, etc. that constitute the optical system 42, as described above.
  • the arrangement of 46, 43, etc. can be performed by moving by a driving section 93 controlled by the display setting section 88.
  • FIG. The coordinate memory 92 and the driving unit 93 may be omitted in an embodiment in which a single image is stereoscopically displayed, for example, only meter content.
  • an appropriate gaze point position is determined. That is, the video data of the scenery outside the vehicle captured by the camera 61 outside the vehicle and the coordinates of the point of interest calculated and detected by the point-of-regard detection unit 82 based on the output of the camera 62 inside the vehicle are combined into the second image data generation unit 77. given to
  • the second image data generation unit 77 performs binocular stereoscopic viewing of the outside field of view of the observer 5 blocked by the dashboard 11 on the retroreflective screen 21 corresponding to the position of the detected gaze point. Generate transparent image data with parallax.
  • the processing unit 81 of the display control unit 75 operates to provide each transparent image data having parallax between the left and right eyes to the liquid crystal display elements 31L and 31R of the left and right projectors 22L and 22R.
  • a stereoscopic image of the scenery outside the vehicle projected on the retroreflective screen 21 is connected to the scenery outside the vehicle seen through the windshield 12 and perceived by the observer 5 .
  • the coordinates of the gaze point detected by the gaze point detection unit 82 are given to the display control unit 75 and further to the display setting unit 88 .
  • the display setting unit 88 corresponds to the point of gaze detected by the point-of-regard detection unit 82, and the observer 5 determines the depth of the transparent image data.
  • a spatial image M2 in the spatial image memory 91 is formed by the display unit 41 and the optical system 48 so that a certain stereoscopic image can be viewed.
  • the aerial image M2 in the aerial image memory 91 is displayed by the display unit 41 and the optical system 48 in step s9. Form it in the back position.
  • the aerial image M1 is displayed in front by the optical system 42 in FIG.
  • a stereoscopic image displayed on the dashboard 11 that can be perceived as transparent can be perceived as transparent when the image on the dashboard 11 is seen in the state of the eyes of the observer 5 focused on the outside of the vehicle. .
  • the observer 5 is focused outside the vehicle, that is, the observer 5 gaze point 101 in FIG. 17 and FIG.
  • the aerial image M2 is used for that guidance. Therefore, the aerial image M2 is displayed outside the vehicle.
  • a spatial image M2 is used to correctly and naturally perceive a stereoscopic image that can be perceived as transparent.
  • Image data corresponding to the eye position of the observer 5 is created from the output image of the camera 61 outside the vehicle.
  • the image data is image data with parallax, and since the position of focus is determined according to the amount of parallax, the focus of the observer 5 must be brought to a position where the image can be viewed correctly. Therefore, the display location of the aerial image M2 must be a position determined in the vehicle length direction Y corresponding to the transparent image data. In this way, when there is transparent image data such that objects outside the vehicle can be seen through the retroreflective screen 21 on the dashboard 11, the aerial image M2 is displayed behind the projection plane and the focal point is set by the meter. The user is guided to the far side compared to the display of the content.
  • the image data with parallax for realizing the stereoscopic image displayed on the dashboard 11 is an image that can be viewed correctly without crosstalk only in a specific area determined by the projectors 22L, 22R and the retroreflective material 25. Therefore, it is also necessary to guide the viewpoint position in the vehicle width direction X and the height direction Z by means of the aerial image M2.
  • the exterior camera 61 starts capturing the scenery outside the vehicle.
  • the viewpoint detection unit 82 starts imaging the head of the observer 5 seated in the driver's seat 13, and the position of the viewpoint, that is, the point of gaze, is detected as spatial coordinates by image recognition or the like.
  • the second image data generation unit 77 generates image data with parallax for a stereoscopic image corresponding to the gaze point position of the observer 5 in response to the gaze point position information output from the gaze point detection unit 82 .
  • step s7 it is determined whether the image on the dashboard 11 looks proper when the focus is on the near side or when the focus is on the far side.
  • step s8 the aerial image M2 is displayed in the foreground in step s8. Display on the back side.
  • FIG. 14 is a flowchart for further explaining part of the operation of step s4 in FIG. 13 by the processing section 81 of the display control section 75.
  • the display setting unit 88 causes the display unit 41 to form the aerial image M1.
  • the process proceeds to step a4.
  • step a4 as described above, each image data with parallax for the left and right eyes of the meter content in the image memory 72 is projected onto the retroreflective screen 21 by the left and right projectors 22L and 22R, and the observer 5 displays the A stereoscopic image is perceived, as indicated by reference numeral 15 in 10 .
  • the spatial image M1 is displayed first, and each image data with parallax between the left and right eyes of the meter content is projected with a delay of time ⁇ T, the observer 5 sees the spatial image M1 and focuses on it. Then, the aerial image M1 is focused on the retina by the lens of both the left and right eyes, and then the stereoscopic image is perceived by each image data having parallax between the left and right eyes. This makes it easy for the observer 5 to perceive a stereoscopic image.
  • the time ⁇ T may be, for example, 0.1-0.5 seconds.
  • FIG. 15 is a flowchart for further explaining part of the operation of step s8 in FIG. 13 by the processing section 81 of the display control section 75.
  • FIG. Moving from step b1 to step b2, the image data of the scenery captured by the exterior camera 61 is stored in the exterior image memory 78 of the second image data generation section 77.
  • the point-of-regard detection unit 82 calculates and detects eye-tracking information including the coordinates of the point-of-regard of the observer 5 based on the image data captured by the in-vehicle camera 62.
  • the second image data generator 77 generates transparent image data with parallax for projection on the retroreflective screen 21 from the image data in the outside image memory 78 and the coordinates of the gaze point.
  • the aerial image M2 is projected and displayed prior to the projection of the transparent image data.
  • the aerial image M2 is delayed by the time ⁇ T in the same manner as described above, and at step b7, each transparent image data with parallax for the left and right eyes is projected onto the left and right projectors 22L and 22R. is projected onto the retroreflective screen 21 by the viewer 5 and the stereoscopic image is perceived.
  • the aerial image M2 is first displayed, and after a delay of time ⁇ T, each transparent image data with parallax for the left and right eyes of the scenery outside the vehicle is projected.
  • the time ⁇ T in step a3 of FIG. 14 and step b6 of FIG. 15 may be zero.
  • predetermined image data such as meter content and transparent image data are projected by the projectors 22L and 22R after a predetermined time ⁇ T has elapsed from the formation and formation of the spatial images M1 and M2 by the spatial image forming unit 87. It further includes a display delay unit (step a3 in FIG. 14, step b6 in FIG. 15).
  • FIG. 16 explains the operation of calculating and obtaining the coordinates of the position where the spatial image M2 is formed when each transparent image data having parallax for the left and right eyes is generated by the processing unit 80 in the second image data generating unit 77. It is a flow chart for doing. Moving from step c1 to step c2, virtual reference planes 100A to 100C (see FIG. 18, collectively indicated by reference numeral 100) are set based on the position of the gaze point detected by the gaze point detection unit .
  • FIG. 17 is a simplified plan view for explaining the positions at which the left and right transparent image data with parallax are projected onto the retroreflective screen 21.
  • FIG. The observer 5 gazes at an object A outside the vehicle through the windshield 12 with both left and right eyes EL and ER.
  • this disclosure will be described with reference to the XY plane in an XYZ orthogonal triaxial coordinate system, but it is easy for those skilled in the art to extend the discussion to the Z axis.
  • the detected gaze point 101 is the coordinates (Px, Py) of the position where the object A exists in this coordinate system.
  • the lines of sight 102L and 102R of the left and right eyes EL and ER intersect at a point of gaze 101 in a virtual plane including these lines of sight 102L and 102R.
  • Left and right parallax transparent images are projected by projectors 22L, 22R at positions 104L, 104R where lines of sight 102L, 102R pass through retroreflective screen 21 .
  • the projection positions 104L and 104R onto the retroreflective screen 21 differ depending on the position coordinates (Px, Py) in the Y direction, which is the depth direction in which the object A exists, and in the left and right X directions.
  • the projection positions 104L and 104R are (1) eye tracking information including coordinates (Lx, Ly) and (Rx, Ry) of the respective positions of the left and right eyes EL and ER of the observer 5, (2) left and right eyes EL, ER, the distance between the position of the dashboard 11, which is the shielding part, and therefore the retroreflective screen 21 extending in the left and right X direction (its Y-axis coordinate is Wy) and the left and right eyes EL, ER, and (3) It can be calculated based on the coordinates (Px, Py) of the position of the object A.
  • Each position of both eyes EL and ER is the position of the center of the pupil where each iris is open, and can be approximated to the position of the head.
  • the (1) eye tracking information and the (2) distance can be obtained from the output of the in-vehicle camera 62 .
  • the (3) position of the object A can be obtained from the output of the exterior camera 61 or the object detection sensor, and can be obtained by the point-of-regard detection unit 82 because it is the position of the point-of-regard 101 .
  • the coordinates of projection positions 104L and 104R are obtained as follows.
  • the coordinates of the projection position 104L are and the coordinates of the projection position 104R are is.
  • FIG. 18 is a simplified plan view illustrating virtual reference planes 100A to 100C used to calculate and obtain the coordinates of the position forming the aerial image M2 according to the present disclosure.
  • the observer's line of sight 106 is derived by the second image data generation unit 77 from the eye tracking information obtained by the in-vehicle camera 62 .
  • the shortest, and therefore the closest object to the observer 5 (FIG. 18
  • the XZ plane passing through the coordinates (Px, Py) of the object A is set as the virtual reference plane 100A, and step c2 in FIG. 16 is executed.
  • This XZ plane includes the y-coordinate Py of the object A and is perpendicular to the Y-axis in the longitudinal direction of the vehicle.
  • the observer's line of sight 106 can be obtained by Equation 1 below.
  • the observer's line of sight 106 in Equation 1 is calculated from the eye tracking information, and then the virtual reference plane 100A is set from the distance between the observer's line of sight 106 and the object A.
  • the distance between the observer 5 and the object A can be calculated from the positions (Lx, Ly) and (Rx, Ry) of the left and right eyes EL and ER and the coordinates of the object A (Px, Py).
  • the closest object among the objects A to C that are separated by a predetermined distance or more. etc. may be used as a reference.
  • FIG. 19 is a simplified plan view for explaining the operation of the second image data generation section 77 for setting the coordinates of the position where the aerial image M2 is formed. This operation is performed in step c3 of FIG. Based on the set virtual reference plane 100A, transparent image data with parallax for projection onto the projection positions 104 and 104R (FIG. 17) of the retroreflective screen 21 is generated. In order to obtain the coordinates of the position where the aerial image M2 is formed, first, a virtual straight line 108 is set. This imaginary straight line 108 is a straight line parallel to the Y-axis passing through the midpoint of the projection lenses 33L and 33R of the projectors 22L and 22R in the X direction. ER observer line of sight 106 .
  • the second image data generation unit 77 generates the image of the observer 5 on the virtual reference plane 100 where the virtual straight line 108 extending in the projection direction of the projectors 22L and 22R perpendicularly intersects through the position of the detected gaze point.
  • Transparency image data with parallax for binocular stereoscopic viewing is generated, and the spatial image forming unit 87 causes the projections of the transparency image data to be projected by the projectors 22L and 22R on the virtual reference plane 100.
  • step c4 the position where the aerial image M2 is formed is set by the second image data generating section 77, and the display setting section 88 reads out the data of the aerial image M2 from the aerial image memory 91 and displays it on the display 47 ( 2), a spatial image M2 is formed at the set position corresponding to the detected gaze point and at which the observer 5 can see the stereoscopic image of the transparent image data.
  • the viewpoints of the left and right eyes EL and ER with respect to the retroreflective screen 21 and the projection lenses 33L of the left and right projectors 22L and 22R are required.
  • 33R must be conjugate, otherwise the crosstalk of the image data with parallax is large, and a clear stereoscopic image cannot be seen.
  • the appropriate range 111 of the position of is limited to a certain defined range indicated by hatching in FIG.
  • the aerial image M2 formed on the virtual reference plane 100A cannot be seen. Therefore, if the observer 5 cannot see the aerial image M2, the left and right eyes EL, ER, and the head must be moved within the appropriate range 111 for viewing.
  • the aerial image M2 guides the left and right eyes EL, ER, and the head of the observer 5 within the proper range 111.
  • FIG. 20 is a plan view for explaining the conditions for defining the proper range 111 within the XY plane.
  • the optical axis of projector 22L coincides with outgoing optical path 34L and is indicated by reference numeral 34.
  • Boundary lines 112 and 113 along which the diffused light spreads are symmetrical with respect to a plane perpendicular to the XY plane containing the optical axis 34 .
  • the X coordinates of the left and right eyes EL and ER in the proper range 111 where the aerial image M2 can be seen are the regions where the two equations 3 and 4 are simultaneously established.
  • W be the distance in the X direction between the optical axis 34 of the projector 22L and the parallel optical axis of the projector 22R.
  • FIG. 21 is a plan view for explaining the conditions for defining the proper range 111 in the YZ plane.
  • Predetermined coordinates (Ay, Az) of the projection lenses 33L, 33R of the projectors 22L, 22R, detected coordinates (Ry, Rz) of the left and right eyes EL, ER, retroreflective screens of the outward optical path 34L of the projector 22 The angle ⁇ v between the upper and lower boundary lines 114 and 115 at which the light diffused by 21 spreads in the upper and lower Z directions, and the Y direction between the projection lenses 33L and 33R of the projectors 22L and 22R and the retroreflective screen 21 as described above.
  • the optical axis 34 can be obtained by the following equation 5, where Dp is the distance Dp and the angle ⁇ p between the optical axis 34 of the projectors 22L and 22R and the Y-axis.
  • Boundary line 115 can be obtained by Equation 6 below. However, b is as shown in Formula 7 below.
  • Equation 8 the Z coordinates of the left and right eyes EL and ER in the proper range 111 where the aerial image M2 can be seen are the regions where Equation 8 holds. c of Equation 8 is as shown in Equation 9.
  • the proper range 111 is surrounded by two virtual planes perpendicular to the XY plane passing through the boundary lines 112 and 113 in FIG. 20 and a virtual plane perpendicular to the YZ plane passing through the boundary lines 114 and 115 in FIG. , is a three-dimensional space containing the head of the observer 5 .
  • left and right side pillars 17L and 17R of the vehicle 10 are also provided with retroreflective screens 18L and 18R.
  • the second image data generation unit 77 and the display control unit 75 generate exterior image data connected to the scenery outside the vehicle through the windshield 12 by two pairs of projectors 19L, 19R; It can be created by action and stereoscopically displayed on the retroreflective screens 18L and 18R.
  • FIG. 22 is a diagram showing a schematic configuration of a video display device 7 according to another embodiment of the present disclosure.
  • the image display device 7 of this embodiment is similar to the embodiment of FIG. 1 described above, and corresponding parts are indicated by the same reference numerals.
  • the image on the light-emitting display surface 46 of the display unit 41 forms a spatial image M1 as a real image inside the vehicle by means of the optical system 56.
  • the predetermined position where the aerial image M1 is formed corresponds to the position of the predetermined gaze point of the observer 5, and is an appropriate position at which the observer 5 can see the stereoscopic image of the meter content. It is possible to move the light-emitting display surface 46, the beam splitter 57, the reflecting mirror, etc. by the drive unit 93 and change them to predetermined positions in the depth Y direction.
  • a retroreflective screen 21 Projectors 22L and 22R for projecting images on the retroreflective screen 21 so that the viewer's left and right eyes perceive a stereoscopic image
  • a video data generator 71 for generating predetermined video data with binocular parallax for binocular stereoscopic viewing of a predetermined video on the retroreflective screen 21 corresponding to the position of the predetermined gaze point
  • a spatial image forming unit 87 Store video data of a predetermined aerial image M1, When the predetermined image data from the image data generation unit 71 is projected by the projectors 22L and 22R, it corresponds to the position of the predetermined gaze point, and the viewer sees the stereoscopic image of the predetermined image data.
  • a spatial image forming unit 87 that forms a spatial image M1 at a position where the image can be displayed.
  • a camera outside the vehicle 61 which is an imaging unit for imaging an object such as a landscape or an object; a point-of-regard detection unit 82 that detects the position of the point-of-regard of an observer viewing the space in which the object to be imaged exists; a retroreflective screen 21; Projectors 22L and 22R for projecting images on the retroreflective screen 21 so that the viewer's left and right eyes perceive a stereoscopic image;
  • image data with parallax for binocular stereoscopic viewing is sent to the retroreflective screen 21 in correspondence with the position of the detected point-of-regard.
  • a video data generation unit 77 to generate;
  • a spatial image forming unit 87 Store video data of a predetermined aerial image M2, When the image data from the image data generation unit 77 is projected by the projectors 22L and 22R, it corresponds to the gaze point detected by the gaze point detection unit 82, and the observer can see the stereoscopic image of the image data. and a spatial image forming unit 87 that forms a spatial image M2 at a position where the image can be displayed.
  • the video display device is an image capturing unit outside the vehicle that captures an image of the surroundings of the vehicle; a gaze point detection unit that detects the gaze point position of an observer seated on a vehicle seat; A screen provided in a shielding part of the vehicle that blocks the observer's view outside the vehicle; a projector that projects a stereoscopic image onto a screen; a first video data generation unit that generates first video data; a second image data generation unit that generates second image data based on data output from the outside imaging unit; a switching unit for switching between the first video data and the second video data to be projected on the screen; a spatial image forming unit, Store video data of a predetermined spatial image, correspond to the output of the switching unit, displaying a spatial image at a predetermined gaze point position when projecting the first image data on the screen by the switching unit; A space for displaying an aerial image at a position corresponding to the point of gaze detected by the point-of-regard detection unit and allowing an observer to see the image
  • the point of gaze of the observer's left and right eyes is the image projected on the screen.
  • the gaze point of the observer is located at a position where the projected image cannot be perceived as a stereoscopic image.
  • the position of the gaze point of the observer can be easily and indirectly guided so that the position of the observer's point of gaze is at an appropriate position at which the stereoscopic image can be perceived. can be done.
  • Image display that allows stereoscopic images to be perceived by projecting image data with left and right eye parallax on a retroreflective screen with a projector. It can be implemented in a wide range of devices.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

観察者が車外の物体を見ている注視点の座標を、車内カメラの出力によって検出する。車外映像データにおける注視点に対応する位置に、2次元空間像を形成する。空間像は、発光表示面に表示され、空中の表示位置を奥行き可変な光学系によって表示される。空間像を観察者が視認できるとき、注視点は、再帰反射性スクリーンに投影される映像データを立体映像として知覚できる位置にある。

Description

映像表示装置
 本開示は、投影された映像を立体映像として知覚できる適正な位置に、例えば、車両の運転者等の観察者の左右両眼による注視点を、誘導することができる映像表示装置に関する。
 従来技術の一例は、特許文献1,2に記載されている。
特開2001-42251号公報 特開2006―44596号公報
 本開示に係る映像表示装置は、
車両の周囲を撮像する車外撮像部と、
 車両の座席に着座した観察者の注視点の位置を検出する注視点検出部と、
 観察者の車外視界を遮る車両の遮蔽部に設けられるスクリーンと、
 スクリーンに、立体映像を投影する投影器と、
 第1映像データを生成する第1映像データ生成部と、
 車外撮像部から出力されるデータに基づいて第2映像データを生成する第2映像データ生成部と、
 前記スクリーンに第1映像データあるいは第2映像データのどちらを投影させるか切り換える切り換え部と、
 空間像形成部であって、
  予め定める空間像の映像データをストアし、切り換え部の出力に対応し、
  前記切り換え部により第1映像データを前記スクリーンに投影させるとき、予め定める注視点の位置に空間像を表示させ、
  第2映像データを前記スクリーンに投影させるとき、注視点検出部によって検出された注視点に対応し、かつ、観察者が第2映像データの映像を見ることができる位置に空間像を表示させる空間像形成部と、を含む構成とする。
本開示の一実施形態の映像表示装置1の立体映像表示装置2によって予め定める映像データであるメーターコンテンツを立体表示するとともに、車内用空間像表示装置3によって空間像M1を車内に立体表示する概略的構成を示す図である。 本開示の一実施形態の映像表示装置1の立体映像表示装置2によって車外の風景を立体表示するとともに、車外用空間像表示装置4によって空間像M2を車外に立体表示する概略的構成を示す図である。 車両10の簡略化した平面図である。 車両10の簡略化した側面図である。 車両10の車室内における観察者5と、その観察者5の前方に配置される再帰反射性スクリーン21と、投影器22L、22Rとを示す簡略化した水平断面図である。 再帰反射性スクリーン21の一部の構成を拡大して示す断面図である。 立体映像表示装置2によるメーターコンテンツ映像データが投影器22L、22Rから再帰反射性スクリーン21に投影され、その投影された映像データを、車内用空間像表示装置3による空間像M1とともに、観察者5が観察している状態を簡略化して示す水平断面図である。 立体映像表示装置2による透明化映像データが投影器22L、22Rから再帰反射性スクリーン21に投影され、その投影された透明化映像データを、車外用空間像表示装置4による空間像M2とともに、観察者5が観察している状態を簡略化して示す水平断面図である。 立体映像表示装置2による投影器22L、22Rから再帰反射性スクリーン21に投影された映像データを、観察者5が立体映像として見ることができない状態を簡略化して示す水平断面図である。 車両10のダッシュボード11に設けられた再帰反射性スクリーン21によってメーターコンテンツの映像データ15が投影されて立体表示される状態を示す斜視図である。 車両10のダッシュボード11に設けられた再帰反射性スクリーン21によって透明化映像データが投影されて立体表示される状態を示す斜視図である。 本開示に係る実施形態の電気的構成を示すブロック図である。 表示制御部75の処理部81の動作を説明するためのフローチャートである。 表示制御部75の処理部81による図13のステップs4の動作の一部をさらに説明するためのフローチャートである。 表示制御部75の処理部81による図13のステップs8の動作の一部をさらに説明するためのフローチャートである。 第2映像データ生成部77における処理部80による左右両眼の視差のある各透明化映像データを生成する際、空間像M2を形成する位置の座標を演算して求める動作を説明するためのフローチャートである。 視差のある各左右の透明化映像データを再帰反射性スクリーン21に投影する位置を説明する簡略化した平面図である。 本開示によって空間像M2を形成する位置の座標を演算して求めるために用いる仮想基準面100A~100Cを説明する簡略化した平面図である。 空間像M2を形成する位置の座標を設定する第2映像データ生成部77の動作を説明する簡略化した平面図である。 適正な範囲111のXY平面内の領域を規定する条件を説明するための平面図である。 適正な範囲111のYZ平面内の領域を規定する条件を説明するための平面図である。 本開示の他の実施形態の映像表示装置7の概略的構成を示す図である。
 本開示の目的、特色、および利点は、下記の詳細な説明と図面とからより明確になるであろう。
 近年、車外の風景を車外カメラで撮像し、撮像された車外の映像を車内の死角となるダッシュボード、サイドピラーなどの遮蔽物に取付けられた再帰反射性スクリーンに立体映像として投影し、観察者に投影映像をあたかも遮蔽物を介して外部が透けて見えるような映像として知覚させる透明化技術を活用した映像表示装置の開発が進められている。このような映像表示装置の従来技術では、観察者の視点と共役な位置に投影器を配設して、左眼および右眼に互いに視差を有する左眼画像および右眼画像の2つの異なる映像を同時に集光し、左眼および右眼に視差のある2つの異なる映像を、奥行き感のある立体映像として知覚させることが提案されている(例えば、特許文献1,2参照)。
 特許文献1に記載される従来技術では、再帰反射性スクリーンと、映像を表示する表示手段と、表示手段からの光を投射して、表示手段に表示された映像の拡大された像をスクリーンに形成する投射光学系と、投射光学系とスクリーンとの間にスクリーンに近接して配置され、投射光学系からの光を透過させるとともに、投射光学系からの光に含まれる表示手段の各点からの光束を直交する2方向で拡大率が異なるように拡大する回折素子などの拡大手段と、を備える構成とされる。
 また、特許文献2に記載される従来技術では、車両の周辺を撮像する車外カメラと、運転席に着席した運転者の視点の空間的な位置を認識する視点認識手段と、運転者の視界を遮るサイドピラー、ドア、ダッシュボード等の遮蔽物が透明であるとした場合に運転者の眼に映るべき車外の景色の映像を、車外カメラによって得られた周辺の画像データを視点認識手段の認識結果に応じて加工することにより生成する映像生成手段と、映像生成手段が生成する2次元映像を遮蔽物の位置に表示する有機EL(Electro Luminescence)ディスプレイと、を備える構成とされる。
 特許文献1に記載される従来技術では、再帰反射性スクリーンを用いて立体映像を知覚できるのは、投影方向と同一方法に観察者の視線、すなわち、視軸が一致して光学的共役が成立するときのみであるので、観察者の頭部、したがって、注視点を、適正に立体映像を知覚できる位置へ正確に誘導する必要がある。この誘導のために、音声等の音響によるものでは、適正な位置へ正確に誘導することが困難であることがあった。従来から、装置を大形化・複雑化することなしに、観察者の注視点を、投影像を立体像として知覚することができる位置に誘導する映像表示装置が求められている。
 特許文献2に記載される従来技術では、ディスプレイの映像に奥行き方向の情報が含まれていない。そのため、映された映像から距離感を掴むことができず、遮蔽物によって遮られている車外の物体との距離を見誤るおそれがあった。また、遮蔽物の位置に表示される映像は、運転者の注視点が適正でないと、フロントガラスであるウインドシールドなどを介する景色と繋がった映像として見えず、運転者が車外の物体を正しく認識するには不十分なことがある。
 以下、添付図面を参照して、本開示の映像表示装置の実施形態について説明する。
 図1は、本開示の一実施形態の映像表示装置1の立体映像表示装置2によって予め定める映像データであるメーターコンテンツを立体表示するとともに、車内用空間像表示装置3によって空間像M1を車内に表示する概略的構成を示す図である。図2は、本開示の一実施形態の映像表示装置1の立体映像表示装置2によって車外の風景を立体表示するとともに、車外用空間像表示装置4によって空間像M2を車外に表示する概略的構成を示す図である。本実施形態の映像表示装置1は、車両10に搭載され、乗車している観察者5、例えば、特に運転者に映像を表示する。メーターコンテンツは、例えば、車両10の走行速度、内燃機関の回転速度などを表示する計器盤である。
 立体映像表示装置2は、車両10のダッシュボード11に設けられた再帰反射性スクリーン21に、観察者5に立体映像を知覚させる映像データを、左右両眼に対応して配置される投影器22L、22Rから投影する。参照符の数字に付した添え字L、Rなどを省略して、総括的に数字だけで示す。ダッシュボード11は、透明なウインドシールド12の下部で車内に臨んで設けられ、観察者5の前板である。ウインドシールド12は一般的な車両の透明なフロントガラスでもよく、内面反射と外面反射による光の位置ずれが観察者5に2重映像を生じることを防ぐために、ガラス層の間にくさび型の透明な中間膜を挟み込んでもよく、または内面もしくは外面で反射しないように、どちらかに反射防止コーテイング膜を形成してもよい。
 図1を参照して、車内用空間像表示装置3は、表示部41と、ウインドシールド12とともに光学系42を構成する空中光学結合素子43とを含む。図1の表示部41は、立体映像表示装置2によって予め定める映像データであるメーターコンテンツが立体表示されるとき、空間像M1の映像データを表示する透過型液晶表示素子44と、その液晶表示素子44に背後から光を当てる投光器45などによって実現される投影器であり、発光表示面46を有する。発光表示面46を有する表示部41は、有機EL(Electro Luminescence)ディスプレイ、発光ダイオードなどの発光作用を有する表示素子などによって実現されてもよい。発光表示面46の空間像M1のための映像データは、空中光学結合素子43の入側(図1の左方)から出側(図1の上方)を経て、ウインドシールド12の車室側に凹状の表面で反射され、このような光学系42によって、予め定める位置に空間像M1の実像を結像し、観察者5が視認することができる。この空間像M1が結像して形成される予め定める位置は、観察者5の予め定める注視点の位置に対応し、かつ、観察者5がメーターコンテンツの立体映像を見ることができる位置である。この空間像M1の結像位置は、発光表示面46、空中光学結合素子43、およびウインドシールド12の反射する凹状表面などの相互の配置によって設定することができ、これらの各要素46、43などを駆動部93によって移動して奥行きのY方向の予め定める位置に変えることができる。本開示では、車両10には、座席である運転席13の前方に、車室側に凹状の表面を有する透明なウインドシールド12が設けられ、空間像表示装置3は、メーターコンテンツが投影器22L、22Rによって投影されるとき、前述のとおり、第1映像データ生成部71からの空間像M1の映像データを表示する発光表示面46を有する表示部41と、発光表示面46に表示された映像をウインドシールド12の凹状の表面によって反射して、観察者5が見ることができる実像として結像する空中光学結合素子43とを含む。
 空中光学結合素子43は、例えば、1つの平面を構成する素子面を光が透過する際に光線の屈曲を生じさせる光学素子であって、素子面に垂直に配置された相互に垂直となる2つの鏡面による光の反射を行なう2面コーナーリフレクタとして機能する単位光学素子を複数配置し、素子面を挟んで入側からの光線が各単位光学素子を通過する際に、各単位光学素子におけるそれぞれ2つの鏡面において1回ずつ、合計2回反射することによって素子面に対して発光表示面の面対称位置に発光表示面の像を結像するように構成し、素子面に対して斜め方向の角度を付けた視点から前記結像した2回反射による像を観察し得るように構成される。例えば、各単位光学素子は、一辺が100μmであり、厚み寸法が100μmの薄い平板状である。一例として5cm角の基盤に、このような単位光学素子を、数万個ないし数十万個設ける。
 図2を参照して、車外用の空間像表示装置4は、表示部41と、ウインドシールド12とともに光学系48を構成する2つの凹面鏡51、52とを含む。図2の表示部41は、立体映像表示装置2によって透明化映像データが立体表示されるとき、空間像M2の映像データを表示する液晶表示素子53と、その液晶表示素子43に背後から光を当てる投光器54などとによって実現される投影器であり、発光表示面55を有する。この表示部は、前述の図1の表示部41に類似する。発光表示面55の空間像M2のための映像データは、凹面鏡51、52を経て、ウインドシールド12の車室側に凹状の表面で反射されて表示され、観察者5が視認できる。このような光学系48によって、空間像M2の虚像は、ウインドシールド12を介して車外における観察者5の検出された注視点に対応し、かつ、観察者5が透明化映像データの立体映像を見ることができる位置に形成され、観察者5は、この空間像M2を視認することができる。この空間像M2が形成される位置は、発光表示面55、凹面鏡51、52、およびウインドシールド12の反射する凹状表面などの相互の配置によって設定することができ、これらの各発光表示面55などを駆動部94によって移動して奥行きのY方向の位置に変えることができる。本開示では、車両10には、運転席13の前方に、車室側に凹状の表面を有する透明なウインドシールド12が設けられ、車外用空間像表示装置4は、透明化映像データが投影器22L、22Rによって投影されるとき、空間像M2の画像を表示する発光表示面55を有する表示部41と、凹面鏡51、52を有し、発光表示面55に表示された画像を凹面鏡51、52とウインドシールド12の凹状の表面とによって反射して、観察者5が見ることができる虚像として形成する。
 空間像M1、M2は、図形および記号、文字などのキャラクタなどでもよく、同一の2次元映像であってもよく、視野角が絞られている。
 本開示によって、観察者5が空間像M1、M2を見るようにすることによって、(1)立体映像が知覚可能な特定の範囲の位置に観察者5の視点、したがって、その頭部を位置させることが容易であり、(2)立体映像を見るのに適した位置へ観察者の注視点、したがって観察者5の左右両眼の網膜上の焦点を移動させることが容易である。その結果、視差のある異なる映像を観察者5に奥行き感を持つ立体映像として知覚させることが容易である。本開示における前述の観察者5の注視点の位置は、注視点に関連する位置を含み、例えば、観察者5の視点および頭部などの位置、左右両眼の中央位置、さらに視線の方向などを含む概念であり、3次元または水平な2次元の座標で表わされてもよい。本開示では、透明と知覚できる車外の映像データは、視差を付けた立体映像で実現される。この立体映像は左右両眼の視差量によって観察者5が注視点、したがって、焦点を合わせるべき位置が決まる。透明化映像生成時に決定される視差量情報から空間像M1、M2の表示位置は設定される。ダッシュボード11の上の再帰反射性スクリーン21に表示されるメーターコンテンツも同様で、視差量情報から空間像M1、M2の表示位置を設定することとなる。
 こうして、本開示の遮蔽部である、例えば、ダッシュボード11に設けられる再帰反射性スクリー21と投影器22との投影技術を用いて立体映像を表示することが可能であり、奥行き情報を持った映像を映し出すことが可能である。これによって、車外の風景と奥行き感を含めた一体感のある繋がった映像をダッシュボード11の再帰反射性スクリーン21に作り出すことが可能となり、物体との距離感も掴める表示とすることができる。この立体映像を、空間像M1、M2を用いて注視点を誘導することによって、容易に知覚させることができる。
 この映像表示装置1によれば、観察者5の注視点が投影映像データを立体映像として知覚できる位置にあるとき、空間像M1、M2を視認することができ、観察者5の注視点が投影映像データを立体映像として知覚できない位置にあるときには、空間像M1、M2が視認できない状態になる。したがって、観察者5は注視点が、立体映像が見える位置か否かを空間像M1、M2が見えるか否かによって容易に認識することができ、これによって、装置を大形化・複雑化することなしに、観察者5の注視点位置を立体映像が知覚可能な適正な位置となるように、いわば間接的に誘導することができる。
 また空間像M1、M2は、表示/非表示を切り換える操作を必要としないので、観察者5が車両10の運転者である場合、運転の安全性を損なうことはなく、再帰反射性スクリーンに投影されるダッシュボード11等の遮蔽物に遮られた車外風景を容易かつ確実に立体映像として知覚することが可能となり、遮蔽物をいわば透明化できる点で運転の安全性の向上に寄与することができる。
 図3は車両10の簡略化した平面図であり、図4は車両10の簡略化した側面図である。観察者5は、運転席13に着座する。運転席13の上部、例えば、その背もたれ部上のヘッドレスト14には、観察者5の左右の各眼に対応して投影器22L、22Rがそれぞれ設けられる。
 車両10の前部には、車外撮像部である車外カメラ61が設けられる。車外カメラ61は、車両10の周囲の風景を撮像し、特に、観察者5がウインドシールド12を介して見ることができる車両10の前方の風景、および観察者5がダッシュボード11によって遮られて直接に見ることができない車外視界を含めて前方の風景に連続して撮像する。車外カメラ61は、観察者5の左右両眼に対応して両眼立体視するための両眼視差のある映像データを出力する構成を有し、例えば、ステレオカメラなどで実現してもよい。あるいはまた、車外カメラ61は、単一の映像データを出力するカメラで実現してもよく、この場合、単一の映像データに基づいて、両眼視差のある映像データを演算して得る。
 車両10の車室内の、例えば、天井には、観察者5の顔を正面付近から撮像する車内カメラ62が設けられる。車内カメラ62の出力によって、観察者5のアイトラッキング情報、例えば、注視点、視点、視線などを、演算によって検出することができる。視点は、虹彩から開口して外方に臨む各水晶体の中心であり、または頭部の位置でもよく、左右両眼の中央位置でもよい。視線は、視軸ともいい、虹彩から開口して外方に臨む各水晶体の中心と視力のもっともよい中央窩とを通る直線である。注視点は、左右の各眼の視線を含む仮想平面内の交点の位置である。車外カメラ61と車内カメラ62との各座標系は、同一である。
 図5は、車両10の車室内における観察者5と、その観察者5の前方に配置される再帰反射性スクリーン21と、投影器22L、22Rとを示す簡略化した水平断面図である。左右の投影器22L、22Rは、立体映像表示装置2によってメーターコンテンツ映像データおよび透明化映像データを立体表示するために、それらの映像データを表示する透過型液晶表示素子31L、31Rと、その液晶表示素子31L、31Rに背後から光を当てる投光器32L、32Rと、液晶表示素子31L、31Rの各発光表示面からの映像データを再帰反射性スクリーン21に投影する投影レンズ33L、33Rなどとによって実現される。これらの左右の各投影器22L、22Rは、XY平面内でY軸に平行な光軸を有し、YZ平面に面対称に配置され、同一構成を有する。投影器22L、22Rの投影レンズ33L、33Rは、左右の眼EL、ERの視点と共役な位置に配置される。再帰反射性スクリーン21に観察者5が両眼立体視するための左右の眼EL、ERの映像データがそれぞれ投影される。
 図6は、再帰反射性スクリーン21の一部の構成を拡大して示す断面図である。再帰反射性スクリーン21は、再帰性反射材25と、その再帰性反射材25の上である観察者5および投影器22L、22R側に配置される拡散板26とを有する。再帰性反射材25は、直径20μm以上100μm程度以下の微小な球状の複数のガラスビーズ27が平面上に配置されて反射膜28に貼付けられた構成とされる。再帰反射性スクリーン21の拡散板26に投影された映像光は、各ガラスビーズ27に入射し、この入射光はガラスビーズ27の表面で屈折してガラスビーズ27の反射膜28側の背面に達し、反射膜28によって反射される。反射膜28によって反射された光は、ガラスビーズ27の表面で再び屈折し、ガラスビーズ27の直径以下の微小距離だけ入射光から離間した出射光は、入射光と平行な光路を進み、こうして再帰反射が達成される。なお、スクリーンは再帰性反射スクリーンに限らず、立体視可能なスクリーンであればよい。例えば、散乱性スクリーンであってもよいし、多重スクリーンであってもよい。
 本開示の実施形態のXYZの直交3軸座標系では、車両10の予め定める固定した原点から、車幅方向をX方向とし、走行する車長方向をY方向とし、高さ方向をZ方向に定め、車両10が水平な道路を走行中、XY平面は水平である。
 図7は、立体映像表示装置2によるメーターコンテンツ映像データが投影器22L、22Rから再帰反射性スクリーン21に投影され、その投影された映像データを、車内用空間像表示装置3による空間像M1とともに、観察者5が観察している状態を簡略化して示す水平断面図である。投影器22L、22Rの投影レンズ33L、33R(前述の図5)からのメーターコンテンツの各画像光は、光軸である往光路34L、34Rを経て再帰反射性スクリーン21に入射して投影され、再帰反射性スクリーン21による反射光は、再帰性反射材25の上に取り付けられた拡散板26によって拡散され、復光路35L、35Rを経て戻る。往光路34L、34Rと復光路35L、35Rとは、Y軸方向では一致した、またはほぼ一致した直線である。空間像M1は、メーターコンテンツが投影されて存在するダッシュボード11上の予め定められた表示位置36に結像される。
 観察者5の左右の各眼EL、ERの視線が、図7のとおり、復光路35L、35Rと一致しているとき、観察者5は、ダッシュボード11上に投影されて存在するメーターコンテンツを立体映像として知覚することができる。空間像M1は、メーターコンテンツが投影されて存在するダッシュボード11上の位置36に結像される。空間像M1の位置36は、観察者5の予め定める注視点の位置に対応し、かつ、観察者がメーターコンテンツの立体映像を見ることができる位置に定められる。
 図8は、立体映像表示装置2による透明化映像データが投影器22L、22Rから再帰反射性スクリーン21に投影され、その投影された透明化映像データを、車外用空間像表示装置4による空間像M2とともに、観察者5が観察している状態を簡略化して示す水平断面図である。透明化映像データの往光路34L、34Rと復光路35L、35Rとが一致することは、前述の図7のとおりであり、観察者5の左右の各眼EL、ERの視線が、図8のとおり、復光路35L、35Rと一致しているとき、観察者5は、ダッシュボード11上に投影されて存在する車外の透明化映像を立体映像として知覚することができる。空間像M2は、ダッシュボード11上の再帰反射性スクリーン21に透明化映像が投影されて観察者5によって知覚される車外の位置37に表示される。空間像M2の位置37は、観察者5の検出された注視点の位置に対応し、かつ、観察者が透明化映像データの立体映像を見ることができる位置である。このように、再帰反射性スクリーン21を使用する再帰性投影が成立するためには、投影器22L、22Rの往光路34L、34R;35L、35Rである投影方向と同一直線上に観察者5のそれぞれの視線が存在するときのみ知覚可能となる。
 図9は、立体映像表示装置2による投影器22L、22Rから再帰反射性スクリーン21に投影された映像データを、観察者5が立体映像として見ることができない状態を簡略化して示す水平断面図である。図9では、観察者5による注視点の位置に対応する視線38L、38Rは、再帰反射性スクリーン21によるメーターコンテンツおよび透明化映像の立体映像を見ることができる復光路35L、35Rとは一致せず、またはわずかに一致せず、車幅方向Xのずれ量Δdが不所望に大きい。したがって、観察者5は、再帰反射性スクリーン21に投影される視差のある左眼用と右両眼用の各映像データを、同時に両眼で見ることになり、いわゆるクロストークが大きく、明瞭な立体映像を見ることができない。
 再帰反射性スクリーン21における再帰性反射材25の上に設置される拡散板26は、観察者5の視線38L、38Rと復光路35L、35Rとのずれ量Δdがわずかであって、観察者5による注視点の位置に対応する視線38L、38Rが、再帰反射性スクリーン21によるメーターコンテンツおよび透明化映像の立体映像を見ることができる復光路35L、35Rと、ほぼ一致しているとき、明瞭な立体映像を見ることを可能にする。拡散板26は、往光路34L、34Rの入射光を直交3軸座標系における車幅方向Xと高さ方向Zとに拡散して復光路35L、35Rに出射光を出す。これによって、観察者5の注視点、したがって、視線38L、38Rが投影レンズ33L、33Rの位置に対応する復光路35L、35Rといくらかずれていても、明瞭な映像を得ることができる。拡散板26は、投影器22L、22Rの各点からの光束を車幅方向Xと高さ方向Zとに拡散する回折素子によって実現されてもよい。
 拡散板26が設けられない構成では、光路長が等しくなる投影レンズ33L、33Rでは正確な共役関係が成り立ち、観察者5は、その注視点、したがって、視線38L、38Rが反射光の方向である復光路35L、35Rに正確に一致しているときだけ、明瞭な映像を観察することができるが、ずれ量Δdがわずかでも生じると、明瞭な映像を観察することができない。拡散板26は、この問題を解決し、前記共役関係を成り立たせることを容易にして使い勝手を向上する。拡散板26は、省略されてもよい。
 図10は、車両10のダッシュボード11に設けられた再帰反射性スクリーン21によってメーターコンテンツの映像データ15が投影されて立体表示される状態を示す斜視図である。メーターコンテンツの映像データ15は、速度、回転速度などを表示する計器盤などを含む。メーターコンテンツの映像データ15を生成して再帰反射性スクリーン21に投影する。このとき、空間像M1は、立体表示される映像データ15の近傍における、観察者5の注視点に対応して後述の座標メモリ92にストアされている予め定める座標位置に空間像M1が表示されるように、駆動部93が能動化される。これによって、観察者5が、この表示された空間像M1を見ることができる位置の範囲に、観察者5の注視点をもたらしたとき、観察者5は、再帰反射性スクリーン21によって立体表示されるメーターコンテンツの映像データ15を鮮明に見ることができる。したがって、空間像M1は観察者5の注視点を誘導するといえる。
 図11は、車両10のダッシュボード11に設けられた再帰反射性スクリーン21によって透明化映像データが投影されて立体表示される状態を示す斜視図である。観察者5は、ウインドシールド12を介して見る車外の風景に連続して、ダッシュボード11によって遮られた車外の風景を、再帰反射性スクリーン21に投影され透明化映像データによって奥行きのある立体映像として見ることができる。観察者5がウインドシールド12を介して見る車外の風景における或る物体を見た状態の注視点を検出し、この検出された注視点に対応する車外の位置に空間像M2が表示されるとともに、検出された注視点に対応して再帰反射性スクリーン21によって立体表示される透明化映像データを、ウインドシールド12を介して見る車外の風景に繋がるように生成して投影し、観察者5が、この表示された空間像M2を見ることができる位置の範囲に、観察者5の注視点をもたらしたとき、観察者5は、再帰反射性スクリーン21によって立体表示される透明化映像15を鮮明に見ることができる。したがって、空間像M2は観察者5の注視点を誘導するといえる。
 図12は、本開示に係る実施形態の電気的構成を示すブロック図である。第1映像データ生成部71は、メーターコンテンツの映像データをストアするメーターコンテンツ映像メモリ72と、観察者5の予め定める注視点の直交3軸座標系における座標をストアする注視点座標メモリ73と、マイクロコンピュータなどの処理部76とを含み、数値検出器74からの検出された数値の検出信号が与えられる。数値検出器74は、車両10の走行速度、内燃機関の回転速度などの数値を検出する。第1映像データ生成部71は、数値検出器74からの検出信号の表わす数値を、メモリ72のメーターコンテンツの映像データに組み合わせて、メモリ73の注視点座標とともに表示制御部75に与える。表示制御部75は、マイクロコンピュータなどの処理部80を含む。
 第2映像データ生成部77は、車外カメラ61からの車両10の周囲の撮像された風景の映像データをストアする車外映像メモリ78と、ダッシュボード11上の再帰反射性スクリーン21に投影する透明化映像データをストアする透明化映像メモリ79と、マイクロコンピュータなどの処理部80とを含む。再帰反射性スクリーン21の映像を表示する領域は、例えば、その領域が4角形であれば、4隅の座標の位置で予め設定される。車外カメラ61によって撮像された映像データのうち、観察者5のウインドシールド12を介して車外を見たときの注視点などの座標の位置によって、観察者5によって視認される視界の全範囲の映像データが、ダッシュボード11によって遮られる範囲も含めて、各絵素毎の座標と対応して車外映像メモリ78にストアされて更新される。透明化映像メモリ79には、車外映像メモリ78の映像データから再帰反射性スクリーン21の領域の分の映像データを、座標の演算によって取り出して透明化映像データとしてストアされる。
 車内カメラ62からの観察者5の顔を正面付近から撮像した映像データは、注視点検出部82に与えられる。注視点検出部82は、車内カメラ62からの観察者5の左右両眼の座標を含む映像データを演算処理して、観察者5のアイトラッキング情報である注視点、視点、視線などを、演算によって検出し、第2映像データ生成部77に与える。観察者5の注視点などを検出するために、観察者5の頭部に装着される磁気センサ、ジャイロセンサなどが用いられてもよい。
 動作モード選択部84は、メーターコンテンツの画像表示モードを選択する操作スイッチSW1と、透明画像表示モードを選択する操作スイッチSW2とを含む。表示切り換え部86は、動作モード選択部84の出力に応答し、選択された操作スイッチSW1、SW2の信号を、再帰反射性スクリーン21の投影のための表示制御部75と、空間像M1、M2の表示のための空間像形成部87の表示設定部88とに与える。空間像M2の表示位置は、前述のとおり、光学系48を構成する発光表示面55、凹面鏡51,52、およびウインドシールド12などの相互の配置によって設定することができ、これらの各要素51,52、55などの配置は、表示設定部88が制御する駆動部94によって移動して行なうことができる。
 空間像形成部87は、さらに空間像データ生成部90を含む。この空間像データ生成部90は、空間像M1、M2の映像データをストアする空間像メモリ91と、メーターコンテンツのための空間像M1を表示する予め定める座標位置をストアする座標メモリ92とを有する。
 図13は、表示制御部75の処理部81の動作を説明するためのフローチャートである。ステップs1からs2に移り、動作モード選択部84の操作スイッチSW1、SW2のうち、メーターコンテンツ表示のための操作スイッチSW1が選択されたことが表示切り換え部86で判断されたとき、次のステップs3では、適正な注視点位置が判断される。すなわち、第1映像データ生成部71の座標メモリ73の予め定める注視点で立体映像が得られるように、映像メモリ72のメーターコンテンツに数値検出器74の数値が組み合された左右両眼の視差のある各映像データが、左右の投影器22L、22Rの液晶表示素子31L、31Rに与えられ、再帰反射性スクリーン21に投影され、観察者5によって立体映像が知覚される。メーターコンテンツに数値検出器74の数値が組み合された映像データを、説明の簡略化のために、メーターコンテンツと呼ぶことがある。
 ステップs4では、空間像メモリ91の空間像M1を、注視点座標メモリ73の注視点に対応する座標メモリ92の予め定める座標に表示部41によって結像して表示させ、ステップs5で動作を終了する。車両10のメーターコンテンツを、視差を利用して立体的に知覚させる場合、図13のステップs3に示されるように、投影面である表示位置36(図7)付近に空間像M1を表示して、焦点を手前側へ誘導する。ステップs4の一部の詳細な動作は、図14を参照して後述する。
 本開示の他の実施形態では、メーターコンテンツと空間像M1との組み合わせの表示だけでなく、例えば、立体映像の注視点がダッシュボードよりも奥側にくる地図案内表示と空間像M1と組み合わせてダッシュボード11上の再帰反射性スクリーン21に立体表示するようにしてもよい。この時、ステップs3で座標メモリ73を参照して注視点が奥側であると判定されてステップs6へ進み、空間像M1を表示部41、光学系42によってダッシュボード11よりも奥側の空間に形成する。空間像M1の表示位置は、前述のとおり、光学系42を構成する発光表示面46、空中光学結像素子43、およびウインドシールド12などの相互の配置によって設定することができ、これらの各要素46、43などの配置は、表示設定部88が制御する駆動部93によって移動して行なうことができる。立体表示される映像が単一であって、例えば、メーターコンテンツだけである実施形態では、座標メモリ92、駆動部93は省略されてもよい。
 図13のステップs2において、透明画像表示モードの操作スイッチSW2が選択されたことが表示切り換え部86で判断されたとき、次のステップs7では、適正な注視点位置が判断される。すなわち、車外カメラ61によって撮像された車外の風景の映像データと、車内カメラ62の出力に基づいて注視点検出部82が演算して検出した注視点の座標とが、第2映像データ生成部77に与えられる。
 ステップs7では、第2映像データ生成部77は、検出された注視点の位置に対応してダッシュボード11によって遮られる観察者5の車外視界を再帰反射性スクリーン21に両眼立体視するための視差のある透明化映像データを生成する。透明化映像データは、表示制御部75の処理部81の働きによって、左右両眼の視差のある各透明化映像データが、左右の投影器22L、22Rの液晶表示素子31L、31Rに与えられ、再帰反射性スクリーン21に投影され、観察者5によって車外の風景の立体映像が、ウインドシールド12を介して見える車外の風景と繋がって、知覚される。注視点検出部82によって検出された注視点の座標は、表示制御部75、およびさらに表示設定部88に与えられる。透明化映像データが投影器22L、22Rによって投影されるとき、表示設定部88は、注視点検出部82によって検出された注視点に対応し、かつ、観察者5が透明化映像データの奥行きのある立体映像を見ることができるように、例えば、ステップs8へ進み、手前の位置に、空間像メモリ91の空間像M2を、表示部41、光学系48によって形成させる。あるいは、ステップs7で注視点検出部82によって検出された注視点が、例えば、もっと奥の位置であれば、ステップs9において空間像メモリ91の空間像M2を、表示部41、光学系48によって、その奥の位置に形成させる。このように観察者5が焦点を合わせる適正な位置が異なっても、メーターコンテンツのように再帰性投影面の立体映像を知覚させる場合、図1の光学系42によって手前に空間像M1を表示し、またウインドシールド12の窓越しに見える車外の風景を知覚する場合は、図2の光学系48によって奥側に空間像M2を表示して視線を誘導する。
 ダッシュボード11に表示される透明と知覚できる立体映像は、観察者5の焦点が車外に合ったときの眼の状態でダッシュボード11の映像を見たときに透明と知覚できるものとなっている。この観察者5の焦点が車外に合った状態となるように、すなわち、後述の図17、図18における観察者5の注視点101が物体A、BまたはCに存在し、透明化映像データを立体映像として見るために、注視点101に対応する位置に観察者5を誘導する必要があり、その誘導のために空間像M2を使う。したがって、空間像M2は車外に表示されている。透明と知覚できる立体映像を、正しくかつ自然に知覚させるために空間像M2を利用する。車外カメラ61の出力映像から観察者5の眼の位置に対応した映像データを作る。その映像データは視差が付いた映像データであり、視差量に対応して焦点を合わせる位置が決まってくるので、観察者5の焦点を、映像を正しく見える位置へ持って行かなければならない。そのため、空間像M2の表示場所は透明化映像データに対応して車長方向Yで決められた位置でなければならない。このように、ダッシュボード11上の再帰反射性スクリーン21にあたかも車外の物体が透けて見えるような透明化映像データがある場合、投影面より奥側に空間像M2を表示して焦点を、メーターコンテンツの表示の場合に比べて奥側へ誘導する。
 加えて、ダッシュボード11に表示される立体映像を実現するための視差のある映像データは、投影器22L、22Rと再帰性反射材25で決められた特定領域でのみクロストークなく正しく見える映像となるので、空間像M2によって、車幅方向Xと高さ方向Zでも視点位置を誘導する必要もあり、そのために、拡散板26が設けられる。
 第2映像データ生成部77の動作をさらに述べると、車両10に運転者である観察者5が乗車して始動し、車両10が運転状態になると、車外カメラ61によって車外の風景の撮像が開始されるとともに、視点検出部82によって運転席13に着座した観察者5の頭部の撮像が開始され、画像認識等によって視点、したがって、注視点の位置が空間座標として検出される。第2映像データ生成部77は、注視点検出部82から出力される注視点位置情報に応答して、観察者5の注視点位置に対応する立体映像のための視差のある映像データを生成して表示制御部75から投影器22L、22Rに与えて再帰反射性スクリーン21に投影して観察者5の注視点位置に対応した立体映像を表示し、同時にその立体映像が適正に見える位置でのみ視認できるように空間像M2を表示する。次に、ダッシュボード11上の映像が、焦点が手前で適正に見えるものなのか、焦点が奥側で適正に見えるものなのかを、ステップs7で判定する。ステップs7において手前で適正に見えるものであると判定したとき、ステップs8で空間像M2を手前に表示させ、ステップs7において奥側で適正に見えるものと判定したとき、ステップs9で空間像M2を奥側に表示する。ステップs8、s9の一部の詳細な動作は、図15を参照して後述する。
 図14は、表示制御部75の処理部81による図13のステップs4の動作の一部をさらに説明するためのフローチャートである。ステップa1からa2に移り、表示設定部88によって表示部41による空間像M1を結像して形成させる。その後、ステップa3で予め定める時間ΔTだけ経過して遅延した時点で、ステップa4に移る。ステップa4では、前述のとおり、映像メモリ72のメーターコンテンツの左右両眼の視差のある各映像データが、左右の投影器22L、22Rによって再帰反射性スクリーン21に投影され、観察者5によって、図10の参照符15で示されるとおり、立体映像が知覚される。空間像M1を先に表示し、時間ΔTだけ遅延してメーターコンテンツの左右両眼の視差のある各映像データを投影するので、観察者5は、空間像M1を見て、そこに注視点を移して左右両眼の水晶体による網膜上の焦点に空間像M1を結ばせ、その後、左右両眼の視差のある各映像データによる立体映像を知覚することになる。これによって、観察者5は立体映像を知覚することが容易である。時間ΔTは、例えば、0.1~0.5秒であってもよい。
 図15は、表示制御部75の処理部81による図13のステップs8の動作の一部をさらに説明するためのフローチャートである。ステップb1からb2に移り、車外カメラ61によって撮像された風景の映像データは、第2映像データ生成部77の車外映像メモリ78にストアされる。ステップb3では、車内カメラ62によって撮像された映像データによって、注視点検出部82は、観察者5の注視点の座標などを含むアイトラッキング情報を演算して検出する。ステップb4では、第2映像データ生成部77において、車外映像メモリ78の映像データおよび注視点の座標から、再帰反射性スクリーン21に投影するための視差のある透明化映像データを生成する。
 ステップb5では、透明化映像データの投影よりも先に空間像M2を投影して表示する。ステップb6では、空間像M2を形成した後、前述と同じように、時間ΔTだけ遅延して、ステップb7では、左右両眼の視差のある各透明化映像データが、左右の投影器22L、22Rによって再帰反射性スクリーン21に投影され、観察者5によって立体映像が知覚される。空間像M2を先に表示し、時間ΔTだけ遅延して車外の風景の左右両眼の視差のある各透明化映像データを投影するので、観察者5は、空間像M2を見た後、左右両眼の視差のある各透明化映像データによる立体映像を知覚することになるので、立体映像を知覚することが容易である。本開示の他の実施形態では、図14のステップa3および図15のステップb6の時間ΔTは零でもよい。本開示では、空間像形成部87による空間像M1、M2の結像、形成から予め定める時間ΔTの経過後に、投影器22L、22Rによるメーターコンテンツなどの予め定める映像データおよび透明化映像データを投影する表示遅延部(図14のステップa3、図15のステップb6)をさらに含む。
 図16は、第2映像データ生成部77における処理部80による左右両眼の視差のある各透明化映像データを生成する際、空間像M2を形成する位置の座標を演算して求める動作を説明するためのフローチャートである。ステップc1からc2に移り、注視点検出部82によって検出された注視点の位置などに基づいて、仮想基準面100A~100C(図18を参照、総括的に参照符100で示す)を設定する。
 図17は、視差のある各左右の透明化映像データを再帰反射性スクリーン21に投影する位置を説明する簡略化した平面図である。観察者5は、左右両眼EL、ERによって、ウインドシールド12を介して車外の物体Aを注視している。本開示では、説明を簡略にするために、XYZの直交3軸座標系におけるXY平面に関連して述べるが、Z軸に拡張して考察することは当業者に容易である。検出された注視点101は、この座標系における物体Aの存在する位置の座標(Px,Py)である。左右の各眼EL、ERの各視線102L、102Rは、これらの各視線102L、102Rを含む仮想平面内の注視点101で交差する。左右の視差のある透明化映像は、視線102L、102Rが再帰反射性スクリーン21を通る位置104L、104Rに、投影器22L、22Rによって投影される。
 再帰反射性スクリーン21への投影位置104L、104Rは、物体Aが存在する奥行き方向であるY方向および左右のX方向の位置の座標(Px,Py)によって異なる。投影位置104L、104Rは、(1)観察者5の左右両眼EL、ERの各位置の座標(Lx、Ly)、(Rx、Ry)を含むアイトラッキング情報、(2)左右両眼EL、ERと、遮蔽部であるダッシュボード11、したがって左右のX方向に延びる再帰反射性スクリーン21の位置(そのY軸の座標をWyとする)と左右両眼EL、ERとの間の距離、および(3)物体Aの位置の座標(Px,Py)などに基づいて計算することができる。両眼EL、ERの各位置は、各虹彩が開口した瞳孔の中心の位置であり、頭部の位置に近似できる。前記(1)アイトラッキング情報と前記(2)距離とは、車内カメラ62の出力から取得できる。前記(3)物体Aの位置は、車外カメラ61または物体検出用センサの出力から取得でき、また、注視点101の位置であるので、注視点検出部82によって取得できる。
 図17において、投影位置104L、104Rの座標は、次のとおり、得られる。投影位置104Lの座標は、
Figure JPOXMLDOC01-appb-I000001
であり、投影位置104Rの座標は、
Figure JPOXMLDOC01-appb-I000002
である。
 図18は、本開示によって空間像M2を形成する位置の座標を演算して求めるために用いる仮想基準面100A~100Cを説明する簡略化した平面図である。前述の図17における左右両眼EL、ERの各位置(Lx、Ly)、(Rx、Ry)を結ぶ線分の垂直2等分線を総括的に参照符106で示し、対応する図17、図18の各物体A~Cの参照符を添え字として付し、観察者視線と呼ぶ。観察者視線106は、車内カメラ62によるアイトラッキング情報から第2映像データ生成部77によって導出される。本開示の実施形態では、観察者5の眼EL、ERから各観察者視線106A~Cを辿る物体A~Cまでの距離のうち、最も短い、したがって、観察者5に最も近い物体(図18ではA)を基準として、その物体Aの座標(Px,Py)を通るXZ平面を、仮想基準面100Aとして設定して、図16のステップc2を実行する。このXZ平面は、物体Aのy座標Pyを含み、車長方向のY軸に垂直である。
 観察者視線106は、次の式1によって求めることができる。
Figure JPOXMLDOC01-appb-I000003
 こうして、アイトラッキング情報から、式1の観察者視線106を算出し、次に、観察者視線106と物体Aの距離から仮想基準面100Aを設定する。観察者5と物体Aの距離は、左右両眼EL、ERの位置(Lx、Ly)、(Rx、Ry)と物体Aの座標(Px,Py)とから、算出することができる。
 他の実施形態では、観察者5の眼EL、ERから各観察者視線106A~Cを辿る物体A~Cまでの距離のうち、予め定める距離以上離れた物体A~Cのうち、最も近い物体などを基準にしてもよい。
 図19は、空間像M2を形成する位置の座標を設定する第2映像データ生成部77の動作を説明する簡略化した平面図である。この動作は、図16のステップc3において実行される。設定された仮想基準面100Aに基づいて、再帰反射性スクリーン21の投影位置104、104R(図17)に投影するための視差のある透明化映像データを生成する。空間像M2を形成する位置の座標を求めるために、先ず、仮想直線108を設定する。この仮想直線108は、投影器22L、22Rの投影レンズ33L、33RのX方向の中点を通るY軸に平行な直線であり、観察者5が正面を向いている状態で左右両眼EL、ERの観察者視線106である。次に、仮想直線108と仮想基準面100(図19では100A)との交点の位置を演算し、この交点を、空間像M2を形成する位置の座標とする。したがって、第2映像データ生成部77は、検出された注視点の位置を通り、投影器22L、22Rの投影方向に延びる仮想直線108が垂直に交差する仮想基準面100上において、観察者5の両眼立体視するための視差のある透明化映像データを生成し、空間像形成部87は、透明化映像データが投影器22L、22Rによって投影されるとき、仮想基準面100上の前記交差する位置に、観察者5が見ることができる空間像M2を形成する。こうして、ステップc4では、第2映像データ生成部77によって空間像M2の形成される位置を設定し、表示設定部88は、空間像メモリ91から空間像M2のデータを読み出して、表示器47(図2)の投光器54に与え、検出された注視点に対応し、かつ、観察者5が透明化映像データの立体映像を見ることができる前記設定された位置に空間像M2が形成される。
 再帰反射性スクリーン21に投影される映像データを立体映像として知覚することができるためには、再帰反射性スクリーン21に関して左右両眼EL、ERの視点と左右の投影器22L、22Rの投影レンズ33L、33Rとが共役な位置関係が成立しなければならず、さもなければ、視差のある映像データのクロストークが大きく、明瞭な立体映像を見ることができない。再帰反射性スクリーン21と投影器22L、22Rとは、車両10に固定して設けられるので、立体映像として知覚することができる観察者5の左右両眼EL、ERの位置、したがって、その頭部の位置の適正な範囲111は、図19のハッチングを施して示す、或る定められる範囲に限られる。左右両眼EL、ER、頭部が、適正な範囲111から外に、参照符5aのとおり、存在するとき、仮想基準面100Aに形成される空間像M2を見ることができない。したがって、観察者5は空間像M2を見ることができなければ、見えるための適正な範囲111内に左右両眼EL、ER、頭部を移動することになる。こうして、空間像M2は、観察者5の左右両眼EL、ER、頭部を適正な範囲111内に誘導することになる。
 図20は、適正な範囲111のXY平面内の領域を規定する条件を説明するための平面図である。投影器22Lの投影レンズ33Lの予め定める座標(Ay,Ax)、左眼ELの検出される座標(Ly,Lx)、投影器22Lの光軸である往光路34Lが交点117で交差する再帰反射性スクリーン21によるX軸に垂直な面に関して面対称に拡散光が左右のX方向に拡がる境界線112、113の角度θh、投影器22Lの投影レンズ33Lと再帰反射性スクリーン21との間のY方向の距離Dpとするとき、境界線112は、次の式2によって求めることができる。投影器22Lの光軸は、往光路34Lに一致し、参照符34で示す。拡散光が拡がる境界線112、113は、光軸34を含むXY平面に垂直な面に関して対称である。
Figure JPOXMLDOC01-appb-I000004
 したがって、空間像M2が見える適正な範囲111における左右両眼EL、ERのX座標は、2つの式3、4が同時に成立する領域である。投影器22Lの光軸34と、それと平行な投影器22Rの光軸との間のX方向の距離をWとする。
Figure JPOXMLDOC01-appb-I000005
 図21は、適正な範囲111のYZ平面内の領域を規定する条件を説明するための平面図である。投影器22L、22Rの投影レンズ33L、33Rの予め定める座標(Ay,Az)、左右両眼EL、ERの検出される座標(Ry,Rz)、投影器22の往光路34Lの再帰反射性スクリーン21による拡散光が上下のZ方向に拡がる上下の境界線114、115の角度θv、前述のとおり、投影器22L、22Rの投影レンズ33L、33Rと再帰反射性スクリーン21との間のY方向の距離Dp、および投影器22L、22Rの光軸34のY軸との角度θpとするとき、光軸34は、次の式5によって求めることができる。拡散光が拡がる境界線114、115は、光軸34を含むYZ平面に垂直な面に関して対称である。
Figure JPOXMLDOC01-appb-I000006
 境界線115は、次の式6によって求めることができる。
Figure JPOXMLDOC01-appb-I000007
 ただし、bは次の式7のとおりである。
Figure JPOXMLDOC01-appb-I000008
 したがって、空間像M2が見える適正な範囲111における左右両眼EL、ERのZ座標は、式8が成立する領域である。式8のcは式9のとおりである。
Figure JPOXMLDOC01-appb-I000009
 適正な範囲111は、図20の境界線112、113をそれぞれ通るXY平面に垂直な2つの仮想平面と、図21の境界線114、115をそれぞれ通るYZ平面に垂直な仮想平面とで囲まれる、観察者5の頭部を含む3次元空間である。
 図10、図11に示されるとおり、車両10の左右のサイドピラー17L、17Rにも再帰反射性スクリーン18L,18Rが設けられる。左右に配置された2組の対を成す投影器19L、19R;20L、20Rによって、ウインドシールド12を介する車外の風景に繋がる車外映像データを、第2映像データ生成部77および表示制御部75の働きによって作り、再帰反射性スクリーン18L,18Rに立体表示することができる。
 図22は、本開示の他の実施形態の映像表示装置7の概略的構成を示す図である。この実施形態の映像表示装置7は、前述の図1の実施形態に類似し、対応する部分には同一の参照符を付して示す。車内用空間像表示装置8は、表示部41の発光表示面46の映像は、光学系56によって空間像M1を車内に実像で結像する。光学系56は、発光表示面46から放たれるY方向の映像光は、傾斜して配置されたプレート型ビームスプリッタ57を通過して、その奥に設置される再帰性反射材58で反射される。反射した光は同じ方向に戻ってくるが、その光は、ビームスプリッタ57で図22の上方のZ方向に反射され、その後、ウインドシールド12の車室側に凹状の表面で反射され、予め定める結像位置で結像する。こうして、光学系56によって結像された空間像M1の実像を観察者5が視認することができる。この空間像M1が結像して形成される予め定める位置は、観察者5の予め定める注視点の位置に対応し、かつ、観察者5がメーターコンテンツの立体映像を見ることができる適正位置であり、発光表示面46、ビームスプリッタ57、および反射鏡などを駆動部93によって移動して奥行きのY方向の予め定める位置に変えることができる。
 本開示によれば、次の実施形態(1)~(3)が可能である。
 (1) 再帰反射性スクリーン21と、
 再帰反射性スクリーン21に、観察者の左右の眼による立体映像を知覚させるための映像を投影する投影器22L、22Rと、
 予め定める注視点の位置に対応して予め定める映像を再帰反射性スクリーン21に両眼立体視するための両眼視差のある予め定める映像データを生成する映像データ生成部71と、
 空間像形成部87であって、
  予め定める空間像M1の映像データをストアし、
  映像データ生成部71からの前記予め定める映像データが投影器22L、22Rによって投影されるとき、前記予め定める注視点の位置に対応し、かつ、観察者が前記予め定める映像データの立体映像を見ることができる位置に空間像M1を形成する空間像形成部87と、を含む映像表示装置。
 (2) 風景、物体などの被撮像体を撮像する撮像部である車外カメラ61と、
 被撮像体が存在する空間を見る観察者の注視点の位置を検出する注視点検出部82と、
 再帰反射性スクリーン21と、
 再帰反射性スクリーン21に、観察者の左右の眼による立体映像を知覚させるための映像を投影する投影器22L、22Rと、
 撮像部である車外カメラ61と注視点検出部82との出力に応答し、検出された注視点の位置に対応して再帰反射性スクリーン21に両眼立体視するための視差のある映像データを生成する映像データ生成部77と、
 空間像形成部87であって、
  予め定める空間像M2の映像データをストアし、
  映像データ生成部77からの映像データが投影器22L、22Rによって投影されるとき、注視点検出部82によって検出された注視点に対応し、かつ、観察者が映像データの立体映像を見ることができる位置に空間像M2を形成する空間像形成部87と、を含む映像表示装置。
 (3) 空間像形成部87による空間像M1、M2の形成から予め定める時間ΔTの経過後に、投影器22L、22Rによる映像データを投影する表示遅延部をさらに含む、前記(1)または前記(2)の映像表示装置。
 本開示は次の実施の形態が可能である。
 本開示に係る映像表示装置は、
車両の周囲を撮像する車外撮像部と、
 車両の座席に着座した観察者の注視点の位置を検出する注視点検出部と、
 観察者の車外視界を遮る車両の遮蔽部に設けられるスクリーンと、
 スクリーンに、立体映像を投影する投影器と、
 第1映像データを生成する第1映像データ生成部と、
 車外撮像部から出力されるデータに基づいて第2映像データを生成する第2映像データ生成部と、
 前記スクリーンに第1映像データあるいは第2映像データのどちらを投影させるか切り換える切り換え部と、
 空間像形成部であって、
  予め定める空間像の映像データをストアし、切り換え部の出力に対応し、
  前記切り換え部により第1映像データを前記スクリーンに投影させるとき、予め定める注視点の位置に空間像を表示させ、
  第2映像データを前記スクリーンに投影させるとき、注視点検出部によって検出された注視点に対応し、かつ、観察者が第2映像データの映像を見ることができる位置に空間像を表示させる空間像形成部と、を含む構成とする。
 本開示に係る映像表示装置によれば、空間像形成部によって形成される空間像を観察者が視認することができるとき、観察者の左右両眼による注視点が、スクリーンに投影される映像を立体映像として知覚できる位置にあり、また、空間像形成部による空間像を視認することができないとき、観察者の注視点が、投影映像を立体映像として知覚できない位置にある。したがって、観察者は空間像形成部による空間像が見えるか否かによって、観察者の注視点の位置を立体映像が知覚可能な適正な位置となるように、いわば間接的に容易に誘導することができる。
 本件開示は、車両に関連して実施されるだけでなく、車両以外の分野において、再帰反射性スクリーンに左右両眼の視差のある映像データを投影器によって投影して立体映像を知覚させる映像表示装置に広範囲に実施できる。
1 映像表示装置
2 立体映像表示装置
3、8 車内用空間像表示装置
4 車外用空間像表示装置
5 観察者
7 映像表示装置
10 車両
11 ダッシュボード
12 ウインドシールド
13 運転席
21 再帰反射性スクリーン
22L、22R 投影器
31L、31R、44、53 透過形液晶表示素子
38L、38R 視線
41 表示部
42、48、56 光学系
43 空中光学結合素子
46、55 発光表示面
61 車外カメラ
62 車内カメラ
71 第1映像データ生成部
75 表示制御部
77 第2映像データ生成部
82 注視点検出部
84 動作モード選択部
86 表示切り換え部
87 空間像形成部
88 表示設定部
90 空間像データ生成部
93、94 駆動部
100、100A~100C 仮想基準面
101 注視点
102L、102R 視線
106 観察者視線
108 仮想直線
M1、M2 空間像
EL、ER 眼

Claims (7)

  1.  車両の周囲を撮像する車外撮像部と、
     車両の座席に着座した観察者の注視点の位置を検出する注視点検出部と、
     観察者の車外視界を遮る車両の遮蔽部に設けられるスクリーンと、
     スクリーンに、立体映像を投影する投影器と、
     第1映像データを生成する第1映像データ生成部と、
     車外撮像部から出力されるデータに基づいて第2映像データを生成する第2映像データ生成部と、
     前記スクリーンに第1映像データあるいは第2映像データのどちらを投影させるか切り換える切り換え部と、
     空間像形成部であって、
      予め定める空間像の映像データをストアし、切り換え部の出力に対応し、
      前記切り換え部により第1映像データを前記スクリーンに投影させるとき、予め定める注視点の位置に空間像を表示させ、
      第2映像データを前記スクリーンに投影させるとき、注視点検出部によって検出された注視点に対応し、かつ、観察者が第2映像データの映像を見ることができる位置に空間像を表示させる空間像形成部と、を含む映像表示装置。
  2.  前記第1映像データが、前記スクリーンに映し出される予め定めた立体視可能なデータであり、
     前記第2映像データが、前記スクリーンに映し出される立体視可能な透明化映像データである、請求項1に記載の映像表示装置。
  3.  前記スクリーンが再帰性反射スクリーンであり、
     前記空間像が表示される位置は前記スクリーンの表示される映像データの立体映像が見ることのできる位置である、請求項2に記載の映像表示装置。
  4.  車両には、座席の前方に、車室側に凹状の表面を有する透明なウインドシールドが設けられ、
     空間像形成部は、
     前記第1映像データが投影器によって投影されるとき、
     第1映像データ生成部からの空間像の映像データを表示する発光表示面を有する表示部と、
     発光表示面に表示された映像をウインドシールドの凹状の表面によって反射して、観察者が見ることができる実像として結像する光学素子とを含む、請求項1~3のいずれか1項に記載の映像表示装置。
  5.  第2映像データ生成部は、
     検出された注視点の位置を通り、投影器の投影方向に延びる仮想直線が垂直に交差する仮想基準面上において、観察者の両眼立体視するための視差のある第2映像データを生成し、
     空間像形成部は、
     第2映像データが投影器によって投影されるとき、
     仮想基準面上の前記交差する位置に、観察者が見ることができる空間像を形成する、請求項1~3のいずれか1項に記載の映像表示装置。
  6.  車両には、座席の前方に、車室側に凹状の表面を有する透明なウインドシールドが設けられ、
     空間像形成部は、
      第2映像データが投影器によって投影されるとき、空間像の画像を表示する発光表示面を有する表示部と、
      凹面鏡を有し、発光表示面に表示された画像を凹面鏡とウインドシールドの凹状の表面とによって反射して、観察者が見ることができる虚像として形成する光学系とを含む、請求項5に記載の映像表示装置。
  7.  空間像形成部による空間像の形成から予め定める時間の経過後に、投影器による前記第1映像データおよび第2映像データを投影する表示遅延部をさらに含む、請求項1~6のいずれか1項に記載の映像表示装置。
PCT/JP2022/022391 2021-06-02 2022-06-01 映像表示装置 WO2022255424A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP22816169.1A EP4328654A1 (en) 2021-06-02 2022-06-01 Video display device
JP2023525900A JPWO2022255424A1 (ja) 2021-06-02 2022-06-01

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-093127 2021-06-02
JP2021093127 2021-06-02

Publications (1)

Publication Number Publication Date
WO2022255424A1 true WO2022255424A1 (ja) 2022-12-08

Family

ID=84324112

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/022391 WO2022255424A1 (ja) 2021-06-02 2022-06-01 映像表示装置

Country Status (3)

Country Link
EP (1) EP4328654A1 (ja)
JP (1) JPWO2022255424A1 (ja)
WO (1) WO2022255424A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001042251A (ja) 1999-08-04 2001-02-16 Minolta Co Ltd 映像表示装置
JP2006044596A (ja) 2004-08-09 2006-02-16 Denso Corp 車両用表示装置
JP2006088722A (ja) * 2004-09-21 2006-04-06 Nissan Motor Co Ltd 車両用表示装置および車両用表示方法
JP2011070074A (ja) * 2009-09-28 2011-04-07 Stanley Electric Co Ltd ヘッドアップディスプレイ
WO2017013739A1 (ja) * 2015-07-21 2017-01-26 三菱電機株式会社 表示制御装置、表示装置および表示制御方法
WO2019097918A1 (ja) * 2017-11-14 2019-05-23 マクセル株式会社 ヘッドアップディスプレイ装置およびその表示制御方法
US20200073120A1 (en) * 2016-12-05 2020-03-05 Continental Automotive Gmbh Head-Up Display
JP2020116965A (ja) * 2019-01-18 2020-08-06 矢崎総業株式会社 車両用表示装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001042251A (ja) 1999-08-04 2001-02-16 Minolta Co Ltd 映像表示装置
JP2006044596A (ja) 2004-08-09 2006-02-16 Denso Corp 車両用表示装置
JP2006088722A (ja) * 2004-09-21 2006-04-06 Nissan Motor Co Ltd 車両用表示装置および車両用表示方法
JP2011070074A (ja) * 2009-09-28 2011-04-07 Stanley Electric Co Ltd ヘッドアップディスプレイ
WO2017013739A1 (ja) * 2015-07-21 2017-01-26 三菱電機株式会社 表示制御装置、表示装置および表示制御方法
US20200073120A1 (en) * 2016-12-05 2020-03-05 Continental Automotive Gmbh Head-Up Display
WO2019097918A1 (ja) * 2017-11-14 2019-05-23 マクセル株式会社 ヘッドアップディスプレイ装置およびその表示制御方法
JP2020116965A (ja) * 2019-01-18 2020-08-06 矢崎総業株式会社 車両用表示装置

Also Published As

Publication number Publication date
JPWO2022255424A1 (ja) 2022-12-08
EP4328654A1 (en) 2024-02-28

Similar Documents

Publication Publication Date Title
US10162175B2 (en) Dual head-up display apparatus
US8708498B2 (en) Display apparatus for vehicle and display method
JP7003925B2 (ja) 反射板、情報表示装置および移動体
US20160209647A1 (en) Vehicle vision system with light field monitor
WO2015146042A1 (ja) 画像表示装置
JPH09105885A (ja) 頭部搭載型の立体画像表示装置
WO2015145933A1 (ja) 虚像表示装置、ヘッドアップディスプレイシステム及び乗物
JP2009008722A (ja) 3次元ヘッドアップディスプレイ装置
JP2022525561A (ja) 同心ライトフィールドおよび単眼から両眼への混成を提供するディスプレイシステム
US9684166B2 (en) Motor vehicle and display of a three-dimensional graphical object
JP2011180351A (ja) ヘッドアップディスプレイ装置
CN219676374U (zh) 显示装置、抬头显示装置和交通工具
WO2022255424A1 (ja) 映像表示装置
JP2021067909A (ja) 立体表示装置及びヘッドアップディスプレイ装置
JP2994960B2 (ja) 虚像式立体画像表示装置
WO2022181767A1 (ja) 画像表示装置
JP7424823B2 (ja) 画像表示装置
JP6677387B2 (ja) 立体画像表示装置及び立体画像表示方法
WO2023228770A1 (ja) 画像表示装置
CN112526748A (zh) 一种抬头显示设备、成像***和车辆
JP4595485B2 (ja) 映像表示システム
JP2001356298A (ja) 立体映像表示装置
JP6995294B1 (ja) 自動車のための、表示装置の映像の視認がステアリングホイール等の障害物によって阻害されない操縦システム
WO2023233919A1 (ja) 画像投影システム
CN210666207U (zh) 一种抬头显示设备、成像***和车辆

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22816169

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023525900

Country of ref document: JP

Ref document number: 2022816169

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 18564645

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2022816169

Country of ref document: EP

Effective date: 20231122

NENP Non-entry into the national phase

Ref country code: DE