WO2018105533A1 - 画像投影装置、画像表示装置、および移動体 - Google Patents

画像投影装置、画像表示装置、および移動体 Download PDF

Info

Publication number
WO2018105533A1
WO2018105533A1 PCT/JP2017/043367 JP2017043367W WO2018105533A1 WO 2018105533 A1 WO2018105533 A1 WO 2018105533A1 JP 2017043367 W JP2017043367 W JP 2017043367W WO 2018105533 A1 WO2018105533 A1 WO 2018105533A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
correction information
subject
control unit
eye
Prior art date
Application number
PCT/JP2017/043367
Other languages
English (en)
French (fr)
Inventor
薫 草深
心 三浦
林 佑介
聡 川路
Original Assignee
京セラ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2016237877A external-priority patent/JP6665077B2/ja
Priority claimed from JP2016237832A external-priority patent/JP6688213B2/ja
Priority claimed from JP2016237825A external-priority patent/JP6688212B2/ja
Priority claimed from JP2017132220A external-priority patent/JP6799507B2/ja
Application filed by 京セラ株式会社 filed Critical 京セラ株式会社
Priority to KR1020197016407A priority Critical patent/KR102176902B1/ko
Priority to US16/467,917 priority patent/US11221481B2/en
Priority to EP17879607.4A priority patent/EP3554069B1/en
Priority to CN201780076282.5A priority patent/CN110073658B/zh
Publication of WO2018105533A1 publication Critical patent/WO2018105533A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/388Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
    • H04N13/39Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume the picture elements emitting light at places where a pair of light beams intersect in a transparent material
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/30Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving parallax barriers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/275Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/327Calibration thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/363Image reproducers using image projection screens
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/383Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/011Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0132Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems

Definitions

  • the present disclosure relates to an image projection device, an image display device, a moving body, a three-dimensional projection device, and a three-dimensional projection system.
  • An image projection device includes a display unit, at least one second optical member, and a control unit.
  • the display unit displays an image obtained by viewing a polygon on which a texture is projected from a virtual camera.
  • the second optical member projects the image onto the first optical member and causes the subject to visually recognize a virtual image of the image.
  • the control unit dynamically corrects the polygon according to the position of both eyes of the subject.
  • the image display device includes a display unit and a control unit.
  • the display unit displays an image obtained by viewing a polygon on which a texture is projected from a virtual camera.
  • the control unit dynamically corrects the polygon according to the position of both eyes of the subject.
  • a moving body includes a first optical member, a display unit, at least one second optical member, and a control unit.
  • the display unit displays an image obtained by viewing a polygon on which a texture is projected from a virtual camera.
  • the second optical member projects the image onto the first optical member and causes the subject to visually recognize a virtual image of the image.
  • the control unit dynamically corrects the polygon according to the position of both eyes of the subject.
  • a three-dimensional projection apparatus includes a display unit, an optical element, an optical member, and a control unit.
  • the display unit includes a display surface having a plurality of sub-pixels arranged in a grid pattern along a first direction and a second direction substantially orthogonal to the first direction.
  • the optical element defines a light beam direction of image light emitted from the sub-pixel for each of a plurality of strip-like regions extending in the second direction on the display surface.
  • the optical member projects the image light whose light beam direction is defined by the optical element so that a virtual image of the display surface is formed.
  • the said control part acquires the information regarding a subject's eye position, and correct
  • a 3D projection system includes a detection device and a 3D projection device.
  • the detection device detects the position of the eye of the subject.
  • the three-dimensional projection apparatus includes a display unit, an optical element, an optical member, and a control unit.
  • the display unit includes a display surface having a plurality of sub-pixels arranged in a grid pattern along a first direction and a second direction substantially orthogonal to the first direction.
  • the optical element defines a light beam direction of image light emitted from the sub-pixel for each of a plurality of strip-like regions extending in the second direction on the display surface.
  • the optical member projects the image light whose light beam direction is defined by the optical element so that a virtual image of the display surface is formed.
  • the control unit acquires information related to the eye position from the detection device, and corrects an image to be displayed on the display surface and the optical element in accordance with the eye position.
  • a moving body includes a three-dimensional projection system.
  • the three-dimensional projection system includes a detection device and a three-dimensional projection device.
  • the detection device detects the position of the eye of the subject.
  • the three-dimensional projection apparatus includes a display unit, an optical element, an optical member, and a control unit.
  • the display unit includes a display surface having a plurality of sub-pixels arranged in a grid pattern along a first direction and a second direction substantially orthogonal to the first direction.
  • the optical element defines a light beam direction of image light emitted from the sub-pixel for each of a plurality of strip-like regions extending in the second direction on the display surface.
  • the optical member projects the image light whose light beam direction is defined by the optical element so that a virtual image of the display surface is formed.
  • the control unit acquires information related to the eye position from the detection device, and corrects an image to be displayed on the display surface and the optical element in accordance with the eye position.
  • An image projection device includes a display unit, at least one second optical member, and a control unit.
  • the display unit displays an image.
  • the second optical member projects the image onto the first optical member and causes the subject to visually recognize a virtual image of the image.
  • the control unit dynamically corrects the image to be displayed on the display unit according to the position of both eyes of the subject.
  • the image display device includes a display unit and a control unit.
  • the display unit displays an image.
  • a moving body includes a first optical member, a display unit, at least one second optical member, and a control unit.
  • the display unit displays an image.
  • the second optical member projects the image onto the first optical member and causes the subject to visually recognize a virtual image of the image.
  • the control unit dynamically corrects the image to be displayed on the display unit according to the position of both eyes of the subject.
  • An image projection device includes a display unit, at least one second optical member, and a control unit.
  • the display unit displays a plurality of images.
  • the second optical member projects the plurality of images onto the first optical member, and causes the subject to visually recognize virtual images of the plurality of images.
  • the control unit dynamically corrects each of the plurality of images to be displayed on the display unit according to the positions of both eyes of the subject.
  • the image display device includes a display unit and a control unit.
  • the display unit displays a plurality of images.
  • the control unit dynamically corrects each of the plurality of images to be displayed on the display unit according to the positions of both eyes of the subject.
  • a moving body includes a first optical member, a display unit, at least one second optical member, and a control unit.
  • the display unit displays a plurality of images.
  • the second optical member projects the plurality of images onto the first optical member and causes a subject to visually recognize virtual images of the plurality of images.
  • the control unit dynamically corrects each of the plurality of images to be displayed on the display unit according to the positions of both eyes of the subject.
  • the convenience of the technique for allowing the subject to visually recognize the virtual image is improved.
  • FIG. 11 It is a flowchart which shows the 3rd operation
  • FIG. 10 is a flowchart illustrating an example of a processing flow in which the three-dimensional display device illustrated in FIG. 10 determines a weighting factor.
  • 11 is a flowchart illustrating an example of a processing flow in which the three-dimensional display device illustrated in FIG. 10 projects a three-dimensional image.
  • a first embodiment of the present disclosure will be described. Conventionally, it is desired to improve the convenience of a technique for allowing a subject to visually recognize a virtual image.
  • the present disclosure relates to an image projection device, an image display device, and a moving body that improve the convenience of a technique for allowing a subject to visually recognize a virtual image. According to the image projection device, the image display device, and the moving body according to the present embodiment, the convenience of the technique for allowing the subject to visually recognize the virtual image is improved.
  • the moving body 10 includes an imaging device 11 and an image projection device 12.
  • the “mobile body” in the present disclosure may include, for example, a vehicle, a ship, an aircraft, and the like.
  • the vehicle may include, for example, an automobile, an industrial vehicle, a railway vehicle, a living vehicle, and a fixed wing aircraft that runs on a runway.
  • Automobiles may include, for example, passenger cars, trucks, buses, motorcycles, trolley buses, and the like.
  • Industrial vehicles may include, for example, industrial vehicles for agriculture and construction.
  • Industrial vehicles may include, for example, forklifts and golf carts.
  • Industrial vehicles for agriculture may include, for example, tractors, cultivators, transplanters, binders, combiners, lawn mowers, and the like.
  • Industrial vehicles for construction may include, for example, bulldozers, scrapers, excavators, crane trucks, dump trucks, road rollers, and the like.
  • the vehicle may include a vehicle that travels manually.
  • the classification of the vehicle is not limited to the example described above.
  • an automobile may include an industrial vehicle capable of traveling on a road.
  • the same vehicle may be included in multiple classifications.
  • Ships may include, for example, marine jets, boats, tankers, and the like.
  • Aircraft may include, for example, fixed wing aircraft and rotary wing aircraft.
  • the imaging device 11 may include, for example, a CCD (Charge Coupled Device) image sensor or a CMOS (Complementary Metal Oxide Semiconductor) image sensor.
  • the imaging device 11 can capture the face of the target person 13.
  • the imaging range of the imaging device 11 includes at least an eye box 16 described later.
  • the target person 13 may include a driver of the moving body 10, for example.
  • the position of the imaging device 11 is arbitrary inside and outside the moving body 10.
  • the imaging device 11 is located in the dashboard of the moving body 10.
  • the imaging device 11 can generate a captured image and output it to an external device.
  • the output of the captured image may be performed through, for example, wired, wireless, and CAN (Controller Area ⁇ Network).
  • the image projecting device 12 may constitute at least a part of a head-up display that causes the subject 13 to visually recognize a virtual image 14 of a desired image.
  • the position of the image projection device 12 is arbitrary inside and outside the moving body 10.
  • the image projection device 12 is located in the dashboard of the moving body 10.
  • the image projection device 12 projects an image on the first optical member 15 provided in the moving body 10.
  • the image projection device 12 may emit image projection light toward a predetermined region of the first optical member 15. Details of the image projection light will be described later.
  • the first optical member 15 may include a windshield and a combiner. When the image projection device 12 includes the first optical member 15, the image projection device 12 may constitute a head-up display.
  • the image projection light reflected by the predetermined area of the first optical member 15 reaches the eye box 16.
  • the eye box 16 is an area in the real space where it is assumed that the eye of the subject 13 can be present in consideration of, for example, the physique, posture, and posture change of the subject 13.
  • the shape of the eye box 16 is arbitrary.
  • the eye box 16 may include a planar or stereoscopic area.
  • a solid line arrow shown in FIG. 1 indicates a path through which a part of the image projection light emitted from the image projection device 12 reaches the eye box 16.
  • a path along which light travels is also referred to as an optical path.
  • the optical path may include at least one of an optical element that transmits light and an optical element that reflects light.
  • the image projector 12 will be described in detail with reference to FIG.
  • the image projection device 12 includes an image display device 17 and one or more second optical members 18.
  • FIG. 2 illustrates a configuration in which the image projection device 12 includes two second optical members 18a and 18b.
  • FIG. 2 schematically illustrates an example of the configuration of the image projector 12.
  • the size, shape, arrangement, and the like of the image projecting device 12 and each component of the image projecting device 12 are not limited to the example shown in FIG.
  • the image display device 17 may be able to display an arbitrary image.
  • the image display device 17 emits image projection light inside the image projection device 12.
  • the image projection light may include light for projecting an image displayed by the image display device 17.
  • the detailed configuration of the image display device 17 will be described later.
  • the second optical member 18 projects the image displayed on the image display device 17 onto the first optical member 15 and causes the subject 13 to visually recognize the virtual image 14 of the image. Specifically, the second optical member 18 causes the image projection light emitted from the image display device 17 to reach the outside of the image projection device 12. In the example shown in FIG. 2, the second optical members 18 a and 18 b cause the image projection light emitted from the image display device 17 to reach the outside of the image projection device 12.
  • the second optical member 18 may include a lens or a mirror.
  • each of the second optical members 18a and 18b may include a mirror.
  • At least one of the second optical members 18a and 18b may include a lens.
  • One of the second optical members 18a and 18b may be a mirror and the other may be a lens.
  • a solid arrow shown in FIG. 2 indicates that a part of the image projection light emitted from the image display device 17 is reflected by the second optical members 18a and 18b, and the window provided in the housing of the image projection device 12 is displayed. A path that passes through and reaches the outside of the image projector 12 is shown. The image projection light that has reached the outside of the image projection device 12 reaches a predetermined region of the first optical member 15 provided in the moving body 10 as shown in FIG.
  • the second optical member 18 may function as a magnifying optical system for magnifying an image displayed on the image display device 17.
  • at least one of the second optical members 18a and 18b may be a mirror having a convex shape or a concave shape on at least a part of the surface on which the image projection light reaches.
  • At least one of the second optical members 18a and 18b may be a lens having a convex shape or a concave shape on at least a part of a surface on which image projection light is incident or emitted.
  • At least a part of the convex shape and the concave shape may be a spherical shape or an aspherical shape.
  • the image display device 17 includes a substrate 19, a light source element 20, a third optical member 21, a fourth optical member 22, a display unit 23, a communication unit 24, a storage unit 25, and a control unit 26.
  • the substrate 19, the light source element 20, the third optical member 21, and the fourth optical member 22 may be configured as one light source device 27.
  • the image display device 17 includes a light source device 27, a display unit 23, a communication unit 24, a storage unit 25, and a control unit 26.
  • the substrate 19, the light source element 20, the third optical member 21, the fourth optical member 22, the display unit 23, the communication unit 24, the storage unit 25, and the control unit 26 are fixedly arranged inside the image display device 17. Good.
  • the light source element 20 may be disposed on the substrate 19.
  • FIG. 3 schematically shows an example of the configuration of the image display device 17.
  • the size, shape, arrangement, and the like of the image display device 17 and each component of the image display device 17 are not limited to the example shown in FIG.
  • the light source element 20 may include, for example, one or more light emitting diodes (LED: Light Emission Diode) or one or more laser devices.
  • the light source element 20 emits light according to the control of the control unit 26.
  • a solid line arrow extending from the light source element 20 indicates a path along which a part of the light emitted from the light source element 20 travels.
  • at least a part of the light emitted from the light source element 20 is also simply referred to as light from the light source element 20.
  • the third optical member 21 is located in the direction in which the light from the light source element 20 travels relative to the position of the light source element 20.
  • the third optical member 21 is located in the right direction of the light source element 20.
  • the third optical member 21 includes, for example, a collimator lens.
  • the third optical member 21 collimates light incident from the light source element 20.
  • the collimated light may be light traveling in a direction substantially parallel to the optical axis direction of the third optical member 21.
  • the fourth optical member 22 is positioned in the direction in which the light from the light source element 20 travels with respect to the position of the third optical member 21.
  • the fourth optical member 22 is located to the right of the third optical member 21.
  • the fourth optical member 22 includes, for example, a lens.
  • the fourth optical member 22 may include, for example, a Fresnel lens.
  • the fourth optical member 22 may be fixedly disposed inside the image display device 17 so that the optical axis of the fourth optical member 22 and the optical axis of the third optical member 21 substantially coincide with each other.
  • the optical axis of the third optical member 21 or the optical axis of the fourth optical member 22 is also referred to as the optical axis of the image display device 17 or the optical axis of the light source device 27.
  • the traveling direction of the image projection light emitted from the image display device 17 and the optical axis direction of the image display device 17 may be substantially parallel.
  • the fourth optical member 22 may refract at least a part of the light collimated through the third optical member 21 in a desired traveling direction.
  • the display unit 23 includes a transmissive liquid crystal device such as an LCD (Liquid Crystal Display) and a MEMS (Micro Electro Mechanical Systems) shutter display.
  • the display unit 23 is positioned in the direction in which the light from the light source element 20 travels with respect to the position of the fourth optical member 22.
  • the display unit 23 is located on the right side of the fourth optical member 22.
  • the light source element 20, the third optical member 21, the fourth optical member 22, and the display unit 23 are arranged in this order along the optical axis of the image display device 17. It's okay.
  • the light emitted from the display unit 23 is also referred to as image projection light.
  • the communication unit 24 may include a communication interface capable of communicating with an external device.
  • the external device may include the imaging device 11, for example.
  • the “communication interface” in the present disclosure may include, for example, a physical connector and a wireless communication device.
  • the physical connector may include an electrical connector that supports transmission using an electrical signal, an optical connector that supports transmission using an optical signal, and an electromagnetic connector that supports transmission using electromagnetic waves.
  • the electrical connector is a connector conforming to IEC 60603, a connector conforming to the USB standard, a connector corresponding to the RCA terminal, a connector corresponding to the S terminal defined in EIAJ CP-1211A, and a D terminal defined in EIAJ RC-5237.
  • a connector corresponding to a coaxial cable including a corresponding connector, a connector conforming to the HDMI (registered trademark) standard, and a BNC (British NavalorConnector or Baby-series N Connector) may be included.
  • the optical connector may include various connectors conforming to IEC 61754.
  • the wireless communication device may include a wireless communication device that conforms to standards including Bluetooth (registered trademark) and IEEE802.11.
  • the wireless communication device includes at least one antenna.
  • the storage unit 25 may include a temporary storage device and a secondary storage device.
  • the storage unit 25 may be configured using, for example, a semiconductor memory, a magnetic memory, an optical memory, or the like.
  • the semiconductor memory may include volatile memory and non-volatile memory.
  • the magnetic memory may include, for example, a hard disk and a magnetic tape.
  • the optical memory may include, for example, a CD (Compact Disc), a DVD (Digital Versatile Disc), and a BD (Blu-ray (registered trademark) Disc) (registered trademark).
  • the storage unit 25 stores various information and programs necessary for the operation of the image display device 17.
  • the storage unit 25 may store a plurality of correction information respectively corresponding to a plurality of positions in the real space.
  • each of the plurality of positions is also referred to as a reference position. Details of the correction information will be described later.
  • FIG. 4 shows n pieces of correction information P1-Pn respectively corresponding to n reference positions in the real space.
  • Each of the n reference positions may be indicated by three-dimensional orthogonal coordinates or three-dimensional polar coordinates with an arbitrary position on the moving body 10 as the origin.
  • the reference position in the real space corresponding to each correction information may exist inside or outside the eye box 16.
  • the plurality of reference positions may include the positions of eight vertices in the hexahedron.
  • the plurality of reference positions may include the positions of eight vertices in the first hexahedron that includes the eye box 16 and is larger than the eye box 16.
  • the plurality of reference positions may include the positions of eight vertices in a second hexahedron that is included in the eye box 16 and is smaller than the eye box 16.
  • a plurality of second hexahedrons may be included in the eye box 16.
  • the plurality of reference positions may include any position inside or on the side of the first hexahedron or the second hexahedron.
  • the storage unit 25 may store a plurality of correction information respectively corresponding to a plurality of reference positions existing in the eye box 16.
  • the subject 13 can visually recognize the virtual image 14 displayed on the display unit 23 by the image projection light reflected by the first optical member 15 and reaching the eye box 16.
  • the surface shape of the first optical member 15 is designed according to the moving body 10 to be attached, for example, and is not necessarily a planar shape. Further, when the first optical member 15 is attached to the moving body 10, a force such as bending or twisting is applied to the first optical member 15 due to the rigidity of the moving body 10, and the first optical member 15 may be distorted. For this reason, the shape of the virtual image 14 visually recognized by the subject 13 can be distorted according to the position of the eye of the subject 13 who visually recognizes the virtual image 14.
  • the correction information is used for correcting distortion of the shape of the virtual image 14 according to the position of the eye of the subject 13.
  • the correction information may include information for deforming the image displayed on the display unit 23 so as to reduce the distortion of the shape of the virtual image 14.
  • the correction information may include information indicating the shift amounts of a plurality of feature points on the image displayed on the display unit 23.
  • the arrangement of the plurality of feature points on the image may be arbitrarily determined.
  • the plurality of feature points may be arranged in a grid pattern with an arbitrary interval.
  • the plurality of feature points may correspond to a plurality of pixels that display an image.
  • the image displayed on the display unit 23 is deformed such that each of a plurality of feature points on the image moves by the shift amount indicated by the correction information.
  • the image displayed on the display unit 23 can be uniformly or non-uniformly deformed and displayed on the display unit 23 by the correction using the correction information.
  • the subject 13 can visually recognize the virtual image 14 with reduced distortion by the image projection light of the image deformed based on the correction information.
  • the correction information can be determined by, for example, experiments or simulations.
  • the control unit 26 includes one or more processors.
  • the processor may include a general-purpose processor that reads a specific program and executes a specific function, and a dedicated processor specialized for a specific process.
  • the dedicated processor may include an application specific integrated circuit (ASIC).
  • the processor may include a programmable logic device (PLD).
  • the PLD may include an FPGA (Field-Programmable Gate Array).
  • the control unit 26 may be one of SoC (System-on-a-Chip) and SiP (System-In-a-Package) in which one or more processors cooperate.
  • the control unit 26 controls the operation of the entire light source device 27.
  • the control unit 26 controls the driving power of the light source element 20 to cause the light source element 20 to emit light.
  • the control unit 26 causes the display unit 23 to display an image.
  • the image may include characters or graphics.
  • the control unit 26 acquires a captured image obtained by capturing the target person 13 from the imaging device 11 via the communication unit 24.
  • the control unit 26 detects the positions of both eyes of the target person 13 in the real space based on the acquired captured image.
  • Arbitrary algorithms using captured images can be used to detect the positions of both eyes of the subject 13 in the real space.
  • the storage unit 25 associates the combination of the face position, face direction, and face size of the target person 13 on the captured image with the positions of both eyes of the target person 13 in the real space.
  • Information is stored in advance. Correspondence information can be determined, for example, by experiment or simulation. The correspondence information may be stored as a lookup table, for example.
  • the control unit 26 detects the face position, face direction, and face size of the subject 13 on the captured image.
  • the control unit 26 sets the binocular position of the target person 13 in the real space corresponding to the combination of the face position, face direction, and face size of the target person 13 on the detected captured image. Extract from The control unit 26 detects the extracted position as the position of both eyes of the subject 13 in the real space.
  • the control unit 26 dynamically corrects the image to be displayed on the display unit 23 according to the detected positions of both eyes.
  • Image correction may include, for example, image deformation. Any algorithm that corrects the image can be employed. Hereinafter, two different algorithms will be described in detail.
  • the third correction information is based on the first correction information corresponding to the position of the right eye of the target person 13 and the second correction information corresponding to the position of the left eye of the target person 13. Generated.
  • the display image displayed on the display unit 23 is dynamically corrected based on the generated third correction information. This will be specifically described below.
  • the control unit 26 determines first correction information corresponding to the position of the right eye of the subject 13. For example, the control unit 26 may determine the first correction information corresponding to the position of the right eye of the target person 13 by selecting from among a plurality of correction information stored in the storage unit 25. Alternatively, the control unit 26 may determine the first correction information corresponding to the position of the right eye of the target person 13 based on two or more correction information. An arbitrary algorithm can be employed for generating the first correction information.
  • the right eye R of the subject 13 is located inside a hexahedron whose apexes are eight reference positions each associated with correction information.
  • the control unit 26 generates first correction information corresponding to the position of the right eye R by interpolation based on two or more correction information among the eight correction information existing in the vicinity of the right eye R. To do.
  • the right eye R of the subject 13 is located outside the hexahedron whose apexes are eight reference positions each associated with correction information.
  • the control unit 26 extrapolates the first correction information corresponding to the position of the right eye R based on two or more correction information among the eight correction information existing in the vicinity of the right eye R. To do.
  • the first correction information is generated by interpolation or extrapolation. For this reason, the number of reference positions where correction information should be stored can be reduced, and the amount of correction information to be stored in the storage unit 25 can be reduced.
  • the control unit 26 determines second correction information corresponding to the position of the left eye of the subject 13. For example, the control unit 26 may determine the second correction information corresponding to the position of the left eye of the target person 13 by selecting from among a plurality of correction information stored in the storage unit 25. Alternatively, the control unit 26 may determine the second correction information corresponding to the position of the left eye of the target person 13 based on two or more correction information. The generation of the second correction information may be performed in the same manner as the generation of the first correction information described above. For example, as illustrated in FIG. 5, when the left eye L of the subject 13 is located inside the hexahedron, the control unit 26 generates second correction information corresponding to the position of the left eye L by interpolation. For example, as illustrated in FIG. 6, when the left eye L of the subject 13 is located outside the hexahedron, the control unit 26 generates second correction information corresponding to the position of the left eye L by extrapolation.
  • the control unit 26 generates third correction information based on the first correction information and the second correction information.
  • An arbitrary algorithm may be employed for generating the third correction information.
  • the control unit 26 weights each of the first correction information and the second correction information to generate the third correction information.
  • the shift amount S3 of the feature point on the image indicated in the third correction information is determined by the following equation (1).
  • S3 ⁇ ⁇ S1 + (1 ⁇ ) ⁇ S2 (1)
  • represents a weighting coefficient indicating a value between 0 and 1.
  • S1 indicates the shift amount of the feature point indicated in the first correction information.
  • S2 indicates the shift amount of the feature point indicated in the second correction information.
  • the shift amount S1 + 10 of a certain feature point
  • the shift amount S2 ⁇ 10 of the feature point
  • the weighting factor ⁇ may be arbitrarily determined in the range of 0 to 1.
  • the weighting factor ⁇ may be determined in advance.
  • the weight coefficient ⁇ may be determined in consideration of the dominant eye of the subject 13.
  • the determination of the weighting factor ⁇ in consideration of the priority of the subject 13 may be performed before the subject 13 drives the moving body 10, for example.
  • the control unit 26 acquires a captured image obtained by capturing the subject 13.
  • the control unit 26 detects the positions of both eyes of the subject 13 in the real space.
  • the control unit 26 determines the first correction information and the second correction information based on the detected positions of both eyes.
  • the control unit 26 sets the weight coefficient ⁇ to an initial value.
  • the control unit 26 generates third correction information based on the first correction information, the second correction information, and the weighting factor ⁇ .
  • the control unit 26 causes the display unit 23 to display the reference image corrected using the generated third correction information.
  • Any image can be adopted as the reference image.
  • the reference image may include a plurality of lines arranged in a square, a circle, or a grid.
  • the control unit 26 changes the weighting factor ⁇ in accordance with, for example, a user operation by the target person 13.
  • the control unit 26 newly generates third correction information based on the first correction information, the second correction information, and the changed weighting factor ⁇ .
  • the control unit 26 causes the display unit 23 to display the reference image corrected using the newly generated third correction information.
  • the change of the weight coefficient ⁇ and the display of the reference image corrected using the newly generated third correction information may be executed a plurality of times in accordance with the user operation.
  • the control unit 26 determines the weighting coefficient ⁇ and stores it in the storage unit 25 according to, for example, a user operation by the target person 13.
  • the control unit 26 displays the display image to be displayed on the display unit 23 at the position of both eyes of the subject 13. Dynamic correction is performed accordingly. Specifically, the control unit 26 determines the third correction information based on the first correction information and the second correction information corresponding to the positions of both eyes of the subject 13 and the determined weight coefficient ⁇ . . The control unit 26 dynamically corrects the display image displayed on the display unit 23 using the determined third correction information.
  • the display image may include any information or image.
  • the display image may include a travel speed of the moving body 10, a predicted course, a speed limit of the travel path, sign information, a driving support image such as a route guide, and an image showing an obstacle such as a pedestrian.
  • the weighting coefficient ⁇ that can be perceived by the subject 13 when the distortion of the virtual image 14 is the smallest varies depending on the video synthesis ratio of the dominant eye and the non-dominant eye of the subject 13.
  • the subject 13 changes the weighting coefficient ⁇ while visually recognizing the virtual image 14 of the reference image with both eyes, thereby causing the storage unit 25 to store the weighting coefficient ⁇ when perceiving that the distortion of the virtual image 14 is the smallest.
  • the display image is corrected by the weighting factor ⁇ that takes into account the dominant eye of the subject 13. For this reason, the distortion of the virtual image 14 perceived by the subject 13 is reduced, and the visibility of the virtual image 14 is improved. Convenience of the technique for causing the subject 13 to visually recognize the virtual image 14 is improved.
  • the specific position is determined based on the positions of both eyes of the subject 13.
  • Third correction information corresponding to the determined specific position is determined. Based on the determined third correction information, the display image displayed on the display unit 23 is dynamically corrected. This will be specifically described below.
  • the control unit 26 determines the position of both eyes of the subject 13.
  • the control unit 26 determines a specific position based on the positions of both eyes of the subject 13.
  • An arbitrary algorithm may be employed for determining the specific position.
  • the control unit 26 weights each of the right eye position and the left eye position of the target person 13 and determines the specific position.
  • the specific position Q3 is determined by the following equation (2).
  • Q3 ⁇ ⁇ Q1 + (1 ⁇ ) ⁇ Q2 (2)
  • represents a weighting coefficient indicating a value of 0 or more and 1 or less.
  • Q1 indicates the position of the right eye of the subject 13.
  • Q2 indicates the position of the left eye of the subject 13.
  • the weight coefficient ⁇ 0.3
  • the right eye position Q1 of the subject 13 ⁇ 10, 0, 0 ⁇
  • the left eye position Q2 of the subject 13 ⁇ 20, 10, 0 ⁇
  • the weighting factor ⁇ may be arbitrarily determined in the range of 0 to 1.
  • the weighting factor ⁇ may be determined in advance.
  • the weight coefficient ⁇ may be determined in consideration of the dominant eye of the subject 13.
  • the determination of the weighting factor ⁇ in consideration of the dominant eye of the subject 13 may be performed in the same manner as the first algorithm described above.
  • the control unit 26 acquires a captured image obtained by capturing the subject 13.
  • the control unit 26 detects the positions of both eyes of the subject 13 in the real space.
  • the control unit 26 sets the weight coefficient ⁇ to an initial value.
  • the control unit 26 determines the specific position according to the position of both eyes of the subject 13 and the weighting factor ⁇ .
  • the control unit 26 determines third correction information corresponding to the specific position.
  • the determination of the third correction information corresponding to the specific position may be performed in the same manner as the determination of the first correction information or the second correction information in the first algorithm described above.
  • the control unit 26 causes the display unit 23 to display the reference image corrected
  • the control unit 26 changes the weighting factor ⁇ in accordance with, for example, a user operation by the target person 13.
  • the control unit 26 newly determines a specific position based on the position of both eyes of the subject 13 and the changed weighting factor ⁇ .
  • the control unit 26 newly determines third correction information corresponding to the newly determined specific position.
  • the control unit 26 causes the display unit 23 to display the reference image corrected using the newly determined third correction information.
  • the change of the weighting factor ⁇ and the display of the reference image corrected using the newly determined third correction information may be executed a plurality of times in response to a user operation.
  • the control unit 26 determines the weighting coefficient ⁇ and stores it in the storage unit 25 according to, for example, a user operation by the target person 13.
  • the control unit 26 displays the display image to be displayed on the display unit 23 at the position of both eyes of the subject 13. Dynamic correction is performed accordingly. Specifically, the control unit 26 determines the specific position based on the position of both eyes of the subject 13 and the determined weight coefficient ⁇ . The control unit 26 determines third correction information corresponding to the specific position. The control unit 26 dynamically corrects the display image displayed on the display unit 23 using the determined third correction information.
  • the display image is corrected by the weighting factor ⁇ in consideration of the dominant eye of the subject 13 as in the case where the first algorithm is adopted. For this reason, the distortion of the virtual image 14 perceived by the subject 13 is reduced, and the visibility of the virtual image 14 is improved. Convenience of the technique for causing the subject 13 to visually recognize the virtual image 14 is improved.
  • the third correction information corresponding to the specific position determined based on the position of both eyes of the target person 13 and the weighting factor ⁇ may be determined. For this reason, compared with the 1st algorithm which produces
  • the operation of the image projection device 12 that determines the weighting factor ⁇ in consideration of the dominant eye of the subject 13 in the configuration in which the first algorithm described above is employed will be described. This operation may be performed before the subject 13 drives the moving body 10, for example.
  • Step S100 The control unit 26 acquires a captured image obtained by capturing the subject 13 from the imaging device 11 via the communication unit 24.
  • Step S101 The control unit 26 detects the position of both eyes of the target person 13 in the real space based on the acquired captured image.
  • Step S102 The control unit 26 determines first correction information corresponding to the position of the right eye of the subject 13 and second correction information corresponding to the position of the left eye.
  • Step S103 The control unit 26 sets the weighting factor ⁇ to an initial value.
  • Step S104 The control unit 26 generates third correction information based on the first correction information, the second correction information, and the weighting factor ⁇ .
  • Step S105 The control unit 26 causes the display unit 23 to display the reference image corrected using the third correction information.
  • Step S106 For example, when detecting a user operation by the subject 13, the control unit 26 determines whether or not to change the weighting factor ⁇ . If it is determined that the weighting factor ⁇ is to be changed (step S106—Yes), the process proceeds to step S107. On the other hand, if it is determined not to change the weighting factor ⁇ (step S106—No), the process proceeds to step S108.
  • Step S107 The control unit 26 changes the weighting coefficient ⁇ in accordance with, for example, the user operation in step S106. Thereafter, the process returns to step S104.
  • Step S108 The control unit 26 determines the weighting coefficient ⁇ and stores it in the storage unit 25, for example, according to the user operation in step S106. Thereafter, the process ends.
  • the operation of the image projection device 12 that dynamically corrects the display image according to the position of both eyes of the subject 13 in the configuration in which the first algorithm described above is employed will be described. This operation may be repeatedly performed while the subject 13 is driving the moving body 10, for example.
  • Step S200 The control unit 26 acquires a captured image obtained by capturing the target person 13 from the imaging device 11 via the communication unit 24.
  • Step S201 The control unit 26 detects the position of both eyes of the target person 13 in the real space based on the acquired captured image.
  • Step S202 The control unit 26 determines first correction information corresponding to the position of the right eye of the subject 13 and second correction information corresponding to the position of the left eye.
  • Step S203 The control unit 26 generates the third correction information based on the first correction information, the second correction information, and the weighting coefficient ⁇ stored in the storage unit 25.
  • Step S204 The control unit 26 causes the display unit 23 to display the display image corrected using the third correction information. Thereafter, the process returns to step S200.
  • the operation of the image projection device 12 that dynamically corrects the display image according to the position of both eyes of the subject 13 in the configuration in which the second algorithm described above is employed will be described. This operation may be repeatedly performed while the subject 13 is driving the moving body 10, for example.
  • Step S300 The control unit 26 acquires a captured image obtained by capturing the target person 13 from the imaging device 11 via the communication unit 24.
  • Step S301 The control unit 26 detects the position of both eyes of the target person 13 in the real space based on the acquired captured image.
  • Step S302 The control unit 26 determines a specific position based on the position of the right eye of the subject 13, the position of the left eye, and the weighting coefficient ⁇ stored in the storage unit 25.
  • Step S303 The control unit 26 determines third correction information corresponding to the determined specific position.
  • Step S304 The control unit 26 causes the display unit 23 to display the display image corrected using the third correction information. Thereafter, the process returns to step S300.
  • the image projection device 12 dynamically corrects an image to be displayed on the display unit 23 according to the position of both eyes of the subject 13. According to this configuration, the distortion of the virtual image 14 perceived by the subject 13 is reduced, and the visibility of the virtual image 14 is improved. Convenience of the technique for causing the subject 13 to visually recognize the virtual image 14 is improved.
  • the image projection device 12 may store a plurality of correction information respectively corresponding to a plurality of reference positions in the real space.
  • the image projecting device 12 includes first correction information corresponding to the right eye position of the target person 13 and second correction information corresponding to the left eye position of the target person 13 based on the plurality of stored correction information. , May be determined.
  • the image projection device 12 may store a weighting factor determined in consideration of the dominant eye of the subject 13.
  • the image projection apparatus 12 may generate the third correction information based on the first correction information, the second correction information, and the weighting factor.
  • the image projection device 12 may correct the image displayed on the display unit 23 using the third correction information. According to such a configuration, the distortion of the virtual image 14 perceived by the subject 13 is accurately reduced, and the visibility of the virtual image 14 is further improved.
  • the image projecting device 12 determines a specific position based on the position of the right eye of the target person 13, the position of the left eye of the target person 13, and a weighting factor determined in consideration of the dominant eye of the target person 13. You can do it.
  • the image projection device 12 may determine the third correction information corresponding to the specific position based on the plurality of correction information stored in the storage unit 25.
  • the image projection device 12 may correct the image displayed on the display unit 23 using the third correction information. According to such a configuration, the distortion of the virtual image 14 perceived by the subject 13 is accurately reduced, and the visibility of the virtual image 14 is further improved.
  • An object of the present embodiment is to provide a three-dimensional projection device, a three-dimensional projection system, and a moving body that improve the convenience of a technique for allowing a subject to visually recognize a virtual image of a three-dimensional image. According to the present embodiment, it is possible to improve the convenience of a technique for allowing a subject to visually recognize a virtual image of a three-dimensional image.
  • the moving body 100 can be equipped with a three-dimensional projection system 1000.
  • the three-dimensional projection system 1000 includes a detection device 11 and a three-dimensional projection device 12.
  • the direction connecting both eyes of the user is shown as the x-axis direction
  • the vertical direction is shown as the y-axis direction
  • the direction orthogonal to the x-axis direction and the y-axis direction is shown as the z-axis direction.
  • the detection device 110 can detect the position of the eye of the subject 130.
  • the detection device 110 can transmit the detected eye position to the three-dimensional projection device 120.
  • the position of the detection device 110 is arbitrary inside and outside the moving body 100.
  • the detection device 110 may be located in the dashboard of the moving body 100.
  • the detection device 110 may output information indicating the eye position to the three-dimensional projection device 12 via, for example, wired, wireless, and CAN (Controller Area Network).
  • the detection device 110 may include an imaging device.
  • the imaging device may include, for example, a CCD imaging device or a CMOS imaging device.
  • the imaging device can capture the face of the subject 130.
  • the imaging range of the imaging device includes at least an eye box 160 described later.
  • the target person 130 may include, for example, a driver of the moving body 100.
  • the detection device 110 can detect the position of both eyes of the target person 130 in the real space based on the captured image generated by the imaging device. Arbitrary algorithms using captured images can be used to detect the positions of both eyes of the subject 130 in the real space. For example, the detection device 110 associates the combination of the face position, face direction, and face size of the target person 130 on the captured image with the positions of both eyes of the target person 130 in the real space. Information can be stored in advance. Correspondence information can be determined, for example, by experiment or simulation. The correspondence information may be stored as a lookup table, for example. The detection apparatus 110 can detect the face position, face direction, and face size of the subject 130 on the captured image.
  • the detection device 110 corresponds to the position of both eyes of the target person 130 in the real space, which can correspond to the combination of the face position, face direction, and face size of the target person 130 on the detected captured image. Can be extracted from information.
  • the detection device 110 can detect the extracted position as the position of both eyes of the subject 130 in the real space.
  • Detecting device 110 does not include an imaging device and may be connected to the imaging device.
  • the detection device 110 may include an input terminal that inputs a signal from the imaging device.
  • the imaging device may be directly connected to the input terminal.
  • the detection device 110 may be indirectly connected to the input terminal via a shared network.
  • the detection device 110 may detect the position of the eye of the subject 130 from the video signal input to the input terminal.
  • the detection device 110 may include, for example, a sensor.
  • the sensor may be an ultrasonic sensor or an optical sensor.
  • the detection device 110 may detect the position of the head of the subject 130 using a sensor, and may detect the position of the eye of the subject 130 based on the position of the head.
  • the detection apparatus 110 may detect the position of the eye of the subject 130 as coordinates in a three-dimensional space by using two or more sensors.
  • the 3D projection device 120 causes the subject 130 of the moving body 100 to visually recognize the virtual image 140, for example.
  • the virtual image 140 may include a first virtual image 140a and a second virtual image 140b.
  • the 1st virtual image 140a is a virtual image of the image which the display part 200 mentioned later displays.
  • the second virtual image 140b is a virtual image of a parallax barrier 210 described later.
  • the three-dimensional projection device 120 can emit image light, which will be described later, toward a predetermined region of the first optical member 150 provided in the moving body 100.
  • the emitted image light is reflected by a predetermined region of the first optical member 150 and reaches the eye of the subject 130.
  • the three-dimensional projection apparatus 120 can function as a head-up display.
  • the first optical member 150 may be a windshield. In other embodiments, the first optical member 150 may be a combiner.
  • the position of the three-dimensional projection device 120 is arbitrary inside and outside the moving body 100.
  • the three-dimensional projection apparatus 120 can be located in the dashboard of the moving body 100.
  • the three-dimensional projection device 120 can project an image on the first optical member 150 provided in the moving body 100.
  • the three-dimensional projection device 120 may emit image light toward a predetermined region of the first optical member 150.
  • the first optical member 150 can reflect the image light from the three-dimensional projection device 120 in a predetermined area.
  • the image light reflected by the predetermined area of the first optical member 150 reaches the eye box 160.
  • the eye box 160 is an area in the real space where it is assumed that the eye of the subject 130 can exist in consideration of, for example, the physique, posture, and change in posture of the subject 130.
  • the shape of the eye box 160 is arbitrary.
  • the eyebox 160 may include a planar or stereoscopic area.
  • a solid arrow shown in FIG. 3 indicates a path through which a part of the image light emitted from the three-dimensional projection device 120 reaches the eye box 160.
  • a path along which image light travels is also referred to as an optical path.
  • the subject 130 can visually recognize the virtual image 140 by the image light reaching the eye box 160 when eyes are present in the eye box 160.
  • the virtual image 140 can be visually recognized in front of the moving body 100, for example.
  • the first optical member 150 may include a windshield and a combiner.
  • the three-dimensional projection device 120 may constitute a head-up display.
  • the three-dimensional projection device 120 will be described in detail with reference to FIG.
  • the three-dimensional projection device 120 includes a three-dimensional display device 170 and one or more second optical members 180 (optical members).
  • FIG. 4 illustrates a configuration in which the three-dimensional projection apparatus 120 includes two second optical members 180a and 180b.
  • FIG. 4 schematically shows an example of the configuration of the three-dimensional projection apparatus 120.
  • the size, shape, arrangement, and the like of each component of the three-dimensional projection device 120 and the three-dimensional projection device 120 are not limited to the example illustrated in FIG.
  • the second optical member 180 projects an image displayed on the display surface 2010 of the display unit 200 included in the three-dimensional display device 170 onto the first optical member 150 and causes the subject 130 to visually recognize the first virtual image 140a of the image. .
  • the second optical member 180 projects the parallax barrier 210 included in the three-dimensional display device 170 onto the first optical member 150 and causes the subject 130 to visually recognize the second virtual image 140b of the parallax barrier 210.
  • the second optical member 180 causes the light emitted from the three-dimensional display device 170 to reach the outside of the three-dimensional projection device 120.
  • the second optical members 180 a and 180 b cause the light emitted from the three-dimensional display device 170 to reach the outside of the three-dimensional projection device 120.
  • the second optical member 180 may include a lens or a mirror.
  • each of the second optical members 180a and 180b may include a mirror.
  • At least one of the second optical members 180a and 180b may include a lens.
  • One of the second optical members 180a and 180b may be a mirror and the other may be a lens.
  • FIG 4 indicates a window portion provided in the housing of the three-dimensional projection device 120 in which a part of the light emitted from the three-dimensional display device 170 is reflected by the second optical members 180a and 180b. A path that passes through and reaches the outside of the three-dimensional projection apparatus 120 is shown. The light that reaches the outside of the three-dimensional projection device 120 can reach a predetermined area of the first optical member 150.
  • the second optical member 180 may function as an enlarging optical system that enlarges an image displayed on the three-dimensional display device 170.
  • at least one of the second optical members 180a and 180b may be a mirror having a convex shape or a concave shape on at least a part of a surface where light reaches.
  • At least one of the second optical members 180a and 180b may be a lens having a convex shape or a concave shape on at least a part of a surface on which light enters or exits.
  • At least a part of the convex shape and the concave shape may be a spherical shape or an aspherical shape.
  • the three-dimensional display device 170 will be described in detail with reference to FIG.
  • the 3D display device 170 may be disposed inside the 3D projection device 120.
  • the three-dimensional display device 170 includes an irradiator 190, a display unit 200, a parallax barrier 210 (optical element), a communication unit 220, a storage unit 230, and a control unit 240.
  • FIG. 4 schematically shows an example of the configuration of the three-dimensional display device 170.
  • the size, shape, arrangement, and the like of each component of the three-dimensional display device 170 and the three-dimensional display device 170 are not limited to the example illustrated in FIG.
  • the display unit 200 is a display element.
  • the display unit 200 for example, an arbitrary display panel such as a transmissive liquid crystal display panel can be adopted.
  • the display unit 200 has a plurality of partitioned regions partitioned on a plate-like display surface 2010 in a first direction and a second direction substantially orthogonal to the first direction.
  • the first direction may be referred to as the horizontal direction.
  • the second direction may be referred to as the vertical direction.
  • the first direction and the second direction are not limited to these.
  • the first direction is represented as the u-axis direction
  • the second direction is represented as the v-axis direction.
  • the u-axis direction of the image displayed on the display surface 2010 can correspond to the x-axis direction in the first virtual image 140a of the image.
  • the display surface 2010 includes a plurality of sub-pixels arranged in a grid along the horizontal direction and the vertical direction. Each subpixel corresponds to each color of R, G, and B. A combination of three subpixels of R, G, and B can constitute one pixel. One pixel can be referred to as one pixel.
  • the horizontal direction is, for example, a direction in which a plurality of subpixels constituting one pixel are arranged.
  • the vertical direction is, for example, a direction in which sub-pixels of the same color are arranged.
  • the display unit 200 is not limited to a transmissive liquid crystal panel, and other display panels such as an organic EL can be used. When a self-luminous display panel is employed as the display unit 200, the three-dimensional display device 170 does not have to include the irradiator 190.
  • a plurality of subpixels arranged on the display surface 2010 constitute a subpixel group Pg.
  • the subpixel group Pg includes a right subpixel group Pgr (first subpixel group) and a left subpixel group Pgl (second subpixel group).
  • the right subpixel group Pgr and the left subpixel group Pgl are arranged adjacent to each other in the horizontal direction.
  • the plurality of subpixel groups Pg are repeatedly arranged adjacent to each other in the horizontal direction.
  • the right subpixel group Pgr includes subpixels in a predetermined column. Specifically, the right sub-pixel group Pgr includes sub-pixels that are continuously arranged in the vertical direction and display a predetermined number of consecutive rows of right-eye images (first images) in the horizontal direction.
  • the left subpixel group Pgl includes subpixels in a predetermined column. Specifically, the left sub-pixel group Pgl includes sub-pixels that are arranged in a row in the vertical direction and in which a predetermined number of rows of left-eye images (second images) are displayed in the horizontal direction.
  • the right eye image is an image for allowing the right eye (first eye) of the target person 130 to visually recognize.
  • the left eye image is an image for causing the left eye (second eye) of the subject 130 to visually recognize.
  • the display surface 2010 has a left subpixel group Pgl including four columns of subpixels arranged in a row in the horizontal direction.
  • a right subpixel group Pgr including four rows of subpixels arranged in the horizontal direction is arranged adjacent to the left subpixel group Pgl in the horizontal direction.
  • the parallax barrier 210 can define a light beam direction that is a propagation direction of the image light emitted from the sub-pixel for each of the opening regions 210b that are a plurality of belt-shaped regions extending in the vertical direction.
  • a light beam direction of the image light emitted from the subpixel by the parallax barrier 210 an area on the display surface 201 where the subpixel emitting the image light reaching the eye of the subject 130 is located is determined.
  • the parallax barrier 210 is formed by a plane along the display surface 2010 as shown in FIG.
  • the parallax barrier 210 is arranged at a predetermined distance (gap) g from the display surface 2010.
  • the parallax barrier 210 may be located on the opposite side of the irradiator 190 with respect to the display unit 200.
  • the parallax barrier 210 may be located on the irradiator 190 side of the display unit 200.
  • the parallax barrier 210 has a plurality of light shielding surfaces 210 a that shield image light.
  • the plurality of light shielding surfaces 210a can define an opening region 210b between the light shielding surfaces 210a adjacent to each other.
  • the opening region 210b has a higher light transmittance than the light shielding surface 210a.
  • the light shielding surface 210a has a light transmittance lower than that of the opening region 210b.
  • the opening region 210 b is a portion that transmits light that can enter the parallax barrier 210.
  • the opening region 210b may transmit light with a transmittance equal to or higher than the first predetermined value.
  • the first predetermined value may be 100%, for example, or a value close to 100%.
  • the light blocking surface 210 a is a portion that blocks light that can enter the parallax barrier 210 and does not transmit the light. In other words, the light shielding surface 210 a blocks an image displayed on the display unit 200.
  • the light blocking surface 210a may block light with a transmittance equal to or lower than the second predetermined value.
  • the second predetermined value may be 0%, for example, or a value close to 0%.
  • the opening area 210b and the light shielding surface 210a extend in the vertical direction along the display surface 2010, and are alternately arranged in the horizontal direction.
  • the opening area 210b can define the light beam direction of the image light emitted from the sub-pixel.
  • the parallax barrier 210 may be composed of a liquid crystal shutter.
  • the liquid crystal shutter can control the light transmittance according to the applied voltage.
  • the liquid crystal shutter may be composed of a plurality of pixels and may control the light transmittance in each pixel.
  • the liquid crystal shutter may be formed in an arbitrary shape with a region having a high light transmittance or a region having a low light transmittance.
  • the opening region 200b may be a region having a transmittance equal to or higher than the first predetermined value.
  • the light shielding surface 210a may be a region having a transmittance equal to or lower than a second predetermined value.
  • the parallax barrier 210 creates a second virtual image 140b in front of the first optical member 150 and on the first optical member 150 side of the first virtual image 140a. As shown in FIG. 7, the subject 130 apparently displays the image as if the display unit 200 exists at the position of the first virtual image 140a and the parallax barrier 210 exists at the position of the second virtual image 140b. Visible.
  • FIG. 7 shows each sub-pixel of the first virtual image 140a of the display unit 200 that can be observed from the subject 130.
  • a subpixel to which a symbol L is attached displays a virtual image of the left eye image.
  • the subpixel to which the symbol R is attached displays a virtual image of the right eye image.
  • FIG. 7 shows the visible region 140aa and the invisible region 140ab of the left eye of the first virtual image 140a observed from the left eye of the subject 130.
  • the visible region 140aa is a region of the first virtual image 140a that the left eye visually recognizes when the image light emitted from the display surface 2010 and transmitted through the opening region 210b of the parallax barrier 210 reaches the left eye.
  • the invisible region 140ab is a region of the first virtual image 140a in which the left eye cannot visually recognize the image light because the image light emitted from the display surface 2010 is blocked by the light blocking surface 210a of the parallax barrier 210.
  • the right eye of the user does not visually recognize the visible region 140aa of the left eye in the first virtual image 140a.
  • the right eye of the user can visually recognize the invisible region 140ab of the left eye that displays the virtual image of the right eye image in the first virtual image 140a. Therefore, the right eye of the subject 130 visually recognizes the right eye image and does not visually recognize the left eye image.
  • the right eye of the subject 130 can visually recognize the right eye image.
  • the left eye of the subject 130 can visually recognize the left eye image. Therefore, when there is a parallax between the left eye image and the right eye image, the subject 130 can visually recognize the three-dimensional image.
  • the communication unit 220 may include a communication interface capable of communicating with an external device.
  • the external device may include a detection device 110, for example.
  • the storage unit 230 may include a temporary storage device and a secondary storage device.
  • the storage unit 230 may be configured using, for example, a semiconductor memory, a magnetic memory, an optical memory, or the like.
  • the storage unit 230 can store various information and programs necessary for the operation of the three-dimensional display device 170.
  • the storage unit 230 may store a plurality of correction information respectively corresponding to a plurality of positions in the real space.
  • each of the plurality of positions is also referred to as a reference position. Details of the correction information will be described later.
  • FIG. 9 shows n pieces of correction information P1 to Pn respectively corresponding to n reference positions in the real space.
  • Each of the n reference positions may be indicated by a three-dimensional orthogonal coordinate or a three-dimensional polar coordinate with an arbitrary position on the moving body 100 as an origin.
  • the reference position in the real space corresponding to each correction information may exist inside or outside the eye box 160.
  • the plurality of reference positions may include the positions of eight vertices in the hexahedron.
  • the plurality of reference positions may include the positions of eight vertices in a first hexahedron larger than the eye box 160 that may include the eye box 160.
  • the plurality of reference positions may include the positions of eight vertices in a second hexahedron that is included in the eye box 160 and is smaller than the eye box 160.
  • a plurality of second hexahedrons may be included in the eye box 160.
  • the plurality of reference positions may include any position inside or on the side of the first hexahedron or the second hexahedron.
  • the storage unit 230 may store a plurality of correction information respectively corresponding to a plurality of reference positions existing in the eye box 160.
  • the subject 130 can visually recognize the virtual image 140 of the image displayed on the display unit 200 by the image light reflected by the first optical member 150 and reaching the eye box 160.
  • the surface shape of the first optical member 150 is designed according to the moving body 100 to be attached, for example, and is not necessarily a planar shape. Further, when the first optical member 150 is attached to the moving body 100, a force such as bending or twisting is applied to the first optical member 150 due to the rigidity of the moving body 100, and the first optical member 150 may be distorted. For this reason, the shape of the virtual image 140 visually recognized by the subject 130 can be distorted according to the eye position of the subject 130 who visually recognizes the virtual image 140.
  • the correction information is used to correct distortion of the shape of the first virtual image 140a and the second virtual image 140b according to the position of the eye of the subject 130.
  • the correction information may include information for deforming the image displayed on the display unit 200 so as to reduce the distortion of the shapes of the first virtual image 140a and the second virtual image 140b.
  • the correction information may include information indicating shift amounts of a plurality of feature points on the image displayed on the display unit 200.
  • the arrangement of the plurality of feature points on the image may be arbitrarily determined.
  • the plurality of feature points may be arranged in a grid pattern with an arbitrary interval.
  • the plurality of feature points may correspond to a plurality of pixels that display an image.
  • the image displayed on the display unit 200 can be deformed so that, for example, each of the plurality of feature points on the image moves by the shift amount indicated by the correction information.
  • the image displayed on the display unit 200 can be uniformly or non-uniformly deformed and displayed on the display unit 200 by the correction using the correction information.
  • the subject 130 can visually recognize the virtual image 140 with reduced distortion by the image light of the image deformed based on the correction information.
  • the correction information can be determined by, for example, experiments or simulations.
  • the control unit 240 includes one or more processors.
  • the processor may include a general-purpose processor that reads a specific program and executes a specific function, and a dedicated processor specialized for a specific process.
  • the control unit 240 may be either SoC or SiP in which one or more processors cooperate.
  • the control unit 240 can control the operations of the irradiator 190, the display unit 200, and the parallax barrier 210.
  • the control unit 240 can control the driving power of the irradiator 190 to cause the irradiator 290 to emit light.
  • the control unit 240 can cause the display unit 200 to display an image. The image may include characters or graphics.
  • the controller 240 can control the light transmittance in the parallax barrier 210 by controlling the voltage applied to the liquid crystal shutters constituting the parallax barrier 210. A process in which the control unit 240 controls the display unit 200 and the parallax barrier 210 will be described in detail later.
  • the control unit 240 can acquire information related to the eye position of the target person 130 from the detection device 110 via the communication unit 220.
  • the control unit 240 can acquire a captured image from the imaging device included in the detection device 110. In this case, the control unit 240 can detect the position of both eyes of the target person 130 in the real space based on the acquired captured image.
  • the control unit 240 can dynamically correct the right eye image and the left eye image displayed on the display unit 200 according to the eye position indicated by the acquired information.
  • the controller 240 can dynamically correct the parallax barrier 210 according to the position of the eye. Any algorithm can be employed as an algorithm for correcting an image.
  • the control unit 240 corrects an image using an algorithm will be described in detail.
  • the control unit 240 may determine first correction information corresponding to the position of the right eye of the target person 130 and second correction information corresponding to the position of the left eye of the target person 13 using an algorithm. .
  • the control unit 240 can correct the right eye image based on the first correction information.
  • the control unit 240 can correct the left eye image based on the second correction information.
  • the control unit 240 can generate the third correction information based on the first correction information and the second correction information.
  • the controller 240 can dynamically correct the parallax barrier 210 based on the generated third correction information.
  • the control unit 240 can determine first correction information corresponding to the position of the right eye of the subject 130. For example, the control unit 240 may determine the first correction information by selecting from among a plurality of correction information stored in the storage unit 230. Alternatively, the control unit 240 may determine the first correction information by generating the first correction information based on two or more correction information. An arbitrary algorithm can be employed for generating the first correction information.
  • the control unit 240 based on two or more correction information among the eight correction information present in the vicinity of the right eye E R, the first correction information interpolation corresponding to the position of the right eye E R Can be generated.
  • each correction information is associated with a hexahedral outside an apex, the right eye E R of the subject 130 is located.
  • the control unit 240 based on two or more correction information among the eight correction information present in the vicinity of the right eye E R, the first correction information extrapolation corresponding to the position of the right eye E R Can be generated.
  • the first correction information is generated by interpolation or extrapolation. For this reason, the number of reference positions where correction information should be stored can be reduced, and the amount of correction information to be stored in the storage unit 230 can be reduced.
  • the control unit 240 can determine second correction information corresponding to the position of the left eye of the subject 130. For example, the control unit 240 may determine the second correction information corresponding to the position of the left eye of the target person 130 by selecting from among a plurality of correction information stored in the storage unit 230. Or the control part 240 may determine by producing
  • the control unit 240 can generate the third correction information based on the first correction information and the second correction information.
  • An arbitrary algorithm may be employed for generating the third correction information.
  • the control unit 240 can weight each of the first correction information and the second correction information to generate the third correction information.
  • the shift amount S3 of the feature point on the image indicated in the third correction information is determined by the above-described equation (1).
  • the weighting factor ⁇ may be arbitrarily determined in the range of 0 to 1.
  • the weighting factor ⁇ may be determined in advance.
  • the weighting factor ⁇ may be determined in consideration of the superiority of the subject 130.
  • the determination of the weighting factor ⁇ in consideration of the priority of the subject 130 may be performed before the subject 130 drives the moving body 10, for example.
  • the control unit 240 can acquire information regarding the positions of both eyes from the detection device 110.
  • the control unit 240 can determine the first correction information and the second correction information based on the binocular position indicated by the acquired information.
  • the control unit 240 can set the weight coefficient ⁇ to an initial value.
  • the control unit 240 can generate the third correction information based on the first correction information, the second correction information, and the weighting factor ⁇ .
  • the control unit 240 causes the display unit 200 to display the reference image corrected using the generated third correction information.
  • the reference image is an image prepared in advance for determining the weighting coefficient ⁇ . Any image can be adopted as the reference image.
  • the reference image may include a plurality of lines arranged in a square, a circle, or a grid.
  • the control unit 240 changes the weighting factor ⁇ in accordance with, for example, an operation by the subject 130 who has observed the reference image displayed as the first virtual image 140a.
  • the control unit 240 can newly generate third correction information based on the first correction information, the second correction information, and the changed weighting factor ⁇ .
  • the control unit 240 causes the display unit 200 to display the reference image corrected using the newly generated third correction information.
  • the change of the weight coefficient ⁇ and the display of the reference image corrected using the newly generated third correction information may be executed a plurality of times according to the operation.
  • the control unit 240 can determine the weighting coefficient ⁇ and store it in the storage unit 230 in accordance with, for example, an operation by the subject 130.
  • the control unit 240 sets the display image to be displayed on the display unit 200 to the position of both eyes of the target person 130. It can be corrected dynamically accordingly. Specifically, the control unit 240 generates the third correction information based on the first correction information and the second correction information corresponding to the positions of both eyes of the subject 130 and the determined weight coefficient ⁇ . sell. The control unit 240 can dynamically correct the display image displayed on the display unit 200 using the first correction information and the second correction information. The controller 240 corrects the parallax barrier 210 based on the determined third correction information.
  • the display image may include any information or image.
  • the display image may include a travel speed of the moving body 100, a predicted course, a speed limit of the travel path, sign information, a driving support image such as a route guide, and an image showing an obstacle such as a pedestrian.
  • the weighting factor ⁇ that can be perceived by the subject 130 when the distortion of the virtual image 140 is the smallest varies depending on the video synthesis ratio of the dominant eye and the non-dominant eye of the subject 130.
  • the subject 130 changes the weighting coefficient ⁇ while visually recognizing the virtual image 140 of the reference image with both eyes, thereby causing the storage unit 230 to store the weighting coefficient ⁇ when perceiving that the distortion of the virtual image 140 is the smallest.
  • the display image is corrected by the weighting factor ⁇ that takes into account the dominant eye of the subject 130. For this reason, the distortion of the virtual image 140 perceived by the subject 130 is reduced, and the visibility of the virtual image 140 is improved.
  • the convenience of the technique for causing the subject 130 to visually recognize the virtual image 140 is improved.
  • the control unit 240 can correct the right eye image based on the first correction information.
  • the control unit 240 displays the corrected right eye image on each subpixel constituting the right subpixel group Pgr.
  • the control unit 240 can correct the left eye image based on the second correction information.
  • the control unit 240 can display the corrected left eye image on each subpixel constituting the left subpixel group Pgl.
  • the control unit 240 can correct the parallax barrier 210 based on the third correction information. Specifically, the control unit 240 can control the liquid crystal shutters constituting the parallax barrier 210 based on the third correction information. More specifically, the liquid crystal shutter can be controlled so as to change the portion constituting the light shielding surface 210a of the parallax barrier 210.
  • the operation of the three-dimensional projection apparatus 120 that determines the above-described weighting factor ⁇ will be described with reference to the flowchart of FIG. This operation may be performed before the subject 130 drives the moving body 100, for example.
  • Step S400 The control unit 240 acquires information regarding the eye position of the target person 130 from the detection device 110 via the communication unit 220.
  • Step S401 The control unit 240 determines first correction information corresponding to the position of the right eye of the subject 130 and second correction information corresponding to the position of the left eye.
  • Step S402 The control unit 240 sets the weighting factor ⁇ to an initial value.
  • Step S403 The control unit 240 generates third correction information based on the first correction information, the second correction information, and the weighting factor ⁇ .
  • Step S404 The control unit 240 corrects the right reference image based on the first correction information.
  • the control unit 240 corrects the left reference image based on the second correction information.
  • Step S405 The control unit 240 displays the corrected right reference image on the sub-pixels constituting the right sub-pixel group Pgr.
  • the control unit 240 displays the corrected left reference image on the subpixels constituting the left subpixel group Pgl.
  • Step S406 The control unit 240 corrects the parallax barrier 210 based on the third correction information.
  • Step S407 For example, when the operation by the subject 130 is detected, the control unit 240 determines whether or not to change the weighting factor ⁇ . If it is determined that the weighting factor ⁇ is to be changed (step S407—Yes), the process proceeds to step S408. On the other hand, if it is determined not to change the weighting factor ⁇ (step S407—No), the process proceeds to step S409.
  • Step S408 The control unit 240 changes the weighting factor ⁇ in accordance with, for example, the operation in step S407. Thereafter, the process returns to step S403.
  • Step S409 The control unit 240 determines the weighting coefficient ⁇ and stores it in the storage unit 230, for example, according to the operation of step S407. Thereafter, the process ends.
  • the operation of the three-dimensional projection apparatus 120 that dynamically corrects the display image according to the position of both eyes of the subject 130 in the configuration in which the above-described first algorithm is employed will be described. This operation may be repeatedly performed while the target person 130 is driving the moving body 100, for example.
  • Step S500 The control unit 240 acquires information on the eye position of the target person 130 from the detection device 110 via the communication unit 220.
  • Step S501 The control unit 240 determines first correction information corresponding to the position of the right eye of the subject 130 and second correction information corresponding to the position of the left eye.
  • Step S502 The control unit 240 generates third correction information based on the first correction information, the second correction information, and the weight coefficient ⁇ stored in the storage unit 23.
  • Step S503 The control unit 240 corrects the right eye image and the left eye image based on the first correction information and the second correction information, respectively.
  • Step S504 The control unit 240 displays the corrected right eye image and left eye image on the sub-pixels constituting the left sub-pixel group Pgl and the sub-pixels constituting the right sub-pixel group Pgr, respectively.
  • Step S505 The control unit 240 corrects the parallax barrier 210 based on the third correction information. Thereafter, the process ends.
  • the three-dimensional projection device 120 corrects the image to be displayed on the display surface 2010 and the parallax barrier 210 according to the position of the eye of the subject 130. For this reason, the distortion according to the position of the eye of the subject 130 that can occur in the first virtual image 140a and the second virtual image 140b due to the shape of the moving body 100 is corrected. Therefore, the target person 130 can visually recognize the virtual image 140 of the three-dimensional image with reduced distortion.
  • the three-dimensional projection device 120 corrects the right eye image based on the first correction information corresponding to the position of the right eye, and the left based on the second correction information corresponding to the position of the left eye. Correct the eye image. For this reason, the target person 130 can visually recognize an image with reduced distortion corresponding to the position of each eye. Therefore, the target person 130 can visually recognize the virtual image 140 of the three-dimensional image with reduced distortion.
  • the three-dimensional projection apparatus 120 corrects the parallax barrier 210 based on the third correction information generated using the first correction information, the second correction information, and the weighting factor ⁇ .
  • the parallax barrier 210 visually recognized by both eyes of the user is corrected based on the positions of the right eye and the left eye. Therefore, the right eye image and the left eye image with reduced distortion are both shielded or transmitted by the parallax barrier 210 with reduced distortion. Therefore, the right eye of the subject 130 can visually recognize the right eye image with reduced distortion. The left eye can visually recognize the left eye image with reduced distortion.
  • the three-dimensional projection apparatus 120 determines the weighting factor ⁇ based on the dominant eye of the subject 130. For this reason, the image is corrected by the weighting factor ⁇ in consideration of the dominant eye of the subject 130. Therefore, the distortion of the virtual image 140 perceived by the subject 130 is reduced, and the visibility of the virtual image 140 is improved.
  • the image is corrected by deforming the image using correction information including information indicating the shift amounts of the plurality of feature points on the image displayed on the display unit 23 or 200.
  • correction information including information indicating the shift amounts of the plurality of feature points on the image displayed on the display unit 23 or 200.
  • the configuration to be described has been described.
  • the content of the correction information and the process for correcting the image are not limited to the above-described configuration.
  • control unit 26 or 240 may project an image to be displayed on the display unit 23 or 200 onto a polygon as a texture image.
  • An arbitrary algorithm may be employed for projecting the texture image onto the polygon.
  • the projection of the texture image onto the polygon may be performed using mapping information indicating the correspondence between the texture coordinates on the texture image and a plurality of vertices on the polygon.
  • the shape of the polygon may be arbitrarily determined.
  • the mapping information may be arbitrarily determined.
  • the control unit 26 or 240 arranges the polygon on which the texture image is projected, for example, in a three-dimensional virtual space.
  • the control unit 26 or 240 causes the display unit 23 or 200 to display an image in which a region in the virtual space including the polygon is viewed from the viewpoint of the virtual camera. According to such a configuration, the target person 13 or 130 can visually recognize the virtual image 14 or 140 of the image displayed on the display unit 23 or 200 as in the above-described embodiment.
  • the correction information may include information for changing the mapping information so as to reduce the distortion of the shape of the virtual image 14 or 140.
  • the correction information may include information for changing a vertex on a polygon corresponding to a texture coordinate on the texture image to another vertex.
  • the texture image projected onto the polygon by the correction using the correction information may be uniformly or non-uniformly deformed and displayed on the display unit 23 or 200.
  • the process of changing the mapping information can be executed at high speed, for example, when the control unit 26 or 240 includes dedicated hardware.
  • the dedicated hardware may include a graphic accelerator, for example.
  • the correction processing of the image displayed on the display unit 23 or 200 is accelerated. For this reason, for example, when the position of both eyes of the subject 13 or 130 changes, the distortion of the virtual image 14 or 140 with respect to the change of the positions of both eyes is reduced at high speed.
  • the convenience of the technique for causing the target person 13 or 130 to visually recognize the virtual image 14 or 140 is further improved.
  • the correction information may include information for changing the shape of the polygon so as to reduce the distortion of the shape of the virtual image 14 or 140.
  • the texture image projected onto the polygon by the correction using the correction information may be uniformly or non-uniformly deformed and displayed on the display unit 23 or 200.
  • the target person 13 or 130 can visually recognize the virtual image 14 or 140 with reduced distortion, as in the above-described embodiment.
  • the process of changing the shape of the polygon can be executed at high speed, for example, when the control unit 26 or 240 includes dedicated hardware.
  • the dedicated hardware may include a graphic accelerator, for example.
  • the correction processing of the image displayed on the display unit 23 or 200 is accelerated. For this reason, for example, when the position of both eyes of the subject 13 or 130 changes, the distortion of the virtual image 14 or 140 with respect to the change of the positions of both eyes is reduced at high speed. The convenience of the technique for causing the target person 13 or 130 to visually recognize the virtual image 14 or 140 is further improved.
  • the configuration in which one image is displayed on the display unit 23 has been described.
  • the number of images displayed on the display unit 23 may be arbitrarily determined.
  • the position, shape, and size of each of the plurality of images displayed on the display unit 23 may be arbitrarily determined.
  • the control unit 26 may dynamically correct the image according to the position of both eyes of the subject 13 for each image displayed on the display unit 23. Correction of each image displayed on the display unit 23 may be performed similarly to the above-described embodiment.
  • the storage unit 25 stores a plurality of correction information respectively corresponding to a plurality of reference positions in the real space for each image displayed on the display unit 23.
  • the control unit 26 may determine the weighting coefficient ⁇ and the third correction information for each image displayed on the display unit 23 using, for example, the first algorithm or the second algorithm described above. For each image to be displayed on the display unit 23, the control unit 26 corrects the image using the third correction information corresponding to the image. According to such a configuration, the target person 13 can visually recognize a plurality of virtual images 14 respectively corresponding to the plurality of images. The convenience of the technique for causing the subject person 13 to visually recognize the virtual image 14 is further improved.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • Instrument Panels (AREA)

Abstract

画像投影装置12は、表示部23と、少なくとも1つの第2光学部材18と、制御部26と、を備える。表示部23は、テクスチャが投影されたポリゴンを仮想カメラから眺めた画像を表示する。第2光学部材18は、第1光学部材に画像を投影し、画像の虚像を対象者に視認させる。制御部26は、ポリゴンを対象者13の両眼の位置に応じて動的に補正する。

Description

画像投影装置、画像表示装置、および移動体
 本出願は、2016年12月7日に日本国に特許出願された特願2016-237825、特願2016-237832、および特願2016-237877、ならびに2017年7月5日に日本国に特許出願された特願2017-132220の優先権を主張するものであり、これらの先の出願の開示全体をここに参照のために取り込む。
 本開示は、画像投影装置、画像表示装置、移動体、3次元投影装置、および3次元投影システムに関する。
 従来、移動体の運転者等の対象者に虚像を視認させる技術が知られている。
特開2015-168382号公報
 本開示の一実施形態に係る画像投影装置は、表示部と、少なくとも1つの第2光学部材と、制御部と、を備える。前記表示部は、テクスチャが投影されたポリゴンを仮想カメラから眺めた画像を表示する。前記第2光学部材は、第1光学部材に前記画像を投影し、前記画像の虚像を対象者に視認させる。前記制御部は、前記ポリゴンを前記対象者の両眼の位置に応じて動的に補正する。
 本開示の一実施形態に係る画像表示装置は、表示部と、制御部と、を備える。前記表示部は、テクスチャが投影されたポリゴンを仮想カメラから眺めた画像を表示する。前記制御部は、前記ポリゴンを対象者の両眼の位置に応じて動的に補正する。
 本開示の一実施形態に係る移動体は、第1光学部材と、表示部と、少なくとも1つの第2光学部材と、制御部と、を備える。前記表示部は、テクスチャが投影されたポリゴンを仮想カメラから眺めた画像を表示する。前記第2光学部材は、第1光学部材に前記画像を投影し、前記画像の虚像を対象者に視認させる。前記制御部は、前記ポリゴンを前記対象者の両眼の位置に応じて動的に補正する。
 本開示の一実施形態に係る3次元投影装置は、表示部と、光学素子と、光学部材と、制御部とを備える。前記表示部は、第1方向および前記第1方向に略直交する第2方向に沿って格子状に配列された複数のサブピクセルを有する表示面を含む。前記光学素子は、前記表示面上の第2方向に延びる複数の帯状領域ごとに、前記サブピクセルから射出される画像光の光線方向を規定する。前記光学部材は、前記光学素子によって光線方向が規定された前記画像光を、前記表示面の虚像が形成されるように投影する。前記制御部は、対象者の眼の位置に関する情報を取得し、前記表示面に表示させる画像と、前記光学素子とを前記眼の位置に応じて補正する。
 本開示の一実施形態に係る3次元投影システムは、検出装置と、3次元投影装置とを備える。前記検出装置は、対象者の眼の位置を検出する。前記3次元投影装置は、表示部と、光学素子と、光学部材と、制御部とを含む。前記表示部は、第1方向および前記第1方向に略直交する第2方向に沿って格子状に配列された複数のサブピクセルを有する表示面を含む。前記光学素子は、前記表示面上の第2方向に延びる複数の帯状領域ごとに、前記サブピクセルから射出される画像光の光線方向を規定する。前記光学部材は、前記光学素子によって光線方向が規定された前記画像光を、前記表示面の虚像が形成されるように投影する。前記制御部は、前記検出装置から前記眼の位置に関する情報を取得し、前記表示面に表示させる画像と、前記光学素子とを前記眼の位置に応じて補正する。
 本開示の一実施形態に係る移動体は、3次元投影システムを備える。前記3次元投影システムは、検出装置と、3次元投影装置とを備える。前記検出装置は、対象者の眼の位置を検出する。前記3次元投影装置は、表示部と、光学素子と、光学部材と、制御部とを含む。前記表示部は、第1方向および前記第1方向に略直交する第2方向に沿って格子状に配列された複数のサブピクセルを有する表示面を含む。前記光学素子は、前記表示面上の第2方向に延びる複数の帯状領域ごとに、前記サブピクセルから射出される画像光の光線方向を規定する。前記光学部材は、前記光学素子によって光線方向が規定された前記画像光を、前記表示面の虚像が形成されるように投影する。前記制御部は、前記検出装置から前記眼の位置に関する情報を取得し、前記表示面に表示させる画像と、前記光学素子とを前記眼の位置に応じて補正する。
 本開示の一実施形態に係る画像投影装置は、表示部と、少なくとも1つの第2光学部材と、制御部と、を備える。前記表示部は、画像を表示する。前記第2光学部材は、第1光学部材に前記画像を投影し、前記画像の虚像を対象者に視認させる。前記制御部は、前記表示部に表示させる前記画像を前記対象者の両眼の位置に応じて動的に補正する。
 本開示の一実施形態に係る画像表示装置は、表示部と、制御部と、を備える。前記表示部は、画像を表示する。前記制御部は、前記表示部に表示させる前記画像を対象者の両眼の位置に応じて動的に補正する。
 本開示の一実施形態に係る移動体は、第1光学部材と、表示部と、少なくとも1つの第2光学部材と、制御部と、を備える。前記表示部は、画像を表示する。前記第2光学部材は、第1光学部材に前記画像を投影し、前記画像の虚像を対象者に視認させる。前記制御部は、前記表示部に表示させる前記画像を前記対象者の両眼の位置に応じて動的に補正する。
 本開示の一実施形態に係る画像投影装置は、表示部と、少なくとも1つの第2光学部材と、制御部と、を備える。前記表示部は、複数の画像を表示する。前記第2光学部材は、第1光学部材に前記複数の画像を投影し、前記複数の画像の虚像を対象者に視認させる。前記制御部は、前記表示部に表示させる前記複数の画像それぞれを前記対象者の両眼の位置に応じて動的に補正する。
 本開示の一実施形態に係る画像表示装置は、表示部と、制御部と、を備える。前記表示部は、複数の画像を表示する。前記制御部は、前記表示部に表示させる前記複数の画像それぞれを対象者の両眼の位置に応じて動的に補正する。
 本開示の一実施形態に係る移動体は、第1光学部材と、表示部と、少なくとも1つの第2光学部材と、制御部と、を備える。前記表示部は、複数の画像を表示する。前記第2光学部材は、前記第1光学部材に前記複数の画像を投影し、前記複数の画像の虚像を対象者に視認させる。前記制御部は、前記表示部に表示させる前記複数の画像それぞれを前記対象者の両眼の位置に応じて動的に補正する。
 本開示の一実施形態に係る画像投影装置、画像表示装置、および移動体によれば、対象者に虚像を視認させる技術の利便性が向上する。
本開示の第1実施形態に係る移動体および画像投影装置を示す図である。 図1の画像投影装置の概略構成を示すブロック図である。 図2の画像表示装置の概略構成を示すブロック図である。 移動体における各基準位置に対応する補正情報の例を示す図である。 基準位置および対象者の両眼の位置の第1例を示す図である。 基準位置および対象者の両眼の位置の第2例を示す図である。 画像投影装置の第1動作を示すフローチャートである。 画像投影装置の第2動作を示すフローチャートである。 画像投影装置の第3動作を示すフローチャートである。 本開示の第2実施形態に係る移動体に搭載された3次元投影システムを示す図である。 図10に示す3次元投影装置の概略構成を示す図である。 図11に示す表示部を表示面の法線方向から見た図である。 図11に示すパララックスバリアを遮光面の法線方向から見た図である。 図11に示す表示部およびパララックスバリアをパララックスバリア側から見た図である。 対象者の眼と虚像との関係を示す模式図である。 補正情報の例を示す図である。 基準位置および対象者の両眼の位置の一例を示す図である。 基準位置および対象者の両眼の位置の他の例を示す図である。 図10に示す3次元表示装置が重み係数を決定する処理フローの一例を示すフローチャートである。 図10に示す3次元表示装置が3次元画像を投影する処理フローの一例を示すフローチャートである。
 以下、本開示の複数の実施形態について、図面を参照して説明する。
(第1実施形態)
 本開示の第1実施形態について説明する。従来、対象者に虚像を視認させる技術の利便性を向上させることが望まれている。本開示は、対象者に虚像を視認させる技術の利便性を向上させる画像投影装置、画像表示装置、および移動体に関する。本実施形態に係る画像投影装置、画像表示装置、および移動体によれば、対象者に虚像を視認させる技術の利便性が向上する。
(移動体)
 図1を参照して、本開示の一実施形態に係る移動体10について説明する。移動体10は、撮像装置11と、画像投影装置12と、を備える。
 本開示における「移動体」は、例えば車両、船舶、および航空機等を含んでよい。車両は、例えば自動車、産業車両、鉄道車両、生活車両、および滑走路を走行する固定翼機等を含んでよい。自動車は、例えば乗用車、トラック、バス、二輪車、およびトロリーバス等を含んでよい。産業車両は、例えば農業および建設向けの産業車両等を含んでよい。産業車両は、例えばフォークリフトおよびゴルフカート等を含んでよい。農業向けの産業車両は、例えばトラクター、耕耘機、移植機、バインダー、コンバイン、および芝刈り機等を含んでよい。建設向けの産業車両は、例えばブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、およびロードローラ等を含んでよい。車両は、人力で走行するものを含んでよい。車両の分類は、上述した例に限られない。例えば、自動車は、道路を走行可能な産業車両を含んでよい。複数の分類に同じ車両が含まれてよい。船舶は、例えばマリンジェット、ボート、およびタンカー等を含んでよい。航空機は、例えば固定翼機および回転翼機等を含んでよい。
 撮像装置11は、例えばCCD(Charge Coupled Device)撮像素子またはCMOS(Complementary Metal Oxide Semiconductor)撮像素子を含んでよい。撮像装置11は、対象者13の顔を撮像可能である。撮像装置11の撮像範囲は、少なくとも後述するアイボックス16を含む。対象者13は、例えば移動体10の運転者等を含んでよい。撮像装置11の位置は、移動体10の内部および外部において任意である。例えば、撮像装置11は、移動体10のダッシュボード内に位置する。撮像装置11は、撮像画像を生成して、外部装置へ出力可能である。撮像画像の出力は、例えば有線、無線、およびCAN(Controller Area Network)等を介して行われてよい。
 画像投影装置12は、対象者13に所望の画像の虚像14を視認させるヘッドアップディスプレイの少なくとも一部を構成し得る。画像投影装置12の位置は、移動体10の内部および外部において任意である。例えば、画像投影装置12は、移動体10のダッシュボード内に位置する。画像投影装置12は、移動体10に備えられた第1光学部材15に画像を投影する。具体的には、画像投影装置12は、第1光学部材15の所定領域に向かって画像投影光を出射してよい。画像投影光の詳細については後述する。第1光学部材15は、ウィンドシールドおよびコンバイナ等を含んでよい。画像投影装置12が第1光学部材15を有すると、画像投影装置12はヘッドアップディスプレイを構成し得る。
 第1光学部材15の所定領域で反射された画像投影光は、アイボックス16に到達する。アイボックス16は、例えば対象者13の体格、姿勢、および姿勢の変化等を考慮して、対象者13の眼が存在し得ると想定される実空間上の領域である。アイボックス16の形状は任意である。アイボックス16は、平面的または立体的な領域を含んでよい。図1に示す実線の矢印は、画像投影装置12から出射する画像投影光の一部がアイボックス16まで到達する経路を示す。以下、光が進む経路を光路ともいう。光路上には、光を透過する光学素子、および光を反射する光学素子の少なくとも一方が含まれてよい。対象者13は、アイボックス16内に眼が存在する場合、アイボックス16に到達する画像投影光によって、当該画像の虚像14を視認可能である。虚像14は、例えば移動体10よりも前方に視認され得る。
(画像投影装置)
 図2を参照して、画像投影装置12について詳細に説明する。画像投影装置12は、画像表示装置17と、1つ以上の第2光学部材18と、を備える。図2は、画像投影装置12が2つの第2光学部材18a、18bを備える構成を例示している。図2は、画像投影装置12の構成の例を模式的に示している。例えば、画像投影装置12および画像投影装置12の各構成要素の、大きさ、形状、および配置等は、図2に示す例に限定されない。
 画像表示装置17は、任意の画像を表示可能であってよい。画像表示装置17は、画像投影装置12の内部において、画像投影光を出射する。画像投影光は、画像表示装置17が表示する画像を投影する光を含んでよい。画像表示装置17の詳細な構成については後述する。
 第2光学部材18は、画像表示装置17に表示された画像を第1光学部材15に投影し、当該画像の虚像14を対象者13に視認させる。具体的には、第2光学部材18は、画像表示装置17から出射された画像投影光を画像投影装置12の外部に到達させる。図2に示す例において、第2光学部材18aおよび18bが、画像表示装置17から出射された画像投影光を画像投影装置12の外部に到達させる。第2光学部材18は、レンズまたはミラーを含んでよい。例えば、第2光学部材18aおよび18bそれぞれは、ミラーを含んでよい。第2光学部材18aおよび18bの少なくとも一方は、レンズを含んでよい。第2光学部材18aおよび18bの一方がミラーであり、他方がレンズであってよい。図2に示す実線の矢印は、画像表示装置17から出射された画像投影光の一部が、第2光学部材18aおよび18bによって反射され、画像投影装置12の筐体に設けられた窓部を通過し、画像投影装置12の外部まで到達する経路を示す。画像投影装置12の外部に到達した画像投影光は、図1に示すように移動体10に備えられた第1光学部材15の所定領域に到達する。
 第2光学部材18は、画像表示装置17に表示された画像を拡大する拡大光学系として機能してよい。例えば、第2光学部材18aおよび18bの少なくとも一方は、画像投影光が到達する面の少なくとも一部に凸面形状または凹面形状を有するミラーであってよい。第2光学部材18aおよび18bの少なくとも一方は、画像投影光が入射または出射する面の少なくとも一部に凸面形状または凹面形状を有するレンズであってよい。凸面形状および凹面形状の少なくとも一部は、球面形状または非球面形状であってよい。
(画像表示装置)
 図3を参照して、画像表示装置17について詳細に説明する。画像表示装置17は、基板19と、光源素子20と、第3光学部材21と、第4光学部材22と、表示部23と、通信部24と、記憶部25と、制御部26と、を備える。基板19、光源素子20、第3光学部材21、および第4光学部材22が、1つの光源装置27として構成されてよい。かかる場合、画像表示装置17は、光源装置27と、表示部23と、通信部24と、記憶部25と、制御部26と、を備える。基板19、光源素子20、第3光学部材21、第4光学部材22、表示部23、通信部24、記憶部25、および制御部26は、画像表示装置17の内部において固定的に配置されてよい。光源素子20は、基板19上に配置されてよい。図3は、画像表示装置17の構成の例を模式的に示している。例えば、画像表示装置17および画像表示装置17の各構成要素の、大きさ、形状、および配置等は、図3に示される例に限られない。
 光源素子20は、例えば1つ以上の発光ダイオード(LED:Light Emission Diode)または1つ以上のレーザ装置等を含んでよい。光源素子20は、制御部26の制御に応じて光を発する。図3において光源素子20から延びる実線の矢印は、光源素子20から発せられた光の一部が進行する経路を示す。以下、光源素子20から発せられた光の少なくとも一部を、単に光源素子20からの光ともいう。
 第3光学部材21は、光源素子20の位置に対して、光源素子20からの光が進む方向に位置する。例えば図3においては、第3光学部材21は、光源素子20の右方向に位置している。第3光学部材21は、例えばコリメータレンズを含む。第3光学部材21は、光源素子20から入射される光をコリメートする。コリメートされた光は、第3光学部材21の光軸方向と略平行な方向に進む光であってよい。
 第4光学部材22は、第3光学部材21の位置に対して、光源素子20からの光が進む方向に位置する。例えば図3においては、第4光学部材22は、第3光学部材21の右方向に位置している。第4光学部材22は、例えばレンズを含む。第4光学部材22は、例えばフレネルレンズを含んでよい。第4光学部材22は、第4光学部材22の光軸と第3光学部材21の光軸とが略一致するように、画像表示装置17の内部に固定的に配置されてよい。以下、第3光学部材21の光軸または第4光学部材22の光軸を、画像表示装置17の光軸または光源装置27の光軸ともいう。画像表示装置17から発せられる画像投影光の進行方向と、画像表示装置17の光軸方向と、が略平行であってよい。第4光学部材22は、第3光学部材21を通過してコリメートされた光の少なくとも一部を所望の進行方向に屈折させてよい。
 表示部23は、例えばLCD(Liquid Crystal Display)、およびMEMS(Micro Electro Mechanical Systems)シャッターディスプレイ等の透過型液晶デバイスを含む。表示部23は、第4光学部材22の位置に対して、光源素子20からの光が進む方向に位置する。例えば図3においては、表示部23は、第4光学部材22の右方向に位置している。一実施形態において、例えば図3に示すように、光源素子20、第3光学部材21、第4光学部材22、および表示部23は、この順番で画像表示装置17の光軸に沿って配置されてよい。以下、表示部23から出射する光を、画像投影光ともいう。
 通信部24は、外部装置と通信可能な通信インタフェースを含んでよい。外部装置は、例えば撮像装置11を含んでよい。本開示における「通信インタフェース」は、例えば物理コネクタ、および無線通信機を含んでよい。物理コネクタは、電気信号による伝送に対応した電気コネクタ、光信号による伝送に対応した光コネクタ、および電磁波による伝送に対応した電磁コネクタを含んでよい。電気コネクタは、IEC60603に準拠するコネクタ、USB規格に準拠するコネクタ、RCA端子に対応するコネクタ、EIAJ CP-1211Aに規定されるS端子に対応するコネクタ、EIAJ RC-5237に規定されるD端子に対応するコネクタ、HDMI(登録商標)規格に準拠するコネクタ、およびBNC(British Naval ConnectorまたはBaby-series N Connector等)を含む同軸ケーブルに対応するコネクタを含んでよい。光コネクタは、IEC 61754に準拠する種々のコネクタを含んでよい。無線通信機は、Bluetooth(登録商標)、およびIEEE802.11を含む各規格に準拠する無線通信機を含んでよい。無線通信機は、少なくとも1つのアンテナを含む。
 記憶部25は、一時記憶装置および二次記憶装置を含んでよい。記憶部25は、例えば半導体メモリ、磁気メモリ、および光メモリ等を用いて構成されてよい。半導体メモリは、揮発性メモリおよび不揮発性メモリを含んでよい。磁気メモリは、例えばハードディスクおよび磁気テープ等を含んでよい。光メモリは、例えばCD(Compact Disc)、DVD(Digital Versatile Disc)、およびBD(Blu-ray(登録商標) Disc)(登録商標)等を含んでよい。記憶部25は、画像表示装置17の動作に必要な種々の情報およびプログラムを記憶する。
 例えば、記憶部25は、実空間上の複数の位置にそれぞれ対応する複数の補正情報を記憶してよい。以下、当該複数の位置それぞれを、基準位置ともいう。補正情報の詳細については後述する。図4は、実空間上のn個の基準位置にそれぞれ対応するn個の補正情報P1-Pnを示す。n個の基準位置それぞれは、移動体10における任意の位置を原点とする3次元直交座標または3次元極座標で示されてよい。各補正情報に対応する実空間上の基準位置は、アイボックス16の内部または外部に存在してよい。例えば、アイボックス16が六面体である場合、当該複数の基準位置は、当該六面体における8つの頂点の位置を含んでよい。当該複数の基準位置は、アイボックス16を包含する、アイボックス16よりも大きい第1の六面体における8つの頂点の位置を含んでよい。当該複数の基準位置は、アイボックス16に包含される、アイボックス16よりも小さい第2の六面体における8つの頂点の位置を含んでよい。アイボックス16の内部に、複数の第2の六面体が含まれてよい。当該複数の基準位置は、第1の六面体または第2の六面体の内部または辺上の任意の位置を含んでよい。一例において、記憶部25は、アイボックス16の内部に存在する複数の基準位置にそれぞれ対応する複数の補正情報を記憶してよい。
 補正情報の詳細について説明する。上述したように、第1光学部材15で反射してアイボックス16へ到達する画像投影光によって、対象者13は表示部23に表示されている画像の虚像14を視認可能である。第1光学部材15の表面形状は、例えば取り付けられる移動体10に応じて設計され、必ずしも平面形状ではない。さらに、第1光学部材15が移動体10に取り付けられると、移動体10の剛性によって第1光学部材15に対して曲げまたはねじり等の力が加わり、第1光学部材15が歪み得る。このため、対象者13によって視認される虚像14の形状は、当該虚像14を視認する対象者13の眼の位置に応じて歪み得る。
 補正情報は、対象者13の眼の位置に応じて、虚像14の形状の歪みを補正するために用いられる。補正情報は、虚像14の形状の歪みを低減させるように、表示部23に表示させる画像を変形させる情報を含んでよい。例えば、補正情報は、表示部23に表示される画像上の複数の特徴点それぞれのシフト量を示す情報を含んでよい。画像上における複数の特徴点の配置は、任意に定められてよい。例えば、複数の特徴点は、任意の間隔をあけて格子状に配列されてよい。複数の特徴点は、画像を表示する複数の画素に対応してよい。当該補正情報を用いた補正によって、表示部23に表示される画像は、例えば当該画像上の複数の特徴点それぞれが当該補正情報に示されるシフト量だけ移動するように変形される。例えば、当該補正情報を用いた補正によって、表示部23に表示される当該画像が、均一または不均一に変形して、表示部23に表示され得る。補正情報に基づき変形された画像の画像投影光によって、対象者13は、歪みを低減させた虚像14を視認可能である。補正情報は、例えば実験またはシミュレーションにより決定可能である。
 制御部26は、1つ以上のプロセッサを含む。プロセッサは、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、および特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、特定用途向けIC(ASIC;Application Specific Integrated Circuit)を含んでよい。プロセッサは、プログラマブルロジックデバイス(PLD;Programmable Logic Device)を含んでよい。PLDは、FPGA(Field-Programmable Gate Array)を含んでよい。制御部26は、1つまたは複数のプロセッサが協働するSoC(System-on-a-Chip)、およびSiP(System In a Package)のいずれかであってもよい。
 制御部26は、光源装置27全体の動作を制御する。例えば、制御部26は、光源素子20の駆動電力を制御して、光源素子20を発光させる。制御部26は、表示部23に画像を表示させる。画像は、文字または図形を含んでよい。
 制御部26は、通信部24を介して撮像装置11から、対象者13を撮像した撮像画像を取得する。制御部26は、取得された撮像画像に基づいて、実空間における対象者13の両眼の位置を検出する。実空間における対象者13の両眼の位置の検出には、撮像画像を用いる任意のアルゴリズムが採用可能である。例えば、記憶部25は、撮像画像上の対象者13の顔の位置、顔の向き、および顔の大きさの組み合わせと、実空間における対象者13の両眼の位置と、を対応付けた対応情報を予め記憶する。対応情報は、例えば実験またはシミュレーションによって決定可能である。対応情報は、例えばルックアップテーブルとして記憶されてよい。制御部26は、撮像画像上の対象者13の顔の位置、顔の向き、および顔の大きさを検出する。顔および眼の検出には、例えばパターンマッチングを用いる手法、または撮像画像上の対象者13の特徴点を抽出する手法等が採用可能である。制御部26は、検出された撮像画像上の対象者13の顔の位置、顔の向き、および顔の大きさの組み合わせに対応する、実空間における対象者13の両眼の位置を、対応情報から抽出する。制御部26は、抽出された位置を、実空間における対象者13の両眼の位置として検出する。
 制御部26は、検出された両目の位置に応じて、表示部23に表示させる画像を動的に補正する。画像の補正は、例えば画像の変形を含んでよい。画像を補正する任意のアルゴリズムが採用可能である。以下、互いに異なる2つのアルゴリズムについて具体的に説明する。
(第1アルゴリズム)
 概略として、第1アルゴリズムでは、対象者13の右眼の位置に対応する第1補正情報と、対象者13の左眼の位置に対応する第2補正情報とに基づいて、第3補正情報が生成される。生成された第3補正情報に基づいて、表示部23に表示される表示画像が動的に補正される。以下、具体的に説明する。
 制御部26は、対象者13の右眼の位置に対応する第1補正情報を決定する。例えば、制御部26は、対象者13の右眼の位置に対応する第1補正情報を、記憶部25に記憶された複数の補正情報の中から選択することによって決定してよい。あるいは、制御部26は、対象者13の右眼の位置に対応する第1補正情報を、2つ以上の補正情報に基づいて生成することによって決定してよい。第1補正情報の生成には、任意のアルゴリズムが採用可能である。
 例えば図5において、それぞれ補正情報が対応付けられた8つの基準位置を頂点とする六面体の内部に、対象者13の右眼Rが位置している。かかる場合、制御部26は、右眼Rの近傍に存在する当該8つの補正情報のうち2つ以上の補正情報に基づいて、右眼Rの位置に対応する第1補正情報を内挿により生成する。
 例えば図6において、それぞれ補正情報が対応付けられた8つの基準位置を頂点とする六面体の外部に、対象者13の右眼Rが位置している。かかる場合、制御部26は、右眼Rの近傍に存在する当該8つの補正情報のうち2つ以上の補正情報に基づいて、右眼Rの位置に対応する第1補正情報を外挿により生成する。
 かかる構成によれば、内挿または外挿によって第1補正情報が生成される。このため、補正情報を記憶すべき基準位置の数が低減可能であり、記憶部25に記憶すべき補正情報の情報量が低減可能である。
 制御部26は、対象者13の左眼の位置に対応する第2補正情報を決定する。例えば、制御部26は、対象者13の左眼の位置に対応する第2補正情報を、記憶部25に記憶された複数の補正情報の中から選択することによって決定してよい。あるいは、制御部26は、対象者13の左眼の位置に対応する第2補正情報を、2つ以上の補正情報に基づいて生成することによって決定してよい。第2補正情報の生成は、上述した第1補正情報の生成と同様にして行われてよい。例えば図5に示すように、対象者13の左眼Lが六面体の内部に位置する場合、制御部26は、左眼Lの位置に対応する第2補正情報を内挿により生成する。例えば図6に示すように、対象者13の左眼Lが六面体の外部に位置する場合、制御部26は、左眼Lの位置に対応する第2補正情報を外挿により生成する。
 制御部26は、第1補正情報と、第2補正情報と、に基づいて第3補正情報を生成する。第3補正情報の生成には、任意のアルゴリズムが採用可能であってよい。例えば、制御部26は、第1補正情報および第2補正情報それぞれに重み付けを行い、第3補正情報を生成する。具体的には、第3補正情報に示される、画像上の特徴点のシフト量S3は、次式(1)で決定される。
 S3=α×S1+(1-α)×S2                  (1)
式(1)において、αは、0以上1以下の値を示す重み係数を示す。S1は、第1補正情報に示される、当該特徴点のシフト量を示す。S2は、第2補正情報に示される、当該特徴点のシフト量を示す。例えば、重み係数α=0.3、ある特徴点のシフト量S1=+10、および当該特徴点のシフト量S2=-10である場合、第3補正情報に示される当該特徴点のシフト量S3は、S3=0.3×(+10)+0.7×(-10)=-4となる。
 重み係数αは、0以上1以下の範囲で任意に定められてよい。例えば、重み係数αは、予め定められてよい。あるいは、重み係数αは、対象者13の優位眼を考慮して決定されてよい。
 対象者13の優位眼を考慮した重み係数αの決定は、例えば、対象者13が移動体10を運転するより前に行われてよい。具体的には、制御部26は、対象者13を撮像した撮像画像を取得する。制御部26は、実空間上の対象者13の両眼の位置を検出する。制御部26は、検出された両眼の位置に基づいて、第1補正情報および第2補正情報を決定する。制御部26は、重み係数αを初期値に設定する。制御部26は、第1補正情報、第2補正情報、および重み係数αに基づいて、第3補正情報を生成する。制御部26は、生成された第3補正情報を用いて補正した基準画像を表示部23に表示させる。基準画像として、任意の画像が採用可能である。例えば、基準画像は、正方形、円、または格子状に並んだ複数の線等を含んでよい。
 制御部26は、例えば対象者13によるユーザ操作に応じて、重み係数αを変化させる。重み係数αを変化させた場合、制御部26は、第1補正情報、第2補正情報、および変化後の重み係数αに基づいて、第3補正情報を新たに生成する。制御部26は、新たに生成された第3補正情報を用いて補正された基準画像を表示部23に表示させる。重み係数αの変化、および新たに生成される第3補正情報を用いて補正された基準画像の表示は、ユーザ操作に応じて複数回実行されてよい。制御部26は、例えば対象者13によるユーザ操作に応じて、重み係数αを確定し、記憶部25に記憶する。
 上述のように重み係数αが確定された後、例えば対象者13が移動体10を運転する場合に、制御部26は、表示部23に表示させる表示画像を対象者13の両眼の位置に応じて動的に補正する。具体的には、制御部26は、対象者13の両眼の位置に対応する第1補正情報および第2補正情報と、確定された重み係数αと、に基づいて第3補正情報を決定する。制御部26は、決定された第3補正情報を用いて、表示部23に表示する表示画像を動的に補正する。表示画像は、任意の情報または画像を含んでよい。例えば、表示画像は、移動体10の走行速度、予測進路、走行路の制限速度、標識情報、ルートガイド等の運転支援画像、および歩行者等の障害物を示す画像等を含んでよい。
 虚像14の歪みが最も小さいと対象者13が知覚し得るような重み係数αは、対象者13の優位眼および非優位眼の映像合成比率に応じて異なる。対象者13は、例えば両眼で基準画像の虚像14を視認しながら重み係数αを変化させることによって、虚像14の歪みが最も小さいと知覚したときの重み係数αを記憶部25に記憶させることができる。かかる構成によれば、対象者13の優位眼を考慮した重み係数αによって表示画像が補正される。このため、対象者13によって知覚される虚像14の歪みが低減され、虚像14の視認性が向上する。対象者13に虚像14を視認させる技術の利便性が向上する。
(第2アルゴリズム)
 概略として、第2アルゴリズムでは、対象者13の両眼の位置に基づいて、特定位置が決定される。決定された特定位置に対応する第3補正情報が決定される。決定された第3補正情報に基づいて、表示部23に表示される表示画像が動的に補正される。以下、具体的に説明する。
 制御部26は、対象者13の両眼の位置を決定する。制御部26は、対象者13の両眼の位置に基づいて特定位置を決定する。特定位置の決定には、任意のアルゴリズムが採用可能であってよい。例えば、制御部26は、対象者13の右眼の位置および左眼の位置それぞれに重み付けを行い、特定位置を決定する。具体的には、特定位置Q3は、次式(2)で決定される。
 Q3=α×Q1+(1-α)×Q2                  (2)
式(2)において、αは、0以上1以下の値を示す重み係数を示す。Q1は、対象者13の右眼の位置を示す。Q2は、対象者13の左眼の位置を示す。例えば、重み係数α=0.3、対象者13の右眼の位置Q1={10,0,0}、対象者13の左眼の位置Q2={20,10,0}である場合、特定位置Q3は、Q3={17,7,0}となる。
 重み係数αは、0以上1以下の範囲で任意に定められてよい。例えば、重み係数αは、予め定められてよい。あるいは、重み係数αは、対象者13の優位眼を考慮して決定されてよい。対象者13の優位眼を考慮した重み係数αの決定は、上述した第1アルゴリズムと同様に行われてよい。具体的には、制御部26は、対象者13を撮像した撮像画像を取得する。制御部26は、実空間上の対象者13の両眼の位置を検出する。制御部26は、重み係数αを初期値に設定する。制御部26は、対象者13の両眼の位置および重み係数αに応じて特定位置を決定する。制御部26は、特定位置に対応する第3補正情報を決定する。特定位置に対応する第3補正情報の決定は、上述した第1アルゴリズムにおける第1補正情報または第2補正情報の決定と同様に行われてよい。制御部26は、決定された第3補正情報を用いて補正した基準画像を表示部23に表示させる。
 制御部26は、例えば対象者13によるユーザ操作に応じて、重み係数αを変化させる。重み係数αを変化させた場合、制御部26は、対象者13の両眼の位置、および変化後の重み係数αに基づいて、特定位置を新たに決定する。制御部26は、新たに決定された特定位置に対応する第3補正情報を新たに決定する。制御部26は、新たに決定された第3補正情報を用いて補正された基準画像を表示部23に表示させる。重み係数αの変化、および新たに決定される第3補正情報を用いて補正された基準画像の表示は、ユーザ操作に応じて複数回実行されてよい。制御部26は、例えば対象者13によるユーザ操作に応じて、重み係数αを確定し、記憶部25に記憶する。
 上述のように重み係数αが確定された後、例えば対象者13が移動体10を運転する場合に、制御部26は、表示部23に表示させる表示画像を対象者13の両眼の位置に応じて動的に補正する。具体的には、制御部26は、対象者13の両眼の位置と、確定された重み係数αと、に基づいて特定位置を決定する。制御部26は、特定位置に対応する第3補正情報を決定する。制御部26は、決定された第3補正情報を用いて、表示部23に表示する表示画像を動的に補正する。
 上述した第2アルゴリズムによれば、第1アルゴリズムが採用される場合と同様に、対象者13の優位眼を考慮した重み係数αによって表示画像が補正される。このため、対象者13によって知覚される虚像14の歪みが低減され、虚像14の視認性が向上する。対象者13に虚像14を視認させる技術の利便性が向上する。第2アルゴリズムによれば、対象者13の両眼の位置と重み係数αとに基づいて決定される特定位置に対応する第3補正情報を決定すればよい。このため、第1補正情報、第2補正情報、および重み係数αに基づいて第3補正情報を生成する第1アルゴリズムと比較して、処理負担が軽減可能である。
 図7を参照して、上述した第1アルゴリズムが採用される構成において、対象者13の優位眼を考慮して重み係数αを決定する画像投影装置12の動作について説明する。本動作は、例えば対象者13が移動体10を運転するより前に行われてよい。
 ステップS100:制御部26は、通信部24を介して撮像装置11から、対象者13を撮像した撮像画像を取得する。
 ステップS101:制御部26は、取得された撮像画像に基づいて、実空間における対象者13の両眼の位置を検出する。
 ステップS102:制御部26は、対象者13の右眼の位置に対応する第1補正情報と、左眼の位置に対応する第2補正情報と、を決定する。
 ステップS103:制御部26は、重み係数αを初期値に設定する。
 ステップS104:制御部26は、第1補正情報、第2補正情報、および重み係数αに基づいて、第3補正情報を生成する。
 ステップS105:制御部26は、第3補正情報を用いて補正した基準画像を表示部23に表示させる。
 ステップS106:制御部26は、例えば対象者13によるユーザ操作を検出すると、重み係数αを変化させるか否かを決定する。重み係数αを変化させると決定した場合(ステップS106-Yes)、プロセスはステップS107に進む。一方、重み係数αを変化させないと決定した場合(ステップS106-No)、プロセスはステップS108に進む。
 ステップS107:制御部26は、例えばステップS106のユーザ操作に応じて、重み係数αを変化させる。その後、プロセスはステップS104に戻る。
 ステップS108:制御部26は、例えばステップS106のユーザ操作に応じて、重み係数αを確定し、記憶部25に記憶する。その後、プロセスは終了する。
 図8を参照して、上述した第1アルゴリズムが採用される構成において、表示画像を対象者13の両眼の位置に応じて動的に補正する画像投影装置12の動作について説明する。本動作は、例えば対象者13が移動体10を運転している間に繰り返し行われてよい。
 ステップS200:制御部26は、通信部24を介して撮像装置11から、対象者13を撮像した撮像画像を取得する。
 ステップS201:制御部26は、取得された撮像画像に基づいて、実空間における対象者13の両眼の位置を検出する。
 ステップS202:制御部26は、対象者13の右眼の位置に対応する第1補正情報と、左眼の位置に対応する第2補正情報と、を決定する。
 ステップS203:制御部26は、第1補正情報、第2補正情報、および記憶部25に記憶された重み係数αに基づいて、第3補正情報を生成する。
 ステップS204:制御部26は、第3補正情報を用いて補正した表示画像を表示部23に表示させる。その後、プロセスはステップS200に戻る。
 図9を参照して、上述した第2アルゴリズムが採用される構成において、表示画像を対象者13の両眼の位置に応じて動的に補正する画像投影装置12の動作について説明する。本動作は、例えば対象者13が移動体10を運転している間に繰り返し行われてよい。
 ステップS300:制御部26は、通信部24を介して撮像装置11から、対象者13を撮像した撮像画像を取得する。
 ステップS301:制御部26は、取得された撮像画像に基づいて、実空間における対象者13の両眼の位置を検出する。
 ステップS302:制御部26は、対象者13の右眼の位置、左眼の位置、および記憶部25に記憶された重み係数αに基づいて、特定位置を決定する。
 ステップS303:制御部26は、決定された特定位置に対応する第3補正情報を決定する。
 ステップS304:制御部26は、第3補正情報を用いて補正した表示画像を表示部23に表示させる。その後、プロセスはステップS300に戻る。
 以上述べたように、一実施形態に係る画像投影装置12は、表示部23に表示させる画像を対象者13の両眼の位置に応じて動的に補正する。かかる構成によれば、対象者13によって知覚される虚像14の歪みが低減され、虚像14の視認性が向上する。対象者13に虚像14を視認させる技術の利便性が向上する。
 画像投影装置12は、実空間上の複数の基準位置にそれぞれ対応する複数の補正情報を記憶してよい。画像投影装置12は、記憶された複数の補正情報に基づいて、対象者13の右眼の位置に対応する第1補正情報と、対象者13の左眼の位置に対応する第2補正情報と、を決定してよい。画像投影装置12は、対象者13の優位眼を考慮して決定される重み係数を記憶してよい。画像投影装置12は、第1補正情報と、第2補正情報と、重み係数と、に基づいて第3補正情報を生成してよい。画像投影装置12は、表示部23に表示させる画像を、第3補正情報を用いて補正してよい。かかる構成によれば、対象者13によって知覚される虚像14の歪みが精度良く低減され、虚像14の視認性がさらに向上される。
 画像投影装置12は、対象者13の右眼の位置と、対象者13の左眼の位置と、対象者13の優位眼を考慮して決定される重み係数と、に基づいて特定位置を決定してよい。画像投影装置12は、記憶部25に記憶された複数の補正情報に基づいて、特定位置に対応する第3補正情報を決定してよい。画像投影装置12は、表示部23に表示させる画像を、第3補正情報を用いて補正してよい。かかる構成によれば、対象者13によって知覚される虚像14の歪みが精度良く低減され、虚像14の視認性がさらに向上される。
(第2実施形態)
 本開示の第2実施形態について説明する。従来、対象者に3次元画像の虚像を視認させる技術の利便性を向上させることが望まれている。本実施形態の目的は、対象者に3次元画像の虚像を視認させる技術の利便性を向上させる3次元投影装置、3次元投影システム、および移動体を提供することにある。本実施形態によれば、対象者に3次元画像の虚像を視認させる技術の利便性を向上させることが可能となる。
(移動体)
 図3を参照して、本実施形態に係る移動体100について説明がされる。移動体100は、3次元投影システム1000を搭載しうる。3次元投影システム1000は、検出装置11と、3次元投影装置12とを備える。図3において、利用者の両眼を結ぶ方向はx軸方向、鉛直方向はy軸方向、x軸方向およびy軸方向に直交する方向はz軸方向として示される。
 検出装置110は、対象者130の眼の位置を検出しうる。検出装置110は、検出した眼の位置を3次元投影装置120に送信しうる。検出装置110の位置は、移動体100の内部および外部において任意である。例えば、検出装置110は、移動体100のダッシュボード内に位置しうる。検出装置110は、例えば有線、無線、およびCAN(Controller Area Network)等を介して眼の位置を示す情報を3次元投影装置12へ出力してよい。
 検出装置110は、撮像装置を含んでよい。撮像装置は、例えばCCD撮像素子またはCMOS撮像素子を含んでよい。撮像装置は、対象者130の顔を撮像可能である。撮像装置の撮像範囲は、少なくとも後述するアイボックス160を含む。対象者130は、例えば移動体100の運転者等を含んでよい。
 検出装置110は、撮像装置によって生成された撮像画像に基づいて、実空間における対象者130の両眼の位置を検出しうる。実空間における対象者130の両眼の位置の検出には、撮像画像を用いる任意のアルゴリズムが採用可能である。例えば、検出装置110は、撮像画像上の対象者130の顔の位置、顔の向き、および顔の大きさの組み合わせと、実空間における対象者130の両眼の位置と、を対応付けた対応情報を予め記憶しうる。対応情報は、例えば実験またはシミュレーションによって決定可能である。対応情報は、例えばルックアップテーブルとして記憶されてよい。検出装置110は、撮像画像上の対象者130の顔の位置、顔の向き、および顔の大きさを検出しうる。顔および眼の検出には、例えばパターンマッチングを用いる手法、または撮像画像上の対象者130の特徴点を抽出する手法等が採用可能である。検出装置110は、検出された撮像画像上の対象者130の顔の位置、顔の向き、および顔の大きさの組み合わせに対応しうる、実空間における対象者130の両眼の位置を、対応情報から抽出しうる。検出装置110は、抽出された位置を、実空間における対象者130の両眼の位置として検出しうる。
 検出装置110は、撮像装置を含まず、撮像装置に接続されていてよい。検出装置110は、撮像装置からの信号を入力する入力端子を含んでよい。この場合、撮像装置は、入力端子に直接的に接続されてよい。検出装置110は、共有のネットワークを介して入力端子に間接的に接続されてよい。検出装置110は、入力端子に入力された映像信号から対象者130の眼の位置を検出してよい。
 検出装置110は、例えば、センサを含んでよい。センサは、超音波センサまたは光センサ等であってよい。検出装置110は、センサによって対象者130の頭部の位置を検出し、頭部の位置に基づいて、対象者130の眼の位置を検出してよい。検出装置110は、2つ以上のセンサによって、対象者130の眼の位置を三次元空間の座標として検出してよい。
 3次元投影装置120は、例えば移動体100の対象者130に虚像140を視認させる。虚像140は、第1虚像140aと第2虚像140bとを含みうる。第1虚像140aは、後述する表示部200が表示する画像の虚像である。第2虚像140bは、後述するパララックスバリア210の虚像である。本実施形態において3次元投影装置120は、移動体100が備えた第1光学部材150の所定領域に向かって、後述する画像光を射出しうる。射出された画像光は、第1光学部材150の所定領域で反射され、対象者130の眼に到達する。これにより、3次元投影装置120はヘッドアップディスプレイとして機能しうる。本実施形態において、第1光学部材150はウィンドシールドであってよい。他の実施形態において、第1光学部材150はコンバイナであってよい。
 3次元投影装置120の位置は、移動体100の内部および外部において任意である。例えば、3次元投影装置120は、移動体100のダッシュボード内に位置しうる。3次元投影装置120は、移動体100に備えられた第1光学部材150に画像を投影しうる。具体的には、3次元投影装置120は、第1光学部材150の所定領域に向かって画像光を出射してよい。
 第1光学部材150は、3次元投影装置120からの画像光を所定領域で反射しうる。第1光学部材150の所定領域で反射された画像光は、アイボックス160に到達する。アイボックス160は、例えば対象者130の体格、姿勢、および姿勢の変化等を考慮して、対象者130の眼が存在しうると想定される実空間上の領域である。アイボックス160の形状は任意である。アイボックス160は、平面的または立体的な領域を含んでよい。図3に示す実線の矢印は、3次元投影装置120から出射される画像光の一部がアイボックス160まで到達する経路を示す。以下、画像光が進む経路を光路ともいう。対象者130は、アイボックス160内に眼が存在する場合、アイボックス160に到達する画像光によって、虚像140を視認可能である。虚像140は、例えば移動体100よりも前方に視認されうる。
 第1光学部材150は、ウィンドシールドおよびコンバイナ等を含んでよい。3次元投影装置120が第1光学部材150を有すると、3次元投影装置120はヘッドアップディスプレイを構成しうる。
 (画像投影装置)
 図4を参照して、3次元投影装置120について詳細に説明がされる。3次元投影装置120は、3次元表示装置170と、1つ以上の第2光学部材180(光学部材)と、を備える。図4は、3次元投影装置120が2つの第2光学部材180a、180bを備える構成を例示している。図4は、3次元投影装置120の構成の例を模式的に示している。例えば、3次元投影装置120および3次元投影装置120の各構成要素の、大きさ、形状、および配置等は、図4に示す例に限定されない。
 (第2光学部材)
 第2光学部材180は、3次元表示装置170が備える表示部200の表示面2010に表示された画像を第1光学部材150に投影し、当該画像の第1虚像140aを対象者130に視認させる。第2光学部材180は、3次元表示装置170が備えるパララックスバリア210を第1光学部材150に投影し、当該パララックスバリア210の第2虚像140bを対象者130に視認させる。
 具体的には、第2光学部材180は、3次元表示装置170から出射された光を3次元投影装置120の外部に到達させる。図4に示す例において、第2光学部材180aおよび180bが、3次元表示装置170から出射された光を3次元投影装置120の外部に到達させる。第2光学部材180は、レンズまたはミラーを含んでよい。例えば、第2光学部材180aおよび180bそれぞれは、ミラーを含んでよい。第2光学部材180aおよび180bの少なくとも一方は、レンズを含んでよい。第2光学部材180aおよび180bの一方がミラーであり、他方がレンズであってよい。図4に示す一点破線の矢印は、3次元表示装置170から出射された光の一部が、第2光学部材180aおよび180bによって反射され、3次元投影装置120の筐体に設けられた窓部を通過し、3次元投影装置120の外部まで到達する経路を示す。3次元投影装置120の外部に到達した光は第1光学部材150の所定領域に到達しうる。
 第2光学部材180は、3次元表示装置170に表示された画像を拡大する拡大光学系として機能してよい。例えば、第2光学部材180aおよび180bの少なくとも一方は、光が到達する面の少なくとも一部に凸面形状または凹面形状を有するミラーであってよい。第2光学部材180aおよび180bの少なくとも一方は、光が入射または出射する面の少なくとも一部に凸面形状または凹面形状を有するレンズであってよい。凸面形状および凹面形状の少なくとも一部は、球面形状または非球面形状であってよい。
 (3次元表示装置)
 図4を参照して、3次元表示装置170について詳細に説明がされる。3次元表示装置170は、3次元投影装置120の内部に配置されてよい。3次元表示装置170は、照射器190と、表示部200と、パララックスバリア210(光学素子)と、通信部220と、記憶部230と、制御部240とを備える。図4は、3次元表示装置170の構成の例を模式的に示している。例えば、3次元表示装置170および3次元表示装置170の各構成要素の、大きさ、形状、および配置等は、図4に示される例に限られない。
 表示部200は、表示素子である。表示部200には、例えば透過型の液晶表示パネルなどの任意の表示パネルが採用可能である。表示部200は、図5に示すように、板状の表示面2010上に、第1方向および第1方向に略直交する第2方向に区画された複数の区画領域を有する。第1方向は水平方向と称されてよい。第2方向は鉛直方向と称されてよい。しかし、第1方向および第2方向はそれぞれこれらに限られない。図面において、第1方向はu軸方向として表され、第2方向はv軸方向として表される。表示面2010に表示された画像のu軸方向は、当該画像の第1虚像140aにおけるx軸方向に対応しうる。
 区画領域の各々には、1つのサブピクセルが対応する。したがって、表示面2010は、水平方向および鉛直方向に沿って格子状に配列された複数のサブピクセルを備える。各サブピクセルはR,G,Bの各色に対応する。R,G,およびBの3つのサブピクセルの組み合わせが1ピクセルを構成することができる。1ピクセルは、1画素と称されうる。水平方向は、例えば、1ピクセルを構成する複数のサブピクセルが並ぶ方向である。鉛直方向は、例えば、同じ色のサブピクセルが並ぶ方向である。表示部200には、透過型の液晶パネルに限られず、有機EL等他の表示パネルが採用可能である。表示部200として、自発光型の表示パネルが採用された場合、3次元表示装置170は照射器190を備えなくてよい。
 上述のように表示面2010に配列された複数のサブピクセルはサブピクセル群Pgを構成する。サブピクセル群Pgは、右サブピクセル群Pgr(第1サブピクセル群)および左サブピクセル群Pgl(第2サブピクセル群)を含む。右サブピクセル群Pgrおよび左サブピクセル群Pglは、水平方向に互いに隣接して配置される。複数のサブピクセル群Pgは、水平方向に隣接して、繰り返して配列される。
 右サブピクセル群Pgrは、所定の列のサブピクセルを含む。具体的には、右サブピクセル群Pgrは、鉛直方向に連続して配列され、水平方向に所定数、連続した列の右眼画像(第1画像)が表示されるサブピクセルを含む。左サブピクセル群Pglは、所定の列のサブピクセルを含む。具体的には、左サブピクセル群Pglは、鉛直方向に連続して配列され、水平方向に所定数、連続した列の左眼画像(第2画像)が表示されるサブピクセルを含む。右眼画像は、対象者130の右眼(第1の眼)に視認させるための画像である。左眼画像は、対象者130の左眼(第2の眼)に視認させるための画像である。
 図5に示す例では、表示面2010には、水平方向に連続して配列された4列のサブピクセルを含む左サブピクセル群Pglが配置される。表示面2010には、左サブピクセル群Pglの水平方向に隣接して、水平方向に連続して配列された4列のサブピクセルを含む右サブピクセル群Pgrが配置される。
 パララックスバリア210は、図6に示すように、鉛直方向に伸びる複数の帯状領域である開口領域210bごとに、サブピクセルから射出される画像光の伝播方向である光線方向を規定しうる。パララックスバリア210がサブピクセルから射出される画像光の光線方向を規定することによって、対象者130の眼に到達する画像光を射出するサブピクセルが位置する、表示面201上の領域が定まる。
 具体的には、パララックスバリア210は、図4に示したように、表示面2010に沿う平面により形成される。パララックスバリア210は、表示面2010から所定距離(ギャップ)g、離れて配置される。パララックスバリア210は、表示部200に対して照射器190の反対側に位置しうる。パララックスバリア210は、表示部200の照射器190側に位置しうる。
 パララックスバリア210は、図6に示したように、複数の、画像光を遮光する遮光面210aを有する。複数の遮光面210aは、互いに隣接する該遮光面210aの間の開口領域210bを画定しうる。開口領域210bは、遮光面210aに比べて光透過率が高い。遮光面210aは、開口領域210bに比べて光透過率が低い。開口領域210bは、パララックスバリア210に入射しうる光を透過させる部分である。開口領域210bは、第1所定値以上の透過率で光を透過させてよい。第1所定値は、例えば100%であってよいし、100%に近い値であってよい。遮光面210aは、パララックスバリア210に入射しうる光を遮って透過させない部分である。言い換えれば、遮光面210aは、表示部200に表示される画像を遮る。遮光面210aは、第2所定値以下の透過率で光を遮ってよい。第2所定値は、例えば0%であってよいし、0%に近い値であってよい。
 開口領域210bと遮光面210aとは、表示面2010に沿う鉛直方向に延び、水平方向に繰り返し交互に配列される。開口領域210bは、サブピクセルから射出される画像光の光線方向を規定しうる。
 パララックスバリア210は、液晶シャッターで構成されてよい。液晶シャッターは、印加する電圧に応じて光の透過率を制御しうる。液晶シャッターは、複数の画素で構成され、各画素における光の透過率を制御してよい。液晶シャッターは、光の透過率が高い領域または光の透過率が低い領域を任意の形状に形成してうる。パララックスバリア210が液晶シャッターで構成される場合、開口領域200bは、第1所定値以上の透過率を有する領域としてよい。パララックスバリア210が液晶シャッターで構成される場合、遮光面210aは、第2所定値以下の透過率を有する領域としてよい。
 表示部200の表示面2010から射出された画像光は、一部がパララックスバリア210を透過し、第2光学部材180a、180bを介して第1光学部材150に到達しうる。さらに画像光は第1光学部材150に反射されて対象者130の眼に到達しうる。これにより、対象者130の眼は第1光学部材150の前方に表示部200の第1虚像140aを認識しうる。本願において前方は、対象者130からみて第1光学部材150の方向である。前方は、移動体100の通常移動する方向である。また、パララックスバリア210は、第1光学部材150の前方であって第1虚像140aの第1光学部材150側に第2虚像140bをつくる。図7に示すように、対象者130は、見かけ上、第1虚像140aの位置に表示部200が存在し、第2虚像140bの位置にパララックスバリア210が存在するかのように、画像を視認しうる。
 図7は、対象者130から観察しうる表示部200の第1虚像140aの各サブピクセルを示す。符号Lが付されたサブピクセルは左眼画像の虚像を表示する。符号Rが付されたサブピクセルは右眼画像の虚像を表示する。さらに、図7は、対象者130の左眼から観察される第1虚像140aの左眼の可視領域140aaおよび不可視領域140abを示す。
 図8を参照して、さらに詳細に説明がされる。可視領域140aaは、表示面2010から射出され、パララックスバリア210の開口領域210bを透過した画像光が左眼に到達することによって、左眼が視認する第1虚像140aの領域である。不可視領域140abは、表示面2010から射出された画像光がパララックスバリア210の遮光面210aで遮光されるために、左眼が画像光を視認できない第1虚像140aの領域である。このとき、利用者の右眼は、第1虚像140aにおける左眼の可視領域140aaを視認しない。利用者の右眼は、第1虚像140aにおいて右眼画像の虚像を表示する左眼の不可視領域140abを視認しうる。したがって、対象者130の右眼は、右眼画像を視認し、左眼画像を視認しない。
 このように、対象者130の右眼は右眼画像を視認しうる。対象者130の左眼は左眼画像を視認しうる。したがって、左眼画像と右眼画像との間に視差がある場合、対象者130は3次元画像を視認しうる。
 通信部220は、外部装置と通信可能な通信インタフェースを含んでよい。外部装置は、例えば検出装置110を含んでよい。
 記憶部230は、一時記憶装置および二次記憶装置を含んでよい。記憶部230は、例えば半導体メモリ、磁気メモリ、および光メモリ等を用いて構成されてよい。記憶部230は、3次元表示装置170の動作に必要な種々の情報およびプログラムを記憶しうる。
 例えば、記憶部230は、実空間上の複数の位置にそれぞれ対応する複数の補正情報を記憶してよい。以下、当該複数の位置それぞれを、基準位置ともいう。補正情報の詳細については後述する。図9は、実空間上のn個の基準位置にそれぞれ対応するn個の補正情報P1からPnを示す。n個の基準位置それぞれは、移動体100における任意の位置を原点とする3次元直交座標または3次元極座標で示されてよい。各補正情報に対応する実空間上の基準位置は、アイボックス160の内部または外部に存在してよい。例えば、アイボックス160が六面体である場合、当該複数の基準位置は、当該六面体における8つの頂点の位置を含んでよい。当該複数の基準位置は、アイボックス160を包含しうる、アイボックス160よりも大きい第1の六面体における8つの頂点の位置を含んでよい。当該複数の基準位置は、アイボックス160に包含される、アイボックス160よりも小さい第2の六面体における8つの頂点の位置を含んでよい。アイボックス160の内部に、複数の第2の六面体が含まれてよい。当該複数の基準位置は、第1の六面体または第2の六面体の内部または辺上の任意の位置を含んでよい。一例において、記憶部230は、アイボックス160の内部に存在する複数の基準位置にそれぞれ対応する複数の補正情報を記憶してよい。
 補正情報の詳細について説明がされる。上述したように、第1光学部材150で反射してアイボックス160へ到達する画像光によって、対象者130は表示部200に表示されている画像の虚像140を視認可能である。第1光学部材150の表面形状は、例えば取り付けられる移動体100に応じて設計され、必ずしも平面形状ではない。さらに、第1光学部材150が移動体100に取り付けられると、移動体100の剛性によって第1光学部材150に対して曲げまたはねじり等の力が加わり、第1光学部材150が歪み得る。このため、対象者130によって視認される虚像140の形状は、当該虚像140を視認する対象者130の眼の位置に応じて歪みうる。
 補正情報は、対象者130の眼の位置に応じて、第1虚像140aおよび第2虚像140bの形状の歪みを補正するために用いられる。補正情報は、第1虚像140aおよび第2虚像140bの形状の歪みを低減させるように、表示部200に表示させる画像を変形させる情報を含んでよい。例えば、補正情報は、表示部200に表示される画像上の複数の特徴点それぞれのシフト量を示す情報を含んでよい。画像上における複数の特徴点の配置は、任意に定められてよい。例えば、複数の特徴点は、任意の間隔をあけて格子状に配列されてよい。複数の特徴点は、画像を表示する複数の画素に対応してよい。当該補正情報を用いた補正によって、表示部200に表示される画像は、例えば当該画像上の複数の特徴点それぞれが当該補正情報に示されるシフト量だけ移動するように変形されうる。例えば、当該補正情報を用いた補正によって、表示部200に表示される当該画像が、均一または不均一に変形して、表示部200に表示され得る。補正情報に基づき変形された画像の画像光によって、対象者130は、歪みを低減させた虚像140を視認可能である。補正情報は、例えば実験またはシミュレーションにより決定可能である。
 制御部240は、1つ以上のプロセッサを含む。プロセッサは、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、および特定の処理に特化した専用のプロセッサを含んでよい。制御部240は、1つまたは複数のプロセッサが協働するSoC、およびSiPのいずれかであってよい。
 制御部240は、照射器190、表示部200、およびパララックスバリア210の動作を制御しうる。例えば、制御部240は、照射器190の駆動電力を制御して、照射器290を発光させうる。制御部240は、表示部200に画像を表示させうる。画像は、文字または図形を含んでよい。制御部240は、パララックスバリア210を構成する液晶シャッターに印加する電圧を制御して、パララックスバリア210における光の透過率を制御しうる。制御部240が表示部200およびパララックスバリア210をそれぞれ制御する処理については追って詳細に説明がされる。
 制御部240は、通信部220を介して検出装置110から、対象者130の眼の位置に関する情報を取得しうる。制御部240は、検出装置110が備える撮像装置から撮像画像を取得しうる。この場合、制御部240は、取得された撮像画像に基づいて、実空間における対象者130の両眼の位置を検出しうる。
 制御部240は、取得された情報が示す眼の位置に応じて、表示部200に表示させる右眼画像、左眼画像を動的に補正しうる。制御部240は、眼の位置に応じてパララックスバリア210を動的に補正しうる。画像を補正するためのアルゴリズムとして、任意のアルゴリズムが採用可能である。以下、制御部240がアルゴリズムを用いて画像を補正する例について具体的に説明する。
 概略として、制御部240は、アルゴリズムを用いて、対象者130の右眼の位置に対応する第1補正情報と、対象者13の左眼の位置に対応する第2補正情報とを決定しうる。制御部240は、第1補正情報に基づいて右眼画像を補正しうる。制御部240は、第2補正情報に基づいて左眼画像を補正しうる。制御部240は、第1補正情報と第2補正情報とに基づいて第3補正情報を生成しうる。制御部240は、生成された第3補正情報に基づいて、パララックスバリア210を動的に補正しうる。以下、具体的に説明がされる。
 制御部240は、対象者130の右眼の位置に対応する第1補正情報を決定しうる。例えば、制御部240は、第1補正情報を、記憶部230に記憶された複数の補正情報の中から選択することによって決定してよい。あるいは、制御部240は、第1補正情報を、2つ以上の補正情報に基づいて生成することによって決定してよい。第1補正情報の生成には、任意のアルゴリズムが採用可能である。
 例えば図10において、それぞれ補正情報が対応付けられた8つの基準位置を頂点とする六面体の内部に、対象者130の右眼ERが位置している。かかる場合、制御部240は、右眼ERの近傍に存在する当該8つの補正情報のうち2つ以上の補正情報に基づいて、右眼ERの位置に対応する第1補正情報を内挿により生成しうる。
 例えば図11において、それぞれ補正情報が対応付けられた8つの基準位置を頂点とする六面体の外部に、対象者130の右眼ERが位置している。かかる場合、制御部240は、右眼ERの近傍に存在する当該8つの補正情報のうち2つ以上の補正情報に基づいて、右眼ERの位置に対応する第1補正情報を外挿により生成しうる。
 かかる構成によれば、内挿または外挿によって第1補正情報が生成される。このため、補正情報を記憶すべき基準位置の数が低減可能であり、記憶部230に記憶すべき補正情報の情報量が低減可能である。
 制御部240は、対象者130の左眼の位置に対応する第2補正情報を決定しうる。例えば、制御部240は、対象者130の左眼の位置に対応する第2補正情報を、記憶部230に記憶された複数の補正情報の中から選択することによって決定してよい。あるいは、制御部240は、対象者130の左眼の位置に対応する第2補正情報を、2つ以上の補正情報に基づいて生成することによって決定してよい。第2補正情報の生成は、上述した第1補正情報の生成と同様にして行われてよい。例えば図10に示すように、対象者130の左眼ELが六面体の内部に位置する場合、制御部240は、左眼ELの位置に対応する第2補正情報を内挿により生成しうる。例えば図11に示すように、対象者130の左眼ELが六面体の外部に位置する場合、制御部240は、左眼ELの位置に対応する第2補正情報を外挿により生成しうる。
 制御部240は、第1補正情報と、第2補正情報とに基づいて第3補正情報を生成しうる。第3補正情報の生成には、任意のアルゴリズムが採用可能であってよい。例えば、制御部240は、第1補正情報および第2補正情報それぞれに重み付けを行い、第3補正情報を生成しうる。具体的には、第3補正情報に示される、画像上の特徴点のシフト量S3は、上述した式(1)で決定される。
 重み係数αは、0以上1以下の範囲で任意に定められてよい。例えば、重み係数αは、予め定められてよい。あるいは、重み係数αは、対象者130の優位眼を考慮して決定されてよい。
 対象者130の優位眼を考慮した重み係数αの決定は、例えば、対象者130が移動体10を運転するよりも前に行われてよい。以下に、重み係数αの決定方法が説明される。制御部240は、検出装置110から両眼の位置に関する情報を取得しうる。制御部240は、取得された情報が示す両眼の位置に基づいて、第1補正情報および第2補正情報を決定しうる。制御部240は、重み係数αを初期値に設定しうる。制御部240は、第1補正情報、第2補正情報、および重み係数αに基づいて、第3補正情報を生成しうる。制御部240は、生成された第3補正情報を用いて補正した基準画像を表示部200に表示させる。基準画像は、重み係数αを決定するために予め用意された画像である。基準画像として、任意の画像が採用可能である。例えば、基準画像は、正方形、円、または格子状に並んだ複数の線等を含んでよい。
 制御部240は、例えば、第1虚像140aとして表示された基準画像を観察した対象者130による操作に応じて、重み係数αを変化させる。重み係数αを変化させた場合、制御部240は、第1補正情報、第2補正情報、および変化後の重み係数αに基づいて、第3補正情報を新たに生成しうる。制御部240は、新たに生成された第3補正情報を用いて補正された基準画像を表示部200に表示させる。重み係数αの変化、および新たに生成される第3補正情報を用いて補正された基準画像の表示は、操作に応じて複数回実行されてよい。制御部240は、例えば対象者130による操作に応じて、重み係数αを確定し、記憶部230に記憶しうる。
 上述のように重み係数αが確定された後、例えば対象者130が移動体100を運転する場合に、制御部240は、表示部200に表示させる表示画像を対象者130の両眼の位置に応じて動的に補正しうる。具体的には、制御部240は、対象者130の両眼の位置に対応する第1補正情報および第2補正情報と、確定された重み係数αと、に基づいて第3補正情報を生成しうる。制御部240は、第1補正情報および第2補正情報を用いて、表示部200に表示する表示画像を動的に補正しうる。制御部240は、決定された第3補正情報に基づいて、パララックスバリア210を補正する。表示画像は、任意の情報または画像を含んでよい。例えば、表示画像は、移動体100の走行速度、予測進路、走行路の制限速度、標識情報、ルートガイド等の運転支援画像、および歩行者等の障害物を示す画像等を含んでよい。
 虚像140の歪みが最も小さいと対象者130が知覚しうるような重み係数αは、対象者130の優位眼および非優位眼の映像合成比率に応じて異なる。対象者130は、例えば両眼で基準画像の虚像140を視認しながら重み係数αを変化させることによって、虚像140の歪みが最も小さいと知覚したときの重み係数αを記憶部230に記憶させることができる。かかる構成によれば、対象者130の優位眼を考慮した重み係数αによって表示画像が補正される。このため、対象者130によって知覚される虚像140の歪みが低減され、虚像140の視認性が向上する。対象者130に虚像140を視認させる技術の利便性が向上する。
 制御部240は、第1補正情報に基づいて右眼画像を補正しうる。制御部240は、補正された右眼画像を、右サブピクセル群Pgrを構成する各サブピクセルに表示させる。制御部240は、第2補正情報に基づいて左眼画像を補正しうる。制御部240は、補正された左眼画像を、左サブピクセル群Pglを構成する各サブピクセルに表示させうる。
 制御部240は、第3補正情報に基づいてパララックスバリア210を補正しうる。具体的には、制御部240は、第3補正情報に基づいて、パララックスバリア210を構成する液晶シャッターを制御しうる。さらに具体的には、パララックスバリア210の遮光面210aを構成する部分を変更するように液晶シャッターを制御しうる。
 上述した重み係数αを決定する3次元投影装置120の動作について図12のフローチャートを参照して説明がされる。本動作は、例えば対象者130が移動体100を運転するよりも前に行われてよい。
 ステップS400:制御部240は、通信部220を介して検出装置110から、対象者130の眼の位置に関する情報を取得する。
 ステップS401:制御部240は、対象者130の右眼の位置に対応する第1補正情報と、左眼の位置に対応する第2補正情報とを決定する。
 ステップS402:制御部240は、重み係数αを初期値に設定する。
 ステップS403:制御部240は、第1補正情報、第2補正情報、および重み係数αに基づいて、第3補正情報を生成する。
 ステップS404:制御部240は、第1補正情報に基づいて右基準画像を補正する。制御部240は、第2補正情報に基づいて左基準画像を補正する。
 ステップS405:制御部240は、補正した右基準画像を、右サブピクセル群Pgrを構成するサブピクセルに表示させる。制御部240は、補正した左基準画像を、左サブピクセル群Pglを構成するサブピクセルに表示させる。
 ステップS406:制御部240は、第3補正情報に基づいてパララックスバリア210を補正する。
 ステップS407:制御部240は、例えば対象者130による操作を検出すると、重み係数αを変化させるか否かを決定する。重み係数αを変化させると決定した場合(ステップS407-Yes)、プロセスはステップS408に進む。一方、重み係数αを変化させないと決定した場合(ステップS407-No)、プロセスはステップS409に進む。
 ステップS408:制御部240は、例えばステップS407での操作に応じて、重み係数αを変化させる。その後、プロセスはステップS403に戻る。
 ステップS409:制御部240は、例えばステップS407の操作に応じて、重み係数αを確定し、記憶部230に記憶する。その後、プロセスは終了する。
 図13を参照して、上述した第1アルゴリズムが採用される構成において、表示画像を対象者130の両眼の位置に応じて動的に補正する3次元投影装置120の動作について説明する。本動作は、例えば対象者130が移動体100を運転している間に繰り返し行われてよい。
 ステップS500:制御部240は、通信部220を介して検出装置110から、対象者130の眼の位置に関する情報を取得する。
 ステップS501:制御部240は、対象者130の右眼の位置に対応する第1補正情報と、左眼の位置に対応する第2補正情報とを決定する。
 ステップS502:制御部240は、第1補正情報、第2補正情報、および記憶部23に記憶された重み係数αに基づいて、第3補正情報を生成する。
 ステップS503:制御部240は、第1補正情報および第2補正情報に基づいてそれぞれ右眼画像および左眼画像を補正する。
 ステップS504:制御部240は、補正された右眼画像および左眼画像を、それぞれ左サブピクセル群Pglを構成するサブピクセル、および右サブピクセル群Pgrを構成するサブピクセルに表示させる。
 ステップS505:制御部240は、第3補正情報に基づいてパララックスバリア210を補正する。その後、プロセスは終了する。
 以上、本実施形態によれば、3次元投影装置120は、表示面2010に表示させる画像と、パララックスバリア210とを対象者130の眼の位置に応じて補正する。このため、移動体100の形状に起因して第1虚像140aおよび第2虚像140bに発生しうる、対象者130の眼の位置に応じた歪みが補正される。したがって、対象者130は、歪みが低減された3次元画像の虚像140を視認することができる。
 本実施形態によれば、3次元投影装置120は、右眼の位置に対応する第1補正情報に基づいて右眼画像を補正し、左眼の位置に対応する第2補正情報に基づいて左眼画像を補正する。このため、対象者130は、各眼の位置に対応してそれぞれ歪みが低減された画像を視認することができる。したがって、対象者130は、歪みが低減された3次元画像の虚像140を視認することができる。
 本実施形態によれば、3次元投影装置120は、第1補正情報と、第2補正情報と、重み係数αとを用いて生成した第3補正情報に基づいてパララックスバリア210を補正する。利用者の両眼がともに視認するパララックスバリア210は右眼および左眼の位置に基づいて補正される。このため、歪みが低減された右眼画像および左眼画像が、いずれも歪みが低減されたパララックスバリア210によって遮光または透過される。したがって、対象者130の右眼は歪みが低減された右眼画像を視認することができる。左眼は歪みが低減された左眼画像を視認することができる。
 本実施形態によれば、3次元投影装置120は、対象者130の優位眼に基づいて重み係数αを決定する。このため、対象者130の優位眼を考慮した重み係数αによって画像が補正される。したがって、対象者130によって知覚される虚像140の歪みが低減され、虚像140の視認性が向上する。
 本開示を諸図面および実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形または修正を行うことが容易であることに注意されたい。したがって、これらの変形または修正は本開示の範囲に含まれることに留意されたい。例えば、各手段または各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能である。複数の手段またはステップ等を1つに組み合わせたり、あるいは分割したりすることが可能である。
 例えば、上述した実施形態において、表示部23または200に表示される画像上の複数の特徴点それぞれのシフト量を示す情報を含む補正情報を用いて、当該画像を変形させることによって当該画像を補正する構成について説明した。しかしながら、補正情報の内容および画像を補正する処理は、上述した構成に限られない。
 例えば、制御部26または240は、表示部23または200に表示させる画像を、テクスチャ画像としてポリゴンに投影してよい。ポリゴンに対するテクスチャ画像の投影には、任意のアルゴリズムが採用可能であってよい。例えば、ポリゴンに対するテクスチャ画像の投影は、テクスチャ画像上のテクスチャ座標と、ポリゴン上の複数の頂点と、の対応関係を示すマッピング情報を用いて行われてよい。ポリゴンの形状は、任意に定められてよい。マッピング情報は、任意に定められてよい。制御部26または240は、テクスチャ画像が投影されたポリゴンを、例えば3次元仮想空間内に配置する。制御部26または240は、仮想カメラを視点として、当該ポリゴンを含む当該仮想空間内の領域を眺めた画像を、表示部23または200に表示させる。かかる構成によれば、上述した一実施形態と同様に、対象者13または130は、表示部23または200に表示させた画像の虚像14または140を視認可能である。
 ポリゴンが用いられる上述の構成において、補正情報は、虚像14または140の形状の歪みを低減させるように、マッピング情報を変化させる情報を含んでよい。例えば、補正情報は、テクスチャ画像上のテクスチャ座標に対応するポリゴン上の頂点を、他の頂点に変更する情報を含んでよい。例えば、当該補正情報を用いた補正によって、ポリゴンに投影されるテクスチャ画像は、均一または不均一に変形して、表示部23または200に表示され得る。補正情報に基づき変形されたテクスチャ画像の画像投影光によって、対象者13または130は、上述した一実施形態と同様に、歪みを低減させた虚像14または140を視認可能である。マッピング情報を変化させる処理は、例えば制御部26または240が専用のハードウェアを包含することによって高速に実行可能である。専用のハードウェアは、例えばグラフィックアクセラレータを含んでよい。かかる構成によれば、表示部23または200に表示させる画像の補正処理が高速化する。このため、例えば対象者13または130の両眼の位置が変化する場合に、両眼の位置の変化に対する虚像14または140の歪みの低減が高速に行われる。対象者13または130に虚像14または140を視認させる技術の利便性がさらに向上する。
 ポリゴンが用いられる上述の構成において、補正情報は、虚像14または140の形状の歪みを低減させるように、ポリゴンの形状を変化させる情報を含んでよい。例えば、当該補正情報を用いた補正によって、ポリゴンに投影されるテクスチャ画像は、均一または不均一に変形して、表示部23または200に表示され得る。補正情報に基づき変形されたテクスチャ画像の画像投影光によって、対象者13または130は、上述した一実施形態と同様に、歪みを低減させた虚像14または140を視認可能である。ポリゴンの形状を変化させる処理は、例えば制御部26または240が専用のハードウェアを包含することによって高速に実行可能である。専用のハードウェアは、例えばグラフィックアクセラレータを含んでよい。かかる構成によれば、表示部23または200に表示させる画像の補正処理が高速化する。このため、例えば対象者13または130の両眼の位置が変化する場合に、両眼の位置の変化に対する虚像14または140の歪みの低減が高速に行われる。対象者13または130に虚像14または140を視認させる技術の利便性がさらに向上する。
 上述した第1実施形態において、表示部23に1つの画像が表示される構成について説明した。しかしながら、表示部23に表示される画像の数は、任意に定められてよい。表示部23に表示される複数の画像それぞれの位置、形状、および大きさは、任意に定められてよい。かかる構成において、制御部26は、表示部23に表示させる画像毎に、当該画像を対象者13の両眼の位置に応じて動的に補正してよい。表示部23に表示させる各画像の補正は、上述した一実施形態と同様に行われてよい。例えば、記憶部25は、表示部23に表示させる画像毎に、実空間上の複数の基準位置にそれぞれ対応する複数の補正情報を記憶する。制御部26は、表示部23に表示させる画像毎に、例えば上述した第1アルゴリズムまたは第2アルゴリズムを用いて、重み係数αおよび第3補正情報を決定してよい。制御部26は、表示部23に表示させる画像毎に、当該画像に対応する第3補正情報を用いて当該画像を補正する。かかる構成によれば、対象者13は、複数の画像にそれぞれ対応する複数の虚像14を視認可能である。対象者13に虚像14を視認させる技術の利便性がさらに向上する。
10  移動体
11  撮像装置
12  画像投影装置
13  対象者
14  虚像
15  第1光学部材
16  アイボックス
17  画像表示装置
18、18a、18b  第2光学部材
19  基板
20  光源素子
21  第3光学部材
22  第4光学部材
23  表示部
24  通信部
25  記憶部
26  制御部
27  光源装置
100  移動体
110  検出装置
120  3次元投影装置
130  対象者
140  虚像
140a  第1虚像
140b  第2虚像
140aa  第1虚像の可視領域
140ab  第1虚像の不可視領域
150  第1光学部材
160  アイボックス
170  3次元表示装置
180、180a、180b  第2光学部材
190  照射器
200  表示部
210  パララックスバリア
210a  遮光面
210b  開口領域
230  表示部
240  通信部
250  記憶部
260  制御部
1000  3次元投影システム
2010  表示面

Claims (37)

  1.  テクスチャが投影されたポリゴンを仮想カメラから眺めた画像を表示する表示部と、
     第1光学部材に前記画像を投影し、前記画像の虚像を対象者に視認させる少なくとも1つの第2光学部材と、
     前記ポリゴンを前記対象者の両眼の位置に応じて動的に補正する制御部と、
    を備える、画像投影装置。
  2.  請求項1に記載の画像投影装置であって、
     前記制御部は、前記テクスチャ上のテクスチャ座標と、前記ポリゴン上の複数の頂点と、の対応関係を示すマッピング情報を変化させることによって、前記ポリゴンを補正する、画像投影装置。
  3.  請求項1に記載の画像投影装置であって、
     前記制御部は、前記ポリゴンの形状を変化させることによって、前記ポリゴンを補正する、画像投影装置。
  4.  請求項1乃至3の何れか一項に記載の画像投影装置であって、
     前記対象者を撮像した撮像画像を取得する通信部を更に備え、
     前記制御部は、前記撮像画像に基づいて前記対象者の両眼の位置を検出する、画像投影装置。
  5.  請求項1乃至4の何れか一項に記載の画像投影装置であって、
     実空間上の複数の基準位置にそれぞれ対応する複数の補正情報を記憶する記憶部を更に備え、
     前記制御部は、
     前記対象者の右眼の位置に対応する第1補正情報を、前記記憶部に記憶された複数の前記補正情報の中から選択しまたは2つ以上の前記補正情報に基づいて生成し、
     前記対象者の左眼の位置に対応する第2補正情報を、前記記憶部に記憶された複数の前記補正情報の中から選択しまたは2つ以上の前記補正情報に基づいて生成し、
     前記第1補正情報と、前記第2補正情報と、に基づいて第3補正情報を生成し、
     前記ポリゴンを、前記第3補正情報を用いて補正する、画像投影装置。
  6.  請求項5に記載の画像投影装置であって、
     前記記憶部は、前記対象者の優位眼を考慮して決定される重み係数を記憶し、
     前記制御部は、前記第1補正情報と、前記第2補正情報と、前記重み係数と、に基づいて前記第3補正情報を生成する、画像投影装置。
  7.  請求項1乃至4の何れか一項に記載の画像投影装置であって、
     実空間上の複数の位置にそれぞれ対応する複数の補正情報を記憶する記憶部を更に備え、
     前記制御部は、
     前記対象者の右眼の位置と、前記対象者の左眼の位置と、に基づいて1つの特定位置を決定し、
     前記特定位置に対応する第3補正情報を、前記複数の補正情報の中から選択しまたは2つ以上の前記補正情報に基づいて生成し、
     前記ポリゴンを、前記第3補正情報を用いて補正する、画像投影装置。
  8.  請求項7に記載の画像投影装置であって、
     前記記憶部は、前記対象者の優位眼を考慮して決定される重み係数を記憶し、
     前記制御部は、前記対象者の右眼の位置と、前記対象者の左眼の位置と、前記重み係数と、に基づいて前記特定位置を決定する、画像投影装置。
  9.  テクスチャが投影されたポリゴンを仮想カメラから眺めた画像を表示する表示部と、
     前記ポリゴンを対象者の両眼の位置に応じて動的に補正する制御部と、
    を備える、画像表示装置。
  10.  第1光学部材と、
     テクスチャが投影されたポリゴンを仮想カメラから眺めた画像を表示する表示部と、
     前記第1光学部材に前記画像を投影し、前記画像の虚像を対象者に視認させる少なくとも1つの第2光学部材と、
     前記ポリゴンを前記対象者の両眼の位置に応じて動的に補正する制御部と、
    を備える、移動体。
  11.  第1方向および前記第1方向に略直交する第2方向に沿って格子状に配列された複数のサブピクセルを有する表示面を含む表示部と、
     前記表示面上の第2方向に延びる複数の帯状領域ごとに、前記サブピクセルから射出される画像光の光線方向を規定する光学素子と、
     前記光学素子によって光線方向が規定された前記画像光を、前記表示面の虚像が形成されるように投影する光学部材と、
     対象者の眼の位置に関する情報を取得し、前記表示面に表示させる画像と、前記光学素子とを前記眼の位置に応じて補正する制御部と、
    を備える3次元投影装置。
  12.  前記制御部は、前記対象者の第1の眼の位置に対応する第1補正情報に基づいて前記第1の眼に視認させる第1画像を補正し、前記対象者の第2の眼の位置に対応する第2補正情報に基づいて前記第2の眼に視認させる第2画像を補正する、請求項11に記載の3次元投影装置。
  13.  前記制御部は、前記第1補正情報と前記第2補正情報とに基づいて前記光学素子を補正する、請求項12に記載の3次元投影装置。
  14.  前記制御部は、前記第1補正情報と、前記第2補正情報と、重み係数とを用いて生成した第3補正情報に基づいて前記光学素子を補正する、請求項13に記載の3次元投影装置。
  15.  前記制御部は、対象者の優位眼に基づいて前記重み係数を決定する請求項14に記載の3次元投影装置。
  16.  実空間上の複数の基準位置にそれぞれ対応する複数の補正情報を記憶する記憶部を更に備え、
     前記制御部は、
     第1補正情報を、前記記憶部に記憶された複数の前記補正情報の中から選択し、または2つ以上の前記補正情報に基づいて生成し、
     第2補正情報を、前記記憶部に記憶された複数の前記補正情報の中から選択し、または2つ以上の前記補正情報に基づいて生成する請求項12から15のいずれか一項に記載の3次元投影装置。
  17.  前記表示面は、テクスチャ画像が投影されたポリゴンを仮想カメラから眺めた画像を表示し、
     前記制御部は、前記ポリゴンを前記対象者の両眼の位置に応じて補正する、請求項9から16のいずれか一項に記載の3次元投影装置。
  18.  前記制御部は、前記テクスチャ画像上のテクスチャ座標と、前記ポリゴン上の複数の頂点と、の対応関係を示すマッピング情報を変化させることによって、前記ポリゴンを補正する、請求項17に記載の3次元投影装置。
  19.  前記制御部は、前記ポリゴンの形状を変化させることによって、前記ポリゴンを補正する、請求項17または18に記載の3次元投影装置。
  20.  対象者の眼の位置を検出する検出装置と、
     第1方向および前記第1方向に略直交する第2方向に沿って格子状に配列された複数のサブピクセルを有する表示面を含む表示部と、前記表示面上の第2方向に延びる複数の帯状領域ごとに、前記サブピクセルから射出される画像光の光線方向を規定する光学素子と、前記光学素子によって光線方向が規定された前記画像光を、前記表示面の虚像が形成されるように投影する光学部材と、前記検出装置から前記眼の位置に関する情報を取得し、前記表示面に表示させる画像と、前記光学素子とを前記眼の位置に応じて補正する制御部と、を含む3次元投影装置と、
    を備える3次元投影システム。
  21.  対象者の眼の位置を検出する検出装置と、第1方向および前記第1方向に略直交する第2方向に沿って格子状に配列された複数のサブピクセルを有する表示面を備える表示部と、前記表示面上の第2方向に延びる複数の帯状領域ごとに、前記サブピクセルから射出される画像光の光線方向を規定する光学素子と、前記光学素子によって光線方向が規定された前記画像光を、前記表示面の虚像が形成されるように投影する光学部材と、前記検出装置から前記眼の位置に関する情報を取得し、前記表示面に表示させる画像と、前記光学素子とを前記眼の位置に応じて補正する制御部と、を有する3次元投影装置
    を含む3次元投影システムを備える移動体。
  22.  画像を表示する表示部と、
     第1光学部材に前記画像を投影し、前記画像の虚像を対象者に視認させる少なくとも1つの第2光学部材と、
     前記表示部に表示させる前記画像を前記対象者の両眼の位置に応じて動的に補正する制御部と、
    を備える、画像投影装置。
  23.  請求項22に記載の画像投影装置であって、
     前記対象者を撮像した撮像画像を取得する通信部を更に備え、
     前記制御部は、前記撮像画像に基づいて前記対象者の両眼の位置を検出する、画像投影装置。
  24.  請求項22または23に記載の画像投影装置であって、
     実空間上の複数の基準位置にそれぞれ対応する複数の補正情報を記憶する記憶部を更に備え、
     前記制御部は、
     前記対象者の右眼の位置に対応する第1補正情報を、前記記憶部に記憶された複数の前記補正情報の中から選択しまたは2つ以上の前記補正情報に基づいて生成し、
     前記対象者の左眼の位置に対応する第2補正情報を、前記記憶部に記憶された複数の前記補正情報の中から選択しまたは2つ以上の前記補正情報に基づいて生成し、
     前記第1補正情報と、前記第2補正情報と、に基づいて第3補正情報を生成し、
     前記表示部に表示させる前記画像を、前記第3補正情報を用いて補正する、画像投影装置。
  25.  請求項24に記載の画像投影装置であって、
     前記記憶部は、前記対象者の優位眼を考慮して決定される重み係数を記憶し、
     前記制御部は、前記第1補正情報と、前記第2補正情報と、前記重み係数と、に基づいて前記第3補正情報を生成する、画像投影装置。
  26.  請求項22または23に記載の画像投影装置であって、
     実空間上の複数の位置にそれぞれ対応する複数の補正情報を記憶する記憶部を更に備え、
     前記制御部は、
     前記対象者の右眼の位置と、前記対象者の左眼の位置と、に基づいて1つの特定位置を決定し、
     前記特定位置に対応する第3補正情報を、前記複数の補正情報の中から選択しまたは2つ以上の前記補正情報に基づいて生成し、
     前記表示部に表示させる前記画像を、前記第3補正情報を用いて補正する、画像投影装置。
  27.  請求項26に記載の画像投影装置であって、
     前記記憶部は、前記対象者の優位眼を考慮して決定される重み係数を記憶し、
     前記制御部は、前記対象者の右眼の位置と、前記対象者の左眼の位置と、前記重み係数と、に基づいて前記特定位置を決定する、画像投影装置。
  28.  画像を表示する表示部と、
     前記表示部に表示させる前記画像を対象者の両眼の位置に応じて動的に補正する制御部と、
    を備える、画像表示装置。
  29.  第1光学部材と、
     画像を表示する表示部と、
     前記第1光学部材に前記画像を投影し、前記画像の虚像を対象者に視認させる少なくとも1つの第2光学部材と、
     前記表示部に表示させる前記画像を前記対象者の両眼の位置に応じて動的に補正する制御部と、
    を備える、移動体。
  30.  複数の画像を表示する表示部と、
     第1光学部材に前記複数の画像を投影し、前記複数の画像の虚像を対象者に視認させる少なくとも1つの第2光学部材と、
     前記表示部に表示させる前記複数の画像それぞれを前記対象者の両眼の位置に応じて動的に補正する制御部と、
    を備える、画像投影装置。
  31.  請求項30に記載の画像投影装置であって、
     前記対象者を撮像した撮像画像を取得する通信部を更に備え、
     前記制御部は、前記撮像画像に基づいて前記対象者の両眼の位置を検出する、画像投影装置。
  32.  請求項30または31に記載の画像投影装置であって、
     前記表示部に表示させる画像毎に、実空間上の複数の基準位置にそれぞれ対応する複数の補正情報を記憶する記憶部を更に備え、
     前記制御部は、
     前記表示部に表示させる画像毎に、前記対象者の右眼の位置に対応する第1補正情報を、前記記憶部に記憶された複数の前記補正情報の中から選択しまたは2つ以上の前記補正情報に基づいて生成し、
     前記表示部に表示させる画像毎に、前記対象者の左眼の位置に対応する第2補正情報を、前記記憶部に記憶された複数の前記補正情報の中から選択しまたは2つ以上の前記補正情報に基づいて生成し、
     前記表示部に表示させる画像毎に、前記第1補正情報と、前記第2補正情報と、に基づいて第3補正情報を生成し、
     前記表示部に表示させる前記複数の画像それぞれを、該画像に対応する前記第3補正情報を用いて補正する、画像投影装置。
  33.  請求項32に記載の画像投影装置であって、
     前記記憶部は、前記対象者の優位眼を考慮して決定される重み係数を記憶し、
     前記制御部は、前記第1補正情報と、前記第2補正情報と、前記重み係数と、に基づいて前記第3補正情報を生成する、画像投影装置。
  34.  請求項30または31に記載の画像投影装置であって、
     前記表示部に表示させる画像毎に、実空間上の複数の位置にそれぞれ対応する複数の補正情報を記憶する記憶部を更に備え、
     前記制御部は、
     前記対象者の右眼の位置と、前記対象者の左眼の位置と、に基づいて1つの特定位置を決定し、
     前記表示部に表示させる画像毎に、前記特定位置に対応する第3補正情報を、前記複数の補正情報の中から選択しまたは2つ以上の前記補正情報に基づいて生成し、
     前記表示部に表示させる前記複数の画像それぞれを、該画像に対応する前記第3補正情報を用いて補正する、画像投影装置。
  35.  請求項34に記載の画像投影装置であって、
     前記記憶部は、前記対象者の優位眼を考慮して決定される重み係数を記憶し、
     前記制御部は、前記対象者の右眼の位置と、前記対象者の左眼の位置と、前記重み係数と、に基づいて前記特定位置を決定する、画像投影装置。
  36.  複数の画像を表示する表示部と、
     前記表示部に表示させる前記複数の画像それぞれを対象者の両眼の位置に応じて動的に補正する制御部と、
    を備える、画像表示装置。
  37.  第1光学部材と、
     複数の画像を表示する表示部と、
     前記第1光学部材に前記複数の画像を投影し、前記複数の画像の虚像を対象者に視認させる少なくとも1つの第2光学部材と、
     前記表示部に表示させる前記複数の画像それぞれを前記対象者の両眼の位置に応じて動的に補正する制御部と、
    を備える、移動体。
PCT/JP2017/043367 2016-12-07 2017-12-01 画像投影装置、画像表示装置、および移動体 WO2018105533A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020197016407A KR102176902B1 (ko) 2016-12-07 2017-12-01 화상 투영 장치, 화상 표시 장치 및 이동체
US16/467,917 US11221481B2 (en) 2016-12-07 2017-12-01 Image projection apparatus, image display apparatus, and vehicle
EP17879607.4A EP3554069B1 (en) 2016-12-07 2017-12-01 Image projection device, image display device, and moving body
CN201780076282.5A CN110073658B (zh) 2016-12-07 2017-12-01 图像投影装置、图像显示装置以及移动体

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
JP2016237877A JP6665077B2 (ja) 2016-12-07 2016-12-07 画像投影装置、画像表示装置、および移動体
JP2016-237877 2016-12-07
JP2016-237832 2016-12-07
JP2016237832A JP6688213B2 (ja) 2016-12-07 2016-12-07 画像投影装置、画像表示装置、および移動体
JP2016237825A JP6688212B2 (ja) 2016-12-07 2016-12-07 画像投影装置、画像表示装置、および移動体
JP2016-237825 2016-12-07
JP2017-132220 2017-07-05
JP2017132220A JP6799507B2 (ja) 2017-07-05 2017-07-05 3次元投影装置、3次元投影システム、および移動体

Publications (1)

Publication Number Publication Date
WO2018105533A1 true WO2018105533A1 (ja) 2018-06-14

Family

ID=62491684

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/043367 WO2018105533A1 (ja) 2016-12-07 2017-12-01 画像投影装置、画像表示装置、および移動体

Country Status (5)

Country Link
US (1) US11221481B2 (ja)
EP (1) EP3554069B1 (ja)
KR (1) KR102176902B1 (ja)
CN (1) CN110073658B (ja)
WO (1) WO2018105533A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112585025A (zh) * 2018-08-29 2021-03-30 京瓷株式会社 头戴式显示器、头戴式显示器***以及移动体
CN112889273A (zh) * 2019-09-30 2021-06-01 京瓷株式会社 三维显示装置、三维显示***、平视显示器以及移动体
EP3813367A4 (en) * 2018-06-25 2022-08-10 Kyocera Corporation THREE-DIMENSIONAL IMAGING SYSTEM, OPTICAL ELEMENT, INSTALLATION METHOD, CONTROL METHOD AND MOVING BODY

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3726277A4 (en) 2017-12-11 2020-12-30 Panasonic Intellectual Property Management Co., Ltd. HEADUP DISPLAY AND MOBILE BODY WITH HEAD-UP DISPLAY MOUNTED ON IT
JP7233009B2 (ja) 2017-12-11 2023-03-06 パナソニックIpマネジメント株式会社 ヘッドアップディスプレイおよびヘッドアップディスプレイを搭載した移動体
CN113950636A (zh) 2019-05-30 2022-01-18 京瓷株式会社 三维显示装置、平视显示器***以及移动体
JP7274392B2 (ja) * 2019-09-30 2023-05-16 京セラ株式会社 カメラ、ヘッドアップディスプレイシステム、及び移動体
CN112622767A (zh) * 2019-10-08 2021-04-09 松下知识产权经营株式会社 显示***、以及具备该显示***的电子后视镜***
JP7346587B2 (ja) * 2019-11-05 2023-09-19 京セラ株式会社 ヘッドアップディスプレイ、ヘッドアップディスプレイシステム及び移動体
KR20210096449A (ko) * 2020-01-28 2021-08-05 삼성전자주식회사 Hud 시스템에서 영상을 재생하는 방법 및 그 hud 시스템
CN111965817B (zh) * 2020-07-10 2022-07-08 重庆金康赛力斯新能源汽车设计院有限公司 车载抬头显示的控制方法、装置、共享车以及计算机设备
KR20220123927A (ko) * 2021-03-02 2022-09-13 삼성전자주식회사 차량의 윈드 쉴드에 이미지를 투사하는 전자 장치 및 그 동작 방법

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006031618A (ja) * 2004-07-21 2006-02-02 Denso Corp 車両用表示装置およびその表示方法
JP2009269551A (ja) * 2008-05-09 2009-11-19 Calsonic Kansei Corp 車両用表示装置
JP2011180351A (ja) * 2010-03-01 2011-09-15 Equos Research Co Ltd ヘッドアップディスプレイ装置
JP2012141502A (ja) * 2011-01-05 2012-07-26 Nippon Seiki Co Ltd 視点位置検出装置、視点位置検出方法及び立体表示装置
JP2014199385A (ja) * 2013-03-15 2014-10-23 日本精機株式会社 表示装置及びその表示方法
JP2015168382A (ja) 2014-03-10 2015-09-28 矢崎総業株式会社 車両用発光表示装置及び車両用表示システム
JP2015197707A (ja) * 2014-03-31 2015-11-09 株式会社デンソー 車両用表示制御装置
JP2015215505A (ja) * 2014-05-12 2015-12-03 パナソニックIpマネジメント株式会社 表示装置、および表示方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6618054B2 (en) 2000-05-16 2003-09-09 Sun Microsystems, Inc. Dynamic depth-of-field emulation based on eye-tracking
US7321682B2 (en) 2002-11-12 2008-01-22 Namco Bandai Games, Inc. Image generation system, image generation method, program, and information storage medium
US7119816B2 (en) 2003-03-31 2006-10-10 Microsoft Corp. System and method for whiteboard scanning to obtain a high resolution image
JP2005070255A (ja) 2003-08-22 2005-03-17 Denso Corp 虚像表示装置
US7643025B2 (en) 2003-09-30 2010-01-05 Eric Belk Lange Method and apparatus for applying stereoscopic imagery to three-dimensionally defined substrates
JP3961525B2 (ja) 2004-09-22 2007-08-22 株式会社コナミデジタルエンタテインメント 画像処理装置、画像処理方法、ならびに、プログラム
US20070024701A1 (en) 2005-04-07 2007-02-01 Prechtl Eric F Stereoscopic wide field of view imaging system
RU2322771C2 (ru) 2005-04-25 2008-04-20 Святослав Иванович АРСЕНИЧ Стереопроекционная система
JP4569670B2 (ja) * 2008-06-11 2010-10-27 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP5532588B2 (ja) 2008-11-18 2014-06-25 ソニー株式会社 画像表示装置および画像表示方法
JP5673008B2 (ja) * 2010-08-11 2015-02-18 ソニー株式会社 画像処理装置、立体画像表示装置および立体画像表示システム、ならびに立体画像表示装置の視差ずれ検出方法および立体画像表示装置の製造方法
GB201310368D0 (en) * 2013-06-11 2013-07-24 Sony Comp Entertainment Europe Head-mountable apparatus and systems
JP6304999B2 (ja) * 2013-10-09 2018-04-04 アイシン精機株式会社 顔検出装置、方法およびプログラム
JP2015215509A (ja) * 2014-05-12 2015-12-03 パナソニックIpマネジメント株式会社 表示装置、表示方法およびプログラム
JP6410167B2 (ja) 2014-05-12 2018-10-24 パナソニックIpマネジメント株式会社 表示装置及びその表示方法
JP6427341B2 (ja) * 2014-06-11 2018-11-21 株式会社ジャパンディスプレイ 3次元表示装置
US9864430B2 (en) * 2015-01-09 2018-01-09 Microsoft Technology Licensing, Llc Gaze tracking via eye gaze model
WO2017163292A1 (ja) * 2016-03-24 2017-09-28 パナソニックIpマネジメント株式会社 ヘッドアップディスプレイ装置、及び車両
JP6762807B2 (ja) * 2016-08-30 2020-09-30 マクセル株式会社 情報表示装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006031618A (ja) * 2004-07-21 2006-02-02 Denso Corp 車両用表示装置およびその表示方法
JP2009269551A (ja) * 2008-05-09 2009-11-19 Calsonic Kansei Corp 車両用表示装置
JP2011180351A (ja) * 2010-03-01 2011-09-15 Equos Research Co Ltd ヘッドアップディスプレイ装置
JP2012141502A (ja) * 2011-01-05 2012-07-26 Nippon Seiki Co Ltd 視点位置検出装置、視点位置検出方法及び立体表示装置
JP2014199385A (ja) * 2013-03-15 2014-10-23 日本精機株式会社 表示装置及びその表示方法
JP2015168382A (ja) 2014-03-10 2015-09-28 矢崎総業株式会社 車両用発光表示装置及び車両用表示システム
JP2015197707A (ja) * 2014-03-31 2015-11-09 株式会社デンソー 車両用表示制御装置
JP2015215505A (ja) * 2014-05-12 2015-12-03 パナソニックIpマネジメント株式会社 表示装置、および表示方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3554069A4

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3813367A4 (en) * 2018-06-25 2022-08-10 Kyocera Corporation THREE-DIMENSIONAL IMAGING SYSTEM, OPTICAL ELEMENT, INSTALLATION METHOD, CONTROL METHOD AND MOVING BODY
US11483544B2 (en) 2018-06-25 2022-10-25 Kyocera Corporation Three-dimensional display system, optical element, installation method, control method, and moving body
CN112585025A (zh) * 2018-08-29 2021-03-30 京瓷株式会社 头戴式显示器、头戴式显示器***以及移动体
EP3845932A4 (en) * 2018-08-29 2022-04-27 Kyocera Corporation HEAD-UP DISPLAY, HEAD-UP DISPLAY SYSTEM AND MOBILE BODY
US11782270B2 (en) 2018-08-29 2023-10-10 Kyocera Corporation Head-up display, head-up display system, and mobile body
CN112889273A (zh) * 2019-09-30 2021-06-01 京瓷株式会社 三维显示装置、三维显示***、平视显示器以及移动体
CN112956188A (zh) * 2019-09-30 2021-06-11 京瓷株式会社 三维显示装置、三维显示***、平视显示器以及移动体
EP3840373A4 (en) * 2019-09-30 2021-09-29 Kyocera Corporation THREE-DIMENSIONAL DISPLAY DEVICE, THREE-DIMENSIONAL DISPLAY SYSTEM, HEADUP DISPLAY SYSTEM AND MOBILE BODY
EP3840374A4 (en) * 2019-09-30 2021-10-20 Kyocera Corporation THREE-DIMENSIONAL DISPLAY DEVICE, THREE-DIMENSIONAL DISPLAY SYSTEM, HEAD-UP DISPLAY AND MOBILE BODY
CN112889273B (zh) * 2019-09-30 2023-06-20 京瓷株式会社 三维显示装置、三维显示***、平视显示器以及移动体
CN112956188B (zh) * 2019-09-30 2023-08-22 京瓷株式会社 三维显示装置、三维显示***、平视显示器以及移动体

Also Published As

Publication number Publication date
EP3554069B1 (en) 2021-09-15
KR102176902B1 (ko) 2020-11-10
US20200228791A1 (en) 2020-07-16
KR20190084086A (ko) 2019-07-15
EP3554069A4 (en) 2020-05-06
EP3554069A1 (en) 2019-10-16
CN110073658A (zh) 2019-07-30
US11221481B2 (en) 2022-01-11
CN110073658B (zh) 2022-04-22

Similar Documents

Publication Publication Date Title
WO2018105533A1 (ja) 画像投影装置、画像表示装置、および移動体
JP6799507B2 (ja) 3次元投影装置、3次元投影システム、および移動体
WO2018105534A1 (ja) 光源装置、ディスプレイ装置、移動体、3次元投影装置、3次元投影システム、画像投影装置、および画像表示装置
JP6924637B2 (ja) 3次元表示装置、3次元表示システム、移動体、および3次元表示方法
US20200053352A1 (en) Three-dimensional display apparatus, three-dimensional display system, head-up display system, and mobile body
JP6688212B2 (ja) 画像投影装置、画像表示装置、および移動体
WO2019225400A1 (ja) 画像表示装置、画像表示システム、ヘッドアップディスプレイおよび移動体
JP7441333B2 (ja) 3次元表示装置、画像表示システムおよび移動体
JP7346587B2 (ja) ヘッドアップディスプレイ、ヘッドアップディスプレイシステム及び移動体
US11874464B2 (en) Head-up display, head-up display system, moving object, and method of designing head-up display
US11849103B2 (en) Image display module, image display system, movable object, image display method, and non-transitory computer-readable medium storing image display program
US11961429B2 (en) Head-up display, head-up display system, and movable body
US11782270B2 (en) Head-up display, head-up display system, and mobile body
JP6665077B2 (ja) 画像投影装置、画像表示装置、および移動体
JP6688213B2 (ja) 画像投影装置、画像表示装置、および移動体
WO2023100956A1 (ja) 3次元表示装置、3次元表示システム、および移動体
EP3951479A1 (en) Image display module, mobile object, and concave mirror

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17879607

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20197016407

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017879607

Country of ref document: EP

Effective date: 20190708