WO2020195307A1 - 電子ミラーシステム、画像表示方法、及び移動体 - Google Patents

電子ミラーシステム、画像表示方法、及び移動体 Download PDF

Info

Publication number
WO2020195307A1
WO2020195307A1 PCT/JP2020/005831 JP2020005831W WO2020195307A1 WO 2020195307 A1 WO2020195307 A1 WO 2020195307A1 JP 2020005831 W JP2020005831 W JP 2020005831W WO 2020195307 A1 WO2020195307 A1 WO 2020195307A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
distance
unit
display
electronic mirror
Prior art date
Application number
PCT/JP2020/005831
Other languages
English (en)
French (fr)
Inventor
森　俊也
研一 笠澄
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to JP2021508241A priority Critical patent/JP7475107B2/ja
Priority to DE112020001429.0T priority patent/DE112020001429T5/de
Publication of WO2020195307A1 publication Critical patent/WO2020195307A1/ja
Priority to US17/484,976 priority patent/US11780368B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/18—Stereoscopic photography by simultaneous viewing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H04N13/351—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking for displaying simultaneously
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Definitions

  • the present disclosure relates to an electronic mirror system, an image display method, and a moving body. More specifically, the present disclosure relates to an electronic mirror system for displaying an image based on image data from an imaging unit, an image display method, and a moving body including the electronic mirror system.
  • Patent Document 1 includes an electronic mirror including an imaging device (imaging unit) that captures a rear or side view of a vehicle and a display device (image display unit) that displays a video signal output from the imaging device as an image.
  • imaging device imaging unit
  • image display unit image display unit
  • the display device is composed of a liquid crystal display or the like.
  • the display device is installed inside the vehicle at a position where the driver can easily check the image of the display device.
  • An object of the present disclosure is to provide an electronic mirror system, an image display method, and a moving body capable of improving visibility.
  • the electronic mirror system is an electronic mirror system that displays a moving image of the surroundings of the moving body by continuously displaying images showing the surroundings of the moving body, and is an image display unit. And an optical system.
  • the image display unit acquires image data from an image pickup unit that continuously photographs the surroundings of the moving body
  • the image display unit displays an image based on the image data acquired from the image pickup unit on the display surface.
  • the optical system causes a user having a viewpoint on the eye box to visually recognize a virtual image based on the image displayed on the display surface.
  • the display surface is arranged so as to be inclined with respect to an optical path connecting the display surface and the optical system.
  • the image display method of one aspect of the present disclosure is an image display method for displaying the image on the image display unit included in the electronic mirror system.
  • the image display method includes a first process, a second process, a third process, and a fourth process.
  • the image data of the imaging unit is acquired.
  • distance data relating to the distance in the real space between the object displayed in the image displayed on the image display unit and the eye box is acquired.
  • stereoscopic image data for making a user who has a viewpoint in the eyebox visually recognize a stereoscopic virtual image of the object is created.
  • a stereoscopic drawing image of a stereoscopic drawing portion based on the stereoscopic image data is displayed on the display surface of the image display unit.
  • the moving body of one aspect of the present disclosure includes a moving moving body main body and the electronic mirror system mounted on the moving body main body.
  • FIG. 1 is a schematic explanatory view of an electronic mirror system according to an embodiment of the present disclosure.
  • FIG. 2 is a schematic explanatory view of a moving body including the same electronic mirror system.
  • FIG. 3 is a schematic block diagram of the same electronic mirror system.
  • FIG. 4 is an explanatory diagram illustrating a usage state of the electronic mirror system described above.
  • FIG. 5 is an explanatory diagram illustrating a method of displaying a stereoscopic image by the same electronic mirror system.
  • FIG. 6 is a flowchart illustrating the operation of the electronic mirror system described above.
  • FIG. 7 is an explanatory diagram of an image captured by the imaging unit included in the electronic mirror system of the same.
  • FIG. 8 is an explanatory diagram showing an image in the process of being processed by the image data creation unit included in the electronic mirror system of the above.
  • FIG. 9 is an explanatory diagram showing an image in the process of being processed by the image data creation unit included in the electronic mirror system of the above.
  • FIG. 10 is an explanatory diagram showing an image in the process of being processed by the image data creation unit included in the electronic mirror system of the above.
  • FIG. 11 is a schematic block diagram of the electronic mirror system according to the first modification of the embodiment of the present disclosure.
  • FIG. 12 is a schematic explanatory view of the electronic mirror system according to the second modification of the embodiment of the present disclosure.
  • FIGS. 1 and 2 the electronic mirror system 10 according to the present embodiment is used, for example, in an automobile 100 as a moving body.
  • the drawings referred to below are all schematic drawings, and the ratio of the size and the thickness of each component in the drawing does not necessarily reflect the actual dimensional ratio.
  • the electronic mirror system 10 continuously displays images showing the surrounding conditions of the automobile 100 (moving body) to display the surrounding conditions of the automobile 100 as a moving image.
  • the electronic mirror system 10 includes an image display unit 20 and an optical system 30.
  • the image display unit 20 displays an image based on the image data acquired from the image pickup unit 40 on the display surface 221. In other words, each time the image display unit 20 acquires image data from the image pickup unit 40 that continuously photographs the surroundings of the moving body 100, the image display unit 20 displays an image based on the image data acquired from the image pickup unit 40 on the display surface 221. To do.
  • the optical system 30 is displayed on the display surface 221 by a user 200 (for example, a driver of a car 100) having a viewpoint 201 on the eye box 210.
  • the virtual image 300 based on the image is visually recognized.
  • the display surface 221 is arranged in an inclined state with respect to the optical path L1 connecting the display surface 221 and the optical system 30.
  • the imaging unit 40 continuously captures the surroundings of the moving body 100, it means that the surroundings of the moving body 10 are continuously photographed and a frame rate that can be displayed as a moving image that is not uncomfortable to the human eye. It may include intermittent shooting with (for example, tens to hundreds of FPS [Frame Per Second]).
  • the image display unit 20 displays an image based on the image data intermittently acquired from the image pickup unit 40 on the display surface 221 so that the user 200 can visually recognize the image as if the moving image is displayed. ..
  • the optical system 30 collects the image displayed on the display surface 221 on the eye box 210 by performing at least one of reflection and refraction of the light constituting the image displayed on the display surface 221.
  • the optical system 30 is realized by, for example, combining a lens 31 such as a biconvex lens and a mirror 32 such as a plane mirror, but the combination of the lens 31 and the mirror 32 is a display surface. It can be changed as appropriate according to the size, magnification, viewing distance, etc. of 221.
  • the lens 31 may be a lens such as a convex lens or a concave lens other than the biconvex lens
  • the mirror 32 may be a mirror such as a concave mirror other than the plane mirror.
  • the optical system 30 may be realized by a combination of a plurality of lenses or a combination of a plurality of mirrors. Further, the optical system 30 may be realized by only one optical component (lens, mirror, etc.).
  • the image displayed on the display surface 221 of the image display unit 20 is condensed in the eye box 210 by the optical system 30.
  • the user 200 having the viewpoint 201 in the eye box 210 sees the image focused by the optical system 30. That is, the user 200 can visually recognize the virtual image 300 (see FIG. 1) based on the image displayed on the display surface 221 by viewing the image magnified by the lens 31 of the optical system 30 and reflected by the mirror 32. it can.
  • the virtual image 300 when the light output from the image display unit 20 is reflected by the mirror 32 of the optical system 30, the reflected light rays make it appear as if an object actually exists in the line-of-sight direction of the user 200. It means an image tied to.
  • the image G1 is an example of the image G1 in which the image displayed on the display surface 221 of the image display unit 20 is reflected by the mirror 32 of the optical system 30 and condensed by the user 200.
  • the user 200 can visually recognize the virtual image 300 as if an object actually exists in the line-of-sight direction.
  • the image display unit 20 is arranged in a state where the display surface 221 is inclined with respect to the optical path L1 connecting the display surface 221 and the optical system 30.
  • the inclination of the display surface 221 with respect to the optical path L1 means a state in which the normal line of the display surface 221 diagonally intersects a straight line parallel to the optical path L1.
  • the distance between the lens 31 and the upper end of the image display unit 20 and the distance between the lens 31 and the lower end of the image display unit 20 are different from each other, that is, the lens 31. It is arranged so as to be inclined with respect to (optical system 30).
  • the viewing distance to the virtual image is long, and it is far from the focal position 23, that is, close to the optical system 30. Then, the viewing distance to the virtual image becomes closer.
  • the virtual image 300 visually recognized by the user 200 is a plane PL11 parallel to the traveling surface 400 (see FIG. 2) on which the automobile 100 travels, and a plane PL1 inclined with respect to the plane PL12 orthogonal to the traveling surface 400. Projected on top.
  • the image display unit 20 is arranged between the optical system 30 and the focal position 23 of the optical system 30.
  • the image G1 shows various objects existing around the automobile 100.
  • Objects of this type include the road surface 400 on which the vehicle 100 travels, road signs installed along the road, guardrails and protective fences, buildings facing the road, and other objects traveling near the vehicle 100. Includes people on automobiles or motorcycles, sidewalks, etc., and the sky.
  • the object reflected on the upper side for example, the sky
  • the object reflected on the lower side for example, a road near the automobile 100.
  • the virtual image 300 projected onto the user 200 by the electronic mirror system 10 is such that the portion corresponding to the upper end of the image G1 is farther from the eyebox 210 than the portion corresponding to the lower end of the image G1 by the user 200.
  • a virtual image 300 of an object other than the object to be three-dimensionally drawn (hereinafter referred to as a plane drawing portion) is projected on the plane PL1.
  • the electronic mirror system 10 projects a virtual image 310 of a three-dimensional drawing object among various objects displayed in the image G1 on a plane orthogonal to the traveling surface 400 (a plane parallel to the plane PL12).
  • the object of three-dimensional drawing can be displayed with a three-dimensional effect.
  • the plane PL1 may be made substantially parallel to the plane PL11 by changing the arrangement of the image display unit 20 and the optical system 30.
  • the method by which the electronic mirror system 10 projects the virtual image 300 of the plane drawing portion and the virtual image 310 of the object of the three-dimensional drawing will be described in "(2.1.3) Image display unit".
  • the electronic mirror system 10 of the present embodiment includes an image display unit 20 and an optical system 30 as shown in FIGS. 1 and 3. Further, the electronic mirror system 10 further includes an imaging unit 40 and a control unit 50. Further, the electronic mirror system 10 further includes a housing 60 for accommodating an image display unit 20, an optical system 30, and a control unit 50.
  • the electronic mirror system 10 of the present embodiment is mounted on the moving body main body 110 of the automobile 100 which is a moving body. That is, the moving body (automobile 100) includes a moving moving body main body 110 and an electronic mirror system 10 mounted on the moving body main body 110.
  • the housing 60 is made of, for example, a molded product of synthetic resin. As shown in FIG. 1, the housing 60 is formed in a rectangular parallelepiped shape having a storage chamber 64 inside.
  • the image display unit 20, the optical system 30, the control unit 50, and the like are housed in the storage chamber 64.
  • the housing 60 is attached to the front portion of the ceiling portion 111 of the moving body main body 110 near the windshield 112 (windshield) at a position visible to the user 200 seated in the front seat (see FIGS. 1 and 2). ..
  • the housing 60 is attached to the ceiling portion 111 in a state of being suspended from the ceiling portion 111 of the moving body main body 110 via the support member 61, and is arranged at a position that does not interfere with the front view of the user 200.
  • the housing 60 is formed in such a shape that the dimensions of the moving body main body 110 in the left-right direction (vehicle width direction) are smaller than the dimensions in the vertical direction and the dimensions in the front-rear direction when attached to the moving body main body 110. Has been done.
  • a through hole 62 penetrating the rear wall of the housing 60 is provided on the surface of the rear portion of the housing 60 (that is, the rear wall of the housing 60).
  • the through hole 62 has a larger dimension in the horizontal direction (direction orthogonal to the vertical direction and the front-rear direction) than the dimension in the vertical direction, and has a left-right direction dimension (long side dimension) and a vertical dimension (short side dimension). The ratio of is about 3 to 6: 1.
  • a transparent window material 63 such as glass is attached to the through hole 62. The light reflected by the mirror 32 of the optical system 30 is focused on the eye box 210 through the window material 63, and the image G1 projected by the optical system 30 is visually recognized by the user 200 having the viewpoint 201 in the eye box 210. ..
  • the imaging unit 40 includes a plurality of (for example, two) cameras 41 and 42 having different imaging directions.
  • the cameras 41 and 42 are digital cameras capable of capturing moving images.
  • the two cameras 41 and 42 are arranged so that the shooting range of the camera 41 and the shooting range of the camera 42 overlap at least partially.
  • the cameras 41 and 42 each take a picture of the rear of the automobile 100 at a predetermined frame rate and output the image data to the control unit 50.
  • the two cameras 41 and 42 photograph the rear of the automobile 100 from different directions. Therefore, the control unit 50 obtains the distance to the object shown in the images of the cameras 41 and 42 by trigonometry based on the image data of the cameras 41 and 42 and the information regarding the installation positions of the cameras 41 and 42. be able to.
  • the imaging unit 40 includes two cameras 41 and 42 having different shooting directions, the imaging unit 40 may include three or more cameras having different shooting directions.
  • the image display unit 20 includes a display device 21 and a lens array 22.
  • the image display unit 20 has a function of displaying a three-dimensional image by a light field method that makes the object appear three-dimensional by reproducing light emitted from the object in the image in a plurality of directions. ing.
  • the display device 21 is housed in the housing 60 on the upper side of the rear part of the storage chamber 64 with the display surface 211 facing forward.
  • the display surface 211 of the display device 21 has a rectangular shape corresponding to the shape of the image G1 projected on the user 200, and a plurality of pixels X0 (see FIG. 5) are arranged in an array on the display surface 211 of the display device 21. ing.
  • the plurality of pixels X0 of the display device 21 emit light under the control of the control unit 50, and the light output from the display surface 211 of the display device 21 forms an image displayed on the display surface 211.
  • the display device 21 is realized by, for example, a liquid crystal display, an organic EL (Electro Luminescence) display, or the like.
  • a lens array 22 is arranged on the display surface 211 of the display device 21.
  • the surface of the lens array 22 becomes the display surface 221 of the image display unit 20.
  • the lens array 22 has a plurality of lenses 222 (see FIG. 5) arranged in an array.
  • Each of the plurality of lenses 222 corresponds to four pixels X1 to X4 of the plurality of pixels X0 included in the display device 21.
  • FIG. 5 is a diagram focusing on a part of a plurality of pixels X0 possessed by the display device 21, and in FIG. 5, four pixels X1 to X4 enclosed in parentheses GR1 are the same lens 222 among the plurality of lenses 222. It corresponds to.
  • four viewpoints P1 to P4 are set in the horizontal direction in the eye box 210.
  • Light from the plurality of pixels X1 included in the display device 21 is focused on the viewpoint P1 by the plurality of lenses 222.
  • Light from the plurality of pixels X2 included in the display device 21 is focused on the viewpoint P2 by the plurality of lenses 222.
  • Light from the plurality of pixels X3 included in the display device 21 is focused on the viewpoint P3 by the plurality of lenses 222.
  • Light from the plurality of pixels X4 included in the display device 21 is focused on the viewpoint P4 by the plurality of lenses 222.
  • the lens array 22 is arranged on the front side of the display device 21, but instead of the lens array 22, a member in which a plurality of pinholes are formed in an array is placed on the front side of the display device 21. It may be arranged.
  • the display device 21 of the image display unit 20 displays an image based on the image data input from the control unit 50 on the display surface 211.
  • the control unit 50 outputs stereoscopic image data for displaying the virtual image 310 to the display device 21.
  • the control unit 50 corresponds to the plurality of pixels X1 corresponding to the viewpoint P1, the plurality of pixels X2 corresponding to the viewpoint P2, and the viewpoint P3 among the plurality of pixels corresponding to the positions where the object of stereoscopic drawing is projected.
  • the same image based on the same stereoscopic image data (in other words, the stereoscopic drawing image of the stereoscopic drawing portion) is displayed on the plurality of pixels X3 and the plurality of pixels X4 corresponding to the viewpoint P4.
  • the virtual image 310 based on the image displayed on the plurality of pixels X1 is projected onto the viewpoint P1 by the light output from the plurality of pixels X1 corresponding to the viewpoint P1.
  • the light output from the plurality of pixels X2 corresponding to the viewpoint P2 projects a virtual image 310 based on the image displayed on the plurality of pixels X2 onto the viewpoint P2.
  • the light output from the plurality of pixels X3 corresponding to the viewpoint P3 projects a virtual image 310 based on the image displayed on the plurality of pixels X3 onto the viewpoint P3.
  • the light output from the plurality of pixels X4 corresponding to the viewpoint P4 projects a virtual image 310 based on the image displayed on the plurality of pixels X4 onto the viewpoint P4.
  • the objects for stereoscopic drawing of the images displayed on the pixels X1 to X4 are common objects, but when the images displayed on the pixels X1 to X4 are viewed through the lens array 22, they are viewed from the viewpoints P1 to P4. The viewing angle seems to be slightly different.
  • the image displayed on the display surface 211 of the display device 21 is focused on the eye box 210 through the lens array 22.
  • control unit 50 creates plane drawing data for displaying the plane drawing portion other than the object of the three-dimensional drawing on the display surface 211 among the images to be displayed on the image display unit 20. .. That is, the control unit 50 creates the plane drawing data of the plane drawing portion which is the background other than the three-dimensional drawing portion, based on the image data from the cameras 41 and 42. Then, the control unit 50 draws an image based on the plane drawing data (in other words, the plane drawing of the plane drawing portion) on the pixels other than the pixels used for drawing the object of the three-dimensional drawing among the plurality of pixels included in the display device 21. Image) is displayed. Since the light output from the pixels displaying the plane drawing data also passes through the lens array 22, for example, the light of the pixels corresponding to the viewpoint P1 reaches the viewpoint P1, and the pixels corresponding to the viewpoints P2 to P4. Light does not reach.
  • the image displayed on the display surface 221 includes an image of the plane drawing portion based on the plane drawing data and an image of the object of the three-dimensional drawing based on the three-dimensional image data. Then, the image displayed on the display surface 211 of the display device 21 is visually recognized by the user 200 having a viewpoint in the eye box 210 through the lens array 22 and the optical system 30. For example, when the right eye of the user 200 is at the position of the viewpoint P2 and the left eye of the user 200 is at the position of the viewpoint P3, the light output from the pixel corresponding to the viewpoint P2 is projected onto the right eye of the user 200, and the user The light output from the pixel corresponding to the viewpoint P3 is projected on the left eye of the 200.
  • an image projected on the viewpoint P2 that is, an image obtained by superimposing an image when the object of stereoscopic drawing is viewed from the viewpoint P2 on the background image viewed from the viewpoint P2 is projected.
  • an image projected on the viewpoint P3 that is, an image obtained by superimposing an image when the object of stereoscopic drawing is viewed from the viewpoint P3 on the background image viewed from the viewpoint P3 is projected. ..
  • the right eye and the left eye of the user 200 display an image of the object of stereoscopic drawing viewed from different angles on top of the background image, so that the image reproducing the binocular parallax is displayed on the right eye and the left eye. Can be projected. Therefore, based on the image displayed on the image display unit 20, the virtual image 310 of the object to be three-dimensionally drawn can be shown three-dimensionally to the user 200.
  • the virtual image 310 seen by the above-mentioned viewpoints P2 and P3 is slightly viewed from the right side. You can change the angle as you see it.
  • the method in which the image display unit 20 three-dimensionally displays the virtual image 310 of the object to be drawn in three dimensions is not limited to the light field method.
  • the image display unit 20 may adopt a parallax method in which the user 200 is made to visually recognize the virtual image 310 of the object of stereoscopic drawing by projecting images having parallax to each other on the left and right eyes of the user 200.
  • the optical system 30 collects the light output from the display surface 221 of the image display unit 20 on the eye box 210.
  • the optical system 30 includes, for example, a lens 31 which is a biconvex lens and a mirror 32 which is a plane mirror.
  • the lens 31 refracts the light output from the image display unit 20 and causes it to enter the mirror 32.
  • the lens 31, which is a biconvex lens, magnifies the image displayed on the display surface 221 of the image display unit 20 by refracting the light output from the image display unit 20.
  • light emitted from the display surface of the image display unit 20 (specifically, the display surface 221 of the lens array 22) in the diagonal direction DR2 with respect to the direction DR1 orthogonal to the display surface 221 is emitted to the optical system 30.
  • the display surface 221 of the image display unit 20 is arranged obliquely with respect to the lens 31 of the optical system 30.
  • the mirror 32 reflects the light incident from the image display unit 20 through the lens 31 and collects the reflected light on the eye box 210 through the window material 63.
  • the display surface 221 of the image display unit 20 is arranged in an inclined state with respect to the optical path L1 (see FIG. 1) connecting the display surface 221 and the optical system 30.
  • the optical path L1 indicates an optical path of light output from the central portion of the display surface 221 (for example, a portion corresponding to the central portion of the image G1 visually recognized by the user 200 in the vertical and horizontal directions) to the optical system 30. ..
  • the optical path L2 shown by the dotted line in FIG. 1 is an optical system from one end of the display surface 221 (the end corresponding to the upper end of the image G1 visually recognized by the user 200, for example, the upper end in FIG. 1).
  • the optical path of the light focused on the eye box 210 via the 30 is shown. Further, the optical path L3 shown by the dotted line in FIG. 1 is optical from the other end of the display surface 221 (the end corresponding to the lower end of the image G1 visually recognized by the user 200, for example, the lower end in FIG. 1). It shows the optical path of the light focused on the eyebox 210 via the system 30.
  • the length of the optical path L2 (the length from the eye box 210 to the upper end of the display surface 221) is the optical path L3. It is longer than the length (the length from the eye box 210 to the lower end of the display surface 221).
  • the virtual image 300 of the plane drawing portion based on the image displayed on the display surface 221 seems to be displayed at a position farther from the eye box 210 toward the upper side of the virtual image 300 (the image displayed on the display surface 221). It is visually recognized by the user 200 as a virtual image 300. Therefore, the virtual image 300 of the plane drawing portion is formed on the first plane PL11 parallel to the traveling surface 400 on which the automobile 100 equipped with the electronic mirror system 10 travels and the second plane PL12 perpendicular to the traveling surface 400. Each is projected onto an inclined plane PL1.
  • an object for example, a distant road and the sky
  • an object that appears on the lower side of the image for example, an automobile. It is located farther from the car 100 than the road near 100).
  • the virtual image 300 of the plane drawing portion is projected on the plane PL1, and the virtual image has a natural sense of distance. The 300 can be visually recognized by the user 200.
  • the control unit 50 includes an image analysis unit 51, an image data creation unit 52 (hereinafter, may be simply referred to as a “creation unit 52”), and an output unit 53.
  • the control unit 50 has functions as an image analysis unit 51, a creation unit 52, and an output unit 53.
  • the control unit 50 includes, for example, a computer system.
  • a computer system mainly comprises one or more processors and one or more memories as hardware.
  • the functions of the control unit 50 (for example, the functions of the image analysis unit 51, the creation unit 52, the output unit 53, etc.) are realized by executing a program recorded in one or more memories of the computer system by one or more processors. Will be done.
  • the program is pre-recorded in one or more memories of the computer system.
  • the program may be provided through a telecommunication line, or may be recorded and provided on a non-temporary recording medium such as a memory card, an optical disk, or a hard disk drive that can be read by a computer system.
  • the image analysis unit 51 receives camera image data D11 and D12 from the two cameras 41 and 42 included in the image pickup unit 40, for example, via a communication line.
  • the image analysis unit 51 obtains image data D13 in a range captured by the two cameras 41 and 42 based on the camera image data D11 and D12 received from the cameras 41 and 42. Further, the image analysis unit 51 is based on the camera image data D11 and D12 received from the cameras 41 and 42, and is located at an intermediate position between the object shown in the images of the cameras 41 and 42 and the two cameras 41 and 42 by the triangular method.
  • the distance data D14 regarding the distance between and is obtained.
  • the image analysis unit 51 outputs the image data D13 and the distance data D14 obtained from the camera image data D11 and D12 of the two cameras 41 and 42 to the creation unit 52.
  • the image analysis unit 51 up to an object existing in the imaging range of the plurality of cameras 41 and 42 based on the image data D11 and D12 output from the plurality of cameras 41 and 42 (two in the embodiment). It has a function of an acquisition unit that acquires distance data D14 relating to the distance of.
  • the creation unit 52 Based on the image data D13 and the distance data D14 input from the image analysis unit 51, the creation unit 52 extracts an object for stereoscopic drawing from a plurality of objects shown in the images of the cameras 41 and 42. .. That is, the creating unit 52 draws each of the plurality of objects shown in the images of the cameras 41 and 42 as a three-dimensional virtual image that appears to protrude from the plane PL1, or is drawn along the plane PL1. Determine whether to draw as an object of the plane drawing portion.
  • the creation unit 52 (image data creation unit) is a first distance LX1 between the display position of the object and the eye box 210 when the object reflected in the images of the cameras 41 and 42 is not projected as a three-dimensional virtual image (FIG. 1) is obtained.
  • the first distance LX1 is an apparent distance in the virtual image space, and is a distance between the display position of the object and the eye box 210 when the object is projected as a virtual image of the plane drawing portion. In other words, the first distance LX1 is the viewing distance from the eyebox 210 to the virtual image projected on the plane PL1 along the traveling surface 400. Further, the creating unit 52 obtains a second distance in the real space between the object reflected in the images of the cameras 41 and 42 and the eye box 210. The creation unit 52 is a distance (known) between the distance data D14 regarding the distance between the object and the intermediate positions of the two cameras 41 and 42 and the eyebox 210 between the intermediate positions of the two cameras 41 and 42. The second distance is calculated from (value of).
  • the creating unit 52 sets this object as the object for three-dimensional drawing.
  • an object drawn as a virtual image of a plane drawing portion is a distance (second distance) in real space from the eye box 210, such as a running surface 400 or a guardrail provided along the running surface 400.
  • the first distance LX1 are objects such that the difference is less than the threshold value.
  • the object drawn as a three-dimensional virtual image is an object that appears to protrude from the traveling surface 400, such as another automobile traveling on the traveling surface 400.
  • the creating unit 52 can extract the three-dimensional drawing object by comparing the first distance LX1 and the second distance for each of the plurality of objects shown in the images of the cameras 41 and 42. ..
  • the threshold value is a threshold value for determining whether to draw the object as a three-dimensional imaginary image that appears to protrude from the plane PL1 or as an object of the plane drawing portion drawn along the plane PL1.
  • the electronic mirror system 10 can be changed as appropriate according to the usage environment and the like.
  • the creation unit 52 describes the image data of the plane drawing portion so that the plane drawing portion other than the three-dimensional drawing target among the objects reflected in the images of the cameras 41 and 42 is displayed as it is on the display surface 211 of the display device 21. To create.
  • the creating unit 52 creates stereoscopic image data for the user 200 to visually recognize the object of stereoscopic drawing as a stereoscopic virtual image 310 among the objects reflected in the images of the cameras 41 and 42.
  • the creation unit 52 has a plurality of pixels X1 and a plurality of pixels X2, a plurality of pixels X3, and a plurality of pixels X4 among the plurality of pixels corresponding to the positions where the object of stereoscopic drawing is projected. Create stereoscopic image data to display the same image of the object to be drawn.
  • the creating unit 52 creates stereoscopic image data for allowing the user 200 to visually recognize the stereoscopic virtual image of the object of stereoscopic drawing based on the image data D13 and the distance data D14.
  • the image data D13 is image data of a three-dimensional drawing object reflected in the image
  • the distance data D14 is data relating to the distance between the three-dimensional drawing object and the eyebox 210.
  • the output unit 53 outputs the plane drawing data and the three-dimensional image data created by the creation unit 52 to the display device 21, and displays an image in which the image of the object to be three-dimensionally drawn is superimposed on the image of the plane drawing portion. It is displayed on the display surface 211 of 21. That is, the image display unit 20 displays an image based on the stereoscopic image data created by the creation unit 52 on the display surface 221.
  • the electronic mirror system 10 when power is supplied to the electronic mirror system 10 from the battery of the automobile 100 and a control signal for starting the operation is input from the ECU (Electronic Control Unit) included in the automobile 100 to the electronic mirror system 10, the electronic mirror system 10 is subjected to. Start operation.
  • ECU Electronic Control Unit
  • control unit 50 when a control signal is input to the control unit 50 from the ECU of the automobile 100, the control unit 50 causes the imaging unit 40 (cameras 41, 42) to image the rear of the automobile 100 at a predetermined frame rate, and the camera 41, Image data D11 and D12 are acquired from 42 (S1).
  • the image analysis unit 51 of the control unit 50 acquires the image data D11 and D12
  • the image analysis unit 51 obtains the image data D13 of the image G1 (see FIG. 7) in the range captured by both the cameras 41 and 42 based on the image data D11 and D12. It is acquired and output to the creation unit 52 (S2). Further, the image analysis unit 51 obtains the distance data D14 regarding the distance between the object existing in the image G1 and the cameras 41 and 42 based on the image data D11 and D12, and causes the distance data D14 to be generated in the creation unit 52. Output.
  • the creating unit 52 extracts the object of stereoscopic drawing from the plurality of objects existing in the image G1 based on the image data D13 and the distance data D14 input from the image analysis unit 51.
  • the following steps S4 to S5 are performed.
  • the creation unit 52 displays the image G1 based on the distance data D14, and a plurality of (for example, three) regions A1, A11, and A12 (see FIG. 8) based on the distance values to the eyebox 210 in the real space. It is divided into (S4).
  • the creation unit 52 determines whether to use the image of the plane drawing portion or the image of the three-dimensional drawing, that is, whether to create the three-dimensional image data, for each of the plurality of areas A1, A11, and A12.
  • Region A1 is a region where the difference between the first distance LX1 and the second distance described above is less than the threshold value. That is, in the region A1, the magnitude of the distance between the object in the region A1 and the plane PL1 in the real space is less than the threshold value when the plane PL1 on which the virtual image of the plane drawing portion is projected is used as the default virtual image plane.
  • the creation unit 52 creates the plane drawing data of the image G2 (see FIG. 9) for projecting the object reflected in the area A1 as a virtual image of the plane drawing portion based on the image data D13 (S4). ..
  • the areas A11 and A12 are areas where the difference between the first distance LX1 and the second distance is equal to or greater than the threshold value. That is, the regions A11 and A12 have a large distance between the position of the object in the regions A11 and A12 and the plane PL1 in the real space when the plane PL1 on which the virtual image of the plane drawing portion is projected is used as the default virtual image plane. Is a region where is equal to or greater than the threshold.
  • the creating unit 52 projects the object (for example, a car) reflected in the area A11 and the object (for example, a protective fence) reflected in the area A12 as a three-dimensional virtual image based on the image data D13. Three-dimensional image data of the images G11 and G12 (see FIG. 10) to be used are created (S5).
  • the creation unit 52 When the creation unit 52 creates the plane drawing data of the image G2 of the plane drawing portion and the three-dimensional image data of the object to be three-dimensionally drawn, the creation unit 52 displays the image data D15 including the plane drawing data and the three-dimensional image data from the output unit 53. Output to 21.
  • the display device 21 displays a one-frame image in which the images G11 and G12 based on the stereoscopic image data are fitted in the image G2 of the plane drawing portion based on the plane drawing data. It is displayed on the surface 211 (S6).
  • the image displayed on the display surface 211 of the display device 21 is visually recognized by the user 200 having a viewpoint in the eye box 210 through the lens array 22 and the optical system 30. Since the image G2 of the plane drawing portion is displayed as it is on the plurality of pixels of the display device 21, it is recognized as a two-dimensional image by the user 200. Since the image G2 of the plane drawing portion is drawn along the plane PL1, it can be displayed as an image G2 having a natural sense of distance. Further, when the user 200 visually recognizes the image of the object of the three-dimensional drawing through the lens array 22, the user 200 can visually recognize the image reproducing the binocular parallax, and the object of the three-dimensional drawing is visually recognized three-dimensionally. be able to.
  • the user 200 can visually recognize the images in which the images G11 and G12 of the object of the three-dimensional drawing are displayed on the image G2 of the plane drawing portion (that is, the background), and the electronic mirror system 10 has a natural distance. It is possible to make the user 200 visually recognize an image of a feeling that is easy to adjust the focus.
  • the plane drawing data of the plane drawing portion is the image data acquired from the imaging unit 40, and only the stereoscopic image data of the object to be stereoscopically drawn needs to be created. Therefore, the arithmetic processing for creating the stereoscopic image data The amount of processing can be reduced.
  • the creating unit 52 may use the image data D13 of the original image G1 as it is as the plane drawing data instead of the plane image data of only the plane drawing portion. Then, the creation unit 52 combines the plane drawing data when the entire original image G1 is drawn on the plane PL1 with the stereoscopic image data created in step S5 to generate an image for one frame to be displayed on the display device 21. create. That is, the creation unit 52 creates an image for one frame in which the images G11 and G12 of the object to be three-dimensionally drawn are superimposed on the image of the plane drawing portion (original image G1), and displays this image on the display device 21. You may.
  • the above embodiment is only one of various embodiments of the present disclosure.
  • the above-described embodiment can be changed in various ways depending on the design and the like as long as the object of the present disclosure can be achieved.
  • the same function as that of the electronic mirror system 10 may be realized by a control method of the electronic mirror system 10, a computer program, a non-temporary recording medium on which the program is recorded, or the like.
  • the image display method according to one aspect is an image display method for displaying an image using the electronic mirror system 10. This image display method includes a first process, a second process, a third process, and a fourth process.
  • the first process is a process (step S1) of acquiring image information regarding image data of a stereoscopic drawing portion including at least an object of stereoscopic drawing in the image.
  • the second process is a process (step S2) of acquiring distance data regarding the distance between the object and the eyebox 210 in the real space.
  • the third process is a process (step S5) of creating stereoscopic image data for allowing the user 200 having a viewpoint in the eyebox 210 to visually recognize a stereoscopic virtual image of the object based on the image information and the distance data. is there.
  • the fourth process is a process (step S6) of displaying an image based on the stereoscopic image data on the display surface 221 of the image display unit 20.
  • the (computer) program according to one aspect is a program for causing one or more processors to execute an image display method.
  • the electronic mirror system 10 in the present disclosure includes a computer system.
  • the main configuration of a computer system is a processor and memory as hardware.
  • the processor executes the program recorded in the memory of the computer system, the function as the electronic mirror system 10 in the present disclosure is realized.
  • the program may be pre-recorded in the memory of the computer system, may be provided through a telecommunications line, and may be recorded on a non-temporary recording medium such as a memory card, optical disk, or hard disk drive that can be read by the computer system. May be provided.
  • a processor in a computer system is composed of one or more electronic circuits including a semiconductor integrated circuit (IC) or a large scale integrated circuit (LSI).
  • IC semiconductor integrated circuit
  • LSI large scale integrated circuit
  • the integrated circuit such as an IC or LSI referred to here has a different name depending on the degree of integration, and includes an integrated circuit called a system LSI, VLSI (Very Large Scale Integration) or ULSI (Ultra Large Scale Integration). Further, an FPGA (Field-Programmable Gate Array) programmed after the LSI is manufactured, or a logical device capable of reconfiguring the junction relationship inside the LSI or reconfiguring the circuit partition inside the LSI should also be adopted as a processor. Can be done.
  • a plurality of electronic circuits may be integrated on one chip, or may be distributed on a plurality of chips. The plurality of chips may be integrated in one device, or may be distributed in a plurality of devices.
  • the computer system referred to here includes a microcontroller having one or more processors and one or more memories. Therefore, the microcontroller is also composed of one or more electronic circuits including a semiconductor integrated circuit or a large-scale integrated circuit.
  • the electronic mirror system 10 it is not an essential configuration for the electronic mirror system 10 that a plurality of functions in the electronic mirror system 10 are integrated in one housing 60, and the components of the electronic mirror system 10 are dispersed in the plurality of housings. It may be provided. Further, at least a part of the functions of the electronic mirror system 10, for example, a part of the functions of the control unit 50 (image analysis unit 51, creation unit 52, etc.) may be realized by a cloud (cloud computing) or the like.
  • the place where "greater than or equal to” is set may be “greater than”. That is, in the comparison of the two values, whether or not the two values are equal can be arbitrarily changed depending on the setting of the reference value or the like, so there is no technical difference between "greater than or equal to” and "greater than”. Similarly, the place where "less than” is defined may be “less than or equal to”.
  • the image analysis unit 51 acquires the distance data based on the image data from the two cameras 41 and 42, but the electronic mirror system 10 acquires the distance data as shown in FIG. , A distance sensor 70 for acquiring distance data may be provided.
  • the imaging unit 40 includes one camera 41 that photographs the rear of the automobile 100.
  • the distance sensor 70 includes, for example, a millimeter-wave radar or a sensor such as LIDAR (Light detection and ringing).
  • the distance sensor 70 measures the distance from the distance sensor 70 to an object existing in the imaging range of the camera 41, and outputs distance data indicating the measurement result of the distance to the image analysis unit 51.
  • the image analysis unit 51 acquires distance data from the distance sensor 70. That is, the image analysis unit 51 has a function of an acquisition unit that acquires distance data from the distance sensor 70 that measures the distance to an object existing in the image pickup range of the image pickup unit 40.
  • the image analysis unit 51 is used to perform plane drawing data for displaying an image of a plane drawing portion and stereoscopic drawing based on the image data acquired from the imaging unit 40 and the distance data acquired from the distance sensor 70. Create 3D image data. Since the process of creating the plane drawing data and the stereoscopic image data by the image analysis unit 51 is the same as that of the basic example, the description thereof will be omitted.
  • the image display unit 20 is realized by one display device 21, but as shown in FIG. 12, the image display unit 20A corresponds to each of the entire images displayed by the image display unit 20A.
  • a plurality of (for example, two) display devices 21A and 21B for displaying the portion may be included.
  • the plurality of display devices 21A and 21B each display a partial image which is a part of the entire image displayed by the image display unit 20A.
  • the display surfaces 211A and 211B of the display devices 21A and 21B are inclined with respect to each other.
  • the image display unit 20A further includes a lens array 22A arranged on the display surface 211A of the display device 21A and a lens array 22B arranged on the display surface 211B of the display device 21B.
  • the display device 21A is inclined with respect to the optical path L1 in the same direction as the display device 21 described in the basic example. That is, the first distance between one end (upper end in FIG. 12) of the display surface 211A of the display device 21A and the focal position 23 with respect to the focal position 23 of the optical system 30 composed of the lens 31 and the mirror 32. However, the display device 21A is arranged so as to be shorter than the second distance between the other end of the display surface 211A (the lower end in FIG. 12) and the focal position 23.
  • the object displayed on the display surface 211A of the display device 21A on the upper side of the display surface 211A of the display device 21A via the lens array 22A and the optical system 30 is an object displayed on the lower side of the display surface 211A. It is visually recognized by the user 200 as if it exists at a position farther than the object.
  • the display device 21B the first distance between one end (lower end in FIG. 12) of the display surface 211B of the display device 21B and the focal position 23 is the other end of the display surface 211B (upper end in FIG. 12).
  • the focal position 23 the display device 21B is arranged so as to be shorter than the second interval.
  • the object displayed on the upper side of the display surface 211B of the display device 21B is visually recognized by the user 200 so as to exist at a position closer to the object displayed on the lower side of the display surface 211B.
  • the image display unit 20A is arranged between the optical system 30 and the focal position 23 of the optical system 30.
  • the objects displayed on the lower and upper sides of the image are above and below the image.
  • the distance from the eyebox 210 is shorter than that of the object reflected in the middle part in the direction.
  • the two display devices 21A and 21B are arranged, and the image displayed on the image display unit 20A can be given a natural sense of distance.
  • the image display unit 20A includes two partial image display units (display devices 21A and 21B), but the image display unit 20A may include three or more partial image display units. .. Further, the arrangement form of the plurality of partial image display units (display devices 21A and 21B) included in the image display unit 20A is not limited to the arrangement form shown in FIG. The arrangement form of the plurality of partial image display units (display devices 21A and 21B) can be appropriately changed so as to give a natural sense of distance to the image visually recognized by the user 200.
  • a plurality of images displayed by the image display unit 20 are displayed according to the distance between the object in the image and the eyebox 210. Although it is determined whether or not each of the plurality of areas is to be the object of three-dimensional drawing, it may be determined whether or not to be the object of three-dimensional drawing on a pixel-by-pixel basis.
  • the creation unit 52 creates stereoscopic image data of only the object targeted for stereoscopic drawing among the images displayed by the image display unit 20, the entire image displayed by the image display unit 20 is stereoscopically drawn. It may be the target of.
  • the window material 63 provided in the housing 60 may be composed of, for example, a half mirror.
  • the window material 63 composed of the half mirror serves as a mirror, so that the rear can be confirmed by using the window material 63 that serves as a mirror.
  • the optical system 30 may project light onto the eye box 210 by performing at least one of reflection and refraction of the light output from the image display unit 20.
  • the configuration of the optical system 30 can be changed as appropriate.
  • the lens 31 is a biconvex lens, it may be a plano-convex lens, and the surface of the lens 31 may be formed on a free curved surface so as to reduce image distortion and improve resolution.
  • the mirror 32 is a plane mirror, the mirror 32 may be a concave mirror having a free curved surface, and the surface of the mirror 32 may be formed as a free curved surface so as to reduce distortion of the image and improve the resolution. ..
  • the optical system 30 may be realized by one or more lenses, one or more mirrors, or a combination of one or more lenses and one or more mirrors.
  • the display device 21 is realized by a display device such as a liquid crystal display or an organic EL display, but the display device 21 is not limited to this type of display device.
  • the display device 21 may be configured to draw an image on the diffusion transmission type screen by scanning the laser beam from behind the screen. Further, the display device 21 may have a configuration in which an image is projected from behind the screen by a projector onto a diffusion transmission type screen.
  • the electronic mirror system 10 of the above embodiment and the modified example is fixed at the position of the rearview mirror, but may be fixed at the position of the electronic door mirror, that is, under the A pillar, inside the door, or the like. Further, although the electronic mirror system 10 is fixed to the moving body main body 110, the electronic mirror system 10 of the above-described embodiment and the modified example is a head-mounted display or glasses used by the user 200 by wearing it on the head. It may be applied to a type display device.
  • the electronic mirror system 10 of the above embodiment and the modified example is not limited to the configuration of displaying the captured image of the rear of the automobile 100, and for example, displays an image based on the captured image of the rear side, the side, or the front of the automobile 100. You may.
  • the electronic mirror system 10 of the above embodiment and the modified example is not limited to the one applied to the automobile 100, but can also be applied to moving objects other than the automobile 100 such as motorcycles, trains, aircrafts, construction machines, and ships. is there.
  • the electronic mirror system 10 is not limited to one device, and may be configured by a plurality of devices. That is, the functions of the electronic mirror system 10 may be distributed to two or more devices.
  • the control unit 50 of the electronic mirror system 10 may be provided in the ECU of the automobile 100 or an external server device of the automobile 100. In this case, the image displayed by the image display unit 20 is created by the ECU or the server device.
  • the electronic mirror system (10) of the first aspect continuously displays images showing the surrounding situation of the moving body (100) to move the surrounding situation of the moving body (100) into a moving image. It is an electronic mirror system that displays with.
  • the electronic mirror system (10) includes an image display unit (20) and an optical system (30). Each time the image display unit (20) acquires image data from the image pickup unit (40) that continuously captures the surroundings of the moving body (100), the image display unit (20) displays an image based on the image data acquired from the image pickup unit (40). It is displayed on the surface (221).
  • the optical system (30) condenses the image displayed on the display surface (221) on the eye box (210) so that the user (200) having a viewpoint on the eye box (210) can display the image on the display surface (221).
  • the virtual image (300) based on the displayed image is visually recognized.
  • the display surface (221) is arranged in an inclined state with respect to the optical path (L1) connecting the display surface (221) and the optical system (30).
  • the display surface (221) is inclined with respect to the optical path (L1) connecting the display surface (221) and the optical system (30), the eye is in the plane of the display surface (221).
  • the viewing distance between the box (210) and the display surface (221) changes. Therefore, it is possible to give a natural sense of distance to the virtual image (300) visually recognized by the user (200) based on the image displayed on the display surface (221), and it is possible to improve the visibility.
  • the system (10) can be provided.
  • the electronic mirror system (10) of the second aspect further includes an image data creation unit (52) in the first aspect.
  • the image data creation unit (52) tells the user (200) the object of stereoscopic drawing based on the image data of the object of stereoscopic drawing displayed in the image displayed on the display surface (221) and the distance data.
  • Distance data is data on the distance between an object and the eyebox (210) in real space.
  • the image display unit (20) displays a stereoscopic drawing image of the stereoscopic drawing portion based on the stereoscopic image data on the display surface (221).
  • the image data creation unit (52) is a plane drawing portion of the image displayed on the display surface (221) other than the object of the three-dimensional drawing. Is further created in the plane drawing data for displaying on the display surface (221).
  • the image displayed on the display surface (221) includes an image of a plane drawing portion based on the plane drawing data and an image for three-dimensional drawing.
  • the image data creation unit (52) is an object in which the absolute value of the difference between the first distance and the second distance is equal to or greater than a predetermined threshold value. Make an object an object for 3D drawing.
  • the first distance is the distance between the display position of the object and the eye box (210) when the virtual image of the object displayed on the image displayed on the display surface (221) is not projected as the object for stereoscopic drawing. ..
  • the second distance is the real-space distance between the object and the eyebox (210).
  • the image data creation unit (52) is based on the distance value to the eyebox (210) in the real space.
  • the image displayed on the image display unit (20) is divided into a plurality of partial images.
  • the image data creation unit (52) determines whether or not to create stereoscopic image data for each of the plurality of partial images.
  • the imaging unit (40) includes a plurality of cameras (41, 42) having different shooting directions.
  • the electronic mirror system (10) further includes an acquisition unit (51).
  • the acquisition unit (51) is a distance related to the distance to an object existing in each imaging range of the plurality of cameras (41, 42) based on the image data output from each of the plurality of cameras (41, 42). Get the data.
  • the electronic mirror system (10) of the seventh aspect further includes an acquisition unit (51) that acquires distance data from the distance sensor (70) in any of the second to sixth aspects.
  • the distance sensor (70) measures the distance to an object existing in the imaging range of the imaging unit (40).
  • the image display unit (20) corresponds to each of the entire images displayed by the image display unit (20). Includes a plurality of display devices (21A, 21B) for displaying a portion.
  • the display surfaces (211A, 211B) of the plurality of display devices (21A, 21B) are inclined to each other.
  • the image display method of the tenth aspect is an image display method of displaying an image in the electronic mirror system (10) of any one of the first to ninth aspects.
  • the image display method includes a first process, a second process, a third process, and a fourth process.
  • the image data of the imaging unit is acquired.
  • distance data regarding the distance in the real space between the object displayed in the image displayed on the image display unit (20) and the eye box (210) is acquired.
  • stereoscopic image data for allowing the user (200) who has a viewpoint in the eyebox (210) to visually recognize the stereoscopic virtual image of the object is created.
  • the stereoscopic drawing image of the stereoscopic drawing portion based on the stereoscopic image data is displayed on the display surface (221) of the image display unit (20).
  • the moving body (100) of the eleventh aspect includes a moving moving body main body (110) and an electronic mirror system (10) of any one of the first to ninth aspects mounted on the moving body main body (110). , Equipped with.
  • a moving body (100) including an electronic mirror system (10) capable of improving visibility it is possible to provide a moving body (100) including an electronic mirror system (10) capable of improving visibility.
  • the imaging unit (40) images the outside of the moving body body (110).
  • a moving body (100) including an electronic mirror system (10) capable of improving visibility it is possible to provide a moving body (100) including an electronic mirror system (10) capable of improving visibility.
  • the image display unit (20) is arranged in an array with the display device (21) for displaying an image. It has a plurality of arranged lenses (222) and includes a lens array (22) arranged in front of the display device (21).
  • various configurations (including modifications) of the electronic mirror system (10) record an image display method, a (computer) program, or a program of the electronic mirror system (10). It can be embodied in a non-temporary recording medium or the like.
  • the configurations according to the second to ninth and twelfth to thirteenth aspects are not essential configurations for the electronic mirror system (10) and can be omitted as appropriate.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本開示の目的は、見えやすさを向上させることにある。 電子ミラーシステム（１０）は、移動体（１００）の周囲の状況を示す画像を連続的に表示することによって移動体（１００）の周囲の状況を動画で表示する。電子ミラーシステム（１０）は、画像表示部（２０）と、光学系（３０）と、を備える。画像表示部（２０）は、移動体（１００）の周囲を連続的に撮影する撮像部（４０）から画像データを取得するごとに、撮像部（４０）から取得した画像データに基づく画像を表示面（２２１）に表示する。光学系（３０）は、表示面（２２１）に表示される画像をアイボックス（２１０）に集光することによって、アイボックス（２１０）に視点があるユーザ（２００）に表示面（２２１）に表示される画像に基づく虚像を視認させる。表示面（２２１）は、表示面（２２１）と光学系（３０）とを結ぶ光路（Ｌ１）に対して傾斜した状態で配置される。

Description

電子ミラーシステム、画像表示方法、及び移動体
　本開示は、電子ミラーシステム、画像表示方法、及び移動体に関する。より詳細には、本開示は、撮像部からの画像データに基づく画像を表示する電子ミラーシステム、画像表示方法、及び当該電子ミラーシステムを備えた移動体に関する。
　特許文献１は、車両の後方や側方の様子を撮像する撮像装置（撮像部）と、撮像装置から出力された映像信号を映像として表示する表示装置（画像表示部）と、を備える電子ミラーシステムを開示する。表示装置は、液晶ディスプレイ等で構成されている。表示装置は、車両の内部において、運転者が表示装置の映像を確認しやすい位置に設置されている。
　特許文献１に開示された電子ミラーシステムでは、運転者が、数十ｍ前方の道路状況を見ている状態から、数十ｃｍ先にある表示装置の映像に目を移す場合に、運転者が目の焦点を合わすのに時間がかかり、表示装置の映像が見えにくいという問題があった。
特開２００９－８３６１８号公報
　本開示の目的は、見えやすさを向上させることが可能な電子ミラーシステム、画像表示方法、及び移動体を提供することにある。
　本開示の一態様の電子ミラーシステムは、移動体の周囲の状況を示す画像を連続的に表示することによって前記移動体の周囲の状況を動画で表示する電子ミラーシステムであって、画像表示部と、光学系と、を備える。前記画像表示部は、前記移動体の周囲を連続的に撮影する撮像部から画像データを取得するごとに、前記撮像部から取得した前記画像データに基づく画像を表示面に表示する。前記光学系は、前記表示面に表示される前記画像をアイボックスに集光することによって、前記アイボックスに視点があるユーザに前記表示面に表示される前記画像に基づく虚像を視認させる。前記表示面は、前記表示面と前記光学系とを結ぶ光路に対して傾斜した状態で配置される。
　本開示の一態様の画像表示方法は、前記電子ミラーシステムが備える前記画像表示部に前記画像を表示する画像表示方法である。前記画像表示方法は、第１処理と、第２処理と、第３処理と、第４処理とを含む。前記第１処理では、前記撮像部の画像データを取得する。前記第２処理では、前記画像表示部に表示される前記画像に映る対象物と前記アイボックスとの間の実空間での距離に関する距離データを取得する。前記第３処理では、前記画像データと前記距離データとに基づいて、前記アイボックス内に視点があるユーザに前記対象物の立体的な虚像を視認させるための立体画像データを作成する。前記第４処理では、前記立体画像データに基づく立体描画部分の立体描画用画像を前記画像表示部の前記表示面に表示する。
　本開示の一態様の移動体は、移動する移動体本体と、前記移動体本体に搭載される前記電子ミラーシステムと、を備える。
図１は、本開示の一実施形態に係る電子ミラーシステムの概略的な説明図である。 図２は、同上の電子ミラーシステムを備える移動体の概略説明図である。 図３は、同上の電子ミラーシステムの概略的なブロック図である。 図４は、同上の電子ミラーシステムの使用状態を説明する説明図である。 図５は、同上の電子ミラーシステムによって立体画像を表示する方法を説明する説明図である。 図６は、同上の電子ミラーシステムの動作を説明するフローチャートである。 図７は、同上の電子ミラーシステムが備える撮像部が撮像した画像の説明図である。 図８は、同上の電子ミラーシステムが備える画像データ作成部の処理途中の画像を示す説明図である。 図９は、同上の電子ミラーシステムが備える画像データ作成部の処理途中の画像を示す説明図である。 図１０は、同上の電子ミラーシステムが備える画像データ作成部の処理途中の画像を示す説明図である。 図１１は、本開示の一実施形態の変形例１に係る電子ミラーシステムの概略的なブロック図である。 図１２は、本開示の一実施形態の変形例２に係る電子ミラーシステムの概略的な説明図である。
　（１）概要
　本実施形態に係る電子ミラーシステム１０は、図１及び図２に示すように、例えば、移動体としての自動車１００に用いられる。なお、以下で参照する図面は、いずれも模式的な図であり、図中の各構成要素の大きさ及び厚さそれぞれの比が、必ずしも実際の寸法比を反映しているとは限らない。
　電子ミラーシステム１０は、自動車１００（移動体）の周囲の状況を示す画像を連続的に表示することによって自動車１００の周囲の状況を動画で表示する。電子ミラーシステム１０は、図１及び図３に示すように、画像表示部２０と、光学系３０と、を備える。画像表示部２０は、撮像部４０から取得する画像データに基づく画像を表示面２２１に表示する。換言すれば、画像表示部２０は、移動体１００の周囲を連続的に撮影する撮像部４０から画像データを取得するごとに、撮像部４０から取得した画像データに基づく画像を表示面２２１に表示する。光学系３０は、表示面２２１に表示される画像をアイボックス２１０に集光することによって、アイボックス２１０に視点２０１があるユーザ２００（例えば自動車１００の運転者等）に表示面２２１に表示される画像に基づく虚像３００を視認させる。表示面２２１は、表示面２２１と光学系３０とを結ぶ光路Ｌ１に対して傾斜した状態で配置される。ここにおいて、撮像部４０が、移動体１００の周囲を連続的に撮影するとは、移動体１０の周囲を間断なく撮影することと、人の目で見て違和感がない動画として表示可能なフレームレート（例えば数十～数百ＦＰＳ[Frame Per Second]）で間欠的に撮影していることとを含み得る。画像表示部２０は、撮像部４０から間欠的に取得した画像データに基づく画像を表示面２２１に表示することで、ユーザ２００に対して、あたかも動画が表示されているように視認させることができる。
　ここで、光学系３０は、表示面２２１に表示される画像を構成する光の反射と屈折との少なくとも一方を行うことによって、表示面２２１に表示される画像をアイボックス２１０に集光する。以下の実施形態では、光学系３０は、例えば、両凸レンズのようなレンズ３１と、平面鏡のようなミラー３２とを組み合わせることで実現されているが、レンズ３１とミラー３２の組み合わせは、表示面２２１の大きさ、拡大率、及び視距離等に応じて適宜変更が可能である。レンズ３１は、両凸レンズ以外の凸レンズ又は凹レンズのようなレンズでもよいし、ミラー３２は、平面鏡以外の凹面鏡のようなミラーでもよい。また、光学系３０は、複数のレンズの組み合わせで実現されてもよいし、複数のミラーの組み合わせで実現されてもよい。また、光学系３０は、１個の光学部品（レンズ又はミラー等）のみで実現されてもよい。
　画像表示部２０の表示面２２１に表示された画像は、光学系３０によってアイボックス２１０に集光される。アイボックス２１０に視点２０１があるユーザ２００は、光学系３０によって集光された画像を見る。すなわち、ユーザ２００は、光学系３０のレンズ３１によって拡大され、ミラー３２によって反射された画像を見ることで、表示面２２１に表示される画像に基づく虚像３００（図１参照）を視認することができる。換言すると、虚像３００は、画像表示部２０から出力される光が、光学系３０のミラー３２によって反射されるとき、その反射光線によって、ユーザ２００の視線方向に実際に物体が存在するかのように結ばれる像を意味する。図４は、画像表示部２０の表示面２２１に表示された画像が光学系３０のミラー３２によって反射されてユーザ２００に集光される画像Ｇ１の一例である。電子ミラーシステム１０がユーザ２００に画像Ｇ１を集光することで、ユーザ２００は、視線方向に実際に物体が存在するかのような虚像３００を視認することができる。
　ところで、本実施形態の電子ミラーシステム１０では、画像表示部２０は、表示面２２１と光学系３０とを結ぶ光路Ｌ１に対して表示面２２１が傾斜した状態で配置されている。ここにおいて、光路Ｌ１に対して表示面２２１が傾斜するとは、表示面２２１の法線が、光路Ｌ１と平行な直線と斜めに交差している状態をいう。図１の例では、画像表示部２０は、レンズ３１と画像表示部２０の上端部までの距離と、レンズ３１と画像表示部２０の下端部までの距離とが互いに異なるように、すなわちレンズ３１（光学系３０）に対して傾斜するように配置されている。ここで、画像表示部２０が、レンズ３１とミラー３２とで構成される光学系３０の焦点位置２３に近くなると虚像までの視距離は遠くなり、焦点位置２３から遠くなるつまり光学系３０に近くなると虚像までの視距離は近くなる。これにより、ユーザ２００によって視認される虚像３００は、自動車１００が走行する走行面４００（図２参照）と平行な平面ＰＬ１１、及び、走行面４００と直交する平面ＰＬ１２に対してそれぞれ傾斜する平面ＰＬ１上に投影される。なお、本実施形態では、画像表示部２０は、光学系３０から光学系３０の焦点位置２３の間に配置されている。
　ところで、画像Ｇ１には、自動車１００の周囲に存在する様々な対象物が映っている。この種の対象物には、自動車１００が走行する道路の走行面４００、道路に沿って設置された道路標識、ガードレール及び防護フェンス、道路に面して建つ建物、自動車１００の近くを走行する別の自動車又はバイク、歩道等にいる人、及び、空等が含まれる。一般的に、画像Ｇ１において、上側に映る対象物（例えば空等）は、下側に映る対象物（例えば自動車１００の近くの道路等）に比べて遠くにある。電子ミラーシステム１０によってユーザ２００に投影される虚像３００は、画像Ｇ１の上端部に対応する部分が、画像Ｇ１の下端部に対応する部分よりもアイボックス２１０から遠くに存在するようにユーザ２００によって視認されるので、虚像３００に自然な距離感を与えることができる。よって、ユーザ２００が電子ミラーシステム１０によって投影される画像Ｇ１を見た場合に違和感が少なくなる。また、ユーザ２００が、前方の道路状況を見ている状態から、電子ミラーシステム１０によって投影される画像Ｇ１を見た場合に、焦点の調整量が少なくて済むので、焦点調整にかかる時間を短くでき、画像の見えやすさを向上させることが可能になる。
　なお、本実施形態の電子ミラーシステム１０では、画像Ｇ１に映る様々な対象物のうち、立体描画する対象物以外の対象物（以下、平面描画部分という）の虚像３００を平面ＰＬ１上に投影している。また、電子ミラーシステム１０は、画像Ｇ１に映る様々な対象物のうち、立体描画の対象物の虚像３１０を、走行面４００と直交する平面（平面ＰＬ１２と平行な平面）上に投影させており、立体描画の対象物については立体感のある表示を行うことができる。また、画像表示部２０及び光学系３０の配置を変更することによって平面ＰＬ１を平面ＰＬ１１とほぼ平行にしてもよい。電子ミラーシステム１０が、平面描画部分の虚像３００及び立体描画の対象物の虚像３１０を投影させる手法については「（２．１．３）画像表示部」で説明する。
　（２）詳細
　以下、本実施形態に係る電子ミラーシステム１０について図面を参照して詳しく説明する。
　（２．１）構成
　本実施形態の電子ミラーシステム１０は、図１及び図３に示すように、画像表示部２０と、光学系３０と、を備えている。また、電子ミラーシステム１０は、撮像部４０と、制御部５０と、を更に備えている。また、電子ミラーシステム１０は、画像表示部２０、光学系３０、及び制御部５０を収容するハウジング６０を更に備えている。
　本実施形態の電子ミラーシステム１０は、移動体である自動車１００の移動体本体１１０に搭載される。すなわち、移動体（自動車１００）は、移動する移動体本体１１０と、移動体本体１１０に搭載される電子ミラーシステム１０と、を備えている。
　以下、電子ミラーシステム１０が備えるハウジング６０、撮像部４０、画像表示部２０、光学系３０、及び制御部５０の各々について図面を参照して説明する。
　（２．１．１）ハウジング
　ハウジング６０は、例えば合成樹脂の成型品等で構成されている。ハウジング６０は、図１に示すように、内部に収容室６４を有する直方体状に形成されている。収容室６４には、画像表示部２０、光学系３０、及び制御部５０等が収容されている。
　ハウジング６０は、移動体本体１１０の天井部分１１１においてウィンドシールド１１２（フロントガラス）に近い前側部分に、前部座席に着座するユーザ２００から見える位置に取り付けられている（図１及び図２参照）。ハウジング６０は、支持部材６１を介して移動体本体１１０の天井部分１１１から吊り下げられた状態で天井部分１１１に取り付けられており、ユーザ２００の前方視界を邪魔しない位置に配置されている。ハウジング６０は、移動体本体１１０に取り付けられた状態において、移動体本体１１０の左右方向（車幅方向）における寸法が、上下方向における寸法及び前後方向における寸法よりもそれぞれ小さくなるような形状に形成されている。
　ハウジング６０の後部の表面（つまりハウジング６０の後壁）には、ハウジング６０の後壁を貫通する貫通孔６２が設けられている。貫通孔６２は、上下方向の寸法に比べて左右方向（上下方向及び前後方向と直交する方向）の寸法が大きく、左右方向の寸法（長辺寸法）と上下方向の寸法（短辺寸法）との比率は約３～６：１である。貫通孔６２には例えばガラス等の透明な窓材６３が取り付けられている。光学系３０のミラー３２によって反射された光は窓材６３を通してアイボックス２１０に集光され、アイボックス２１０内に視点２０１があるユーザ２００によって、光学系３０によって投影された画像Ｇ１が視認される。
　（２．１．２）撮像部
　撮像部４０は、撮影方向が互いに異なる複数（例えば２台）のカメラ４１，４２を含む。カメラ４１，４２は、動画像を撮影可能なデジタルカメラである。２台のカメラ４１，４２は、カメラ４１の撮影範囲とカメラ４２の撮影範囲とが少なくとも一部重なるように配置されている。カメラ４１，４２は、それぞれ、所定のフレームレートで自動車１００の後方を撮影して、画像データを制御部５０に出力する。本実施形態では、２台のカメラ４１，４２が、互いに異なる方向から自動車１００の後方を撮影している。よって、制御部５０は、カメラ４１，４２の画像データと、カメラ４１，４２の設置位置に関する情報とに基づいて、カメラ４１，４２の画像に映っている対象物までの距離を三角法により求めることができる。
　なお、撮像部４０は、撮影方向が互いに異なる２台のカメラ４１，４２を含んでいるが、撮影方向が互いに異なる３台以上のカメラを含んでいてもよい。
　（２．１．３）画像表示部
　画像表示部２０は、表示デバイス２１と、レンズアレイ２２とを備える。画像表示部２０は、画像中の対象物から複数の方向に放出される光を再現することで対象物を立体的に見せるライトフィールド（Light Field）方式により、立体画像を表示する機能を有している。
　表示デバイス２１は、収容室６４の後部の上側に、表示面２１１を前側に向けた状態でハウジング６０に収容されている。表示デバイス２１の表示面２１１は、ユーザ２００に投影する画像Ｇ１の形状に応じた矩形状であり、表示デバイス２１の表示面２１１には複数の画素Ｘ０（図５参照）がアレイ状に配置されている。表示デバイス２１の複数の画素Ｘ０は制御部５０の制御に応じて発光し、表示デバイス２１の表示面２１１から出力される光によって、表示面２１１に表示される画像が形成される。表示デバイス２１は、例えば液晶ディスプレイ、又は有機ＥＬ（Electro Luminescence）ディスプレイ等によって実現される。
　表示デバイス２１の表示面２１１にはレンズアレイ２２が配置されている。ここで、レンズアレイ２２の表面が画像表示部２０の表示面２２１となる。レンズアレイ２２は、アレイ状に配列された複数のレンズ２２２（図５参照）を有する。複数のレンズ２２２の各々は、表示デバイス２１が備える複数の画素Ｘ０のうちの４つの画素Ｘ１～Ｘ４に対応している。図５は、表示デバイス２１が有する複数の画素Ｘ０の一部に着目した図であり、図５において括弧ＧＲ１でそれぞれ括った４個の画素Ｘ１～Ｘ４が、複数あるレンズ２２２のうち同じレンズ２２２に対応している。
　図５の例では、アイボックス２１０において水平方向に４つの視点Ｐ１～Ｐ４が設定されている。視点Ｐ１には、複数のレンズ２２２によって、表示デバイス２１が備える複数の画素Ｘ１からの光が集光される。視点Ｐ２には、複数のレンズ２２２によって、表示デバイス２１が備える複数の画素Ｘ２からの光が集光される。視点Ｐ３には、複数のレンズ２２２によって、表示デバイス２１が備える複数の画素Ｘ３からの光が集光される。視点Ｐ４には、複数のレンズ２２２によって、表示デバイス２１が備える複数の画素Ｘ４からの光が集光される。なお、本実施形態では表示デバイス２１の前面側にレンズアレイ２２が配置されているが、レンズアレイ２２に代えて、複数のピンホールがアレイ状に形成された部材を表示デバイス２１の前面側に配置してもよい。
　画像表示部２０の表示デバイス２１は、制御部５０から入力される画像データに基づく画像を表示面２１１に表示する。制御部５０は、立体描画の対象物の虚像３１０を表示する場合、虚像３１０を表示させるための立体画像データを表示デバイス２１に出力する。制御部５０は、立体描画の対象物を投影する位置に対応した複数の画素のうち、視点Ｐ１に対応する複数の画素Ｘ１と、視点Ｐ２に対応する複数の画素Ｘ２と、視点Ｐ３に対応する複数の画素Ｘ３と、視点Ｐ４に対応する複数の画素Ｘ４と、にそれぞれ同じ立体画像データに基づく同じ画像（換言すると立体描画部分の立体描画用画像）を表示させる。これにより、視点Ｐ１に対応する複数の画素Ｘ１から出力される光によって、複数の画素Ｘ１に表示される画像に基づく虚像３１０が視点Ｐ１に投影される。同様に、視点Ｐ２に対応する複数の画素Ｘ２から出力される光によって、複数の画素Ｘ２に表示される画像に基づく虚像３１０が視点Ｐ２に投影される。視点Ｐ３に対応する複数の画素Ｘ３から出力される光によって、複数の画素Ｘ３に表示される画像に基づく虚像３１０が視点Ｐ３に投影される。視点Ｐ４に対応する複数の画素Ｘ４から出力される光によって、複数の画素Ｘ４に表示される画像に基づく虚像３１０が視点Ｐ４に投影される。ただし、画素Ｘ１～Ｘ４に表示される画像の立体描画の対象物は、共通の対象物であるが、画素Ｘ１～Ｘ４に表示される画像をレンズアレイ２２を通して見ると、視点Ｐ１～Ｐ４で互いに見える角度が少しずつ異なるように見える。表示デバイス２１の表示面２１１に表示された画像はレンズアレイ２２を通してアイボックス２１０に集光される。
　また、制御部５０（画像データ作成部５２）は、画像表示部２０に表示させる画像のうち、立体描画の対象物以外の平面描画部分を表示面２１１に表示させるための平面描画データを作成する。つまり、制御部５０は、カメラ４１，４２からの画像データに基づいて、立体描画部分以外の背景となる平面描画部分の平面描画データを作成する。そして、制御部５０は、表示デバイス２１が備える複数の画素のうち、立体描画の対象物を描画するために用いる画素以外の画素に、平面描画データに基づく画像（換言すると平面描画部分の平面描画用画像）を表示させる。なお、平面描画データを表示させる画素から出力される光もレンズアレイ２２を通過するため、例えば、視点Ｐ１には、視点Ｐ１に対応した画素の光が到達し、視点Ｐ２～Ｐ４に対応した画素の光は到達しない。
　以上のように、表示面２２１に表示される画像は、平面描画データに基づく平面描画部分の画像と、立体画像データに基づく立体描画の対象物の画像とを含む。そして、表示デバイス２１の表示面２１１に表示された画像は、レンズアレイ２２と光学系３０とを通してアイボックス２１０内に視点があるユーザ２００に視認される。例えば、ユーザ２００の右目が視点Ｐ２の位置にあり、ユーザ２００の左目が視点Ｐ３の位置にある場合、ユーザ２００の右目には、視点Ｐ２に対応した画素から出力される光が投影され、ユーザ２００の左目には、視点Ｐ３に対応した画素から出力される光が投影される。よって、ユーザ２００の右目には、視点Ｐ２に投影される画像、つまり視点Ｐ２から見た背景の画像に視点Ｐ２から立体描画の対象物を見た場合の画像を重ね合わせた画像が投影される。また、ユーザ２００の左目には、視点Ｐ３に投影される画像、つまり視点Ｐ３から見た背景の画像に視点Ｐ３から立体描画の対象物を見た場合の画像を重ね合わせた画像が投影される。これにより、ユーザ２００の右目及び左目には、背景の画像に重ねて、立体描画の対象物を互いに異なる角度から見た画像が表示されるので、両眼視差を再現した画像を右目及び左目に投影することができる。よって、画像表示部２０に表示された映像に基づいて、ユーザ２００に対して立体描画の対象物の虚像３１０を立体的に見せることができる。
　また、例えばユーザ２００の頭部が右に移動して、ユーザ２００の右目及び左目が、視点Ｐ１及びＰ２へそれぞれに移ると、上述の視点Ｐ２及びＰ３により見えていた虚像３１０を、やや右側から見ているように角度を変えて見せることができる。
　なお、画像表示部２０が、立体描画の対象物の虚像３１０を立体的に表示する方式はライトフィールド方式に限定されない。画像表示部２０は、ユーザ２００の左右の目に、互いに視差がある画像をそれぞれ投影することで、ユーザ２００に立体描画の対象物の虚像３１０を視認させる視差方式を採用してもよい。
　（２．１．４）光学系
　光学系３０は、画像表示部２０の表示面２２１から出力される光を、アイボックス２１０に集光する。本実施形態では、光学系３０は、図１及び図３に示すように、例えば、両凸レンズであるレンズ３１と、平面鏡であるミラー３２とを備える。
　レンズ３１は、画像表示部２０から出力される光を屈折して、ミラー３２に入射させる。両凸レンズであるレンズ３１は、画像表示部２０から出力される光を屈折することによって、画像表示部２０の表示面２２１に表示される画像を拡大する。本実施形態では、画像表示部２０の表示面（具体的にはレンズアレイ２２の表示面２２１）から、表示面２２１と直交する方向ＤＲ１に対して斜め方向ＤＲ２に出射した光が光学系３０に入射する。換言すると、画像表示部２０の表示面２２１は、光学系３０のレンズ３１に対して斜めに配置されている。
　ミラー３２は、画像表示部２０からレンズ３１を通って入射した光を反射し、反射光を窓材６３を通してアイボックス２１０に集光する。
　ここにおいて、本実施形態では、画像表示部２０の表示面２２１は、表示面２２１と光学系３０とを結ぶ光路Ｌ１（図１参照）に対して傾斜した状態で配置されている。光路Ｌ１は、表示面２２１の中心部（例えば、ユーザ２００によって視認される画像Ｇ１の上下方向及び左右方向における中心部に対応する部位）から光学系３０に出力される光の光路を示している。また、図１に点線で図示した光路Ｌ２は、表示面２２１の一端部（ユーザ２００によって視認される画像Ｇ１の上端部に対応した端部であって、図１では例えば上端部）から光学系３０を介してアイボックス２１０に集光される光の光路を示している。また、図１に点線で図示した光路Ｌ３は、表示面２２１の他端部（ユーザ２００によって視認される画像Ｇ１の下端部に対応した端部であって、図１では例えば下端部）から光学系３０を介してアイボックス２１０に集光される光の光路を示している。本実施形態では、画像表示部２０の表示面２２１が光路Ｌ１に対して傾斜しているので、光路Ｌ２の長さ（アイボックス２１０から表示面２２１の上端部までの長さ）が、光路Ｌ３の長さ（アイボックス２１０から表示面２２１の下端部までの長さ）に比べて長くなっている。したがって、表示面２２１に表示される画像に基づく平面描画部分の虚像３００は、虚像３００（表示面２２１に表示される画像）における上側ほど、アイボックス２１０からより遠い位置に表示されているような虚像３００としてユーザ２００に視認される。そのため、平面描画部分の虚像３００は、電子ミラーシステム１０を搭載した自動車１００が走行する走行面４００に対して平行な第１平面ＰＬ１１、及び、走行面４００に対して垂直な第２平面ＰＬ１２にそれぞれ傾斜した平面ＰＬ１に投影されることになる。一般的に、自動車１００の後方を撮影する撮像部４０の画像では、画像の上側に映る対象物（例えば、遠方の道路、及び空等）は、画像の下側に映る対象物（例えば、自動車１００の近くの道路等）に比べて自動車１００から離れた位置にある。上述のように、画像表示部２０の表示面２２１を光路Ｌ１に対して傾斜させることで、平面描画部分の虚像３００は平面ＰＬ１に投影されることになり、自然な距離感を持たせた虚像３００をユーザ２００に視認させることができる。
　（２．１．５）制御部
　制御部５０は、画像解析部５１、画像データ作成部５２（以下、単に「作成部５２」と呼ぶこともある）、及び出力部５３を備える。言い換えると、制御部５０は、画像解析部５１、作成部５２、及び出力部５３、としての機能を有している。制御部５０は、例えば、コンピュータシステムを含んでいる。コンピュータシステムは、ハードウェアとしての１以上のプロセッサ及び１以上のメモリを主構成とする。コンピュータシステムの１以上のメモリに記録されたプログラムを１以上のプロセッサが実行することによって、制御部５０の機能（例えば、画像解析部５１、作成部５２、及び出力部５３等の機能）が実現される。プログラムは、コンピュータシステムの１以上のメモリに予め記録されている。なお、プログラムは、電気通信回線を通じて提供されてもよいし、コンピュータシステムで読み取り可能なメモリカード、光学ディスク、ハードディスクドライブ等の非一時的記録媒体に記録されて提供されてもよい。
　画像解析部５１は、撮像部４０が備える２台のカメラ４１，４２から、例えば通信線を介してカメラ画像データＤ１１，Ｄ１２を受け取る。画像解析部５１は、カメラ４１，４２から受け取るカメラ画像データＤ１１，Ｄ１２に基づいて、２台のカメラ４１，４２が共に撮影する範囲の画像データＤ１３を求める。また、画像解析部５１は、カメラ４１，４２から受け取るカメラ画像データＤ１１，Ｄ１２に基づき、三角法によりカメラ４１，４２の画像に映っている対象物と、２台のカメラ４１，４２の中間位置との間の距離に関する距離データＤ１４を求める。そして、画像解析部５１は、２台のカメラ４１，４２のカメラ画像データＤ１１，Ｄ１２から求めた画像データＤ１３及び距離データＤ１４を作成部５２に出力する。ここにおいて、画像解析部５１は、複数（実施形態では２台）のカメラ４１，４２から出力される画像データＤ１１，Ｄ１２に基づいて、複数のカメラ４１，４２の撮像範囲に存在する対象物までの距離に関する距離データＤ１４を取得する取得部の機能を有している。
　作成部５２は、画像解析部５１から入力される画像データＤ１３及び距離データＤ１４に基づいて、カメラ４１，４２の画像に映っている複数の対象物の中から、立体描画の対象物を抽出する。つまり、作成部５２は、カメラ４１，４２の画像に映っている複数の対象物の各々を、平面ＰＬ１から飛び出して見えるような立体的な虚像として描画するか、平面ＰＬ１に沿って描画される平面描画部分の対象物として描画するかを判定する。作成部５２（画像データ作成部）は、カメラ４１，４２の画像に映る対象物が立体的な虚像として投影されない場合の対象物の表示位置とアイボックス２１０との間の第１距離ＬＸ１（図１参照）を求める。第１距離ＬＸ１は、虚像空間での見かけの距離であり、対象物が平面描画部分の虚像として投影される場合の対象物の表示位置とアイボックス２１０との間の距離である。換言すれば、第１距離ＬＸ１は、アイボックス２１０から、走行面４００に沿った平面ＰＬ１上に投影される虚像までの視距離となる。また、作成部５２は、カメラ４１，４２の画像に映る対象物とアイボックス２１０との間の実空間での第２距離を求める。作成部５２は、対象物と２台のカメラ４１，４２の中間位置との間の距離に関する距離データＤ１４と、２台のカメラ４１，４２の中間位置とのアイボックス２１０の間の距離（既知の値）とから第２距離を求める。そして、作成部５２は、第１距離ＬＸ１と第２距離との差の絶対値が所定の閾値以上である場合、この対象物を立体描画の対象物とする。例えば、平面描画部分の虚像として描画される対象物は、走行面４００や走行面４００に沿って設けられたガードレール等のように、アイボックス２１０との間の実空間での距離（第２距離）と、第１距離ＬＸ１との差が閾値未満となるような対象物である。一方、立体的な虚像として描画される対象物は、例えば、走行面４００を走行する他の自動車等、走行面４００から飛び出して見える対象物である。立体的な虚像として描画される対象物の場合、アイボックス２１０との間の実空間での距離（第２距離）と、第１距離ＬＸ１との差の絶対値が閾値以上になる。したがって、作成部５２は、カメラ４１，４２の画像に映っている複数の対象物の各々について第１距離ＬＸ１と第２距離とを比較することで、立体描画の対象物を抽出することができる。ここで、閾値は、対象物を平面ＰＬ１から飛び出して見える立体的な虚像として描画するか、平面ＰＬ１に沿って描画される平面描画部分の対象物として描画するかを判定するための閾値であり、電子ミラーシステム１０の使用環境等に応じて適宜変更が可能である。
　作成部５２は、カメラ４１，４２の画像に映る対象物のうち立体描画の対象物以外の平面描画部分は、表示デバイス２１の表示面２１１にそのまま表示されるように、平面描画部分の画像データを作成する。
　また、作成部５２は、カメラ４１，４２の画像に映る対象物のうち立体描画の対象物を立体的な虚像３１０としてユーザ２００に視認させるための立体画像データを作成する。作成部５２は、立体描画の対象物を投影する位置に対応した複数の画素のうち、複数の画素Ｘ１と、複数の画素Ｘ２と、複数の画素Ｘ３と、複数の画素Ｘ４と、にそれぞれ立体描画の対象物の同じ画像を表示させるための立体画像データを作成する。すなわち、作成部５２は、画像データＤ１３と距離データＤ１４とに基づいて、ユーザ２００に立体描画の対象物の立体的な虚像を視認させるための立体画像データを作成する。画像データＤ１３は、画像に映る立体描画の対象物の画像データであり、距離データＤ１４は、立体描画の対象物とアイボックス２１０との間の距離に関するデータである。
　そして、出力部５３が、作成部５２によって作成された平面描画データ及び立体画像データを表示デバイス２１に出力し、平面描画部分の画像に立体描画の対象物の画像を重ね合わせた画像を表示デバイス２１の表示面２１１に表示させる。つまり、画像表示部２０は、作成部５２が作成した立体画像データに基づく画像を表示面２２１に表示する。
　（２．２）動作
　本実施形態の電子ミラーシステム１０の動作について図６のフローチャートを参照して説明する。
　例えば、自動車１００のバッテリから電子ミラーシステム１０に電力が供給され、自動車１００が備えるＥＣＵ（Electronic Control Unit）から電子ミラーシステム１０に動作を開始させる制御信号が入力されると、電子ミラーシステム１０が動作を開始する。
　例えば、自動車１００のＥＣＵから制御部５０に制御信号が入力されると、制御部５０は、撮像部４０（カメラ４１，４２）に所定のフレームレートで自動車１００の後方を撮像させ、カメラ４１，４２から画像データＤ１１，Ｄ１２を取得する（Ｓ１）。
　制御部５０の画像解析部５１は、画像データＤ１１，Ｄ１２を取得すると、画像データＤ１１，Ｄ１２に基づいてカメラ４１，４２の両方が撮影する範囲の画像Ｇ１（図７参照）の画像データＤ１３を取得し、作成部５２に出力する（Ｓ２）。また、画像解析部５１は、画像データＤ１１，Ｄ１２に基づいて、画像Ｇ１内に存在する対象物とカメラ４１，４２との間の距離に関する距離データＤ１４を求め、距離データＤ１４を作成部５２に出力する。
　次に、作成部５２は、画像解析部５１から入力される画像データＤ１３と距離データＤ１４とに基づいて、画像Ｇ１内に存在する複数の対象物のうち立体描画の対象物を抽出するために、以下のステップＳ４～Ｓ５の処理を行う。まず、作成部５２は、距離データＤ１４に基づいて、画像Ｇ１を、実空間におけるアイボックス２１０までの距離値に基づいて、複数（例えば３つ）の領域Ａ１，Ａ１１，Ａ１２（図８参照）に分割する（Ｓ４）。
　作成部５２は、複数の領域Ａ１，Ａ１１，Ａ１２の各々について、平面描画部分の画像とするか立体描画の画像とするか、すなわち立体画像データを作成するか否かを決定する。
　領域Ａ１は、上述した第１距離ＬＸ１と第２距離との差が閾値未満となる領域である。つまり、領域Ａ１は、平面描画部分の虚像が投影される平面ＰＬ１をデフォルトの虚像面とした場合に、実空間において領域Ａ１内の対象物と平面ＰＬ１との距離の大きさが閾値未満となる領域である。この場合、作成部５２は、画像データＤ１３をもとに、領域Ａ１に映る対象物を平面描画部分の虚像として投影するための画像Ｇ２（図９参照）の平面描画データを作成する（Ｓ４）。
　また、領域Ａ１１，Ａ１２は、第１距離ＬＸ１と第２距離との差が閾値以上となる領域である。つまり、領域Ａ１１，Ａ１２は、平面描画部分の虚像が投影される平面ＰＬ１をデフォルトの虚像面とした場合に、実空間において領域Ａ１１，Ａ１２内の対象物の位置と平面ＰＬ１との距離の大きさが閾値以上となる領域である。この場合、作成部５２は、画像データＤ１３をもとに、領域Ａ１１に映る対象物（例えば車）と、領域Ａ１２に映る対象物（例えば防護フェンス）とを、それぞれ、立体的な虚像として投影するための画像Ｇ１１，Ｇ１２（図１０参照）の立体画像データを作成する（Ｓ５）。
　作成部５２は、平面描画部分の画像Ｇ２の平面描画データと、立体描画の対象物の立体画像データとを作成すると、平面描画データ及び立体画像データを含む画像データＤ１５を出力部５３から表示デバイス２１に出力させる。
　表示デバイス２１は、出力部５３から画像データＤ１５が入力されると、平面描画データに基づく平面描画部分の画像Ｇ２に、立体画像データに基づく画像Ｇ１１，Ｇ１２を嵌め込んだ１フレームの画像を表示面２１１に表示する（Ｓ６）。
　表示デバイス２１の表示面２１１に表示された画像は、レンズアレイ２２と光学系３０とを通して、アイボックス２１０内に視点があるユーザ２００に視認される。平面描画部分の画像Ｇ２は、表示デバイス２１の複数の画素にそのまま表示されるので、ユーザ２００によって２次元の画像として認識される。なお、平面描画部分の画像Ｇ２は平面ＰＬ１に沿って描画されるため、自然な距離感がある画像Ｇ２として表示することができる。また、ユーザ２００が立体描画の対象物の画像をレンズアレイ２２を通して視認することで、両眼視差を再現した画像をユーザ２００に視認させることができ、立体描画の対象物を立体的に視認することができる。したがって、ユーザ２００は、平面描画部分（つまり背景）の画像Ｇ２に重ねて立体描画の対象物の画像Ｇ１１，Ｇ１２が表示される画像を視認することができ、電子ミラーシステム１０は、自然な距離感の画像であって、焦点調整がしやすい画像をユーザ２００に視認させることができる。また、電子ミラーシステム１０は、平面描画部分の平面描画データは撮像部４０から取得した画像データとし、立体描画の対象物の立体画像データのみ作成すればよいので、立体画像データを作成する演算処理の処理量を低減できる。
　なお、作成部５２は、ステップＳ４において、平面描画部分のみの平面画像データではなく、元画像Ｇ１の画像データＤ１３をそのまま平面描画データとしてもよい。そして、作成部５２は、元画像Ｇ１の全体を平面ＰＬ１に描画する場合の平面描画データに、ステップＳ５で作成した立体画像データを組み合わせることで、表示デバイス２１に表示させる１フレーム分の画像を作成する。すなわち、作成部５２は、平面描画部分の画像（元画像Ｇ１）に立体描画の対象物の画像Ｇ１１，Ｇ１２を重ね合わせた１フレーム分の画像を作成し、この画像を表示デバイス２１に表示させてもよい。
　（３）変形例
　上記実施形態は、本開示の様々な実施形態の一つに過ぎない。上記実施形態は、本開示の目的を達成できれば、設計等に応じて種々の変更が可能である。また、電子ミラーシステム１０と同様の機能は、電子ミラーシステム１０の制御方法、コンピュータプログラム、又はプログラムを記録した非一時的な記録媒体等で具現化されてもよい。一態様に係る画像表示方法は、電子ミラーシステム１０を用いて画像を表示する画像表示方法である。この画像表示方法は、第１処理と、第２処理と、第３処理と、第４処理とを含む。第１処理は、画像のうち立体描画の対象物を少なくとも含む立体描画部分の画像データに関する画像情報を取得する処理（ステップＳ１）である。第２処理は、実空間における対象物とアイボックス２１０との間の距離に関する距離データを取得する処理（ステップＳ２）である。第３処理は、画像情報と距離データとに基づいて、アイボックス２１０内に視点があるユーザ２００に対象物の立体的な虚像を視認させるための立体画像データを作成する処理（ステップＳ５）である。第４処理は、立体画像データに基づく画像を画像表示部２０の表示面２２１に表示する処理（ステップＳ６）である。一態様に係る（コンピュータ）プログラムは、１以上のプロセッサに、画像表示方法を実行させるためのプログラムである。
　以下、上記の実施形態の変形例を列挙する。以下に説明する変形例は、適宜組み合わせて適用可能である。なお、以下では、上記実施形態を「基本例」と呼ぶこともある。
　本開示における電子ミラーシステム１０は、コンピュータシステムを含んでいる。コンピュータシステムは、ハードウェアとしてのプロセッサ及びメモリを主構成とする。コンピュータシステムのメモリに記録されたプログラムをプロセッサが実行することによって、本開示における電子ミラーシステム１０としての機能が実現される。プログラムは、コンピュータシステムのメモリに予め記録されてもよく、電気通信回線を通じて提供されてもよく、コンピュータシステムで読み取り可能なメモリカード、光学ディスク、ハードディスクドライブ等の非一時的記録媒体に記録されて提供されてもよい。コンピュータシステムのプロセッサは、半導体集積回路（ＩＣ）又は大規模集積回路（ＬＳＩ）を含む１ないし複数の電子回路で構成される。ここでいうＩＣ又はＬＳＩ等の集積回路は、集積の度合いによって呼び方が異なっており、システムＬＳＩ、ＶＬＳＩ（Very Large Scale Integration）又はＵＬＳＩ（Ultra Large Scale Integration）と呼ばれる集積回路を含む。さらに、ＬＳＩの製造後にプログラムされる、ＦＰＧＡ（Field-Programmable Gate Array）、又はＬＳＩ内部の接合関係の再構成若しくはＬＳＩ内部の回路区画の再構成が可能な論理デバイスについても、プロセッサとして採用することができる。複数の電子回路は、１つのチップに集約されていてもよいし、複数のチップに分散して設けられていてもよい。複数のチップは、１つの装置に集約されていてもよいし、複数の装置に分散して設けられていてもよい。ここでいうコンピュータシステムは、１以上のプロセッサ及び１以上のメモリを有するマイクロコントローラを含む。したがって、マイクロコントローラについても、半導体集積回路又は大規模集積回路を含む１ないし複数の電子回路で構成される。
　また、電子ミラーシステム１０における複数の機能が、１つのハウジング６０内に集約されていることは電子ミラーシステム１０に必須の構成ではなく、電子ミラーシステム１０の構成要素は、複数のハウジングに分散して設けられていてもよい。さらに、電子ミラーシステム１０の少なくとも一部の機能、例えば、制御部５０の一部の機能（画像解析部５１及び作成部５２等）がクラウド（クラウドコンピューティング）等によって実現されてもよい。
　上記の実施形態において、距離などの２値の比較において、「以上」としているところは「より大きい」であってもよい。つまり、２値の比較において、２値が等しい場合を含むか否かは、基準値等の設定次第で任意に変更できるので、「以上」か「より大きい」かに技術上の差異はない。同様に、「未満」としているところは「以下」であってもよい。
　（３．１）変形例１
　基本例の電子ミラーシステム１０では、画像解析部５１が、２台のカメラ４１，４２からの画像データに基づいて距離データを取得しているが、電子ミラーシステム１０は、図１１に示すように、距離データを取得するための距離センサ７０を備えていてもよい。
　変形例１の電子ミラーシステム１０では、撮像部４０が、自動車１００の後方を撮影する１台のカメラ４１を含む。
　距離センサ７０は、例えば、ミリ波レーダー、又は、ＬＩＤＡＲ（Light detection and ranging）等のセンサを含む。距離センサ７０は、当該距離センサ７０から、カメラ４１の撮像範囲に存在する対象物までの距離を測定し、距離の測定結果を示す距離データを画像解析部５１に出力する。
　画像解析部５１は、距離センサ７０から距離データを取得する。すなわち、画像解析部５１が、撮像部４０の撮像範囲に存在する対象物までの距離を測定する距離センサ７０から距離データを取得する取得部の機能を有している。画像解析部５１は、撮像部４０から取得した画像データと、距離センサ７０から取得した距離データとに基づいて、平面描画部分の画像を表示するための平面描画データと、立体描画を行うための立体画像データとを作成する。なお、画像解析部５１が平面描画データ及び立体画像データを作成する処理は、基本例と同様であるので、その説明は省略する。
　（３．２）変形例２
　基本例では、画像表示部２０が１つの表示デバイス２１で実現されているが、図１２に示すように、画像表示部２０Ａが、画像表示部２０Ａが表示する全体の画像のうち、それぞれ対応する部分を表示する複数（例えば２つ）の表示デバイス２１Ａ，２１Ｂを含んでいてもよい。複数の表示デバイス２１Ａ，２１Ｂは、画像表示部２０Ａが表示する全体の画像の一部分である部分画像をそれぞれ表示する。表示デバイス２１Ａ，２１Ｂの表示面２１１Ａ，２１１Ｂは、互いに傾斜している。また、画像表示部２０Ａは、表示デバイス２１Ａの表示面２１１Ａに配置されるレンズアレイ２２Ａと、表示デバイス２１Ｂの表示面２１１Ｂに配置されるレンズアレイ２２Ｂとを更に備えている。
　表示デバイス２１Ａは、光路Ｌ１に対して、基本例で説明した表示デバイス２１と同じ方向に傾斜している。すなわち、レンズ３１とミラー３２で構成される光学系３０の焦点位置２３に対して、表示デバイス２１Ａの表示面２１１Ａの一端部（図１２における上端部）と焦点位置２３との間の第１間隔が、表示面２１１Ａの他端部（図１２における下端部）と焦点位置２３との間の第２間隔に比べて短くなるように、表示デバイス２１Ａは配置されている。これにより、表示デバイス２１Ａの表示面２１１Ａに表示される画像をレンズアレイ２２Ａ及び光学系３０を介して表示デバイス２１Ａの表示面２１１Ａの上側に映る対象物は、表示面２１１Ａの下側に映る対象物に比べて遠い位置に存在するようにユーザ２００に視認される。
　一方、表示デバイス２１Ｂは、表示デバイス２１Ｂの表示面２１１Ｂの一端部（図１２における下端部）と焦点位置２３との間の第１間隔が、表示面２１１Ｂの他端部（図１２における上端部）と焦点位置２３との間の第２間隔に比べて短くなるように、表示デバイス２１Ｂが配置されている。これにより、表示デバイス２１Ｂの表示面２１１Ｂの上側に映る対象物は、表示面２１１Ｂの下側に映る対象物に比べて近い位置に存在するようにユーザ２００に視認される。なお、変形例２においても、画像表示部２０Ａは、光学系３０から光学系３０の焦点位置２３の間に配置される。
　例えば、画像表示部２０Ａが表示する画像の上側に、道路の車線部分の上方に設置された案内標識等が映っている場合、画像の下側及び上側に映っている対象物は、画像の上下方向における中間部に映っている対象物に比べて、アイボックス２１０からの距離が短くなる。このような場合には、図１２に示すように、２つの表示デバイス２１Ａ，２１Ｂが配置されるのが好ましく、画像表示部２０Ａに表示される画像に自然な距離感を与えることができる。
　なお、変形例２では、画像表示部２０Ａが２つの部分画像表示部（表示デバイス２１Ａ，２１Ｂ）を備えているが、画像表示部２０Ａは３つ以上の部分画像表示部を備えていてもよい。また、画像表示部２０Ａが備える複数の部分画像表示部（表示デバイス２１Ａ，２１Ｂ）の配置形態は図１２に示す配置形態に限定されない。複数の部分画像表示部（表示デバイス２１Ａ，２１Ｂ）の配置形態は、ユーザ２００によって視認される画像に自然な距離感が与えられるように、適宜変更が可能である。
　（３．３）その他の変形例
　上記実施形態及び変形例の電子ミラーシステム１０では、画像表示部２０が表示する画像を、画像内の対象物とアイボックス２１０との間の距離に応じて複数の領域に分割し、複数の領域の各々について立体描画の対象物とするか否かを判定しているが、画素単位で立体描画の対象とするか否かを判定してもよい。
　また、作成部５２は、画像表示部２０が表示する画像のうち立体描画の対象とした対象物のみの立体画像データを作成しているが、画像表示部２０が表示する画像の全体を立体描画の対象としてもよい。
　上記実施形態及び変形例の電子ミラーシステム１０において、ハウジング６０に設けられた窓材６３は例えばハーフミラーで構成されていてもよい。画像表示部２０の表示面２２１に画像が表示されていない状態では、ハーフミラーで構成された窓材６３が鏡となるので、鏡となる窓材６３を用いて後方を確認することができる。
　上記実施形態及び変形例の電子ミラーシステム１０において、光学系３０は、画像表示部２０から出力される光の反射と屈折との少なくとも一方を行うことで、アイボックス２１０に光を投影すればよく、光学系３０の構成は適宜変更が可能である。例えば、レンズ３１は両凸レンズであるが、平凸レンズでもよく、レンズ３１の表面は、画像の歪みの低減や解像度の向上が可能なように自由曲面に形成されていてもよい。また、ミラー３２は平面鏡であるが、ミラー３２は自由曲面を有する凹面鏡でも良く、ミラー３２の表面は、画像の歪みの低減や解像度の向上が可能なように自由曲面に形成されていてもよい。また、光学系３０は、１以上のレンズ、１以上のミラー、又は、１以上のレンズと１以上のミラーとの組み合わせで実現されてもよい。
　上記実施形態及び変形例の電子ミラーシステム１０では、表示デバイス２１が、液晶ディスプレイ、又は有機ＥＬディスプレイ等のディスプレイ装置で実現されているが、表示デバイス２１はこの種のディスプレイ装置に限定されない。表示デバイス２１は、拡散透過型のスクリーンに対し、スクリーンの背後からレーザ光を走査することで、スクリーン上に画像を描画する構成でもよい。また、表示デバイス２１は、拡散透過型のスクリーンに対し、スクリーンの背後からプロジェクタで画像を投影する構成であってもよい。
　上記実施形態及び変形例の電子ミラーシステム１０は、ルームミラーの位置に固定されているが、電子ドアミラーの位置、すなわちＡピラーの下やドアの内側等に固定されていてもよい。また、電子ミラーシステム１０は、移動体本体１１０に固定されているが、上記実施形態及び変形例の電子ミラーシステム１０は、ユーザ２００が頭部に装着して使用するヘッドマウントディスプレイ、又は、メガネ型の表示装置に適用されてもよい。
　上記実施形態及び変形例の電子ミラーシステム１０は、自動車１００の後方の撮像画像を表示する構成に限らず、例えば、自動車１００の後側方、側方、又は前方の撮像画像に基づく画像を表示してもよい。
　上記実施形態及び変形例の電子ミラーシステム１０は、自動車１００に適用されるものに限らず、例えば、二輪車、電車、航空機、建設機械、及び船舶等、自動車１００以外の移動体にも適用可能である。
　また、電子ミラーシステム１０は、１つの装置に限らず複数の装置によって構成されてもよい。つまり、電子ミラーシステム１０の機能が２以上の装置に分散して設けられていてもよい。電子ミラーシステム１０の制御部５０は、自動車１００のＥＣＵ、自動車１００の外部のサーバ装置に設けられもよく、この場合はＥＣＵ又はサーバ装置で画像表示部２０が表示する画像が作成される。
　（まとめ）
　以上説明したように、第１の態様の電子ミラーシステム（１０）は、移動体（１００）の周囲の状況を示す画像を連続的に表示することによって移動体（１００）の周囲の状況を動画で表示する電子ミラーシステムである。電子ミラーシステム（１０）は、画像表示部（２０）と、光学系（３０）と、を備える。画像表示部（２０）は、移動体（１００）の周囲を連続的に撮影する撮像部（４０）から画像データを取得するごとに、撮像部（４０）から取得した画像データに基づく画像を表示面（２２１）に表示する。光学系（３０）は、表示面（２２１）に表示される画像をアイボックス（２１０）に集光することによって、アイボックス（２１０）に視点があるユーザ（２００）に表示面（２２１）に表示される画像に基づく虚像（３００）を視認させる。表示面（２２１）は、表示面（２２１）と光学系（３０）とを結ぶ光路（Ｌ１）に対して傾斜した状態で配置される。
　この態様によれば、表示面（２２１）と光学系（３０）とを結ぶ光路（Ｌ１）に対して表示面（２２１）が傾斜しているので、表示面（２２１）の面内で、アイボックス（２１０）と表示面（２２１）との間の視距離が変化する。したがって、表示面（２２１）に表示される画像に基づいてユーザ（２００）に視認される虚像（３００）に自然な距離感を与えることができ、見えやすさを向上させることが可能な電子ミラーシステム（１０）を提供することができる。
　第２の態様の電子ミラーシステム（１０）は、第１の態様において、画像データ作成部（５２）を更に備える。画像データ作成部（５２）は、表示面（２２１）に表示される画像内に映る立体描画の対象物の画像データと、距離データとに基づいて、ユーザ（２００）に立体描画の対象物の立体的な虚像（３１０）を視認させるための立体画像データを作成する。距離データは、実空間における対象物とアイボックス（２１０）との間の距離に関するデータである。画像表示部（２０）は、立体画像データに基づく立体描画部分の立体描画用画像を表示面（２２１）に表示する。
　この態様によれば、見えやすさを向上させることが可能な電子ミラーシステム（１０）を提供することができる。
　第３の態様の電子ミラーシステム（１０）では、第２の態様において、画像データ作成部（５２）は、表示面（２２１）に表示される画像のうち立体描画の対象物以外の平面描画部分を表示面（２２１）に表示させるための平面描画データを更に作成する。表示面（２２１）に表示される画像は、平面描画データに基づく平面描画部分の画像と、立体描画用画像とを含む。
　この態様によれば、見えやすさを向上させることが可能な電子ミラーシステム（１０）を提供することができる。
　第４の態様の電子ミラーシステム（１０）では、第２の態様において、画像データ作成部（５２）は、第１距離と第２距離との差の絶対値が、所定の閾値以上である対象物を立体描画の対象物とする。第１距離は、表示面（２２１）に表示される画像に映る対象物の虚像が立体描画の対象物として投影されない場合の対象物の表示位置とアイボックス（２１０）との間の距離である。第２距離は、対象物とアイボックス（２１０）との間の実空間での距離である。
　この態様によれば、見えやすさを向上させることが可能な電子ミラーシステム（１０）を提供することができる。
　第５の態様の電子ミラーシステム（１０）では、第２～第４のいずれかの態様において、画像データ作成部（５２）は、実空間におけるアイボックス（２１０）までの距離値に基づいて、画像表示部（２０）に表示される画像を複数の部分画像に分ける。画像データ作成部（５２）は、複数の部分画像の各々について立体画像データを作成するか否かを決定する。
　この態様によれば、見えやすさを向上させることが可能な電子ミラーシステム（１０）を提供することができる。
　第６の態様の電子ミラーシステム（１０）では、第２～第５のいずれかの態様において、撮像部（４０）は、撮影方向が互いに異なる複数のカメラ（４１，４２）を含む。電子ミラーシステム（１０）は取得部（５１）を更に備える。取得部（５１）は、複数のカメラ（４１，４２）の各々から出力される画像データに基づいて、複数のカメラ（４１，４２）の各々の撮像範囲に存在する対象物までの距離に関する距離データを取得する。
　この態様によれば、見えやすさを向上させることが可能な電子ミラーシステム（１０）を提供することができる。
　第７の態様の電子ミラーシステム（１０）は、第２～第６のいずれかの態様において、距離センサ（７０）から距離データを取得する取得部（５１）を、更に備える。距離センサ（７０）は、撮像部（４０）の撮像範囲に存在する対象物までの距離を測定する。
　この態様によれば、見えやすさを向上させることが可能な電子ミラーシステム（１０）を提供することができる。
　第８の態様の電子ミラーシステム（１０）では、第１～第７のいずれかの態様において、画像表示部（２０）が、画像表示部（２０）が表示する全体の画像のうちそれぞれ対応する部分を表示する複数の表示デバイス（２１Ａ，２１Ｂ）を含む。複数の表示デバイス（２１Ａ，２１Ｂ）の表示面（２１１Ａ，２１１Ｂ）が互いに傾斜している。
　この態様によれば、見えやすさを向上させることが可能な電子ミラーシステム（１０）を提供することができる。
　第９の態様の電子ミラーシステム（１０）では、第１～第８のいずれかの態様において、画像表示部（２０）の表示面（２２１）から、表示面（２２１）と直交する方向（ＤＲ１）に対して斜め方向（ＤＲ２）に出射した光が光学系（３０）に入射する。
　この態様によれば、見えやすさを向上させることが可能な電子ミラーシステム（１０）を提供することができる。
　第１０の態様の画像表示方法は、第１～第９のいずれかの態様の電子ミラーシステム（１０）において画像を表示する画像表示方法である。画像表示方法は、第１処理と、第２処理と、第３処理と、第４処理と、を含む。第１処理では、撮像部の画像データを取得する。第２処理では、画像表示部（２０）に表示される画像に映る対象物とアイボックス（２１０）との間の実空間における距離に関する距離データを取得する。第３処理では、画像データと距離データとに基づいて、アイボックス（２１０）内に視点があるユーザ（２００）に対象物の立体的な虚像を視認させるための立体画像データを作成する。第４処理では、立体画像データに基づく立体描画部分の立体描画用画像を画像表示部（２０）の表示面（２２１）に表示する。
　この態様によれば、見えやすさを向上させることが可能な画像表示方法を提供することができる。
　第１１の態様の移動体（１００）は、移動する移動体本体（１１０）と、移動体本体（１１０）に搭載される第１～第９のいずれかの態様の電子ミラーシステム（１０）と、を備える。
　この態様によれば、見えやすさを向上させることが可能な電子ミラーシステム（１０）を備える移動体（１００）を提供することができる。
　第１２の態様の電子ミラーシステム（１０）では、第１～第９のいずれかの態様において、撮像部（４０）が移動体本体（１１０）の外部を撮像する。
　この態様によれば、見えやすさを向上させることが可能な電子ミラーシステム（１０）を備える移動体（１００）を提供することができる。
　第１３の態様の電子ミラーシステム（１０）では、第１～第９及び第１２のいずれかの態様において、画像表示部（２０）は、画像を表示する表示デバイス（２１）と、アレイ状に配置された複数のレンズ（２２２）を有し表示デバイス（２１）の前面に配置されるレンズアレイ（２２）とを備える。
　上記態様に限らず、上記実施形態に係る電子ミラーシステム（１０）の種々の構成（変形例を含む）は、電子ミラーシステム（１０）の画像表示方法、（コンピュータ）プログラム、又はプログラムを記録した非一時的記録媒体等で具現化可能である。
　第２～第９及び第１２～第１３の態様に係る構成については、電子ミラーシステム（１０）に必須の構成ではなく、適宜省略可能である。
　１０　電子ミラーシステム
　２０　画像表示部
　２１Ａ，２１Ｂ　表示デバイス
　３０　光学系
　４０　撮像部
　４１，４２　カメラ
　５１　画像解析部（取得部）
　５２　画像データ作成部
　７０　距離センサ
　１００　移動体
　１１０　移動体本体
　２００　ユーザ
　２１０　アイボックス
　２１１Ａ，２１１Ｂ　表示面
　２２１　表示面
　３００，３１０　虚像
　Ｌ１　光路

Claims (11)

  1. 　移動体の周囲の状況を示す画像を連続的に表示することによって前記移動体の周囲の状況を動画で表示する電子ミラーシステムであって、
    　前記移動体の周囲を連続的に撮影する撮像部から画像データを取得するごとに、前記撮像部から取得した前記画像データに基づく前記画像を表示面に表示する画像表示部と、
    　前記表示面に表示される前記画像をアイボックスに集光することによって、前記アイボックスに視点があるユーザに前記表示面に表示される前記画像に基づく虚像を視認させる光学系と、を備え、
    　前記表示面は、前記表示面と前記光学系とを結ぶ光路に対して傾斜した状態で配置される、
    　電子ミラーシステム。
  2. 　前記表示面に表示される前記画像に映る立体描画の対象物の画像データと、前記立体描画の対象物と前記アイボックスとの間の実空間での距離に関する距離データとに基づいて、前記ユーザに前記立体描画の対象物の立体的な虚像を視認させるための立体画像データを作成する画像データ作成部を更に備え、
    　前記画像表示部は、前記立体画像データに基づく立体描画部分の立体描画用画像を前記表示面に表示する、
    　請求項１に記載の電子ミラーシステム。
  3. 　前記画像データ作成部は、前記表示面に表示される前記画像のうち前記立体描画の対象物以外の平面描画部分を前記表示面に表示させるための平面描画データを更に作成し、
    　前記画像は、前記平面描画データに基づく前記平面描画部分の平面描画用画像と、前記立体描画用画像とを含む、
    　請求項２に記載の電子ミラーシステム。
  4. 　前記画像データ作成部は、前記表示面に表示される前記画像に映る前記対象物の虚像が前記立体描画の対象物として投影されない場合の前記対象物の表示位置と前記アイボックスとの間の第１距離と、前記対象物と前記アイボックスとの間の実空間での第２距離との差の絶対値が所定の閾値以上である場合、前記対象物を前記立体描画の対象物とする、
    　請求項２に記載の電子ミラーシステム。
  5. 　前記画像データ作成部は、前記実空間における前記アイボックスまでの距離値に基づいて前記画像表示部に表示される前記画像を複数の部分画像に分け、
    　前記画像データ作成部は、前記複数の部分画像の各々について前記立体画像データを作成するか否かを決定する、
    　請求項２～４のいずれか１項に記載の電子ミラーシステム。
  6. 　前記撮像部は、撮影方向が互いに異なる複数のカメラを含み、
    　前記複数のカメラの各々から出力される画像データに基づいて、前記複数のカメラの各々の撮像範囲に存在する前記対象物までの距離に関する前記距離データを取得する取得部を、更に備える、
    　請求項２～５のいずれか１項に記載の電子ミラーシステム。
  7. 　前記撮像部の撮像範囲に存在する対象物までの距離を測定する距離センサから前記距離データを取得する取得部を、更に備える、
    　請求項２～６のいずれか１項に記載の電子ミラーシステム。
  8. 　前記画像表示部が、前記画像表示部が表示する全体の画像のうちそれぞれ対応する部分を表示する複数の表示デバイスを含み、
    　前記複数の表示デバイスの表示面が互いに傾斜する、
    　請求項１～７のいずれか１項に記載の電子ミラーシステム。
  9. 　前記画像表示部の前記表示面から、前記表示面と直交する方向に対して斜め方向に出射した光が前記光学系に入射する、
    　請求項１～８のいずれか１項に記載の電子ミラーシステム。
  10. 　請求項１～９のいずれか１項に記載の電子ミラーシステムが備える前記画像表示部に前記画像を表示する画像表示方法であって、
    　前記撮像部の画像データを取得することと、
    　前記画像表示部に表示される前記画像に映る対象物と前記アイボックスとの間の実空間における距離に関する距離データを取得することと、
    　前記画像データと前記距離データとに基づいて、前記アイボックス内に視点があるユーザに前記対象物の立体的な虚像を視認させるための立体画像データを作成することと、
    　前記立体画像データに基づく立体描画部分の立体描画用画像を前記画像表示部の前記表示面に表示することと、を含む、
    　画像表示方法。
  11. 　移動する移動体本体と
    　前記移動体本体に搭載される請求項１～９のいずれか１項に記載の電子ミラーシステムと、を備える、
    　移動体。
PCT/JP2020/005831 2019-03-27 2020-02-14 電子ミラーシステム、画像表示方法、及び移動体 WO2020195307A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021508241A JP7475107B2 (ja) 2019-03-27 2020-02-14 電子ミラーシステム、画像表示方法、及び移動体
DE112020001429.0T DE112020001429T5 (de) 2019-03-27 2020-02-14 Elektronisches spiegelsystem, bildanzeigeverfahren und sich bewegendes fahrzeug
US17/484,976 US11780368B2 (en) 2019-03-27 2021-09-24 Electronic mirror system, image display method, and moving vehicle

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-061922 2019-03-27
JP2019061922 2019-03-27

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/484,976 Continuation US11780368B2 (en) 2019-03-27 2021-09-24 Electronic mirror system, image display method, and moving vehicle

Publications (1)

Publication Number Publication Date
WO2020195307A1 true WO2020195307A1 (ja) 2020-10-01

Family

ID=72609000

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/005831 WO2020195307A1 (ja) 2019-03-27 2020-02-14 電子ミラーシステム、画像表示方法、及び移動体

Country Status (4)

Country Link
US (1) US11780368B2 (ja)
JP (1) JP7475107B2 (ja)
DE (1) DE112020001429T5 (ja)
WO (1) WO2020195307A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011073466A (ja) * 2009-09-29 2011-04-14 Nippon Seiki Co Ltd 車両用表示装置
JP2018058521A (ja) * 2016-10-06 2018-04-12 コニカミノルタ株式会社 仮想表示ミラー装置
WO2018101170A1 (ja) * 2016-12-01 2018-06-07 シャープ株式会社 表示装置、及び、電子ミラー
JP2018203245A (ja) * 2017-05-31 2018-12-27 パナソニックＩｐマネジメント株式会社 表示システム、電子ミラーシステム及び移動体

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120229596A1 (en) * 2007-03-16 2012-09-13 Michael Kenneth Rose Panoramic Imaging and Display System With Intelligent Driver's Viewer
JP2009083618A (ja) 2007-09-28 2009-04-23 Panasonic Corp 電子ミラーシステム
DE102010034139A1 (de) * 2010-08-12 2012-02-16 Valeo Schalter Und Sensoren Gmbh Verfahren zur Unterstützung eines Parkvorgangs eines Kraftfahrzeugs, Fahrerassistenzsystem und Kraftfahrzeug
JP5851979B2 (ja) * 2012-12-26 2016-02-03 株式会社ジャパンディスプレイ 表示装置
US20150085117A1 (en) * 2013-09-25 2015-03-26 Cross Multimedia Incorporation Driving assistance apparatus
JP6459446B2 (ja) 2014-11-28 2019-01-30 アイシン・エィ・ダブリュ株式会社 虚像表示装置
WO2017064797A1 (ja) * 2015-10-15 2017-04-20 日立マクセル株式会社 情報表示装置
JP2017203894A (ja) * 2016-05-12 2017-11-16 日本精機株式会社 ヘッドアップディスプレイ
WO2018003650A1 (ja) * 2016-06-29 2018-01-04 日本精機株式会社 ヘッドアップディスプレイ
JP6854448B2 (ja) * 2017-03-31 2021-04-07 パナソニックＩｐマネジメント株式会社 表示装置、及びそれを備える移動体
US10730440B2 (en) * 2017-05-31 2020-08-04 Panasonic Intellectual Property Management Co., Ltd. Display system, electronic mirror system, and moving body
JP6987341B2 (ja) * 2017-10-24 2021-12-22 マクセル株式会社 情報表示装置およびその空間センシング装置
DE102019106738B4 (de) * 2018-03-27 2021-11-04 Panasonic Intellectual Property Management Co., Ltd. Anzeigesystem, elektronisches Spiegelsystem, fahrendes Fahrzeug und Anzeigeverfahren
WO2020195308A1 (ja) * 2019-03-27 2020-10-01 パナソニックＩｐマネジメント株式会社 虚像表示システム、画像表示方法、ヘッドアップディスプレイ、及び移動体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011073466A (ja) * 2009-09-29 2011-04-14 Nippon Seiki Co Ltd 車両用表示装置
JP2018058521A (ja) * 2016-10-06 2018-04-12 コニカミノルタ株式会社 仮想表示ミラー装置
WO2018101170A1 (ja) * 2016-12-01 2018-06-07 シャープ株式会社 表示装置、及び、電子ミラー
JP2018203245A (ja) * 2017-05-31 2018-12-27 パナソニックＩｐマネジメント株式会社 表示システム、電子ミラーシステム及び移動体

Also Published As

Publication number Publication date
JPWO2020195307A1 (ja) 2020-10-01
US20220009414A1 (en) 2022-01-13
US11780368B2 (en) 2023-10-10
DE112020001429T5 (de) 2021-12-23
JP7475107B2 (ja) 2024-04-26

Similar Documents

Publication Publication Date Title
US10247941B2 (en) Vehicle vision system with light field monitor
JP7065383B2 (ja) 表示システム、情報提示システム、表示システムの制御方法、プログラム、及び移動体
CN109309828B (zh) 图像处理方法和图像处理装置
JP7117592B2 (ja) 画像形成システム、画像補正システム、画像表示システム、画像形成方法、及びプログラム
CN110308557B (zh) 显示***、电子镜***、移动体以及显示方法
US20140036374A1 (en) Bifocal Head-up Display System
JP6706802B2 (ja) 表示システム、電子ミラーシステム及びそれを備える移動体
JP6697754B2 (ja) 表示システム、電子ミラーシステム及び移動体
JP6685022B2 (ja) 表示システム、電子ミラーシステム、移動体、及び表示方法
JPWO2018061444A1 (ja) 反射板、情報表示装置および移動体
CN109799514A (zh) 光学***、图像捕获装置、距离测量装置和车载***
US20220013046A1 (en) Virtual image display system, image display method, head-up display, and moving vehicle
JP2018203245A (ja) 表示システム、電子ミラーシステム及び移動体
TWM568376U (zh) 多攝像頭系統及多攝像頭模組
WO2020195307A1 (ja) 電子ミラーシステム、画像表示方法、及び移動体
JP2020095271A (ja) ３次元映像を表示する装置及び方法
JP2006054503A (ja) 画像生成方法および装置
JP7178638B2 (ja) 電子ミラーシステム、及び移動体
JP6726883B2 (ja) 表示システム、移動体、及び表示システムの制御方法
JP6697747B2 (ja) 表示システム、電子ミラーシステム及び移動体
JPH07220113A (ja) 画像記録再生装置
KR102204074B1 (ko) 3차원공간영상 디스플레이 시스템
KR101883883B1 (ko) 플립영상을 차단하는 무안경 원통형 홀로그램 디스플레이 방법
JP7178637B2 (ja) 虚像表示システム、ヘッドアップディスプレイ、及び移動体
WO2022064605A1 (ja) 位置情報取得システム、位置情報取得方法、および位置情報取得装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20777695

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021508241

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 20777695

Country of ref document: EP

Kind code of ref document: A1