WO2024122391A1 - 空中浮遊映像表示装置 - Google Patents

空中浮遊映像表示装置 Download PDF

Info

Publication number
WO2024122391A1
WO2024122391A1 PCT/JP2023/042419 JP2023042419W WO2024122391A1 WO 2024122391 A1 WO2024122391 A1 WO 2024122391A1 JP 2023042419 W JP2023042419 W JP 2023042419W WO 2024122391 A1 WO2024122391 A1 WO 2024122391A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
floating
display device
light
space
Prior art date
Application number
PCT/JP2023/042419
Other languages
English (en)
French (fr)
Inventor
拓也 清水
浩司 藤田
Original Assignee
マクセル株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by マクセル株式会社 filed Critical マクセル株式会社
Publication of WO2024122391A1 publication Critical patent/WO2024122391A1/ja

Links

Images

Definitions

  • the present invention relates to a floating image display device.
  • Airborne information display technology is disclosed, for example, in Patent Document 1.
  • Patent Document 1 does not sufficiently consider configurations for achieving practical brightness and quality for the levitating image, or configurations for allowing users to enjoy viewing the levitating image more.
  • the object of the present invention is to provide a more suitable floating image display device.
  • the present application includes multiple means for solving the above problem, and one example is a floating image display device that displays floating images, comprising a display unit that displays images, a first polarizing separation member, a second polarizing separation member, and one or more retroreflectors, and the display screen of the display unit has a first image display area and a second image display area, and image light emitted from the first image display area of the display screen of the display unit is transmitted through the first polarizing separation member and reflected by any of the one or more retroreflectors.
  • a first floating image is formed in the air, and the image light emitted from the second image display area of the display screen of the display unit is transmitted through or reflected by the second polarization separation member and retroreflected by any one of the one or more retroreflectors, and then a second floating image is formed in the air, so that the first floating image and the second floating image form a multi-layer floating image with different depth directions as seen by the user.
  • the present invention makes it possible to realize a more suitable floating image display device.
  • Other issues, configurations, and advantages will be made clear in the description of the embodiments below.
  • 1 is a diagram showing an example of a usage form of a space floating image display device according to an embodiment of the present invention
  • 1 is a diagram showing an example of a main part configuration and a retroreflection part configuration of a space floating image display device according to an embodiment of the present invention
  • 1 is a diagram showing an example of a main part configuration and a retroreflection part configuration of a space floating image display device according to an embodiment of the present invention
  • 1 is a diagram showing an example of a main part configuration and a retroreflection part configuration of a space floating image display device according to an embodiment of the present invention
  • 1 is a diagram showing a configuration example of a space floating image display device according to an embodiment of the present invention
  • FIG. 1 is a diagram showing an example of a configuration of a space floating image display device according to an embodiment of the present invention.
  • FIG. 1 is a diagram showing an example of a configuration of a space floating image display device according to an embodiment of the present invention.
  • FIG. 1 is a diagram showing an example of a configuration of a space floating image display device according to an embodiment of the present invention.
  • FIG. 1 is a diagram showing an example of a configuration of a space floating image display device according to an embodiment of the present invention.
  • FIG. 1 is a diagram showing an example of a configuration of a space floating image display device according to an embodiment of the present invention.
  • FIG. 1 is a diagram showing an example of a configuration of a space floating image display device according to an embodiment of the present invention.
  • FIG. 1 is a diagram showing an example of a configuration of a space floating image display device according to an embodiment of the present invention.
  • FIG. 1 is a diagram showing an example of a configuration of a space floating image display device according to an embodiment of the present invention.
  • 1 is a diagram showing an example of a configuration of a space floating image display device according to an embodiment of the present invention
  • FIG. 1 is a diagram showing an example of a configuration of a space floating image display device according to an embodiment of the present invention.
  • FIG. 1 is a diagram showing an example of a configuration of a space floating image display device according to an embodiment of the present invention.
  • FIG. 1 is a diagram showing an example of a configuration of a space floating image display device according to an embodiment of the present invention.
  • FIG. 1 is a diagram showing an example of a configuration of a space floating image display device according to an embodiment of the present invention.
  • FIG. 1 is a diagram showing an example of a configuration of a space floating image display device according to an embodiment of the present invention.
  • FIG. 1 is a diagram showing an example of a configuration of a space floating image display device according to an embodiment of the present invention.
  • FIG. 2 is a cross-sectional view showing an example of a specific configuration of a light source device according to an embodiment of the present invention.
  • FIG. 2 is a cross-sectional view showing an example of a specific configuration of a light source device according to an embodiment of the present invention.
  • FIG. 2 is a cross-sectional view showing an example of a specific configuration of a light source device according to an embodiment of the present invention.
  • 1 is a layout diagram showing a main part of a space floating image display device according to an embodiment of the present invention; 1 is a cross-sectional view showing a configuration of a display device according to an embodiment of the present invention.
  • FIG. 1 is a cross-sectional view showing a configuration of a display device according to an embodiment of the present invention.
  • 1 is an explanatory diagram for explaining a light source diffusion characteristic of an image display device according to an embodiment of the present invention.
  • 1 is an explanatory diagram for explaining the diffusion characteristics of a video display device according to an embodiment of the present invention.
  • 1 is a diagram illustrating an example of a problem to be solved by image processing according to an embodiment of the present invention;
  • FIG. 4 is an explanatory diagram of an example of image processing according to an embodiment of the present invention.
  • FIG. 4 is an explanatory diagram of an example of a video display process according to an embodiment of the present invention.
  • FIG. 4 is an explanatory diagram of an example of a video display process according to an embodiment of the present invention.
  • 1 is a diagram showing an example of a main part configuration and a retroreflection part configuration of a space floating image display device according to an embodiment of the present invention
  • 1 is a diagram showing an example of a main part configuration and a retroreflection part configuration of a space floating image display device according to an embodiment of the present invention
  • 1 is a diagram showing an example of a main part configuration and a retroreflection part configuration of a space floating image display device according to an embodiment of the present invention
  • 1 is a diagram showing an example of a main part configuration and a retroreflection part configuration of a space floating image display device according to an embodiment of the present invention
  • 1 is a diagram showing an example of a main part configuration and a retroreflection part configuration of a space floating image display device according to an embodiment of the present invention
  • 1 is a diagram showing an example of a main part configuration and a retroreflection part configuration of a space floating image display device according to an embodiment of the present invention
  • 1 is a diagram showing an example
  • FIG. 1 is a diagram showing an example of a configuration of a space floating image display device according to an embodiment of the present invention.
  • 1 is a diagram showing an example of a configuration of a space floating image display device according to an embodiment of the present invention
  • FIG. 1 is a diagram showing an example of a configuration of a space floating image display device according to an embodiment of the present invention.
  • FIG. 1 is a diagram showing an example of a display of a space floating image display device according to an embodiment of the present invention;
  • FIG. 1 is a diagram showing an example of a display of a space floating image display device according to an embodiment of the present invention;
  • FIG. 1 is a diagram showing an example of a display of a space floating image display device according to an embodiment of the present invention;
  • FIG. 1 is a diagram showing an example of a display of a space floating image display device according to an embodiment of the present invention;
  • FIG. 1 is a diagram showing an example of a display of a space floating image display device according to an embodiment
  • the following examples relate to an image display device that can transmit an image produced by image light from an image emission source through a transparent member that divides a space, such as glass, and display the image as a floating image outside the transparent member.
  • an image that floats in space is expressed using the term "floating image in space.” Instead of this term, it is also acceptable to express it as "aerial image,” “spatial image,” “floating image in space,” “floating optical image of displayed image,” “floating optical image of displayed image,” etc.
  • the term “floating image in space” that is mainly used in the explanation of the examples is used as a representative example of these terms.
  • a suitable image display device can be realized in a bank ATM, a ticket vending machine at a station, a digital signage, etc.
  • a touch panel is usually used in a bank ATM, a ticket vending machine at a station, etc., but a transparent glass surface or a light-transmitting plate material can be used to display high-resolution image information in a space-floating state on the glass surface or the light-transmitting plate material.
  • a device including the light source of this embodiment can provide a new and highly usable space-floating image display device (space-floating image display system) that can significantly reduce power consumption.
  • a vehicle space-floating image display device that can display a so-called unidirectional space-floating image that can be viewed inside and/or outside the vehicle can be provided.
  • FIG. 1 is a diagram showing an example of the use of a space-floating image display device according to an embodiment of the present invention, and is a diagram showing the overall configuration of the space-floating image display device according to this embodiment. The specific configuration of the space-floating image display device will be described in detail using FIG.
  • the retroreflector 2 (retroreflector) is used as an example of the retroreflector.
  • the retroreflector 2 of the present invention is not limited to a flat plate, and is used as an example of a concept including a sheet-like retroreflector attached to a flat or non-flat member, and an entire assembly in which a sheet-like retroreflector is attached to a flat or non-flat member.
  • the space is divided by a show window (also called “window glass”) 105, which is a translucent material such as glass.
  • a show window also called “window glass”
  • the inside of the window glass 105 (inside the store) is shown in the depth direction, with the outside (e.g., the sidewalk) in the foreground.
  • the window glass 105 by providing the window glass 105 with a means for reflecting a specific polarized wave, it is possible to reflect the wave and form an aerial image at a desired position inside the store.
  • FIG. 2A is a diagram showing an example of the configuration of an optical system of a space floating image display device according to an embodiment of the present invention.
  • the configuration of the space floating image display device will be described in more detail using FIG. 2A.
  • a display device 1 that diverges specific polarized image light at a narrow angle is provided in the oblique direction of a transparent member 100 such as glass.
  • the display device 1 includes a liquid crystal display panel 11 and a light source device 13 that generates specific polarized light having a narrow angle diffusion characteristic.
  • the image light of a specific polarization from the display device 1 is reflected by the polarization separation member 101 (in the figure, the polarization separation member 101 is formed into a sheet and adhered to the transparent member 100) which has a film that selectively reflects the image light of a specific polarization provided on the transparent member 100, and enters the retroreflector 2.
  • a ⁇ /4 plate 21 is provided on the image light incidence surface of the retroreflector 2. The image light is polarized and converted from the specific polarization to the other polarization by passing through the ⁇ /4 plate 21 twice, when it enters the retroreflector 2 and when it leaves.
  • the polarization separation member 101 that selectively reflects the image light of a specific polarization has the property of transmitting the polarized light of the other polarization that has been polarized and converted, so the image light of the specific polarization after polarization conversion passes through the polarization separation member 101.
  • the image light that has passed through the polarization separation member 101 forms a real image, a floating image 3, outside the transparent member 100.
  • the display device 1 may be configured to emit S-polarized image light to the polarization separation member 101, and the polarization separation member 101 may have the property of reflecting S-polarized light and transmitting P-polarized light.
  • the S-polarized image light that reaches the polarization separation member 101 from the display device 1 is reflected by the polarization separation member 101 and travels toward the retroreflector 2.
  • the image light is reflected by the retroreflector 2, it passes through the ⁇ /4 plate 21 provided on the incident surface of the retroreflector 2 twice, so that the image light is converted from S-polarized light to P-polarized light.
  • the image light converted to P-polarized light travels again toward the polarization separation member 101.
  • the polarization separation member 101 has the property of reflecting S-polarized light and transmitting P-polarized light, so the P-polarized image light passes through the polarization separation member 101 and then through the transparent member 100.
  • the image light that passes through the transparent member 100 is generated by the retroreflector 2, so it forms a floating image 3, which is an optical image of the image displayed on the display device 1, at a position that is in a mirror relationship with the image displayed on the display device 1 relative to the polarization separation member 101.
  • This polarization design allows the floating image 3 to be formed optimally.
  • the display device 1 may be configured to emit P-polarized image light to the polarization separation member 101, and the polarization separation member 101 may have the property of reflecting P-polarized light and transmitting S-polarized light.
  • the P-polarized image light that reaches the polarization separation member 101 from the display device 1 is reflected by the polarization separation member 101 and travels toward the retroreflector 2.
  • the image light is reflected by the retroreflector 2, it passes through the ⁇ /4 plate 21 provided on the incident surface of the retroreflector 2 twice, so that the image light is converted from P-polarized light to S-polarized light.
  • the image light converted to S-polarized light travels again toward the polarization separation member 101.
  • the polarization separation member 101 has the property of reflecting P-polarized light and transmitting S-polarized light, so the S-polarized image light passes through the polarization separation member 101 and then through the transparent member 100.
  • the image light that passes through the transparent member 100 is generated by the retroreflector 2, so it forms a floating image 3, which is an optical image of the image displayed on the display device 1, at a position that is in a mirror relationship with the image displayed on the display device 1 relative to the polarization separation member 101.
  • This polarization design allows the floating image 3 to be formed optimally.
  • the light that forms the floating image 3 is a collection of light rays that converge from the retroreflector 2 to the optical image of the floating image 3, and these light rays continue to travel in a straight line even after passing through the optical image of the floating image 3. Therefore, the floating image 3 is an image with high directionality, unlike the diffuse image light formed on a screen by a general projector or the like. Therefore, in the configuration of FIG. 2A, when a user views the floating image 3 from the direction of arrow A, the floating image 3 is seen as a bright image. However, when another person views the floating image 3 from the direction of arrow B, the floating image 3 cannot be seen as an image at all. This characteristic is very suitable for use in a system that displays images that require high security or highly confidential images that should be kept secret from people directly facing the user.
  • the polarization axis of the reflected image light may become uneven.
  • the reflection angle may also become uneven.
  • Such uneven light may not maintain the polarization state and propagation angle assumed in the design.
  • light with a polarization state and propagation angle that is not assumed in the design may re-enter the image display surface side of the liquid crystal display panel 11 directly from the position of the retroreflector 2 without passing through the polarization separation member.
  • Such light with a polarization state and propagation angle that is not assumed in the design may be reflected by a component in the space floating image display device and then re-enter the image display surface side of the liquid crystal display panel 11.
  • Such light that re-enters the image display surface side of the liquid crystal display panel 11 may be re-reflected by the image display surface of the liquid crystal display panel 11 that constitutes the display device 1, generating a ghost image and possibly degrading the image quality of the space floating image. Therefore, in this embodiment, an absorbing polarizing plate 12 may be provided on the image display surface of the display device 1.
  • the image light emitted from the display device 1 is transmitted through the absorptive polarizer 12, and the reflected light returning from the polarization separation member 101 is absorbed by the absorptive polarizer 12, thereby suppressing the re-reflection. This makes it possible to prevent degradation of image quality due to ghost images of spatially floating images.
  • the absorptive polarizer 12 may be a polarizer that absorbs P-polarized light. Also, if the display device 1 is configured to emit P-polarized image light to the polarization separation member 101, the absorptive polarizer 12 may be a polarizer that absorbs S-polarized light.
  • the above-mentioned polarization separation member 101 may be formed, for example, from a reflective polarizing plate or a metal multilayer film that reflects a specific polarized wave.
  • Figure 2A (2) shows the surface shape of a typical retroreflector 2 manufactured by Nippon Carbide Industries Co., Ltd., which was used in this study.
  • Light rays incident on the interior of the regularly-arranged hexagonal prisms are reflected by the walls and bottoms of the hexagonal prisms and emitted as retroreflected light in a direction corresponding to the incident light, and a real image floating in space is displayed based on the image displayed on the display device 1.
  • the resolution of this floating image in space depends not only on the resolution of the liquid crystal display panel 11, but also on the outer shape D and pitch P of the retroreflective portion of the retroreflector 2 shown in Figure 2A (2).
  • the resolution of the floating image in space depends not only on the resolution of the liquid crystal display panel 11, but also on the outer shape D and pitch P of the retroreflective portion of the retroreflector 2 shown in Figure 2A (2).
  • the resolution of the floating image in space depends not only on the resolution of the liquid crystal display panel 11, but also on the outer shape D and pitch P of the retroreflective portion of the retroreflector 2 shown in Figure 2A (2).
  • the resolution of the floating image in space will be reduced to about 1/3.
  • the diameter and pitch of the retroreflective portion close to that of one pixel of the liquid crystal display panel.
  • the pitch ratio of each it is advisable to design the pitch ratio of each to be a different integer multiple of one pixel.
  • the surface shape of the retroreflector in this embodiment is not limited to the above example. It may have various surface shapes that achieve retroreflection. Specifically, the surface of the retroreflector in this embodiment may be provided with retroreflection elements in which triangular pyramid prisms, hexagonal pyramid prisms, other polygonal prisms, or combinations of these are periodically arranged. Alternatively, the surface of the retroreflector in this embodiment may be provided with retroreflection elements in which these prisms are periodically arranged to form cube corners. Alternatively, the surface of the retroreflector in this embodiment may be provided with capsule lens-type retroreflection elements in which glass beads are periodically arranged.
  • FIG. 2B Another example of the configuration of the optical system of the space floating image display device will be described with reference to Fig. 2B.
  • Fig. 2B the components with the same reference numerals as Fig. 2A have the same functions and configurations as Fig. 2A. For such components, repeated explanations will be omitted to simplify the explanation.
  • image light of a specific polarization is output from the display device 1.
  • the image light of a specific polarization output from the display device 1 is input to the polarization separation member 101B.
  • the polarization separation member 101B is a member that selectively transmits the image light of a specific polarization.
  • the polarization separation member 101B is not integrated with the transparent member 100, but has an independent plate-like shape. Therefore, the polarization separation member 101B may be expressed as a polarization separation plate.
  • the polarization separation member 101B may be configured as a reflective polarizing plate configured by attaching a polarization separation sheet to a transparent member, for example.
  • the transparent member may be formed of a metal multilayer film that selectively transmits a specific polarization and reflects the polarization of other specific polarizations.
  • the polarization separation member 101B is configured to transmit the image light of a specific polarization output from the display device 1.
  • the image light that has passed through the polarization separation member 101B is incident on the retroreflector 2.
  • a ⁇ /4 plate 21 is provided on the image light incident surface of the retroreflector.
  • the image light is polarized and converted from a specific polarization to the other polarization by passing through the ⁇ /4 plate 21 twice, when it enters the retroreflector and when it leaves.
  • the polarization separation member 101B has the property of reflecting the polarized light of the other polarization that has been polarized and converted by the ⁇ /4 plate 21, so the image light after polarization conversion is reflected by the polarization separation member 101B.
  • the image light reflected by the polarization separation member 101B passes through the transparent member 100 and forms a spatially floating image 3, which is a real image, outside the transparent member 100.
  • the display device 1 may be configured to emit P-polarized image light to the polarization separation member 101B, which may have the property of reflecting S-polarized light and transmitting P-polarized light.
  • the P-polarized image light that reaches the polarization separation member 101B from the display device 1 passes through the polarization separation member 101B and travels toward the retroreflector 2.
  • the image light is reflected by the retroreflector 2, it passes through the ⁇ /4 plate 21 provided on the incident surface of the retroreflector 2 twice, so that the image light is converted from P-polarized light to S-polarized light.
  • the image light converted to S-polarized light travels again toward the polarization separation member 101B.
  • the polarization separation member 101B has the property of reflecting S-polarized light and transmitting P-polarized light, so the S-polarized image light is reflected by the polarization separation member 101 and passes through the transparent member 100.
  • the image light that passes through the transparent member 100 is generated by the retroreflector 2, and therefore forms a floating image 3, which is an optical image of the image displayed on the display device 1, at a position that is in a mirror relationship with the image displayed on the display device 1 relative to the polarization separation member 101B.
  • This polarization design allows the floating image 3 to be formed optimally.
  • the display device 1 may be configured to emit S-polarized image light to the polarization separation member 101B, which may have the property of reflecting P-polarized light and transmitting S-polarized light.
  • the S-polarized image light reaching the polarization separation member 101B from the display device 1 passes through the polarization separation member 101B and travels toward the retroreflector 2.
  • the image light is reflected by the retroreflector 2, it passes through the ⁇ /4 plate 21 provided on the incident surface of the retroreflector 2 twice, so that the image light is converted from S-polarized light to P-polarized light.
  • the image light converted to P-polarized light travels again toward the polarization separation member 101B.
  • the polarization separation member 101B has the property of reflecting P-polarized light and transmitting S-polarized light, so that the P-polarized image light is reflected by the polarization separation member 101 and passes through the transparent member 100.
  • the image light that passes through the transparent member 100 is generated by the retroreflector 2, so it forms a floating image 3, which is an optical image of the image displayed on the display device 1, at a position that is in a mirror relationship with the image displayed on the display device 1 relative to the polarization separation member 101B.
  • This polarization design allows the floating image 3 to be formed optimally.
  • the image display surface of the display device 1 and the surface of the retroreflector 2 are arranged parallel to each other.
  • the polarized light separating member 101B is arranged at an angle ⁇ (e.g., 30°) with respect to the image display surface of the display device 1 and the surface of the retroreflector 2.
  • e.g. 30°
  • the traveling direction of the image light reflected by the polarized light separating member 101B differs by an angle ⁇ (e.g., 60°) from the traveling direction of the image light incident from the retroreflector 2 (the direction of the chief ray of the image light).
  • the image light is output at a predetermined angle shown in the figure toward the outside of the transparent member 100, forming the space-floating image 3, which is a real image.
  • the space-floating image 3 is viewed as a bright image.
  • the space-floating image 3 cannot be viewed as an image at all. This characteristic is highly suitable for use in systems that display images that require high security or highly confidential images that should be concealed from people directly facing the user.
  • the optical system of FIG. 2B is an optical system with a different configuration from the optical system of FIG. 2A, but can form a suitable floating image in space, just like the optical system of FIG. 2A.
  • an absorptive polarizing plate may be provided on the surface of the transparent member 100 facing the polarization separation member 101B.
  • the absorptive polarizing plate may transmit the polarized waves of the image light from the polarization separation member 101B and absorb the polarized waves that are 90° out of phase with the polarized waves of the image light from the polarization separation member 101B.
  • the image light for forming the space-floating image 3 is sufficiently transmitted while the external light incident from the space-floating image 3 side of the transparent member 100 can be reduced by approximately 50%. This makes it possible to reduce stray light in the optical system of FIG. 2B due to the external light incident from the space-floating image 3 side of the transparent member 100.
  • FIG. 2C Another example of the configuration of the optical system of the space floating image display device will be described with reference to Fig. 2C.
  • Fig. 2C the components with the same reference numerals as those in Fig. 2B have the same functions and configurations as those in Fig. 2B. For the sake of simplicity, the description of such components will not be repeated.
  • the only difference between the optical system in FIG. 2B and the optical system in FIG. 2C is the angle at which the polarization separation member 101B is disposed relative to the image display surface of the display device 1 and the surface of the retroreflector 2. All other configurations are similar to the optical system in FIG. 2B, so a repeated description will be omitted.
  • the polarization design of the optical system in FIG. 2C is also similar to the polarization design of the optical system in FIG. 2B, so a repeated description will be omitted.
  • the polarization separation member 101B is arranged at an angle ⁇ with respect to the image display surface of the display device 1 and the surface of the retroreflector 2.
  • the angle ⁇ is 45°.
  • the image display surface of the display device 1 and the surface of the retroreflector 2 are perpendicular to the traveling direction of the image light reflected by the polarization separation member 101B, and the angular relationship of the surfaces constituting the optical system can be simplified. If the surface of the transparent member 100 is arranged so as to be perpendicular to the traveling direction of the image light reflected by the polarization separation member 101B, the angular relationship of the surfaces constituting the optical system can be further simplified.
  • FIG. 2C when the user views from the direction of the arrow A, the spatial floating image 3 is viewed as a bright image. However, if another person is viewing from the direction of arrow B, the floating image 3 cannot be seen as an image at all. This characteristic is very suitable for use in a system that displays images that require high security or highly confidential images that should be kept secret from people directly facing the user.
  • the optical system of FIG. 2C is an optical system with a different configuration from the optical systems of FIG. 2A and FIG. 2B, but can form a suitable floating image in space, similar to the optical system of FIG. 2A and FIG. 2B.
  • the angles of the surfaces that make up the optical system can be made simpler.
  • an absorptive polarizing plate may be provided on the surface of the transparent member 100 facing the polarization separation member 101B.
  • the absorptive polarizing plate may transmit the polarized waves of the image light from the polarization separation member 101B and absorb the polarized waves that are 90° out of phase with the polarized waves of the image light from the polarization separation member 101B.
  • the image light for forming the space-floating image 3 is sufficiently transmitted while the external light incident from the space-floating image 3 side of the transparent member 100 can be reduced by approximately 50%. This makes it possible to reduce stray light in the optical system of FIG. 2C due to the external light incident from the space-floating image 3 side of the transparent member 100.
  • optical system of Figures 2A, 2B, and 2C described above can provide brighter, higher quality floating images.
  • Figure 3 is a block diagram showing an example of the internal configuration of the space floating image display device 1000.
  • the floating-in-space image display device 1000 includes a retroreflection unit 1101, an image display unit 1102, a light guide 1104, a light source 1105, a power source 1106, an external power source input interface 1111, an operation input unit 1107, a non-volatile memory 1108, a memory 1109, a control unit 1110, an image signal input unit 1131, an audio signal input unit 1133, a communication unit 1132, an aerial operation detection sensor 1351, an aerial operation detection unit 1350, an audio output unit 1140, an image control unit 1160, a storage unit 1170, an imaging unit 1180, and the like. It may also include a removable media interface 1134, an attitude sensor 1113, a transmissive self-luminous image display device 1650, a second display device 1680, or a secondary battery 1112.
  • the components of the space floating image display device 1000 are arranged in a housing 1190.
  • the imaging unit 1180 and the aerial operation detection sensor 1351 shown in FIG. 3 may be provided on the outside of the housing 1190.
  • the retroreflective portion 1101 in FIG. 3 corresponds to the retroreflective plate 2 in FIG. 2A, FIG. 2B, and FIG. 2C.
  • the retroreflective portion 1101 retroreflects light modulated by the image display portion 1102.
  • the light reflected from the retroreflective portion 1101 is output to the outside of the space-floating image display device 1000 to form the space-floating image 3.
  • the image display unit 1102 in FIG. 3 corresponds to the liquid crystal display panel 11 in FIG. 2A, FIG. 2B, and FIG. 2C.
  • the light source 1105 in FIG. 3 corresponds to the light source device 13 in FIG. 2A, FIG. 2B, and FIG. 2C.
  • the image display unit 1102, the light guide 1104, and the light source 1105 in FIG. 3 correspond to the display device 1 in FIG. 2A, FIG. 2B, and FIG. 2C.
  • the video display unit 1102 is a display unit that generates an image by modulating transmitted light based on a video signal input under the control of the video control unit 1160 described below.
  • the video display unit 1102 corresponds to the liquid crystal display panel 11 of Figures 2A, 2B, and 2C.
  • a transmissive liquid crystal panel is used as the video display unit 1102.
  • a reflective liquid crystal panel that modulates reflected light or a DMD (Digital Micromirror Device: registered trademark) panel may be used as the video display unit 1102.
  • the light source 1105 generates light for the image display unit 1102 and is a solid-state light source such as an LED light source or a laser light source.
  • the power source 1106 converts AC current input from the outside via the external power input interface 1111 into DC current and supplies power to the light source 1105.
  • the power source 1106 also supplies the necessary DC current to each part in the space-floating image display device 1000.
  • the secondary battery 1112 stores the power supplied from the power source 1106.
  • the secondary battery 1112 also supplies power to the light source 1105 and other components that require power when power is not supplied from the outside via the external power input interface 1111. In other words, when the space-floating image display device 1000 is equipped with the secondary battery 1112, the user can use the space-floating image display device 1000 even when power is not supplied from the outside.
  • the light guide 1104 guides the light generated by the light source 1105 and irradiates it onto the image display unit 1102.
  • the combination of the light guide 1104 and the light source 1105 can also be called the backlight of the image display unit 1102.
  • the light guide 1104 may be configured mainly using glass.
  • the light guide 1104 may be configured mainly using plastic.
  • the light guide 1104 may be configured using a mirror.
  • the aerial operation detection sensor 1351 is a sensor that detects the operation of the floating-in-space image 3 by the finger of the user 230.
  • the aerial operation detection sensor 1351 senses, for example, a range that overlaps with the entire display range of the floating-in-space image 3. Note that the aerial operation detection sensor 1351 may only sense a range that overlaps with at least a portion of the display range of the floating-in-space image 3.
  • the aerial operation detection sensor 1351 include a distance sensor that uses invisible light such as infrared rays, an invisible light laser, ultrasonic waves, etc.
  • the aerial operation detection sensor 1351 may also be configured to detect coordinates on a two-dimensional plane by combining multiple sensors.
  • the aerial operation detection sensor 1351 may also be configured with a ToF (Time of Flight) type LiDAR (Light Detection and Ranging) or an image sensor.
  • ToF Time of Flight
  • LiDAR Light Detection and Ranging
  • the mid-air operation detection sensor 1351 only needs to be capable of sensing to detect touch operations, etc., performed by the user with his/her finger on an object displayed as the floating-in-space image 3. Such sensing can be performed using existing technology.
  • the aerial operation detection unit 1350 acquires a sensing signal from the aerial operation detection sensor 1351, and performs operations such as determining whether or not the finger of the user 230 has touched an object in the floating-in-space image 3 and calculating the position (contact position) at which the finger of the user 230 has touched the object based on the sensing signal.
  • the aerial operation detection unit 1350 is configured with a circuit such as an FPGA (Field Programmable Gate Array). Some of the functions of the aerial operation detection unit 1350 may be realized by software, for example, by a spatial operation detection program executed by the control unit 1110.
  • the aerial operation detection sensor 1351 and the aerial operation detection unit 1350 may be configured to be built into the space-floating image display device 1000, or may be provided separately from the space-floating image display device 1000. When provided separately from the space-floating image display device 1000, the aerial operation detection sensor 1351 and the aerial operation detection unit 1350 are configured to be able to transmit information and signals to the space-floating image display device 1000 via a wired or wireless communication connection path or image signal transmission path.
  • the aerial operation detection sensor 1351 and the aerial operation detection unit 1350 may be provided separately. This makes it possible to build a system in which the air-floating image display device 1000, which does not have an aerial operation detection function, is the main body, and only the aerial operation detection function can be added as an option. Also, a configuration in which only the aerial operation detection sensor 1351 is a separate unit, and the aerial operation detection unit 1350 is built into the air-floating image display device 1000, may be used. In cases where it is desired to more freely position the aerial operation detection sensor 1351 relative to the installation position of the air-floating image display device 1000, a configuration in which only the aerial operation detection sensor 1351 is a separate unit is advantageous.
  • the imaging unit 1180 is a camera with an image sensor, and captures the space near the floating-in-space image 3 and/or the face, arms, fingers, etc. of the user 230.
  • a plurality of imaging units 1180 may be provided.
  • the aerial operation detection unit 1350 can be assisted in the detection process of the touch operation of the floating-in-space image 3 by the user 230.
  • the imaging unit 1180 may be provided separately from the floating-in-space image display device 1000. When the imaging unit 1180 is provided separately from the floating-in-space image display device 1000, it is sufficient to configure it so that an imaging signal can be transmitted to the floating-in-space image display device 1000 via a wired or wireless communication connection path, etc.
  • the aerial operation detection sensor 1351 may not be able to detect information such as how far an object that has not intruded into the intrusion detection plane (e.g., a user's finger) is from the intrusion detection plane, or how close the object is to the intrusion detection plane.
  • the distance between the object and the intrusion detection plane can be calculated by using information such as object depth calculation information based on the captured images of the multiple image capturing units 1180 and object depth information from the depth sensor.
  • This information, as well as various other information such as the distance between the object and the intrusion detection plane, are used for various display controls for the floating in space image 3.
  • the aerial operation detection unit 1350 may detect a touch operation of the floating-in-space image 3 by the user 230 based on the captured image of the imaging unit 1180.
  • the imaging unit 1180 may also capture an image of the face of the user 230 operating the floating image 3, and the control unit 1110 may perform an identification process for the user 230.
  • the imaging unit 1180 may also capture an image of the user 230 operating the floating image 3 and the surrounding area of the user 230 in order to determine whether or not another person is standing around or behind the user 230 operating the floating image 3 and peeking at the operation of the user 230 on the floating image 3.
  • the operation input unit 1107 is, for example, an operation button, a signal receiving unit such as a remote controller, or an infrared light receiving unit, and inputs a signal for an operation different from the aerial operation (touch operation) by the user 230.
  • the operation input unit 1107 may be used, for example, by an administrator to operate the floating-in-space image display device 1000.
  • the video signal input unit 1131 connects to an external video output device and inputs video data.
  • the video signal input unit 1131 may be configured with various digital video input interfaces. For example, it may be configured with a video input interface of the HDMI (registered trademark) (High-Definition Multimedia Interface) standard, a video input interface of the DVI (Digital Visual Interface) standard, or a video input interface of the DisplayPort standard. Alternatively, an analog video input interface such as analog RGB or composite video may be provided.
  • the audio signal input unit 1133 connects to an external audio output device and inputs audio data.
  • the audio signal input unit 1133 may be configured with an audio input interface of the HDMI standard, an optical digital terminal interface, or a coaxial digital terminal interface.
  • the video signal input unit 1131 and the audio signal input unit 1133 may be configured as an interface in which a terminal and a cable are integrated.
  • the audio output unit 1140 is capable of outputting audio based on audio data input to the audio signal input unit 1133.
  • the audio output unit 1140 may be configured as a speaker.
  • the audio output unit 1140 may also output built-in operation sounds and error warning sounds.
  • the audio output unit 1140 may be configured to output a digital signal to an external device, such as the Audio Return Channel function defined in the HDMI standard.
  • Non-volatile memory 1108 stores various data used by the space floating image display device 1000.
  • Data stored in non-volatile memory 1108 includes, for example, data for various operations to be displayed on the space floating image 3, display icons, data for objects to be operated by user operations, layout information, etc.
  • Memory 1109 stores image data to be displayed as the space floating image 3, data for controlling the device, etc.
  • the control unit 1110 controls the operation of each connected unit.
  • the control unit 1110 may also work with a program stored in the memory 1109 to perform calculations based on information acquired from each unit in the space floating image display device 1000.
  • the communication unit 1132 communicates with external devices, external servers, etc., via a wired or wireless communication interface.
  • the wired communication interface may be, for example, an Ethernet standard LAN interface.
  • the interface may be, for example, a Wi-Fi communication interface, a Bluetooth communication interface, or a mobile communication interface such as 4G or 5G.
  • Various types of data such as video data, image data, and audio data, are sent and received by communication via the communication unit 1132.
  • the removable media interface 1134 is an interface for connecting a removable recording medium (removable media).
  • the removable recording medium (removable media) may be composed of a semiconductor element memory such as a solid state drive (SSD), a magnetic recording medium recording device such as a hard disk drive (HDD), or an optical recording medium such as an optical disk.
  • the removable media interface 1134 is capable of reading out various information such as various data including video data, image data, and audio data recorded on the removable recording medium.
  • the video data, image data, and the like recorded on the removable recording medium are output as a floating image 3 via the image display unit 1102 and the retroreflection unit 1101.
  • the storage unit 1170 is a storage device that records various information such as various data such as video data, image data, audio data, etc.
  • the storage unit 1170 may be configured with a magnetic recording medium recording device such as a hard disk drive (HDD) or a semiconductor element memory such as a solid state drive (SSD).
  • HDD hard disk drive
  • SSD solid state drive
  • various information such as various data such as video data, image data, audio data, etc. may be recorded in advance in the storage unit 1170 at the time of product shipment.
  • the storage unit 1170 may also record various information such as various data such as video data, image data, audio data, etc. acquired from an external device or an external server via the communication unit 1132.
  • the video data, image data, etc. recorded in the storage unit 1170 are output as the space floating image 3 via the video display unit 1102 and the retroreflective unit 1101.
  • the video data, image data, etc. of the display icons and objects for the user to operate, which are displayed as the space floating image 3, are also recorded in the storage unit 1170.
  • Layout information such as display icons and objects displayed as the floating-in-space image 3, and various metadata information related to the objects are also recorded in the storage unit 1170.
  • the audio data recorded in the storage unit 1170 is output as audio from the audio output unit 1140, for example.
  • the video control unit 1160 performs various controls related to the video signal input to the video display unit 1102.
  • the video control unit 1160 may be called a video processing circuit, and may be configured with hardware such as an ASIC, an FPGA, or a video processor.
  • the video control unit 1160 may also be called a video processing unit or an image processing unit.
  • the video control unit 1160 performs control of video switching, such as which video signal is input to the video display unit 1102, between the video signal to be stored in the memory 1109 and the video signal (video data) input to the video signal input unit 1131, for example.
  • the image control unit 1160 may also generate a superimposed image signal by superimposing the image signal to be stored in the memory 1109 and the image signal input from the image signal input unit 1131, and input the superimposed image signal to the image display unit 1102, thereby controlling the formation of a composite image as a floating-in-space image 3.
  • the video control unit 1160 may also control image processing of the video signal input from the video signal input unit 1131 and the video signal to be stored in the memory 1109.
  • image processing include scaling processing to enlarge, reduce, or deform an image, brightness adjustment processing to change the brightness, contrast adjustment processing to change the contrast curve of an image, and Retinex processing to break down an image into light components and change the weighting of each component.
  • the video control unit 1160 may also perform special effect video processing, etc., to assist the user 230 in performing an aerial operation (touch operation) on the video signal input to the video display unit 1102.
  • the special effect video processing is performed, for example, based on the detection result of the touch operation of the user 230 by the aerial operation detection unit 1350, or on an image of the user 230 captured by the imaging unit 1180.
  • the attitude sensor 1113 is a sensor consisting of a gravity sensor or an acceleration sensor, or a combination of these, and can detect the attitude in which the space-floating image display device 1000 is installed. Based on the attitude detection result of the attitude sensor 1113, the control unit 1110 may control the operation of each connected unit. For example, if an undesirable attitude is detected as the user's usage state, control may be performed to stop the display of the image being displayed on the image display unit 1102 and display an error message to the user. Alternatively, if the attitude sensor 1113 detects that the installation attitude of the space-floating image display device 1000 has changed, control may be performed to rotate the display direction of the image being displayed on the image display unit 1102.
  • the space-floating image display device 1000 is equipped with various functions. However, the space-floating image display device 1000 does not need to have all of these functions, and any configuration is acceptable as long as it has the function of forming the space-floating image 3.
  • FIG. 4A is a diagram showing an example of the configuration of a space-floating image display device.
  • the space-floating image display device 1000 shown in FIG. 4A is equipped with an optical system corresponding to the optical system of FIG. 2A.
  • the space-floating image display device 1000 shown in FIG. 4A is installed horizontally so that the surface on which the space-floating image 3 is formed faces upward. That is, in FIG. 4A, the space-floating image display device 1000 has a transparent member 100 installed on the top surface of the device.
  • the space-floating image 3 is formed above the surface of the transparent member 100 of the space-floating image display device 1000.
  • the light of the space-floating image 3 travels diagonally upward.
  • the midair operation detection sensor 1351 When the midair operation detection sensor 1351 is provided as shown in the figure, it is possible to detect the operation of the space-floating image 3 by the finger of the user 230.
  • the x direction is the left-right direction as seen from the user
  • the y direction is the front-back direction (depth direction) as seen from the user
  • the z direction is the up-down direction (vertical direction). Since the definitions of the x direction, y direction, and z direction are the same in each of the figures in FIG. 4, repeated explanations will be omitted.
  • FIG. 4B is a diagram showing an example of the configuration of a space-floating image display device.
  • the space-floating image display device 1000 shown in FIG. 4B is equipped with an optical system corresponding to the optical system of FIG. 2A.
  • the space-floating image display device 1000 shown in FIG. 4B is installed vertically so that the surface on which the space-floating image 3 is formed faces the front of the space-floating image display device 1000 (toward the user 230). That is, in FIG. 4B, the space-floating image display device is installed with the transparent member 100 on the front side of the device (toward the user 230).
  • the space-floating image 3 is formed on the user 230 side with respect to the surface of the transparent member 100 of the space-floating image display device 1000.
  • the light of the space-floating image 3 travels diagonally upward.
  • the midair operation detection sensor 1351 is provided as shown in the figure, it is possible to detect the operation of the space-floating image 3 by the finger of the user 230.
  • the aerial operation detection sensor 1351 senses the finger of the user 230 from above, and can use the reflection of sensing light by the user's nail for touch detection.
  • nails have a higher reflectivity than the pad of a finger, so this configuration can improve the accuracy of touch detection.
  • FIG. 4C is a diagram showing an example of the configuration of a space-floating image display device.
  • the space-floating image display device 1000 shown in FIG. 4C is equipped with an optical system corresponding to the optical system of FIG. 2B.
  • the space-floating image display device 1000 shown in FIG. 4C is installed horizontally so that the surface on which the space-floating image 3 is formed faces upward. That is, in FIG. 4C, the space-floating image display device 1000 has a transparent member 100 installed on the top surface of the device.
  • the space-floating image 3 is formed above the surface of the transparent member 100 of the space-floating image display device 1000.
  • the light of the space-floating image 3 travels diagonally upward. If the mid-air operation detection sensor 1351 is provided as shown in the figure, it can detect the operation of the space-floating image 3 by the finger of the user 230.
  • FIG. 4D is a diagram showing an example of the configuration of a space-floating image display device.
  • the space-floating image display device 1000 shown in FIG. 4D is equipped with an optical system corresponding to the optical system of FIG. 2B.
  • the space-floating image display device 1000 shown in FIG. 4D is installed vertically so that the surface on which the space-floating image 3 is formed faces the front of the space-floating image display device 1000 (toward the user 230). That is, in FIG. 4D, the space-floating image display device 1000 is installed with the transparent member 100 on the front side of the device (toward the user 230).
  • the space-floating image 3 is formed on the user 230 side with respect to the surface of the transparent member 100 of the space-floating image display device 1000.
  • the light of the space-floating image 3 travels diagonally upward.
  • the midair operation detection sensor 1351 is provided as shown in the figure, it is possible to detect the operation of the space-floating image 3 by the finger of the user 230.
  • the aerial operation detection sensor 1351 senses the finger of the user 230 from above, and can use the reflection of sensing light by the user's nail for touch detection.
  • nails have a higher reflectivity than the pad of a finger, so this configuration can improve the accuracy of touch detection.
  • FIG. 4E is a diagram showing an example of the configuration of a floating-in-space image display device.
  • the floating-in-space image display device 1000 shown in FIG. 4E is equipped with an optical system corresponding to the optical system in FIG. 2C.
  • the floating-in-space image display device 1000 shown in FIG. 4E is installed horizontally so that the surface on which the floating-in-space image 3 is formed faces upward. That is, in FIG. 4E, the floating-in-space image display device 1000 has a transparent member 100 installed on the top surface of the device.
  • the floating-in-space image 3 is formed above the surface of the transparent member 100 of the floating-in-space image display device 1000.
  • the light of the floating-in-space image 3 travels directly upward. If the mid-air operation detection sensor 1351 is provided as shown in the figure, it is possible to detect the operation of the floating-in-space image 3 by the finger of the user 230.
  • FIG. 4F is a diagram showing an example of the configuration of a space-floating image display device.
  • the space-floating image display device 1000 shown in FIG. 4F is equipped with an optical system corresponding to the optical system of FIG. 2C.
  • the space-floating image display device 1000 shown in FIG. 4F is installed vertically so that the surface on which the space-floating image 3 is formed faces the front of the space-floating image display device 1000 (toward the user 230). That is, in FIG. 4F, the space-floating image display device 1000 is installed with the transparent member 100 on the front side of the device (toward the user 230).
  • the space-floating image 3 is formed on the user 230 side with respect to the surface of the transparent member 100 of the space-floating image display device 1000.
  • the light of the space-floating image 3 travels in the direction toward the user. If the mid-air operation detection sensor 1351 is provided as shown in the figure, it is possible to detect the operation of the space-floating image 3 by the finger of the
  • FIG. 4G is a diagram showing an example of the configuration of a space-floating image display device.
  • the space-floating image display device 1000 shown in FIG. 4G is equipped with an optical system corresponding to the optical system of FIG. 2C.
  • the central optical path of the image light emitted from the display device 1 was on the yz plane. That is, in the optical systems of the space-floating image display devices shown in FIG. 4A to FIG. 4F, the image light traveled in the front-back direction and the up-down direction as seen from the user.
  • the central optical path of the image light emitted from the display device 1 is on the xy plane. That is, in the optical system of the space-floating image display device shown in FIG. 4G, the image light travels in the left-right direction and the front-back direction as seen from the user.
  • the surface on the side on which the space-floating image 3 is formed is installed so that it faces the front of the device (the direction of the user 230). That is, in FIG. 4G, the space-floating image display device 1000 has the transparent member 100 installed on the front side of the device (toward the user 230).
  • the space-floating image 3 is formed on the user side of the surface of the transparent member 100 of the space-floating image display device 1000.
  • the light of the space-floating image 3 travels toward the user. If the mid-air operation detection sensor 1351 is provided as shown in the figure, it can detect the operation of the space-floating image 3 by the finger of the user 230.
  • FIG. 4H is a diagram showing an example of the configuration of a space-floating image display device.
  • the space-floating image display device 1000 of FIG. 4H differs from the space-floating image display device of FIG. 4G in that it has a window having a transparent plate 100B such as glass or plastic on the back of the device (opposite the position where the user 230 views the space-floating image 3, i.e., opposite the traveling direction of the image light of the space-floating image 3 toward the user 230).
  • the other configurations are the same as those of the space-floating image display device of FIG. 4G, so repeated explanations will be omitted.
  • the space-floating image display device 1000 has a window having a transparent plate 100B on the opposite side of the traveling direction of the image light of the space-floating image 3 with respect to the space-floating image 3. Therefore, when the user 230 views the space-floating image 3, the scenery behind the space-floating image display device 1000 can be recognized as the background of the space-floating image 3. Therefore, the user 230 can perceive the space floating image 3 as floating in the air in front of the scenery behind the space floating image display device 1000. This further emphasizes the feeling of floating in the air of the space floating image 3.
  • the window on the back of the space floating image display device 1000 may be configured without providing the transparent plate 100B.
  • FIG. 4I is a diagram showing an example of the configuration of a space-floating image display device.
  • the space-floating image display device 1000 of FIG. 4I is different from the space-floating image display device of FIG. 4H in that an opening and closing door 1410 for blocking light is provided in the window of the transparent plate 100B located on the back side of the device (the opposite side of the position where the user 230 views the space-floating image 3).
  • the other configurations are the same as those of the space-floating image display device of FIG. 4H, so repeated explanations will be omitted.
  • the 4I has, for example, a light-shielding plate, and is provided with a mechanism for moving (sliding) the light-shielding plate, a mechanism for rotating it, or a mechanism for attaching and detaching it, so that the window (rear side window) of the transparent plate 100B located at the back side of the space-floating image display device 1000 can be switched between an open state and a light-shielding state.
  • the movement (sliding) and rotation of the light-shielding plate by the opening and closing door 1410 may be electrically driven by a motor (not shown).
  • the motor may be controlled by the control unit 1110 of FIG. 3.
  • the opening and closing door 1410 has two light blocking plates.
  • the opening and closing door 1410 may have only one light blocking plate.
  • the control unit 1110 may control a motor (not shown) to perform a shielding operation by the light shielding plate of the opening and closing door 1410.
  • control unit 1110 in FIG. 3 may control a motor (not shown) to perform the opening and closing operation of the light shielding plate of the opening and closing door 1410 according to the detection result of the illuminance sensor.
  • the light shielding plate provided by the opening and closing door 1410 may be manually detachable. Depending on the intended use of the spatial floating image display device 1000 and the installation environment, the user can select whether the rear window is open or shielded. If the rear window is to be used in a shielded state for a long period of time, the removable light shielding plate can be fixed in the shielded state. If the rear window is to be used in an open state for a long period of time, the removable light shielding plate can be removed.
  • the light shielding plate may be attached and detached using screws, a hook structure, or a fitting structure.
  • the window on the back of the space-floating image display device 1000 may be configured without providing the transparent plate 100B.
  • the above-mentioned opening and closing door 1410 may be provided on the window that does not have the transparent plate 100B. In order to prevent this stray light, it is desirable that the surface of the light shielding plate of the above-mentioned opening and closing door 1410 on the inside of the housing has a coating or material with low light reflectance.
  • FIG. 4J is a diagram showing an example of the configuration of a space-floating image display device.
  • the space-floating image display device 1000 of FIG. 4J differs from the space-floating image display device of FIG. 4H in that instead of placing a transparent plate 100B made of glass or plastic on the rear window, an electronically controlled transmittance variable device 1620 is placed.
  • the other configurations are the same as those of the space-floating image display device of FIG. 4H, so repeated explanations will be omitted.
  • An example of the electronically controlled transmittance variable device 1620 is a liquid crystal shutter. That is, a liquid crystal shutter can control the transmitted light by controlling the voltage of a liquid crystal element sandwiched between two polarizing plates.
  • the control unit 1110 may control the transmittance of the electronically controlled transmittance variable device 1620 in response to an operation input via the operation input unit 1107 in FIG. 3.
  • the control unit 1110 in FIG. 3 controls the transmittance of the electronically controlled transmittance variable device 1620 according to the detection result of the illuminance sensor. In this way, even if the user 230 does not perform operation input via the operation input unit 1107 in FIG. 3, the transmittance of the electronically controlled transmittance variable device 1620 can be adjusted according to the brightness of the space beyond the rear window, making it possible to more appropriately maintain the visibility of the space floating image 3.
  • a liquid crystal shutter has been described as an example of the electronically controlled transmittance variable device 1620.
  • electronic paper may be used as another example of the electronically controlled transmittance variable device 1620.
  • the same effect as described above can be obtained when electronic paper is used.
  • electronic paper consumes very little power to maintain a halftone state. Therefore, a low-power floating image display device can be realized compared to the case where a liquid crystal shutter is used.
  • FIG. 4K is a diagram showing an example of the configuration of a space-floating image display device.
  • the space-floating image display device 1000 of FIG. 4K differs from the space-floating image display device of FIG. 4G in that it has a transmissive self-luminous image display device 1650 instead of a transparent member 100.
  • the rest of the configuration is the same as that of the space-floating image display device of FIG. 4G, so repeated explanations will be omitted.
  • the image light beam passes through the display surface of the transparent self-luminous image display device 1650, and then the space-floating image 3 is formed outside the space-floating image display device 1000. That is, when an image is displayed on the transparent self-luminous image display device 1650, which is a two-dimensional flat display, the space-floating image 3 can be displayed as a pop-out image further in front of the image of the transparent self-luminous image display device 1650. At this time, the user 230 can simultaneously view two images with different depth positions.
  • the transparent self-luminous image display device 1650 may be configured using existing technology such as a transparent organic EL panel disclosed in, for example, JP 2014-216761 A. Note that the transparent self-luminous image display device 1650 is not shown in FIG. 3, but may be configured to be connected to other processing units such as the control unit 1110 as one component of the space-floating image display device 1000 of FIG. 3.
  • the transparent self-luminous image display device 1650 displays both the background and an object such as a character, and then the object such as the character moves into the floating image 3 in front of the user, a more effective surprise image experience can be provided to the user 230.
  • the transparent self-luminous image display device 1650 appears to the user 230 as a normal two-dimensional flat display, not a transparent display (since the space-floating image 3 in the embodiment of the present invention is displayed as a real optical image in a space without a screen, if the light source of the display device 1 is turned off, the intended display position of the space-floating image 3 becomes an empty space).
  • the transparent self-luminous image display device 1650 when used to display an image as if it were a general two-dimensional flat display, characters, objects, etc. can be suddenly displayed in the air as the space-floating image 3, providing the user 230 with a more effective surprise video experience.
  • an absorbing polarizing plate (not shown) that transmits the polarized wave of the image light reflected by the polarization separation member 101B and absorbs the polarized wave that is 90 degrees out of phase with the polarized wave may be provided on the inner surface of the transmissive self-luminous image display device 1650 (the incident surface of the image light reflected by the polarization separation member 101B to the transmissive self-luminous image display device 1650, i.e., the surface of the transmissive self-luminous image display device 1650 opposite the space-floating image 3).
  • the effect on the image light that forms the space-floating image 3 is not so great, but the light that enters the inside of the space-floating image display device 1000 from the outside through the transmissive self-luminous image display device 1650 can be significantly reduced, and the inside of the space-floating image display device 1000 can be made darker, which is preferable.
  • FIG. 4L is a diagram showing an example of the configuration of a space-floating image display device.
  • Space-floating image display device 1000 in FIG. 4L is a modified example of the space-floating image display device in FIG. 4K.
  • the orientation of the components in space-floating image display device 1000 differs from that of the space-floating image display device in FIG. 4K, and is closer to the arrangement of the space-floating image display device in FIG. 4F.
  • the functions and operations of each component are the same as those of the space-floating image display device in FIG. 4K, so repeated explanations will be omitted.
  • a space-floating image 3 is formed on the user 230 side of the transmissive self-luminous image display device 1650.
  • the space-floating image 3 appears superimposed on the image of the transparent self-luminous image display device 1650 as seen by the user 230.
  • the position of the space-floating image 3 and the position of the image of the transparent self-luminous image display device 1650 are configured to have a difference in the depth direction. Therefore, when the user moves his/her head (position of viewpoint), the depth of the two images can be recognized due to parallax. Therefore, by displaying two images with different depth positions, a three-dimensional image experience can be more appropriately provided to the user with the naked eye without the need for stereoscopic glasses or the like.
  • FIG. 4M is a diagram showing an example of the configuration of a space-floating image display device.
  • the space-floating image display device 1000 of FIG. 4M has a second display device 1680 provided on the rear side, as seen from the user, of the polarization separation member 101B of the space-floating image display device of FIG. 4G.
  • the rest of the configuration is the same as that of the space-floating image display device of FIG. 4G, so repeated explanations will be omitted.
  • the second display device 1680 is provided behind the display position of the space-floating image 3, and the image display surface faces the space-floating image 3.
  • the image of the second display device 1680 and the image of the space-floating image 3, which are displayed at two different depth positions, can be viewed as being superimposed from the user 230's perspective.
  • the second display device 1680 is positioned so that it displays an image in the direction of the user 230 who is viewing the space-floating image 3.
  • the second display device 1680 is not shown in FIG. 3, it may be configured to be connected to other processing units such as the control unit 1110 as one component of the space-floating image display device 1000 of FIG. 3.
  • the image light of the second display device 1680 of the space floating image display device 1000 in FIG. 4M is visually recognized by the user 230 after passing through the polarization separation member 101B. Therefore, in order for the image light of the second display device 1680 to more suitably pass through the polarization separation member 101B, it is desirable that the image light output from the second display device 1680 is polarized in a vibration direction that is more suitably transmitted by the polarization separation member 101B. In other words, it is desirable that the image light be polarized in the same vibration direction as the polarization of the image light output from the display device 1. For example, if the image light output from the display device 1 is S-polarized, it is desirable that the image light output from the second display device 1680 is also S-polarized. Also, if the image light output from the display device 1 is P-polarized, it is desirable that the image light output from the second display device 1680 is also P-polarized.
  • the example of the space-floating image display device of FIG. 4M has the same effect as the example of the space-floating image display device of FIG. 4K and the example of the space-floating image display device of FIG. 4L in that a second image is displayed behind the space-floating image 3.
  • the luminous flux of the image light for forming the space-floating image 3 does not pass through the second display device 1680.
  • the second display device 1680 does not need to be a transmissive self-luminous image display device, and may be a liquid crystal display that is a two-dimensional flat display.
  • the second display device 1680 may be an organic EL display. Therefore, in the example of the space-floating image display device of FIG. 4M, it is possible to realize the space-floating image display device 1000 at a lower cost than the example of the space-floating image display device of FIG. 4K and the example of the space-floating image display device of FIG. 4L.
  • a portion of the image light output from the display device 1 may be reflected by the polarization separation member 101B and travel toward the second display device 1680.
  • This light (a portion of the image light) may be reflected again by the surface of the second display device 1680 and may be visually recognized by the user as stray light.
  • an absorptive polarizer may be provided on the surface of the second display device 1680.
  • the absorptive polarizer may transmit the polarized waves of the image light output from the second display device 1680 and absorb the polarized waves that are 90° out of phase with the polarized waves of the image light output from the second display device 1680.
  • the second display device 1680 is a liquid crystal display
  • an absorptive polarizer is also present on the image output side inside the liquid crystal display.
  • the floating-in-space image 3 can be displayed as an image further in front of the user in the image on the second display device 1680.
  • the user 230 can simultaneously view two images with different depth positions.
  • the second display device 1680 displays both the background and an object such as a character, and then the object such as the character moves into the floating-in-space image 3 in front of the user, a more effective surprise video experience can be provided to the user 230.
  • the display device 1 of this embodiment includes an image display element 11 (liquid crystal display panel) and a light source device 13 that constitutes the light source thereof.
  • the light source device 13 is shown together with the liquid crystal display panel as an exploded perspective view.
  • this liquid crystal display panel receives an illumination light beam from light source device 13, which is a backlight device, that has narrow-angle diffusion characteristics, i.e., has strong directionality (straight-line propagation) and characteristics similar to laser light with a polarization plane aligned in one direction.
  • the liquid crystal display panel (image display element 11) modulates the received illumination light beam according to the input video signal.
  • the modulated image light is reflected by retroreflector 2 and passes through transparent member 100 to form a real image, which is a floating image in space (see Figure 1).
  • the display device 1 is configured to include a liquid crystal display panel 11, a light direction conversion panel 54 that controls the directional characteristics of the light beam emitted from the light source device 13, and a narrow-angle diffuser plate (not shown) as necessary. That is, polarizing plates are provided on both sides of the liquid crystal display panel 11, and image light of a specific polarization is emitted with the light intensity modulated by the image signal (see arrow 30 in FIG. 5). As a result, the desired image is projected as light of a specific polarization with high directivity (linearity) through the light direction conversion panel 54 toward the retroreflector 2, and after reflection by the retroreflector 2, it is transmitted toward the eyes of a monitor outside the store (space) to form a floating image 3.
  • a protective cover 50 may be provided on the surface of the above-mentioned light direction conversion panel 54.
  • FIG. 6 shows an example of a specific configuration of the display device 1.
  • the liquid crystal display panel 11 and the light direction conversion panel 54 are arranged on the light source device 13 of FIG. 5.
  • the light source device 13 is formed, for example, from plastic on the case shown in FIG. 5, and is configured by storing an LED element 201 and a light guide 203 inside.
  • the end surface of the light guide 203 has a shape in which the cross-sectional area gradually increases toward the opposite side to the light receiving part in order to convert the divergent light from each LED element 201 into a substantially parallel light beam, and a lens shape is provided that has an effect of gradually decreasing the divergence angle by multiple total reflections during propagation inside.
  • the liquid crystal display panel 11 constituting the display device 1 is attached to the upper surface of the display device 1.
  • an LED (Light Emitting Diode) element 201 which is a semiconductor light source
  • an LED board 202 on which its control circuit is mounted are attached to one side (the left end surface in this example).
  • a heat sink which is a member for cooling the heat generated by the LED elements and the control circuit, may be attached to the outer surface of the LED board 202 .
  • the frame (not shown) of the liquid crystal display panel attached to the upper surface of the case of the light source device 13 is configured by attaching the liquid crystal display panel 11 attached to the frame, and further by attaching FPC (Flexible Printed Circuits) (not shown) electrically connected to the liquid crystal display panel 11. That is, the liquid crystal display panel 11, which is an image display element, generates a display image by modulating the intensity of transmitted light based on a control signal from a control circuit (image control unit 1160 in FIG. 3) constituting an electronic device together with the LED element 201, which is a solid light source.
  • FPC Flexible Printed Circuits
  • the generated image light has a narrow diffusion angle and contains only specific polarization components, so that a new image display device that is similar to a surface-emitting laser image source driven by an image signal is obtained.
  • a new image display device that is similar to a surface-emitting laser image source driven by an image signal is obtained.
  • Figures 6 and 7 are cross-sectional views, only one of the multiple LED elements 201 that make up the light source is shown, and this is converted into approximately collimated light by the shape of the light-receiving end surface 203a of the light guide 203. For this reason, the light-receiving part of the light guide end surface and the LED element are attached while maintaining a specified positional relationship.
  • the light guides 203 are each formed of a translucent resin such as acrylic.
  • the LED light receiving surface at the end of the light guide 203 has a convex outer periphery obtained by rotating a parabolic cross section, and at the top of the light guide 203, a concave portion is formed with a convex portion (i.e., a convex lens surface) in the center, and a convex lens surface protruding outward (or a concave lens surface recessed inward) is formed in the center of the flat surface (not shown).
  • the outer shape of the light receiving part of the light guide to which the LED element 201 is attached is a parabolic shape that forms a conical outer periphery, and is set within an angle range in which the light emitted from the LED element in the peripheral direction can be totally reflected inside, or a reflective surface is formed.
  • the LED elements 201 are arranged at predetermined positions on the surface of the LED board 202, which is the circuit board.
  • the LED board 202 is arranged and fixed so that the LED elements 201 on its surface are positioned in the center of the recessed portion described above with respect to the LED collimator (light receiving end surface 203a).
  • the shape of the light receiving end surface 203a of the light guide 203 makes it possible to extract the light emitted from the LED element 201 as approximately parallel light, thereby improving the efficiency of use of the generated light.
  • the light source device 13 is configured by attaching a light source unit in which a plurality of LED elements 201 serving as light sources are arranged to the light receiving end surface 203a, which is the light receiving portion provided on the end surface of the light guide 203, and the divergent light beam from the LED elements 201 is converted into approximately parallel light by the lens shape of the light receiving end surface 203a of the light guide end surface, which is guided inside the light guide 203 (in a direction parallel to the drawing) as shown by the arrow, and is emitted by the light beam direction conversion means 204 toward the liquid crystal display panel 11 arranged approximately parallel to the light guide 203 (in a direction perpendicular to the front of the drawing).
  • the uniformity of the light beam incident on the liquid crystal display panel 11 can be controlled by optimizing the distribution (density) of this light beam direction conversion means 204 depending on the shape inside or on the surface of the light guide.
  • the light beam direction conversion means 204 described above emits the light beam propagated within the light guide toward the liquid crystal display panel 11 arranged approximately parallel to the light guide 203 (in a direction perpendicular to the front of the drawing) by using the shape of the light guide surface or by providing a portion with a different refractive index inside the light guide.
  • the relative brightness ratio between the brightness at the center of the screen and the brightness at the periphery of the screen is compared while facing the liquid crystal display panel 11 directly at the center of the screen and placing the viewpoint at the same position as the diagonal dimension of the screen, there is no practical problem if the relative brightness ratio is 20% or more, and if it exceeds 30%, it will be an even better characteristic.
  • FIG. 6 is a cross-sectional layout diagram for explaining the configuration and operation of the light source of this embodiment that performs polarization conversion in light source device 13 including the above-mentioned light guide 203 and LED element 201.
  • light source device 13 is composed of light guide 203 formed of, for example, plastic or the like and having light beam direction conversion means 204 on its surface or inside, LED element 201 as a light source, reflective sheet 205, retardation plate 206, lenticular lens, etc., and on the upper surface thereof is attached liquid crystal display panel 11 equipped with polarizing plates on the light source light entrance surface and image light exit surface.
  • a film or sheet-like reflective polarizing plate 49 is provided on the light source light incidence surface (lower surface in the figure) of the liquid crystal display panel 11 corresponding to the light source device 13, and selectively reflects one side of the polarized wave (e.g. P wave) 212 of the natural light beam 210 emitted from the LED element 201.
  • the reflected light is reflected again by the reflective sheet 205 provided on one surface (lower surface in the figure) of the light guide 203, and directed toward the liquid crystal display panel 11.
  • a retardation plate (lambda/4 plate) is provided between the reflective sheet 205 and the light guide 203 or between the light guide 203 and the reflective polarizing plate 49, and the reflected light beam is reflected by the reflective sheet 205 and passes through twice to convert the reflected light beam from P polarized light to S polarized light, improving the utilization efficiency of the light source light as image light.
  • the image light beam whose light intensity has been modulated by the image signal in the liquid crystal display panel 11 (arrow 213 in FIG. 6) enters the retroreflector 2. After reflection by the retroreflector 2, a real image, a floating image in space, can be obtained.
  • FIG. 7, like FIG. 6, is a cross-sectional layout diagram for explaining the configuration and operation of the light source of this embodiment that performs polarization conversion in light source device 13 including light guide 203 and LED element 201.
  • Light source device 13 is similarly composed of light guide 203 formed of, for example, plastic, on the surface or inside of which light beam direction conversion means 204 is provided, LED element 201 as a light source, reflective sheet 205, retardation plate 206, lenticular lens, etc.
  • Attached to the top surface of light source device 13 is liquid crystal display panel 11 as an image display element, which has polarizing plates on the light source light entrance surface and image light exit surface.
  • a film or sheet-like reflective polarizing plate 49 is provided on the light source light incidence surface (lower surface in the figure) of the liquid crystal display panel 11 corresponding to the light source device 13, and selectively reflects one side of the polarized wave (e.g., S wave) 211 of the natural light beam 210 emitted from the LED element 201. That is, in the example of FIG. 7, the selective reflection characteristic of the reflective polarizing plate 49 is different from that of FIG. 7. The reflected light is reflected by the reflective sheet 205 provided on one surface (lower surface in the figure) of the light guide 203 and heads toward the liquid crystal display panel 11 again.
  • the polarized wave e.g., S wave
  • a retardation plate (lambda/4 plate) is provided between the reflective sheet 205 and the light guide 203 or between the light guide 203 and the reflective polarizing plate 49, and the reflected light beam is reflected by the reflective sheet 205 and passes through it twice to convert the reflected light beam from S polarized light to P polarized light, improving the utilization efficiency of the light source light as image light.
  • the image light beam intensity-modulated by the image signal in the liquid crystal display panel 11 enters the retroreflector 2. After reflection from the retroreflector 2, a real image, a floating image in space, can be obtained.
  • ⁇ Display Device Example 2> 8 shows another example of the specific configuration of the display device 1.
  • the light source device 13 is configured by housing an LED, a collimator, a composite diffusion block, a light guide, etc., in a case made of, for example, plastic, and has a liquid crystal display panel 11 attached to its upper surface.
  • LED (Light Emitting Diode) elements 14a and 14b, which are semiconductor light sources, and an LED board on which a control circuit is mounted are attached to one side of the case of the light source device 13, and a heat sink 103, which is a member for cooling heat generated by the LED elements and the control circuit, is attached to the outer side of the LED board.
  • LED Light Emitting Diode
  • the liquid crystal display panel frame attached to the top surface of the case is configured to have the liquid crystal display panel 11 attached to the frame, and further to have FPCs (Flexible Printed Circuits) 403 electrically connected to the liquid crystal display panel 11 attached to it. That is, the liquid crystal display panel 11, which is a liquid crystal display element, generates a display image by modulating the intensity of transmitted light based on a control signal from a control circuit (not shown here) that constitutes the electronic device, together with the LED elements 14a and 14b, which are solid-state light sources.
  • FPCs Flexible Printed Circuits
  • the light source device of this display device 1 converts the divergent light flux of the light (mixture of P-polarized and S-polarized light) from the LED into a substantially parallel light flux by the collimator 18, and reflects it toward the liquid crystal display panel 11 by the reflecting surface of the reflective light guide 304.
  • the reflected light is incident on the reflective polarizing plate 49 arranged between the liquid crystal display panel 11 and the reflective light guide 304.
  • the reflective polarizing plate 49 transmits light of a specific polarized wave (e.g., P-polarized light) and causes the transmitted polarized light to be incident on the liquid crystal display panel 11.
  • polarized waves other than the specific polarized wave e.g., S-polarized light
  • S-polarized light polarized waves other than the specific polarized wave
  • the reflective polarizing plate 49 is installed at an angle to the liquid crystal display panel 11 so that it is not perpendicular to the chief ray of light from the reflective surface of the reflective light guide 304.
  • the chief ray of light reflected by the reflective polarizing plate 49 is incident on the transmission surface of the reflective light guide 304.
  • the light incident on the transmission surface of the reflective light guide 304 passes through the back surface of the reflective light guide 304, passes through the ⁇ /4 plate 270, which is a retardation plate, and is reflected by the reflector 271.
  • the light reflected by the reflector 271 passes through the ⁇ /4 plate 270 again, and passes through the transmission surface of the reflective light guide 304.
  • the light that has passed through the transmission surface of the reflective light guide 304 is incident on the reflective polarizing plate 49 again.
  • the light that re-enters the reflective polarizing plate 49 has passed through the ⁇ /4 plate 270 twice, and therefore its polarization has been converted to a polarized wave (e.g., P-polarized light) that passes through the reflective polarizing plate 49. Therefore, the light whose polarization has been converted passes through the reflective polarizing plate 49 and enters the liquid crystal display panel 11.
  • a polarized wave e.g., P-polarized light
  • the light from the LED is aligned to a specific polarization (e.g., P polarization), enters the liquid crystal display panel 11, and is brightness-modulated according to the video signal to display an image on the panel surface.
  • a specific polarization e.g., P polarization
  • multiple LEDs that make up the light source are shown (however, because this is a vertical cross section, only one is shown in Figure 9), and these are attached at a predetermined position relative to the collimator 18.
  • the collimators 18 are each formed of a translucent resin such as acrylic or glass.
  • the collimators 18 may have a cone-shaped outer periphery obtained by rotating a parabolic cross section.
  • the collimator 18 may have a concave portion with a convex portion (i.e., a convex lens surface) formed in the center of the apex (the side facing the LED board 102).
  • the collimator 18 has a convex lens surface protruding outward (or a concave lens surface recessed inward) in the center of the flat surface (the side opposite the apex).
  • the parabolic surface forming the cone-shaped outer periphery of the collimator 18 is set within an angle range that allows the light emitted from the LED in the peripheral direction to be totally reflected therein, or a reflective surface is formed.
  • the LEDs are arranged at predetermined positions on the surface of the circuit board, LED board 102.
  • the LED board 102 is arranged and fixed to the collimator 18 so that the LEDs on its surface are located at the center of the apex of the convex cone shape (or in the concave portion if the apex has a concave portion).
  • the collimator 18 focuses the light emitted from the LED, particularly the light emitted from the center, into parallel light by the convex lens surface that forms the outer shape of the collimator 18.
  • Light emitted from other parts toward the periphery is reflected by the parabolic surface that forms the outer peripheral surface of the cone shape of the collimator 18, and is similarly focused into parallel light.
  • the collimator 18 having a convex lens in its center and a parabolic surface formed on its periphery, it is possible to extract almost all of the light generated by the LED as parallel light, thereby improving the efficiency of use of the generated light.
  • the light converted into approximately parallel light by the collimator 18 shown in FIG. 9 is reflected by the reflective light guide 304.
  • light of a specific polarized wave is transmitted through the reflective polarizing plate 49 by the action of the reflective polarizing plate 49, and the light of the other polarized wave reflected by the action of the reflective polarizing plate 49 is transmitted through the light guide 304 again.
  • the light is reflected by the reflector 271 located opposite the liquid crystal display panel 11 with respect to the reflective light guide 304.
  • the light is polarized and converted by passing twice through the ⁇ /4 plate 270, which is a retardation plate.
  • the light reflected by the reflector 271 is transmitted through the light guide 304 again and enters the reflective polarizing plate 49 provided on the opposite surface. Since the incident light has been polarized, it is transmitted through the reflective polarizing plate 49 and enters the liquid crystal display panel 11 with the same polarization direction. As a result, all the light from the light source can be used, and the geometrical optical utilization efficiency of light is doubled.
  • the degree of polarization (extinction ratio) of the reflective polarizer is also included in the extinction ratio of the entire system, the use of the light source device of this embodiment significantly improves the contrast ratio of the entire display device.
  • the reflection diffusion angle of light at each reflective surface can be adjusted.
  • the surface roughness of the reflective surface of the reflective light guide 304 and the surface roughness of the reflector 271 can be adjusted for each design so that the uniformity of the light incident on the liquid crystal display panel 11 is more optimal.
  • the ⁇ /4 plate 270 which is the retardation plate in FIG. 9, does not necessarily have to have a phase difference of ⁇ /4 with respect to polarized light that is perpendicularly incident on the ⁇ /4 plate 270.
  • any retardation plate that changes the phase by 90° ( ⁇ /2) when polarized light passes through it twice may be used.
  • the thickness of the retardation plate may be adjusted according to the incidence angle distribution of the polarized light.
  • Display example 4 Another example (display example 4) of the configuration of the optical system such as the light source device of the display device will be described with reference to Fig. 10.
  • This is a configuration example in which a diffusion sheet is used instead of the reflective light guide 304 in the light source device of the display device example 3.
  • two optical sheets optical sheet 207A and optical sheet 207B that convert the diffusion characteristics in the vertical direction and horizontal direction (front and back directions not shown in the figure) of the drawing are used on the light emission side of the collimator 18, and the light from the collimator 18 is made to enter between the two optical sheets (diffusion sheets).
  • the optical sheet may be a single sheet rather than a two-sheet structure.
  • the vertical and horizontal diffusion characteristics are adjusted by the fine shapes of the front and back surfaces of the single optical sheet.
  • multiple diffusion sheets may be used to share the function.
  • the reflection diffusion characteristics due to the front and back shapes of optical sheets 207A and 207B may be optimally designed with the number of LEDs, the divergence angle from LED substrate (optical element) 102, and the optical specifications of collimator 18 as design parameters so that the surface density of the light beam emitted from liquid crystal display panel 11 is uniform.
  • the diffusion characteristics are adjusted by the surface shapes of multiple diffusion sheets instead of light guides.
  • the polarization conversion is performed in the same manner as in the display device example 3 described above. That is, in the example of FIG. 10, the reflective polarizing plate 49 may be configured to have the property of reflecting S-polarized light (transmitting P-polarized light).
  • the P-polarized light emitted from the LED light source is transmitted, and the transmitted light is incident on the liquid crystal display panel 11.
  • the S-polarized light emitted from the LED light source is reflected, and the reflected light passes through the retardation plate 270 shown in FIG. 10.
  • the light that passes through the retardation plate 270 is reflected by the reflector 271.
  • the light reflected by the reflector 271 passes through the retardation plate 270 again and is converted to P-polarized light.
  • the polarization-converted light passes through the reflective polarizing plate 49 and is incident on the liquid crystal display panel 11.
  • the ⁇ /4 plate 270 which is the retardation plate in FIG. 10, does not necessarily have to have a phase difference of ⁇ /4 with respect to polarized light that is perpendicularly incident on the ⁇ /4 plate 270.
  • any retardation plate that changes the phase by 90° ( ⁇ /2) when polarized light passes through it twice may be used.
  • the thickness of the retardation plate may be adjusted according to the distribution of the incident angles of the polarized light.
  • the polarization design related to the polarization conversion may be configured in reverse (reversing the S-polarized light and P-polarized light) based on the above explanation.
  • the light emitted from the liquid crystal display panel 11 has similar diffusion characteristics in both the horizontal direction of the screen (shown on the X-axis in FIG. 12(a)) and the vertical direction of the screen (shown on the Y-axis in FIG. 12(b)).
  • the diffusion characteristics of the light flux emitted from the liquid crystal display panel of this embodiment are 1/5 of the 62 degrees of a typical TV device, when the viewing angle at which the luminance is 50% of that when viewed from the front (angle 0 degrees) is set to 13 degrees, as shown in example 1 of FIG. 12.
  • the vertical viewing angle is optimized by optimizing the reflection angle of the reflective light guide and the area of the reflection surface so that the upper viewing angle is approximately 1/3 of the lower viewing angle, with the upper and lower viewing angles being unequal.
  • the amount of image light directed toward the monitoring direction is significantly improved compared to conventional LCD TVs, and the luminance is more than 50 times higher.
  • the viewing angle at which the brightness is 50% of that when viewed from the front is set to 5 degrees, which is 1/12 of the 62 degrees of devices used for general TV applications.
  • the vertical viewing angle is optimized by optimizing the reflection angle of the reflective light guide and the area of the reflective surface so that the viewing angle is approximately 1/12 of that of devices used for general TV applications, with equal viewing angles both above and below.
  • the amount of image light directed in the monitoring direction is significantly improved compared to conventional LCD TVs, and the brightness is more than 100 times higher.
  • the viewing angle a narrow angle
  • the amount of light flux heading in the monitoring direction can be concentrated, greatly improving the efficiency of light utilization.
  • the light diffusion characteristics of the light source device it is possible to achieve a significant improvement in brightness with similar power consumption, making it possible to create an image display device that is compatible with information display systems facing bright outdoors.
  • the overall brightness of the screen can be improved by directing the light around the periphery of the screen inwards so that it is directed towards the observer when he or she is facing the centre of the screen.
  • Figure 11 shows the convergence angle of the long and short sides of the panel when the observer's distance from the panel L and the panel size (screen ratio 16:10) are used as parameters.
  • the convergence angle can be set to match the short side. For example, when using a 22" panel vertically and the monitoring distance is 0.8 m, a convergence angle of 10 degrees will allow the image light from the four corners of the screen to be effectively directed towards the observer.
  • the overall brightness of the screen can be improved by directing the image light from the periphery of the screen towards the observer who is in the optimum position to monitor the centre of the screen.
  • the basic configuration involves a light source device directing a light beam with a narrow angle of directionality to a liquid crystal display panel 11, which is then luminance modulated according to a video signal.
  • the video information displayed on the screen of the liquid crystal display panel 11 is then reflected by a retroreflector, and the resulting floating-in-space image is displayed indoors or outdoors via a transparent member 100.
  • the image control unit 1160 in FIG. 3 distinguishes and recognizes the pixel area in which the image of the character "panda” 1525 is drawn from the transparent information area 1520, which is the background image, for an image including the pixel area in which the image of the character "panda” 1525 is drawn and the transparent information area 1520, which is the background image, as shown in FIG. 13A (1).
  • a method for distinguishing and recognizing the character image from the background image is to configure the image processing of the video control unit 1160 so that the background image layer and the character image layer in front of the background image layer can be processed as separate layers, and the character image and background image can be distinguished and recognized based on the overlapping relationship when these layers are composited.
  • the image control unit 1160 recognizes the black of pixels that draw objects such as character images and the transparent information pixels as different information. However, it is assumed that the brightness of both the black pixels that draw objects and the transparent information pixels is 0. In this case, when the spatial floating image 3 is displayed, there is no difference in brightness between the pixels that draw black in the image of the character "panda" 1525 and the pixels of the transparent information area 1520, which is the background image. Therefore, in the spatial floating image 3, as shown in FIG. 13A (2), there is no brightness in either the pixels that draw black in the image of the character "panda" 1525 or the pixels of the transparent information area 1520, and they are visually recognized by the user as the same optical black space.
  • FIG. 13B is a diagram for explaining an example of image processing that more suitably resolves the issue of the black image area of the object blending into the background, as described in FIG. 13A.
  • the upper side shows the display state of the floating-in-space image 3
  • the lower side shows the input/output characteristics of the image processing of the image of the object.
  • the image of the object character "panda" 1525
  • the corresponding data may be read from the storage unit 1170 or memory 1109 in FIG. 3. Alternatively, they may be input from the video signal input unit 1131. Alternatively, they may be acquired via the communication unit 1132.
  • the input/output characteristics of the image processing of the image of the object are in a linear state with no particular adjustment.
  • the display state is the same as FIG. 13A(2), and the black image area of the object blends into the background.
  • the video control unit 1160 of this embodiment adjusts the input/output characteristics of the image processing of the image of the object (character "panda" 1525) to the input/output characteristics shown in the lower row.
  • the video control unit 1160 performs image processing with input/output characteristics on the image of the object (character “panda” 1525), which has the characteristic of converting the pixels of the input image into output pixels with increased luminance values of pixels in low luminance areas.
  • a video including the image of the object character “panda” 1525
  • the display state of the floating in space image 3 is such that the luminance of pixel areas that render black in the image of the character "panda" 1525 increases. This allows the user to distinguish the areas that render black among the areas that render the image of the character "panda” 1525 without them blending into the black of the background, making it possible to display the object more suitably.
  • the area displaying the image of the character "panda" 1525 which is an object, can be distinguished from the black background inside the housing of the space-floating image display device 1000 through the window, improving the visibility of the object. Therefore, for example, even if the pixels constituting the object include pixels with a brightness value of 0 before the image processing (i.e., the time when the image of the object and the corresponding data are read from the storage unit 1170 or memory 1109 in FIG.
  • the image is converted into an object with a high brightness value of the pixels in the low brightness area by the image processing of the input/output characteristics by the video control unit 1160, and then displayed on the display device 1, and is converted into a space-floating image 3 by the optical system of the space-floating image display device 1000.
  • the pixels that make up the object after image processing of the input/output characteristics are converted to a state in which they do not include pixels with a brightness value of 0, and then the object is displayed on the display device 1, and is converted into a floating-in-space image 3 by the optical system of the floating-in-space image display device 1000.
  • a method of applying the image processing of the input/output characteristics of FIG. 13B(2) only to the image area of the object is, for example, to configure the image processing of the video control unit 1160 so that the background image layer and the layer of the character image in front of the background image layer can be processed as separate layers, and the image processing of the input/output characteristics of FIG. 13B(2) is applied to the layer of the character image, while not applying the image processing to the background image layer.
  • image processing with a characteristic of raising the low brightness areas of the input image is performed only on the character image.
  • image processing with the input/output characteristics of FIG. 13B(2) can be performed only on the character image area.
  • the input/output image characteristics used in the image processing that boosts low luminance areas of the input/output characteristics for the input image are not limited to the example in FIG. 13B(2). Any image processing that boosts low luminance may be used, including so-called brightness adjustment. Alternatively, image processing that improves visibility may be performed by controlling the gain that changes the weighting of the Retinex processing, as disclosed in International Publication WO 2014/162533.
  • FIG. 13B(2) The image processing of FIG. 13B(2) described above allows the user to recognize areas in which black is drawn, such as in areas where images of characters or objects are drawn, without them blending into the black background, making it possible to achieve a more suitable display.
  • the background of the space-floating image 3 is not black, but the view behind the space-floating image display device 1000 through the window.
  • the same problems as those described in FIG. 13A and FIG. 13B still exist.
  • the part of the image of the object character "panda" 1525 that is drawn in black will blend into the scenery behind the space-floating image display device 1000 through the window.
  • the part of the image of the object character "panda" 1525 that is drawn in black can be recognized as distinct from the scenery behind the space-floating image display device 1000 through the window, improving the visibility of the object.
  • the area displaying the image of the object character "panda” 1525 can be recognized as distinct from the scenery behind the space floating image display device 1000 through the window, and it can be more easily recognized that the object character "panda” 1525 is in front of the scenery, improving the visibility of the object.
  • the space-floating image display device 1000 of Figs. 4K, 4L, and 4M as described above, if another image (such as an image from the transmissive self-luminous image display device 1650 or an image from the second display device 1680) is displayed at a position different in depth from the space-floating image 3, the background of the space-floating image 3 will not be black, but will be that other image. In this case as well, the problems described in Figs. 13A and 13B will similarly exist.
  • the part of the image of the object character "panda” 1525 that is drawn in black will blend into the other image that is displayed at a different depth from the spatial floating image 3. Even in this case, by using the image processing of FIG. 13B(2), the part of the image of the object character "panda” 1525 that is drawn in black can be recognized as being distinct from the other image, improving the visibility of the object.
  • the area displaying the image of the object character "panda” 1525 can be recognized as distinct from the other image, and it can be more easily recognized that the object character "panda" 1525 is in front of the other image, improving the visibility of the object.
  • FIG. 13C shows an example of the image display of this embodiment in which the floating-in-space image 3 and a second image 2050, which is another image, are displayed simultaneously.
  • the second image 2050 may correspond to the display image of the transmissive self-luminous image display device 1650 of FIG. 4K or FIG. 4L.
  • the second image 2050 may also correspond to the display image of the second display device 1680 of FIG. 4M.
  • the example of image display in FIG. 13C shows an example of a specific example of the image display of the space-floating image display device 1000 in FIG. 4K, FIG. 4L, and FIG. 4M.
  • a bear character is displayed in space-floating image 3. Areas other than the bear character in space-floating image 3 are displayed in black, and become transparent as a space-floating image.
  • the second image 2050 is a background image in which plains, mountains, and the sun are depicted.
  • floating-in-space image 3 and second image 2050 are displayed at different depth positions.
  • user 230 views the two images, floating-in-space image 3 and second image 2050, in the line of sight of arrow 2040, user 230 can view the two images in a superimposed state.
  • the bear character in floating-in-space image 3 appears superimposed in front of the background of plains, mountains, and the sun depicted in second image 2050.
  • the floating-in-space image 3 is formed as a real image in the air, if the user 230 moves his/her viewpoint slightly, the user 230 can recognize the depth of the floating-in-space image 3 and the second image 2050 due to parallax. Therefore, the user 230 can get a stronger sense of floating in space from the floating-in-space image 3 while viewing the two images in an overlapping state.
  • FIG. 13D(1) is a diagram of the floating-in-space image 3 from the example of image display of this embodiment in FIG. 13C, as viewed from the line of sight of the user 230.
  • a bear character is displayed in the floating-in-space image 3.
  • the areas other than the bear character in the floating-in-space image 3 are displayed in black, and are transparent as a floating-in-space image.
  • FIG. 13D(2) is a diagram showing the second image 2050 from the line of sight of the user 230 in the example of the image display of this embodiment in FIG. 13C.
  • the second image 2050 is a background image depicting a plain, a mountain, and the sun.
  • FIG. 13D (3) is a diagram showing the state in which second image 2050 and floating-in-space image 3 appear superimposed in the line of sight of user 230 in the example of image display of this embodiment in FIG. 13C. Specifically, the bear character of floating-in-space image 3 appears superimposed in front of the background of plains, mountains, and the sun depicted in second image 2050.
  • the floating-in-space image 3 and the second image 2050 When displaying the floating-in-space image 3 and the second image 2050 simultaneously, it is desirable to pay attention to the balance of brightness between the two images in order to ensure the best visibility of the floating-in-space image 3. If the second image 2050 is too bright compared to the brightness of the floating-in-space image 3, the displayed image of the floating-in-space image 3 will be transparent, and the second image 2050, which is the background, will be strongly visible through it.
  • the output of the light source of the floating image 3 and the display image luminance of the display device 1, and the output of the light source of the display device displaying the second image 2050 and the display image luminance of the display device should be set so that at least the brightness per unit area of the floating image 3 at the display position of the floating image 3 is greater than the brightness per unit area of the image light reaching the display position of the floating image 3 from the second image 2050.
  • control may be performed to reduce the brightness of the second image 2050 by lowering the output of the light source of the display device that displays the second image 2050 and/or the display image luminance of the display device.
  • These controls may be realized by the control unit 1110 in FIG. 3 controlling the display device 1 and the display device that displays the second image 2050 (the transmissive self-luminous image display device 1650 in FIG. 4K or FIG. 4L or the second display device 1680 in FIG. 4M).
  • the brightness may be reduced uniformly across the entire screen of the second image 2050.
  • the brightness reduction effect may be greatest in the portion where the object is displayed in the floating-in-space image 3, and the brightness reduction effect may be gradually reduced around that portion. In other words, if the brightness reduction of the second image 2050 is achieved only in the portion where the floating-in-space image 3 is superimposed on the second image 2050 and viewed, the visibility of the floating-in-space image 3 is sufficiently ensured.
  • the floating-in-space image 3 and the second image 2050 are displayed at positions with different depths, when the user 230 slightly changes his/her viewpoint, the position at which the floating-in-space image 3 is superimposed on the second image 2050 changes due to parallax. Therefore, when switching from the first display mode to the second display mode described above, if the brightness is to be reduced unevenly across the entire screen of the second image 2050, it is not desirable to reduce the brightness sharply based on the contours of the object displayed in the floating-in-space image 3, and it is desirable to perform a gradation process of the brightness reduction effect, which changes the brightness reduction effect stepwise depending on the position as described above.
  • the position where the brightness reduction effect of the gradation process of the brightness reduction effect is the highest can be set to the center position of the space floating image 3.
  • the user 230 can more easily view the floating-in-space image 3 and the second image 2050.
  • control may be performed so that the second image 2050 is not displayed. Since the visibility of the floating-in-space image 3 is improved when the second image 2050 is not displayed, this is suitable for applications such as the floating-in-space image display device 1000 where the user must be able to reliably view the floating-in-space image 3 when it is displayed.
  • Example 2 As the second embodiment of the present invention, an example of another configuration example of the space floating image display device will be described.
  • the space floating image display device according to this embodiment is a device in which the optical system stored in the space floating image display device described in the first embodiment is changed to the optical system shown in FIG. 14(1) or FIG. 14(2).
  • differences from the first embodiment will be described, and repeated explanations of the same configuration as the first embodiment will be omitted.
  • the predetermined polarized light and the other polarized light are polarized lights whose phases differ from each other by 90°.
  • FIG. 14(1) is an example of an optical system and optical path according to this embodiment.
  • the optical system shown in FIG. 14(1) is the optical system shown in FIG. 2C, in which the display device 1 is brought closer to the polarization separation member 101B, making the entire optical system more compact.
  • FIG. 14(1) detailed descriptions of components that are given the same reference numerals as in FIG. 2C will not be repeated.
  • image light of a specific polarized light (P polarized light in the figure) emitted from display device 1 travels in a vertical direction from the image display surface of display device 1.
  • polarization separation member 101B selectively transmits the specific polarized light (P polarized light in the figure) emitted from display device 1 and reflects the other polarized light (S polarized light in the figure).
  • the image light of a specific polarization (P-polarized light in the figure) traveling vertically from the image display surface of the display device 1 passes through the polarization separation member 101B and reaches the retroreflector 2 to which the ⁇ /4 plate 21 is attached.
  • the image light that is retroreflected by the retroreflector 2 and travels again toward the polarization separation member 101B is converted from the specific polarization (P-polarized light in the figure) at the time of emission from the display device 1 to the other polarization (S-polarized light in the figure) by passing through the ⁇ /4 plate 21 twice.
  • the image light that travels again toward the polarization separation member 101B is the other polarization (S-polarized light in the figure), so it is reflected by the polarization separation member 101B toward the position where the user should be.
  • the traveling direction of the image reflected by the polarization separation member 101B is determined based on the angle at which the polarization separation member 101B is arranged.
  • the image light traveling toward the polarization separation member 101B is reflected at a right angle by the polarization separation member 101B and travels as shown.
  • the image light reflected by the polarization separation member 101B forms a floating image 3A.
  • the floating image 3A can be viewed by the user from the direction of the arrow A.
  • the optical path length of the image light emitted from the display device 1 to reach the retroreflector 2 is equal to the optical path length of the image light emitted from the retroreflector 2 to reach the position where the floating image 3A is formed. This relationship determines the position where the floating image 3A is formed in the direction of travel of the image light reflected by the polarization separation member 101B.
  • the display device 1, the polarization separation member 101B, and the retroreflector 2 are arranged closer together than in the example of FIG. 2C. This allows the entire optical system to be configured more compactly.
  • the amount by which the floating image 3A protrudes from the optical system of FIG. 14(1) is not very large.
  • the figure shows the distance from the position where the central light beam of the image light is reflected by the polarization separation member 101B to the position where the image light forms the floating image 3A (L1 in the example of FIG. 14(1)).
  • the characteristics of P polarization and S polarization may be swapped.
  • a specific polarization of the image light emitted from the display device 1 may be S polarization
  • the reflection characteristics of the polarization separation member 101B may be swapped between P polarization and S polarization.
  • the P polarization and S polarization shown in the figure are both reversed, but the optical design, such as the optical path, can be realized in exactly the same way.
  • FIG. 14(2) shows another example of an optical system and optical path according to this embodiment.
  • the optical system of FIG. 14(2) is a modified version of the optical system of FIG. 14(1) in order to increase the amount of the floating image projecting from the optical system while still achieving the same compactness as the optical system of FIG. 14(1).
  • FIG. 14(2) detailed descriptions of components that are given the same reference numerals as those in FIG. 14(1) will not be repeated.
  • FIG. 14(2) similar to FIG. 14(1), image light of a specific polarization (P-polarized light in the figure) emitted from display device 1 travels vertically from the image display surface of display device 1.
  • the polarization characteristics of polarization separation member 101B differ by 90 degrees from that in FIG. 14(1).
  • Image light of a specific polarization (P-polarized light in the figure) traveling vertically from the image display surface of display device 1 passes through polarization separation member 101B.
  • a specular reflector 4 with a ⁇ /4 plate 21B attached is placed, rather than a retroreflector 2 with a ⁇ /4 plate 21 attached.
  • the reflection at the specular reflector 4 is specular reflection (also called regular reflection), not retroreflection.
  • the image light that passes through the polarization separation member 101B is specularly reflected by the specular reflector 4 to which the ⁇ /4 plate 21B is attached.
  • the image light that is specularly reflected by the specular reflector 4 and travels again toward the polarization separation member 101B has been converted from the specified polarization (P-polarized in the figure) at the time of emission from the display device 1 to the other polarization (S-polarized in the figure) by passing through the ⁇ /4 plate 21 twice.
  • the image light that travels again toward the polarization separation member 101B is the other polarization (S-polarized in the figure), and is therefore reflected by the polarization separation member 101B.
  • the image light reflected by the polarization separation member 101B travels in the opposite direction to where the user should be.
  • the image light reflected by the polarization separation member 101B travels to a retroreflector 2 with a ⁇ /4 plate 21C attached.
  • the image light is retroreflected by the retroreflector 2.
  • the image light that is retroreflected by the retroreflector 2 and travels back toward the polarization separation member 101B has been converted from the other polarized light (S-polarized light in the figure) back to the specified polarized light (P-polarized light in the figure) by passing through the ⁇ /4 plate 21C twice.
  • the image light that travels back toward the polarization separation member 101B is of a specific polarization (P polarization in the figure), so it passes through the polarization separation member 101B and continues toward the position where the user should be.
  • the image light that passes through the polarization separation member 101B forms a floating-in-space image 3B.
  • the floating-in-space image 3B can be viewed by the user from the direction of arrow A.
  • the optical path length of the image light emitted from the display device 1 to reach the retroreflector 2 is equal to the optical path length of the image light emitted from the retroreflector 2 to reach the position where the floating image 3B is formed. This relationship determines the position where the floating image 3B is formed in the direction of travel of the image light that has passed through the polarization separation member 101B.
  • the optical path length of the image light emitted from the display device 1 to reach the retroreflector 2 is longer than the optical path length of the image light emitted from the display device 1 to reach the retroreflector 2 in FIG. 14(1). This is because in the optical system of FIG. 14(2), an optical path going back and forth between the polarization separation member 101B and the specular reflector 4, which does not exist in the optical system of FIG. 14(1), is added to the optical path length of the image light emitted from the display device 1 to reach the retroreflector 2.
  • the distance from the position where the central light beam of the image light passes through the polarization separation member 101B to the position where the image light forms the floating image 3B is significantly longer than the distance from the position where the central light beam of the image light is reflected by the polarization separation member 101B to the position where the image light forms the floating image 3A (L1 in the example of FIG. 14(1)) in the optical system of FIG. 14(1).
  • the characteristics of P polarization and S polarization may also be swapped.
  • a specific polarization of the image light emitted from the display device 1 may be S polarization
  • the reflection characteristics of the polarization separation member 101B may be swapped between P polarization and S polarization.
  • the P polarization and S polarization shown in the figure are both reversed, but the optical design, such as the optical path, can be realized in exactly the same way.
  • the optical system of Fig. 14(2) in the second embodiment of the present invention described above a more compact optical system can be realized.
  • the optical system of Fig. 14(2) makes it possible to increase the amount of the floating image projecting from the optical system, while still achieving a more compact optical system.
  • the optical system of FIG. 14(1) or FIG. 14(2) When incorporating the optical system of FIG. 14(1) or FIG. 14(2) into a space-floating image display device, this can be realized by replacing the optical system in the space-floating image display device described in Example 1 with the optical system of FIG. 14(1) or FIG. 14(2).
  • the optical system of FIG. 14(1) may be replaced with the optical system of the space-floating image display device of FIG. 4E, FIG. 4F, FIG. 4G, FIG. 4H, FIG. 4I, FIG. 4J, FIG. 4K, FIG. 4L, or FIG. 4M.
  • the optical system becomes compact, it is possible to make the housing of the space-floating image display device of each figure smaller.
  • the optical system of FIG. 14(2) may be replaced with the optical system of the space-floating image display device of FIG. 4E, FIG. 4F, FIG. 4G, FIG. 4K, or FIG. 4L.
  • the optical system becomes more compact, it is possible to make the housing of the space-floating image display device of each figure smaller.
  • Example 3 As a third embodiment of the present invention, a display device for displaying a floating image in space that displays a plurality of layers of floating images with different amounts of projection from an optical system will be described as an example of another configuration example of a floating image display device.
  • differences from the first or second embodiment will be described, and a repeated description of the same configuration as the first or second embodiment will be omitted.
  • the predetermined polarized light and the other polarized light are polarized waves whose phases differ from each other by 90°.
  • FIG. 15A shows an example of the configuration and optical path of an optical system of a space-floating image display device that displays multiple layers of space-floating images.
  • the display device which is the image source
  • the display device is equipped with only one display device 1.
  • two display areas, display area 1501 and display area 1502 are provided on the display screen of display device 1.
  • the optical system of FIG. 15A displays space-floating image 3D corresponding to display area 1501.
  • the optical system of FIG. 15A displays space-floating image 3E corresponding to display area 1502.
  • floating-in-space image 3D when a user views floating-in-space image 3D and floating-in-space image 3E from the direction of arrow A, floating-in-space image 3D appears to be displayed in front of floating-in-space image 3E. Since floating-in-space image 3D and floating-in-space image 3E appear to overlap from the user's perspective, these floating-in-space images are perceived as floating-in-space images with two layers of depth.
  • image light of a predetermined polarization (P polarization in the figure) is output from the display device 1.
  • Image light of a predetermined polarization (P polarization in the figure) is output in both display area 1501 and display area 1502, but in the optical system of Figure 15A, since ⁇ /2 plate 22 is attached so as to include display area 1502, the image light emitted from display area 1502 passes through ⁇ /2 plate 22 and is converted to the other polarization (S polarization in the figure) before proceeding.
  • the image light of a specific polarized light (P polarized light in the figure) output from the display area 1501 travels as shown in the figure and enters the polarization separation member 101D.
  • the polarization separation member 101D selectively transmits the specific polarized light (P polarized light in the figure) and reflects the other polarized light (S polarized light in the figure).
  • the image light of a specific polarization (P-polarized light in the figure) output from the display area 1501 passes through the polarization separation member 101D and reaches the retroreflector 2D to which the ⁇ /4 plate 21D is attached.
  • the image light that is retroreflected by the retroreflector 2D and travels again toward the polarization separation member 101D passes through the ⁇ /4 plate 21D twice, and is converted from the specific polarization (P-polarized light in the figure) at the time of emission from the display device 1 to the other polarization (S-polarized light in the figure).
  • the image light that travels back towards the polarization separation member 101D is the other polarized light (S-polarized light in the figure), and is therefore reflected by the polarization separation member 101D towards the position where the user should be.
  • the direction of travel of the image reflected by the polarization separation member 101D is determined based on the angle at which the polarization separation member 101D is positioned.
  • the image light that travels towards the polarization separation member 101D is reflected at a right angle by the polarization separation member 101D and travels as shown in the figure.
  • the image light reflected by the polarization separation member 101D forms the spatially floating image 3D.
  • the image light output from the display area 1502 passes through the ⁇ /2 plate 22, is converted to the other polarized light (S polarized light in the figure), travels, and enters the polarization separation member 101E.
  • the polarization separation member 101E selectively transmits a specific polarized light (P polarized light in the figure) and reflects the other polarized light (S polarized light in the figure). Therefore, the image light of the other polarized light (S polarized light in the figure) output from the display area 1502 and transmitted through the ⁇ /2 plate 22 is reflected by the polarization separation member 101E and reaches the retroreflector 2E to which the ⁇ /4 plate 21E is attached.
  • the traveling direction of the image reflected by the polarization separation member 101E is determined based on the angle at which the polarization separation member 101E is disposed.
  • the image light traveling toward the polarization separation member 101E is reflected at a right angle by the polarization separation member 101E and travels as shown in the figure.
  • the image light that is retroreflected by the retroreflector 2E and travels again toward the polarization separation member 101E passes through the ⁇ /4 plate 21E twice, and is converted from the other polarization (S-polarized light in the figure) to the specified polarization (P-polarized light in the figure).
  • the image light that travels again toward the polarization separation member 101E is of the specified polarization (P-polarized light in the figure), and so passes through the polarization separation member 101E.
  • the image light that has passed through the polarization separation member 101E travels toward the polarization separation member 101D.
  • the polarization separation member 101D selectively transmits the specified polarization (P-polarized light in the figure) and reflects the other polarization (S-polarized light in the figure). Therefore, the image light from the retroreflector 2E, which is of the specified polarization (P-polarized light in the figure), passes through the polarization separation member 101D and travels toward the position where the user should be.
  • the image light that has passed through the polarization separation member 101D forms the spatially floating image 3E.
  • a light shield is provided between the optical path of the image light output from display area 1501 and the optical path of the image light output from display area 1502 to prevent each image light from leaking into the optical path of the other image light.
  • the polarization separation member 101D and the polarization separation member 101E are both arranged at a 45 degree inclination with respect to the traveling direction of the image light from the display device 1.
  • the image light forming the space-floating image 3D and the image light forming the space-floating image 3E travel in the same direction toward the position where the user should be.
  • FIG. 15A In order to configure it in this way, in the example of FIG.
  • the space-floating image 3D, the space-floating image 3E, the polarization separation member 101D, the polarization separation member 101E, and the retroreflector 2E are arranged on the same straight line as seen by the user (for example, in the example of FIG. 15A, the straight line of the optical path from the retroreflector 2E to the space-floating image 3E, which extends toward the user).
  • the display device 1 and the retroreflector 2D are disposed at positions that are not aligned on the same straight line.
  • the polarizing separator 101D and the polarizing separator 101E are positioned so that when the user views the space-floating image 3D and the space-floating image 3E from the direction of the arrow A (y direction), the center of the space-floating image 3D in the left-right direction (x direction) and the center of the space-floating image 3E in the left-right direction (x direction) coincide with each other.
  • This is more convenient for the user and is also more suitable for the video content creators, as they do not need to consider offsets.
  • the optical layout is simpler, which is more suitable.
  • the characteristics of P polarization and S polarization may be swapped.
  • a certain polarization of the image light emitted from display area 1501 of display device 1 may be S polarization
  • the other polarization emitted from display area 1502 of display device 1 and transmitted through ⁇ /2 plate 22 may be P polarization
  • the reflection characteristics of polarization separation member 101D and the characteristics of P polarization and S polarization may be swapped for polarization separation member 101E.
  • the P polarization and S polarization shown in the figure are both reversed, but the optical design, such as the optical path, can be realized in exactly the same way.
  • the optical system of FIG. 15A described above can be used to realize an optical system that uses a single display device to form a floating image with two layers of depth.
  • a configuration may also be used in which separate display devices are provided for display area 1501 and display area 1502.
  • a configuration with multiple display devices would require more corresponding circuits, which can lead to relatively high costs. Therefore, if a floating image with two layers of depth is formed using only a single display device as in FIG. 15A, an optical system that forms a floating image with two layers of depth can be realized at lower cost.
  • the optical system of FIG. 15A When the optical system of FIG. 15A is incorporated into a space-floating image display device, it can be realized by replacing the optical system in the space-floating image display device described in Example 1 with the optical system of FIG. 15A. Specifically, the optical system of FIG. 15A may be replaced with the optical system of the space-floating image display device of FIG. 4E, FIG. 4F, FIG. 4G, FIG. 4K, or FIG. 4L. In this case, a space-floating image display device that forms a space-floating image with two layers of depth in each figure can be realized. In particular, in FIG. 4K and FIG.
  • a space-floating image with two layers of depth can be formed on the front side as seen from the user of the transmissive self-luminous image display device 1650.
  • a space-floating image with two layers of depth and a three-layer image with different depths in the transmissive self-luminous image display device 1650 can be formed so that they can be viewed by the user.
  • FIG. 15B is a modified example in which part of the configuration of the optical system of FIG. 15A has been changed. Therefore, in the example of FIG. 15B, the differences from FIG. 15A will be described, and repeated explanations of the same configuration as FIG. 15A will be omitted.
  • FIG. 15B as in FIG. 15A, two display areas, display area 1501 and display area 1502, are provided on the display screen of the display device 1. However, no ⁇ /2 plate is attached to the exit surface of display area 1502.
  • the characteristics and arrangement of polarization separation member 101D and polarization separation member 101E in the optical system of FIG. 15B are similar to those of the optical system of FIG. 15A.
  • retroreflector 2D to which ⁇ /4 plate 21D is attached and retroreflector 2E to which ⁇ /4 plate 21E is attached are arranged separately.
  • only one retroreflector 2 to which ⁇ /4 plate 21 is attached is arranged.
  • ⁇ /2 plate 22 is arranged in the optical path from polarization separation member 101E to polarization separation member 101D.
  • the optical path of the image light of a specific polarization (P polarization in the figure) emitted from the display area 1501 until it forms the spatially floating image 3D, and the optical characteristics of each optical element are the same except that the retroreflector 2D to which the ⁇ /4 plate 21D is attached is replaced by the retroreflector 2 to which the ⁇ /4 plate 21 is attached, so a description thereof will be omitted.
  • a predetermined polarized light (P polarized light in the figure) emitted from the display area 1502 travels toward the polarization separation member 101E and enters the polarization separation member 101E.
  • the polarization separation member 101E selectively transmits the predetermined polarized light (P polarized light in the figure) and reflects the other polarized light (S polarized light in the figure).
  • the image light traveling toward the polarization separation member 101E passes through the polarization separation member 101E and travels toward the retroreflector 2.
  • the image light that is retroreflected by the retroreflector 2 and travels again toward the polarization separation member 101E has been converted from the predetermined polarized light (P polarized light in the figure) to the other polarized light (S polarized light in the figure) by passing through the ⁇ /4 plate 21 twice.
  • the image light that travels again toward the polarization separation member 101E is the other polarized light (S polarized light in the figure), so it is reflected by the polarization separation member 101E and travels toward the ⁇ /2 plate 22.
  • the image light that enters the ⁇ /2 plate 22 is converted from the other polarized light (S polarized light in the figure) to the specified polarized light (P polarized light in the figure) by passing through the ⁇ /2 plate 22.
  • the image light that passes through the ⁇ /2 plate 22 travels toward the polarization separation member 101D.
  • the polarization separation member 101D selectively transmits the specified polarized light (P polarized light in the figure) and reflects the other polarized light (S polarized light in the figure).
  • a light shield is provided between the optical path of the image light output from display area 1501 and the optical path of the image light output from display area 1502 to prevent each image light from leaking into the optical path of the other image light.
  • the polarization separation members 101D and 101E are both arranged at a 45 degree inclination with respect to the traveling direction of the image light from the display device 1.
  • the image light forming the floating-in-space image 3D and the image light forming the floating-in-space image 3E travel in the same direction toward the position where the user should be.
  • the space-floating image 3D, the space-floating image 3E, the polarization separation member 101D, the ⁇ /2 plate 22, and the polarization separation member 101E are arranged on the same straight line as seen by the user (for example, in the example of FIG. 15B, the straight line of the optical path from the polarization separation member 101E to the space-floating image 3E, which extends in the direction of the user).
  • the display device 1 and the retroreflector 2 are arranged in a position that is off-center from the position on the same straight line.
  • the positions of polarization separation members 101D and 101E are determined so that when a user views space-floating image 3D and space-floating image 3E from the direction of arrow A (y direction), the center of the left-right direction (x direction) of the image of space-floating image 3D coincides with the center of the left-right direction (x direction) of the image of space-floating image 3E. If the center of the left-right direction (x direction) of the image of space-floating image 3D coincides with the center of the left-right direction (x direction) of the image of space-floating image 3E, this is more preferable for the user because it is easier to view and the video content creators do not need to consider offsets. In addition, the optical layout becomes simpler, which is more preferable.
  • the characteristics of P polarization and S polarization may be swapped.
  • a predetermined polarization of the image light emitted from display area 1501 of display device 1 may be S polarization
  • a predetermined polarization of the image light emitted from display area 1502 may be S polarization
  • the reflection characteristics of polarization separation member 101D and the characteristics of P polarization and S polarization may be swapped for polarization separation member 101E.
  • the P polarization and S polarization shown in the figure are both reversed, but the optical design, such as the optical path, can be realized in exactly the same way.
  • the optical path length from the image light emitted from display area 1501 to form floating-in-space image 3D is the same as in the optical system of FIG. 15A.
  • the optical path length from the image light emitted from display area 1502 to form floating-in-space image 3E is the same as in the optical system of FIG. 15A. Therefore, the position where floating-in-space image 3D is formed and the position where floating-in-space image 3E is formed are also the same as in the optical system of FIG. 15A.
  • the optical path length of the image light emitted from display area 1501 to form floating image 3D is the same as the optical path length of the image light emitted from display area 1502 to form floating image 3E.
  • retroreflectors 2D and 2E are arranged separately, but in the optical system of FIG. 15B, they are composed of a single retroreflector 2. Since retroreflectors are components with high processing costs, reducing costs can be achieved by combining them into a single sheet. Therefore, the optical system of FIG. 15B can realize an optical system that forms a floating image with two layers of depth at a lower cost than the optical system of FIG. 15A.
  • FIG. 16A is a modified example in which a portion of the configuration of the optical system of FIG. 15A has been changed. Therefore, in the example of FIG. 16A, the differences from FIG. 15A will be described, and repeated explanations of the same configuration as FIG. 15A will be omitted.
  • the display device 1 is arranged at a tilt centered on the position between the display area 1501 and the display area 1502 on the display screen of the display device 1, more tilted than the arrangement of the optical system of FIG. 15A.
  • the tilt of the display device 1 is 30 degrees.
  • the length of the display screen of the display device 1 is increased in response to the tilt.
  • the tilt of the display device 1 is set so that the optical path length from the image light emitted from the display area 1501 to the retroreflector 2D is shorter than the arrangement of the optical system of FIG. 15A.
  • the floating image 3D is formed further back from the user's perspective than the optical system of FIG. 15A.
  • the tilt of the display device 1 makes the optical path length from the image light emitted from the display area 1502 to the retroreflector 2E longer than the arrangement of the optical system of FIG. 15A.
  • the floating image 3E is formed closer to the user's perspective than the optical system of FIG. 15A.
  • the distance in the depth direction between the two layers of the space-floating images, the space-floating image 3D and the space-floating image 3E can be made closer than in the optical system of FIG. 15A. That is, in the example of FIG. 16A, due to the inclination of the display device 1, the optical path length of the image light emitted from the display area 1501 to the retroreflector 2D is shorter than the optical path length of the image light emitted from the display area 1502 to the retroreflector 2E. Note that, by arranging the display device 1 at an inclination with respect to the arrangement of the optical system of FIG.
  • the two layers of the space-floating images of the space-floating image 3D and the space-floating image 3E formed are both arranged at an inclination with respect to the arrangement of the optical system of FIG. 15A.
  • the inclination of the display device 1 with respect to the optical system of FIG. 15A is 30 degrees
  • the inclination of the two layers of the space-floating images, the space-floating image 3D and the space-floating image 3E is also 30 degrees.
  • an angle control sheet 23 may be attached to the surface of the absorptive polarizer 12 in response to the tilted arrangement of the display device 1.
  • the angle control sheet 23 is a sheet that controls the traveling direction of light to shift it by a predetermined angle. Specifically, this can be realized by a linear Fresnel lens sheet.
  • the traveling angle of the light can be controlled to offset the tilt of the display device 1, thereby improving the light utilization efficiency of the optical system.
  • an angle control sheet 23 that changes the angle of light travel by 30 degrees can be used to offset the tilt.
  • a ⁇ /2 plate 22 can be attached to the surface of the angle control sheet 23 for the display area 1502. Note that the angle control sheet 23 can be used when it is necessary to improve the light utilization efficiency of the optical system, and the optical system of FIG. 16A can be constructed without using the angle control sheet 23.
  • the optical path of the image light emitted from display area 1501 and display area 1502 until it forms space-floating image 3D and space-floating image 3E, and the details of each optical element are the same as those of the optical system of FIG. 15A, so repeated explanations will be omitted.
  • the characteristics of P polarization and S polarization may be swapped.
  • a certain polarization of the image light emitted from display area 1501 of display device 1 may be S polarization
  • the other polarization emitted from display area 1502 of display device 1 and transmitted through ⁇ /2 plate 22 may be P polarization
  • the reflection characteristics of polarization separation member 101D and the characteristics of P polarization and S polarization may be swapped for polarization separation member 101E.
  • the P polarization and S polarization shown in the figure are both reversed, but the optical design, such as the optical path, can be realized in exactly the same way.
  • the space-floating image 3D, the space-floating image 3E, the polarization separation member 101D, the polarization separation member 101E, and the retroreflector 2E are arranged on the same straight line as seen by the user (for example, in the example of FIG. 16A, the straight line of the optical path from the retroreflector 2E to the space-floating image 3E, which extends in the direction of the user).
  • the display device 1 and the retroreflector 2D are arranged in a position that is not on the same straight line.
  • FIG. 16B is a modified example in which part of the configuration of the optical system of FIG. 15B has been changed. Therefore, in the example of FIG. 16B, the differences from FIG. 15B will be described, and repeated explanations of the same configuration as FIG. 15B will be omitted.
  • the display device 1 is arranged at a tilt centered on the position between the display area 1501 and the display area 1502 on the display screen of the display device 1, more tilted than the arrangement of the optical system of FIG. 15B.
  • the tilt of the display device 1 is 30 degrees.
  • the length of the display screen of the display device 1 is increased in response to the tilt.
  • the tilt of the display device 1 is set so that the optical path length from the image light emitted from the display area 1501 to the retroreflector 2 is shorter than the arrangement of the optical system of FIG. 15B.
  • the floating image 3D is formed further back from the user's perspective than the optical system of FIG. 15B.
  • the tilt of the display device 1 is set so that the optical path length from the image light emitted from the display area 1502 to the retroreflector 2 is longer than the arrangement of the optical system of FIG. 15B.
  • the floating image 3E is formed closer to the user's perspective than the optical system of FIG. 15A.
  • the distance in the depth direction between the two layers of the space-floating images, space-floating image 3D and space-floating image 3E, can be made closer than in the optical system of FIG. 15B. That is, in the example of FIG. 16B, due to the inclination of the display device 1, the optical path length from the image light emitted from the display area 1501 to the retroreflector 2 is shorter than the optical path length from the image light emitted from the display area 1502 to the retroreflector 2.
  • the two-layered floating images of floating in space, image 3D and image 3E are both positioned at an angle to the arrangement of the optical system in FIG. 15B.
  • the inclination of the display device 1 to the optical system in FIG. 15B is 30 degrees
  • the inclination of the two-layered floating images of floating in space, image 3D and image 3E is also 30 degrees.
  • an angle control sheet 23 may be attached to the surface of the absorptive polarizer 12 in response to the tilted arrangement of the display device 1, as in the optical system of FIG. 16A.
  • the light travel angle can be controlled to offset the tilt of the display device 1, thereby improving the light utilization efficiency of the optical system.
  • the tilt of the display device 1 is 30 degrees
  • an angle control sheet 23 that changes the light travel angle by 30 degrees can be used to offset the tilt.
  • the angle control sheet 23 may be used when it is necessary to improve the light utilization efficiency of the optical system, and the optical system of FIG. 16B can be configured without using the angle control sheet 23.
  • FIG. 17A shows an example of the configuration and optical path of an optical system of a space-floating image display device that displays multiple layers of space-floating images.
  • the display device which is the image source
  • the display device is equipped with only one display device 1.
  • two display areas, display area 1501 and display area 1502 are provided on the display screen of display device 1.
  • the optical system of FIG. 17A displays space-floating image 3D corresponding to display area 1501.
  • the optical system of FIG. 17A displays space-floating image 3E corresponding to display area 1502.
  • floating-in-space image 3E when a user views floating-in-space image 3E and floating-in-space image 3D from the direction of arrow A, floating-in-space image 3E appears to be displayed in front of floating-in-space image 3D. Since floating-in-space image 3E and floating-in-space image 3D appear to overlap from the user's perspective, these floating-in-space images are perceived as floating-in-space images with two layers of depth.
  • image light of a predetermined polarization (P polarization in the figure) is output from the display device 1.
  • Image light of a predetermined polarization (P polarization in the figure) is output at both positions in the display area 1501 and the display area 1502.
  • the image light that is retroreflected by the retroreflector 2D and travels again toward the polarization separation member 101D has been converted from the specific polarization (P-polarized light in the figure) at the time of output from the display device 1 to the other polarization (S-polarized light in the figure) by passing through the ⁇ /4 plate 21D twice.
  • the image light that travels back towards the polarization separation member 101D is the other polarized light (S-polarized light in the figure), and is therefore reflected by the polarization separation member 101D towards the position where the user should be.
  • the direction of travel of the image reflected by the polarization separation member 101D is determined based on the angle at which the polarization separation member 101D is positioned.
  • the image light that travels towards the polarization separation member 101D is reflected at a right angle by the polarization separation member 101D and travels as shown in the figure.
  • the image light reflected by the polarization separation member 101D forms the spatially floating image 3D.
  • the image light that is mirror-reflected by the mirror reflector 24 and travels again toward the polarization separation member 101E has been converted from the specific polarization (P-polarized light in the figure) to the other polarization (S-polarized light in the figure) by passing through the ⁇ /4 plate 21F twice.
  • the image light that travels again toward the polarization separation member 101E is the other polarized light (S-polarized light in the figure), so it is reflected by the polarization separation member 101E and reaches the retroreflector 2E to which the ⁇ /4 plate 21E is attached.
  • the traveling direction of the image reflected by the polarization separation member 101E is determined based on the angle at which the polarization separation member 101E is placed. In the example of FIG. 17A, the image light that travels toward the polarization separation member 101E is reflected at a right angle by the polarization separation member 101E and travels as shown in the figure.
  • the image light that travels again toward the polarization separation member 101E is of the specified polarization (P-polarized light in the figure), and so passes through the polarization separation member 101E.
  • the image light that has passed through the polarization separation member 101E travels toward the polarization separation member 101D.
  • the polarization separation member 101D selectively transmits the specified polarization (P-polarized light in the figure) and reflects the other polarization (S-polarized light in the figure). Therefore, the image light from the retroreflector 2E, which is of the specified polarization (P-polarized light in the figure), passes through the polarization separation member 101D and travels toward the position where the user should be.
  • the image light that has passed through the polarization separation member 101D forms the spatially floating image 3E.
  • the polarization separation member 101D is disposed at an angle of 45 degrees to the traveling direction of the image light from the display device 1.
  • the polarization separation member 101E is disposed at an angle of 45 degrees to the traveling direction of the image light from the display device 1 in a direction different from that of the polarization separation member 101D.
  • the image light forming the floating image 3E and the image light forming the floating image 3D travel in the same direction toward the position where the user should be.
  • the floating image 3E, the floating image 3D, the polarization separation member 101D, the polarization separation member 101E, and the retroreflector 2E are arranged on the same straight line as seen by the user (for example, in the example of FIG. 17A, the straight line of the optical path from the retroreflector 2E to the floating image 3E, which extends toward the user).
  • the display device 1, the retroreflector 2D, and the specular reflector 24 are positioned away from the collinear position.
  • the positions of the polarization separation members 101D and 101E are determined so that when the user views the space-floating image 3E and the space-floating image 3D from the direction of the arrow A (y direction), the center of the left-right direction (x direction) of the image of the space-floating image 3E coincides with the center of the left-right direction (x direction) of the image of the space-floating image 3D.
  • the center of the left-right direction (x direction) of the image of the floating image 3E coincides with the center of the left-right direction (x direction) of the image of the floating image 3D, this is more preferable since it is easier for the user to see and the producers of the video content do not need to consider offsets.
  • the optical layout becomes simpler, which is more preferable.
  • the characteristics of P polarization and S polarization may be swapped.
  • a predetermined polarization of the image light emitted from display area 1501 of display device 1 may be S polarization
  • a predetermined polarization of the image light emitted from display area 1502 of display device 1 may be S polarization
  • the reflection characteristics of polarization separation member 101D and the characteristics of P polarization and S polarization may be swapped for polarization separation member 101E.
  • the P polarization and S polarization shown in the figure are both reversed, but the optical design, such as the optical path, can be realized in exactly the same way.
  • the optical system of FIG. 17A described above can be used to realize an optical system that uses a single display device to form a floating image with two layers of depth.
  • a configuration may also be used in which separate display devices are provided for display area 1501 and display area 1502.
  • a configuration with multiple display devices would require more corresponding circuits, which can lead to relatively high costs. Therefore, if a floating image with two layers of depth is formed using only a single display device as in FIG. 17A, an optical system that forms a floating image with two layers of depth can be realized at lower cost.
  • optical path length of the image light emitted from display area 1501 of display device 1 to form floating-in-space image 3D and the optical path length of the image light emitted from display area 1502 of display device 1 to form floating-in-space image 3E, in the optical system of FIG. 17A.
  • These optical path lengths will be explained using the optical path length of the light ray emitted in the normal direction from the center of display area 1501, and the optical path length of the light ray emitted in the normal direction from the center of display area 1502. The same applies to the following explanation.
  • the optical path length of the image light emitted from the display area 1501 of the display device 1 until it reaches the polarization separation member 101D is equal to the optical path length of the image light emitted from the display area 1502 of the display device 1 until it reaches the polarization separation member 101E. This is similar to the optical systems of FIG. 15A and FIG. 15B.
  • the angle of the polarization separation member 101E is arranged at an angle that is shifted by 90 degrees from the angle of the polarization separation member 101D, and an optical path that goes back and forth between the polarization separation member 101E and the mirror reflector 24 is added to the optical path until the image light emitted from the display area 1502 of the display device 1 forms the space-floating image 3E.
  • the optical system of FIG. 17A the angle of the polarization separation member 101E is arranged at an angle that is shifted by 90 degrees from the angle of the polarization separation member 101D, and an optical path that goes back and forth between the polarization separation member 101E and the mirror reflector 24 is added to the optical path until the image light emitted from the display area 1502 of the display device 1 forms the space-floating image 3E.
  • the optical path length until the image light emitted from the display area 1502 of the display device 1 forms the space-floating image 3E is longer than the optical path length until the image light emitted from the display area 1502 of the display device 1 forms the space-floating image 3E in the optical system of FIG. 15A and the optical system of FIG. 15B.
  • the optical path length of the image light emitted from the display area 1502 of the display device 1 to form the spatially floating image 3E can be changed depending on the distance D between the specular reflector 24 and the display surface of the display device 1. Therefore, in a spatially floating image display device, the position of the specular reflector 24 can be determined so that the desired amount of projection of the spatially floating image 3E is achieved. Furthermore, the distance between the spatially floating image 3E and the spatially floating image 3D will also change depending on this distance D. Therefore, in a spatially floating image display device that displays multiple layers of spatially floating images with different amounts of projection from the optical system, the position of the specular reflector 24 can be determined so that the distance of the multiple layers of spatially floating images is the distance required for the product.
  • the distance from the display device 1 to the polarization separation member 101D and the polarization separation member 101E can be made relatively short, so the volume of the optical system is smaller.
  • the distance between the space-floating image 3E and the space-floating image 3D can be set shorter than in the optical system of FIG. 15A and the optical system of FIG. 15B.
  • the optical system of the space-floating image display device that displays multiple layers of space-floating images can be realized in a smaller size.
  • the distance of the multiple layers of space-floating images can be set to a desired position with a simple configuration, which is more preferable.
  • the optical system of FIG. 17A When incorporating the optical system of FIG. 17A into a space-floating image display device, this can be realized by replacing the optical system in the space-floating image display device described in Example 1 with the optical system of FIG. 17A. Specifically, the optical system of FIG. 17A may be replaced with the optical system of the space-floating image display device of FIG. 4E, FIG. 4F, FIG. 4G, FIG. 4K, or FIG. 4L.
  • a space-floating image display device that forms a space-floating image with two layers of depth in each figure can be realized.
  • a space-floating image with two layers of depth can be formed on the front side as seen by the user of the transmissive self-luminous image display device 1650.
  • a space-floating image with two layers of depth and a three-layer image with different depths can be formed so that they can be viewed by the user on the transmissive self-luminous image display device 1650.
  • FIG. 17B shows an example of the configuration of a space-floating image display device 1000 that displays multiple layers of space-floating images with different protruding amounts.
  • the optical system described in FIG. 17A is incorporated in the space-floating image display device 1000 shown in the figure.
  • the example of FIG. 17B shows an example in which the optical system is arranged so that the display device 1 and the mirror reflector 24 face each other in the left-right direction (x direction) of the user.
  • the symbols of other elements in the optical system of FIG. 17A are omitted. As shown in FIG.
  • the space-floating image display device 1000 can display two layers of space-floating images, the space-floating image 3E and the space-floating image 3D, toward the user 230.
  • the space-floating image display device 1000 can also be realized in a relatively small size.
  • the space floating image display device 1000 of FIG. 17B can realize a smaller space floating image display device that displays multiple layers of space floating images with different protruding amounts.
  • FIG. 17C Another example of a space floating image display device 1000 equipped with the optical system of FIG. 17A will be described with reference to FIG. 17C.
  • FIG. 17C shows an example of the configuration of a space-floating image display device 1000 that displays multiple layers of space-floating images with different amounts of protrusion.
  • the optical system described in FIG. 17A is incorporated in the space-floating image display device 1000 shown in the figure.
  • the example in FIG. 17C shows an example in which the optical system is arranged so that the display device 1 and the mirror reflector 24 face each other in the vertical direction (z direction) as seen by the user.
  • the symbols of other elements in the optical system of FIG. 17A are omitted.
  • the floating-in-space image display device 1000 can display two layers of floating-in-space images, namely, floating-in-space image 3E and floating-in-space image 3D, toward the user 230.
  • an aerial operation detection sensor may be provided so that user operations on both floating-in-space image 3E and floating-in-space image 3D can be detected.
  • an aerial operation detection sensor 1351D is provided for detecting user operations on floating-in-space image 3D.
  • an aerial operation detection sensor 1351E is provided for detecting user operations on floating-in-space image 3E.
  • the aerial operation detection sensor 1351 in FIG. 3 can be replaced with these two sensors.
  • the aerial operation detection unit 1350 in FIG. 3 can determine the presence or absence of user operations on both floating-in-space image 3E and floating-in-space image 3D based on signals from these sensors.
  • the mid-air operation detection unit 1350 will determine that "the user is performing a user operation on the floating-in-space image 3E.”
  • the aerial operation detection unit 1350 may determine that "the user is performing a user operation on the floating-in-space image 3D." In this case, the operation input signal detected by the aerial operation detection sensor 1351E may be configured to be ignored.
  • the icon to be operated can be displayed simultaneously on two layers of optical images with different depths by shifting the xz-directional position of the icon to be operated displayed on the floating image 3E in space and the xz-directional position of the icon to be operated displayed on the floating image 3D in space. In such a case, it is not necessarily necessary to perform the process of ignoring the operation input signal detected by the above-mentioned mid-air operation detection sensor 1351E.
  • the space-floating image display device 1000 of FIG. 17C can realize a smaller space-floating image display device that displays multiple layers of space-floating images with different amounts of protrusion. Furthermore, the space-floating image display device 1000 of FIG. 17C can more effectively detect user operations on each of the multiple layers of different space-floating images.
  • FIG. 17D Another example of a space floating image display device 1000 equipped with the optical system of FIG. 17A will be described with reference to FIG. 17D.
  • FIG. 17D shows an example of the configuration of a space-floating image display device 1000 that displays multiple layers of space-floating images with different projection amounts.
  • the optical system described in FIG. 17A is incorporated in the space-floating image display device 1000 shown in the figure.
  • the display device 1 and the mirror reflector 24 face each other in the depth direction (y direction) as seen from the user, and the optical system is arranged so that the space-floating images project at an angle toward the user from the vertical z direction.
  • the symbols of other elements in the optical system of FIG. 17A are omitted.
  • the space-floating image display device 1000 can display two layers of space-floating images, space-floating image 3E and space-floating image 3D, toward the user 230.
  • the floating-in-space image display device 1000 in FIG. 17D can realize a floating-in-space image display device that displays multiple layers of floating-in-space images with different projection amounts, allowing the user to look into them from above.
  • space-floating image 3-1 and space-floating image 3-2 are multiple layers of space-floating images with different amounts of protrusion.
  • the hardware of the space-floating image display device itself will be omitted.
  • the spatially floating image 3-1 is displayed closer to the user than the spatially floating image 3-2.
  • the spatially floating image 3-2 is displayed further back from the user than the spatially floating image 3-1.
  • the display object 1810 is an object displayed in the display image of the spatially floating image 3-1.
  • the display object 1821 is an object displayed in the display image of the spatially floating image 3-2.
  • the spatially floating image display device that performs the display of FIG. 18A is a spatially floating image display device arranged as in FIG. 17D, multiple layers with different protruding amounts will be displayed in a direction close to the vertical direction. Therefore, in the display example of FIG.
  • a virtual shadow 1822 that appears to be caused by the display object 1810 of the spatially floating image 3-1 that is displayed closer to the user than the spatially floating image 3-2 is displayed in the display object 1821 of the spatially floating image 3-2 that is displayed further back from the user than the spatially floating image 3-1.
  • the virtual shadow may be displayed in black in the corresponding part, or the brightness of the video signal of the corresponding part may be reduced. The saturation of the video signal for the corresponding portion may also be reduced.
  • This processing may be performed by the video control unit 1160 in FIG. 3 or the like.
  • the brightness of the display object 1810 of the floating-in-space image 3-1 displayed in front as seen by the user may be configured to be displayed brighter than the display object 1821 of the floating-in-space image 3-2 displayed in the back as seen by the user. This may be done by changing the brightness optically, or by changing the brightness by video signal processing.
  • the display example of FIG. 18A described above can be used, for example, in a space floating image display device equipped with any of the optical systems shown in FIG. 15A to FIG. 17A.
  • Space-floating image 3-1 and space-floating image 3-2 shown in FIG. 18B are a plurality of layers of space-floating images with different amounts of protrusion.
  • Space-floating image 3-1 is displayed in front of the user, and space-floating image 3-2 is displayed in the back of the user.
  • the display example of FIG. 18B can be used, for example, in a space-floating image display device having any of the optical systems shown in FIG. 15A to FIG. 17A.
  • space-floating image 3-1 corresponds to space-floating image 3E of FIG. 17B
  • space-floating image 3-2 corresponds to space-floating image 3D of FIG. 17B.
  • display object 1850 is an object displayed in the display image of floating-in-space image 3-1.
  • display object 1850 is a display object of a character.
  • the character is a human character.
  • Display object 1855 and display object 1856 are objects displayed in the display image of floating-in-space image 3-2.
  • display object 1855 and display object 1856 are background objects.
  • the background is a pillar.
  • a character display object is placed near the center in the horizontal direction of the foreground, floating-in-space image 3-1, and in the background, floating-in-space image 3-2, display objects 1855 and 1856, which are background objects, are placed on the left and right away from the center.
  • the main content of the display content (the content to which the user is desired to pay attention) is display object 1850, which is the character display object.
  • Display object 1855 and display object 1856 are secondary content, and are displayed to allow the user to more easily recognize display object 1850, which is the main content.
  • a space-floating image display device that displays multiple layers of space-floating images with different amounts of protrusion is used to display a character display object 1850 near the center in the horizontal direction of space-floating image 3-1, and a pillar display object 1855 and a pillar display object 1856, which are background objects, are placed on the left and right in the space-floating image 3-2, which is the background.
  • the principle of motion parallax causes the left-right distance and relative position of pillar display object 1855 and pillar display object 1856 to change in relation to the character display object displayed in the left-right center. This allows the user to more clearly recognize that the character display object displayed in the left-right center of space-floating image 3-1 is located in front of pillar display object 1855 and pillar display object 1856 displayed on the left and right of space-floating image 3-2.
  • the two floating images in the air, space-floating image 3-1 and space-floating image 3-2 are perceived by the user as overlapping, depending on the relationship between their respective display ranges.
  • the display image of the floating image 3-2 in the air, which is at the back from the user's perspective will be transparent to the display image of the floating image 3-1 in the air, which is at the front from the user's perspective, and the user may not be able to properly recognize the front and back of the displayed object.
  • image processing may be performed in which the brightness of the display object area of the image of the floating image 3-1 in space, which is in front of the user, is adjusted to be brighter overall, and the brightness of the display object area of the image of the floating image 3-2 in space, which is in the back of the user, is adjusted to be darker overall.
  • the character design of the display object displayed in the floating image 3-1 in space there are cases in which it is not possible to brighten the overall brightness of the display object area. For example, this may be the case when the character's costume is dark gray.
  • the character display object is placed near the center in the horizontal direction of the foreground, the floating-in-space image 3-1, and in the background, the floating-in-space image 3-2, display objects 1855 and 1856 are placed on the left and right, avoiding the center in the horizontal direction where the character display object is located in the floating-in-space image 3-1.
  • This makes it possible to display characters with various character designs without the characters and background objects overlapping when viewed from the user, and the effect of motion parallax described above makes it possible to more clearly recognize the display position in the depth direction where the main content, the character display object 1850, is displayed, while maintaining the user's perception of depth more favorably.
  • the motion parallax in the display example of FIG. 18B is a motion parallax that occurs based on the actual spatial positions of the real images, the floating images 3-1 and 3-2, and is not a pseudo motion parallax. This is different from a technology that generates a pseudo motion parallax by image processing based on the user's viewpoint position.
  • the technology shown in the display example of FIG. 18B does not require image processing based on the user's viewpoint position, and the amount of processing can be relatively reduced.
  • technologies that require image processing based on the user's viewpoint position are often not easily compatible with simultaneous viewing by multiple people, the technology shown in the display example of FIG. 18B does not require image processing based on the user's viewpoint position, so even if multiple different users view from different angles, it is possible to obtain a more suitable motion parallax effect for each of them.
  • FIG. 18C shows an example of the display image of the display device 1 when the display example of FIG. 18B is displayed using the space-floating image display device 1000 of FIG. 17B equipped with the optical system of FIG. 17A.
  • the display screen 1801 of the display device 1 includes a display area 1501 and a display area 1502.
  • the display image of the display area 1502 of the display device 1 is displayed in the air as the space-floating image 3E, which corresponds to the space-floating image 3-1 of FIG. 18B.
  • the display image of display area 1501 of display device 1 is displayed in the air as space-floating image 3D, which corresponds to space-floating image 3-2 of FIG. 18B.
  • the display image of display area 1502 displayed in space-floating image 3-1 of FIG. 18B is displayed closer to the user than the display image of display area 1501 displayed in space-floating image 3-2 of FIG. 18B. Note that when the optical system of FIG. 15A to FIG.
  • the space floating image display device 1000 it is possible to display two image sources, each of which is displayed at a different depth in the air, on a single piece of hardware, the display device 1. Images are displayed in display area 1501 and display area 1502 of the display device 1, respectively, and the images of each frame of the two images are stored as part of a single image in the frame memory of the display device 1. Therefore, compared to a configuration in which different display devices are used to display the two images, it is not necessary to set up a complex synchronization system to synchronize the two images, which is more preferable. Compared to a configuration in which different display devices are used to display the two images, it is not necessary to set up two systems of hardware for various processes, such as display memory, and it can be realized more inexpensively.
  • a gap 1807 is provided between display area 1501 and display area 1502.
  • the display device 1 fixes the image to black display. The reason for this is explained below.
  • a light shielding plate is provided between display area 1501 and display area 1502 on the emission surface of the display screen of the display device 1. The light shielding plate is provided to prevent as much as possible the image light emitted from display area 1501 and the image light emitted from display area 1502 from mixing in each other's optical paths.
  • gap 1807 between display areas 1501 and 1502, and to make the width of the gap 1807 larger than the thickness of the light shielding plate provided between display areas 1501 and 1502 on the emission surface of the display screen of the display device 1. This makes it possible to prevent the image light emitted from display area 1501 and the image light emitted from display area 1502 from being vignetted by the light shielding plate, and to prevent mixing within each other's optical paths as much as possible. Note that although the image in the area of gap 1807 has been described as being fixed at black display, it may also be expressed as a content non-display area in which no content is displayed.
  • the first processing example is an example in which the image to be displayed in the display area 1501 and the image to be displayed in the display area 1502 are each reproduced from the storage unit 1170 and displayed.
  • content having video information of the character of display object 1850 and background video information including display objects 1855 and 1856, which are background objects, is stored in storage unit 1170, and video control unit 1160 plays the video information of the character of display object 1850 and places the played video information at a position corresponding to display area 1502 of display device 1 in FIG. 18C.
  • Video control unit 1160 further plays background video information including display objects 1855 and 1856 stored in storage unit 1170 and controls display in display area 1501 of display device 1 in FIG. 18C.
  • a second processing example for implementing the display example of FIG. 18C will be described using the configuration of the space floating image display device 1000 of FIG. 3.
  • the second processing example is an example in which a content creator, who is aware of the layout of the entire screen of the display screen 1801 of the display device 1 shown in FIG. 18C and the display areas 1501 and 1502, creates video content corresponding to the display screen 1801 including the display areas 1501 and 1502, stores the content in the storage unit 1170, and controls the video control unit 1160 to play back the video of the content and display it on the entire screen of the display screen 1801 of the display device 1.
  • the video of the video content corresponds to display screen 1801, includes a video of display object 1850, which is a character, at a position corresponding to display area 1502, and includes videos of display objects 1855 and 1856, which are background objects, at a position corresponding to display area 1501. Since the video of the content stored in storage unit 1170 corresponds to the layout of the entire screen of display screen 1801 and display areas 1501 and 1502 of FIG. 18C, video control unit 1160 only needs to control the video of the content to be played back and displayed on the entire screen of display screen 1801 of display device 1, and there is no need to perform complex image overlay processing when displaying the content, thereby reducing the amount of processing.
  • a third processing example for implementing the display example of FIG. 18C will be described using the configuration of the space-floating image display device 1000 of FIG. 3.
  • a content creator who is familiar with the layout of the entire screen of the display screen 1801 of the display device 1 shown in FIG. 18C and the display areas 1501 and 1502 creates video content corresponding to the display screen 1801 including the display areas 1501 and 1502, and stores the content in an external device different from the space-floating image display device 1000.
  • the external device is connected to the space-floating image display device 1000 so that a video output signal from the external device can be input from the video signal input unit 1131 of the space-floating image display device 1000 in FIG. 3.
  • the external device outputs a video signal of video content corresponding to the display screen 1801 including the display area 1501 and the display area 1502, and inputs it to the video signal input unit 1131 of the space-floating image display device 1000.
  • the video control unit 1160 reproduces the video signal of the video content input to the video signal input unit 1131, and controls it to be displayed on the display screen 1801 of the display device 1.
  • the contents of the video content are similar to the second processing example for the process for realizing the display example of FIG. 18C, so repeated explanation will be omitted.
  • the video control unit 1160 only needs to control the video of the content to be played back and displayed on the entire screen of the display screen 1801 of the display device 1, and there is no need to necessarily perform complex image overlay processing when displaying the content, making it possible to reduce the amount of processing.
  • the fourth processing example is an example in which an image generation program is used to generate an image to be displayed in the display area 1501 and an image to be displayed in the display area 1502 by rendering them from a 3D model.
  • an image generation program capable of generating a rendered image of a 3D model of a character corresponding to display object 1850 and generating a rendered image of a 3D model of a background object corresponding to display object 1855 and display object 1856 is stored in storage unit 1170.
  • Control unit 1110 reads out the image generation program from storage unit 1170 and expands it in memory 1109.
  • Control unit 1110 executes the image generation program expanded in memory 1109, and the image generation program renders the 3D model of the character to generate an image of display object 1850.
  • the image control unit 1160 controls the display of the generated image of the display object 1850 in the display area 1502 of FIG. 18C.
  • the image generation program renders a 3D model of the background object to generate images of the display objects 1855 and 1856.
  • the image control unit 1160 controls the display of the generated images of the display objects 1855 and 1856 in the display area 1501 of FIG. 18C.
  • the character that is the main content is a human character, but it may also be an animal character or a robot character. It may also be a so-called avatar-related character used in a virtual space.
  • the display object 1850 may be a character image rendered from a 3D model. Alternatively, a 2D animation character may be used. Alternatively, the character image may be a live-action image of a person, etc.
  • display object 1855 and display object 1856 which are the secondary content, are shown as objects indicating pillars, but they may be virtual frame objects, or furniture or equipment objects that are placed in the space in which the character, which is the primary content, is set to exist. Any object may be a background object located behind the character in the space in which the character is set to exist.
  • Space-floating image 3-1 and space-floating image 3-2 shown in FIG. 18D are multiple layers of space-floating images with different amounts of protrusion.
  • Space-floating image 3-1 is displayed in front of the user, and space-floating image 3-2 is displayed in the back of the user.
  • the display example of FIG. 18D can be used, for example, in a space-floating image display device having any of the optical systems shown in FIG. 15A to FIG. 17A.
  • the display example of FIG. 18D can be used, for example, in any of the space-floating image display devices shown in FIG. 17B to FIG. 17D.
  • the space-floating image 3-1 corresponds to the space-floating image 3E of FIG. 17B
  • the space-floating image 3-2 corresponds to the space-floating image 3D of FIG. 17B.
  • display object 1851 is an object displayed in the display image of floating-in-space image 3-2.
  • display object 1851 is a display object of a character.
  • the character is a human character.
  • display object 1857 and display object 1858 are objects displayed in the display image of floating-in-space image 3-1.
  • display object 1857 and display object 1858 are foreground objects.
  • a foreground object is an object that should be displayed spatially in front of the main content of the display content (closer to the user).
  • the background is text.
  • FIG. 18D text is displayed in the foreground as secondary content to display object 1851, which is the main content of the display content, of a character.
  • This display example is, for example, an animated video of the character of display object 1851 singing a song, and the text of the song's lyrics are displayed in display objects 1857 and 1858 in the foreground.
  • display object 1857 is an example of horizontally written text
  • display object 1858 is an example of vertically written text.
  • display objects 1857 and 1858 which are the lyrics of the song being sung by the character of display object 1851 displayed in the display image of floating in space image 3-2, are displayed in synchronization with the animation of the character singing in the floating in space image 3-1 in the foreground.
  • the lyrics displayed can be changed in tandem with it.
  • the characters may be scrolled in accordance with the progression of the singing, or the characters may be switched and displayed a few characters at a time while changing their position and size.
  • character display object 1851 and letter display object 1857 or display object 1858 may be displayed so that they appear to overlap when viewed from the front, as in FIG. 18D.
  • the floating-in-space image 3-1 and the floating-in-space image 3-2 are real images with a difference in depth
  • the distance and relative position of the character display object 1857 and display object 1858 change with respect to the position of the character display object 1851 due to the principle of motion parallax. This allows the user to easily recognize that the character display object 1857 and display object 1858 are displayed in front of the character display object 1851.
  • the character display object 1857 and display object 1858 displayed in the floating-in-space image 3-2 are not on the same plane as the character display object 1851 displayed in the floating-in-space image 3-1. This is more preferable because the display of the character display object 1851 displayed in the floating-in-space image 3-1 is not restricted by planar recognition that it is on the same plane as the character display object 1857 and display object 1858.
  • the motion parallax in the display example of FIG. 18D is a motion parallax that occurs based on the actual spatial positions of the real images, the floating images 3-1 and 3-2, and is not a pseudo motion parallax. This is different from a technology that generates a pseudo motion parallax by image processing based on the user's viewpoint position.
  • the technology shown in the display example of FIG. 18D does not require image processing based on the user's viewpoint position, and the amount of processing can be relatively reduced.
  • technologies that require image processing based on the user's viewpoint position are often not easily compatible with simultaneous viewing by multiple people, the technology shown in the display example of FIG. 18D does not require image processing based on the user's viewpoint position, so even if multiple different users view from different angles, it is possible to obtain a more suitable motion parallax effect for each of them.
  • display object 1857 and display object 1858 are displayed simultaneously, but these are each examples of character display modes and do not necessarily need to be displayed simultaneously. There may be times when neither is displayed.
  • FIG. 18E is an example of the display image of the display device 1 when the display example of FIG. 18D is displayed using the space-floating image display device 1000 of FIG. 17B equipped with the optical system of FIG. 17A.
  • Display screen 1801 of display device 1 includes display area 1501 and display area 1502.
  • the display image of display area 1502 of display device 1 is displayed in the air as space-floating image 3E, which corresponds to space-floating image 3-1 of FIG. 18D.
  • the display image of display area 1501 of display device 1 is displayed in the air as space-floating image 3D, which corresponds to space-floating image 3-2 of FIG. 18D.
  • the display image of display area 1502 displayed in space-floating image 3-1 of FIG. 18D is displayed closer to the user than the display image of display area 1501 displayed in space-floating image 3-2 of FIG. 18D.
  • the first processing example is an example in which the image to be displayed in the display area 1501 and the image to be displayed in the display area 1502 are each reproduced from the storage unit 1170 and displayed.
  • Video control unit 1160 plays the video information of the character of the display object 1851 singing, and places the played video information in a position corresponding to the display area 1501 of the display device 1 in FIG. 18E.
  • the video control unit 1160 can further play back the text information and additional information of the content stored in the storage unit 1170, and use the display timing information to control the display in the display area 1502 of the display device 1 in FIG. 18E in synchronization with the display of the above-mentioned video information.
  • the additional information includes information such as the display position, size, font, and display color of the text information
  • the display position, size, font, and display color of the text information can be determined and displayed based on this information.
  • a second processing example for implementing the display example of FIG. 18E will be described using the configuration of the space floating image display device 1000 of FIG. 3.
  • the second processing example is an example in which a content creator, who is aware of the layout of the entire screen of the display screen 1801 of the display device 1 shown in FIG. 18E and the display areas 1501 and 1502, creates video content corresponding to the display screen 1801 including the display areas 1501 and 1502, stores the content in the storage unit 1170, and controls the video control unit 1160 to play back the video of the content and display it on the entire screen of the display screen 1801 of the display device 1.
  • the video of the video content corresponds to display screen 1801, and includes a video of display object 1851, which is a singing character, at a position corresponding to display area 1501, and includes video of display object 1857 and display object 1858, which are lyric letter objects, at a position corresponding to display area 1502. Since the video of the content stored in storage unit 1170 corresponds to the layout of the entire screen of display screen 1801 and display areas 1501 and 1502 of FIG. 18E, video control unit 1160 only needs to control the video of the content to be played back and displayed on the entire screen of display screen 1801 of display device 1, and there is no need to perform complex image overlay processing when displaying the content, thereby reducing the amount of processing.
  • a third processing example for implementing the display example of FIG. 18E will be described using the configuration of the space-floating image display device 1000 of FIG. 3.
  • a content creator who is familiar with the layout of the entire screen of the display screen 1801 of the display device 1 shown in FIG. 18E and the display areas 1501 and 1502 creates video content corresponding to the display screen 1801 including the display areas 1501 and 1502, and stores the content in an external device different from the space-floating image display device 1000.
  • the contents of the video content are similar to the second processing example for the process for realizing the display example of FIG. 18E, so repeated explanation will be omitted.
  • the video control unit 1160 only needs to control the video of the content to be played back and displayed on the entire screen of the display screen 1801 of the display device 1, and there is no need to necessarily perform complex image overlay processing when displaying the content, making it possible to reduce the amount of processing.
  • the fourth processing example is an example in which an image generation program is used to generate an image to be displayed in the display area 1501 and an image to be displayed in the display area 1502 by rendering them from a 3D model.
  • an image generation program capable of generating a rendered image of a 3D model of a character corresponding to display object 1851 and generating a rendered image of a model in 3D space of character information corresponding to display object 1857 and display object 1858 is stored in storage unit 1170.
  • Control unit 1110 reads out the image generation program from storage unit 1170 and expands it in memory 1109.
  • Control unit 1110 executes the image generation program expanded in memory 1109, and the image generation program renders a 3D model of a character performing an animation of singing to generate an image of display object 1851.
  • the image control unit 1160 controls the display of the generated image of display object 1851 in display area 1501 of FIG. 18E.
  • the image generation program renders a model of the character information in 3D space to generate images of display objects 1857 and 1858.
  • the image control unit 1160 controls the display of the generated images of display objects 1857 and 1858 in display area 1501 of FIG. 18E.
  • the display object 1851 of the character which is the main content, may use a character image rendered from a 3D model.
  • a 2D animation character may be used.
  • live-action video of a person or the like may be used as the character image.
  • a music promotion video of a character or person singing may be used as the display object of the character of the display object 1851.
  • display objects 1857 and 1858 which are secondary content, are examples of display objects of letters that are the lyrics of the song being sung by the character, but they are not limited to this and may be display objects of so-called effect images that are displayed in front of the character.
  • Specific examples of effect images are any display object that displays an effect in front of the character, such as an effect image that displays stars that show sparkles, an effect image that displays lightning, an effect image that displays rain, an effect image that displays falling snow, or an effect image that displays fluttering petals. These effect images may also be displayed in conjunction with the animation of the character, which is the primary content.
  • display object 1857 or display object 1858 which is the secondary content
  • display object 1857 or display object 1858 is displayed in a space floating image with a different depth from display object 1851, which is the primary content, of the character, and motion parallax occurs. This has the effect of making it less likely that display objects such as characters will be restricted from being recognized two-dimensionally, even if the display object of the effect image is superimposed in front of the display object of the character.
  • a space-floating image display device that displays multiple layers of space-floating images with different amounts of protrusion, it is possible to display text information and effect images, which are secondary content, in a display position with a different depth direction relative to a display object such as a character, which is the primary content.
  • This makes it possible to reduce the constraint of the display object such as a character being perceived two-dimensionally, even if the display object such as a character or an effect image is displayed in a position where it is superimposed on the display object such as a character, which is more preferable.
  • an operation menu object may be displayed as the floating-in-space image 3-1 instead of or in addition to the text display object.
  • the operation menu object may be an operation menu for operating the floating-in-space image display device 1000.
  • An example of an operation of the floating-in-space image display device 1000 is an operation for adjusting the output audio level of the audio output unit 1140, a mute operation, etc.
  • the object of the operation menu may be an operation menu for performing operations related to the display of the character display object 1851, which is the main content.
  • One example of an operation related to the display of the display object 1851 is an operation to switch characters, an operation to change the shape or color of the character's costume, or an operation to change the character's movement.
  • Another example of an operation related to the display of the display object 1851 may be an operation to change the display brightness of the display object 1851, an operation to change the display position, or an operation to change the display size, etc.
  • the aerial operation detection sensor 1351E shown in FIG. 17C is configured to detect user operations on the space-floating image 3-1 in front of multiple space-floating images with different depths, it becomes possible to operate objects in an operation menu to perform various operations. With this configuration, it becomes possible to operate the display of another space-floating image with a different depth from the one space-floating image by using user operations via an operation menu displayed on the one space-floating image among multiple space-floating images with different depths.
  • the motion parallax effect caused by viewpoint movement allows the user to more clearly recognize that the operation menu objects displayed on the floating image 3-1 in the foreground and the main content objects displayed on the floating image 3-2 in the background are displayed at multiple display positions with different depth directions.
  • the technology according to this embodiment displays high-resolution, high-brightness image information in a state where it floats in space, allowing users to operate the device without feeling anxious about contact infection. If the technology according to this embodiment is used in a system used by an unspecified number of users, it will be possible to provide a contactless user interface that can be used without anxiety, reducing the risk of contact infection. This will contribute to the achievement of "Good health and well-being for all," one of the Sustainable Development Goals (SDGs) advocated by the United Nations.
  • SDGs Sustainable Development Goals
  • the technology according to this embodiment reduces the divergence angle of the emitted image light and aligns it to a specific polarization, so that only the normal reflected light is efficiently reflected by the retroreflector, making it possible to obtain bright and clear floating images with high light utilization efficiency.
  • the technology according to this embodiment can provide a highly usable non-contact user interface that can significantly reduce power consumption. This contributes to the achievement of "9. Build resilient infrastructure, promote inclusive and sustainable industrialization and innovation" and "11. Make cities and towns inclusive and sustainable” of the Sustainable Development Goals (SDGs) advocated by the United Nations.
  • the present invention is not limited to the above-mentioned embodiments and includes various modified examples.
  • the above-mentioned embodiments are detailed descriptions of the entire system in order to clearly explain the present invention, and are not necessarily limited to those having all of the configurations described.
  • 1...display device 2...retroreflector (retroreflective plate), 3...spatial image (floating image in space), 105...window glass, 100...transparent member, 101...polarized light separation member, 101B...polarized light separation member, 12...absorptive polarizer, 13...light source device, 54...light direction conversion panel, 151...retroreflector, 102, 202...LED board, 203...light guide, 205, 271...reflective sheet, 206, 270...phase difference plate, 230...user, 1000...floating image display device, 1110...control unit, 1160...image control unit, 1180...imaging unit, 1102...image display unit, 1350...air operation detection unit, 1351...air operation detection sensor.

Abstract

本発明の空中浮遊映像表示装置は、映像を表示する表示部(1)と、第1の偏光分離部材(101D)と、第2の偏光分離部材(101E)と、1つまたは複数の再帰反射板(2)と、を備え、表示部(1)の表示画面には、第1の映像表示領域(1501)と、第2の映像表示領域(1502)とがあり、第1の映像表示領域(1501)から出射した映像光が、第1の偏光分離部材(101D)の透過と、1つまたは複数の再帰反射板(2)に含まれるいずれか1つの再帰反射板における再帰反射を経たのち、第1の空中浮遊映像(3D)を空中に形成し、第2の映像表示領域(1502)から出射した映像光が、第2の偏光分離部材(101E)の透過または反射と、1つまたは複数の再帰反射板(2)に含まれるいずれか1つの再帰反射板における再帰反射を経たのち、第2の空中浮遊映像(3E)を空中に形成することにより、第1の空中浮遊映像(3D)と第2の空中浮遊映像(3E)がユーザから見て奥行方向が異なる複数層の空中浮遊映像を形成する。

Description

空中浮遊映像表示装置
 本発明は、空中浮遊映像表示装置に関する。
 空中浮遊情報表示技術については、例えば、特許文献1に開示されている。
特開2019-128722号公報
 しかしながら、特許文献1の開示では、空中浮遊映像の実用的な明るさや品位を得るための構成や、ユーザが空中浮遊映像をより楽しく視認するための構成などについての考慮は十分ではなかった。
 本発明の目的は、より好適な空中浮遊映像表示装置を提供することにある。
 上記課題を解決するために、例えば特許請求の範囲に記載の構成を採用する。本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、空中浮遊映像を表示する空中浮遊映像表示装置であって、映像を表示する表示部と、第1の偏光分離部材と、第2の偏光分離部材と、1つまたは複数の再帰反射板と、を備え、表示部の表示画面には、第1の映像表示領域と、第2の映像表示領域とがあり、表示部の表示画面の第1の映像表示領域から出射した映像光が、第1の偏光分離部材の透過と、1つまたは複数の再帰反射板に含まれるいずれか1つの再帰反射板における再帰反射を経たのち、第1の空中浮遊映像を空中に形成し、表示部の表示画面の第2の映像表示領域から出射した映像光が、第2の偏光分離部材の透過または反射と、1つまたは複数の再帰反射板に含まれるいずれか1つの再帰反射板における再帰反射を経たのち、第2の空中浮遊映像を空中に形成することにより、第1の空中浮遊映像と第2の空中浮遊映像がユーザから見て奥行方向が異なる複数層の空中浮遊映像を形成する、ように構成すればよい。
 本発明によれば、より好適な空中浮遊映像表示装置を実現できる。これ以外の課題、構成および効果は、以下の実施形態の説明において明らかにされる。
本発明の一実施例に係る空間浮遊映像表示装置の使用形態の一例を示す図である。 本発明の一実施例に係る空間浮遊映像表示装置の主要部構成と再帰反射部構成の一例を示す図である。 本発明の一実施例に係る空間浮遊映像表示装置の主要部構成と再帰反射部構成の一例を示す図である。 本発明の一実施例に係る空間浮遊映像表示装置の主要部構成と再帰反射部構成の一例を示す図である。 本発明の一実施例に係る空間浮遊映像表示装置の構成例を示す図である。 本発明の一実施例に係る空間浮遊映像表示装置の構成の一例を示す図である。 本発明の一実施例に係る空間浮遊映像表示装置の構成の一例を示す図である。 本発明の一実施例に係る空間浮遊映像表示装置の構成の一例を示す図である。 本発明の一実施例に係る空間浮遊映像表示装置の構成の一例を示す図である。 本発明の一実施例に係る空間浮遊映像表示装置の構成の一例を示す図である。 本発明の一実施例に係る空間浮遊映像表示装置の構成の一例を示す図である。 本発明の一実施例に係る空間浮遊映像表示装置の構成の一例を示す図である。 本発明の一実施例に係る空間浮遊映像表示装置の構成の一例を示す図である。 本発明の一実施例に係る空間浮遊映像表示装置の構成の一例を示す図である。 本発明の一実施例に係る空間浮遊映像表示装置の構成の一例を示す図である。 本発明の一実施例に係る空間浮遊映像表示装置の構成の一例を示す図である。 本発明の一実施例に係る空間浮遊映像表示装置の構成の一例を示す図である。 本発明の一実施例に係る空間浮遊映像表示装置の構成の一例を示す図である。 本発明の一実施例に係る光源装置の具体的な構成の一例を示す断面図である。 本発明の一実施例に係る光源装置の具体的な構成の一例を示す断面図である。 本発明の一実施例に係る光源装置の具体的な構成の一例を示す断面図である。 本発明の一実施例に係る空間浮遊映像表示装置の主要部を示す配置図である。 本発明の一実施例に係る表示装置の構成を示す断面図である。 本発明の一実施例に係る表示装置の構成を示す断面図である。 本発明の一実施例に係る映像表示装置の光源拡散特性を説明するための説明図である。 本発明の一実施例に係る映像表示装置の拡散特性を説明するための説明図である。 本発明の一実施例に係る画像処理が解決する課題の一例の説明図である。 本発明の一実施例に係る画像処理の一例の説明図である。 本発明の一実施例に係る映像表示処理の一例の説明図である。 本発明の一実施例に係る映像表示処理の一例の説明図である。 本発明の一実施例に係る空間浮遊映像表示装置の主要部構成と再帰反射部構成の一例を示す図である。 本発明の一実施例に係る空間浮遊映像表示装置の主要部構成と再帰反射部構成の一例を示す図である。 本発明の一実施例に係る空間浮遊映像表示装置の主要部構成と再帰反射部構成の一例を示す図である。 本発明の一実施例に係る空間浮遊映像表示装置の主要部構成と再帰反射部構成の一例を示す図である。 本発明の一実施例に係る空間浮遊映像表示装置の主要部構成と再帰反射部構成の一例を示す図である。 本発明の一実施例に係る空間浮遊映像表示装置の主要部構成と再帰反射部構成の一例を示す図である。 本発明の一実施例に係る空間浮遊映像表示装置の構成の一例を示す図である。 本発明の一実施例に係る空間浮遊映像表示装置の構成の一例を示す図である。 本発明の一実施例に係る空間浮遊映像表示装置の構成の一例を示す図である。 本発明の一実施例に係る空間浮遊映像表示装置の表示例の一例を示す図である。 本発明の一実施例に係る空間浮遊映像表示装置の表示例の一例を示す図である。 本発明の一実施例に係る空間浮遊映像表示装置の表示例の一例を示す図である。 本発明の一実施例に係る空間浮遊映像表示装置の表示例の一例を示す図である。 本発明の一実施例に係る空間浮遊映像表示装置の表示例の一例を示す図である。
 以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、本発明は実施例の説明に限定されるものではなく、本明細書に開示される技術的思想の範囲内において当業者による様々な変更および修正が可能である。また、本発明を説明するための全図において、同一の機能を有するものには、同一の符号を付与し、その繰り返しの説明は省略する場合がある。
 以下の実施例は、映像発光源からの映像光による映像を、ガラス等の空間を仕切る透明な部材を介して透過して、前記透明な部材の外部に空間浮遊映像として表示することが可能な映像表示装置に関する。なお、以下の実施例の説明において、空間に浮遊する映像を「空間浮遊映像」という用語で表現している。この用語の代わりに、「空中像」、「空間像」、「空中浮遊映像」、「表示映像の空間浮遊光学像」、「表示映像の空中浮遊光学像」などと表現してもかまわない。実施例の説明で主として用いる「空間浮遊映像」との用語は、これらの用語の代表例として用いている。
 以下の実施例によれば、例えば、銀行のATMや駅の券売機やデジタルサイネージ等において好適な映像表示装置を実現できる。例えば、現状、銀行のATMや駅の券売機等では、通常、タッチパネルが用いられているが、透明なガラス面や光透過性の板材を用いて、このガラス面や光透過性の板材上に高解像度な映像情報を空間浮遊した状態で表示可能となる。この時、出射する映像光の発散角を小さく、即ち鋭角とし、さらに特定の偏波に揃えることで、再帰反射板に対して正規の反射光だけを効率良く反射させるため、光の利用効率が高く、従来の再帰反射方式での課題となっていた主空間浮遊像の他に発生するゴースト像を抑えることができ、鮮明な空間浮遊映像を得ることができる。また、本実施例の光源を含む装置により、消費電力を大幅に低減することが可能な、新規で利用性に優れた空間浮遊映像表示装置(空間浮遊映像表示システム)を提供することができる。また、例えば、車両において車両内部および/または外部において視認可能である、いわゆる、一方向性の空間浮遊映像表示が可能な車両用空間浮遊映像表示装置を提供することができる。
 <実施例1>
 <空間浮遊映像表示装置の使用形態の一例>
 図1は、本発明の一実施例に係る空間浮遊映像表示装置の使用形態の一例を示す図であり、本実施例に係る空間浮遊映像表示装置の全体構成を示す図である。空間浮遊映像表示装置の具体的な構成については、図2等を用いて詳述するが、映像表示装置1から挟角な指向特性でかつ特定偏波の光が、映像光束として出射し、空間浮遊映像表示装置内の光学系での反射等を経て再帰反射板2に一旦入射し、再帰反射して透明な部材100(ガラス等)を透過して、ガラス面の外側に、実像である空中像(空間浮遊映像3)を形成する。なお、以下の実施例においては、再帰反射部材の例として再帰反射板2(再帰性反射板)を用いて説明する。しかしながら、本発明の再帰反射板2は平面形状のプレートに限られず、平面または非平面の部材に貼り付けるシート状の再帰反射部材や、平面または非平面の部材にシート状の再帰反射部材を貼り付けたアセンブリ全体を含む概念の例として用いている。
 また、店舗等においては、ガラス等の透光性の部材であるショーウィンド(「ウィンドガラス」とも言う)105により空間が仕切られている。本実施例の空間浮遊映像表示装置によれば、かかる透明な部材を透過して、浮遊映像を店舗(空間)の外部および/または内部に対して一方向に表示することが可能である。
 図1では、ウィンドガラス105の内側(店舗内)を奥行方向にしてその外側(例えば、歩道)が手前になるように示している。他方、ウィンドガラス105に特定偏波を反射する手段を設けることで反射させ、店内の所望の位置に空中像を形成することもできる。
 <空間浮遊映像表示装置の光学システムの構成例>
 図2Aは、本発明の一実施例に係る空間浮遊映像表示装置の光学システムの構成の一例を示す図である。図2Aを用いて、空間浮遊映像表示装置の構成をより具体的に説明する。図2A(1)に示すように、ガラス等の透明な部材100の斜め方向には、特定偏波の映像光を挟角に発散させる表示装置1を備える。表示装置1は、液晶表示パネル11と、挟角な拡散特性を有する特定偏波の光を生成する光源装置13とを備えている。
 表示装置1からの特定偏波の映像光は、透明な部材100に設けた特定偏波の映像光を選択的に反射する膜を有する偏光分離部材101(図中は偏光分離部材101をシート状に形成して透明な部材100に粘着している)で反射され、再帰反射板2に入射する。再帰反射板2の映像光入射面にはλ/4板21を設ける。映像光は、再帰反射板2への入射のときと出射のときの2回、λ/4板21を通過させられることで、特定偏波から他方の偏波へ偏光変換される。ここで、特定偏波の映像光を選択的に反射する偏光分離部材101は偏光変換された他方の偏波の偏光は透過する性質を有するので、偏光変換後の特定偏波の映像光は、偏光分離部材101を透過する。偏光分離部材101を透過した映像光が、透明な部材100の外側に、実像である空間浮遊映像3を形成する。
 ここで、図2Aの光学システムにおける偏光設計の第1の例を説明する。例えば、表示装置1からS偏光の映像光が偏光分離部材101へ射出される構成とし、偏光分離部材101がS偏光を反射しP偏光を透過する特性を有する構成としても良い。この場合、表示装置1から偏光分離部材101へ到達したS偏光の映像光は、偏光分離部材101により反射され、再帰反射板2へ向かう。当該映像光が再帰反射板2で反射される際に、再帰反射板2の入射面に設けられたλ/4板21を2回通過するので、当該映像光はS偏光からP偏光へ変換される。P偏光へ変換された映像光は再び偏光分離部材101へ向かう。ここで、偏光分離部材101は、S偏光を反射しP偏光を透過する特性を有するので、P偏光の映像光は偏光分離部材101を透過し、透明な部材100を透過する。透明な部材100を透過した映像光は、再帰反射板2により生成された光であるため、偏光分離部材101に対して表示装置1の表示映像と鏡面関係にある位置に、表示装置1の表示映像の光学像である空間浮遊映像3を形成する。このような偏光設計により好適に空間浮遊映像3を形成することができる。
 次に、図2Aの光学システムにおける偏光設計の第2の例を説明する。例えば、表示装置1からP偏光の映像光が偏光分離部材101へ射出される構成とし、偏光分離部材101がP偏光を反射しS偏光を透過する特性を有する構成としても良い。この場合、表示装置1から偏光分離部材101へ到達したP偏光の映像光は、偏光分離部材101により反射され、再帰反射板2へ向かう。当該映像光が再帰反射板2で反射される際に、再帰反射板2の入射面に設けられたλ/4板21を2回通過するので、当該映像光はP偏光からS偏光へ変換される。S偏光へ変換された映像光は再び偏光分離部材101へ向かう。ここで、偏光分離部材101は、P偏光を反射しS偏光を透過する特性を有するので、S偏光の映像光は偏光分離部材101を透過し、透明な部材100を透過する。透明な部材100を透過した映像光は、再帰反射板2により生成された光であるため、偏光分離部材101に対して表示装置1の表示映像と鏡面関係にある位置に、表示装置1の表示映像の光学像である空間浮遊映像3を形成する。このような偏光設計により好適に空間浮遊映像3を形成することができる。
 なお、空間浮遊映像3を形成する光は再帰反射板2から空間浮遊映像3の光学像へ収束する光線の集合であり、これらの光線は、空間浮遊映像3の光学像を通過後も直進する。よって、空間浮遊映像3は、一般的なプロジェクタなどでスクリーン上に形成される拡散映像光とは異なり、高い指向性を有する映像である。よって、図2Aの構成では、矢印Aの方向からユーザが視認する場合は、空間浮遊映像3は明るい映像として視認される。しかし、矢印Bの方向から他の人物が視認する場合は、空間浮遊映像3は映像として一切視認することはできない。この特性は、高いセキュリティが求められる映像や、ユーザに正対する人物には秘匿したい秘匿性の高い映像を表示するシステムに採用する場合に非常に好適である。
 なお、再帰反射板2の性能によっては、反射後の映像光の偏光軸が不揃いになることがある。また、反射角度も不揃いになることがある。このような不揃いの光は、設計上想定された偏光状態および進行角度を保たないことが有る。例えば、このような設計想定外の偏光状態および進行角度の光が、再帰反射板2の位置から偏光分離部材を介さずに直接液晶表示パネル11の映像表示面側へ再入射してしまうこともある。このような設計想定外の偏光状態および進行角度の光が、空間浮遊映像表示装置内の部品で反射したのち、液晶表示パネル11の映像表示面側へ再入射してしまうこともある。このような液晶表示パネル11の映像表示面側へ再入射した光が、表示装置1を構成する液晶表示パネル11の映像表示面で再反射し、ゴースト像を発生させ空間浮遊像の画質を低下させる可能性がある。そこで、本実施例では表示装置1の映像表示面に吸収型偏光板12を設けてもよい。表示装置1から出射する映像光は吸収型偏光板12を透過させ、偏光分離部材101から戻ってくる反射光は吸収型偏光板12で吸収させることで、上記再反射を抑制できる。これにより、空間浮遊像のゴースト像による画質低下を防止することができる。具体的には、表示装置1からS偏光の映像光が偏光分離部材101へ射出される構成であれば、吸収型偏光板12はP偏光を吸収する偏光板とすればよい。また、表示装置1からP偏光の映像光が偏光分離部材101へ射出される構成であれば、吸収型偏光板12はS偏光を吸収する偏光板とすればよい。
 上述した偏光分離部材101は、例えば反射型偏光板や特定偏波を反射させる金属多層膜などで形成すればよい。
 次に、図2A(2)に、代表的な再帰反射板2として、今回の検討に用いた日本カーバイド工業株式会社製の再帰反射板の表面形状を示す。規則的に配列された6角柱の内部に入射した光線は、6角柱の壁面と底面で反射され再帰反射光として入射光に対応した方向に出射し、表示装置1に表示した映像に基づき実像である空間浮遊映像を表示する。
 この空間浮遊像の解像度は、液晶表示パネル11の解像度の他に、図2A(2)で示す再帰反射板2の再帰反射部の外形DとピッチPに大きく依存する。例えば、7インチのWUXGA(1920×1200画素)液晶表示パネルを用いる場合には、1画素(1トリプレット)が約80μmであっても、例えば再帰反射部の直径Dが240μmでピッチが300μmであれば、空間浮遊像の1画素は300μm相当となる。このため、空間浮遊映像の実効的な解像度は1/3程度に低下する。
 そこで、空間浮遊映像の解像度を表示装置1の解像度と同等にするためには、再帰反射部の直径とピッチを液晶表示パネルの1画素に近づけることが望まれる。他方、再帰反射板と液晶表示パネルの画素によるモアレの発生を抑えるため、それぞれのピッチ比を1画素の整数倍から外して設計すると良い。また、形状は、再帰反射部のいずれの一辺も液晶表示パネルの1画素のいずれの一辺と重ならないように配置すると良い。
 なお、本実施例に係る再帰反射板の表面形状は上述の例に限られない。再帰性反射を実現するさまざまな表面形状を有してよい。具体的には、三角錐プリズム、六角錐プリズム、その他多角形プリズムまたはこれらの組み合わせを周期的に配置した再帰反射素子を、本実施例の再帰反射板の表面に備えても良い。または、これらのプリズムを周期的に配置してキューブコーナーを形成する再帰反射素子を、本実施例の再帰反射板の表面に備えても良い。または、ガラスビーズを周期的に配置したカプセルレンズ型再帰反射素子を、本実施例の再帰反射板の表面に備えても良い。これらの再帰反射素子の詳細な構成は、既存の技術を用いれば良いので、詳細な説明は省略する。具体的には、特開2001-33609号公報、特開2001-264525号公報、特開2005-181555号公報、特開2008-70898号公報、特開2009-229942号公報などに開示される技術を用いればよい。
 <空間浮遊映像表示装置の光学システムの他の構成例1>
 空間浮遊映像表示装置の光学システムの他の構成例について、図2Bを用いて説明する。なお、図2Bにおいて、図2Aと同一の符号を付している構成は、図2Aと同一の機能、構成を有するものする。このような構成については、説明を単純化するために繰り返しの説明は省略する。
 図2Bの光学システムでは、図2Aと同様に、表示装置1から特定偏波の映像光が出力される。表示装置1から出力された特定偏波の映像光は、偏光分離部材101Bに入力される。偏光分離部材101Bは、特定偏波の映像光を選択的に透過する部材である。偏光分離部材101Bは、図2Aの偏光分離部材101とは異なり、透明な部材100とは一体ではなく、独立して板状の形状をしている。よって、偏光分離部材101Bは、偏光分離板と表現してもよい。偏光分離部材101Bは、例えば、透明部材に偏光分離シートを貼り付けて構成して構成する反射型偏光板として構成してもよい。または、透明部材に特定偏波を選択的に透過させ、他の特定偏波の偏波を反射する金属多層膜などで形成すればよい。図2Bでは、偏光分離部材101Bは、表示装置1から出力された特定偏波の映像光を透過するように構成されている。
 偏光分離部材101Bを透過した映像光は、再帰反射板2に入射する。再帰反射板の映像光入射面にはλ/4板21を設ける。映像光は、再帰反射板への入射のときと出射のときの2回において、λ/4板21を通過させられることで特定偏波から他方の偏波へ偏光変換される。ここで、偏光分離部材101Bは、λ/4板21で偏光変換された他方の偏波の偏光は反射する性質を有するので、偏光変換後の映像光は、偏光分離部材101Bで反射される。偏光分離部材101Bで反射した映像光は、透明な部材100を透過し、透明な部材100の外側に実像である空間浮遊映像3を形成する。
 ここで、図2Bの光学システムにおける偏光設計の第1の例を説明する。例えば、表示装置1からP偏光の映像光が偏光分離部材101Bへ射出される構成とし、偏光分離部材101BがS偏光を反射しP偏光を透過する特性を有する構成としても良い。この場合、表示装置1から偏光分離部材101Bへ到達したP偏光の映像光は、偏光分離部材101Bを透過し、再帰反射板2へ向かう。当該映像光が再帰反射板2で反射される際に、再帰反射板2の入射面に設けられたλ/4板21を2回通過するので、当該映像光はP偏光からS偏光へ変換される。S偏光へ変換された映像光は再び偏光分離部材101Bへ向かう。ここで、偏光分離部材101Bは、S偏光を反射しP偏光を透過する特性を有するので、S偏光の映像光は偏光分離部材101で反射され、透明な部材100を透過する。透明な部材100を透過した映像光は、再帰反射板2により生成された光であるため、偏光分離部材101Bに対して表示装置1の表示映像と鏡面関係にある位置に、表示装置1の表示映像の光学像である空間浮遊映像3を形成する。このような偏光設計により好適に空間浮遊映像3を形成することができる。
 次に、図2Bの光学システムにおける偏光設計の第2の例を説明する。例えば、表示装置1からS偏光の映像光が偏光分離部材101Bへ射出される構成とし、偏光分離部材101BがP偏光を反射しS偏光を透過する特性を有する構成としても良い。この場合、表示装置1から偏光分離部材101Bへ到達したS偏光の映像光は、偏光分離部材101Bを透過し、再帰反射板2へ向かう。当該映像光が再帰反射板2で反射される際に、再帰反射板2の入射面に設けられたλ/4板21を2回通過するので、当該映像光はS偏光からP偏光へ変換される。P偏光へ変換された映像光は再び偏光分離部材101Bへ向かう。ここで、偏光分離部材101Bは、P偏光を反射しS偏光を透過する特性を有するので、P偏光の映像光は偏光分離部材101で反射され、透明な部材100を透過する。透明な部材100を透過した映像光は、再帰反射板2により生成された光であるため、偏光分離部材101Bに対して表示装置1の表示映像と鏡面関係にある位置に、表示装置1の表示映像の光学像である空間浮遊映像3を形成する。このような偏光設計により、好適に空間浮遊映像3を形成することができる。
 なお、図2Bにおいては、表示装置1の映像表示面と、再帰反射板2の面は平行に配置されている。偏光分離部材101Bは、表示装置1の映像表示面および再帰反射板2の面に対して、角度α(例えば30°)だけ傾いて配置されている。すると、偏光分離部材101Bの反射においては、再帰反射板2から入射される映像光の進行方向(当該映像光の主光線の方向)に対して、偏光分離部材101Bで反射された映像光の進行方向(当該映像光の主光線の方向)は、角度β(例えば60°)だけ異なる方向となる。このように構成することにより、図2Bの光学システムでは、透明な部材100の外側に向けて図示される所定の角度で映像光が出力され、実像である空間浮遊映像3を形成する。図2Bの構成では、矢印Aの方向からユーザが視認する場合は、空間浮遊映像3は明るい映像として視認される。しかし、矢印Bの方向から他の人物が視認する場合は、空間浮遊映像3は映像として一切視認することはできない。この特性は、高いセキュリティが求められる映像や、ユーザに正対する人物には秘匿したい秘匿性の高い映像を表示するシステムに採用する場合に非常に好適である。
 以上説明したように、図2Bの光学システムでは、図2Aの光学システムとは異なる構成の光学システムでありながら、図2Aの光学システムと同様に、好適な空間浮遊映像を形成することができる。
 なお、透明な部材100の偏光分離部材101B側の面に吸収型偏光板を設けても良い。当該吸収型偏光板は、偏光分離部材101Bからの映像光の偏波を透過し、偏光分離部材101Bからの映像光の偏波と位相が90°異なる偏波を吸収する吸収型偏光板とすればよい。このようにすれば、空間浮遊映像3を形成するための映像光は充分透過させながら、透明な部材100の空間浮遊映像3側から入射する外光を約50%低減することができる。これにより、透明な部材100の空間浮遊映像3側から入射する外光にもとづく図2Bの光学システム内の迷光を低減することができる。
 <空間浮遊映像表示装置の光学システムの他の構成例2>
 空間浮遊映像表示装置の光学システムの他の構成例について、図2Cを用いて説明する。なお、図2Cにおいて、図2Bと同一の符号を付している構成は、図2Bと同一の機能、構成を有するものする。このような構成については、説明を単純化するために繰り返しの説明はしない。
 図2Bの光学システムに対する図2Cの光学システムの相違点は、表示装置1の映像表示面および再帰反射板2の面に対する、偏光分離部材101Bの配置角度のみである。その他の構成はいずれも、図2Bの光学システムと同様であるので繰り返しの説明は省略する。図2Cの光学システムの偏光設計も、図2Bの光学システムの偏光設計と同様であるため、繰り返しの説明は省略する。
 図2Cの光学システムでは、偏光分離部材101Bは、表示装置1の映像表示面および再帰反射板2の面に対して、角度αだけ傾いて配置されている。図2Cにおいて、その角度αは45°である。このように構成すると、偏光分離部材101Bの反射においては、再帰反射板2から入射される映像光の進行方向(当該映像光の主光線の方向)に対する、偏光分離部材101Bで反射された映像光の進行方向(当該映像光の主光線の方向)のなす角度βは90°となる。このように構成すると、表示装置1の映像表示面および再帰反射板2の面と、偏光分離部材101Bで反射された映像光の進行方向とが直角の関係になり、光学システムを構成する面の角度関係をシンプルにすることができる。透明な部材100の面を偏光分離部材101Bで反射された映像光の進行方向に対して直交するように配置すれば、さらに光学システムを構成する面の角度関係をシンプルにすることができる。図2Cの構成では、矢印Aの方向からユーザが視認する場合は、空間浮遊映像3は明るい映像として視認される。しかし、矢印Bの方向から他の人物が視認する場合は、空間浮遊映像3は映像として一切視認することはできない。この特性は、高いセキュリティが求められる映像や、ユーザに正対する人物には秘匿したい秘匿性の高い映像を表示するシステムに採用する場合に非常に好適である。
 以上説明したように、図2Cの光学システムでは、図2Aおよび図2Bの光学システムとは異なる構成の光学システムでありながら、図2Aおよび図2Bの光学システムと同様に、好適な空間浮遊映像を形成することができる。また、光学システムを構成する面の角度をよりシンプルにすることができる。
 なお、透明な部材100の偏光分離部材101B側の面に吸収型偏光板を設けても良い。当該吸収型偏光板は、偏光分離部材101Bからの映像光の偏波を透過し、偏光分離部材101Bからの映像光の偏波と位相が90°異なる偏波を吸収する吸収型偏光板とすればよい。このようにすれば、空間浮遊映像3を形成するための映像光は充分透過させながら、透明な部材100の空間浮遊映像3側から入射する外光を約50%低減することができる。これにより、透明な部材100の空間浮遊映像3側から入射する外光にもとづく図2Cの光学システム内の迷光を低減することができる。
 以上説明した、図2A、図2B,図2Cの光学システムによれば、より明るく、より高品位な空間浮遊映像を提供することができる。
 <<空間浮遊映像表示装置の内部構成のブロック図>>
 次に、空間浮遊映像表示装置1000の内部構成のブロック図について説明する。図3は、空間浮遊映像表示装置1000の内部構成の一例を示すブロック図である。
 空間浮遊映像表示装置1000は、再帰反射部1101、映像表示部1102、導光体1104、光源1105、電源1106、外部電源入力インタフェース1111、操作入力部1107、不揮発性メモリ1108、メモリ1109、制御部1110、映像信号入力部1131、音声信号入力部1133、通信部1132、空中操作検出センサ1351、空中操作検出部1350、音声出力部1140、映像制御部1160、ストレージ部1170、撮像部1180等を備えている。なお、リムーバブルメディアインタフェース1134、姿勢センサ1113、透過型自発光映像表示装置1650、第2の表示装置1680、または二次電池1112などを備えても良い。
 空間浮遊映像表示装置1000の各構成要素は、筐体1190に配置されている。なお、図3に示す撮像部1180および空中操作検出センサ1351は、筐体1190の外側に設けられてもよい。
 図3の再帰反射部1101は、図2A、図2B、図2Cの再帰反射板2に対応している。再帰反射部1101は、映像表示部1102により変調された光を再帰性反射する。再帰反射部1101からの反射光のうち、空間浮遊映像表示装置1000の外部に出力された光により空間浮遊映像3が形成される。
 図3の映像表示部1102は、図2A、図2B、図2Cの液晶表示パネル11に対応している。図3の光源1105は、図2A、図2B、図2Cの光源装置13と対応している。そして、図3の映像表示部1102、導光体1104、および光源1105は、図2A、図2B、図2Cの表示装置1に対応している。
 映像表示部1102は、後述する映像制御部1160による制御により入力される映像信号に基づいて、透過する光を変調して映像を生成する表示部である。映像表示部1102は、図2A、図2B、図2Cの液晶表示パネル11に対応している。映像表示部1102として、例えば透過型液晶パネルが用いられる。また、映像表示部1102として、例えば反射する光を変調する方式の反射型液晶パネルやDMD(Digital Micromirror Device:登録商標)パネル等が用いられてもよい。
 光源1105は、映像表示部1102用の光を発生するもので、LED光源、レーザ光源等の固体光源である。電源1106は、外部から外部電源入力インタフェース1111介して入力されるAC電流をDC電流に変換し、光源1105に電力を供給する。また、電源1106は、空間浮遊映像表示装置1000内の各部に、それぞれ必要なDC電流を供給する。二次電池1112は、電源1106から供給される電力を蓄電する。また、二次電池1112は、外部電源入力インタフェース1111を介して、外部から電力が供給されない場合に、光源1105およびその他電力を必要とする構成に対して電力を供給する。すなわち、空間浮遊映像表示装置1000が二次電池1112を備える場合は、外部から電力が供給されない場合でもユーザは空間浮遊映像表示装置1000を使用することが可能となる。
 導光体1104は、光源1105で発生した光を導光し、映像表示部1102に照射させる。導光体1104と光源1105とを組み合わせたものを、映像表示部1102のバックライトと称することもできる。導光体1104は、主にガラスを用いた構成にしてもよい。導光体1104は、主にプラスチックを用いた構成にしてもよい。導光体1104は、ミラーを用いた構成にしてもよい。導光体1104と光源1105との組み合わせには、さまざまな方式が考えられる。導光体1104と光源1105との組み合わせについての具体的な構成例については、後で詳しく説明する。
 空中操作検出センサ1351は、ユーザ230の指による空間浮遊映像3の操作を検出するセンサである。空中操作検出センサ1351は、例えば空間浮遊映像3の表示範囲の全部と重畳する範囲をセンシングする。なお、空中操作検出センサ1351は、空間浮遊映像3の表示範囲の少なくとも一部と重畳する範囲のみをセンシングしてもよい。
 空中操作検出センサ1351の具体例としては、赤外線などの非可視光、非可視光レーザ、超音波等を用いた距離センサが挙げられる。また、空中操作検出センサ1351は、複数のセンサを複数組み合わせ、2次元平面の座標を検出できるように構成されたものでもよい。また、空中操作検出センサ1351は、ToF(Time of Flight)方式のLiDAR(Light Detection and Ranging)や、画像センサで構成されてもよい。
 空中操作検出センサ1351は、ユーザが指で空間浮遊映像3として表示されるオブジェクトに対するタッチ操作等を検出するためのセンシングができればよい。このようなセンシングは、既存の技術を用いて行うことができる。
 空中操作検出部1350は、空中操作検出センサ1351からセンシング信号を取得し、センシング信号に基づいてユーザ230の指による空間浮遊映像3のオブジェクトに対する接触の有無や、ユーザ230の指とオブジェクトとが接触した位置(接触位置)の算出等を行う。空中操作検出部1350は、例えば、FPGA(Field Programmable Gate Array)等の回路で構成される。また、空中操作検出部1350の一部の機能は、例えば制御部1110で実行される空間操作検出用プログラムによりソフトウェアで実現されてもよい。
 空中操作検出センサ1351および空中操作検出部1350は、空間浮遊映像表示装置1000に内蔵された構成としてもよいが、空間浮遊映像表示装置1000とは別体で外部に設けられてもよい。空間浮遊映像表示装置1000と別体で設ける場合、空中操作検出センサ1351および空中操作検出部1350は、有線または無線の通信接続路や映像信号伝送路を介して空間浮遊映像表示装置1000に情報や信号を伝達できるように構成される。
 また、空中操作検出センサ1351および空中操作検出部1350が別体で設けられてもよい。これにより、空中操作検出機能の無い空間浮遊映像表示装置1000を本体として、空中操作検出機能のみをオプションで追加できるようなシステムを構築することが可能である。また、空中操作検出センサ1351のみを別体とし、空中操作検出部1350が空間浮遊映像表示装置1000に内蔵された構成でもよい。空間浮遊映像表示装置1000の設置位置に対して空中操作検出センサ1351をより自由に配置したい場合等には、空中操作検出センサ1351のみを別体とする構成に利点がある。
 撮像部1180は、イメージセンサを有するカメラであり、空間浮遊映像3付近の空間、および/またはユーザ230の顔、腕、指などを撮像する。撮像部1180は、複数設けられてもよい。複数の撮像部1180を用いることで、あるいは深度センサ付きの撮像部を用いることで、ユーザ230による空間浮遊映像3のタッチ操作の検出処理の際、空中操作検出部1350を補助することができる。撮像部1180は、空間浮遊映像表示装置1000と別体で設けられてもよい。撮像部1180を空間浮遊映像表示装置1000と別体で設ける場合、有線または無線の通信接続路などを介して空間浮遊映像表示装置1000に撮像信号を伝達できるように構成すればよい。
 例えば、空中操作検出センサ1351が、空間浮遊映像3の表示面を含む平面(侵入検出平面)を対象として、この侵入検出平面内への物体の侵入の有無を検出する物体侵入センサとして構成された場合、侵入検出平面内に侵入していない物体(例えば、ユーザの指)が侵入検出平面からどれだけ離れているのか、あるいは物体が侵入検出平面にどれだけ近いのかといった情報を、空中操作検出センサ1351では検出できない場合がある。
 このような場合、複数の撮像部1180の撮像画像に基づく物体の深度算出情報や深度センサによる物体の深度情報等の情報を用いることにより、物体と侵入検出平面との距離を算出することができる。そして、これらの情報や、物体と侵入検出平面との距離等の各種情報は、空間浮遊映像3に対する各種表示制御に用いられる。
 また、空中操作検出センサ1351を用いずに、撮像部1180の撮像画像に基づき、空中操作検出部1350がユーザ230による空間浮遊映像3のタッチ操作を検出するようにしてもよい。
 また、撮像部1180が空間浮遊映像3を操作するユーザ230の顔を撮像し、制御部1110がユーザ230の識別処理を行うようにしてもよい。また、空間浮遊映像3を操作するユーザ230の周辺や背後に他人が立っており、他人が空間浮遊映像3に対するユーザ230の操作を覗き見ていないか等を判別するため、撮像部1180は、空間浮遊映像3を操作するユーザ230と、ユーザ230の周辺領域とを含めた範囲を撮像するようにしてもよい。
 操作入力部1107は、例えば操作ボタンや、リモートコントローラ等の信号受信部または赤外光受光部であり、ユーザ230による空中操作(タッチ操作)とは異なる操作についての信号を入力する。空間浮遊映像3をタッチ操作する前述のユーザ230とは別に、操作入力部1107は、例えば管理者が空間浮遊映像表示装置1000を操作するために用いられてもよい。
 映像信号入力部1131は、外部の映像出力装置を接続して映像データを入力する。映像信号入力部1131は、さまざまなデジタル映像入力インタフェースが考えられる。例えば、HDMI(登録商標)(High-Definition Multimedia Interface)規格の映像入力インタフェース、DVI(Digital Visual Interface)規格の映像入力インタフェース、またはDisplayPort規格の映像入力インタフェースなどで構成すればよい。または、アナログRGBや、コンポジットビデオなどのアナログ映像入力インタフェースを設けてもよい。音声信号入力部1133は、外部の音声出力装置を接続して音声データを入力する。音声信号入力部1133は、HDMI規格の音声入力インタフェース、光デジタル端子インタフェース、または、同軸デジタル端子インタフェース、などで構成すればよい。HDMI規格のインタフェースの場合は、映像信号入力部1131と音声信号入力部1133とは、端子およびケーブルが一体化したインタフェースとして構成されてもよい。音声出力部1140は、音声信号入力部1133に入力された音声データに基づいた音声を出力することが可能である。音声出力部1140は、スピーカーで構成してもよい。また、音声出力部1140は、内蔵の操作音やエラー警告音を出力してもよい。または、HDMI規格に規定されるAudio Return Channel機能のように、外部機器にデジタル信号として出力する構成を音声出力部1140としてもよい。
 不揮発性メモリ1108は、空間浮遊映像表示装置1000で用いる各種データを格納する。不揮発性メモリ1108に格納されるデータには、例えば、空間浮遊映像3に表示する各種操作用のデータ、表示アイコン、ユーザの操作が操作するためのオブジェクトのデータやレイアウト情報等が含まれる。メモリ1109は、空間浮遊映像3として表示する映像データや装置の制御用データ等を記憶する。
 制御部1110は、接続される各部の動作を制御する。また、制御部1110は、メモリ1109に記憶されるプログラムと協働して、空間浮遊映像表示装置1000内の各部から取得した情報に基づく演算処理を行ってもよい。
 通信部1132は、有線または無線の通信インタフェースを介して、外部機器や外部のサーバ等と通信を行う。通信部1132が有線の通信インタフェースを有する場合は、当該有線の通信インタフェースは、例えば、イーサネット規格のLANインタフェースなどで構成すればよい。通信部1132が無線の通信インタフェースを有する場合は、例えば、Wi-Fi方式の通信インタフェース、Bluetooth方式の通信インタフェース、4G、5Gなどの移動体通信インタフェースなどで構成すればよい。通信部1132を介した通信により、映像データ、画像データ、音声データ等の各種データが送受信される。
 また、リムーバブルメディアインタフェース1134は、着脱可能な記録媒体(リムーバブルメディア)を接続するインタフェースである。着脱可能な記録媒体(リムーバブルメディア)は、ソリッドステートドライブ(SSD)などの半導体素子メモリ、ハードディスクドライブ(HDD)などの磁気記録媒体記録装置、または光ディスクなどの光学記録メディアなどで構成してもよい。リムーバブルメディアインタフェース1134は着脱可能な記録媒体記録されている、映像データ、画像データ、音声データ等の各種データなどの各種情報を読み出すことが可能である。着脱可能な記録媒体に記録された映像データ、画像データ等は、映像表示部1102と再帰反射部1101とを介して空間浮遊映像3として出力される。
 ストレージ部1170は、映像データ、画像データ、音声データ等の各種データなどの各種情報を記録する記憶装置である。ストレージ部1170は、ハードディスクドライブ(HDD)などの磁気記録媒体記録装置や、ソリッドステートドライブ(SSD)などの半導体素子メモリで構成してもよい。ストレージ部1170には、例えば、製品出荷時に予め映像データ、画像データ、音声データ等の各種データ等の各種情報が記録されていてもよい。また、ストレージ部1170は、通信部1132を介して外部機器や外部のサーバ等から取得した映像データ、画像データ、音声データ等の各種データ等の各種情報を記録してもよい。
 ストレージ部1170に記録された映像データ、画像データ等は、映像表示部1102と再帰反射部1101とを介して空間浮遊映像3として出力される。空間浮遊映像3として表示される、表示アイコンやユーザが操作するためのオブジェクト等の映像データ、画像データ等も、ストレージ部1170に記録される。
 空間浮遊映像3として表示される表示アイコンやオブジェクト等のレイアウト情報や、オブジェクトに関する各種メタデータの情報等もストレージ部1170に記録される。ストレージ部1170に記録された音声データは、例えば音声出力部1140から音声として出力される。
 映像制御部1160は、映像表示部1102に入力する映像信号に関する各種制御を行う。映像制御部1160は、映像処理回路と称してもよく、例えば、ASIC、FPGA、映像用プロセッサなどのハードウェアで構成されてもよい。なお、映像制御部1160は、映像処理部、画像処理部と称してもよい。映像制御部1160は、例えば、メモリ1109に記憶させる映像信号と、映像信号入力部1131に入力された映像信号(映像データ)等のうち、どの映像信号を映像表示部1102に入力するかといった映像切り替えの制御等を行う。
 また、映像制御部1160は、メモリ1109に記憶させる映像信号と、映像信号入力部1131から入力された映像信号とを重畳した重畳映像信号を生成し、重畳映像信号を映像表示部1102に入力することで、合成映像を空間浮遊映像3として形成する制御を行ってもよい。
 また、映像制御部1160は、映像信号入力部1131から入力された映像信号やメモリ1109に記憶させる映像信号等に対して画像処理を行う制御を行ってもよい。画像処理としては、例えば、画像の拡大、縮小、変形等を行うスケーリング処理、輝度を変更するブライト調整処理、画像のコントラストカーブを変更するコントラスト調整処理、画像を光の成分に分解して成分ごとの重みづけを変更するレティネックス処理等がある。
 また、映像制御部1160は、映像表示部1102に入力する映像信号に対して、ユーザ230の空中操作(タッチ操作)を補助するための特殊効果映像処理等を行ってもよい。特殊効果映像処理は、例えば、空中操作検出部1350によるユーザ230のタッチ操作の検出結果や、撮像部1180によるユーザ230の撮像画像に基づいて行われる。
 姿勢センサ1113は、重力センサまたは加速度センサ、またはこれらの組み合わせにより構成されるセンサであり、空間浮遊映像表示装置1000が設置されている姿勢を検出することができる。姿勢センサ1113の姿勢検出結果に基づいて、制御部1110が、接続される各部の動作を制御してもよい。例えば、ユーザの使用状態としての好ましくない姿勢を検出した場合に、映像表示部1102の表示していた映像の表示を中止し、ユーザにエラーメッセージを表示するような制御を行ってもよい。または、姿勢センサ1113により空間浮遊映像表示装置1000の設置姿勢が変化したことを検出した場合に、映像表示部1102の表示していた映像の表示の向きを回転させる制御を行ってもよい。
 ここまで説明したように、空間浮遊映像表示装置1000には、さまざまな機能が搭載されている。ただし、空間浮遊映像表示装置1000は、これらのすべての機能を備える必要はなく、空間浮遊映像3を形成する機能があればどのような構成でもよい。
 <空間浮遊映像表示装置の構成例>
 次に、空間浮遊映像表示装置の構成例について説明する。本実施例に係る空間浮遊映像表示装置の構成要素のレイアウトは、使用形態に応じて様々なレイアウトがあり得る。以下、図4A~図4Mのそれぞれのレイアウトについて説明する。なお、図4A~図4Mのいずれの例においても、空間浮遊映像表示装置1000を囲む太い線は空間浮遊映像表示装置1000の筐体構造の一例を示している。
 図4Aは、空間浮遊映像表示装置の構成の一例を示す図である。図4Aに示す空間浮遊映像表示装置1000は、図2Aの光学システムに対応する光学システムを搭載するものである。図4Aに示す空間浮遊映像表示装置1000では、空間浮遊映像3が形成される側の面が上方を向くように、横置きにして設置される。すなわち、図4Aでは、空間浮遊映像表示装置1000は、透明な部材100が装置上面に設置される。空間浮遊映像3が、空間浮遊映像表示装置1000の透明な部材100の面に対して上方に形成される。空間浮遊映像3の光は、斜め上方向に進行する。空中操作検出センサ1351を図のように設けた場合は、ユーザ230の指による空間浮遊映像3の操作を検出することができる。なお、x方向がユーザから見て左右方向、y方向がユーザから見て前後方向(奥行方向)、z方向が上下方向(鉛直方向)である。以下、図4の各図においてx方向、y方向、z方向の定義は同じであるので、繰り返しの説明は省略する。
 図4Bは、空間浮遊映像表示装置の構成の一例を示す図である。図4Bに示す空間浮遊映像表示装置1000は、図2Aの光学システムに対応する光学システムを搭載するものである。図4Bに示す空間浮遊映像表示装置1000は、空間浮遊映像3が形成される側の面が、空間浮遊映像表示装置1000の正面(ユーザ230の方向)を向くように、縦置きにして設置される。すなわち、図4Bでは、空間浮遊映像表示装置は、透明な部材100が装置の正面(ユーザ230の方向)に設置される。空間浮遊映像3が、空間浮遊映像表示装置1000の透明な部材100の面に対してユーザ230側に形成される。空間浮遊映像3の光は、斜め上方向に進行する。空中操作検出センサ1351を図のように設けた場合は、ユーザ230の指による空間浮遊映像3の操作を検出することができる。ここで、図4Bに示すように、空中操作検出センサ1351は、ユーザ230の指を上側からセンシングすることで、ユーザの爪によるセンシング光の反射を、タッチ検出に利用することができる。一般的に、爪は指の腹よりも反射率が高いため、このように構成することによりタッチ検出の精度を上げることができる。
 図4Cは、空間浮遊映像表示装置の構成の一例を示す図である。図4Cに示す空間浮遊映像表示装置1000は、図2Bの光学システムに対応する光学システムを搭載するものである。図4Cに示す空間浮遊映像表示装置1000では、空間浮遊映像3が形成される側の面が上方を向くように、横置きにして設置される。すなわち、図4Cでは、空間浮遊映像表示装置1000は、透明な部材100が装置上面に設置される。空間浮遊映像3が、空間浮遊映像表示装置1000の透明な部材100の面に対して上方に形成される。空間浮遊映像3の光は、斜め上方向に進行する。空中操作検出センサ1351を図のように設けた場合は、ユーザ230の指による空間浮遊映像3の操作を検出することができる。
 図4Dは、空間浮遊映像表示装置の構成の一例を示す図である。図4Dに示す空間浮遊映像表示装置1000は、図2Bの光学システムに対応する光学システムを搭載するものである。図4Dに示す空間浮遊映像表示装置1000は、空間浮遊映像3が形成される側の面が、空間浮遊映像表示装置1000の正面(ユーザ230の方向)を向くように、縦置きにして設置される。すなわち、図4Dでは、空間浮遊映像表示装置1000は、透明な部材100が装置の正面(ユーザ230の方向)に設置される。空間浮遊映像3が、空間浮遊映像表示装置1000の透明な部材100の面に対してユーザ230側に形成される。空間浮遊映像3の光は、斜め上方向に進行する。空中操作検出センサ1351を図のように設けた場合は、ユーザ230の指による空間浮遊映像3の操作を検出することができる。ここで、図4Dに示すように、空中操作検出センサ1351は、ユーザ230の指を上側からセンシングすることで、ユーザの爪によるセンシング光の反射を、タッチ検出に利用することができる。一般的に、爪は指の腹よりも反射率が高いため、このように構成することによりタッチ検出の精度を上げることができる。
 図4Eは、空間浮遊映像表示装置の構成の一例を示す図である。図4Eに示す空間浮遊映像表示装置1000は、図2Cの光学システムに対応する光学システムを搭載するものである。図4Eに示す空間浮遊映像表示装置1000では、空間浮遊映像3が形成される側の面が上方を向くように、横置きにして設置される。すなわち、図4Eでは、空間浮遊映像表示装置1000は、透明な部材100が装置上面に設置される。空間浮遊映像3が、空間浮遊映像表示装置1000の透明な部材100の面に対して上方に形成される。空間浮遊映像3の光は、真上方向に進行する。空中操作検出センサ1351を図のように設けた場合は、ユーザ230の指による空間浮遊映像3の操作を検出することができる。
 図4Fは、空間浮遊映像表示装置の構成の一例を示す図である。図4Fに示す空間浮遊映像表示装置1000は、図2Cの光学システムに対応する光学システムを搭載するものである。図4Fに示す空間浮遊映像表示装置1000は、空間浮遊映像3が形成される側の面が、空間浮遊映像表示装置1000の正面(ユーザ230の方向)を向くように、縦置きにして設置される。すなわち、図4Fでは、空間浮遊映像表示装置1000は、透明な部材100が装置の正面(ユーザ230の方向)に設置される。空間浮遊映像3が、空間浮遊映像表示装置1000の透明な部材100の面に対してユーザ230側に形成される。空間浮遊映像3の光は、ユーザ手前方向に進行する。空中操作検出センサ1351を図のように設けた場合は、ユーザ230の指による空間浮遊映像3の操作を検出することができる。
 図4Gは、空間浮遊映像表示装置の構成の一例を示す図である。図4Gに示す空間浮遊映像表示装置1000は、図2Cの光学システムに対応する光学システムを搭載するものである。図4Aから図4Fまでの空間浮遊映像表示装置の光学システムにおいては、表示装置1から発せられる映像光の中心の光路はyz平面上にあった。すなわち、図4Aから図4Fまでの空間浮遊映像表示装置の光学システム内においては、映像光はユーザから見て前後方向、上下方向に進行した。これに対し、図4Gに示す空間浮遊映像表示装置の光学システムにおいては、表示装置1から発せられる映像光の中心の光路はxy平面上にある。すなわち、図4Gに示す空間浮遊映像表示装置の光学システム内においては、映像光はユーザから見て左右方向および前後方向に進行する。図4Gに示す空間浮遊映像表示装置1000では、空間浮遊映像3が形成される側の面が、装置の正面(ユーザ230の方向)を向くように設置される。すなわち、図4Gでは、空間浮遊映像表示装置1000は、透明な部材100が装置正面(ユーザ230の方向)に設置される。空間浮遊映像3が、空間浮遊映像表示装置1000の透明な部材100の面に対してユーザ側に形成される。空間浮遊映像3の光は、ユーザ手前方向に進行する。空中操作検出センサ1351を図のように設けた場合は、ユーザ230の指による空間浮遊映像3の操作を検出することができる。
 図4Hは、空間浮遊映像表示装置の構成の一例を示す図である。図4Hの空間浮遊映像表示装置1000は、装置背面(ユーザ230が空間浮遊映像3を視認する位置の反対側、すなわち、ユーザ230にむかう空間浮遊映像3の映像光の進行方向の反対側)にガラスやプラスチックなどの透明板100Bを有する窓を有する点で、図4Gの空間浮遊映像表示装置と相違する。その他の構成については、図4Gの空間浮遊映像表示装置と同じ構成であるため、繰り返しの説明を省略する。図4Hの空間浮遊映像表示装置1000は、空間浮遊映像3に対して、空間浮遊映像3の映像光の進行方向の反対側の位置に、透明板100Bを有する窓を備えている。よって、ユーザ230が空間浮遊映像3を視認する場合に、空間浮遊映像3の背景として、空間浮遊映像表示装置1000の後ろ側の景色を認識することができる。よって、ユーザ230は、空間浮遊映像3が空間浮遊映像表示装置1000の後ろ側の景色の前面の空中に浮遊しているように認識することができる。これにより、空間浮遊映像3の空中浮遊感をより強調することができる。
 なお、表示装置1から出力される映像光の偏光分布および偏光分離部材101Bの性能によっては、表示装置1から出力される映像光の一部が偏光分離部材101Bで反射され、透明板100Bへ向かう可能性がある。透明板100Bの表面のコート性能によっては、この光が透明板100Bの表面で再び反射され迷光としてユーザに視認される可能性がある。よって、当該迷光を防止するために、空間浮遊映像表示装置1000装置の背面の前記窓に、透明板100Bを設けない構成としてもよい。
 図4Iは、空間浮遊映像表示装置の構成の一例を示す図である。図4Iの空間浮遊映像表示装置1000は、装置背面(ユーザ230が空間浮遊映像3を視認する位置の反対側)に配置される透明板100Bの窓に、遮光のための開閉ドア1410を設けている点で、図4Hの空間浮遊映像表示装置と相違する。その他の構成については、図4Hの空間浮遊映像表示装置と同じ構成であるため、繰り返しの説明を省略する。図4Iの空間浮遊映像表示装置1000の開閉ドア1410は、例えば、遮光板を有し、遮光板を移動(スライド)する機構、回転する機構または着脱する機構を備えることで、空間浮遊映像表示装置1000の奥側に位置する透明板100Bの窓(背面側窓)について、開口状態と遮光状態を切り替えることができる。開閉ドア1410による遮光板の移動(スライド)や回転は、図示しないモータの駆動による電動式としてもよい。当該モータは図3の制御部1110が制御してもよい。なお、図4Iの例では、開閉ドア1410の遮光板の枚数は2枚の例を開示している。これに対し、開閉ドア1410の遮光板の枚数は1枚でもよい。
 例えば、空間浮遊映像表示装置1000の透明板100Bの窓の奥に見える景色が屋外の場合は、天気によって太陽光の明るさが可変する。屋外の太陽光が強い場合、空間浮遊映像3の背景が明るくなりすぎて、ユーザ230が空間浮遊映像3の視認性が下がる場合もある。このような場合に、開閉ドア1410の遮光板の移動(スライド)、回転または装着により、背面側窓を遮光状態にすれば、空間浮遊映像3の背景は暗くなるので、相対的に空間浮遊映像3の視認性を上げることができる。このような開閉ドア1410の遮光板による遮蔽動作は、ユーザ230の手の力により直接的に行われても良い。図3の操作入力部1107を介した操作入力に応じて、制御部1110が図示しないモータを制御して開閉ドア1410の遮光板による遮蔽動作を行ってもよい。
 なお、背面側窓近傍など、空間浮遊映像表示装置1000の背面側(ユーザ230の反対側)に照度センサを設けて、背面側窓の先の空間の明るさを測定してもよい。この場合、当該照度センサの検出結果に応じて、図3の制御部1110が図示しないモータを制御して開閉ドア1410の遮光板による開閉動作を行ってもよい。このように開閉ドア1410の遮光板による開閉動作を制御することにより、ユーザ230が手動で開閉ドア1410の遮光板の開閉動作をしなくとも、空間浮遊映像3の視認性をより好適に維持することが可能となる。
 また、開閉ドア1410による遮光板を、手動による着脱式としてもよい。空間浮遊映像表示装置1000の使用用途、設置環境に応じて、背面側窓を開口状態とするか、遮光状態とするかをユーザが選択することができる。長期間にわたって背面側窓を遮光状態のまま使用する予定であれば、着脱式の遮光板を遮光状態のまま固定すればよい。また、長期間にわたって背面側窓を開口状態のまま使用する予定であれば、着脱式の遮光板を外した状態のまま使用すればよい。遮光板の着脱はネジを用いてもよく、引掛け構造を用いてもよく、嵌め込み構造を用いてもよい。
 なお、図4Iの空間浮遊映像表示装置1000の例でも、表示装置1から出力される映像光の偏光分布および偏光分離部材101Bの性能によっては、表示装置1から出力される映像光の一部が偏光分離部材101Bで反射され、透明板100Bへ向かう可能性がある。透明板100Bの表面のコート性能によっては、この光が透明板100Bの表面で再び反射され迷光としてユーザに視認される可能性がある。よって、当該迷光を防止するために、空間浮遊映像表示装置1000装置の背面の前記窓に、透明板100Bを設けない構成としてもよい。透明板100Bを有しない窓に、上述の開閉ドア1410を備えるようにすればよい。当該迷光を防止するため上述の開閉ドア1410の遮光板の筐体内側の面は光反射率の低いコートまたは素材を有することが望ましい。
 図4Jは、空間浮遊映像表示装置の構成の一例を示す図である。図4Jの空間浮遊映像表示装置1000は、図4Hの空間浮遊映像表示装置の背面側窓に、ガラスやプラスチックである透明板100Bを配置する代わりに、電子制御透過率可変装置1620を配置する点で相違する。その他の構成については、図4Hの空間浮遊映像表示装置と同じ構成であるため、繰り返しの説明を省略する。電子制御透過率可変装置1620の例は、液晶シャッターなどである。すなわち、液晶シャッターは2つの偏光板に挟まれた液晶素子を電圧制御することにより、光の透過光を制御することができる。よって、液晶シャッターを制御して透過率を大きくすれば、空間浮遊映像3の背景は、背面側窓越しの景色が透けて見える状態となる。また、液晶シャッターを制御して透過率を大きくすれば、空間浮遊映像3の背景として背面側窓越しの景色は見えない状態とすることができる。また、液晶シャッターは中間長の制御が可能であるので、透過率50%などの状態にもすることができる。例えば、図3の操作入力部1107を介した操作入力に応じて、制御部1110が、電子制御透過率可変装置1620の透過率を制御すればよい。このように構成すれば、空間浮遊映像3の背景として背面側窓越しの景色を見たいものの、背景である背面側窓越しの景色が明る過ぎて空間浮遊映像3の視認性が下がってしまう場合などに、電子制御透過率可変装置1620の透過率を調整することにより、空間浮遊映像3の視認性を調整することが可能となる。
 なお、背面側窓近傍など、空間浮遊映像表示装置1000の背面側(ユーザ230の反対側)に照度センサを設けて、背面側窓の先の空間の明るさを測定してもよい。この場合、当該照度センサの検出結果に応じて、図3の制御部1110が、電子制御透過率可変装置1620の透過率を制御すればよい。このようにすれば、ユーザ230が図3の操作入力部1107を介した操作入力を行わなくとも、背面側窓の先の空間の明るさに応じて電子制御透過率可変装置1620の透過率を調整することができるので、空間浮遊映像3の視認性をより好適に維持することが可能となる。
 また、上述の例では、電子制御透過率可変装置1620として液晶シャッターの例を説明した。これに対し、電子制御透過率可変装置1620の別の例として、電子ペーパーを用いてもよい。電子ペーパーを用いても、上述と同様の効果を得ることができる。そのうえ、電子ペーパーは中間調状態を維持するための消費電力が非常に小さい。よって、液晶シャッターを採用した場合に比べて、低消費電力の空間浮遊映像表示装置を実現することができる。
 図4Kは、空間浮遊映像表示装置の構成の一例を示す図である。図4Kの空間浮遊映像表示装置1000は、透明な部材100の代わりに、透過型自発光映像表示装置1650を有する点で、図4Gの空間浮遊映像表示装置と相違する。その他の構成については、図4Gの空間浮遊映像表示装置と同じ構成であるため、繰り返しの説明を省略する。
 図4Kの空間浮遊映像表示装置1000では、透過型自発光映像表示装置1650の表示面を、映像光束が透過したのち、空間浮遊映像表示装置1000の外部に空間浮遊映像3を形成する。すなわち、2次元平面ディスプレイである透過型自発光映像表示装置1650で映像を表示しているときに、透過型自発光映像表示装置1650の映像のさらにユーザ手前側に、空間浮遊映像3を飛び出す映像として表示することができる。このときユーザ230は奥行位置の異なる2つの映像を同時に視認することができる。透過型自発光映像表示装置1650は、例えば、特開2014-216761号公報などに開示される、透過型有機ELパネルなどの既存の技術を用いて構成すればよい。なお、透過型自発光映像表示装置1650は、図3に図示されていないが、図3の空間浮遊映像表示装置1000の一構成部として、制御部1110などの他の処理部と接続されるように構成すればよい。
 ここで、透過型自発光映像表示装置1650に、背景とキャラクターなどのオブジェクトの両者を表示したあとに、キャラクターなどのオブジェクトだけ手前側の空間浮遊映像3に移動してくる、などの演出を行えば、ユーザ230により効果的なサプライズ演出での映像体験を提供することができる。
 また、空間浮遊映像表示装置1000の内部を遮光状態にしておけば、透過型自発光映像表示装置1650の背景は十分暗くなる。よって、表示装置1に映像を表示せず、または表示装置1の光源を不点灯とし、透過型自発光映像表示装置1650だけに映像を表示している場合、ユーザ230には、透過型自発光映像表示装置1650は透過型ディスプレイではなく通常の2次元平面ディスプレイであるように見える(本発明の実施例における空間浮遊映像3はスクリーンのない空間に実像の光学像として表示するため、表示装置1の光源を不点灯とすれば、空間浮遊映像3の表示予定位置は何もない空間になる。)。よって、透過型自発光映像表示装置1650を、あたかも一般的な2次元平面ディスプレイとして使用して映像を表示しているときに、キャラクターやオブジェクトなどを突然、空間浮遊映像3として空中に表示することでユーザ230により効果的なサプライズ演出での映像体験を提供することができる。
 なお、空間浮遊映像表示装置1000の内部をより暗くすればするほど、透過型自発光映像表示装置1650は2次元平面ディスプレイのように見える。よって、透過型自発光映像表示装置1650の空間浮遊映像表示装置1000の内部側の面(偏光分離部材101Bで反射した映像光の透過型自発光映像表示装置1650への入射面、すなわち、透過型自発光映像表示装置1650の空間浮遊映像3と反対側の面)に、偏光分離部材101Bで反射した映像光の偏波を透過し当該偏波と90°位相が異なる偏波を吸収する吸収型偏光板(図示せず)を設けてもよい。このようにすれば、空間浮遊映像3を形成する映像光への影響はさほど大きくないが、外部から透過型自発光映像表示装置1650を介して、空間浮遊映像表示装置1000の内部へ入射する光を大幅に低減することができ、空間浮遊映像表示装置1000の内部をより暗くすることができ、好適である。
 図4Lは、空間浮遊映像表示装置の構成の一例を示す図である。図4Lの空間浮遊映像表示装置1000は、図4Kの空間浮遊映像表示装置の変形例である。空間浮遊映像表示装置1000における構成の配置の向きが図4Kの空間浮遊映像表示装置と異なり、図4Fの空間浮遊映像表示装置に近い配置となっている。各構成の機能、動作などについては、図4Kの空間浮遊映像表示装置と同じ構成であるため、繰り返しの説明を省略する。
 図4Lの空間浮遊映像表示装置でも、透過型自発光映像表示装置1650を映像光の光束が透過したのち、透過型自発光映像表示装置1650よりもユーザ230側に空間浮遊映像3を形成する。
 図4Kの空間浮遊映像表示装置の例でも、図4Lの空間浮遊映像表示装置の例でも、ユーザ230からは、透過型自発光映像表示装置1650の映像の手前に、空間浮遊映像3が重なって表示される。ここで、空間浮遊映像3の位置と透過型自発光映像表示装置1650の映像の位置は、奥行方向に差があるように構成している。よって、ユーザが頭(視点の位置)を動かすと視差により2つの映像の奥行を認識することができる。よって、奥行位置の異なる2枚の映像を表示することで、立体視眼鏡などを必要とせず裸眼で、3次元的な映像体験をより好適にユーザに提供することができる。
 図4Mは、空間浮遊映像表示装置の構成の一例を示す図である。図4Mの空間浮遊映像表示装置1000は、図4Gの空間浮遊映像表示装置の偏光分離部材101Bに対してユーザから見て奥側に、第2の表示装置1680を設ける。その他の構成については、図4Gの空間浮遊映像表示装置と同じ構成であるため、繰り返しの説明を省略する。
 図4Mに示す構成例では、第2の表示装置1680が空間浮遊映像3の表示位置の奥側に設けられており、映像表示面が空間浮遊映像3に向けられている。かかる構成により、ユーザ230からみると、第2の表示装置1680の映像と、空間浮遊映像3との、2つの奥行の異なる位置に表示される映像を重ねて視認することができる。すなわち、第2の表示装置1680は、空間浮遊映像3を視認するユーザ230側の方向に映像を表示する向きに配置されている、といえる。なお、第2の表示装置1680は、図3に図示されていないが、図3の空間浮遊映像表示装置1000の一構成部として、制御部1110などの他の処理部と接続されるように構成すればよい。
 なお、図4Mの空間浮遊映像表示装置1000の第2の表示装置1680の映像光は、偏光分離部材101Bを透過したのち、ユーザ230に視認される。したがて、第2の表示装置1680の映像光がより好適に偏光分離部材101Bを透過するためには、第2の表示装置1680から出力される映像光は、偏光分離部材101Bがより好適に透過する振動方向の偏波の偏光であることが望ましい。すなわち、表示装置1から出力される映像光の偏波と同じ振動方向の偏波の偏光であることが望ましい。例えば、表示装置1から出力される映像光がS偏光である場合は、第2の表示装置1680から出力される映像光もS偏光とすることが望ましい。また、表示装置1から出力される映像光がP偏光である場合は、第2の表示装置1680から出力される映像光もP偏光とすることが望ましい。
 図4Mの空間浮遊映像表示装置の例も、空間浮遊映像3の奥に第2の映像を表示するという点で、図4Kの空間浮遊映像表示装置の例および図4Lの空間浮遊映像表示装置の例と同様の効果を有する。ただし、図4Kの空間浮遊映像表示装置の例および図4Lの空間浮遊映像表示装置の例と異なり、図4Mの空間浮遊映像表示装置の例では、空間浮遊映像3を形成するための映像光の光束が第2の表示装置1680を通過することはない。よって、第2の表示装置1680は、透過型自発光映像表示装置である必要はなく、2次元平面ディスプレイである液晶ディスプレイでよい。第2の表示装置1680は、有機ELディスプレイでもよい。よって、図4Mの空間浮遊映像表示装置の例では、図4Kの空間浮遊映像表示装置の例および図4Lの空間浮遊映像表示装置の例よりも、空間浮遊映像表示装置1000をより低コストで実現することが可能である。
 ここで、表示装置1から出力される映像光の偏光分布および偏光分離部材101Bの性能によっては、表示装置1から出力される映像光の一部が偏光分離部材101Bで反射され、第2の表示装置1680へ向かう可能性がある。この光(映像光の一部)は、第2の表示装置1680の表面で再び反射され迷光としてユーザに視認される可能性がある。
 よって、当該迷光を防止するために、第2の表示装置1680の表面に吸収型偏光板を設けてもよい。この場合、当該吸収型偏光板は、第2の表示装置1680から出力される映像光の偏波を透過し、第2の表示装置1680から出力される映像光の偏波と位相が90°異なる偏波を吸収する吸収型偏光板とすればよい。なお、第2の表示装置1680が液晶ディスプレイである場合は、当該液晶ディスプレイ内部の映像出射側にも吸収型偏光板が存在する。しかしながら、当該液晶ディスプレイ内部の映像出射側の吸収型偏光板のさらに出射面にカバーガラス(映像表示面側のカバーガラス)が有る場合は、液晶ディスプレイ外部からの光により当該カバーガラスの反射で生じる迷光を防ぐことができない。よって、上述の吸収型偏光板を当該カバーガラスの表面に別途設ける必要がある。
 なお、2次元平面ディスプレイである第2の表示装置1680で映像を表示しているときに、第2の表示装置1680の映像のさらにユーザ手前側に、空間浮遊映像3を映像として表示することができる。このときユーザ230は、奥行位置の異なる2つの映像を同時に視認することができる。空間浮遊映像3にキャラクターを表示して、第2の表示装置1680に背景を表示することにより、ユーザ230があたかもキャラクターが存在する空間を立体的に視認しているような効果を提供することができる。
 また、第2の表示装置1680に、背景とキャラクターなどのオブジェクトの両者を表示したあとに、キャラクターなどのオブジェクトだけ手前側の空間浮遊映像3に移動してくる、などの演出を行えば、ユーザ230により効果的なサプライズ演出での映像体験を提供することができる。
 <表示装置>
 次に、本実施例の表示装置1について、図を用いて説明する。本実施例の表示装置1は、映像表示素子11(液晶表示パネル)と共に、その光源を構成する光源装置13を備えており、図5では、光源装置13を液晶表示パネルと共に展開斜視図として示している。
 この液晶表示パネル(映像表示素子11)は、図5に矢印30で示すように、バックライト装置である光源装置13から、挟角な拡散特性を有する、即ち、指向性(直進性)が強く、かつ、偏光面を一方向に揃えたレーザ光に似た特性の照明光束を受光する。液晶表示パネル(映像表示素子11)は、入力される映像信号に応じて受光した照明光束を変調する。変調された映像光は、再帰反射板2により反射し、透明な部材100を透過して、実像である空間浮遊像を形成する(図1参照)。
 また、図5では、表示装置1を構成する液晶表示パネル11と、更に、光源装置13からの出射光束の指向特性を制御する光方向変換パネル54、および、必要に応じ挟角拡散板(図示せず)を備えて構成されている。即ち、液晶表示パネル11の両面には偏光板が設けられ、特定の偏波の映像光が映像信号により光の強度を変調して出射する(図5の矢印30を参照)構成となっている。これにより、所望の映像を指向性(直進性)の高い特定偏波の光として、光方向変換パネル54を介して、再帰反射板2に向けて投写し、再帰反射板2で反射後、店舗(空間)の外部の監視者の眼に向けて透過して空間浮遊映像3を形成する。なお、上述した光方向変換パネル54の表面には保護カバー50(図6、図7を参照)を設けてよい。
 <表示装置の例1>
 図6には、表示装置1の具体的な構成の一例を示す。図6では、図5の光源装置13の上に液晶表示パネル11と光方向変換パネル54を配置している。この光源装置13は、図5に示したケース上に、例えば、プラスチックなどにより形成され、その内部にLED素子201、導光体203を収納して構成されており、導光体203の端面には、図5等にも示したように、それぞれのLED素子201からの発散光を略平行光束に変換するために、受光部に対して対面に向かって徐々に断面積が大きくなる形状を有し、内部を伝搬する際に複数回全反射することで発散角が徐々に小さくなるような作用を有するレンズ形状を設けている。表示装置1における上面には、かかる表示装置1を構成する液晶表示パネル11が取り付けられている。また、光源装置13のケースのひとつの側面(本例では左側の端面)には、半導体光源であるLED(Light Emitting Diode)素子201や、その制御回路を実装したLED基板202が取り付けられる。LED基板202の外側面には、LED素子および制御回路で発生する熱を冷却するための部材であるヒートシンクが取り付けられてもよい。
 また、光源装置13のケースの上面に取り付けられる液晶表示パネルのフレーム(図示せず)には、当該フレームに取り付けられた液晶表示パネル11と、更に、当該液晶表示パネル11に電気的に接続されたFPC(Flexible Printed Circuits:フレキシブル配線基板)(図示せず)などが取り付けられて構成される。即ち、映像表示素子である液晶表示パネル11は、固体光源であるLED素子201と共に、電子装置を構成する制御回路(図3の映像制御部1160)からの制御信号に基づいて、透過光の強度を変調することによって表示映像を生成する。この時、生成される映像光は拡散角度が狭く特定の偏波成分のみとなるため、映像信号により駆動された面発光レーザ映像源に近い、従来にない新しい映像表示装置が得られることとなる。なお、現状では、レーザ装置により、上述した表示装置1で得られる画像と同等のサイズのレーザ光束を得ることは、技術的にも安全上からも不可能である。そこで、本実施例では、例えば、LED素子を備えた一般的な光源からの光束から、上述した面発光レーザ映像光に近い光を得る。
 続いて、光源装置13のケース内に収納されている光学系の構成について、図6と共に、図7を参照しながら詳細に説明する。
 図6および図7は断面図であるため、光源を構成する複数のLED素子201が1つだけ示されており、これらは導光体203の受光端面203aの形状により略コリメート光に変換される。このため、導光体端面の受光部とLED素子は、所定の位置関係を保って取り付けられている。
 なお、この導光体203は、各々、例えば、アクリル等の透光性の樹脂により形成されている。そして、この導光体203の端部のLED受光面は、例えば、放物断面を回転して得られる円錐凸形状の外周面を有し、その頂部では、その中央部に凸部(即ち、凸レンズ面)を形成した凹部を有し、その平面部の中央部には、外側に突出した凸レンズ面(あるいは、内側に凹んだ凹レンズ面でも良い)を有するものである(図示せず)。なお、LED素子201を取り付ける導光体の受光部外形形状は、円錐形状の外周面を形成する放物面形状をなし、LED素子から周辺方向に出射する光をその内部で全反射することが可能な角度の範囲内において設定され、あるいは、反射面が形成されている。
 他方、LED素子201は、その回路基板である、LED基板202の表面上の所定の位置にそれぞれ配置されている。このLED基板202は、LEDコリメータ(受光端面203a)に対して、その表面上のLED素子201が、それぞれ、前述した凹部の中央部に位置するように配置されて固定される。
 かかる構成によれば、導光体203の受光端面203aの形状によって、LED素子201から放射される光は略平行光として取り出すことが可能となり、発生した光の利用効率を向上することが可能となる。
 以上述べたように、光源装置13は、導光体203の端面に設けた受光部である受光端面203aに光源であるLED素子201を複数並べた光源ユニットを取り付けて構成され、LED素子201からの発散光束を導光体端面の受光端面203aのレンズ形状によって略平行光として、矢印で示すように、導光体203内部を導光し(図面に平行な方向)、光束方向変換手段204によって、導光体203に対して略平行に配置された液晶表示パネル11に向かって(図面から手前に垂直な方向に)出射する。導光体内部または表面の形状によって、この光束方向変換手段204の分布(密度)を最適化することで、液晶表示パネル11に入射する光束の均一性を制御することができる。
 上述した光束方向変換手段204は、導光体表面の形状により、あるいは導光体内部に例えば屈折率の異なる部分を設けることで、導光体内を伝搬した光束を、導光体203に対して略平行に配置された液晶表示パネル11に向かって(図面から手前に垂直な方向に)出射する。この時、液晶表示パネル11を画面中央に正対し画面対角寸法と同じ位置に視点を置いた状態で画面中央と画面周辺部の輝度を比較した場合の相対輝度比が20%以上あれば実用上問題なく、30%を超えていれば更に優れた特性となる。
 なお、図6は上述した導光体203とLED素子201を含む光源装置13において、偏光変換する本実施例の光源の構成とその作用を説明するための断面配置図である。図6において、光源装置13は、例えば、プラスチックなどにより形成される表面または内部に光束方向変換手段204を設けた導光体203、光源としてのLED素子201、反射シート205、位相差板206、レンチキュラーレンズなどから構成されており、その上面には、光源光入射面と映像光出射面に偏光板を備える液晶表示パネル11が取り付けられている。
 また、光源装置13に対応した液晶表示パネル11の光源光入射面(図の下面)にはフィルムまたはシート状の反射型偏光板49を設けており、LED素子201から出射した自然光束210のうち片側の偏波(例えばP波)212を選択的に反射させる。反射光は、導光体203の一方(図の下方)の面に設けた反射シート205で再度、反射して、液晶表示パネル11に向かうようにする。そこで、反射シート205と導光体203の間もしくは導光体203と反射型偏光板49の間に位相差板(λ/4板)を設けて反射シート205で反射させ、2回通過させることで反射光束をP偏光からS偏光に変換し、映像光としての光源光の利用効率を向上する。液晶表示パネル11で映像信号により光強度を変調された映像光束は(図6の矢印213)、再帰反射板2に入射する。再帰反射板2で反射した後に実像である空間浮遊像を得ることができる。
 図7は、図6と同様に、導光体203とLED素子201を含む光源装置13において、偏光変換する本実施例の光源の構成と作用を説明するための断面配置図である。光源装置13も、同様に、例えばプラスチックなどにより形成される表面または内部に光束方向変換手段204を設けた導光体203、光源としてのLED素子201、反射シート205、位相差板206、レンチキュラーレンズなどから構成されている。光源装置13における上面には、映像表示素子として、光源光入射面と映像光出射面に偏光板を備える液晶表示パネル11が取り付けられている。
 また、光源装置13に対応した液晶表示パネル11の光源光入射面(図の下面)にはフィルムまたはシート状の反射型偏光板49を設け、LED素子201から出射した自然光束210うち片側の偏波(例えばS波)211を選択的に反射させる。すなわち、図7の例では、反射型偏光板49の選択反射特性が図7と異なる。反射光は、導光体203の一方(図の下方)の面に設けた反射シート205で反射して、再度液晶表示パネル11に向かう。反射シート205と導光体203の間もしくは導光体203と反射型偏光板49の間に位相差板(λ/4板)を設けて反射シート205で反射させ、2回通過させることで反射光束をS偏光からP偏光に変換し、映像光として光源光の利用効率を向上する。液晶表示パネル11で映像信号により光強度変調された映像光束は(図7の矢印214)、再帰反射板2に入射する。再帰反射板2で反射した後に実像である空間浮遊像を得ることができる。
 図6および図7に示す光源装置においては、対応する液晶表示パネル11の光入射面に設けた偏光板の作用の他に、反射型偏光板で片側の偏光成分を反射するため、理論上得られるコントラスト比は、反射型偏光板のクロス透過率の逆数と液晶表示パネルに付帯した2枚の偏光板により得られるクロス透過率の逆数を乗じたものとなる。これにより、高いコントラスト性能が得られる。実際には、表示画像のコントラスト性能が10倍以上向上することを実験により確認した。この結果、自発光型の有機ELに比較しても遜色ない高品位な映像が得られた。
 <表示装置の例2>
 図8には、表示装置1の具体的な構成の他の一例を示す。この光源装置13は、例えばプラスチックなどのケース内にLED、コリメータ、合成拡散ブロック、導光体等を収納して構成されており、その上面には液晶表示パネル11が取り付けられている。また、光源装置13のケースのひとつの側面には、半導体光源であるLED(Light Emitting Diode)素子14a、14bや、その制御回路を実装したLED基板が取り付けられると共に、LED基板の外側面には、LED素子および制御回路で発生する熱を冷却するための部材であるヒートシンク103が取り付けられている。
 また、ケースの上面に取り付けられた液晶表示パネルフレームには、当該フレームに取り付けられた液晶表示パネル11と、更に、液晶表示パネル11に電気的に接続されたFPC(Flexible Printed Circuits:フレキシブル配線基板)403などが取り付けられて構成されている。即ち、液晶表示素子である液晶表示パネル11は、固体光源であるLED素子14a,14bと共に、電子装置を構成する制御回路(ここでは図示せず)からの制御信号に基づいて、透過光の強度を変調することによって、表示映像を生成する。
 <表示装置の例3>
 続いて、図9を用いて、表示装置1の具体的な構成の他の例(表示装置の例3)を説明する。この表示装置1の光源装置は、LEDからの光(P偏光とS偏光が混在)の発散光束をコリメータ18により略平行光束に変換し、反射型導光体304の反射面により液晶表示パネル11に向け反射する。反射された光は、液晶表示パネル11と反射型導光体304の間に配置された反射型偏光板49に入射する。反射型偏光板49は、特定の偏波の光(例えばP偏光)を透過させ、透過した偏波光を液晶表示パネル11に入射させる。ここで、特定の偏波以外の他の偏波(例えばS偏光)は、反射型偏光板49で反射されて、再び反射型導光体304へ向かう。
 反射型偏光板49は、反射型導光体304の反射面からの光の主光線に対して垂直とならないように、液晶表示パネル11に対して傾きを以て設置されている。そして、反射型偏光板49で反射された光の主光線は、反射型導光体304の透過面に入射する。反射型導光体304の透過面に入射した光は、反射型導光体304の背面を透過し、位相差板であるλ/4板270を透過し、反射板271で反射される。反射板271で反射された光は、再びλ/4板270を透過し、反射型導光体304の透過面を透過する。反射型導光体304の透過面を透過した光は、再び反射型偏光板49に入射する。
 このとき、反射型偏光板49に再度入射する光は、λ/4板270を2回通過しているため、反射型偏光板49を透過する偏波(例えば、P偏光)へ偏光が変換されている。よって、偏光が変換されている光は反射型偏光板49を透過し、液晶表示パネル11に入射する。なお、偏光変換に係る偏光設計について、上述の説明から偏波を逆に構成(S偏光とP偏光を逆にする)してもかまわない。
 この結果、LEDからの光は特定の偏波(例えばP偏光)に揃えられ、液晶表示パネル11に入射し、映像信号に合わせて輝度変調されパネル面に映像を表示する。上述の例と同様に光源を構成する複数のLEDが示されており(ただし、縦断面のため図9では1個のみ図示している)、これらはコリメータ18に対して所定の位置に取り付けられている。
 なお、コリメータ18は、各々、例えばアクリル等の透光性の樹脂またはガラスにより形成されている。そして、このコリメータ18は、放物断面を回転して得られる円錐凸形状の外周面を有してもよい。また、コリメータ18の頂部(LED基板102に対向する側)における中央部に、凸部(即ち、凸レンズ面)を形成した凹部を有してもよい。また、コリメータ18の平面部(上記の頂部とは逆の側)の中央部には、外側に突出した凸レンズ面(あるいは、内側に凹んだ凹レンズ面でも良い)を有している。なお、コリメータ18の円錐形状の外周面を形成する放物面は、LEDから周辺方向に出射する光をその内部で全反射することが可能な角度の範囲内において設定され、あるいは、反射面が形成されている。
 なお、LEDは、その回路基板である、LED基板102の表面上の所定の位置にそれぞれ配置されている。このLED基板102は、コリメータ18に対して、その表面上のLEDが、それぞれ、円錐凸形状の頂部の中央部(頂部に凹部が有る場合はその凹部)に位置するように配置されて固定される。
 かかる構成によれば、コリメータ18によって、LEDから放射される光のうち、特に、その中央部分から放射される光は、コリメータ18の外形を形成する凸レンズ面により集光されて平行光となる。また、その他の部分から周辺方向に向かって出射される光は、コリメータ18の円錐形状の外周面を形成する放物面によって反射され、同様に、集光されて平行光となる。換言すれば、その中央部に凸レンズを構成すると共に、その周辺部に放物面を形成したコリメータ18によれば、LEDにより発生された光のほぼ全てを平行光として取り出すことが可能となり、発生した光の利用効率を向上することが可能となる。
 さらに、図9に示したコリメータ18により略平行光に変換された光は、反射型導光体304で反射される。当該光のうち、反射型偏光板49の作用により特定の偏波の光は反射型偏光板49透過し、反射型偏光板49の作用により反射された他方の偏波の光は再度導光体304を透過する。当該光は、反射型導光体304に対して、液晶表示パネル11とは逆の位置にある反射板271で反射する。このとき、当該光は位相差板であるλ/4板270を2度通過することで偏光変換される。反射板271で反射した光は、再び導光体304を透過して、反対面に設けた反射型偏光板49に入射する。当該入射光は、偏光変換がなされているので、反射型偏光板49を透過して、偏光方向を揃えて液晶表示パネル11に入射される。この結果、光源の光を全て利用できるので光の幾何光学的な利用効率が2倍になる。また、反射型偏光板の偏光度(消光比)もシステム全体の消光比に乗せられるので、本実施例の光源装置を用いることで表示装置全体としてのコントラスト比が大幅に向上する。なお、反射型導光体304の反射面の面粗さおよび反射板271の面粗さを調整することで、それぞれの反射面での光の反射拡散角を調整することができる。液晶表示パネル11に入射する光の均一性がより好適になるように、設計毎に、反射型導光体304の反射面の面粗さおよび反射板271の面粗さを調整すればよい。
 なお、図9の位相差板であるλ/4板270は、必ずしもλ/4板270へ垂直に入射した偏光に対する位相差がλ/4である必要はない。図9の構成において、偏光が2回通過することで、位相が90°(λ/2)変わる位相差板であればよい。位相差板の厚さは、偏光の入射角度分布に応じて調整すればよい。
 <表示装置の例4>
 さらに、表示装置の光源装置等の光学系の構成についての他の例(表示装置の例4)を、図10を用いて説明する。表示装置の例3の光源装置において、反射型導光体304の代わりに拡散シートを用いる場合の構成例である。具体的には、コリメータ18の光の出射側には図面の垂直方向と水平方向(図の前後方向で図示せず)の拡散特性を変換する光学シートを2枚用い(光学シート207Aおよび光学シート207B)、コリメータ18からの光を2枚の光学シート(拡散シート)の間に入射させる。
 なお、上記の光学シートは、2枚構成ではなく1枚としても良い。1枚構成とする場合には、1枚の光学シートの表面と裏面の微細形状で垂直と水平の拡散特性を調整する。また、拡散シートを複数枚使用して作用を分担しても良い。ここで、図10の例では、光学シート207Aと光学シート207Bの表面形状と裏面形状による反射拡散特性について、液晶表示パネル11から出射する光束の面密度が均一になるように、LEDの数量とLED基板(光学素子)102からの発散角およびコリメータ18の光学仕様を設計パラメータとして最適設計すると良い。つまり、導光体の代わりに複数の拡散シートの表面形状により拡散特性を調整する。
 図10の例では、偏光変換は、上述した表示装置の例3と同様の方法で行われる。すなわち、図10の例において、反射型偏光板49は、S偏光を反射(P偏光は透過)させる特性を有するように構成すればよい。その場合、光源であるLEDから発した光のうちP偏光を透過して、透過した光は液晶表示パネル11に入射する。光源であるLEDから発した光のうちS偏光を反射し、反射した光は、図10に示した位相差板270を通過する。位相差板270を通過した光は、反射板271で反射される。反射板271で反射した光は、再び位相差板270を通過することでP偏光に変換される。偏光変換された光は、反射型偏光板49を透過し、液晶表示パネル11に入射する。
 なお、図10の位相差板であるλ/4板270は、必ずしもλ/4板270へ垂直に入射した偏光に対する位相差がλ/4である必要はない。図10の構成において、偏光が2回通過することで、位相が90°(λ/2)変わる位相差板であればよい。位相差板の厚さは、偏光の入射角度分布に応じて調整すればよい。なお、図10においても、偏光変換に係る偏光設計について、上述の説明から偏波を逆に構成(S偏光とP偏光を逆にする)してもかまわない。
 液晶表示パネル11からの出射光は、一般的なTV用途の装置では画面水平方向(図12(a)X軸で表示)と画面垂直方向(図12(b)Y軸で表示)ともに同様な拡散特性を持っている。これに対して、本実施例の液晶表示パネルからの出射光束の拡散特性は、例えば図12の例1に示すように輝度が正面視(角度0度)の50%になる視野角が13度とすることで、一般的なTV用途の装置の62度に対して1/5となる。同様に、垂直方向の視野角は、上下不均等として上側の視野角を下側の視野角に対して1/3程度に抑えるように反射型導光体の反射角度と反射面の面積等を最適化する。この結果、従来の液晶TVに比べ、監視方向に向かう映像光量が大幅に向上し、輝度は50倍以上となる。
 更に、図12の例2に示す視野角特性とすれば、輝度が正面視(角度0度)の50%になる視野角が5度とすることで、一般的なTV用途の装置の62度に対して1/12となる。同様に、垂直方向の視野角は、上下均等として視野角を一般的なTV用途の装置に対して1/12程度に抑えるように、反射型導光体の反射角度と反射面の面積等を最適化する。この結果、従来の液晶TVに比べ、監視方向に向かう映像光量が大幅に向上し、輝度は100倍以上となる。
 以上述べたように、視野角を挟角とすることで、監視方向に向かう光束量を集中できるので、光の利用効率が大幅に向上する。この結果、一般的なTV用途の液晶表示パネルを使用しても、光源装置の光拡散特性を制御することで、同様な消費電力で大幅な輝度向上が実現可能で、明るい屋外に向けての情報表示システムに対応した映像表示装置とすることができる。
 大型の液晶表示パネルを使用する場合には、画面周辺の光は画面中央を監視者が正対した場合に監視者の方向に向かうように内側に向けることで、画面明るさの全面性が向上する。図11は、監視者のパネルからの距離Lと、パネルサイズ(画面比16:10)とをパラメータとしたときのパネル長辺と短辺の収斂角度を求めたものである。画面を縦長として監視する場合には、短辺に合わせて収斂角度を設定すればよく、例えば22“パネルの縦使いで監視距離が0.8mの場合には、収斂角度を10度とすれば、画面4コーナからの映像光を有効に監視者に向けることができる。
 同様に、15”パネルの縦使いで監視する場合には、監視距離が0.8mの場合には、収斂角度を7度とすれば、画面4コーナからの映像光を有効に監視者に向けることができる。以上述べたように、液晶表示パネルのサイズ及び縦使いか横使いかによって、画面周辺の映像光を、画面中央を監視するのに最適な位置にいる監視者に向けることで、画面明るさの全面性を向上できる。
 基本構成としては、図9に示すように、光源装置により挟角な指向特性の光束を液晶表示パネル11に入射させ、映像信号に合わせて輝度変調することで、液晶表示パネル11の画面上に表示した映像情報を、再帰反射板で反射させ得られた空間浮遊映像を、透明な部材100を介して室外または室内に表示する。
 以上説明した、本発明の一実施例に係る表示装置や光源装置を用いれば、光の利用効率がより高い空間浮遊映像表示装置を実現することが可能となる。
 <空間浮遊映像表示装置における映像表示処理の例>
 次に、本実施例の画像処理が解決する課題の一例について、図13Aを用いて説明する。空間浮遊映像表示装置1000において、ユーザから見て空間浮遊映像3の奥側が空間浮遊映像表示装置1000の筐体内であり、十分暗い場合には、ユーザは、空間浮遊映像3の背景は黒であると視認する。
 ここで、図13Aを用いて、空間浮遊映像3において、キャラクター“パンダ”1525を表示する例を説明する。まず、図3の映像制御部1160は、図13A(1)に示すような、キャラクター“パンダ” 1525の画像を描画する画素領域と、背景画像である透明情報領域1520を含む画像について、キャラクター“パンダ”1525の画像を描画する画素領域と、背景画像である透明情報領域1520とを区別して認識する。
 キャラクター画像と背景画像を区別して認識する方法は、例えば、映像制御部1160の画像処理において、背景画像レイヤーと、背景画像レイヤーの前面にあるキャラクター画像のレイヤーを別のレイヤーとして処理できるように構成しておき、これらのレイヤーを合成するときの重畳関係により、キャラクター画像と背景画像を区別して認識してもよい。
 ここで、映像制御部1160は、キャラクター画像などのオブジェクトを描画する画素の黒と透明情報画素とは異なる情報として認識する。ただし、オブジェクトを描画する画素の黒と透明情報画素のいずれの画素も輝度が0であるとする。この場合、空間浮遊映像3を表示するとき、キャラクター“パンダ”1525の画像のうち黒を描画する画素と、背景画像である透明情報領域1520の画素とには、輝度の差がない。よって、空間浮遊映像3では、図13A(2)に示すように、キャラクター“パンダ”1525の画像のうち黒を描画する画素と透明情報領域1520の画素のいずれにも輝度はなく、光学的に同じ黒色の空間としてユーザ視認される。すなわち、オブジェクトであるキャラクター“パンダ” 1525の画像のうち黒を描画する部分は、背景に溶け込んでしまい、キャラクター“パンダ”1525の黒ではない部分だけが空間浮遊映像3の表示領域に浮遊している映像として認識されてしまう。
 本実施例の画像処理の一例について図13Bを用いて説明する。図13Bは、図13Aで説明した、オブジェクトの黒い画像領域が、背景に溶け込んでしまうという課題をより好適に解消する画像処理の一例を説明する図である。図13B(1)、(2)では、それぞれ、上側に空間浮遊映像3の表示状態、下側に、オブジェクトの画像の画像処理の入出力特性を示している。なお、オブジェクト(キャラクター“パンダ”1525)の画像やこれに対応するデータは、図3のストレージ部1170やメモリ1109から読み出してもよい。または、映像信号入力部1131から入力されてもよい。または、通信部1132を介して取得してもよい。
 ここで、図13B(1)の状態では、オブジェクトの画像の画像処理の入出力特性は、特に調整していないリニアな状態である。この場合、図13A(2)と同様の表示状態であり、オブジェクトの黒い画像領域が、背景に溶け込んでしまっている。これに対し、図13B(2)では、本実施例の映像制御部1160は、オブジェクト(キャラクター“パンダ”1525)の画像への画像処理の入出力特性を、下段に示す入出力特性にように調整する。
 すなわち、映像制御部1160は、オブジェクト(キャラクター“パンダ”1525)の画像について、入力画像の画素について低輝度領域の画素の輝度値を増加させた出力画素に変換する特性を有する、入出力特性の画像処理を施す。オブジェクト(キャラクター“パンダ”1525)の画像は、当該入出力特性の画像処理を施されたのちに、オブジェクト(キャラクター“パンダ”1525)の画像を含む映像が表示装置1に入力され、表示されることとなる。すると、空間浮遊映像3の表示状態は、図13B(2)上段に示すように、キャラクター“パンダ”1525の画像における黒を描画する画素領域の輝度が増加する。これにより、キャラクター“パンダ”1525の画像を描画する領域のうち、黒を描画する領域についても、背景の黒に溶け込ませず区別してユーザに認識させることができ、オブジェクトをより好適に表示することが可能となる。
 すなわち、図13B(2)の画像処理を用いることにより、オブジェクトであるキャラクター“パンダ”1525の画像を表示する領域が、窓を介した空間浮遊映像表示装置1000の筐体内部である背景の黒と区別して認識できるようになり、当該オブジェクトの視認性が改善する。よって、例えば、前記画像処理前(すなわち、前記オブジェクトの画像やこれに対応するデータを図3のストレージ部1170やメモリ1109から読み出した時点、または、前記オブジェクトの画像を映像信号入力部1131から入力した時点、または、通信部1132を介して前記オブジェクトのデータを取得した時点、など。)において、オブジェクトを構成する画素に輝度の値が0の画素が含まれているオブジェクトであっても、映像制御部1160による当該入出力特性の画像処理により、低輝度領域の画素の輝度値を大きくしたオブジェクトに変換されたのち、表示装置1に表示され、空間浮遊映像表示装置1000の光学システムによって、空間浮遊映像3に変換されることとなる。
 すなわち、当該入出力特性の画像処理後のオブジェクトを構成する画素には、輝度の値が0の画素は含まれない状態に変換されたのち、表示装置1に表示され、空間浮遊映像表示装置1000の光学システムによって、空間浮遊映像3に変換されることとなる。
 なお、図13B(2)の画像処理において、オブジェクト(キャラクター“パンダ”1525)の画像の領域のみ、図13B(2)の入出力特性の画像処理を施す方法としては、例えば、映像制御部1160の画像処理において、背景画像レイヤーと、背景画像レイヤーの前面にあるキャラクター画像のレイヤーを別のレイヤーとして処理できるように構成しておき、キャラクター画像のレイヤーに図13B(2)の入出力特性の画像処理を施し、背景画像レイヤーには当該画像処理を行わないようにする。
 その後、これらのレイヤーを合成すれば、図13B(2)に示すように、キャラクター画像のみ、入力画像の低輝度領域を持ち上げる特性の画像処理が施されることとなる。また、別の方法としては、キャラクター画像のレイヤーと背景画像レイヤーが合成されたのちに、キャラクター画像の領域にのみ、図13B(2)の入出力特性の画像処理を施すように構成しても良い。
 また、入力映像に対する入出力特性の低輝度領域を持ち上げる映像処理で用いる入出力映像特性は、図13B(2)の例に限られない。低輝度を持ち上げる映像処理であれば何でもよく、いわゆるブライト調整でもよい。または、国際公開2014/162533号に開示されるような、レティネックス処理の重みづけを変える利得を制御することで、視認性を向上する映像処理を行ってもよい。
 以上説明した、図13B(2)の画像処理によれば、キャラクターやオブジェクトなどの画像を描画する領域のうち黒を描画する領域について、背景の黒に溶け込ませずユーザに認識させることができ、より好適な表示を実現することが可能となる。
 なお、図13A,図13Bの例では、背景が黒に見える空間浮遊映像表示装置(例えば、図4A~Gの空間浮遊映像表示装置1000や、図4I、図4Jで背面側窓を遮光している状態の空間浮遊映像表示装置1000など)を例に、その課題とより好適な画像処理について説明した。しかしながら、当該画像処理は、これらの空間浮遊映像表示装置以外の装置においても有効である。
 具体的には、図4Hの空間浮遊映像表示装置1000や、図4I、図4Jで背面側窓を遮光していない状態の空間浮遊映像表示装置1000では、空間浮遊映像3の背景は黒ではなく、窓を介した空間浮遊映像表示装置1000の後ろ側の景色となる。この場合も、図13Aおよび図13Bで説明した課題は同様に存在する。
 すなわち、オブジェクトであるキャラクター“パンダ”1525の画像のうち黒を描画する部分は、窓を介した空間浮遊映像表示装置1000の後ろ側の景色に溶け込んでしまうこととなる。この場合も、図13B(2)の画像処理を用いることにより、オブジェクトであるキャラクター“パンダ”1525の画像のうち黒を描画する部分が、窓を介した空間浮遊映像表示装置1000の後ろ側の景色と区別して認識できるようになり、当該オブジェクトの視認性が改善する。
 すなわち、図13B(2)の画像処理を用いることにより、オブジェクトであるキャラクター“パンダ”1525の画像を表示する領域が、窓を介した空間浮遊映像表示装置1000の後ろ側の景色と区別して認識でき、当該オブジェクトであるキャラクター“パンダ”1525が前記景色の前面にあることがより好適に認識できるようになり、当該オブジェクトの視認性が改善する。
 また、図4K、図4L、図4Mの空間浮遊映像表示装置1000において、上述のとおり、空間浮遊映像3とは奥行の異なる位置に別の映像(透過型自発光映像表示装置1650の映像、または第2の表示装置1680の映像、など)が表示されている場合は、空間浮遊映像3の背景は黒ではなく、当該別の映像となる。この場合も、図13Aおよび図13Bで説明した課題は同様に存在する。
 すなわち、オブジェクトであるキャラクター“パンダ”1525の画像のうち黒を描画する部分は、空間浮遊映像3とは奥行の異なる位置に表示されている前記別の映像に溶け込んでしまうこととなる。この場合も、図13B(2)の画像処理を用いることにより、オブジェクトであるキャラクター“パンダ”1525の画像のうち黒を描画する部分が、前記別の映像と区別して認識できるようになり、当該オブジェクトの視認性が改善する。
 すなわち、図13B(2)の画像処理を用いることにより、オブジェクトであるキャラクター“パンダ”1525の画像を表示する領域が、前記別の映像と区別して認識でき、当該オブジェクトであるキャラクター“パンダ”1525が前記別の映像の前面にあることがより好適に認識できるようになり、当該オブジェクトの視認性が改善する。
 本実施例の映像表示処理の一例について、図13Cを用いて説明する。図13Cは、本実施例の映像表示の例のうち、空間浮遊映像3と、別の映像である第2の画像2050を同時に表示する映像表示例である。第2の画像2050は、図4Kまたは図4Lの透過型自発光映像表示装置1650の表示映像に対応してもよい。また、第2の画像2050は、図4Mの第2の表示装置1680の表示映像に対応してもよい。
 すなわち、図13Cの映像表示の一例は、図4K、図4L、図4Mの空間浮遊映像表示装置1000の映像表示例の具体例の一例を示したものである。本図の例では、空間浮遊映像3にはクマのキャラクターが表示されている。空間浮遊映像3でのクマのキャラクター以外の領域は黒表示であり、空間浮遊映像としては透明になる。また、第2の画像2050は、平原と山と太陽が描画された背景画像である。
 ここで、図13Cにおいて、空間浮遊映像3と、第2の画像2050は、奥行の異なる位置に表示されている。ユーザ230が矢印2040の視線方向で空間浮遊映像3と第2の画像2050の2つの映像を視認することにより、ユーザ230は、この2つの映像が重なった状態で映像を視認することができる。具体的には、第2の画像2050に描画される平原と山と太陽の背景の手前に、空間浮遊映像3のクマのキャラクターが重畳して見えることとなる。
 ここで、空間浮遊映像3は空中に実像として結像しているため、ユーザ230が少し視点を動かすと、視差により空間浮遊映像3と第2の画像2050の奥行を認識することができる。よって、ユーザ230は、2つの映像を重なった状態で視認しながら、空間浮遊映像3についてより強い空間浮遊感を得ることが可能となる。
 本実施例の映像表示処理の一例について図13Dを用いて説明する。図13D(1)は、図13Cの本実施例の映像表示の例のうち、空間浮遊映像3をユーザ230の視線方向から見た図である。ここで、空間浮遊映像3には、クマのキャラクターが表示されている。空間浮遊映像3でのクマのキャラクター以外の領域は黒表示であり、空間浮遊映像としては透明になる。
 図13D(2)は、図13Cの本実施例の映像表示の例のうち、第2の画像2050をユーザ230の視線方向から見た図である。本図の例では、第2の画像2050は、平原と山と太陽が描画された背景画像である。
 図13D(3)は、図13Cの本実施例の映像表示の例のうち、ユーザ230の視線方向において、第2の画像2050と空間浮遊映像3とが重畳して見える状態を示した図である。具体的には、第2の画像2050に描画される平原と山と太陽の背景の手前に、空間浮遊映像3のクマのキャラクターが重畳して見えることとなる。
 ここで、空間浮遊映像3と第2の画像2050とを同時に表示する場合に、空間浮遊映像3の視認性をより好適に確保するためには、両者の映像の明るさのバランスに留意することが望ましい。空間浮遊映像3の明るさに対して、第2の画像2050が明るすぎれば、空間浮遊映像3の表示映像が透けてしまい、背景である第2の画像2050が透過して強く視認されるようになる。
 よって、少なくとも、空間浮遊映像3の表示位置における空間浮遊映像3の単位面積当たりの明るさが、第2の画像2050から空間浮遊映像3の表示位置に到達する映像光の単位面積当たりの明るさよりも大きくなるように、空間浮遊映像3の光源の出力および表示装置1の表示映像輝度、第2の画像2050を表示する表示装置の光源の出力および当該表示装置の表示映像輝度を設定すればよい。
 なお、空間浮遊映像3と第2の画像2050とを同時に表示する場合にこの条件を満たせばよいので、空間浮遊映像3を表示せず第2の画像2050のみを表示している第1の表示モードから、空間浮遊映像3と第2の画像2050とを同時に表示する第2の表示モードに切り替える場合に、第2の画像2050を表示する表示装置の光源の出力および/または当該表示装置の表示映像輝度をさげることにより、第2の画像2050の明るさを低減する制御を行ってもよい。これらの制御は、図3の制御部1110が表示装置1および第2の画像2050を表示する表示装置(図4Kまたは図4Lの透過型自発光映像表示装置1650または図4Mの第2の表示装置1680)を制御することにより実現すればよい。
 なお、上述の第1の表示モードから上述の第2の表示モードへの切り替えにおいて、第2の画像2050の明るさを低減する制御を行う場合、第2の画像2050の画面全体に対して均一に明るさを低減しても良い。または、第2の画像2050の画面全体に対して均一に明るさを低減せずに、空間浮遊映像3にオブジェクトが表示されている部分を最も明るさ低減効果が高い状態とし、その周辺は段階的に明るさ低減効果を緩めてもよい。すなわち、空間浮遊映像3が第2の画像2050に重畳されて視認される部分のみ、第2の画像2050の明るさ低減を実現すれば、空間浮遊映像3の視認性確保は十分であるからである。
 ここで、空間浮遊映像3と、第2の画像2050は奥行の異なる位置に表示されているので、ユーザ230が少し視点を変えると、視差により、第2の画像2050に対する空間浮遊映像3の重畳位置は変化する。よって、上述の第1の表示モードから上述の第2の表示モードへの切り替えにおいて、第2の画像2050の画面全体に対して不均一に明るさを低減する場合は、空間浮遊映像3に表示されているオブジェクトの輪郭に基づいてシャープに明るさを低減することは望ましくなく、上述のように位置によって段階的に明るさ低減効果を変えていく、明るさ低減効果のグラデーション処理を行うことが望ましい。
 なお、空間浮遊映像3に表示されるオブジェクトの位置がほぼ空間浮遊映像3の中央である空間浮遊映像表示装置1000においては、当該明るさ低減効果のグラデーション処理の最も明るさ低減効果が高い位置は、空間浮遊映像3の中央の位置にすればよい。
 以上説明した、本実施例の映像表示処理によれば、ユーザ230は空間浮遊映像3と第2の画像2050をより好適に視認できる。
 なお、空間浮遊映像3を表示する場合は第2の画像2050の表示を行わないように制御してもよい。第2の画像2050の表示を行わない方が空間浮遊映像3の視認性は高まるので、空間浮遊映像3の表示時は空間浮遊映像3をユーザが確実に視認しなければならない用途の空間浮遊映像表示装置1000などに好適である。
 <実施例2>
 本発明の実施例2として、空間浮遊映像表示装置の別の構成例の一例について説明する。なお、本実施例に係る空間浮遊映像表示装置は実施例1で説明した、空間浮遊映像表示装置に格納される光学システムを、図14(1)または図14(2)に示す光学システムに変更したものである。本実施例では、実施例1との相違点を説明し、実施例1と同様の構成については、繰り返しの説明は省略する。なお、本実施例の以降の説明において、所定の偏光と他方の偏光とは、互いに位相が90°異なる偏波の偏光である。
 図14(1)は、本実施例にかかる光学システムおよび光路の一例である。図14(1)に示す光学システムは、図2Cの光学システムにおいて、表示装置1を偏光分離部材101Bにより近づけて、光学システム全体をよりコンパクトに構成したものである。図14(1)において、図2Cと同一の符号を付した構成については、繰り返しの詳細な説明は省略する。
 図14(1)では、図2Cと同様、表示装置1から出射した所定の偏光(図ではP偏光)の映像光が、表示装置1の映像表示面から垂直方向に進行する。ここで、偏光分離部材101Bは、図2C同様に、表示装置1から出射した所定の偏光(図ではP偏光)を選択的に透過させ、他方の偏光(図ではS偏光)を反射する。
 よって、表示装置1の映像表示面から垂直方向に進行した所定の偏光(図ではP偏光)の映像光は、偏光分離部材101Bを透過し、λ/4板21が貼り付けられた再帰反射板2に到達する。再帰反射板2で再帰性反射され、再び偏光分離部材101Bに向かって進行する映像光は、λ/4板21を2回透過したことにより、表示装置1から出射時の所定の偏光(図ではP偏光)から他方の偏光(図ではS偏光)へと変換されている。再び偏光分離部材101Bに向かって進行した映像光は、他方の偏光(図ではS偏光)であるので、偏光分離部材101Bでユーザがいるべき位置に向かって反射される。偏光分離部材101Bで反射された映像の進行方向は、偏光分離部材101Bが配置される角度に基づいて定まる。
 図14(1)の例では、偏光分離部材101Bに向かって進行した映像光は、偏光分離部材101Bで直角に反射して図のように進行する。偏光分離部材101Bで反射された映像光は空間浮遊映像3Aを形成する。空間浮遊映像3Aは、ユーザによって、矢印Aの方向から好適に視認できる。
 ここで、再帰反射板2による再帰性反射の特性上、表示装置1から出射した映像光が再帰反射板2に到達するまでの光路長と、再帰反射板2から出射した映像光が空間浮遊映像3Aの形成位置に到達するまでの光路長とが、等しくなる関係にある。これの関係により、偏光分離部材101Bで反射された映像光の進行方向における空間浮遊映像3Aの形成位置が定まる。
 図14(1)の例では、表示装置1、偏光分離部材101B、および再帰反射板2を、図2Cの例よりも近づくように配置している。これにより、光学システム全体をよりコンパクトに構成することを実現している。しかしながら、図14(1)の光学システムから空間浮遊映像3Aが飛び出す量はさほど大きくない。例えば、光学システムから空間浮遊映像3Aが飛び出す量の一つの指標として、映像光の中心部分の光線が、偏光分離部材101Bで反射された位置から映像光が空間浮遊映像3Aを形成する位置までの距離を図に示している(図14(1)の例ではL1)。
 なお、図14(1)の光学システムにおける偏光設計について、P偏光とS偏光の特性を入れ替えてもよい。具体的には、表示装置1から出射した映像光の所定の偏光をS偏光とし、偏光分離部材101Bの反射特性について、P偏光とS偏光の特性を入れ替えてもよい。この場合、図示される、P偏光とS偏光はいずれも逆になるが、光路などの光学設計は、まったく同様に実現可能である。
 次に、図14(2)に本実施例にかかる光学システムおよび光路の別の一例を示す。図14(2)の光学システムは、図14(1)の光学システム同様のコンパクトさを実現しつつ、光学システムから空間浮遊映像が飛び出す量をより大きくするために、図14(1)の光学システムにおける構成を変更したものである。図14(2)において、図14(1)と同一の符号を付した構成については、繰り返しの詳細な説明は省略する。
 図14(2)において、図14(1)同様、表示装置1から出射した所定の偏光(図ではP偏光)の映像光が、表示装置1の映像表示面から垂直方向に進行する。ここで、偏光分離部材101Bの偏光特性は、図14(1)と配置が90度異なっている。表示装置1の映像表示面から垂直方向に進行した所定の偏光(図ではP偏光)の映像光は、偏光分離部材101Bを透過する。
 ここで、図14(1)と異なり、映像光が偏光分離部材101Bを透過した先には、λ/4板21が貼り付けられた再帰反射板2ではなく、λ/4板21Bが貼り付けられた鏡面反射板4が配置されている。ここで、鏡面反射板4における反射は鏡面反射(正反射ともよばれる)であり、再帰性反射ではない。
 よって、偏光分離部材101Bを透過した映像光は、λ/4板21Bが貼り付けられた鏡面反射板4で鏡面反射する。鏡面反射板4で鏡面反射されて再び偏光分離部材101Bに向かって進行する映像光は、λ/4板21を2回透過したことにより、表示装置1から出射時の所定の偏光(図ではP偏光)から他方の偏光(図ではS偏光)へと変換されている。再び偏光分離部材101Bに向かって進行した映像光は、他方の偏光(図ではS偏光)であるので、偏光分離部材101Bで反射される。
 ここで、図14(2)における偏光分離部材101Bの配置の向きは、図14(1)と異なるため、偏光分離部材101Bで反射された映像光は、ユーザがいるべき位置とは逆方向に進行する。偏光分離部材101Bで反射された映像光が進行する先には、λ/4板21Cが貼り付けられた再帰反射板2が配置されている。映像光は、再帰反射板2により再帰性反射される。再帰反射板2で再帰性反射され、再び偏光分離部材101Bに向かって進行する映像光は、λ/4板21Cを2回透過したことにより、他方の偏光(図ではS偏光)から再びの所定の偏光(図ではP偏光)へと変換されている。
 再び偏光分離部材101Bに向かって進行した映像光は、所定の偏光(図ではP偏光)であるので、偏光分離部材101Bを透過し、そのままユーザがいるべき位置に向かって進行する。偏光分離部材101Bを透過した映像光は空間浮遊映像3Bを形成する。空間浮遊映像3Bは、ユーザによって、矢印Aの方向から好適に視認できる。
 ここで、図14(2)においても、図14(1)と同様、再帰反射板2による再帰性反射の特性上、表示装置1から出射した映像光が再帰反射板2に到達するまでの光路長と、再帰反射板2から出射した映像光が空間浮遊映像3Bの形成位置に到達するまでの光路長とが、等しくなる関係にある。この関係により、偏光分離部材101Bを透過した映像光の進行方向における空間浮遊映像3Bの形成位置が定まる。
 図14(2)における、表示装置1から出射した映像光が再帰反射板2に到達するまでの光路長は、図14(1)における、表示装置1から出射した映像光が再帰反射板2に到達するまでの光路長に比べ、長い。図14(2)の光学システムにおいては、図14(1)の光学システムには存在しない、偏光分離部材101Bと鏡面反射板4との間を往復する光路が、表示装置1から出射した映像光が再帰反射板2に到達するまでの光路長に追加されているからである。
 これにより、図14(2)の光学システムにおける、映像光の中心部分の光線が、偏光分離部材101Bを透過した位置から映像光が空間浮遊映像3Bを形成する位置までの距離(図14(2)の例ではL2)は、図14(1)の光学システムにおける、映像光の中心部分の光線が、偏光分離部材101Bで反射された位置から映像光が空間浮遊映像3Aを形成する位置までの距離(図14(1)の例ではL1)に比べ、格段に長くなる。
 なお、図14(2)の光学システムにおける偏光設計についても、P偏光とS偏光の特性を入れ替えてもよい。具体的には、表示装置1から出射した映像光の所定の偏光をS偏光とし、偏光分離部材101Bの反射特性について、P偏光とS偏光の特性を入れ替えてもよい。この場合、図示される、P偏光とS偏光はいずれも逆になるが、光路などの光学設計は、まったく同様に実現可能である。
 以上説明した、本発明の実施例2における、図14(1)および図14(2)の光学システムによれば、よりコンパクトな光学システムを実現できる。特に、図14(2)の光学システムによれば、よりコンパクトな光学システムでありながら、光学システムから空間浮遊映像が飛び出す量をより大きくすることが可能となる。
 なお、図14(1)または図14(2)の光学システムを、空間浮遊映像表示装置に組み込む場合には、実施例1で説明した空間浮遊映像表示装置における光学システムを、図14(1)または図14(2)の光学システムへ置き換えれば実現できる。具体的には、図14(1)の光学システムを、図4E、図4F、図4G、図4H、図4I、図4J、図4K、図4L、または図4Mの空間浮遊映像表示装置の光学システムと置き換えてもよい。この場合、光学システムがコンパクトになるので、各図の空間浮遊映像表示装置の筐体をより小さくすることが可能である。
 また、具体的には、図14(2)の光学システムを、図4E、図4F、図4G、図4K、または図4Lの空間浮遊映像表示装置の光学システムと置き換えてもよい。この場合、光学システムから空間浮遊映像が飛び出す量をより大きくすることが可能となる。また、光学システムがコンパクトになるので、各図の空間浮遊映像表示装置の筐体をより小さくすることが可能である。
 <実施例3>
 本発明の実施例3として、空間浮遊映像表示装置の別の構成例の一例として、光学システムから飛び出す量が異なる複数層の空間浮遊映像を表示する空間浮遊映像表示装置について説明する。なお、本実施例では、実施例1または実施例2との相違点を説明し、実施例1または実施例2と同様の構成については、繰り返しの説明は省略する。なお、本実施例の以降の説明において、所定の偏光と他方の偏光とは、互いに位相が90°異なる偏波の偏光である。
 図15Aは、複数層の空間浮遊映像を表示する空間浮遊映像表示装置の光学システムの構成例および光路の一例である。図15Aの光学システムは、映像源である表示装置には、表示装置1を1つだけ備えている。図15Aの例では、表示装置1の表示画面に表示領域1501と表示領域1502の2つの表示領域を設けている。図15Aの光学システムは、表示領域1501に対応する空間浮遊映像3Dを表示する。図15Aの光学システムは、表示領域1502に対応する空間浮遊映像3Eを表示する。
 図15Aの例では、ユーザが矢印Aの方向から空間浮遊映像3Dと空間浮遊映像3Eを視認するとき、空間浮遊映像3Dが空間浮遊映像3Eの手前に表示されて見える。ユーザから見て空間浮遊映像3Dと空間浮遊映像3Eとは重なって見えるので、これらの空間浮遊映像は、奥行きが2層ある空間浮遊映像として視認される。
 次に、この奥行きが2層ある空間浮遊映像を実現する、図15Aの光学システムの詳細な構成について説明する。表示装置1の構成は、実施例1と同様であるため、繰り返しの説明は省略する。まず、表示装置1からは所定の偏光(図ではP偏光)の映像光が出力される。表示領域1501および表示領域1502のいずれの位置においても、所定の偏光(図ではP偏光)の映像光が出力されるが、図15Aの光学システムでは、表示領域1502を含むようにλ/2板22が貼り付けられているため、表示領域1502から出射される映像光は、λ/2板22を透過し他方の偏光(図ではS偏光)へと変換されて進行する。
 ここで、表示領域1501から出力された所定の偏光(図ではP偏光)の映像光は図に示すように進行して、偏光分離部材101Dに入射する。偏光分離部材101Dは、所定の偏光(図ではP偏光)を選択的に透過させ、他方の偏光(図ではS偏光)を反射する。
 よって、表示領域1501から出力された所定の偏光(図ではP偏光)の映像光は、偏光分離部材101Dを透過し、λ/4板21Dが貼り付けられた再帰反射板2Dに到達する。再帰反射板2Dで再帰性反射され、再び偏光分離部材101Dに向かって進行する映像光は、λ/4板21Dを2回透過したことにより、表示装置1から出射時の所定の偏光(図ではP偏光)から他方の偏光(図ではS偏光)へと変換されている。
 再び偏光分離部材101Dに向かって進行した映像光は、他方の偏光(図ではS偏光)であるので、偏光分離部材101Dでユーザがいるべき位置に向かって反射される。偏光分離部材101Dで反射された映像の進行方向は、偏光分離部材101Dが配置される角度に基づいて定まる。図15Aの例では、偏光分離部材101Dに向かって進行した映像光は、偏光分離部材101Dで直角に反射して図のように進行する。偏光分離部材101Dで反射された映像光は空間浮遊映像3Dを形成する。
 次に、表示領域1502から出力される映像光はλ/2板22を透過し他方の偏光(図ではS偏光)へと変換されて進行し、偏光分離部材101Eに入射する。偏光分離部材101Eは、所定の偏光(図ではP偏光)を選択的に透過させ、他方の偏光(図ではS偏光)を反射する。よって、表示領域1502から出力されλ/2板22を透過した他方の偏光(図ではS偏光)の映像光は、偏光分離部材101Eで反射され、λ/4板21Eが貼り付けられた再帰反射板2Eに到達する。偏光分離部材101Eで反射された映像の進行方向は、偏光分離部材101Eが配置される角度に基づいて定まる。図15Aの例では、偏光分離部材101Eに向かって進行した映像光は、偏光分離部材101Eで直角に反射して図のように進行する。再帰反射板2Eで再帰性反射され、再び偏光分離部材101Eに向かって進行する映像光は、λ/4板21Eを2回透過したことにより、他方の偏光(図ではS偏光)から所定の偏光(図ではP偏光)へと変換されている。
 再び偏光分離部材101Eに向かって進行した映像光は、所定の偏光(図ではP偏光)であるので、偏光分離部材101Eを透過する。図に示すように、偏光分離部材101Eを透過した映像光は、偏光分離部材101Dに向かって進行する。上述のとおり偏光分離部材101Dは、所定の偏光(図ではP偏光)を選択的に透過させ、他方の偏光(図ではS偏光)を反射する。よって、所定の偏光(図ではP偏光)である再帰反射板2Eからの映像光は、偏光分離部材101Dを透過し、ユーザがいるべき位置に向かって進行する。偏光分離部材101Dを透過した映像光は空間浮遊映像3Eを形成する。
 図15Aの例では、表示領域1501から出力された映像光の光路と、表示領域1502から出力された映像光の光路において、それぞれの映像光が他方の映像光の光路に漏れないように、その間に遮光板が設けられている。
 図15Aの例では、偏光分離部材101Dおよび偏光分離部材101Eは、いずれも表示装置1からの映像光の進行方向に対して、45度の傾きで配置されている。これにより、空間浮遊映像3Dを形成する映像光および空間浮遊映像3Eを形成する映像光は、同じ方向に揃ってユーザがいるべき位置に向かって進行する。このように構成するためには、図15Aの例では、ユーザが矢印Aの方向(y方向)から空間浮遊映像3Dと空間浮遊映像3Eとを視認するとき、空間浮遊映像3Dと空間浮遊映像3Eと偏光分離部材101Dと偏光分離部材101Eと再帰反射板2Eとはユーザから見て同一直線上(例えば、図15Aの例では、再帰反射板2Eから空間浮遊映像3Eへ至る光路の直線であって、ユーザの方向に延伸する直線)に配置されている。
 またこのとき、表示装置1と再帰反射板2Dとは、当該同一直線上の位置から外れた位置に配置されることになる。また、図15Aの例では、ユーザが矢印Aの方向(y方向)から空間浮遊映像3Dと空間浮遊映像3Eを視認するとき、空間浮遊映像3Dの映像の左右方向(x方向)の中心と、空間浮遊映像3Eの映像の左右方向(x方向)の中心とが、一致するように、偏光分離部材101Dと偏光分離部材101Eの設置位置を定めている。ユーザからみて、空間浮遊映像3Dの映像の左右方向(x方向)の中心と、空間浮遊映像3Eの映像の左右方向(x方向)の中心とが、一致していると、ユーザにとってはより見やすく、映像コンテンツの制作側にとってもオフセットを考慮する必要がないため、より好適である。また、光学的なレイアウトもシンプルになり、より好適である。
 なお、図15Aの光学システムにおける偏光設計について、P偏光とS偏光の特性を入れ替えてもよい。具体的には、表示装置1の表示領域1501から出射する映像光の所定の偏光をS偏光とし、表示装置1の表示領域1502から出射してλ/2板22を透過した他方の偏光をP偏光とし、偏光分離部材101Dの反射特性および偏光分離部材101Eについて、P偏光とS偏光の特性を入れ替えてもよい。この場合、図示される、P偏光とS偏光はいずれも逆になるが、光路などの光学設計は、まったく同様に実現可能である。
 以上説明した、図15Aの光学システムによれば、1つの表示装置を用いて、奥行きが2層ある空間浮遊映像を形成する光学システムを実現できる。なお、表示領域1501および表示領域1502に対応する表示装置を別々に備える構成にしてもよい。しかしながら、表示装置を複数に備える構成とすると、対応する回路も増えることになり、比較的コストが高くなる可能性がある。したがって、図15Aのように1つの表示装置のみで、奥行きが2層ある空間浮遊映像を形成すれば、より低コストに奥行きが2層ある空間浮遊映像を形成する光学システムが実現できる。
 なお、図15Aの光学システムを空間浮遊映像表示装置に組み込む場合には、実施例1で説明した空間浮遊映像表示装置における光学システムを、図15Aの光学システムへ置き換えれば実現できる。具体的には、図15Aの光学システムを、図4E、図4F、図4G、図4K、または図4Lの空間浮遊映像表示装置の光学システムと置き換えてもよい。この場合、各図において奥行きが2層ある空間浮遊映像を形成する空間浮遊映像表示装置が実現できる。特に、図4Kおよび図4Lにおいては、透過型自発光映像表示装置1650のユーザから見て手前側に、奥行きが2層ある空間浮遊映像を形成することが可能となる。この場合、奥行きが2層ある空間浮遊映像の映像と、透過型自発光映像表示装置1650とで奥行きが異なる3層の映像をユーザから視認できるように形成することができる。
 次に、実施例3の光学システムから飛び出す量が異なる複数層の空間浮遊映像を表示する空間浮遊映像表示装置の光学システムおよび光路の別の一例について、図15Bを用いて説明する。図15Bの光学システムは、図15Aの光学システムの一部の構成を変更した変形例である。よって、図15Bの例では、図15Aとの相違点を説明し、図15Aと同様の構成については、繰り返しの説明は省略する。
 図15Bの光学システムでは、図15Aと同様に、表示装置1の表示画面に表示領域1501と表示領域1502の2つの表示領域を設けている。しかしながら、表示領域1502の出射面には、λ/2板は貼り付けられてはいない。図15Bの光学システムにおける偏光分離部材101Dおよび偏光分離部材101Eの特性および配置は、図15Aの光学システムと同様である。図15Aの光学システムでは、λ/4板21Dが貼り付けられた再帰反射板2Dと、λ/4板21Eが貼り付けられた再帰反射板2Eとは、別々に配置されていた。これに対し、図15Bの光学システムでは、λ/4板21が貼り付けられた再帰反射板2が1枚だけ配置されている。図15Bの光学システムでは、偏光分離部材101Eから偏光分離部材101Dへ向かう光路にλ/2板22が配置されている。
 ここで、図15Bの光学システムにおいて、表示領域1501から出射した所定の偏光(図ではP偏光)の映像光が空間浮遊映像3Dを形成するまでの映像光の光路と、各光学要素は、光学特性については、λ/4板21Dが貼り付けられた再帰反射板2Dがλ/4板21が貼り付けられた再帰反射板2に置き換えられた以外に相違点はないため、説明を省略する。
 ここで、図15Bの光学システムでは、表示領域1502から出射した所定の偏光(図ではP偏光)は、偏光分離部材101Eへ向かって進行し、偏光分離部材101Eに入射する。偏光分離部材101Eは、所定の偏光(図ではP偏光)を選択的に透過させ、他方の偏光(図ではS偏光)を反射する。よって、偏光分離部材101Eに向かって進行した映像光は、偏光分離部材101Eを透過し、再帰反射板2に向かって進行する。再帰反射板2で再帰性反射され、再び偏光分離部材101Eに向かって進行する映像光は、λ/4板21を2回透過したことにより、所定の偏光(図ではP偏光)から他方の偏光(図ではS偏光)へと変換されている。
 再び偏光分離部材101Eに向かって進行した映像光は、他方の偏光(図ではS偏光)であるので、偏光分離部材101Eにより反射され、λ/2板22に向かって進行する。λ/2板22に入射した映像光は、λ/2板22を透過することにより、他方の偏光(図ではS偏光)から所定の偏光(図ではP偏光)に変換される。λ/2板22を透過した映像光は、偏光分離部材101Dに向かって進行する。偏光分離部材101Dは、所定の偏光(図ではP偏光)を選択的に透過させ、他方の偏光(図ではS偏光)を反射する。よって、所定の偏光(図ではP偏光)であるλ/2板22からの映像光は、偏光分離部材101Dを透過し、ユーザがいるべき位置に向かって進行する。偏光分離部材101Dを透過した映像光は空間浮遊映像3Eを形成する。
 図15Bの例では、表示領域1501から出力された映像光の光路と、表示領域1502から出力された映像光の光路において、それぞれの映像光が他方の映像光の光路に漏れないように、その間に遮光板が設けられている。
 図15Bの例では、偏光分離部材101Dおよび偏光分離部材101Eは、いずれも表示装置1からの映像光の進行方向に対して、45度の傾きで配置されている。これにより、空間浮遊映像3Dを形成する映像光および空間浮遊映像3Eを形成する映像光は、同じ方向に揃ってユーザがいるべき位置に向かって進行する。
 このように構成するためには、図15Bの例では、ユーザが矢印Aの方向(y方向)から空間浮遊映像3Dと空間浮遊映像3Eとを視認するとき、空間浮遊映像3Dと空間浮遊映像3Eと偏光分離部材101Dとλ/2板22と偏光分離部材101Eとはユーザから見て同一直線上(例えば、図15Bの例では、偏光分離部材101Eから空間浮遊映像3Eへ至る光路の直線であって、ユーザの方向に延伸する直線)に配置されている。またこのとき、表示装置1と再帰反射板2とは、当該同一直線上の位置から外れた位置に配置されることになる。
 また、図15Bの例では、ユーザが矢印Aの方向(y方向)から空間浮遊映像3Dと空間浮遊映像3Eを視認するとき、空間浮遊映像3Dの映像の左右方向(x方向)の中心と、空間浮遊映像3Eの映像の左右方向(x方向)の中心とが、一致するように、偏光分離部材101Dと偏光分離部材101Eの設置位置を定めている。ユーザからみて、空間浮遊映像3Dの映像の左右方向(x方向)の中心と、空間浮遊映像3Eの映像の左右方向(x方向)の中心とが、一致していると、ユーザにとってはより見やすく、映像コンテンツの制作側にとってもオフセットを考慮する必要がないため、より好適である。また、光学的なレイアウトもシンプルになり、より好適である。
 なお、図15Bの光学システムにおける偏光設計について、P偏光とS偏光の特性を入れ替えてもよい。具体的には、表示装置1の表示領域1501から出射する映像光の所定の偏光をS偏光とし、表示領域1502から出射する映像光の所定の偏光をS偏光とし、偏光分離部材101Dの反射特性および偏光分離部材101Eについて、P偏光とS偏光の特性を入れ替えてもよい。この場合、図示される、P偏光とS偏光はいずれも逆になるが、光路などの光学設計は、まったく同様に実現可能である。
 以上説明した図15Bの光学システムでは、表示領域1501から出射した映像光が空間浮遊映像3Dを形成するまでの光路長は、図15Aの光学システムと同じである。また、図15Bの光学システムでは、表示領域1502から出射した映像光が空間浮遊映像3Eを形成するまでの光路長は、図15Aの光学システムと同じである。したがって、空間浮遊映像3Dの形成される位置と空間浮遊映像3Eが形成される位置も図15Aの光学システムと同じである。
 なお、図15Bの例では、表示領域1501から出射した映像光が空間浮遊映像3Dを形成するまでの光路長と、表示領域1502から出射した映像光が空間浮遊映像3Eを形成するまでの光路長も同じ長さの例を示している。図15Aの光学システムでは別々に配置されていた、再帰反射板2Dと再帰反射板2Eとが、図15Bの光学システムでは、1枚の再帰反射板2で構成されている。再帰反射板は加工コストの高い部品であるため、1枚化することで、低コスト化が図れる。したがって、図15Bの光学システムによれば、図15Aの光学システムよりも低コストに、奥行きが2層ある空間浮遊映像を形成する光学システムが実現できる。
 次に、実施例3の光学システムから飛び出す量が異なる複数層の空間浮遊映像を表示する空間浮遊映像表示装置の光学システムおよび光路の別の一例について、図16Aを用いて説明する。図16Aの光学システムは、図15Aの光学システムの一部の構成を変更した変形例である。よって、図16Aの例では、図15Aとの相違点を説明し、図15Aと同様の構成については、繰り返しの説明は省略する。
 図16Aの光学システムでは、表示装置1の表示画面における表示領域1501と表示領域1502との間の位置を中心に、表示装置1を図15Aの光学システムの配置よりも傾けて配置する構成にしている。図の例では表示装置1の傾きは30度の例を示している。図の例では、傾きに対応して表示装置1の表示画面の長さを長くしている。表示装置1の傾きは、表示領域1501から出射した映像光が再帰反射板2Dに至るまでの光路長が図15Aの光学システムの配置よりも短くなるように定められている。これにより、空間浮遊映像3Dは図15Aの光学システムよりもユーザからみて奥側に形成される。また、表示装置1の傾きは、表示領域1502から出射した映像光が再帰反射板2Eに至るまでの光路長が図15Aの光学システムの配置よりも長くなる。空間浮遊映像3Eは図15Aの光学システムよりもユーザからみて手前側に形成される。
 よって、図16Aの光学システムでは、空間浮遊映像3Dと空間浮遊映像3Eの2層の空間浮遊映像間の奥行方向の距離を図15Aの光学システムよりも近づけることが可能となる。すなわち、図16Aの例では、表示装置1の傾きにより、表示領域1501から出射した映像光が再帰反射板2Dに至るまでの光路長が表示領域1502から出射した映像光が再帰反射板2Eに至るまでの光路長よりも短くなっている。なお、図15Aの光学システムの配置に対して表示装置1が傾いて配置されることにより、形成される空間浮遊映像3D空間浮遊映像3Eの2層の空間浮遊映像は、いずれも図15Aの光学システムの配置に対して傾いて配置される。図15Aの光学システムに対する表示装置1の傾きが30度である場合は、空間浮遊映像3Dと空間浮遊映像3Eの2層の空間浮遊映像の傾きも30度である。
 ここで、図16Aの光学システムでは、表示装置1を傾けて配置したことに対応して、吸収型偏光板12の表面に角度制御シート23を貼り付けてもよい。角度制御シート23は、光の進行方向を所定の角度ずらすように制御するシートである。具体的には、リニアフレネルレンズシートで実現できる。液晶表示パネル11から映像光の角度分布において、液晶表示パネル11の表面の法線方向が最も光強度が強い場合、表示装置1の傾きを相殺するように、光の進行角度を制御することで、光学システムとしての光利用効率を向上させることができる。
 表示装置1の傾きが30度である場合は、その傾きを相殺するために、光の進行角度を30度変更する角度制御シート23を用いればよい。角度制御シート23を用いる場合は、表示領域1502については、角度制御シート23の表面にλ/2板22を貼り付ければよい。なお、角度制御シート23は、光学システムとしての光利用効率を向上させる必要がある場合に用いればよく、角度制御シート23を用いなくとも図16Aの光学システムは構成可能である。
 なお、図16Aの光学システムにおいて、表示領域1501および表示領域1502から出射した映像光が空間浮遊映像3Dと空間浮遊映像3Eを形成するまでの映像光の光路と、各光学要素の詳細は、図15Aの光学システムと同様であるため、繰り返しの説明を省略する。
 なお、図16Aの光学システムにおける偏光設計について、P偏光とS偏光の特性を入れ替えてもよい。具体的には、表示装置1の表示領域1501から出射する映像光の所定の偏光をS偏光とし、表示装置1の表示領域1502から出射してλ/2板22を透過した他方の偏光をP偏光とし、偏光分離部材101Dの反射特性および偏光分離部材101Eについて、P偏光とS偏光の特性を入れ替えてもよい。この場合、図示される、P偏光とS偏光はいずれも逆になるが、光路などの光学設計は、まったく同様に実現可能である。
 なお、図16Aの例においても、ユーザが矢印Aの方向(y方向)から空間浮遊映像3Dと空間浮遊映像3Eとを視認するとき、空間浮遊映像3Dと空間浮遊映像3Eと偏光分離部材101Dと偏光分離部材101Eと再帰反射板2Eとはユーザから見て同一直線上(例えば、図16Aの例では、再帰反射板2Eから空間浮遊映像3Eへ至る光路の直線であって、ユーザの方向に延伸する直線)に配置されている。またこのとき、表示装置1と再帰反射板2Dとは、当該同一直線上の位置から外れた位置に配置されることになる。
 以上説明した、図16Aの光学システムを用いれば、2層の空間浮遊映像間の奥行方向の距離をよりも近づけた空間浮遊映像表示装置が実現できる。
 次に、実施例3の光学システムから飛び出す量が異なる複数層の空間浮遊映像を表示する空間浮遊映像表示装置の光学システムおよび光路の別の一例について、図16Bを用いて説明する。図16Bの光学システムは、図15Bの光学システムの一部の構成を変更した変形例である。よって、図16Bの例では、図15Bとの相違点を説明し、図15Bと同様の構成については、繰り返しの説明は省略する。
 図16Bの光学システムでは、表示装置1の表示画面における表示領域1501と表示領域1502との間の位置を中心に、表示装置1を図15Bの光学システムの配置よりも傾けて配置する構成にしている。図の例では表示装置1の傾きは30度の例を示している。図の例では、傾きに対応して表示装置1の表示画面の長さを長くしている。表示装置1の傾きは、表示領域1501から出射した映像光が再帰反射板2に至るまでの光路長が図15Bの光学システムの配置よりも短くなるように定められている。これにより、空間浮遊映像3Dは図15Bの光学システムよりもユーザからみて奥側に形成される。また、表示装置1の傾きは、表示領域1502から出射した映像光が再帰反射板2に至るまでの光路長が図15Bの光学システムの配置よりも長くなるように定められている。空間浮遊映像3Eは図15Aの光学システムよりもユーザからみて手前側に形成される。
 よって、図16Bの光学システムでは、空間浮遊映像3Dと空間浮遊映像3Eの2層の空間浮遊映像間の奥行方向の距離を図15Bの光学システムよりも近づけることが可能となる。すなわち、図16Bの例では、表示装置1の傾きにより、表示領域1501から出射した映像光が再帰反射板2に至るまでの光路長が表示領域1502から出射した映像光が再帰反射板2に至るまでの光路長よりも短くなっている。
 なお、図15Bの光学システムの配置に対して表示装置1が傾いて配置されることにより、形成される空間浮遊映像3Dと空間浮遊映像3Eの2層の空間浮遊映像は、いずれも図15Bの光学システムの配置に対して傾いて配置される。図15Bの光学システムに対する表示装置1の傾きが30度である場合は、空間浮遊映像3Dと空間浮遊映像3Eの2層の空間浮遊映像の傾きも30度である。
 ここで、図16Bの光学システムでは、図16Aの光学システムと同様に、表示装置1を傾けて配置したことに対応して、吸収型偏光板12の表面に角度制御シート23を貼り付けてもよい。液晶表示パネル11から映像光の角度分布において、液晶表示パネル11の表面の法線方向が最も光強度が強い場合、表示装置1の傾きを相殺するように、光の進行角度を制御することで、光学システムとしての光利用効率を向上させることができる。表示装置1の傾きが30度である場合は、その傾きを相殺するために、光の進行角度を30度変更する角度制御シート23を用いればよい。なお、角度制御シート23は、光学システムとしての光利用効率を向上させる必要がある場合に用いればよく、角度制御シート23を用いなくとも図16Bの光学システムは構成可能である。
 なお、図16Bの光学システムにおいて、表示領域1501および表示領域1502から出射した映像光が空間浮遊映像3Dおよび空間浮遊映像3Eを形成するまでの映像光の光路と、各光学要素の詳細は、図15Aの光学システムと同様であるため、繰り返しの説明を省略する。
 なお、図16Bの光学システムにおける偏光設計について、P偏光とS偏光の特性を入れ替えてもよい。具体的には、表示装置1の表示領域1501から出射する映像光の所定の偏光をS偏光とし、表示領域1502から出射する映像光の所定の偏光をS偏光とし、偏光分離部材101Dの反射特性および偏光分離部材101Eについて、P偏光とS偏光の特性を入れ替えてもよい。この場合、図示される、P偏光とS偏光はいずれも逆になるが、光路などの光学設計は、まったく同様に実現可能である。
 以上説明した、図16Bの光学システムを用いれば、2層の空間浮遊映像間の奥行方向の距離をよりも近づけた空間浮遊映像表示装置が実現できる。
 次に、実施例3の光学システムから飛び出す量が異なる複数層の空間浮遊映像を表示する空間浮遊映像表示装置の光学システムおよび光路の別の一例について、図17Aを用いて説明する。
 図17Aは、複数層の空間浮遊映像を表示する空間浮遊映像表示装置の光学システムの構成例および光路の一例である。図17Aの光学システムは、映像源である表示装置には、表示装置1を1つだけ備えている。図17Aの例では、表示装置1の表示画面に表示領域1501と表示領域1502の2つの表示領域を設けている。図17Aの光学システムは、表示領域1501に対応する空間浮遊映像3Dを表示する。図17Aの光学システムは、表示領域1502に対応する空間浮遊映像3Eを表示する。
 図17Aの例では、ユーザが矢印Aの方向から空間浮遊映像3Eと空間浮遊映像3Dを視認するとき、空間浮遊映像3Eが空間浮遊映像3Dの手前に表示されて見える。ユーザから見て空間浮遊映像3Eと空間浮遊映像3Dとは重なって見えるので、これらの空間浮遊映像は、奥行きが2層ある空間浮遊映像として視認される。
 次に、図17Aの光学システムの詳細な構成について説明する。表示装置1の構成は、実施例1と同様であるため、繰り返しの説明は省略する。まず、表示装置1からは所定の偏光(図ではP偏光)の映像光が出力される。表示領域1501および表示領域1502のいずれの位置においても、所定の偏光(図ではP偏光)の映像光が出力される。
 ここで、表示領域1501から出力された所定の偏光(図ではP偏光)の映像光は図に示すように進行して、偏光分離部材101Dに入射する。偏光分離部材101Dは、所定の偏光(図ではP偏光)を選択的に透過させ、他方の偏光(図ではS偏光)を反射する。よって、表示領域1501から出力された所定の偏光(図ではP偏光)の映像光は、偏光分離部材101Dを透過し、λ/4板21Dが貼り付けられた再帰反射板2Dに到達する。再帰反射板2Dで再帰性反射され、再び偏光分離部材101Dに向かって進行する映像光は、λ/4板21Dを2回透過したことにより、表示装置1から出射時の所定の偏光(図ではP偏光)から他方の偏光(図ではS偏光)へと変換されている。
 再び偏光分離部材101Dに向かって進行した映像光は、他方の偏光(図ではS偏光)であるので、偏光分離部材101Dでユーザがいるべき位置に向かって反射される。偏光分離部材101Dで反射された映像の進行方向は、偏光分離部材101Dが配置される角度に基づいて定まる。図17Aの例では、偏光分離部材101Dに向かって進行した映像光は、偏光分離部材101Dで直角に反射して図のように進行する。偏光分離部材101Dで反射された映像光は空間浮遊映像3Dを形成する。
 次に、表示領域1502から出射した所定の偏光(図ではP偏光)の映像光は図に示すように進行して、偏光分離部材101Eに入射する。偏光分離部材101Eは、所定の偏光(図ではP偏光)を選択的に透過させ、他方の偏光(図ではS偏光)を反射する。よって、偏光分離部材101Eに向かって進行した映像光は、偏光分離部材101Eを透過し、λ/4板21Fが貼り付けられた鏡面反射板24に向かって進行する。鏡面反射板24で鏡面反射され、再び偏光分離部材101Eに向かって進行する映像光は、λ/4板21Fを2回透過したことにより、所定の偏光(図ではP偏光)から他方の偏光(図ではS偏光)へと変換されている。
 再び偏光分離部材101Eに向かって進行した映像光は、他方の偏光(図ではS偏光)であるので、偏光分離部材101Eにより反射され、λ/4板21Eが貼り付けられた再帰反射板2Eに到達する。偏光分離部材101Eで反射された映像の進行方向は、偏光分離部材101Eが配置される角度に基づいて定まる。図17Aの例では、偏光分離部材101Eに向かって進行した映像光は、偏光分離部材101Eで直角に反射して図のように進行する。再帰反射板2Eで再帰性反射され、再び偏光分離部材101Eに向かって進行する映像光は、λ/4板21Eを2回透過したことにより、他方の偏光(図ではS偏光)から所定の偏光(図ではP偏光)へと変換されている。
 再び偏光分離部材101Eに向かって進行した映像光は、所定の偏光(図ではP偏光)であるので、偏光分離部材101Eを透過する。図に示すように、偏光分離部材101Eを透過した映像光は、偏光分離部材101Dに向かって進行する。上述のとおり偏光分離部材101Dは、所定の偏光(図ではP偏光)を選択的に透過させ、他方の偏光(図ではS偏光)を反射する。よって、所定の偏光(図ではP偏光)である再帰反射板2Eからの映像光は、偏光分離部材101Dを透過し、ユーザがいるべき位置に向かって進行する。偏光分離部材101Dを透過した映像光は空間浮遊映像3Eを形成する。
 図17Aの例では、表示領域1501から出力された映像光の光路と、表示領域1502から出力された映像光の光路において、それぞれの映像光が他方の映像光の光路に漏れないように、その間に遮光板が設けられている。
 図17Aの例では、偏光分離部材101Dは表示装置1からの映像光の進行方向に対して、45度の傾きで配置されている。偏光分離部材101Eは表示装置1からの映像光の進行方向に対して、偏光分離部材101Dとは異なる方向に45度の傾きで配置されている。
 これにより、空間浮遊映像3Eを形成する映像光および空間浮遊映像3Dを形成する映像光は、同じ方向に揃ってユーザがいるべき位置に向かって進行する。このように構成するためには、図17Aの例では、ユーザが矢印Aの方向(y方向)から空間浮遊映像3Eと空間浮遊映像3Dとを視認するとき、空間浮遊映像3Eと空間浮遊映像3Dと偏光分離部材101Dと偏光分離部材101Eと再帰反射板2Eとはユーザから見て同一直線上(例えば、図17Aの例では、再帰反射板2Eから空間浮遊映像3Eへ至る光路の直線であって、ユーザの方向に延伸する直線)に配置されている。
 また、このとき、表示装置1と再帰反射板2Dと鏡面反射板24とは、当該同一直線上の位置から外れた位置に配置されることになる。また、図17Aの例では、ユーザが矢印Aの方向(y方向)から空間浮遊映像3Eと空間浮遊映像3Dとを視認するとき、空間浮遊映像3Eの映像の左右方向(x方向)の中心と、空間浮遊映像3Dの映像の左右方向(x方向)の中心とが、一致するように、偏光分離部材101Dと偏光分離部材101Eの設置位置を定めている。
 ユーザからみて、空間浮遊映像3Eの映像の左右方向(x方向)の中心と、空間浮遊映像3Dの映像の左右方向(x方向)の中心とが、一致していると、ユーザにとってはより見やすく、映像コンテンツの制作側にとってもオフセットを考慮する必要がないため、より好適である。また、光学的なレイアウトもシンプルになり、より好適である。
 なお、図17Aの光学システムにおける偏光設計について、P偏光とS偏光の特性を入れ替えてもよい。具体的には、表示装置1の表示領域1501から出射する映像光の所定の偏光をS偏光とし、表示装置1の表示領域1502から出射する所定の偏光をS偏光とし、偏光分離部材101Dの反射特性および偏光分離部材101Eについて、P偏光とS偏光の特性を入れ替えてもよい。この場合、図示される、P偏光とS偏光はいずれも逆になるが、光路などの光学設計は、まったく同様に実現可能である。
 以上説明した、図17Aの光学システムによれば、1つの表示装置を用いて、奥行きが2層ある空間浮遊映像を形成する光学システムを実現できる。なお、表示領域1501および表示領域1502に対応する表示装置を別々に備える構成にしてもよい。しかしながら、表示装置を複数に備える構成とすると、対応する回路も増えることになり、比較的コストが高くなる可能性がある。したがって、図17Aのように1つの表示装置のみで、奥行きが2層ある空間浮遊映像を形成すれば、より低コストに奥行きが2層ある空間浮遊映像を形成する光学システムが実現できる。
 なお、ここで、図17Aの光学システムにおける、表示装置1の表示領域1501から出射する映像光が空間浮遊映像3Dを形成するまでの光路長と、表示装置1の表示領域1502から出射する映像光が空間浮遊映像3Eを形成するまでの光路長について、説明する。これらの光路長は、それぞれ表示領域1501の中心から法線方向に出射される光線の光路長と、それぞれ表示領域1502の中心から法線方向に出射される光線の光路長を用いて説明する。以下の説明も同様である。
 まず、図17Aの光学システムでは、表示装置1の表示領域1501から出射する映像光が偏光分離部材101Dに到達するまでの光路長と、表示装置1の表示領域1502から出射する映像光が偏光分離部材101Eに到達するまでの光路長とは等しい。これは、図15Aの光学システムおよび図15Bの光学システムと同様である。
 ここで、図15Aの光学システムおよび図15Bの光学システムにおいては、表示装置1の表示領域1502から出射する映像光が形成する空間浮遊映像3Eについての光学システムからの飛び出し量を十分確保するためには、表示装置1の表示領域1502から出射する映像光が空間浮遊映像3Eを形成するまでの光路長を長くする必要があり、結果的に、表示装置1から偏光分離部材101Dおよび偏光分離部材101Eまでの距離を比較的長く確保する必要があった。
 これに対し、図17Aの光学システムでは、偏光分離部材101Eの角度を偏光分離部材101Dの角度と90度ズレる角度に配置し、表示装置1の表示領域1502から出射する映像光が空間浮遊映像3Eを形成するまでの光路に、偏光分離部材101Eと鏡面反射板24との間を往復する光路が追加されている。これにより、図17Aの光学システムにおける、表示装置1の表示領域1502から出射する映像光が空間浮遊映像3Eを形成するまでの光路長は、図15Aの光学システムおよび図15Bの光学システムにおける表示装置1の表示領域1502から出射する映像光が空間浮遊映像3Eを形成するまでの光路長よりも、長くなっている。
 そのため、図17Aの光学システムでは、図15Aの光学システムおよび図15Bの光学システムよりも、表示装置1から偏光分離部材101Dおよび偏光分離部材101Eまでの距離を短くしても、表示装置1の表示領域1502から出射する映像光が形成する空間浮遊映像3Eについての光学システムからの飛び出し量を十分確保することができる。
 ここで、図17Aの光学システムでは、鏡面反射板24と表示装置1の表示面の距離D次第で、表示装置1の表示領域1502から出射する映像光が空間浮遊映像3Eを形成するまでの光路長を変えることができる。よって、空間浮遊映像表示装置において、所望の空間浮遊映像3Eの飛び出し量となるように、鏡面反射板24の位置を定めればよい。また、この距離D次第で、空間浮遊映像3Eと空間浮遊映像3Dの距離も変わることになる。よって、光学システムから飛び出す量が異なる複数層の空間浮遊映像を表示する空間浮遊映像表示装置において、複数層の空間浮遊映像の距離が製品上求められる距離となるように、鏡面反射板24の位置を定めればよい。
 ここで、図15Aの光学システムおよび図15Bの光学システムと比べても分かるように、図17Aの光学システムでは、表示装置1から偏光分離部材101Dおよび偏光分離部材101Eまでの距離を比較的短くすることが可能であるので、光学システムの体積がより小さい。また、図17Aの光学システムでは、鏡面反射板24の位置次第で、空間浮遊映像3Eと空間浮遊映像3Dの距離を図15Aの光学システムおよび図15Bの光学システムよりも短く設定できる。すなわち、図17Aの光学システムでは、複数層の空間浮遊映像を表示する空間浮遊映像表示装置の光学システムをより小型に実現できる。また、複数層の空間浮遊映像の距離を、簡便な構成で所望の位置に設定することができ、より好適である。
 なお、図17Aの光学システムを空間浮遊映像表示装置に組み込む場合には、実施例1で説明した空間浮遊映像表示装置における光学システムを、図17Aの光学システムへ置き換えれば実現できる。具体的には、図17Aの光学システムを、図4E、図4F、図4G、図4K、または図4Lの空間浮遊映像表示装置の光学システムと置き換えてもよい。
 この場合、各図において奥行きが2層ある空間浮遊映像を形成する空間浮遊映像表示装置が実現できる。特に、図4Kおよび図4Lにおいては、透過型自発光映像表示装置1650のユーザから見て手前側に、奥行きが2層ある空間浮遊映像を形成することが可能となる。この場合、奥行きが2層ある空間浮遊映像の映像と、透過型自発光映像表示装置1650とで奥行きが異なる3層の映像をユーザから視認できるように形成することができる。
 次に、図17Aの光学システムを備える空間浮遊映像表示装置1000の一例について、図17Bを用いて説明する。図17Bは、飛び出す量が異なる複数層の空間浮遊映像を表示する空間浮遊映像表示装置1000の構成の一例である。図の空間浮遊映像表示装置1000には、図17Aで説明した光学システムが組み込まれている。図17Bの例は、表示装置1と鏡面反射板24がユーザの左右方向(x方向)において対向するように、光学システムが配置されている例である。図17Bにおいて、図17Aの光学システムにおけるその他の要素の符号の表記は省略する。図17Bに示すように、空間浮遊映像表示装置1000は、ユーザ230に向かって、空間浮遊映像3Eと空間浮遊映像3Dとの2層の空間浮遊映像を表示することができる。また、図17Aの光学システム自体が比較的小型であるため、空間浮遊映像表示装置1000も比較的小型に実現することができる。
 以上説明した、図17Bの空間浮遊映像表示装置1000によれば、飛び出す量が異なる複数層の空間浮遊映像を表示する空間浮遊映像表示装置をより小型に実現することができる。
 次に、図17Aの光学システムを備える空間浮遊映像表示装置1000の別の一例について、図17Cを用いて説明する。
 図17Cは、飛び出す量が異なる複数層の空間浮遊映像を表示する空間浮遊映像表示装置1000の構成の一例である。図の空間浮遊映像表示装置1000には、図17Aで説明した光学システムが組み込まれている。図17Cの例は、表示装置1と鏡面反射板24がユーザからみて上下方向(z方向)において対向するように、光学システムが配置されている例である。図17Cにおいて、図17Aの光学システムにおけるその他の要素の符号の表記は省略する。
 図17Cに示すように、空間浮遊映像表示装置1000は、ユーザ230に向かって、空間浮遊映像3Eと空間浮遊映像3Dとの2層の空間浮遊映像を表示することができる。ここで、図17Cの例において、空間浮遊映像3Eと空間浮遊映像3Dのそれぞれへのユーザ操作が検出できるように、空中操作検出センサを設けてもよい。具体的には、図17Cに示すように、空間浮遊映像3Dへのユーザ操作を検出するための空中操作検出センサ1351Dを設ける。また、空間浮遊映像3Eへのユーザ操作を検出するための空中操作検出センサ1351Eを設ける。例えば、図3における空中操作検出センサ1351をこれら2つのセンサに置き変えればよい。図3における空中操作検出部1350がこれらのセンサからの信号に基づいて、空間浮遊映像3Eと空間浮遊映像3Dのそれぞれへのユーザ操作の有無を判断すればよい。
 ここで、ユーザ230が、ユーザから見て手前に表示される空間浮遊映像3Eを指で操作しようとする場合は、ユーザの指は空間浮遊映像3Eに触れるが、空間浮遊映像3Dに触れる必要はない。よって、空間浮遊映像3Dへのユーザ操作を検出するための空中操作検出センサ1351Dに操作入力信号が検出されず、空間浮遊映像3Eへのユーザ操作を検出するための空中操作検出センサ1351Eに操作入力信号が検出された場合は、空中操作検出部1350は、「ユーザが空間浮遊映像3Eに対するユーザ操作を行っている」と判断すればよい。
 これに対し、ユーザ230が、ユーザから見て奥に表示される空間浮遊映像3Dを指で操作しようとする場合は、ユーザの指が空間浮遊映像3Dに触れるが、空間浮遊映像3Eが手前にあるため、ユーザの指や腕が空間浮遊映像3Eに触れてしまう可能性が高い。
 よって、空中操作検出センサ1351Eに操作入力信号が検出されたとしても、空間浮遊映像3Dへのユーザ操作を検出するための空中操作検出センサ1351Dに操作入力信号が検出されている場合は、空中操作検出部1350は、「ユーザが空間浮遊映像3Dに対するユーザ操作を行っている」と判断すればよい。この場合、空中操作検出センサ1351Eに検出される操作入力信号は無視するように構成してもよい。
 なお、空間浮遊映像3Eに表示する***作アイコンのxz方向の位置や空間浮遊映像3Dに表示する***作アイコンのxz方向の位置をずらすことにより、奥行の異なる2層の光学像にそれぞれ同時に、***作アイコンを表示する構成もあり得る。このような場合は、必ずしも、上述の空中操作検出センサ1351Eに検出される操作入力信号は無視する処理は行わなくてもよい。
 以上説明した、図17Cの空間浮遊映像表示装置1000によれば、飛び出す量が異なる複数層の空間浮遊映像を表示する空間浮遊映像表示装置をより小型に実現することができる。また、図17Cの空間浮遊映像表示装置1000によれば、異なる複数層の空間浮遊映像のそれぞれに対するユーザ操作をより好適に検出することができる。
 次に、図17Aの光学システムを備える空間浮遊映像表示装置1000の別の一例について、図17Dを用いて説明する。
 図17Dは、飛び出す量が異なる複数層の空間浮遊映像を表示する空間浮遊映像表示装置1000の構成の一例である。図の空間浮遊映像表示装置1000には、図17Aで説明した光学システムが組み込まれている。図17Dの例は、表示装置1と鏡面反射板24がユーザからみて奥行方向(y方向)において対向し、さらに、空間浮遊映像が鉛直方向であるz方向からユーザ側に傾斜して飛び出すように光学システムが配置されている例である。図17Dにおいて、図17Aの光学システムにおけるその他の要素の符号の表記は省略する。図17Dに示すように、空間浮遊映像表示装置1000は、ユーザ230に向かって、空間浮遊映像3Eと空間浮遊映像3Dとの2層の空間浮遊映像を表示することができる。
 図17Dの空間浮遊映像表示装置1000によれば、ユーザが上から覗き込める方式の、飛び出す量が異なる複数層の空間浮遊映像を表示する空間浮遊映像表示装置を実現することができる。
 次に、図18Aを用いて、飛び出す量が異なる複数層の空間浮遊映像を表示する空間浮遊映像表示装置における表示例の一例について説明する。図18Aにおいて、空間浮遊映像3-1と空間浮遊映像3-2は、飛び出す量が異なる複数層の空間浮遊映像である。説明簡略化のため、空間浮遊映像表示装置のハードウェア自体の表記は省略する。
 空間浮遊映像3-1は、空間浮遊映像3-2よりもユーザから見て手前に表示される。空間浮遊映像3-2は、空間浮遊映像3-1よりもユーザから見て奥に表示される。表示オブジェクト1810は、空間浮遊映像3-1の表示映像で表示されるオブジェクトである。表示オブジェクト1821は、空間浮遊映像3-2の表示映像で表示されるオブジェクトである。例えば、図18Aの表示を行う空間浮遊映像表示装置が、図17Dのような配置の空間浮遊映像表示装置であれば、鉛直方向に近い方向に、飛び出す量が異なる複数層を重ねて表示することになる。そこで、図18Aの表示例では、空間浮遊映像3-1よりもユーザから見て奥に表示される空間浮遊映像3-2の表示オブジェクト1821において、空間浮遊映像3-2よりもユーザから見て手前に表示される空間浮遊映像3-1の表示オブジェクト1810に起因するようにみえる仮想的な影1822を表示する。ここで、仮想的な影とは、該当部分に黒表示を行ってもよく、また、該当部分の映像信号における輝度を低下させてもよい。また、該当部分の映像信号における彩度を低下させてもよい。これらの処理は、図3の映像制御部1160などで処理を行えばよい。
 図18Aに示すように、空間浮遊映像に表示されるオブジェクトの仮想的な影を、奥行の異なる位置にある別の空間浮遊映像に表示されるオブジェクト上に表示することにより、ともに空間浮遊映像である、二つの空間浮遊映像の奥行関係が視覚的に認識しやすくなり、ユーザが感じる空間浮遊映像の実在感をより好適に向上させることができる。
 また、図18Aに示すように、ユーザから見て奥行が異なる複数の空間浮遊映像にそれぞれ表示オブジェクトが表示されている場合、ユーザから見て手前に表示される空間浮遊映像3-1の表示オブジェクト1810の明るさを、ユーザから見て奥に表示される空間浮遊映像3-2の表示オブジェクト1821より明るく表示するように構成してもよい。これは、光学的に明るさを変えてもよいし、映像信号処理により明るさを変えてもよい。このような表示とすることにより、ユーザから見て手前にある表示オブジェクトとユーザから見て奥にある表示オブジェクトとが重なっていても、ユーザからは明るく見える手前の表示オブジェクトが認識されやすくなり、ユーザからは暗く見える奥の表示オブジェクトが認識されにくくなり、疑似的なオクルージョンを生じさせることができる。奥行の異なる複数の空間浮遊映像におけるオブジェクト同士で、このような疑似的なオクルージョンをユーザに認識させることにより、ユーザが感じる空間浮遊映像の実在感をより好適に向上させることができる。
 以上説明した、図18Aの表示例は、例えば、図15Aから図17Aに示すいずれの光学システムを備える空間浮遊映像表示装置においても用いることができる。
 以上説明した、図18Aの表示例によれば、飛び出す量が異なる複数層の空間浮遊映像を表示する空間浮遊映像表示装置において、ユーザが感じる空間浮遊映像の実在感をより好適に向上させることができる。
 次に、図18Bを用いて、飛び出す量が異なる複数層の空間浮遊映像を表示する空間浮遊映像表示装置における表示例の一例について説明する。図18Bに示される空間浮遊映像3-1と空間浮遊映像3-2は、飛び出す量が異なる複数層の空間浮遊映像である。ユーザから見て手前に表示されるのが空間浮遊映像3-1であり、ユーザから見て奥側に表示されるのが空間浮遊映像3-2である。図18Bの表示例は、例えば、図15Aから図17Aに示すいずれの光学システムを備える空間浮遊映像表示装置においても用いることができる。図18Bの表示例は、例えば、図17Bから図17Dに示すいずれの空間浮遊映像表示装置においても用いることができる。例えば、図17Bの空間浮遊映像表示装置1000に図18Bの表示例を適用する場合は、空間浮遊映像3-1は図17Bの空間浮遊映像3Eに対応し、空間浮遊映像3-2は図17Bの空間浮遊映像3Dに対応する。
 図18Bにおいて、表示オブジェクト1850は、空間浮遊映像3-1の表示映像で表示されるオブジェクトである。図18Bの例では、表示オブジェクト1850はキャラクターの表示オブジェクトである。図18Bの例では、キャラクターは人物のキャラクターである。表示オブジェクト1855と表示オブジェクト1856は、空間浮遊映像3-2の表示映像で表示されるオブジェクトである。図18Bの例では、表示オブジェクト1855と表示オブジェクト1856は背景オブジェクトである。図18Bの例では、背景は柱である。
 すなわち、図18Bでは、前景である空間浮遊映像3-1の左右方向の中央付近に、キャラクターの表示オブジェクトを配置し、背景である空間浮遊映像3-2において、中央を避けた左右の位置に、背景オブジェクトである表示オブジェクト1855と表示オブジェクト1856が配置されている。本表示例において、表示コンテンツの主たるコンテンツ(ユーザに注目させたいコンテンツ)は、キャラクターの表示オブジェクトである表示オブジェクト1850である。表示オブジェクト1855と表示オブジェクト1856は従たるコンテンツであり、主たるコンテンツである表示オブジェクト1850をより好適にユーザに認識させるために表示している。
 飛び出す量が異なる複数層の空間浮遊映像を表示する空間浮遊映像表示装置を用いて、このようなオブジェクトの表示レイアウトの利点について説明する。例えば、単層の空間浮遊映像を表示する空間浮遊映像表示装置の場合に、キャラクターの表示オブジェクトを空間浮遊映像に表示した場合、キャラクターの表示オブジェクトの前後に、奥行の基準となるオブジェクトが存在しないため、空間浮遊映像の表示位置の奥行認識がユーザにとって容易でない場合がある。これに対し、図18Bの表示例では、飛び出す量が異なる複数層の空間浮遊映像を表示する空間浮遊映像表示装置を用いて、空間浮遊映像3-1の左右方向の中央付近に、キャラクターの表示オブジェクト1850を表示したうえ、背景である空間浮遊映像3-2において、左右の位置に、背景オブジェクトである柱の表示オブジェクト1855と柱の表示オブジェクト1856が配置されている。
 このとき、空間浮遊映像3-1と空間浮遊映像3-2とは奥行に差があるため、ユーザが頭を動かして視点を変更すると、運動視差の原理によって、左右中央に表示されたキャラクターの表示オブジェクトに対する柱の表示オブジェクト1855と柱の表示オブジェクト1856の左右方向の距離や相対位置が変化する。これにより、ユーザは、空間浮遊映像3-1の左右中左右方向の中央表示されるキャラクターの表示オブジェクトが、空間浮遊映像3-2の左右に表示される柱の表示オブジェクト1855と柱の表示オブジェクト1856よりも手前に存在することをより明確に認識することが可能である。ここで、空間浮遊映像3-1と空間浮遊映像3-2の2つの空中浮遊映像は、それぞれの表示範囲の関係によっては、ユーザから重なるように視認される。このとき、ユーザから見て奥側にある空間浮遊映像3-2の映像が明るく、ユーザから見て手前側にある空間浮遊映像3-1の映像が暗い場合は、ユーザから見て奥側にある空間浮遊映像3-2の表示映像が、ユーザから見て手前側にある空間浮遊映像3-1の表示映像を透過してしまい、ユーザによる表示オブジェクトの前後の認識が適切ではなくなる可能性がある。
 そこで、ユーザから見て手前側にある空間浮遊映像3-1の映像の表示オブジェクト領域の輝度を全体的に明るくなるように調整し、ユーザから見て奥側にある空間浮遊映像3-2の映像の表示オブジェクト領域の輝度を全体的に暗くなるように調整する映像処理を行ってもよい。ただし、空間浮遊映像3-1に表示される表示オブジェクトのキャラクターデザインによっては、表示オブジェクト領域の全体輝度を明るくできない場合がある。例えば、キャラクターの衣装が暗いグレーである場合などである。このような暗いデザインのキャラクターの場合は、ユーザから見て奥側にある空間浮遊映像3-2の表示オブジェクトが、ユーザから見て手前にある空間浮遊映像3-1のキャラクターの表示オブジェクトと重なって視認されないことが望ましい。
 そこで、図18Bのように、前景である空間浮遊映像3-1の左右方向の中央付近に、キャラクターの表示オブジェクトを配置し、背景である空間浮遊映像3-2において、空間浮遊映像3-1におけるキャラクターの表示オブジェクトの位置である左右方向の中央付近を避けた左右の位置に、背景オブジェクトである表示オブジェクト1855と表示オブジェクト1856が配置することにより、様々なキャラクターデザインのキャラクターを表示しても、ユーザから見た場合にキャラクターと背景オブジェクトとが重ならないように表示することができ、上述した運動視差の効果により、主たるコンテンツであるキャラクターの表示オブジェクト1850が表示される奥行方向の表示位置をより明確に認識することを可能としつつ、ユーザのその奥行認識をより好適に保つことができる。
 なお、図18Bの表示例による上記運動視差は、実像である空間浮遊映像3-1と空間浮遊映像3-2の実際の空間上の位置に基づいて生じる運動視差であり、疑似的な運動視差ではない。これは、ユーザの視点位置に基づいて、画像処理により疑似的な運動視差を生じさせる技術とは異なる。図18Bの表示例に示す技術では、ユーザの視点位置に基づく映像処理は不要であり、比較的処理量を低減できる。また、ユーザの視点位置に基づく画像処理が必要な技術は多人数の同時視聴に対する対応が容易ではないことが多いが、図18Bの表示例に示す技術では、ユーザの視点位置に基づく映像処理は不要であるので、異なる複数のユーザが異なる角度から視認した場合でも、それぞれより好適に運動視差効果を得ることが可能である。
 次に、図18Cを用いて、図18Bで説明した、空間浮遊映像3-1と空間浮遊映像3-2の元となる映像である表示装置1の表示映像の一例について説明する。図18Cは、図17Aの光学システムを備える図17Bの空間浮遊映像表示装置1000を用いて、図18Bの表示例を表示する場合の、表示装置1の表示映像の一例である。表示装置1の表示画面1801には、表示領域1501と表示領域1502とが含まれている。図17Bの空間浮遊映像表示装置1000では、表示装置1の表示領域1502の表示映像が空間浮遊映像3Eとして空中に表示され、これは、図18Bの空間浮遊映像3-1に対応する。
 図17Bの空間浮遊映像表示装置1000では、表示装置1の表示領域1501の表示映像が空間浮遊映像3Dとして空中に表示され、これは、図18Bの空間浮遊映像3-2に対応する。図18Bの空間浮遊映像3-1に表示される表示領域1502の表示映像の方が、図18Bの空間浮遊映像3-2に表示される表示領域1501の表示映像よりもユーザの手前側に表示される。なお、図15A~図16Bの光学システムを用いる場合は、空間浮遊映像3Dと空間浮遊映像3Eのユーザから見て奥行方向の前後関係が逆になるので、空中で表示領域1501の表示映像が表示領域1502の表示映像よりも、手前側に表示される。
 図18Cに示すように、本実施例に係る空間浮遊映像表示装置1000では、空中ではそれぞれ異なる奥行の位置に表示される2つの映像の映像源を、一つのハードウェアである表示装置1で表示することが可能である。表示装置1の、表示領域1501と表示領域1502とにそれぞれ映像を表示するが、2つの映像の各フレームの画像は、表示装置1が備えるフレームメモリ上では、一つの画像に含まれた状態で記憶される。したがって、2つの映像についてそれぞれ異なる表示装置を用いて表示する構成に比べて、2つの映像の同期を複雑な同期システム等を設けて実現する必要はなく、より好適である。2つの映像についてそれぞれ異なる表示装置を用いて表示する構成に比べて、表示メモリ等、各種処理かかるハードウェアを2系統設ける必要が無く、より安価に実現できる。
 ここで、図18Cの表示装置1の表示映像の一例では、表示領域1501と表示領域1502との間に間隙1807が設けられている。この間隙1807の領域について、表示装置1は映像を黒表示で固定する。この理由を以下に説明する。図15A~図17Aのいずれの光学システムにおいても、上述のとおり、表示装置1の表示画面の出射面には、表示領域1501と表示領域1502の間に遮光板が設けられている。当該遮光板は、表示領域1501から出射された映像光と、表示領域1502から出射された映像光とが、互いの光路内で混じることを極力防ぐために設けられている。
 さらに、表示領域1501と表示領域1502との間に間隙1807を設け、当該間隙1807の幅を、表示装置1の表示画面の出射面における表示領域1501と表示領域1502の間に設けられる遮光板の厚みより大きくすることが望ましい。これにより、表示領域1501から出射される映像光と、表示領域1502から出射される映像光とが、それぞれ、遮光板でよりケラれることなく、かつ互いの光路内で混じることを極力防ぐことが可能となる。なお、間隙1807の領域について、映像を黒表示で固定と説明したが、コンテンツの表示を行わないコンテンツ非表示領域と表現してもよい。
 ここで、図18Cの表示例を実現する処理についての第1の処理例を、図3の空間浮遊映像表示装置1000の構成を用いて説明する。第1の処理例は、表示領域1501に表示する映像と表示領域1502に表示する映像をそれぞれストレージ部1170から再生して表示する例である。
 具体的には、表示オブジェクト1850のキャラクターの映像情報と、背景オブジェクトである表示オブジェクト1855と表示オブジェクト1856が含まれる背景映像情報を有するコンテンツを、ストレージ部1170に蓄積しておき、映像制御部1160が、表示オブジェクト1850のキャラクターの映像情報を再生して、図18Cの表示装置1の表示領域1502に対応する位置に再生した映像情報を配置する。映像制御部1160が、さらに、ストレージ部1170に蓄積される表示オブジェクト1855と表示オブジェクト1856が含まれる背景映像情報を再生して、図18Cの表示装置1の表示領域1501に表示する制御を行えばよい。
 また、図18Cの表示例を実現する処理についての第2の処理例を、図3の空間浮遊映像表示装置1000の構成を用いて説明する。第2の処理例は、予め図18Cに示す表示装置1の表示画面1801の画面全体と表示領域1501と表示領域1502とのレイアウトを把握しているコンテンツ制作者が、表示領域1501と表示領域1502とを含む表示画面1801に対応する映像コンテンツを制作しておき、当該コンテンツをストレージ部1170に蓄積しておき、映像制御部1160が、当該コンテンツの映像を再生して、表示装置1の表示画面1801の画面全体に表示するように制御する例である。
 当該映像コンテンツの映像は、表示画面1801に対応する内容となっており、表示領域1502に対応する位置にキャラクターである表示オブジェクト1850の映像が含まれ、表示領域1501に対応する位置に背景オブジェクトである表示オブジェクト1855と表示オブジェクト1856の映像が含まれる。ストレージ部1170に蓄積されているコンテンツの映像の時点で図18Cの表示画面1801の画面全体と表示領域1501と表示領域1502とのレイアウトに対応しているので、映像制御部1160は、当該コンテンツの映像を再生して、表示装置1の表示画面1801の画面全体に表示するように制御すればよく、当該コンテンツを表示する際には複雑な画像重畳処理を必ずしも行う必要がなく、処理量を小さくすることができる。
 また、図18Cの表示例を実現する処理についての第3の処理例を、図3の空間浮遊映像表示装置1000の構成を用いて説明する。第3の処理例は、予め図18Cに示す表示装置1の表示画面1801の画面全体と表示領域1501と表示領域1502とのレイアウトを把握しているコンテンツ制作者が、表示領域1501と表示領域1502とを含む表示画面1801に対応する映像コンテンツを制作しておき、空間浮遊映像表示装置1000とは異なる外部機器に蓄積しておく。
 前記外部機器からの映像出力信号を空間浮遊映像表示装置1000の図3の映像信号入力部1131から入力できるように、前記外部機器と空間浮遊映像表示装置1000とを接続しておく。前記外部機器において、表示領域1501と表示領域1502とを含む表示画面1801に対応する映像コンテンツの映像信号を出力し、空間浮遊映像表示装置1000の映像信号入力部1131に入力する。映像制御部1160が、映像信号入力部1131に入力された映像コンテンツの映像信号を再生し、表示装置1の表示画面1801に表示するように制御する。
 映像コンテンツの内容は、図18Cの表示例を実現する処理についての第2の処理例と同様であるので、繰り返しの説明は省略する。映像信号入力部1131に入力されるコンテンツの映像の時点で図18Cの表示画面1801の画面全体と表示領域1501と表示領域1502とのレイアウトに対応しているので、映像制御部1160は、当該コンテンツの映像を再生して、表示装置1の表示画面1801の画面全体に表示するように制御すればよく、当該コンテンツを表示する際には複雑な画像重畳処理を必ずしも行う必要がなく、処理量を小さくすることができる。
 また、図18Cの表示例を実現する処理についての第4の処理例を、図3の空間浮遊映像表示装置1000の構成を用いて説明する。第4の処理例は、映像生成プログラムを用いて、表示領域1501に表示する映像と表示領域1502に表示する映像をそれぞれ3Dモデルからレンダリングして生成する例である。
 具体的には、まず、表示オブジェクト1850に対応するキャラクターの3Dモデルのレンダリング映像の生成と表示オブジェクト1855と表示オブジェクト1856に対応する背景オブジェクトの3Dモデルのレンダリング映像の生成が可能な映像生成プログラムを、ストレージ部1170に格納しておく。制御部1110が、当該映像生成プログラムをストレージ部1170から読み出して、メモリ1109に展開する。制御部1110が、メモリ1109に展開された当該映像生成プログラムを実行し、当該映像生成プログラムがキャラクターの3Dモデルをレンダリングして表示オブジェクト1850の映像を生成する。
 映像制御部1160が、生成された表示オブジェクト1850の映像を、図18Cの表示領域1502に表示する制御を行う。並行して、当該映像生成プログラムが、背景オブジェクトの3Dモデルをレンダリングして、表示オブジェクト1855と表示オブジェクト1856の映像を生成する。映像制御部1160が、生成された表示オブジェクト1855と表示オブジェクト1856の映像を、図18Cの表示領域1501に表示する制御を行えばよい。
 なお、主たるコンテンツであるキャラクターは、図18Bの例では、人物のキャラクターであるが、動物のキャラクターでもよく、ロボットのキャラクターでもよい。仮想空間で用いられるいわゆるアバターに関するキャラクターでもよい。ここで、表示オブジェクト1850は、3Dモデルからレンダリングしたキャラクター映像を用いればよい。または2Dアニメーションのキャラクターを用いてもよい。または、人物等の実写映像を用いてキャラクター映像としてもよい。
 また、従たるコンテンツである表示オブジェクト1855や表示オブジェクト1856は、図18Bの例では、柱を示すオブジェクトの例であるが、仮想的な枠のオブジェクトでもよいし、主たるコンテンツであるキャラクターが存在すると設定される空間に配置される家具や設備のオブジェクトでもよい。キャラクターが存在すると設定される空間において、キャラクターの後方に位置する背景のオブジェクトであればよい。
 以上説明した、図18Bおよび図18Cの表示例によれば、飛び出す量が異なる複数層の空間浮遊映像を表示する空間浮遊映像表示装置において、主たるコンテンツであるキャラクターなどの表示オブジェクトについて、奥行方向の表示位置をより明確に認識することを可能としつつ、ユーザのその奥行認識をより好適に保つ表示を実現することが可能である。
 次に、図18Dを用いて、飛び出す量が異なる複数層の空間浮遊映像を表示する空間浮遊映像表示装置における表示例の別の一例について説明する。図18Dに示される空間浮遊映像3-1と空間浮遊映像3-2は、飛び出す量が異なる複数層の空間浮遊映像である。ユーザから見て手前に表示されるのが空間浮遊映像3-1であり、ユーザから見て奥側に表示されるのが空間浮遊映像3-2である。
 図18Dの表示例は、例えば、図15Aから図17Aに示すいずれの光学システムを備える空間浮遊映像表示装置においても用いることができる。図18Dの表示例は、例えば、図17Bから図17Dに示すいずれの空間浮遊映像表示装置においても用いることができる。例えば、図17Bの空間浮遊映像表示装置1000に図18Dの表示例を適用する場合は、空間浮遊映像3-1は図17Bの空間浮遊映像3Eに対応し、空間浮遊映像3-2は図17Bの空間浮遊映像3Dに対応する。
 図18Dにおいて、表示オブジェクト1851は、空間浮遊映像3-2の表示映像で表示されるオブジェクトである。図18Dの例では、表示オブジェクト1851はキャラクターの表示オブジェクトである。図18Dの例では、キャラクターは人物のキャラクターである。図18Dの例では、表示オブジェクト1857と表示オブジェクト1858は、空間浮遊映像3-1の表示映像で表示されるオブジェクトである。図18Dの例では、表示オブジェクト1857と表示オブジェクト1858は前景オブジェクトである。図18Dの例では、前景オブジェクトとは、表示コンテンツの主たるコンテンツに対して、空間的に前方(ユーザから見て手前)に表示されるべきオブジェクトである。図18Dの例では、背景は文字である。
 すなわち、図18Dでは、表示コンテンツの主たるコンテンツであるキャラクターの表示オブジェクト1851の表示に対し、その前景に、従たるコンテンツとして、文字を表示している。本表示例は、例えば、表示オブジェクト1851のキャラクターが歌を歌っているアニメーション映像となっており、前景として、その歌の歌詞の文字を表示オブジェクト1857や表示オブジェクト1858に表示している例である。本図では、表示オブジェクト1857は横書きの文字の例であり、表示オブジェクト1858は縦書きの例である。
 図18Dの例では、空間浮遊映像3-2の表示映像で表示される表示オブジェクト1851のキャラクターが歌唱している歌の歌詞である表示オブジェクト1857や表示オブジェクト1858を、前景の空間浮遊映像3-1において、当該キャラクターが歌唱のアニメーションに同期させて表示する。すなわち、歌唱が進めば、それに連動して表示する歌詞を変えていけばよい。歌詞の表示位置や文字方向、サイズ、フォントなどは、様々な表現があり得る。歌唱の進行に合わせて文字をスクロールさせてもよいし、位置やサイズを変えながら数文字ずつ、文字を切り替えて表示してもよい。
 図18Bの表示例と異なり、キャラクターの表示オブジェクト1851と、文字の表示オブジェクト1857や表示オブジェクト1858とが、重なることを回避する必要は特にない。表示上の演出として効果的であれば、図18Dのように、正面から見て重なって見えるように表示してもよい。
 なお、一般に、平面2Dディスプレイにおいても、映像と文字情報とを重ねて表示する技術は存在する。ただし、平面2Dディスプレイにおいて、特別な処理を行わずに映像と文字情報とを重ねて表示する場合、ユーザが視点を変えても、映像と文字情報の位置関係に運動視差が生じない。そのため、文字情報が手前に重畳されていても、ユーザには映像が含まれる平面と同じ平面に重ねられているように視認され、文字情報が映像から奥行の異なる位置に表示されているようにユーザが認識することは容易ではない。
 また、このとき、平面2Dディスプレイにおいて、文字情報が重ねられている映像についても、ユーザが視点を変えても、映像と文字情報の位置関係に運動視差が生じないために平面内の映像として認識されやすく、ユーザが当該映像を立体的に視認することは容易ではない。
 これに対し、図18Dの例では、空間浮遊映像3-1と空間浮遊映像3-2とは奥行に差がある実像であるため、ユーザが頭を動かして視点を変更すると、運動視差の原理によって、キャラクターの表示オブジェクト1851の位置に対して、文字の表示オブジェクト1857や表示オブジェクト1858の距離や相対位置が変化する。これにより、文字の表示オブジェクト1857や表示オブジェクト1858が、キャラクターの表示オブジェクト1851よりも手前に表示されていることをユーザが容易に認識することができる。
 このとき、空間浮遊映像3-2に表示される文字の表示オブジェクト1857や表示オブジェクト1858が、空間浮遊映像3-1に表示されているキャラクターの表示オブジェクト1851と同一平面にないことは容易に認識できる。これにより、空間浮遊映像3-1に表示されているキャラクターの表示オブジェクト1851の表示が、文字の表示オブジェクト1857や表示オブジェクト1858と同一平面にあるという、平面的な認識の制約を受けないため、より好適である。
 なお、図18Dの表示例による上記運動視差は、実像である空間浮遊映像3-1と空間浮遊映像3-2の実際の空間上の位置に基づいて生じる運動視差であり、疑似的な運動視差ではない。これは、ユーザの視点位置に基づいて、画像処理により疑似的な運動視差を生じさせる技術とは異なる。図18Dの表示例に示す技術では、ユーザの視点位置に基づく映像処理は不要であり、比較的処理量を低減できる。また、ユーザの視点位置に基づく画像処理が必要な技術は多人数の同時視聴に対する対応が容易ではないことが多いが、図18Dの表示例に示す技術では、ユーザの視点位置に基づく映像処理は不要であるので、異なる複数のユーザが異なる角度から視認した場合でも、それぞれより好適に運動視差効果を得ることが可能である。
 なお、図18Dの例では、表示オブジェクト1857と表示オブジェクト1858とを同時に表示している例を示しているが、これらはそれぞれ文字表示の態様の一例であり、必ずしも同時に表示する必要はない。両者ともに表示しないタイミングがあってもよい。
 次に、図18Eを用いて、図18Dで説明した、空間浮遊映像3-1と空間浮遊映像3-2の元となる映像である表示装置1の表示映像の一例について説明する。図18Eは、図17Aの光学システムを備える図17Bの空間浮遊映像表示装置1000を用いて、図18Dの表示例を表示する場合の、表示装置1の表示映像の一例である。
 表示装置1の表示画面1801には、表示領域1501と表示領域1502とが含まれている。図17Bの空間浮遊映像表示装置1000では、表示装置1の表示領域1502の表示映像が空間浮遊映像3Eとして空中に表示され、これは、図18Dの空間浮遊映像3-1に対応する。図17Bの空間浮遊映像表示装置1000では、表示装置1の表示領域1501の表示映像が空間浮遊映像3Dとして空中に表示され、これは、図18Dの空間浮遊映像3-2に対応する。図18Dの空間浮遊映像3-1に表示される表示領域1502の表示映像の方が、図18Dの空間浮遊映像3-2に表示される表示領域1501の表示映像よりもユーザの手前側に表示される。
 なお、図15A~図16Bの光学システムを用いる場合は、空間浮遊映像3Dと空間浮遊映像3Eのユーザから見て奥行方向の前後関係が逆になるので、空中で表示領域1501の表示映像が表示領域1502の表示映像よりも、手前側に表示される。
 ここで、図18Eの例のように、空中ではそれぞれ異なる奥行の位置に表示される2つの映像の映像源を、一つのハードウェアである表示装置1で表示することの利点は、図18Cで説明した利点と同様であるので、繰り返しの説明は省略する。また、図18Eの例のように、表示領域1501と表示領域1502との間に間隙1807の領域を設けることの利点は、図18Cで説明した利点と同様であるので、繰り返しの説明は省略する。
 ここで、図18Eの表示例を実現する処理についての第1の処理例を、図3の空間浮遊映像表示装置1000の構成を用いて説明する。第1の処理例は、表示領域1501に表示する映像と表示領域1502に表示する映像をそれぞれストレージ部1170から再生して表示する例である。
 表示オブジェクト1851のキャラクターが歌唱している映像情報と、歌詞の文字情報と、当該文字情報の表示タイミング情報などの付加情報とを有するコンテンツを、ストレージ部1170に蓄積しておき、映像制御部1160が、表示オブジェクト1851のキャラクターが歌唱している映像情報を再生して、図18Eの表示装置1の表示領域1501に対応する位置に再生した映像情報を配置する。
 映像制御部1160が、さらに、ストレージ部1170に蓄積されるコンテンツの文字情報と付加情報を再生して、表示タイミング情報を用いて、上述の映像情報の表示に同期させて図18Eの表示装置1の表示領域1502に表示する制御を行えばよい。このとき、付加情報に文字情報の表示位置、大きさ、フォント、表示色などの情報が含まれている場合は、これらの情報に基づいて、文字情報の表示位置、大きさ、フォント、表示色を決定して表示すればよい。
 また、図18Eの表示例を実現する処理についての第2の処理例を、図3の空間浮遊映像表示装置1000の構成を用いて説明する。第2の処理例は、予め図18Eに示す表示装置1の表示画面1801の画面全体と表示領域1501と表示領域1502とのレイアウトを把握しているコンテンツ制作者が、表示領域1501と表示領域1502とを含む表示画面1801に対応する映像コンテンツを制作しておき、当該コンテンツをストレージ部1170に蓄積しておき、映像制御部1160が、当該コンテンツの映像を再生して、表示装置1の表示画面1801の画面全体に表示するように制御する例である。
 当該映像コンテンツの映像は、表示画面1801に対応する内容となっており、表示領域1501に対応する位置に、歌唱しているキャラクターである表示オブジェクト1851の映像が含まれ、表示領域1502に対応する位置に、歌詞の文字のオブジェクトである表示オブジェクト1857や表示オブジェクト1858の映像が含まれる。ストレージ部1170に蓄積されているコンテンツの映像の時点で図18Eの表示画面1801の画面全体と表示領域1501と表示領域1502とのレイアウトに対応しているので、映像制御部1160は、当該コンテンツの映像を再生して、表示装置1の表示画面1801の画面全体に表示するように制御すればよく、当該コンテンツを表示する際には複雑な画像重畳処理を必ずしも行う必要がなく、処理量を小さくすることができる。
 また、図18Eの表示例を実現する処理についての第3の処理例を、図3の空間浮遊映像表示装置1000の構成を用いて説明する。第3の処理例では、予め図18Eに示す表示装置1の表示画面1801の画面全体と表示領域1501と表示領域1502とのレイアウトを把握しているコンテンツ制作者が、表示領域1501と表示領域1502とを含む表示画面1801に対応する映像コンテンツを制作しておき、空間浮遊映像表示装置1000とは異なる外部機器に蓄積しておく。
 前記外部機器からの映像出力信号を空間浮遊映像表示装置1000の図3の映像信号入力部1131から入力できるように、前記外部機器と空間浮遊映像表示装置1000とを接続しておく。前記外部機器において、表示領域1501と表示領域1502とを含む表示画面1801に対応する映像コンテンツの映像信号を出力し、空間浮遊映像表示装置1000の映像信号入力部1131に入力する。映像制御部1160が、映像信号入力部1131に入力された映像コンテンツの映像信号を再生し、表示装置1の表示画面1801に表示するように制御する。
 映像コンテンツの内容は、図18Eの表示例を実現する処理についての第2の処理例と同様であるので、繰り返しの説明は省略する。映像信号入力部1131に入力されるコンテンツの映像の時点で図18Eの表示画面1801の画面全体と表示領域1501と表示領域1502とのレイアウトに対応しているので、映像制御部1160は、当該コンテンツの映像を再生して、表示装置1の表示画面1801の画面全体に表示するように制御すればよく、当該コンテンツを表示する際には複雑な画像重畳処理を必ずしも行う必要がなく、処理量を小さくすることができる。
 また、図18Eの表示例を実現する処理についての第4の処理例を、図3の空間浮遊映像表示装置1000の構成を用いて説明する。第4の処理例は、映像生成プログラムを用いて、表示領域1501に表示する映像と表示領域1502に表示する映像をそれぞれ3Dモデルからレンダリングして生成する例である。
 具体的には、まず、表示オブジェクト1851に対応するキャラクターの3Dモデルのレンダリング映像の生成と表示オブジェクト1857と表示オブジェクト1858に対応する文字情報の3D空間上のモデルのレンダリング映像の生成が可能な映像生成プログラムを、ストレージ部1170に格納しておく。制御部1110が、当該映像生成プログラムをストレージ部1170から読み出して、メモリ1109に展開する。制御部1110が、メモリ1109に展開された当該映像生成プログラムを実行し、当該映像生成プログラムが歌唱しているアニメーションを行っているキャラクターの3Dモデルをレンダリングして表示オブジェクト1851の映像を生成する。
 映像制御部1160が、生成された表示オブジェクト1851の映像を、図18Eの表示領域1501に表示する制御を行う。並行して、当該映像生成プログラムが、3D空間上の文字情報のモデルをレンダリングして、表示オブジェクト1857と表示オブジェクト1858の映像を生成する。映像制御部1160が、生成された表示オブジェクト1857と表示オブジェクト1858の映像を、図18Eの表示領域1501に表示する制御を行えばよい。
 なお、主たるコンテンツであるキャラクターの表示オブジェクト1851は、3Dモデルからレンダリングしたキャラクター映像を用いればよい。または2Dアニメーションのキャラクターを用いてもよい。または、人物等の実写映像を用いてキャラクター映像としてもよい。表示オブジェクト1851のキャラクターの表示オブジェクトとして、キャラクターや人物が歌唱している音楽プロモーション映像を用いてもよい。
 また、従たるコンテンツである表示オブジェクト1857や表示オブジェクト1858は、図18Dの例では、キャラクターが歌唱している歌の歌詞である文字の表示オブジェクトの例であるが、これに限られず、キャラクターの前方に表示されるいわゆるエフェクト画像の表示オブジェクトでもよい。エフェクト画像の具体例は、輝きを表示する星が表示されるエフェクト画像、雷を表示するエフェクト画像、雨を表示するエフェクト画像、降雪を表示するエフェクト画像、花びらが舞う表示を行うエフェクト画像など、キャラクターの前方にエフェクトを表示するなんらかの表示オブジェクトであればよい。これらのエフェクト画像も主たるコンテンツであるキャラクターのアニメーションと連動して表示されるようにすればよい。
 従たるコンテンツである表示オブジェクト1857や表示オブジェクト1858にエフェクト画像を表示する場合にも、表示オブジェクト1857や表示オブジェクト1858が、主たるコンテンツであるキャラクターの表示オブジェクト1851と奥行きが異なる空間浮遊映像に表示され、運動視差が生じる。これにより、エフェクト画像の表示オブジェクトがキャラクターの表示オブジェクトの手前に重畳されていても、キャラクターなどの表示オブジェクトが平面的に認識される制約を受けにくくする効果がある。
 以上説明した、図18Dおよび図18Eの表示例によれば、飛び出す量が異なる複数層の空間浮遊映像を表示する空間浮遊映像表示装置において、主たるコンテンツであるキャラクターなどの表示オブジェクトに対して、奥行方向が異なる表示位置に従たるコンテンツである文字情報やエフェクト画像を連動して表示することができる。これにより、キャラクターなどの表示オブジェクトに対して文字の表示オブジェクトやエフェクト画像の表示オブジェクトが重畳される位置に表示しても、キャラクターなどの表示オブジェクトが平面的に認識される制約を受けにくくすることが可能となり、より好適である。
 なお、図18Dおよび図18Eの表示例では、奥行に差がある空間浮遊映像3-1と空間浮遊映像3-2を用いて、空間浮遊映像3-2としてキャラクターの表示オブジェクト1851を表示し、空間浮遊映像3-1として文字の表示オブジェクト1857や表示オブジェクト1858を表示する例について説明した。これにより、文字の表示オブジェクト1857や表示オブジェクト1858が、キャラクターの表示オブジェクト1851よりも手前に表示されていることを、ユーザが容易に認識することができる。
 これに対し、変形例として、空間浮遊映像3-1として、文字の表示オブジェクトに替えて、または加えて、操作メニューのオブジェクトを表示してもよい。操作メニューのオブジェクトは、空間浮遊映像表示装置1000の操作を行うための操作メニューでもよい。空間浮遊映像表示装置1000の操作の一例は、音声出力部1140の出力音声レベルの調整の操作やミュート操作などである。
 また、操作メニューのオブジェクトは、主たるコンテンツであるキャラクターの表示オブジェクト1851の表示に関する操作を行うための操作メニューであってもよい。表示オブジェクト1851の表示に関する操作の一例は、キャラクターの切り替えの操作、キャラクターの衣装の形状や色の変更の操作、または、キャラクターの動作の変更の操作、などである。表示オブジェクト1851の表示に関する操作の他の一例は、表示オブジェクト1851の表示明るさの変更の操作、表示位置の変更の操作、または表示サイズの変更の操作などでもよい。
 例えば、図17Cに示す空中操作検出センサ1351Eのように、奥行の異なる複数の空間浮遊映像の手前の空間浮遊映像3-1に対するユーザ操作を検出するように構成すれば、操作メニューのオブジェクトを操作して各種操作を行うことができる。このように構成すれば、奥行の異なる複数の空間浮遊映像の一方の空間浮遊映像に表示される操作メニューを介したユーザ操作を用いて、当該一方の空間浮遊映像とは奥行が異なる他の空間浮遊映像の表示を操作することが可能となる。
 また、手前に位置する空間浮遊映像3-1に表示される操作メニューのオブジェクトと、奥に位置する空間浮遊映像3-2に表示される主たるコンテンツのオブジェクトとについて、視点移動による運動視差効果により、ユーザはこれらのオブジェクトについて、奥行方向が異なる複数の表示位置に表示されていることをより明確に認識することが可能となる。
 本実施例に係る技術では、高解像度かつ高輝度な映像情報を空間浮遊した状態で表示することにより、例えば、ユーザは感染症の接触感染に対する不安を感じることなく操作することを可能にする。不特定多数のユーザが使用するシステムに本実施例に係る技術を用いれば、感染症の接触感染のリスクを低減し、不安を感じることなく使用できる非接触ユーザインタフェースを提供することを可能にする。これにより、国連の提唱する持続可能な開発目標(SDGs:Sustainable Development Goals)の「3すべての人に健康と福祉を」に貢献する。
 また、本実施例に係る技術では、出射する映像光の発散角を小さく、さらに特定の偏波に揃えることで、再帰反射板に対して正規の反射光だけを効率良く反射させるため、光の利用効率が高く、明るく鮮明な空間浮遊映像を得ることを可能にする。本実施例に係る技術によれば、消費電力を大幅に低減することが可能な、利用性に優れた非接触ユーザインタフェースを提供することができる。これにより、国連の提唱する持続可能な開発目標(SDGs:Sustainable Development Goals)の「9産業と技術革新の基盤をつくろう」および「11住み続けられるまちづくりを」に貢献する。
 以上、種々の実施例について詳述したが、しかしながら、本発明は、上述した実施例のみに限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するためにシステム全体を詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
 1…表示装置、2…再帰反射板(再帰性反射板)、3…空間像(空間浮遊映像)、105…ウィンドガラス、100…透明な部材、101…偏光分離部材、101B…偏光分離部材、12…吸収型偏光板、13…光源装置、54…光方向変換パネル、151…再帰反射板、102、202…LED基板、203…導光体、205、271…反射シート、206、270…位相差板、230…ユーザ、1000…空間浮遊映像表示装置、1110…制御部、1160…映像制御部、1180…撮像部、1102…映像表示部、1350…空中操作検出部、1351…空中操作検出センサ。

Claims (28)

  1.  空中浮遊映像を表示する空中浮遊映像表示装置であって、
     映像を表示する表示部と、
     第1の偏光分離部材と、
     第1のλ/4板と、
     第1の再帰反射板と、
     第2の偏光分離部材と、
     第2のλ/4板と、
     鏡面反射板と、
     第3のλ/4板と、
     第2の再帰反射板と、
     を備え、
     前記表示部の表示画面には、第1の映像表示領域と、第2の映像表示領域とがあり、
     前記表示部と、前記第1の偏光分離部材と、前記第1のλ/4板と、前記第1の再帰反射板と、前記第2の偏光分離部材と、前記第2のλ/4板と、前記鏡面反射板と、前記第3のλ/4板と、前記第2の再帰反射板とが、
     前記表示部の表示画面の第1の映像表示領域から出射した所定の偏光の映像光が、前記第1の偏光分離部材を透過し、透過した映像光が、前記第1のλ/4板を透過し、前記第1の再帰反射板で再帰反射され、前記第1の再帰反射板で再帰反射された映像光が、前記第1のλ/4板を透過することにより、前記所定の偏光から位相が90°異なる他方の偏光の映像光となり、前記他方の偏光の映像光が前記第1の偏光分離部材で反射され、実像である第1の空中浮遊映像を空中に形成し、
     前記表示部の表示画面の第2の映像表示領域から出射した所定の偏光の映像光が、前記第2の偏光分離部材を透過し、透過した映像光が、前記第2のλ/4板を透過し、前記鏡面反射板で反射され、前記鏡面反射板で反射された映像光が、前記第2のλ/4板を透過することにより、前記所定の偏光から位相が90°異なる他方の偏光の映像光となり、前記他方の偏光の映像光が前記第2の偏光分離部材で反射され、前記第3のλ/4板を透過し、前記第2の再帰反射板で再帰反射され、前記第2の再帰反射板で再帰反射された映像光が前記第3のλ/4板を透過することにより、前記他方の偏光から位相が90°異なる前記所定の偏光の映像光となり、前記第3のλ/4板から前記第2の偏光分離部材へ向かう前記所定の偏光の映像光が前記第2の偏光分離部材を透過し、前記第2の偏光分離部材から前記第1の偏光分離部材へ向かう前記所定の偏光の映像光が前記第1の偏光分離部材を透過し、前記第1の偏光分離部材を透過した前記所定の偏光の映像光が実像である第2の空中浮遊映像を空中に形成する、
    ように配置されている、
     空中浮遊映像表示装置。
  2.  請求項1に記載の空中浮遊映像表示装置において、
     前記第1の空中浮遊映像と前記第2の空中浮遊映像とはユーザから見て奥行が異なる複数層の空中浮遊映像を形成する、
     空中浮遊映像表示装置。
  3.  請求項1に記載の空中浮遊映像表示装置において、
     前記第1の空中浮遊映像と前記第2の空中浮遊映像と前記第1の偏光分離部材と、前記第2の偏光分離部材と、前記第2の再帰反射板とが、同一直線上に配置されている、
     空中浮遊映像表示装置。
  4.  請求項3に記載の空中浮遊映像表示装置において、
     前記表示部と前記第1の再帰反射板と前記鏡面反射板とは、前記同一直線上から外れた位置に配置されている、
     空中浮遊映像表示装置。
  5.  空中浮遊映像を表示する空中浮遊映像表示装置であって、
     映像を表示する表示部と、
     λ/2板と、
     第1の偏光分離部材と、
     第1のλ/4板と、
     第1の再帰反射板と、
     第2の偏光分離部材と、
     第2のλ/4板と、
     第2の再帰反射板と、
     を備え、
     前記表示部の表示画面には、第1の映像表示領域と、第2の映像表示領域とがあり、
     前記表示部と、前記λ/2板と、前記第1の偏光分離部材と、前記第1のλ/4板と、前記第1の再帰反射板と、前記第2の偏光分離部材と、前記第2のλ/4板と、前記第2の再帰反射板とが、
     前記表示部の表示画面の第1の映像表示領域から出射した所定の偏光の映像光が、前記第1の偏光分離部材を透過し、透過した映像光が、前記第1のλ/4板を透過し、前記第1の再帰反射板で再帰反射され、前記第1の再帰反射板で再帰反射された映像光が、前記第1のλ/4板を透過することにより、前記所定の偏光から位相が90°異なる他方の偏光の映像光となり、前記他方の偏光の映像光が前記第1の偏光分離部材で反射され、実像である第1の空中浮遊映像を空中に形成し、
     前記表示部の表示画面の第2の映像表示領域から出射した所定の偏光の映像光が、前記λ/2板を透過し、前記所定の偏光から位相が90°異なる他方の偏光の映像光となり、前記第2の偏光分離部材で反射され、反射された映像光が、前記第2のλ/4板を透過し、前記第2の再帰反射板で再帰反射され、前記第2の再帰反射板で再帰反射された映像光が、前記第2のλ/4板を透過することにより、前記他方の偏光から位相が90°異なる前記所定の偏光の映像光となり、前記第2のλ/4板から前記第2の偏光分離部材へ向かう前記所定の偏光の映像光が前記第2の偏光分離部材を透過し、前記第2の偏光分離部材から前記第1の偏光分離部材へ向かう前記所定の偏光の映像光が前記第1の偏光分離部材を透過し、前記第1の偏光分離部材を透過した前記所定の偏光の映像光が実像である第2の空中浮遊映像を空中に形成する、
    ように配置されている、
     空中浮遊映像表示装置。
  6.  請求項5に記載の空中浮遊映像表示装置において、
     前記第1の空中浮遊映像と前記第2の空中浮遊映像とはユーザから見て奥行が異なる複数層の空中浮遊映像を形成する、
     空中浮遊映像表示装置。
  7.  請求項5に記載の空中浮遊映像表示装置において、
     前記第1の空中浮遊映像と前記第2の空中浮遊映像と前記第1の偏光分離部材と、前記第2の偏光分離部材と、前記第2の再帰反射板とが、同一直線上に配置されている、
     空中浮遊映像表示装置。
  8.  請求項7に記載の空中浮遊映像表示装置において、
     前記表示部と前記第1の再帰反射板とは、前記同一直線上から外れた位置に配置されている、
     空中浮遊映像表示装置。
  9.  請求項5に記載の空中浮遊映像表示装置において、
     前記表示部の表示面には、光の進行方向を所定角度ずらす角度制御シートが貼り付けられており、前記角度制御シートが光の進行方向をずらす前記所定角度に対応する角度で前記表示部が傾斜して配置されており、
     前記表示部が傾斜して配置されていることにより、前記表示部の表示画面の前記第1の映像表示領域から射出する映像光が前記第1の再帰反射板に至るまでの光路長が、前記表示部の表示画面の前記第2の映像表示領域から射出する映像光が前記第2の再帰反射板に至るまでの光路長よりも短い、
     空中浮遊映像表示装置。
  10.  空中浮遊映像を表示する空中浮遊映像表示装置であって、
     映像を表示する表示部と、
     第1の偏光分離部材と、
     λ/4板と、
     再帰反射板と、
     第2の偏光分離部材と、
     λ/2板と、
     を備え、
     前記表示部の表示画面には、第1の映像表示領域と、第2の映像表示領域とがあり、
     前記表示部と、前記第1の偏光分離部材と、前記λ/4板と、前記再帰反射板と、前記第2の偏光分離部材と、前記λ/2板とが、
     前記表示部の表示画面の第1の映像表示領域から出射した所定の偏光の映像光が、前記第1の偏光分離部材を透過し、透過した映像光が、前記λ/4板を透過し、前記再帰反射板で再帰反射され、前記再帰反射板で再帰反射された映像光が、前記λ/4板を透過することにより、前記所定の偏光から位相が90°異なる他方の偏光の映像光となり、前記他方の偏光の映像光が前記第1の偏光分離部材で反射され、実像である第1の空中浮遊映像を空中に形成し、
     前記表示部の表示画面の第2の映像表示領域から出射した所定の偏光の映像光が、前記第2の偏光分離部材を透過し、透過した映像光が、前記λ/4板を透過し、前記再帰反射板で再帰反射され、前記再帰反射板で再帰反射された映像光が、前記λ/4板を透過することにより、前記所定の偏光から位相が90°異なる他方の偏光の映像光となり、前記他方の偏光の映像光が前記第2の偏光分離部材で反射され、前記第2の偏光分離部材で反射された映像光が、前記λ/2板を透過することにより、前記他方の偏光から位相が90°異なる前記所定の偏光の映像光となり、前記λ/2板から前記第1の偏光分離部材へ向かう前記所定の偏光の映像光が前記第1の偏光分離部材を透過し、前記第1の偏光分離部材を透過した前記所定の偏光の映像光が実像である第2の空中浮遊映像を空中に形成する、
    ように配置されている、
     空中浮遊映像表示装置。
  11.  請求項10に記載の空中浮遊映像表示装置において、
     前記第1の空中浮遊映像と前記第2の空中浮遊映像とはユーザから見て奥行が異なる複数層の空中浮遊映像を形成する、
     空中浮遊映像表示装置。
  12.  請求項10に記載の空中浮遊映像表示装置において、
     前記第1の空中浮遊映像と前記第2の空中浮遊映像と前記第1の偏光分離部材と、前記λ/2板と、前記第2の偏光分離部材とが、同一直線上に配置されている、
     空中浮遊映像表示装置。
  13.  請求項12に記載の空中浮遊映像表示装置において、
     前記表示部と前記再帰反射板とは、前記同一直線上から外れた位置に配置されている、
     空中浮遊映像表示装置。
  14.  請求項10に記載の空中浮遊映像表示装置において、
     前記表示部の表示面には、光の進行方向を所定角度ずらす角度制御シートが貼り付けられており、前記角度制御シートが光の進行方向をずらす前記所定角度に対応する角度で前記表示部が傾斜して配置されており、
     前記表示部が傾斜して配置されていることにより、前記表示部の表示画面の前記第1の映像表示領域から射出する映像光が前記再帰反射板に至るまでの光路長が、前記表示部の表示画面の前記第2の映像表示領域から射出する映像光が前記再帰反射板に至るまでの光路長よりも短い、
     空中浮遊映像表示装置。
  15.  空中浮遊映像を表示する空中浮遊映像表示装置であって、
     映像を表示する表示部と、
     第1の偏光分離部材と、
     第2の偏光分離部材と、
     1つまたは複数の再帰反射板と、
     を備え、
     前記表示部の表示画面には、第1の映像表示領域と、第2の映像表示領域とがあり、
     前記表示部の表示画面の第1の映像表示領域から出射した映像光が、前記第1の偏光分離部材の透過と、前記1つまたは複数の再帰反射板に含まれるいずれか1つの再帰反射板における再帰反射を経たのち、第1の空中浮遊映像を空中に形成し、前記表示部の表示画面の第2の映像表示領域から出射した映像光が、前記第2の偏光分離部材の透過または反射と、前記1つまたは複数の再帰反射板に含まれるいずれか1つの再帰反射板における再帰反射を経たのち、第2の空中浮遊映像を空中に形成することにより、前記第1の空中浮遊映像と前記第2の空中浮遊映像がユーザから見て奥行方向が異なる複数層の空中浮遊映像を形成する、
     空中浮遊映像表示装置。
  16.  請求項15に記載の空中浮遊映像表示装置において、
     前記表示部に表示する映像に関する映像処理を行う映像処理部を備え、
     前記映像処理部は、前記第1の空中浮遊映像に第1の表示オブジェクトを表示して前記第2の空中浮遊映像に第2の表示オブジェクトを表示するときに、前記第1の空中浮遊映像と前記第2の空中浮遊映像のうち前記空中浮遊映像表示装置が設置される空間の鉛直方向上側に位置する一方の空中浮遊映像に表示される表示オブジェクトについての仮想的な影を、前記空中浮遊映像表示装置が設置される空間の鉛直方向下側に位置する他方の空中浮遊映像に表示される表示オブジェクトの一部の領域に表示する映像処理を行う、
     空中浮遊映像表示装置。
  17.  請求項16に記載の空中浮遊映像表示装置において、
     前記映像処理部が行う前記仮想的な影を表示する映像処理は、前記他方の空中浮遊映像に表示される表示オブジェクトの一部の領域について、黒表示にする映像処理、映像信号の輝度を低下する映像処理、または、映像信号の彩度を低下させる映像処理である、
    空中浮遊映像表示装置。
  18.  請求項15に記載の空中浮遊映像表示装置において、
     前記複数層の空中浮遊映像のうちユーザから見て手前側に表示される空中浮遊映像において、ユーザから見て左右方向の中央付近に主たるコンテンツである第1の表示オブジェクトを表示し、前記複数層の空中浮遊映像のうちユーザから見て奥側に表示される空中浮遊映像において、ユーザから見て左右方向の中央付近を避けた位置に従たるコンテンツである第2の表示オブジェクトを表示する、
     空中浮遊映像表示装置。
  19.  請求項18に記載の空中浮遊映像表示装置において、
     前記主たるコンテンツである前記第1の表示オブジェクトは、キャラクターのオブジェクトである、
     空中浮遊映像表示装置。
  20.  請求項19に記載の空中浮遊映像表示装置において、
     前記従たるコンテンツである前記第2の表示オブジェクトは、キャラクターの後方に位置する背景オブジェクトである、
     空中浮遊映像表示装置。
  21.  請求項15に記載の空中浮遊映像表示装置において、
     前記複数層の空中浮遊映像のうちユーザから見て奥側に表示される空中浮遊映像において、主たるコンテンツである第1の表示オブジェクトを表示し、前記複数層の空中浮遊映像のうちユーザから見て手前側に表示される空中浮遊映像において、前記第1の表示オブジェクトよりも前方に配置されるオブジェクトであって、従たるコンテンツである第2の表示オブジェクトを表示する、
     空中浮遊映像表示装置。
  22.  請求項21に記載の空中浮遊映像表示装置において、
     前記主たるコンテンツである前記第1の表示オブジェクトは、キャラクターのオブジェクトである、
     空中浮遊映像表示装置。
  23.  請求項22に記載の空中浮遊映像表示装置において、
     前記従たるコンテンツである前記第2の表示オブジェクトは、文字のオブジェクトである、
     空中浮遊映像表示装置。
  24.  請求項22に記載の空中浮遊映像表示装置において、
     前記従たるコンテンツである前記第2の表示オブジェクトは、エフェクト画像のオブジェクトである、
     空中浮遊映像表示装置。
  25.  請求項15に記載の空中浮遊映像表示装置において、
     前記表示部の表示画面の第1の映像表示領域から出射し前記第1の偏光分離部材へ向かう映像光の光路と、前記表示部の表示画面の第2の映像表示領域から出射し前記第2の偏光分離部材へ向かう映像光の光路とを仕切る遮光板をさらに備え、
     前記表示部の表示画面における、前記第1の映像表示領域と前記第2の映像表示領域の間には所定の間隙の領域があり、当該所定の間隙の領域はコンテンツ非表示領域であり、当該所定の間隙の幅は、前記遮光板の厚さより長い、
     空中浮遊映像表示装置。
  26.  空中浮遊映像を表示する空中浮遊映像表示装置であって、
     映像を表示する表示部と、
     偏光分離部材と、
     第1のλ/4板と、
     鏡面反射板と、
     第2のλ/4板と、
     再帰反射板と、を備え、
     前記表示部と、前記偏光分離部材と、前記第1のλ/4板と、前記鏡面反射板と、前記第2のλ/4板と、前記再帰反射板とは、
     表示装置から出射した所定の偏光の映像光が、前記偏光分離部材を透過し、透過した映像光が、前記第1のλ/4板を透過し、前記鏡面反射板で反射され、前記鏡面反射板で反射された映像光が前記第1のλ/4板を透過することにより、前記所定の偏光から位相が90°異なる他方の偏光の映像光となり、前記他方の偏光の映像光が前記偏光分離部材で反射され、前記第2のλ/4板を透過し、前記再帰反射板で再帰反射され、前記再帰反射板で再帰反射された映像光が前記第2のλ/4板を透過することにより、前記他方の偏光から位相が90°異なる前記所定の偏光の映像光となり、前記第2のλ/4板から前記偏光分離部材へ向かう前記所定の偏光の映像光が前記偏光分離部材を透過し、前記偏光分離部材を透過した前記所定の偏光の映像光が実像である空中浮遊映像を空中に形成する、
    ように配置されている、
     空中浮遊映像表示装置。
  27.  請求項26に記載の空中浮遊映像表示装置において、
     前記第1のλ/4板は前記鏡面反射板に貼り付けられている、
     空中浮遊映像表示装置。
  28.  請求項26に記載の空中浮遊映像表示装置において、
     前記第2のλ/4板は前記再帰反射板に貼り付けられている、
     空中浮遊映像表示装置。
PCT/JP2023/042419 2022-12-09 2023-11-27 空中浮遊映像表示装置 WO2024122391A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-197143 2022-12-09
JP2022197143 2022-12-09

Publications (1)

Publication Number Publication Date
WO2024122391A1 true WO2024122391A1 (ja) 2024-06-13

Family

ID=91379284

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/042419 WO2024122391A1 (ja) 2022-12-09 2023-11-27 空中浮遊映像表示装置

Country Status (1)

Country Link
WO (1) WO2024122391A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180024373A1 (en) * 2016-07-25 2018-01-25 Disney Enterprises, Inc. Retroreflector display system for generating floating image effects
US20180188548A1 (en) * 2017-01-05 2018-07-05 Looking Glass Factory, Inc. Advanced retroreflecting aerial displays
WO2022249800A1 (ja) * 2021-05-24 2022-12-01 マクセル株式会社 空間浮遊映像表示装置および光源装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180024373A1 (en) * 2016-07-25 2018-01-25 Disney Enterprises, Inc. Retroreflector display system for generating floating image effects
US20180188548A1 (en) * 2017-01-05 2018-07-05 Looking Glass Factory, Inc. Advanced retroreflecting aerial displays
WO2022249800A1 (ja) * 2021-05-24 2022-12-01 マクセル株式会社 空間浮遊映像表示装置および光源装置

Similar Documents

Publication Publication Date Title
CN104054027B (zh) 用于移动设备的透明显示器
US8976323B2 (en) Switching dual layer display with independent layer content and a dynamic mask
US9053660B2 (en) Combined-screen-based multi-pitching angle suspended panoramic space 3D display device
WO2010007787A1 (ja) 裸眼立体映像表示システム、裸眼立体映像表示装置、遊技ゲーム機、パララックスバリアシート
JP4457323B2 (ja) 遊技ゲーム機
WO2022138297A1 (ja) 空間浮遊映像表示装置
WO2022113745A1 (ja) 空間浮遊映像表示装置
JP4386299B1 (ja) パララックスバリア、裸眼立体映像表示装置
WO2022137940A1 (ja) 空間浮遊映像表示装置
WO2023276921A1 (ja) 空中浮遊映像表示装置
JP4386298B1 (ja) 裸眼立体映像表示装置
JP4392520B1 (ja) 裸眼立体映像表示装置
WO2024122391A1 (ja) 空中浮遊映像表示装置
WO2023162690A1 (ja) 空中浮遊映像表示装置
JP4348487B1 (ja) 裸眼立体映像表示装置
WO2023085069A1 (ja) 空中浮遊映像表示装置
WO2021010014A1 (ja) 表示装置
WO2024062749A1 (ja) 空中浮遊映像表示装置
JP2022097901A (ja) 空間浮遊映像表示装置
WO2022270384A1 (ja) 空中浮遊映像表示システム
WO2023068021A1 (ja) 空中浮遊映像表示システム
CN118235080A (zh) 空中悬浮影像显示装置
JP2008026894A (ja) テーブル型大型映像装置
WO2023176159A1 (ja) 空間浮遊映像表示装置
WO2023243181A1 (ja) 空間浮遊映像情報表示システム