WO2014103088A1 - 表示システム及び表示制御方法 - Google Patents
表示システム及び表示制御方法 Download PDFInfo
- Publication number
- WO2014103088A1 WO2014103088A1 PCT/JP2013/003404 JP2013003404W WO2014103088A1 WO 2014103088 A1 WO2014103088 A1 WO 2014103088A1 JP 2013003404 W JP2013003404 W JP 2013003404W WO 2014103088 A1 WO2014103088 A1 WO 2014103088A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- display
- image
- observer
- half mirror
- mirror
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
- G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
- G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
- G02B30/30—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving parallax barriers
- G02B30/31—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving parallax barriers involving active parallax barriers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
Definitions
- the present invention relates to a display technology, and more particularly to a technology for displaying information superimposed on a real world landscape or object.
- a so-called ambient display that functions as a display when a wall or furniture around you is necessary is known. According to the ambient display, it is not necessary for the user to bother to move to the place where the display is located or to carry the display. Therefore, it is possible to dramatically increase the opportunities for people to contact information in daily life. In particular, displaying a real-world object and information associated with the object in an overlapping manner is useful because it is not necessary to move the face and compare the object and the display each time.
- an ambient display there is a display system in which information is superimposed on an object reflected in a mirror by arranging a half mirror in front of the display.
- Patent Document 1 discloses a mirror in which a magic mirror capable of seeing through an image is provided on a part of a mirror surface, and a picture tube is provided opposite to the back surface of the magic mirror. By using this mirror, it is possible to easily see the progress of the beauty and barber treatments performed on the subject as it is, without watching the TV and moving the face at the same time in the beauty salon or barber shop.
- Patent Document 2 discloses an environmental information display device including a display with a half mirror attached to the surface, an image sensor, a face detection unit, and a presentation information control unit.
- the information display device captures a front area of the display with an image sensor, detects a human face area from the image captured by the image sensor with a face detection unit, and the presentation information control unit detects a face detected by the face detection unit.
- the presentation information displayed on the display is changed based on the position and shape of the area. With this configuration, the information display device can change the presentation information so that the user can easily see it.
- Patent Document 3 discloses a mirror unit that includes a mirror surface and an illumination unit, and the illumination unit generates a three-dimensional image.
- the mirror unit further includes a proximity sensor and a controller, and can control illumination parameters and the like using a three-dimensional virtual switch generated by the illumination unit.
- Patent Document 4 also measures the position of each part (mouth, eyes, etc.) of the observer, and displays an image corresponding to each of these parts overlaid at positions where these parts are reflected in the half mirror. As described above, a technique for adjusting the display position of each image is disclosed.
- Patent Document 5 proposes a technique for solving the situation where the amount of parallax when a parallax image is displayed changes due to changes in display conditions such as the display size and viewing distance, and exceeds the observer's fusion limit. Has been. This technique measures the actual amount of parallax and gives an offset to each image included in the parallax image when the measured amount of parallax exceeds the fusion limit of the observer. According to this technique, a stereoscopic image can be displayed so as not to exceed the fusion limit regardless of display conditions.
- the display system 10 shown in FIG. 8 includes a display 11 and a half mirror 12, and the half mirror 12 is disposed on the front surface of the display 11.
- FIG. 8 schematically shows a state where the observer is viewing the display 11 at a position away from the half mirror 12 by a distance L.
- the observer's face 20 and the mirror image 30 of the observer's face are symmetric with respect to the surface of the half mirror 12. That is, the mirror image 30 of the observer's face appears to be at a position 2 L from the observer 20.
- the observer is looking at the letter “A” displayed on the display 11.
- the line of sight 23 of the left eye and the line of sight 24 of the right eye of the observer face each other in order to match the character A.
- the angle formed by the left eye line of sight 23 and the right eye line of sight 24 is the convergence angle ⁇ 1.
- the mirror image 31 of the left eye seen from the left eye 21 of the observer appears on the left side of the letter A, while seen from the right eye 22 of the observer.
- the mirror image 31 of the left eye is reflected on the right side of the letter A. That is, when the viewer is viewing the video displayed on the display 11, the mirror image 30 of his / her face reflected on the half mirror 12 looks double.
- FIG. 9 is a diagram schematically showing a state where the observer is looking at the mirror image 30 of his / her face reflected on the half mirror 12.
- the observer is looking at the left eye 31 of the mirror image 30 of his / her face reflected on the half mirror 12. Since the observer's left eye line of sight 23 and right eye line of sight 24 match the mirror image 31 of the left eye, the convergence angle is ⁇ 2, which is different from the convergence angle ⁇ 1 shown in FIG.
- the letter A viewed from the left eye 21 of the observer appears on the right side of the mirror image 31 of the left eye, while the letter A viewed from the right eye 22 of the observer appears on the left side of the mirror image 31 of the left eye. That is, when the observer looks at the mirror image 30 of his / her face reflected on the half mirror 12, the image displayed on the display 11 looks double.
- the environmental information display device disclosed in Patent Document 2 uses an image sensor to estimate the positional relationship between the device and the user, and superimposes it on the user's appearance by changing the presentation information displayed on the display. Information is presented in areas that are not. However, since the information presentation position is in the direction parallel to the mirror surface, that is, the left / right or up / down direction of the observer, congestion is caused by the deviation of the information presentation position in the direction perpendicular to the mirror surface, that is, the observer's front / rear direction. The problem of having to watch while adjusting the corners each time cannot be solved.
- the mirror unit disclosed in Patent Document 3 simply generates a three-dimensional image.
- the observer can adjust the convergence angle to the three-dimensional image displayed on the front surface of the mirror unit, but the above problem, namely, the image displayed on the display and the mirror image of his / her face reflected in the mirror.
- the problem of having to watch while adjusting the corners each time cannot be solved.
- Patent Document 4 also adjusts the display position of the image on the surface of the half mirror, and adjusts the convergence angle each time by the shift of the information presentation position in the direction perpendicular to the surface of the half mirror.
- Patent Document 5 merely discloses a technique for preventing the parallax amount of the parallax image from exceeding the fusion limit, and there is no suggestion or problem recognition regarding the solution of the above-described problem.
- the present invention has been made in view of the above circumstances, and provides a display technique capable of simultaneously matching eyes with information displayed on a display and a mirror image.
- the display system includes a stereoscopic display device, a half mirror, and a control unit.
- the stereoscopic display device displays a parallax image, and the half mirror is provided in front of the stereoscopic display device.
- the control unit controls a depth display position, which is a display position in the depth direction, of the parallax image with respect to the stereoscopic display device. Specifically, the depth display position is determined by the half mirror. Control to the back.
- the display system of the above aspect is replaced with a display device or a display method
- the control unit in the display system of the above aspect the processing of the control unit is replaced with a control method
- the control method is applied to a computer.
- a program to be executed is also effective as an aspect of the present invention.
- the technique according to the present invention it is possible to simultaneously focus on the information displayed on the display and the mirror image, and the visibility can be improved.
- Non-transitory computer readable media include various types of tangible storage media.
- Examples of non-transitory computer-readable media include magnetic recording media (eg, flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (eg, magneto-optical disks), CD-ROM (Read Only Memory) CD-R, CD -R / W, including semiconductor memory (for example, mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM (Random Access Memory)).
- the program may be supplied to the computer by various types of temporary computer readable media. Examples of transitory computer readable media include electrical signals, optical signals, and electromagnetic waves.
- the temporary computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.
- FIG. 1 shows a display system 100 according to a first embodiment of the present invention.
- the display system 100 includes a display device 110 and a control unit 120.
- the display device 110 includes a parallax image display unit 112 and a half mirror 114.
- the half mirror 114 is disposed in front of the parallax image display unit 112. In the present specification, the one closer to the observer is referred to as “front”.
- the parallax image display unit 112 is a so-called stereoscopic display or a stereoscopic display device called a three-dimensional display, and displays a parallax image.
- the “parallax image” is an image having binocular parallax, and includes at least a pair of left-eye images and right-eye images.
- a parallax barrier is formed in the parallax image display unit 112 so that only the right eye image can be seen by the right eye and only the left eye image can be seen by the left eye, as in this type of display. .
- the half mirror 114 has characteristics of transmitting and reflecting light. When nothing is displayed on the parallax image display unit 112 or when a black image is displayed, the half mirror 114 functions as a simple mirror. When an image is displayed on the parallax image display unit 112, the light of the displayed image is transmitted through the half mirror 114, so that the observer can observe the image. Therefore, the observer can simultaneously observe his / her appearance reflected on the half mirror 114 and the image displayed on the parallax image display unit 112 via the half mirror 114.
- the control unit 120 adjusts the depth display position of the parallax image so that the distance from the viewer's mirror image to the half mirror 114 is the same as the depth display position of the parallax image. This adjustment is performed, for example, by changing the parallax amount of the parallax image.
- the “depth display position” is a position where the observer perceives an image in the mirror image space by observing the parallax image displayed on the parallax image display unit 112.
- the “mirror image space” is a space where an object reflected on the half mirror 114 appears to exist, and from the observer, a space that appears to exist on the opposite side of the observer with the half mirror 114 as a boundary. That is.
- the parallax image displayed on the parallax image display unit 112 is the letter A, and is configured by a pair of left-eye images and right-eye images having a predetermined amount of parallax. Further, this example is an example in the case where the observation target is the observer's own face.
- FIG. 2 is a diagram schematically illustrating a state where the observer is looking at his / her face reflected on the half mirror 114 at a position L away from the half mirror 114.
- the mirror image 140 of the observer's face 130 appears at a position L away from the half mirror 114 on the opposite side of the observer with the half mirror 114 interposed therebetween. That is, the observer looks at the mirror image 140 at a position 2 L away from him.
- the parallax amount of the pair of left-eye image 151 and right-eye image 152 included in the parallax image is displayed so as to become the illustrated target parallax amount 153
- the character displayed on the parallax image display unit 112 by the observer is displayed. A can be seen at the position of the mirror image 141 of the left eye.
- the target parallax amount 153 is TD and the binocular interval 135 between the left eye 131 and the right eye 132 of the observer is BD
- the target parallax amount 153 is the distance L from the half mirror 114 to the mirror image 140 of the observer, and the observation Using the distance 2L from the person to the mirror image 140, it can be calculated from the geometric positional relationship according to the following equation (1).
- the target parallax amount 153 is 32.5 mm.
- the observer can adjust the parallax amount between the left-eye image and the right-eye image so as to be 1 ⁇ 2 of the observer's binocular interval 135.
- the character A displayed on the parallax image display unit 112 can be seen at the position of the mirror image 141 of the left eye.
- the vertical and horizontal positions of the character A in the screen of the parallax image display unit 112 can be similarly obtained from the geometric positional relationship.
- the left eye's line of sight when the observer sees the mirror image 141 of the left eye and the left eye when viewing the character A displayed on the parallax image display unit 112 are displayed.
- the line of sight is the same line of sight (line of sight 133 in the figure).
- the right eye line of sight when the observer views the mirror image 141 of the left eye and the right eye line of sight when viewing the character A displayed on the parallax image display unit 112 are the same line of sight (line of sight 134 in the figure). It is. Therefore, the viewer can simultaneously focus on the mirror image 141 of the left eye and the character A without the character A displayed on the parallax image display unit 112 appearing double.
- the parallax amount for making the character A displayed on the parallax image display unit 112 visible at the position of the mirror image 142 of the right eye is also the target parallax amount 153.
- control unit 120 adjusts the parallax amount of the parallax image displayed on the parallax image display unit 112 so that the target parallax amount is 153, so that the position in the depth direction of the mirror image 140 of the observer and the parallax image display are displayed.
- the depth display position of the image displayed on the unit 112 can be matched. Therefore, the observer can simultaneously focus on the mirror image 140 of the observer and the image displayed on the parallax image display unit 112, and an easy-to-view display system is realized.
- FIG. 1 is a diagram schematically showing a state in which an observer is viewing the product 160 held in his / her hand on the half mirror 114 at a position away from the half mirror 114 by a distance L.
- the object to be observed is the commodity 160 held in the observer's hand.
- the distance from the product 160 to the half mirror 114 is assumed to be a distance G.
- the mirror image 170 of the product 160 appears at a position away from the half mirror 114 by a distance G opposite to the product 160. That is, the observer sees the mirror image 170 of the product 160 at a position “L + G” from the observer.
- the parallax amount of the pair of left-eye image 151 and right-eye image 152 included in the parallax image is displayed so as to become the illustrated target parallax amount 154
- the character displayed on the parallax image display unit 112 by the observer is displayed. A can be seen at the position of the mirror image 170 of the product 160.
- the target parallax amount 154 is TD and the binocular interval 135 between the left eye 131 and the right eye 132 of the observer is BD, the target parallax amount 154 is the distance G from the half mirror 114 to the mirror image 170 of the product 160, and the observation.
- the distance “L + G” from the person to the mirror image 170 of the product 160 can be used to calculate from the geometric positional relationship according to the following equation (2).
- TD BD ⁇ G / (L + G) (2)
- the target parallax amount 154 is 26. 8 mm.
- the parallax amount between the left-eye image and the right-eye image is adjusted so that the target parallax amount is 154.
- the observer can see the character A displayed on the parallax image display unit 112 at the position of the mirror image 170 of the product 160.
- the vertical and horizontal positions of the character A in the screen of the parallax image display unit 112 can be similarly obtained from the geometric positional relationship.
- the control unit 120 has the parallax of the parallax image displayed on the parallax image display unit 112 according to the distance L from the half mirror 114 to the observer and the distance G from the half mirror 114 to the product 160.
- the amount to be the target parallax amount 154 the distance from the mirror image 170 to the half mirror 114 of the product 160 can be matched with the depth display position of the image displayed on the parallax image display unit 112. . Therefore, the observer can simultaneously focus on the mirror image 170 of the product 160 and the image displayed on the parallax image display unit 112, and an easy-to-view display system is realized.
- the distance L from the half mirror 114 to the viewer and the distance G from the half mirror 114 to the product 160 determine, for example, the standing position of the viewer and the position of the product 160, and are set in advance for the control unit 120. Alternatively, it may be set each time by an observer or an administrator of the display system 100 (for example, a store clerk).
- the position of the image is made to coincide with the position of the mirror image of the object (observer, product held by the observer, etc.) has been described as an example.
- the image and the mirror image of the object are not completely displayed in a superimposed manner, and the image may be displayed at a position shifted in the vertical and horizontal directions of the mirror image of the object.
- information of interest of the observer may be displayed around the mirror image of the observer.
- the distance from the depth display position of the image to the half mirror is matched with the distance from the mirror image to the half mirror, but the object whose depth display position of the image is behind the half mirror is an example. Any position up to the mirror image may be used. The significance of such a case will be described with reference to FIG.
- FIG. 4 is a graph showing the relationship between the distance from the observer to the observation target and the vergence angle of both eyes of the observer. As shown in the figure, the greater the distance from the observer to the observation target, the smaller the convergence angle and the smaller the rate of change.
- the convergence angle decreases monotonously as the observation object moves away from the observer, it is possible to display the image deeper than the half mirror compared to the case where the image is displayed at the position of the half mirror as in the prior art.
- the change of the convergence angle when viewing the mirror image and the image of the object is reduced, and the effect of improving the visibility is obtained.
- the convergence angle when the observer sees the image displayed at the position of the half mirror is 3.72 degrees.
- the vergence angle when the observer sees his / her face reflected in the half mirror is 1.86 degrees. That is, the difference in the angle of convergence when the observer sees his / her face reflected on the half mirror and when the image displayed at the position of the half mirror is 1.86 degrees.
- the convergence angle when viewing an image displayed at a position 0.8 m away from the half mirror in the mirror image direction of the observer's face that is, 0.2 m away from the mirror image of the observer's face to the half mirror side is It is 2.07 degrees. That is, the difference in the angle of convergence when the observer sees his / her face reflected on the half mirror and the image displayed behind the half mirror is only 0.21 degrees. Thus, even if the depth display position of the image does not coincide with the position of the mirror image, the effect of improving the visibility can be obtained.
- the depth display position of an image such as display information is preferably at least deeper than the half mirror and up to the mirror image of the object.
- FIG. 5 shows a display system 200 according to the second embodiment of the present invention.
- the display system 200 includes a display device 110, a detection unit 210, and a control unit 220.
- the display device 110 is the same as the display device 110 in the display system 100 shown in FIG.
- the detection unit 210 detects an object to be observed (an object reflected on the half mirror 114), for example, a distance from the observer to the half mirror 114, and supplies the detection unit 210 to the control unit 220.
- the detection unit 210 includes a distance sensor 212 and a detection execution unit 214.
- the detection execution unit 214 uses the distance sensor 212 to project a random pattern of near-infrared light onto the observer and captures the pattern reflected on the observer with a camera. And based on the image image
- the control unit 220 controls the depth display position by adjusting the parallax amount of the parallax image displayed on the parallax image display unit 112 using the distance provided from the detection unit 210.
- the operation principle, specific method, and the like are the same as those of the control unit 120 of the display system 100 according to the first embodiment, and thus detailed description thereof is omitted here.
- the detection unit 210 measures the distance from the observer to the half mirror 114 and the control unit 220 controls the depth display position of the parallax image according to the distance measured by the detection unit 210 .
- the detection unit 210 adds the distance from the observer to the half mirror 114 and also adds the half mirror from the article held in the observer's hand.
- the distance to 114 is also measured, and the control unit 220 controls the depth display position of the parallax image based on these two distances. This is also the same as that described with reference to FIG.
- the same effect as that of the display system 100 can be obtained, and the distance to the observation target is measured by the detection unit 210. This is convenient because it is not necessary to fix the position of the product held by the user or to set the distance by the user.
- the depth display position of the parallax image is localized without following the movement of the observation target. Even if displayed, it is possible to obtain a visual effect that is easier to see than before.
- FIG. 6 shows a display system 300 according to a third embodiment of the present invention.
- the display system 300 includes a display device 110, a detection unit 310, and a control unit 320.
- the display device 110 is the same as the display device 110 in the display system 100 shown in FIG.
- the detection unit 310 further detects the observer's viewpoint position (the positions of both eyes) and supplies the detected position to the control unit 320.
- a sensor 312 and a detection execution unit 314 are provided.
- the measurement of the distance from the observation target to the half mirror 114 is the same as that of the detection unit 210 in the display system 200, and the description thereof is omitted.
- the image sensor 312 is used for detecting the observer's viewpoint position.
- the image sensor 312 is an image sensor such as a CCD or a CMOS, for example.
- the image sensor 312 includes, for example, a near infrared illumination device.
- a near infrared illumination device When the observer is illuminated with near-infrared illumination, strong retroreflected light is obtained from the pupil of the observer's eye. By photographing this with the image sensor 312, the observer's viewpoint position can be detected from the photographed image.
- the detection execution unit 314 detects the viewpoint position of the observer from the captured image obtained by the image sensor 312 and outputs information indicating the detected position to the control unit 320.
- the control unit 320 calculates the binocular interval of the observer from the viewpoint position obtained by the detection unit 310, and uses the calculated binocular interval and the distance provided from the detection unit 310 to display the parallax image display unit.
- the depth display position is controlled by adjusting the amount of parallax of the parallax image displayed on 112.
- the control unit 320 is the same as the control unit 220 in the display system 200 except that an actual measurement value is used as the binocular interval of the observer.
- the human binocular interval varies from person to person.
- an average value is used as the distance between the eyes. Since the display system 300 according to the third embodiment uses the actual measurement value as the binocular interval, the same effect as the display system 200 can be obtained and the control accuracy of the depth display position can be improved. .
- the method of utilizing the viewpoint position by the control unit 320 is not limited to the calculation of the binocular interval described above, and various methods are conceivable. For example, on the basis of the viewpoint position, when it is detected that the left eye image included in the parallax image is observed with the right eye and the observer moves to a position where the right eye image is observed with the left eye, By replacing the eye image and the right eye image, the observer can observe the parallax image satisfactorily.
- pupil detection is performed on an image obtained by imaging the observer with the image sensor 312.
- the viewpoint position may be detected by applying the image processing technique.
- face recognition may be performed on the image obtained by the image sensor 312, various information may be estimated from the recognized face, and information corresponding to the estimation result may be displayed.
- information for example, information for identifying an observer such as a customer name and attributes such as age and sex of the observer can be considered.
- the information corresponding to the estimation result may be, for example, an observer's personal schedule, an e-mail, information on the Internet that the observer is interested in, or the like.
- the detection unit 310 recognizes a product held in the observer's hand from the image obtained by the image sensor 312, and the control unit 320 displays information related to the product indicated by the recognition result of the detection unit 310 as a parallax image. It can also be displayed on the display unit 112.
- the product is recognized by the detection unit 310 by detecting feature points of the product or reading a barcode or a two-dimensional code attached to the product.
- the information related to the product is information such as a product having a different price, color or size, or a product having different performance. Or various information, such as the expiration date of a foodstuff, the place of origin, a nutrient component, and the information of an allergic component, can be considered.
- the various recognition processes described above of the detection unit 310 for the observation target may be performed based on information stored in a storage device in the detection unit 310.
- the detection unit 310 includes a communication unit.
- the object attribute may be detected and the personal authentication may be performed by a method such as accessing a database of a server at a different location via a network.
- the control unit 320 may display various display information stored in the internal storage device, or may display the display information after processing the stored display information in accordance with the recognition result from the detection unit 310 or the like. You may make it make it. Furthermore, the control unit 320 may include a communication unit and obtain display information via a network. For example, in a usage such as a videophone or a video conference, control may be performed so that a partner of a call or communication, information on a topic, and the like are displayed beside the observer.
- the number of image sensors 312 is not limited to one.
- a plurality of image sensors 312 may be provided for each application, such as measurement of an observer's viewpoint position and recognition of an observation target.
- these functions may be realized by one image sensor.
- a sensor having a wireless communication function may be further provided in the detection unit 310, and the product may be recognized by performing wireless communication with an RF tag attached to the product by the sensor.
- FIG. 7 shows a display system 400 according to the fourth embodiment of the present invention.
- the display system 400 includes a display device 110, a detection unit 410, and a control unit 420.
- the display device 110 is the same as the display device 110 in the display system 100 shown in FIG.
- the detection unit 410 includes a distance sensor 212, an image sensor 312, a sensor 412, and a detection execution unit 414.
- the distance sensor 212 and the image sensor 312 are respectively the same as the distance sensor 212 and the image sensor 312 in the display system 300, and the processing performed by the detection execution unit 414 using the distance sensor 212 and the image sensor 312 is also performed by the display system 300. This is the same as the processing performed by the detection execution unit 314 using the distance sensor 212 and the image sensor 312.
- the sensor 412 measures, for example, environmental information of an installation location of the display system 400 and health information of an observer.
- the environmental information is, for example, temperature, humidity, time, and the like
- the health information is information indicating a health condition such as an observer's weight, blood pressure, and body temperature.
- FIG. 7 only one sensor 412 is shown, but sensors for environmental information and health information are provided, or sensors corresponding to each type of environmental information and each type of health information are provided. You may do it.
- the detection execution unit 414 outputs information measured by the sensor 412 to the control unit 420.
- the control unit 420 performs control based on information obtained by the sensor 412 in addition to the same processing as the control unit 320 in the display system 300.
- the control unit 420 adjusts the brightness of the parallax image displayed on the parallax image display unit 112 according to the brightness measured by the sensor 412. For example, the brightness of the parallax image displayed on the parallax image display unit 112 is adjusted so as to match the brightness measured by the sensor 412. By doing so, the mirror image of the observer reflected on the half mirror 114 and the brightness of the parallax image can be matched, and a better observation effect can be obtained.
- the control unit 420 may select information to be displayed on the parallax image display unit 112 according to the health information of the observer. It is done. For example, in the case of an observer with high blood pressure, information indicating that the blood pressure is high can be displayed, or information on foods that have an effect of lowering blood pressure can be displayed.
- the senor 412 may be an acceleration sensor attached to an exercise equipment (not shown). In this case, it is possible to detect the observer's motor ability and body function using the acceleration sensor. Then, it is conceivable that the control unit 420 controls the parallax image display unit 112 to display a recommended value for setting the mobility device and a recommended program based on the data measured by the acceleration sensor.
- control unit 420 accumulates information measured by the sensor 412 for the observer, compares the current measurement value with the past measurement value, and displays a graph so that the transition can be understood. It may be displayed.
- the parallax image display unit 112 has been described as a parallax barrier type stereoscopic display as an example.
- the parallax image display unit 112 is limited to a parallax barrier type stereoscopic display. It is not a thing.
- another three-dimensional display or a three-dimensional display such as a lenticular lens method may be used.
- the display surface of the parallax image display unit 112 is preferably a flat panel display such as a liquid crystal display, a plasma display, or an organic EL display, but a projection display may be used.
- the parallax barrier may be formed of a liquid crystal element or the like so that a parallax image display state and a normal two-dimensional display state can be switched.
- the parallax images are not limited to a pair of right-eye images and left-eye images, and a set of a plurality of parallax images may be used.
- the information to be displayed may be displayed in a flat shape, for example, like the display surface of a flat panel display, or may be displayed in a three-dimensional shape that matches the uneven shape of the object on which the information is superimposed.
- the information to be displayed is not limited to a still image but may be a moving image, or a technique that enhances visual effects such as three-dimensional display or blinking display may be used.
- the transmittance that transmits the light of the half mirror and the reflectance that reflects the light that are set according to the brightness of the display device and the brightness of the observation environment it is preferable to use the transmittance that transmits the light of the half mirror and the reflectance that reflects the light that are set according to the brightness of the display device and the brightness of the observation environment. Or you may control a transmittance
- a reflective polarizing plate may be used as a half mirror.
- the half mirror and the parallax image display unit may be arranged in close contact with each other, or may be installed with a gap. Or you may arrange
- a pattern projection type sensor has been described as an example.
- a sensor using the Time Of Flight method for measuring the distance from the time when the projected light reciprocates to the object a sensor that scans with laser light, or You may use what uses a radio wave.
- the position of the distance sensor is not limited to the upper part of the display device. You may arrange
- control unit When the control unit performs control such as selecting an image to be displayed on the parallax image display unit, the control unit may be provided with a memory for storing these images and an arithmetic device for processing the images. . Further, a communication unit may be provided in the control unit, and necessary information such as images may be obtained from servers at different locations via a network.
- control unit may include an input device. You may comprise so that operation of a menu screen etc. can be implemented using a keyboard, a mouse
- ⁇ Appendix 1> A stereoscopic display device for displaying parallax images; A half mirror provided in front of the stereoscopic display device; A control unit that controls a depth display position that is a display position in the depth direction of the parallax image with respect to the stereoscopic display device; The display system according to claim 1, wherein the control unit performs control so that the depth display position is behind the half mirror.
- ⁇ Appendix 6> A detection unit;
- the observation target is an object other than the face of the observer,
- the detector detects a distance between the observer and the half mirror, and a distance between the object and the half mirror;
- the display system according to appendix 3 or 4 wherein the control unit controls the depth display position based on the distance detected by the detection unit.
- ⁇ Appendix 7> The detection unit further detects a viewpoint position of the observer, The display system according to appendix 5 or 6, wherein the control unit controls the depth display position based on the distance and the viewpoint position detected by the detection unit.
- ⁇ Appendix 8> The control unit calculates a binocular interval using the viewpoint position detected by the detection unit, and controls the depth display position based on the distance and the binocular interval.
- the control unit controls the display positions of the left-eye image and the right-eye image included in the parallax image in the stereoscopic display device, using the viewpoint position detected by the detection unit. 8.
- the detection unit further recognizes an observation object located in front of the half mirror, The display system according to any one of appendices 5 to 9, wherein the control unit determines a parallax image to be displayed on the stereoscopic display device in accordance with a recognition result by the detection unit.
- the recognition result is information specifying the observation object and / or attribute information including at least one of the age and sex of the observer.
- the detection unit further detects environmental information of an installation location of the display system, The display system according to any one of appendices 5 to 11, wherein the control unit determines a parallax image to be displayed on the stereoscopic display device according to a detection result by the detection unit.
- the detection unit further detects the state of the observation target, The display system according to any one of appendices 5 to 12, wherein the control unit determines a parallax image to be displayed on the stereoscopic display device in accordance with a detection result by the detection unit.
- the control unit or the detection unit further includes a communication unit, The display system according to any one of appendices 5 to 13, wherein the communication unit acquires information used for processing of the detection unit or the control unit via a network.
- ⁇ Appendix 15> The display system according to any one of appendices 1 to 14, wherein the stereoscopic display device is capable of switching between a state of displaying the parallax image and a state of normal two-dimensional display.
- ⁇ Appendix 16> The display system according to any one of appendices 1 to 15, wherein the half mirror is a dimming mirror.
- ⁇ Appendix 17> The display system according to any one of supplementary notes 1 to 16, wherein the control unit further includes an input device.
- ⁇ Appendix 18> For the stereoscopic display device in a display system having a stereoscopic display device that displays a parallax image and a half mirror provided in front of the display surface of the stereoscopic display device, A display control method, wherein control is performed so that a depth display position, which is a display position in the depth direction, of the parallax image is located behind the half mirror.
- ⁇ Appendix 19> The display control method according to appendix 18, wherein the depth display position is controlled by adjusting a parallax amount of the parallax image.
- ⁇ Appendix 23> The observation target is an object other than the face of the observer, Further detecting the distance between the observer and the half mirror and the distance between the object and the half mirror, The display control method according to appendix 20 or 21, wherein the depth display position is controlled based on the detected distance.
- the technology according to the present invention is applicable to, for example, a device that displays information superimposed on a real-world landscape or object.
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
表示システム(100)は、表示装置(110)と制御部(120)を備える。表示装置(110)は、視差画像を表示する視差画像表示部(112)と、視差画像表示部(112)の前に設けられたハーフミラー(114)を有する。制御部(120)は、視差画像表示部(112)に対して、該視差画像表示部(112)に表示させる視差画像の、奥行き方向における表示位置である奥行き表示位置を制御する。制御部(120)は、具体的には、上記奥行き表示位置が、ハーフミラー(114)より奥になるように制御を行う。該表示システムは、ディスプレイに表示された情報と、鏡像とに同時に眼を合わせることを可能にする。
Description
本発明は、表示技術、特に、実世界の風景や物体に情報を重ねて表示する技術に関する。
身の回りにある壁や家具などが必要なときにディスプレイとして機能する所謂アンビエント・ディスプレイが知られている。アンビエント・ディスプレイによれば、ユーザがわざわざディスプレイのある場所に移動したり、ディスプレイを持ち運んだりするなどの必要がなくなるため、日常生活において人が情報と接する機会を飛躍的に増やすことができる。特に、実世界の物体と、その物体に関連付けた情報とを重ねて表示すると、顔を動かして物体とディスプレイとをその都度見比べなくても済むので有用である。
アンビエント・ディスプレイの一例として、ディスプレイの前面にハーフミラーを配置することによって、鏡に映った物体に情報を重ねて表示する表示システムがある。
特許文献1には、鏡面の一部に映像を透視可能にしたマジックミラーを設け、マジックミラーの裏面に受像管を対向して設けてなる鏡が開示されている。この鏡を用いると、美容室や理容室において、テレビを観賞しながら同時に顔を動かすことなく、そのまま、自己に施されている美容や理容の施術の経過を容易に視認することができる。
特許文献2には、表面にハーフミラーを貼り付けたディスプレイと、イメージセンサと、顔検出手段および提示情報制御手段より構成される環境的情報表示装置が開示されている。該情報表示装置は、イメージセンサによりディスプレイの正面領域を撮像し、顔検出手段により、イメージセンサの撮像した映像から人の顔領域を検出し、提示情報制御手段は、顔検出手段が検出した顔領域の位置と形状に基づいて、ディスプレイに表示する提示情報を変更する。該情報表示装置は、このような構成により、ユーザが視認し易いように提示情報を変更することができる。
特許文献3には、ミラー面と照明ユニットとを有し、照明ユニットが三次元画像を生成するミラーユニットが開示されている。ミラーユニットは、更に、接近センサーとコントローラを有し、照明ユニットにより生成した三次元の仮想スイッチを用いて、照明パラメータなどを制御することができる。
また、特許文献4には、観察者の各部位(口や目など)の位置を夫々測定し、これらの部位がハーフミラーに映った位置に、これらの部位に夫々対応する画像が重ねて表示されるように、各画像の表示位置を調整する技術が開示されている。
また、近年、視差画像を表示する立体ディスプレイが普及しつつあり、立体ディプレイについて、種々の視点からの技術が提案されている。
例えば、特許文献5には、表示サイズや視距離などの表示条件の変化により、視差画像を表示した際の視差量が変更し、観察者の融合限界を超えてしまうことを解決する技術が提案されている。該技術は、実際の視差量を測定すると共に、測定した視差量が観察者の融合限界を超えたときに、視差画像に含まれる各画像にオフセットを与える。この技術によれば、表示条件にかかわらず、融合限界を超えないように立体画像を表示することができる。
しかしながら、特許文献1に開示された技術の場合において、観察者がテレビを観賞しているときには、観察者はテレビに眼を合わせている。テレビは鏡の裏面に配置されていることから、観察者はほぼ鏡の面に眼を合わせている。一方、鏡に映った観察者の顔は鏡像であり、観察者から鏡像までの距離は、観察者から鏡までの距離の2倍である。つまり、観察者が自分の顔を見るときには、観察者から鏡までの距離の2倍の位置に眼を合わせることになる。したがって、観察者は、鏡に映った自分の顔とテレビを、同時に眼を合わせることはできない。これについて、図8と図9を参照してより詳細に説明する。
図8に示す表示システム10は、ディスプレイ11とハーフミラー12を備え、ハーフミラー12は、ディスプレイ11の前面に配置されている。図8は、観察者がハーフミラー12から距離L離れた位置においてディスプレイ11を観賞している場合の様子を模式的に示している。
図8に示すように、観察者の顔20と、観察者の顔の鏡像30とは、ハーフミラー12の面に対して対称な位置にある。すなわち、観察者の顔の鏡像30は、観察者20から距離2Lの位置にあるように見える。
一例として、観察者がディスプレイ11に表示された文字「A」を見ているとする。このとき、観察者の左眼の視線23と右眼の視線24は、文字Aに合わせるために、互いに内側を向く。この左眼の視線23と右眼の視線24のなす角が輻輳角θ1である。観察者がディスプレイ11に表示された文字Aを見ているとき、観察者の左眼21から見た左眼の鏡像31は、文字Aの左側に映る一方、観察者の右眼22から見た左眼の鏡像31は、文字Aの右側に映る。すなわち、観察者がディスプレイ11に表示された映像を観賞しているとき、ハーフミラー12に映った自分の顔の鏡像30は2重に見える。
図9は、観察者がハーフミラー12に映った自分の顔の鏡像30を見ている場合の様子を模式的に示す図である。一例として、観察者がハーフミラー12に映った自分の顔の鏡像30の左眼31を見ているとする。観察者の左眼の視線23と右眼の視線24は左眼の鏡像31に合わせるため、輻輳角はθ2となり、図8に示した輻輳角θ1とは異なる角度になる。観察者の左眼21から見た文字Aは、左眼の鏡像31の右側に映る一方、観察者の右眼22から見た文字Aは、左眼の鏡像31の左側に映る。すなわち、観察者がハーフミラー12に映った自分の顔の鏡像30を見ているとき、ディスプレイ11に表示された映像は2重に見える。
このように、特許文献1に開示された技術によれば、観察者は、ハーフミラー12に映った自分の顔の鏡像30とディスプレイ11に表示された映像とに同時に眼を合わせることができない。特にディスプレイ11に表示された映像が文字である場合、文字が2重に見えると読み取ることは困難である。したがって、観察者は、ディスプレイ11に表示された映像と、鏡に映った自分の顔の鏡像30とを見るときに、その都度輻輳角を調節しながら見なければならないという問題がある。
また、特許文献2に開示された環境的情報表示装置は、イメージセンサを用いて、装置とユーザとの位置関係を推定し、ディスプレイに表示する提示情報を変更することにより、ユーザの姿に重畳しない領域に情報を提示している。しかし、情報の提示位置は、鏡の面に平行な方向、すなわち観察者の左右または上下方向であるから、鏡の面に垂直な方向、すなわち観察者の前後方向における情報提示位置のずれによって輻輳角をその都度調節しながら見なければならないという問題を解決することができない。
また、特許文献3に開示されたミラーユニットは、単に三次元画像を生成するものである。観察者は、ミラーユニットの前面に表示された三次元画像に輻輳角を合わせることができるが、上述した問題、すなわち、ディスプレイに表示された映像と、鏡に映った自分の顔の鏡像に輻輳角をその都度調節しながら見なければならないという問題を解決することができない。
また、特許文献4に開示された技術も、ハーフミラーの面における画像の表示位置を調整するものであり、ハーフミラーの面に垂直な方向における情報提示位置のずれによって輻輳角をその都度調節しながら見なければならないという上述の問題を解決することができない。
また、特許文献5は、視差画像の視差量が融合限界を超えないようにするための技術を開示したに過ぎず、上述した問題の解決について何ら示唆も課題認識が無い。
なお、以上において、観察者がディスプレイに表示された映像と自分の顔の鏡像とに同時に眼を合わせることができない場合を例に説明したが、観察者の顔の代わりに、例えば観察者の手にとった商品などの場合においても同様である。この場合、観察者の手にとった商品の詳細情報をディスプレイに表示させれば、観察者が商品とその詳細情報を同時に見ることができるが、従来技術では、観察者が、ディスプレイに表示された詳細情報と、手に取った商品とに輻輳角をその都度調節しながら見なければならないという問題は同様に存在する。
本発明は、上記事情に鑑みてなされたものであり、ディスプレイに表示された情報と、鏡像とに同時に眼を合わせることが可能な表示技術を提供する。
本発明の1つの態様は、表示システムである。該表示システムは、立体表示装置と、ハーフミラーと、制御部とを備える。
前記立体表示装置は、視差画像を表示するものであり、前記ハーフミラーは、前記立体表示装置の前に設けられている。
前記制御部は、前記立体表示装置に対して、前記視差画像の、奥行き方向における表示位置である奥行き表示位置を制御するものであり、具体的には、前記奥行き表示位置が、前記ハーフミラーより奥になるように制御を行う。
なお、上記態様の表示システムを表示装置や表示方法に置換えて表現したもの、上記態様の表示システムにおける制御部、該制御部の処理を制御方法に置換えて表現したもの、該制御方法をコンピュータに実行せしめるプログラムなども、本発明の態様としては、有効である。
本発明にかかる技術によれば、ディスプレイに表示された情報と、鏡像とに同時に眼を合わせることが可能であり、見やすさを向上させることができる。
以下、図面を参照して本発明の実施の形態について説明する。説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。なお、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。
また、様々な処理を行う機能ブロックとして図面に記載される各要素は、ハードウェア的には、CPU、メモリ、その他の回路で構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。なお、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。
また、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD-ROM(Read Only Memory)CD-R、CD-R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
<第1の実施の形態>
図1は、本発明の第1の実施の形態にかかる表示システム100を示す。表示システム100は、表示装置110、制御部120を備える。
図1は、本発明の第1の実施の形態にかかる表示システム100を示す。表示システム100は、表示装置110、制御部120を備える。
表示装置110は、視差画像表示部112とハーフミラー114を備える。ハーフミラー114は、視差画像表示部112の前に配置されている。なお、本明細書において、観察者に近いほうを「前」としている。
視差画像表示部112は、いわゆる立体ディスプレイや三次元ディスプレイと呼ばれる立体表示装置であり、視差画像を表示する。なお、「視差画像」とは、両眼視差を有する画像であり、少なくとも一対の左眼用画像と右眼用画像により構成される。視差画像表示部112には、この種のディスプレイと同様に、右眼には右眼用画像だけが、左眼には左眼用画像だけが見えるように、例えばパララックスバリアが形成されている。
ハーフミラー114は、光を透過する特性と反射する特性を有している。視差画像表示部112に何も表示されていない、あるいは黒い画像が表示されているときは、ハーフミラー114は単なる鏡として機能する。視差画像表示部112に画像が表示されているときには、表示された画像の光がハーフミラー114を透過するため、観察者は画像を観察することができる。そのため、観察者は、ハーフミラー114を介して、ハーフミラー114に映った自分の姿と、視差画像表示部112に表示された画像を同時に観察することができる。
制御部120は、観察者の鏡像からハーフミラー114までの距離と、視差画像の奥行き表示位置とが同一になるように、視差画像の奥行き表示位置を調整する。この調整は、例えば、視差画像の視差量を変更することにより行われる。
なお、「奥行き表示位置」とは、観察者が視差画像表示部112に表示された視差画像を観察することによって、観察者が鏡像空間内において画像を知覚する位置のことである。また、「鏡像空間」とは、ハーフミラー114に映った物体が存在するように見える空間であり、観察者からは、ハーフミラー114を境に、観察者と反対側に存在するように見える空間のことである。
図2を参照して、表示システム100の一動作例の原理を説明する。なお、視差画像表示部112に表示される視差画像は、文字Aであるとし、所定の視差量を有する一対の左眼用画像と右眼用画像により構成される。また、この例は、観察対象が観察者自身の顔である場合の例である。
図2は、観察者がハーフミラー114から距離L離れた位置においてハーフミラー114に映った自分の顔を見ている場合の様子を模式的に示す図である。このとき、観察者の顔130の鏡像140は、ハーフミラー114を挟んで、観察者とは反対側の、ハーフミラー114から距離L離れた位置に見える。すなわち、観察者は、自分から距離2L離れた位置にある鏡像140を見ている。
ここで、視差画像に含まれる一対の左眼用画像151と右眼用画像152の視差量が図示目標視差量153になるように表示すると、観察者が視差画像表示部112に表示された文字Aを左眼の鏡像141の位置に見えるようにすることができる。
目標視差量153をTD、観察者の左眼131と右眼132との両眼間隔135をBDとすると、目標視差量153は、ハーフミラー114から観察者の鏡像140までの距離Lと、観察者から鏡像140までの距離2Lを用いて、幾何学的位置関係から下記の式(1)に従って算出できる。
TD=BD×L/(2L)=BD/2 (1)
TD=BD×L/(2L)=BD/2 (1)
例えば、両眼間隔135が65mmであり、ハーフミラー114から観察者の鏡像140までの距離Lが1mである場合において、目標視差量153は32.5mmとなる。
すなわち、観察者からハーフミラーまでの距離Lに関わらず、観察者の両眼間隔135の1/2になるように左眼用画像と右眼用画像の視差量を調整することにより、観察者が視差画像表示部112に表示された文字Aを左眼の鏡像141の位置に見ることができる。なお、観察者の両眼間隔135は、例えば人間の平均的な両眼間隔を用いることができる。
同様に、視差画像表示部112の画面内における文字Aの上下左右方向の位置についても、同様に幾何学的位置関係から求めることができる。
目標視差量153を有するように視差画像を表示すると、観察者が左眼の鏡像141を見るときの左眼の視線と、視差画像表示部112に表示された文字Aを見るときの左眼の視線は、同一の視線(図中視線133)である。また、観察者が左眼の鏡像141を見るときの右眼の視線と、視差画像表示部112に表示された文字Aを見るときの右眼の視線も、同一の視線(図中視線134)である。したがって、視差画像表示部112に表示された文字Aが二重に見えることなく、観察者は、左眼の鏡像141と文字Aに、同時に眼を合わせることができる。
同様の原理から、視差画像表示部112に表示された文字Aを右眼の鏡像142の位置に見えるようにするための視差量も、目標視差量153である。
つまり、制御部120は、視差画像表示部112に表示される視差画像の視差量が目標視差量153になるように調整することにより、観察者の鏡像140の奥行き方向における位置と、視差画像表示部112に表示された画像の奥行き表示位置とを一致させることができる。そのため、観察者は、観察者の鏡像140と、視差画像表示部112に表示された画像とに同時に眼を合わせることができ、見やすい表示システムが実現される。
図3を参照して、表示システム100の別の動作例の原理を説明する。該図は、観察者がハーフミラー114から距離L離れた位置において、手に持った商品160をハーフミラー114に映して見ている場合の様子を模式的に示す図である。この例では、観察対象が観察者の手に持った商品160である。商品160からハーフミラー114までの距離は、距離Gであるとする。このとき、商品160の鏡像170は、ハーフミラー114から商品160とは反対側の距離G離れた位置に見える。すなわち、観察者は、観察者から距離「L+G」の位置に商品160の鏡像170を見ている。
ここで、視差画像に含まれる一対の左眼用画像151と右眼用画像152の視差量が図示目標視差量154になるように表示すると、観察者が視差画像表示部112に表示された文字Aを商品160の鏡像170の位置に見えるようにすることができる。
目標視差量154をTD、観察者の左眼131と右眼132との両眼間隔135をBDとすると、目標視差量154は、ハーフミラー114から商品160の鏡像170までの距離Gと、観察者から商品160の鏡像170までの距離「L+G」を用いて、幾何学的位置関係から下記の式(2)に従って算出できる。
TD=BD×G/(L+G) (2)
TD=BD×G/(L+G) (2)
例えば、両眼間隔135、ハーフミラー114から観察者までの距離L、ハーフミラー114から商品160までの距離Gが、夫々65mm、1m、0.7mである場合に、目標視差量154は26.8mmとなる。
すなわち、ハーフミラー114と観察者間の距離L、及びハーフミラー114と商品160間の距離Gに基づいて、目標視差量154になるように左眼用画像と右眼用画像の視差量を調整することにより、観察者が視差画像表示部112に表示された文字Aを商品160の鏡像170の位置に見ることができる。
同様に、視差画像表示部112の画面内における文字Aの上下左右方向の位置についても、同様に幾何学的位置関係から求めることができる。
つまり、この例において、制御部120は、ハーフミラー114から観察者までの距離Lと、ハーフミラー114から商品160までの距離Gに応じて、視差画像表示部112に表示される視差画像の視差量が目標視差量154になるように調整することにより、商品160の鏡像170からハーフミラー114までの距離と、視差画像表示部112に表示された画像の奥行き表示位置とを一致させることができる。そのため、観察者は、商品160の鏡像170と、視差画像表示部112に表示された画像とに同時に眼を合わせることができ、見やすい表示システムが実現される。
なお、ハーフミラー114から観察者までの距離Lと、ハーフミラー114から商品160までの距離Gは、例えば観察者の立ち位置と、商品160の位置を定め、制御部120に対して予め設定するようにしてもよく、観察者や表示システム100の管理者(例えば店員)によりその都度設定するようにしてもよい。
上記において、画像の位置を、物体(観察者や、観察者の持った商品など)の鏡像の位置に一致させる場合を例にして説明した。画像と、物体の鏡像とを完全に重ねて表示する場合に限らず、物体の鏡像の上下左右方向にずらせた位置に画像を表示させてもよい。例えば、観察者の鏡像の周囲に、観察者の興味ある情報などを表示してもよい。
また、上記において、画像の奥行き表示位置からハーフミラーまでの距離と、鏡像からハーフミラーまでの距離とを一致させる場合を例にしたが、画像の奥行き表示位置が、ハーフミラーより奥の、物体の鏡像までの任意の位置であってもよい。こうした場合の意義について、図4を参照して説明する。
図4は、観察者から観察対象までの距離と、観察者の両眼の輻輳角との関係を示すグラフである。図示のように、観察者から観察対象までの距離が大きいほど、輻輳角は小さくなると共に、変化の割合も小さくなる。
輻輳角は、観察対象が観察者から離れるに従い単調に減少することから、従来技術のようにハーフミラーの位置に画像を表示させる場合に比べて、ハーフミラーよりも奥に画像を表示させることにより、物体の鏡像と画像を見るときの輻輳角の変化は小さくなり、見やすさの向上という効果が得られる。
例えば、両眼間隔が65mmであり、ハーフミラーから観察者までの距離が1mであるとすると、観察者がハーフミラーの位置に表示された画像を見るときの輻輳角は3.72度である。対して、観察者がハーフミラー映った自分の顔を見るときの輻輳角は1.86度である。つまり、観察者がハーフミラーに映った自分の顔を見るときと、ハーフミラーの位置に表示された画像を見るときの輻輳角の差異が1.86度である。一方、ハーフミラーから観察者の顔の鏡像方向に0.8m離れた位置、すなわち観察者の顔の鏡像からハーフミラー側に0.2m離れた位置に表示された画像を見るときの輻輳角は2.07度である。すなわち、観察者がハーフミラーに映った自分の顔を見るときと、ハーフミラーの奥に表示された画像を見るときの輻輳角の差異が0.21度しかない。このように、画像の奥行き表示位置と鏡像の位置とを一致させなくても、見やすさの向上効果が得られる。
ハーフミラーから距離が遠い物体例えば背景に関する情報の表示は、背景の前後の位置における輻輳角の変化はさらに小さいので、必ずしも、表示情報を背景の鏡像の位置に一致させなくてもよい。場合によっては、観察者の周囲に情報を表示させてもよい。
但し、表示情報を不透明な物体の鏡像よりも奥に重ねて表示すると、物体の内部に情報が表示されているように見えたり、物体を透過して情報が表示されているように見えたりするため不自然な表示となる。したがって、不透明な物体に対しては、表示情報などの画像の奥行き表示位置は、少なくともハーフミラーよりも奥であり、かつ物体の鏡像までの位置であることが望ましい。
<第2の実施の形態>
図5は、本発明の第2の実施の形態にかかる表示システム200を示す。表示システム200は、表示装置110、検出部210、制御部220を備える。
図5は、本発明の第2の実施の形態にかかる表示システム200を示す。表示システム200は、表示装置110、検出部210、制御部220を備える。
表示装置110は、図1に示す表示システム100における表示装置110と同様のものである。
検出部210は、観察対象(ハーフミラー114に映る物体)例えば観察者からハーフミラー114までの距離を検出して制御部220に供するものである。本実施の形態において、例として、検出部210は、距離センサー212と検出実行部214により構成される。
検出実行部214は、距離センサー212を用いて、近赤外光のランダムなパターンを観察者に投影し、観察者に映ったパターンをカメラで撮影する。そして、距離センサー212により撮影した画像に基づいて、三角測量の原理を利用して観察者までの距離を算出する。
制御部220は、検出部210から供された距離を用いて視差画像表示部112に表示させる視差画像の視差量を調整することにより、奥行き表示位置を制御する。その動作原理や具体的な手法などは、第1の実施の形態にかかる表示システム100の制御部120と同様であるため、ここで詳細な説明を省略する。
なお、上記において、検出部210が観察者からハーフミラー114までの距離を測定し、制御部220が検出部210により測定された距離に応じて視差画像の奥行き表示位置を制御する例を説明した。観察者以外の物体例えば観察者の手に持った商品が観察対象である場合には、検出部210が観察者からハーフミラー114までの距離に加え、観察者の手に持った商品からハーフミラー114までの距離も測定し、制御部220は、この2つの距離に基づいて視差画像の奥行き表示位置を制御する。これについても、図3を参照して説明したときと同様である。
すなわち、本実施の形態にかかる表示システム200によれば、表示システム100と同様の効果を得ることができると共に、検出部210により観察対象までの距離を測定するため、観察者や観察者の手に持った商品の位置を固定する必要も、ユーザによる距離の設定をする必要もなく、便利である。
なお、観察対象が動いた場合に、その動きに追従して視差画像の奥行き表示位置を変更することが望ましいが、観察対象の動きに追従せずに視差画像の奥行き表示位置を定位するように表示しても、従来より見やすい視覚効果を得ることができる。
<第3の実施の形態>
図6は、本発明の第3の実施にかかる表示システム300を示す。図示のように、表示システム300は、表示装置110、検出部310、制御部320を備える。表示装置110は、図1に示す表示システム100における表示装置110と同様のものである。
図6は、本発明の第3の実施にかかる表示システム300を示す。図示のように、表示システム300は、表示装置110、検出部310、制御部320を備える。表示装置110は、図1に示す表示システム100における表示装置110と同様のものである。
検出部310は、観察対象からハーフミラー114までの距離に加え、さらに、観察者の視点位置(両眼の夫々の位置)を検出して制御部320に供するものであり、距離センサー212、イメージセンサー312、検出実行部314を備える。
観察対象からハーフミラー114までの距離の測定に関しては、表示システム200における検出部210と同様であり、説明を省略する。
観察者の視点位置の検出に関しては、イメージセンサー312が用いられる。イメージセンサー312は、例えば、CCDやCMOSなどのイメージセンサーである。
イメージセンサー312には、例えば近赤外照明装置が内蔵されている。近赤外照明で観察者を照明すると、観察者の眼の瞳孔から強い再帰反射光が得られるので、これをイメージセンサー312により撮影することによって、撮影画像から観察者の視点位置を検出できる。検出実行部314は、イメージセンサー312が得た撮影画像から観察者の視点位置を検出して、それを示す情報を制御部320に出力する。
制御部320は、検出部310が得られた視点位置から観察者の両眼間隔を算出すると共に、算出した両眼間隔と、検出部310から供された距離とを用いて、視差画像表示部112に表示させる視差画像の視差量を調整することにより奥行き表示位置を制御する。制御部320は、観察者の両眼間隔として、実測値を用いる点を除き、表示システム200における制御部220と同様である。
人間の両眼間隔は、個人差がある。第1と第2の実施の形態では、この両眼間隔として平均値を用いた。本第3の実施の形態にかかる表示システム300は、両眼間隔として実測値を用いるため、表示システム200と同様の効果を得ることができると共に、奥行き表示位置の制御精度を向上させることができる。
制御部320による視点位置の活用方法は、上述した両眼間隔の算出に限らず、様々考えられる。例えば、視点位置に基づいて、視差画像に含まれる左眼用画像が右眼で観察され、右眼用画像が左目で観察されるような位置に観察者が移動したことを検出した場合、左眼用画像と右眼用画像を入れ替えることにより、観察者が良好に視差画像を観察することができる。
また、イメージセンサー312により近赤外光を照射し、その再帰反射光の撮影画像から視点位置を検出する代わりに、イメージセンサー312により観察者を撮像して得た画像に対して、瞳検出などの画像処理技術を適用することにより視点位置を検出するようにしてもよい。
さらに、この場合、イメージセンサー312により得た画像に対して顔認識を行い、認識した顔から種々の情報を推定し、推定結果に応じた情報を表示するようにしてもよい。これらの情報は、例えば、顧客名などの観察者を特定する情報や、観察者の年齢や性別などの属性が考えられる。また、推定結果に応じた情報は、例えば、観察者の個人のスケジュールや、電子メールや、当該観察者の関心のあるインターネット上の情報などが考えられる。
また、例えば、検出部310は、イメージセンサー312により得た画像から観察者の手に持った商品を認識し、制御部320は、検出部310の認識結果が示す商品に関連する情報を視差画像表示部112に表示させるようにすることもできる。検出部310による商品の認識は、商品の特徴点の検出や、商品に付属されたバーコードや二次元コードなどの読取りにより行われる。商品に関連した情報としては、価格、色やサイズが異なる商品、性能が異なる商品などの情報である。あるいは、食品の賞味期限、産地、栄養成分、アレルギー成分の情報など、さまざまな情報が考えられる。
観察対象に対する検出部310の上述した種々の認識処理は、検出部310内の記憶装置に蓄積された情報に基づいて行われるようにしてもよく、例えば、検出部310は、通信部を有し、ネットワークを介して異なる場所にあるサーバーのデータベースにアクセスするなどの方法で物体の属性の検出や、個人認証を行ってもよい。
制御部320は、内部の記憶装置に記憶された種々の表示情報を表示するようにしてもよいし、検出部310からの認識結果などに応じて、記憶された表示情報を加工してから表示させるようにしてもよい。さらに、制御部320は、通信部を有し、ネットワークを介して表示情報を入手するようにしてもよい。例えば、テレビ電話やテレビ会議のような使い方で、観察者の横に通話または通信の相手や、話題になっている情報などを表示するように制御を行ってもよい。
なお、イメージセンサー312の個数も1つに限らず、例えば、観察者の視点位置の測定、観察対象の認識など、用途別に複数個備えるようにしてもよい。勿論、同様の画像に対して視点位置の検出と観察対象の認識が可能な場合には、1つのイメージセンサーでこれらの機能を共に実現するようにしてもよい。
さらに、商品の認識に関しては、画像認識技術ではなく、他の手法を用いてもよい。例えば、無線通信機能を有するセンサーを検出部310にさらに設け、該センサーにより商品に取り付けられたRFタグと無線通信を行うことにより商品を認識するようにしてもよい。
<第4の実施の形態>
図7は、本発明の第4の実施の形態にかかる表示システム400を示す。図示のように、表示システム400は、表示装置110、検出部410、制御部420を備える。表示装置110は、図1に示す表示システム100における表示装置110と同様のものである。
図7は、本発明の第4の実施の形態にかかる表示システム400を示す。図示のように、表示システム400は、表示装置110、検出部410、制御部420を備える。表示装置110は、図1に示す表示システム100における表示装置110と同様のものである。
検出部410は、距離センサー212、イメージセンサー312、センサー412、検出実行部414を備える。距離センサー212とイメージセンサー312は、表示システム300における距離センサー212とイメージセンサー312と夫々同様のものであり、検出実行部414が距離センサー212とイメージセンサー312を用いて行う処理も、表示システム300における検出実行部314が距離センサー212とイメージセンサー312を用いて行う処理と同様である。
表示システム400において、センサー412は、例えば、表示システム400の設置場所の環境情報や観察者の健康情報を測定するものである。環境情報は、例えば気温や湿度、時刻などであり、健康情報は、例えば観察者の体重や、血圧、体温などの健康状態を示す情報である。なお、図7において、センサー412について1つのみ示しているが、環境情報と健康情報用のセンサーを夫々設けたり、環境情報の種類毎、健康情報の種類毎に相対応するセンサーを設けたりするようにしてもよい。
検出実行部414は、センサー412により測定した情報を制御部420に出力する。
制御部420は、表示システム300における制御部320と同様の処理に加え、センサー412により得られた情報に基づいた制御も行う。
制御部420は、表示システム300における制御部320と同様の処理に加え、センサー412により得られた情報に基づいた制御も行う。
一例として、センサー412が、明るさを図る照度計であるとする。
この場合、制御部420は、センサー412が測定した明るさに応じて、視差画像表示部112に表示される視差画像の明るさを調整することが考えられる。例えば、センサー412が測定した明るさに合致するように、視差画像表示部112に表示される視差画像の明るさを調整する。こうすることにより、ハーフミラー114に映った観察者の鏡像と、視差画像の明るさとを一致させ、より良い観察効果を得ることができる。
この場合、制御部420は、センサー412が測定した明るさに応じて、視差画像表示部112に表示される視差画像の明るさを調整することが考えられる。例えば、センサー412が測定した明るさに合致するように、視差画像表示部112に表示される視差画像の明るさを調整する。こうすることにより、ハーフミラー114に映った観察者の鏡像と、視差画像の明るさとを一致させ、より良い観察効果を得ることができる。
また、例えば、センサー412が観察者の健康情報を測定するものである場合には、制御部420は、観察者の健康情報に応じて視差画像表示部112に表示させる情報を選択することも考えられる。例えば、血圧が高い観察者の場合には、血圧が高いことを示す情報を表示したり、血圧を下げる効果のある食品の情報を表示したりするなどができる。
また、センサー412は、図示しない運動器具に取り付けられた加速度センサーであってもよい。この場合、上記加速度センサーを利用して、観察者の運動能力や身体機能を検出することができる。そして、制御部420は、加速度センサーが測定したデータに基づいて、運度器具の設定の推奨値や、推奨プログラムを視差画像表示部112に表示するように制御することが考えられる。
さらに、制御部420は、センサー412が該観察者に対して測定した情報を蓄積しておき、現在の測定値と過去の測定値とを比較して、推移が分かるようにグラフ化したものを表示してもよい。
以上、実施の形態をもとに本発明を説明した。実施の形態は例示であり、本発明の主旨から逸脱しない限り、上述した各実施の形態に対してさまざまな変更、増減、組合せを行ってもよい。これらの変更、増減、組合せが行われた変形例も本発明の範囲にあることは、当業者に理解されるところである。
例えば、上述した各実施の形態において、一例として、視差画像表示部112がパララックスバリア方式の立体ディスプレイであると説明したが、視差画像表示部112は、パララックスバリア方式の立体ディスプレイに限られるものではない。例えば、レンチキュラーレンズ方式など、他の立体ディスプレイや三次元ディスプレイであってもよい。
また、視差画像表示部112の表示面は、液晶ディスプレイ、プラズマディスプレイ、有機ELディスプレイなどのようなフラットパネルディスプレイを用いることが好ましいが、投射型のディスプレイを用いてもよい。さらに、パララックスバリアを液晶素子などで形成し、視差画像を表示する状態と、通常の2次元表示の状態とを切り替えられるように構成してもよい。
また、視差画像も、一対の右眼用画像と左眼用画像に限らず、複数の視差画像の組を用いてもよい。表示する情報は、例えばフラットパネルディスプレイの表示面と同様に平面状で表示してもよいし、情報を重畳させる物体の凹凸形状に合わせた立体形状で表示しても構わない。さらに、表示する情報は、静止画に限らず、動画でも良く、三次元表示や点滅表示などの視覚効果を高めるような手法を用いても良い。
また、ハーフミラーの光を透過する透過率と光を反射する反射率は、表示装置の輝度や観察する環境の明るさに応じて設定されたものを用いるのが好ましい。あるいは、エレクトロクロミックミラーのような調光ミラーを用いて、必要に応じて透過率と反射率を制御してもよい。ディスプレイ部に液晶ディスプレイのような偏光光を利用して表示するものを用いる場合、反射型偏光板をハーフミラーとして用いてもよい。
また、ハーフミラーと視差画像表示部とは、密着して配置しても良く、間隙を設けて設置してもよい。あるいは、両者の間に透明材料であるガラスやプラスチックを配置しても構わない。
また、距離センサーについて、パターン投影方式のセンサーを例に説明したが、投射光が物体まで往復してくる時間から距離を計測するTime Of Flight法を用いるものや、レーザ光を走査するもの、あるいは電波を利用するものなどを用いてもよい。
また、距離センサーの位置は、表示装置の上部に限るものではない。表示装置の下部、左右側、あるいは表示装置と離れた位置に配置してもよい。
また、制御部が、視差画像表示部に表示させる画像を選択するなどの制御を行う場合には、制御部に、これらの画像を蓄積するメモリーや、画像を加工する演算装置を設けてもよい。また、制御部に通信部を設け、ネットワークを介して異なる場所にあるサーバーから画像など必要な情報を入手してもよい。
また、制御部に入力装置が含まれていてもよい。キーボードやマウス、リモコン、さらにはタッチスクリーンやジェスチャーインターフェースを用いて、メニュー画面の操作などを実施できるように構成してもよい。
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、2012年12月28日に出願された日本出願特願2012-287336を基礎とする優先権を主張し、その開示の全てをここに取り込む。
<付記1>
視差画像を表示する立体表示装置と、
前記立体表示装置の前に設けられたハーフミラーと、
前記立体表示装置に対して、前記視差画像の、奥行き方向における表示位置である奥行き表示位置を制御する制御部とを備え、
前記制御部は、前記奥行き表示位置が、前記ハーフミラーより奥になるように制御を行うことを特徴とする表示システム。
<付記2>
前記制御部は、前記視差画像の視差量を調整することにより前記奥行き表示位置の制御を行うことを特徴とする付記1に記載の表示システム。
<付記3>
前記制御部は、前記奥行き表示位置が、前記ハーフミラーの前に位置する観察対象の鏡像より奥にならないように制御を行うことを特徴とする付記1または2に記載の表示システム。
<付記4>
前記制御部は、前記奥行き表示位置が前記観察対象の鏡像の位置になるように制御を行うことを特徴とする付記3に記載の表示システム。
<付記5>
検出部をさらに備え、
前記観察対象は、観察者の顔であり、
前記検出部は、前記観察者と前記ハーフミラー間の距離を検出し、
前記制御部は、前記検出部により検出した前記距離に基づいて前記奥行き表示位置を制御することを特徴とする付記3または4に記載の表示システム。
<付記6>
検出部をさらに備え、
前記観察対象は、観察者の顔以外の物体であり、
前記検出部は、前記観察者と前記ハーフミラー間の距離、及び前記物体と前記ハーフミラー間の距離を検出し、
前記制御部は、前記検出部により検出した前記距離に基づいて前記奥行き表示位置を制御することを特徴とする付記3または4に記載の表示システム。
<付記7>
前記検出部は、さらに、前記観察者の視点位置を検出し、
前記制御部は、前記検出部により検出した前記距離と前記視点位置に基づいて、前記奥行き表示位置を制御することを特徴とする付記5または6に記載の表示システム。
<付記8>
前記制御部は、前記検出部により検出した前記視点位置を用いて両眼間隔を算出し、前記距離と前記両眼間隔に基づいて、前記奥行き表示位置を制御することを特徴とする付記7に記載の表示システム。
<付記9>
前記制御部は、前記検出部により検出した前記視点位置を用いて、前記立体表示装置における前記視差画像に含まれる左眼用画像と右眼用画像の表示位置を制御することを特徴とする付記7に記載の表示システム。
<付記10>
前記検出部は、さらに、前記ハーフミラーの前に位置する観察対象を認識し、
前記制御部は、前記検出部による認識結果に応じて、前記立体表示装置に表示させる視差画像を決定することを特徴とする付記5から9のいずれか1つに記載の表示システム。
<付記11>
前記認識結果は、前記観察対象を特定する情報、及び/または、前記観察者の年齢と性別のうちの少なくとも1つを含む属性情報であることを特徴とする付記10に記載の表示システム。
<付記12>
前記検出部は、さらに、前記表示システムの設置場所の環境情報を検出し、
前記制御部は、前記検出部による検出結果に応じて、前記立体表示装置に表示させる視差画像を決定することを特徴とする付記5から11のいずれか1つに記載の表示システム。
<付記13>
前記検出部は、さらに、前記観察対象の状態を検出し、
前記制御部は、前記検出部による検出結果に応じて、前記立体表示装置に表示させる視差画像を決定することを特徴とする付記5から12のいずれか1つに記載の表示システム。
<付記14>
前記制御部または前記検出部は、さらに、通信部を有し、
前記通信部は、ネットワークを介して、前記検出部または前記制御部の処理に用いられる情報を取得することを特徴とする付記5から13のいずれか1つに記載の表示システム。
<付記15>
前記立体表示装置は、前記視差画像を表示する状態と、通常の2次元表示の状態とを切り替えられることを特徴とする付記1から14のいずれか1つに記載の表示システム。
<付記16>
前記ハーフミラーは、調光ミラーであることを特徴とする付記1から15のいずれか1つに記載の表示システム。
<付記17>
前記制御部は、さらに入力装置を備えていることを特徴とする付記1から16のいずれか1つに記載の表示システム。
<付記18>
視差画像を表示する立体表示装置と、該立体表示装置の表示面の前に設けられたハーフミラーとを有する表示システムにおける前記立体表示装置に対して、
前記視差画像の、奥行き方向における表示位置である奥行き表示位置が、前記ハーフミラーより奥になるように制御を行うことを特徴とする表示制御方法。
<付記19>
前記視差画像の視差量を調整することにより前記奥行き表示位置の制御を行うことを特徴とする付記18に記載の表示制御方法。
<付記20>
前記奥行き表示位置が、前記ハーフミラーの前に位置する観察対象の鏡像より奥にならないように前記制御を行うことを特徴とする付記18または19に記載の表示制御方法。
<付記21>
前記奥行き表示位置が、前記ハーフミラーの前に位置する観察対象の鏡像の位置になるように前記制御を行うことを特徴とする付記20に記載の表示制御方法。
<付記22>
前記観察対象は、観察者の顔であり、
前記観察者と前記ハーフミラー間の距離の検出をさらに行い、
検出した前記距離に基づいて前記奥行き表示位置を制御することを特徴とする付記20または21に記載の表示制御方法。
<付記23>
前記観察対象は、観察者の顔以外の物体であり、
前記観察者と前記ハーフミラー間の距離、及び前記物体と前記ハーフミラー間の距離の検出をさらに行い、
検出した前記距離に基づいて前記奥行き表示位置を制御することを特徴とする付記20または21に記載の表示制御方法。
<付記24>
前記観察者の視点位置の検出をさらに行い、
検出した前記距離と前記視点位置に基づいて、前記奥行き表示位置を制御することを特徴とする付記22または23に記載の表示制御方法。
<付記25>
前記ハーフミラーの前に位置する観察対象の認識をさらに行い、
前記認識の結果に応じて、前記立体表示装置に表示させる視差画像を決定することを特徴とする付記22から24のいずれか1つに記載の表示制御方法。
視差画像を表示する立体表示装置と、
前記立体表示装置の前に設けられたハーフミラーと、
前記立体表示装置に対して、前記視差画像の、奥行き方向における表示位置である奥行き表示位置を制御する制御部とを備え、
前記制御部は、前記奥行き表示位置が、前記ハーフミラーより奥になるように制御を行うことを特徴とする表示システム。
<付記2>
前記制御部は、前記視差画像の視差量を調整することにより前記奥行き表示位置の制御を行うことを特徴とする付記1に記載の表示システム。
<付記3>
前記制御部は、前記奥行き表示位置が、前記ハーフミラーの前に位置する観察対象の鏡像より奥にならないように制御を行うことを特徴とする付記1または2に記載の表示システム。
<付記4>
前記制御部は、前記奥行き表示位置が前記観察対象の鏡像の位置になるように制御を行うことを特徴とする付記3に記載の表示システム。
<付記5>
検出部をさらに備え、
前記観察対象は、観察者の顔であり、
前記検出部は、前記観察者と前記ハーフミラー間の距離を検出し、
前記制御部は、前記検出部により検出した前記距離に基づいて前記奥行き表示位置を制御することを特徴とする付記3または4に記載の表示システム。
<付記6>
検出部をさらに備え、
前記観察対象は、観察者の顔以外の物体であり、
前記検出部は、前記観察者と前記ハーフミラー間の距離、及び前記物体と前記ハーフミラー間の距離を検出し、
前記制御部は、前記検出部により検出した前記距離に基づいて前記奥行き表示位置を制御することを特徴とする付記3または4に記載の表示システム。
<付記7>
前記検出部は、さらに、前記観察者の視点位置を検出し、
前記制御部は、前記検出部により検出した前記距離と前記視点位置に基づいて、前記奥行き表示位置を制御することを特徴とする付記5または6に記載の表示システム。
<付記8>
前記制御部は、前記検出部により検出した前記視点位置を用いて両眼間隔を算出し、前記距離と前記両眼間隔に基づいて、前記奥行き表示位置を制御することを特徴とする付記7に記載の表示システム。
<付記9>
前記制御部は、前記検出部により検出した前記視点位置を用いて、前記立体表示装置における前記視差画像に含まれる左眼用画像と右眼用画像の表示位置を制御することを特徴とする付記7に記載の表示システム。
<付記10>
前記検出部は、さらに、前記ハーフミラーの前に位置する観察対象を認識し、
前記制御部は、前記検出部による認識結果に応じて、前記立体表示装置に表示させる視差画像を決定することを特徴とする付記5から9のいずれか1つに記載の表示システム。
<付記11>
前記認識結果は、前記観察対象を特定する情報、及び/または、前記観察者の年齢と性別のうちの少なくとも1つを含む属性情報であることを特徴とする付記10に記載の表示システム。
<付記12>
前記検出部は、さらに、前記表示システムの設置場所の環境情報を検出し、
前記制御部は、前記検出部による検出結果に応じて、前記立体表示装置に表示させる視差画像を決定することを特徴とする付記5から11のいずれか1つに記載の表示システム。
<付記13>
前記検出部は、さらに、前記観察対象の状態を検出し、
前記制御部は、前記検出部による検出結果に応じて、前記立体表示装置に表示させる視差画像を決定することを特徴とする付記5から12のいずれか1つに記載の表示システム。
<付記14>
前記制御部または前記検出部は、さらに、通信部を有し、
前記通信部は、ネットワークを介して、前記検出部または前記制御部の処理に用いられる情報を取得することを特徴とする付記5から13のいずれか1つに記載の表示システム。
<付記15>
前記立体表示装置は、前記視差画像を表示する状態と、通常の2次元表示の状態とを切り替えられることを特徴とする付記1から14のいずれか1つに記載の表示システム。
<付記16>
前記ハーフミラーは、調光ミラーであることを特徴とする付記1から15のいずれか1つに記載の表示システム。
<付記17>
前記制御部は、さらに入力装置を備えていることを特徴とする付記1から16のいずれか1つに記載の表示システム。
<付記18>
視差画像を表示する立体表示装置と、該立体表示装置の表示面の前に設けられたハーフミラーとを有する表示システムにおける前記立体表示装置に対して、
前記視差画像の、奥行き方向における表示位置である奥行き表示位置が、前記ハーフミラーより奥になるように制御を行うことを特徴とする表示制御方法。
<付記19>
前記視差画像の視差量を調整することにより前記奥行き表示位置の制御を行うことを特徴とする付記18に記載の表示制御方法。
<付記20>
前記奥行き表示位置が、前記ハーフミラーの前に位置する観察対象の鏡像より奥にならないように前記制御を行うことを特徴とする付記18または19に記載の表示制御方法。
<付記21>
前記奥行き表示位置が、前記ハーフミラーの前に位置する観察対象の鏡像の位置になるように前記制御を行うことを特徴とする付記20に記載の表示制御方法。
<付記22>
前記観察対象は、観察者の顔であり、
前記観察者と前記ハーフミラー間の距離の検出をさらに行い、
検出した前記距離に基づいて前記奥行き表示位置を制御することを特徴とする付記20または21に記載の表示制御方法。
<付記23>
前記観察対象は、観察者の顔以外の物体であり、
前記観察者と前記ハーフミラー間の距離、及び前記物体と前記ハーフミラー間の距離の検出をさらに行い、
検出した前記距離に基づいて前記奥行き表示位置を制御することを特徴とする付記20または21に記載の表示制御方法。
<付記24>
前記観察者の視点位置の検出をさらに行い、
検出した前記距離と前記視点位置に基づいて、前記奥行き表示位置を制御することを特徴とする付記22または23に記載の表示制御方法。
<付記25>
前記ハーフミラーの前に位置する観察対象の認識をさらに行い、
前記認識の結果に応じて、前記立体表示装置に表示させる視差画像を決定することを特徴とする付記22から24のいずれか1つに記載の表示制御方法。
本発明にかかる技術は、例えば、実世界の風景や物体に情報を重ねて表示する装置などに適用可能である。
10 表示システム
11 ディスプレイ
12 ハーフミラー
20 観察者の顔
21 左眼
22 右眼
23 左眼の視線
24 右眼の視線
30 観察者の顔の鏡像
31 左眼の鏡像
100 表示システム
110 表示装置
112 視差画像表示部
114 ハーフミラー
120 制御部
130 観察者の顔
131 観察者の左眼
132 観察者の右眼
133 左眼の視線
134 右眼の視線
135 両眼間隔
140 観察者の鏡像
141 左眼の鏡像
142 右眼の鏡像
151 左眼用画像
152 右眼用画像
153 目標視差量
154 目標視差量
160 商品
170 鏡像
200 表示システム
210 検出部
212 距離センサー
214 検出実行部
220 制御部
300 表示システム
310 検出部
312 イメージセンサー
314 検出実行部
320 制御部
400 表示システム
410 検出部
412 センサー
414 検出実行部
420 制御部
L 観察者からハーフミラーまでの距離
G 観察者が持った商品からハーフミラーまでの距離
θ1、θ2 輻輳角
11 ディスプレイ
12 ハーフミラー
20 観察者の顔
21 左眼
22 右眼
23 左眼の視線
24 右眼の視線
30 観察者の顔の鏡像
31 左眼の鏡像
100 表示システム
110 表示装置
112 視差画像表示部
114 ハーフミラー
120 制御部
130 観察者の顔
131 観察者の左眼
132 観察者の右眼
133 左眼の視線
134 右眼の視線
135 両眼間隔
140 観察者の鏡像
141 左眼の鏡像
142 右眼の鏡像
151 左眼用画像
152 右眼用画像
153 目標視差量
154 目標視差量
160 商品
170 鏡像
200 表示システム
210 検出部
212 距離センサー
214 検出実行部
220 制御部
300 表示システム
310 検出部
312 イメージセンサー
314 検出実行部
320 制御部
400 表示システム
410 検出部
412 センサー
414 検出実行部
420 制御部
L 観察者からハーフミラーまでの距離
G 観察者が持った商品からハーフミラーまでの距離
θ1、θ2 輻輳角
Claims (10)
- 視差画像を表示する立体表示装置と、
前記立体表示装置の前に設けられたハーフミラーと、
前記立体表示装置に対して、前記視差画像の、奥行き方向における表示位置である奥行き表示位置を制御する制御手段とを備え、
前記制御手段は、前記奥行き表示位置が、前記ハーフミラーより奥になるように制御を行うことを特徴とする表示システム。 - 前記制御手段は、前記視差画像の視差量を調整することにより前記奥行き表示位置の制御を行うことを特徴とする請求項1に記載の表示システム。
- 前記制御手段は、前記奥行き表示位置が、前記ハーフミラーの前に位置する観察対象の鏡像より奥にならないように制御を行うことを特徴とする請求項1または2に記載の表示システム。
- 前記制御手段は、前記奥行き表示位置が前記観察対象の鏡像の位置になるように制御を行うことを特徴とする請求項3に記載の表示システム。
- 検出手段をさらに備え、
前記観察対象は、観察者の顔であり、
前記検出手段は、前記観察者と前記ハーフミラー間の距離を検出し、
前記制御手段は、前記検出手段により検出した前記距離に基づいて前記奥行き表示位置を制御することを特徴とする請求項3または4に記載の表示システム。 - 検出手段をさらに備え、
前記観察対象は、観察者の顔以外の物体であり、
前記検出手段は、前記観察者と前記ハーフミラー間の距離、及び前記物体と前記ハーフミラー間の距離を検出し、
前記制御手段は、前記検出手段により検出した前記距離に基づいて前記奥行き表示位置を制御することを特徴とする請求項3または4に記載の表示システム。 - 前記検出手段は、さらに、前記観察者の視点位置を検出し、
前記制御手段は、前記検出手段により検出した前記距離と前記視点位置に基づいて、前記奥行き表示位置を制御することを特徴とする請求項5または6に記載の表示システム。 - 視差画像を表示する立体表示装置と、該立体表示装置の前に設けられたハーフミラーとを有する表示システムにおける前記立体表示装置に対して、
前記視差画像の、奥行き方向における表示位置である奥行き表示位置が、前記ハーフミラーより奥になるように制御を行うことを特徴とする表示制御方法。 - 前記視差画像の視差量を調整することにより前記奥行き表示位置の制御を行うことを特徴とする請求項8に記載の表示制御方法。
- 前記奥行き表示位置が、前記ハーフミラーの前に位置する観察対象の鏡像より奥にならないように前記制御を行うことを特徴とする請求項8または9に記載の表示制御方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012287336 | 2012-12-28 | ||
JP2012-287336 | 2012-12-28 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2014103088A1 true WO2014103088A1 (ja) | 2014-07-03 |
Family
ID=51020231
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2013/003404 WO2014103088A1 (ja) | 2012-12-28 | 2013-05-29 | 表示システム及び表示制御方法 |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2014103088A1 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015186735A1 (ja) * | 2014-06-05 | 2015-12-10 | シャープ株式会社 | ミラーディスプレイシステム |
JP6275363B1 (ja) * | 2017-07-10 | 2018-02-07 | 三菱電機株式会社 | エレベータ表示システム |
CN108307186A (zh) * | 2018-02-07 | 2018-07-20 | 深圳市华星光电半导体显示技术有限公司 | 裸眼3d图像的显示控制方法、装置、存储介质及终端 |
US10607388B2 (en) | 2018-02-07 | 2020-03-31 | Shenzhen China Star Optoelectronics Semiconductor Display Technology Co., Ltd. | Display control method, display control device, storage medium and terminal of autostereoscopic three-dimensional (3D) image |
WO2023106064A1 (ja) * | 2021-12-10 | 2023-06-15 | 株式会社東海理化電機製作所 | 表示装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006154181A (ja) * | 2004-11-29 | 2006-06-15 | Pioneer Electronic Corp | 画像表示装置 |
JP2010070889A (ja) * | 2008-09-22 | 2010-04-02 | Seiren Co Ltd | 仮想試着装置 |
JP2010266510A (ja) * | 2009-05-12 | 2010-11-25 | Panasonic Electric Works Co Ltd | ミラーシステム |
JP2012518807A (ja) * | 2009-02-23 | 2012-08-16 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ミラーデバイス |
JP2013007855A (ja) * | 2011-06-23 | 2013-01-10 | Kyocera Corp | 表示装置 |
-
2013
- 2013-05-29 WO PCT/JP2013/003404 patent/WO2014103088A1/ja active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006154181A (ja) * | 2004-11-29 | 2006-06-15 | Pioneer Electronic Corp | 画像表示装置 |
JP2010070889A (ja) * | 2008-09-22 | 2010-04-02 | Seiren Co Ltd | 仮想試着装置 |
JP2012518807A (ja) * | 2009-02-23 | 2012-08-16 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ミラーデバイス |
JP2010266510A (ja) * | 2009-05-12 | 2010-11-25 | Panasonic Electric Works Co Ltd | ミラーシステム |
JP2013007855A (ja) * | 2011-06-23 | 2013-01-10 | Kyocera Corp | 表示装置 |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015186735A1 (ja) * | 2014-06-05 | 2015-12-10 | シャープ株式会社 | ミラーディスプレイシステム |
CN106461958A (zh) * | 2014-06-05 | 2017-02-22 | 夏普株式会社 | 镜面显示器*** |
US10148942B2 (en) | 2014-06-05 | 2018-12-04 | Sharp Kabushiki Kaisha | Mirror display system |
CN106461958B (zh) * | 2014-06-05 | 2019-01-01 | 夏普株式会社 | 镜面显示器*** |
JP6275363B1 (ja) * | 2017-07-10 | 2018-02-07 | 三菱電機株式会社 | エレベータ表示システム |
WO2019012571A1 (ja) * | 2017-07-10 | 2019-01-17 | 三菱電機株式会社 | エレベータ表示システム |
DE112017007628B4 (de) | 2017-07-10 | 2022-02-03 | Mitsubishi Electric Corporation | Aufzugsanzeigesystem |
US11548760B2 (en) | 2017-07-10 | 2023-01-10 | Mitsubishi Electric Corporation | Elevator display system |
CN108307186A (zh) * | 2018-02-07 | 2018-07-20 | 深圳市华星光电半导体显示技术有限公司 | 裸眼3d图像的显示控制方法、装置、存储介质及终端 |
US10607388B2 (en) | 2018-02-07 | 2020-03-31 | Shenzhen China Star Optoelectronics Semiconductor Display Technology Co., Ltd. | Display control method, display control device, storage medium and terminal of autostereoscopic three-dimensional (3D) image |
WO2023106064A1 (ja) * | 2021-12-10 | 2023-06-15 | 株式会社東海理化電機製作所 | 表示装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3330771B1 (en) | Display apparatus and method of displaying using focus and context displays | |
US20220292790A1 (en) | Head-mounted display with pass-through imaging | |
ES2718493T3 (es) | Procedimiento de captura y visualización de aspectos | |
US20240037880A1 (en) | Artificial Reality System with Varifocal Display of Artificial Reality Content | |
JP6023801B2 (ja) | シミュレーション装置 | |
US20230269358A1 (en) | Methods and systems for multiple access to a single hardware data stream | |
KR101883090B1 (ko) | 헤드 마운트 디스플레이 | |
CN113892050A (zh) | 用于显示增强现实的电子设备和方法 | |
US10884576B2 (en) | Mediated reality | |
US11170521B1 (en) | Position estimation based on eye gaze | |
US20150212330A1 (en) | Head mounted display and control method thereof | |
WO2014103088A1 (ja) | 表示システム及び表示制御方法 | |
US20140306954A1 (en) | Image display apparatus and method for displaying image | |
JPWO2016113951A1 (ja) | 頭部装着型表示装置、及び映像表示システム | |
US10602033B2 (en) | Display apparatus and method using image renderers and optical combiners | |
JP2013516882A (ja) | 立体視眼鏡を認識する装置および方法、ならびに、立体視ビデオストリームの表示を制御する方法 | |
JPWO2016098412A1 (ja) | 頭部装着型表示装置、及び映像表示システム | |
WO2017204581A1 (ko) | 혼합현실을 이용한 가상현실 시스템 및 그 구현방법 | |
CN111226187A (zh) | 通过镜子与用户交互的***和方法 | |
KR20140067575A (ko) | 삼차원 이미지 구동 방법 및 이를 수행하는 입체 영상 표시 장치 | |
US20100123716A1 (en) | Interactive 3D image Display method and Related 3D Display Apparatus | |
JP6509101B2 (ja) | 眼鏡状の光学シースルー型の両眼のディスプレイにオブジェクトを表示する画像表示装置、プログラム及び方法 | |
US20190281280A1 (en) | Parallax Display using Head-Tracking and Light-Field Display | |
CA3117612A1 (en) | Systems and/or methods for parallax correction in large area transparent touch interfaces | |
JP2012244466A (ja) | 立体画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 13868930 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 13868930 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: JP |