WO2012105703A1 - Display device, display image generating method, program, and recording medium - Google Patents

Display device, display image generating method, program, and recording medium Download PDF

Info

Publication number
WO2012105703A1
WO2012105703A1 PCT/JP2012/052551 JP2012052551W WO2012105703A1 WO 2012105703 A1 WO2012105703 A1 WO 2012105703A1 JP 2012052551 W JP2012052551 W JP 2012052551W WO 2012105703 A1 WO2012105703 A1 WO 2012105703A1
Authority
WO
WIPO (PCT)
Prior art keywords
display screen
display
proximity
user
display device
Prior art date
Application number
PCT/JP2012/052551
Other languages
French (fr)
Japanese (ja)
Inventor
泰文 萩原
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Publication of WO2012105703A1 publication Critical patent/WO2012105703A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking

Definitions

  • the present invention relates to a display device that displays an object on a display screen in a stereoscopic manner.
  • the present invention also relates to a display image generation method executed by such a display device, a program for operating such a display device, and a recording medium on which such a program is recorded.
  • an operation object such as a button constituting the user interface is displayed in a stereoscopic manner so as to improve the reality of the user interface.
  • a technique for improving operability when selecting an object displayed in a stereoscopic manner has been proposed.
  • Patent Document 1 discloses an image display system in which an object selected with a fingertip or a pen tip of an input pen is moved and displayed in the depth direction in accordance with the pressing amount of the touch panel.
  • Patent Document 2 in an operation panel device in which a stereoscopic parallax image is displayed on a display unit, if the sensor detects proximity to the operation surface before the pressing means touches the touch panel, the stereoscopic parallax image is converted into a planar image.
  • An operation panel device that switches to and displays on a display unit is disclosed.
  • Japanese Patent Publication Japanese Patent Laid-Open No. 2006-293878 (published on October 26, 2006)”
  • Japanese Patent Publication Japanese Patent Laid-Open Publication No. 2004-280496 (published Oct. 07, 2004)”
  • the display target position of the object is a position where the display device tries to display the object in (three-dimensional) in front of or behind the display screen, in other words, a position where the display device tries to make the user visually recognize the object. Refers to that.
  • the conventional display device displays the object in the right-eye image as the point M as shown in FIG. And the object in the left-eye image is drawn to the right of the point M (with parallax).
  • the conventional display device sets the object drawing position dr in the right-eye image and the object drawing position dl in the left-eye image as shown in FIG. , Respectively, move toward the point M (reduce the parallax).
  • the conventional display device places both the object in the right-eye image and the object in the left-eye image on the point M, as shown in FIG. Draw (remove parallax).
  • the distance from the point M to the drawing position dr is the same as the distance from the point M to the drawing position dl (the parallax is symmetrical). To be given).
  • the present invention has been made in view of the above problems, and an object of the present invention is to provide a display device capable of giving a user a natural impression when touching an object displayed in a stereoscopic manner. .
  • a display device is a display device that displays an object on a display screen so as to be stereoscopically viewed, and is a proximity device that detects a proximity position that is a position of an object close to the display screen. Whether the proximity position detected by the position detection means and the proximity position detection means coincides with a display target position that is a position where the object is to be displayed, or is detected by the proximity position detection means In the determination result by the proximity position determination means, the proximity position determination means for determining whether or not the proximity position that has been made coincides with a symmetrical position that is symmetrical with respect to the display target position and the display screen.
  • Image generation means for moving the drawing position of the object to the left and right, and each time the proximity position matches the display target position or the symmetrical position in the determination result by the proximity position determination means, the display target position
  • the amount of movement by which the image generating means moves the drawing position of the object to the left and right in order to bring it closer to the display screen by a predetermined length is set so as to decrease as the display target position approaches the display screen. It is characterized by that.
  • a display image generation method is a display image generation method executed by a display device that displays an object on a display screen in a stereoscopic manner, and is close to the display screen.
  • a proximity position detection step for detecting a proximity position that is the position of an object, and whether the proximity position of the object detected in the proximity position detection step matches a display target position where the object is to be displayed Proximity to determine whether or not the proximity position of the object detected in the proximity position detection step coincides with a symmetrical position that is symmetrical with respect to the display target position and the display screen
  • the proximity position and the display target position or the symmetrical position are An image generation step of moving the drawing position of the object in the right-eye image and the left-eye image displayed on the display screen to the right and left each time the image is matched, and in the determination result in the proximity position determination step, Each time the display target position or the symmetric position coincides,
  • the object here refers to, for example, a display object constituting a GUI (graphical user interface).
  • GUI graphical user interface
  • an operation object for accepting selection by the user such as a button or a switch, is a representative example of the object here.
  • the visual recognition position of the object may move obliquely with respect to the display screen (see FIG. 19 (d)). For this reason, a deviation may occur between the visual recognition position of the object and the display target position of the object.
  • FIG. 1 is a block diagram illustrating a main configuration of a display device according to Embodiment 1.
  • FIG. It is sectional drawing of the display apparatus of FIG. 3A shows a front view and a side view of the display when the finger is close to the display screen
  • FIG. 3B is a front view of the display when the finger is in contact with the display screen
  • FIG. 3C is a front view and a side view of the display when the object is displayed on the display screen in a stereoscopic manner.
  • 4A is a diagram illustrating a drawing position of the object drawn on the right-eye image with respect to the object
  • FIG. 4B is a drawing position of the object drawn on the left-eye image with respect to the object.
  • FIG. 7A and 7B show an example of the position of the user's finger, the object position, and the drawing position when the user's finger is close to the display screen.
  • FIG. 8A is a diagram showing the drawing position of the object drawn on the right-eye image with respect to the object when the object position is located in the space behind the display screen
  • FIG. These are figures which show the drawing position of the object drawn by the image for left eyes with respect to the object when an object position is located in the space behind a display screen.
  • 9A and 9B show other examples of the position of the user's finger, the object position, and the drawing position when the user's finger is close to the display screen.
  • (C) is a figure which shows the other example of the position of a user's finger, an object position, and a drawing position when a user's finger contacts a display screen.
  • FIG. 10 is a block diagram illustrating a main configuration of a display device according to a third embodiment.
  • FIG. 10 is a block diagram illustrating a main configuration of a display device according to a fourth embodiment. It is sectional drawing of the display apparatus of FIG.
  • FIG. 18A shows an example of the position of the user's finger and the object position when the user's finger is close to the display screen and the distance from the proximity position to the display screen is equal to or greater than the threshold.
  • 18B is a diagram illustrating an example of the position of the user's finger and the object position when the distance from the proximity position to the display screen is smaller than the threshold value.
  • FIGS. 19A to 19D are diagrams for explaining problems of the conventional technology that may occur when the display target position of the object is not set in front of the viewing position (position of the user's head). .
  • FIG. 1 is a block diagram showing a main configuration of a display device 1 according to the present embodiment.
  • the display device 1 includes a display screen 10, a camera (first input device) 20, a touch panel (third input device) 30, and a control unit 100.
  • Display screen 10 displays information and provides it to the user.
  • the display screen 10 is a display screen of a display panel such as an LCD, an EL (Electroluminescence) display, or a PDP (Plasma Display Panel).
  • the display screen 10 can display an object in a stereoscopic manner. Specifically, based on the principle of binocular parallax, it is possible to perform display so that stereoscopic viewing can be obtained by simply looking at the screen without wearing so-called 3D glasses.
  • the display screen 10 that does not require wearing of so-called 3D glasses will be described as an example, but the present invention is not limited to this and requires wearing of 3D glasses. It may be a display screen.
  • the object refers to a display object constituting a GUI (Graphical User Interface).
  • GUI Graphic User Interface
  • operation objects for accepting selection by the user such as buttons and switches, are representative examples of objects here.
  • the position where the display device 1 tries to display an object that is, the position where the display device 1 tries to make the user visually recognize the object is referred to as “object position” (“display in claims”).
  • object position corresponds to the "target position”).
  • This object position is set to a place where the user can touch. More specifically, it is set at a location approximately 50 cm away from the user.
  • the camera 20 is an input device that detects an object close to the display screen 10 and transmits a signal indicating the position of the detected object (hereinafter referred to as “proximity position”) to the control unit 100.
  • the touch panel 30 is an input device that detects an object in contact with the display screen 10 and transmits a signal indicating the position of the detected object (hereinafter referred to as “contact position”) to the control unit 100.
  • the touch panel 30 is a contact type so-called capacitive touch panel.
  • the touch panel 30 is not limited to this, and may be a so-called resistive film type.
  • the touch panel 30 may be a so-called non-contact type touch panel such as a liquid crystal panel with a built-in optical sensor.
  • FIG. 2 is a cross-sectional view of the display device 1.
  • the bezel 2 is disposed around the display panel having the display screen 10. If the plane on which the display screen 10 is arranged is the xy plane, the touch panel 30 is arranged on the z-axis positive direction side of the display screen 10 so as to cover the display screen 10.
  • the camera 20 is disposed inside the bezel 2 that protrudes in the positive z-axis direction from the touch panel 30.
  • the position where the camera 20 is arranged is not limited to this, and may be a position where an object close to the display screen 10 can be detected. Further, the camera 20 may be configured integrally with the display device 1 or may be configured separately from the display device 1.
  • the bezel 2 has a shape protruding from the touch panel 30 by about 6 cm in the z-axis direction. That is, the camera 20 detects that an object approximately 6 cm from the touch panel 30 is an object close to the display screen 10.
  • the distance between the object detected by the camera 20 and the touch panel 30 is an example, and the distance can be set according to the size of the display screen 10 and the installation location.
  • the control unit 100 is responsible for processing that the display device 1 executes internally.
  • the control unit 100 includes a proximity position detection unit (proximity position detection unit) 110, a contact position detection unit (contact position detection unit) 120, an object position storage unit 130, a determination unit 140, and an image generation unit ( An image generation unit 150, an image output unit 160, and an execution unit (execution unit) 170.
  • the determination unit 140 includes a proximity position determination unit (proximity position determination unit) 141 and a contact position determination unit (contact position determination unit) 142.
  • the proximity position detection unit 110 detects a proximity position that is the position of an object close to the display screen 10 using an input signal from the camera 20. Specifically, the position of the user's finger in proximity to the display screen 10 is detected as a proximity position using a signal (input signal) indicating the proximity position transmitted from the camera 20. The proximity position detection unit 110 supplies the detected proximity position to the proximity position determination unit 141.
  • the contact position detection unit 120 detects a contact position that is the position of an object that has touched the display screen 10 using an input signal from the touch panel 30. Specifically, the position of the user's finger that touches the display screen 10 is detected as a contact position using a signal (input signal) indicating the contact position transmitted from the touch panel 30. The contact position detection unit 120 supplies the detected contact position to the contact position determination unit 142.
  • the object position is stored in the object position storage unit 130.
  • the object position of this object is a predetermined position.
  • the object position may be a position obtained with respect to the display screen 10 from a predetermined optimum viewing position and the position (drawing position) of the object drawn on the right-eye image and the left-eye image.
  • the object position storage unit 130 may be configured integrally with the display device 1 or may be configured separately from the display device 1.
  • the proximity position determination unit 141 acquires the object position from the object position storage unit 130.
  • the proximity position determination unit 141 determines whether the proximity position supplied from the proximity position detection unit 110 matches the acquired object position.
  • the proximity position determination unit 141 notifies the image generation unit 150 of the determination result.
  • the contact position determination unit 142 acquires the object position from the object position storage unit 130.
  • the contact position determination unit 142 determines whether or not the contact position supplied from the contact position detection unit 120 matches the acquired object position.
  • the contact position determination unit 142 supplies the determination result to the execution unit 170.
  • the image generation unit 150 generates a right-eye image and a left-eye image to be displayed on the display screen 10 in order to realize stereoscopic viewing of the object.
  • the image generation unit 150 uses the right eye so that the object position moves vertically with respect to the display screen 10.
  • a right-eye image and a left-eye image are generated by moving the drawing position of the object in the image and the left-eye image to the left and right.
  • the image generation unit 150 supplies the generated right eye image and left eye image to the image output unit 160.
  • the image generation unit 150 stores the object position moved perpendicular to the display screen 10 in the object position storage unit 130 as a new object position.
  • the image output unit 160 displays the right-eye image and the left-eye image supplied from the image generation unit 150. As a result, the display screen 10 displays the object in a stereoscopic manner.
  • the execution unit 170 executes the function indicated by the object when the determination result by the contact position determination unit 142 is true, that is, when the contact position matches the object position.
  • FIG. 3A is a diagram illustrating a front view and a side view of the display screen 10 when the finger 6 approaches the display screen 10.
  • the proximity position detection unit 110 detects the distance between the finger 6 and the display screen 10.
  • the horizontal direction of the display screen 10 is the x axis
  • the vertical direction of the display screen 10 is the y axis.
  • FIG. 3B is a diagram illustrating a front view and a side view of the display screen 10 when the finger 6 contacts the display screen 10.
  • the contact position detection unit 120 Detects (x2, y2, 0) as the contact position of the finger 6 from the position (x2, y2) of the finger 6 on the xy plane.
  • FIG. 3C is a diagram illustrating a front view and a side view of the display screen 10 when the object o is displayed on the display screen 10 so as to be stereoscopically viewable.
  • the object position is predetermined as (xo, yo, zo)
  • the object o is displayed at the position shown in (c) of FIG.
  • zo is the distance of the object position from the display screen 10 (zo> 0).
  • the object position on a plane (xy plane) parallel to the display screen 10 is represented as (xo, yo), but the object is not displayed only at this one point and includes (xo, yo). It is displayed in the area.
  • the object position on the xy plane is represented by using a representative point such as (xo, yo).
  • f (x, y, z) represents a predetermined optimum viewing position with respect to the display screen 10
  • D represents a distance between the optimum viewing position and the display screen 10.
  • W indicates the width of the display screen 10
  • s indicates the baseline length, which is the distance between the user's right eye fr and left eye fl.
  • fr ′ represents the intersection of the perpendicular line from the right eye fr to the display screen 10 and the display screen 10
  • o ′ represents the intersection of the perpendicular line from the object o to the display screen 10 and the display screen 10.
  • fl ′ represents the intersection of the vertical line from the left eye fl to the display screen 10 and the display screen 10
  • o ′ represents the intersection of the vertical line from the object o to the display screen 10 and the display screen 10.
  • the object position is moved perpendicularly to the display screen 10 in a direction approaching the display screen 10.
  • the movement amount at this time is an amount by which the object o can move following the finger 6, and in this embodiment, this movement amount is ⁇ . That is, the image generation unit 150 changes the object position to (xo, yo, zo ⁇ ).
  • the image generation unit 150 substitutes the changed object position (xo, yo, zo ⁇ ) into the expressions (A2) and (A4), thereby the objects dr and The drawing position of the object dl is calculated from the object position.
  • the image generation unit 150 can generate a right-eye image and a left-eye image in which an object is drawn at the position represented by the above formulas (A2) and (A4).
  • FIG. 5 is a diagram illustrating a drawing position of an object in the right-eye image and the left-eye image displayed on the display screen 10 with respect to the object position.
  • the drawing position of the object in the right-eye image and the left-eye image displayed on the display screen 10 is the position o1 '.
  • the drawing position of the object is moved from o1 'to o2'.
  • the movement amount of the drawing position of the object is ⁇ as shown in FIG.
  • o2 is a position that is closer to the display screen 10 by ⁇ from the position of o1.
  • the moving amount of the drawing position of the object at this time is ⁇ as shown in FIG.
  • the drawing position of the object is moved from o2 'to o3'.
  • o3 is a position that is closer to the display screen 10 by ⁇ from the position of o2.
  • the amount of movement of the drawing position of the object at this time is ⁇ as shown in FIG.
  • the movement amount ⁇ from the drawing position o1 ′ to o2 ′ of the object and the movement amount ⁇ from o2 ′ to o3 ′ have a relationship of ⁇ > ⁇ .
  • o4 is a position that is closer to the display screen 10 by ⁇ from the position of o3.
  • the amount of movement of the drawing position of the object at this time is ⁇ as shown in FIG.
  • ⁇ , ⁇ , and ⁇ have a relationship of ⁇ > ⁇ > ⁇ .
  • the amount of movement for moving the drawing position of the object to the left and right is set to decrease as the object position of the object approaches the display screen 10 by a predetermined length.
  • the amount of movement for moving the object position of the object perpendicular to the display screen 10 is not limited to ⁇ .
  • the drawing position of the object moves from o2 'to o4'. That is, when the object position of the object is moved vertically from o2 by 2 ⁇ ⁇ to the display screen 10, the movement amount of the drawing position of the object is ⁇ + ⁇ .
  • the amount of movement for moving the object position of the object is not limited to ⁇ , but is set so as to decrease as the object position of the object approaches the display screen 10 by a predetermined length.
  • the execution unit 170 executes the function indicated by the object.
  • the drawing position is the position o4 ′ and the object position of the object is the position o4
  • the position where the position o4 coincides with the position o4 ′ has been described as an example.
  • the present invention is not limited to this. That is, the position where the object position of the object matches the drawing position may not be a position moved by a distance three times ⁇ from the position of o1, which is the first object position of the object.
  • the amount to be moved is arbitrary.
  • the image generation unit 150 closes when the user's finger 6 comes close to the display screen 10 and touches an object displayed on the display screen 10 so as to be stereoscopically viewed, that is, the proximity position matches the object position. At this time, a right-eye image and a left-eye image in which the drawing position of the object is moved by ⁇ are generated. Thereafter, every time the finger 6 continues to touch the object, that is, every time the proximity position matches the object position, the movement amount of the drawing position of the object in the right-eye image and the left-eye image is the distance between the object and the display screen 10. The image for right eye and the image for left eye are generated by moving the drawing position of the object to the left and right so as to become smaller as the distance becomes closer. As described above, the movement amount by which the image generation unit 150 moves the drawing position of the object to the left and right is set so as to decrease as the display target position of the object approaches the display screen 10.
  • the display device 1 can display the object at a position moved vertically with respect to the display screen 10 by displaying the right-eye image and the left-eye image thus generated on the display screen 10.
  • FIG. 6 is a flowchart showing a processing flow when the user's finger 6 approaches and approaches the display screen 10.
  • the proximity position detection unit 110 determines whether or not the camera 20 has detected the finger 6 that has approached the display screen 10 (S102). When the camera 20 has detected the finger 6 that has approached the display screen 10 (Yes in S102), the proximity position detection unit 110 detects the proximity position (x1, y1, z1) from the input signal transmitted from the camera 20. (S103, proximity position detection step). If not detected (No in S102), the process returns to S101, and the camera 20 detects the object again.
  • the proximity position determination unit 141 and the contact position determination unit 142 acquire the object position (xo, yo, zo) from the object position storage unit 130 (S104).
  • the contact position detection unit 120 determines whether or not the touch panel 30 has detected an object that has touched the display screen 10 (S106).
  • proximity position determination unit 141 determines whether finger 6 is touching object o, that is, proximity position (x1, It is determined whether or not y1, z1) matches the object position (xo, yo, zo) (S107).
  • the image generation unit 150 moves vertically with respect to the display screen 10 so that the object position approaches the display screen 10. Then, the object position is changed to (xo, yo, zo- ⁇ ). Further, the image generation unit 150 moves the drawing position of the object in the right eye image and the left eye image left and right so that the object is displayed at the object position (xo, yo, zo- ⁇ ), and A left-eye image is generated.
  • the image generation unit 150 stores the changed object position (xo, yo, zo- ⁇ ) as a new object position in the object position storage unit 130 (S108, image generation step).
  • the contact position detection unit 120 determines the contact position (x2, y2, 0) from the input signal transmitted from the touch panel 30. It is detected (S109).
  • the contact position determination unit 142 determines whether or not the finger 6 is touching the object o, that is, whether or not the proximity position (x2, y2, 0) matches the object position (xo, yo, zo). Is determined (S110).
  • the execution unit 170 executes the function indicated by the object o (S111).
  • FIG. 7A and 7B show an example of the position of the user's finger 6, the object position, and the drawing position when the user's finger 6 comes close to the display screen 10, and
  • FIG. ) Is a diagram illustrating an example of the position of the user's finger 6, the object position, and the drawing position when the user's finger 6 contacts the display screen 10.
  • the image generation unit 150 As shown in FIG. 7A, when the finger 6 is close to the display screen 10 and the proximity position (x1, y1, z1) matches the object position (xo, yo, zo), the image generation unit 150 As shown in FIG. 7B, the object position of the object o is moved perpendicularly to the display screen 10 in a direction approaching the display screen 10. The movement amount at this time is an amount by which the object o can move following the finger 6 and is represented by ⁇ .
  • the image generation unit 150 calculates the drawing position of the object dr drawn on the right eye image and the object dl drawn on the left eye image from the object position of the moved object o, as shown in FIG. Move left and right.
  • the image generation unit 150 generates a right-eye image and a left-eye image in which the drawing position of the object o is moved left and right. Thereby, the object o is displayed at the moved object position so as to be stereoscopically viewed.
  • the image generation unit 150 further displays the object position of the object o on the display screen.
  • the display screen 10 is moved vertically.
  • the image generation unit 150 moves the object position of the object o in a direction approaching the display screen 10. The display screen 10 is moved vertically.
  • the execution unit 170 Performs the function indicated by the object o.
  • the display device 1 can display the object at a position moved vertically with respect to the display screen 10 by displaying the generated right-eye image and left-eye image on the display screen 10.
  • the display device 1 has an effect that it can give the user the impression that the user has surely touched the object.
  • the display device 1 when the position of the object o is in the space in front of the display screen 10 as in the present embodiment, the display device 1 represents the drawing position of the object in the right-eye image and the left-eye image by using the formula (A2) and the formula It can be obtained by a simple calculation as shown in (A4). Further, the display device 1 can move the object o perpendicular to the display screen 10 in a direction approaching the display screen 10.
  • the display device 1 can give a natural impression that the user is pushing the object toward the display screen 10.
  • the camera 20 detects the proximity of the finger 6 and transmits an input signal indicating the proximity position to the proximity position detection unit 110.
  • the proximity position detection unit 110 detects the proximity position using the transmitted input signal. Accordingly, the display device 1 can move the object perpendicular to the display screen 10 in a direction approaching the display screen 10 when the proximity position matches the object position of the object o.
  • the user can feel as if the user actually touched the object.
  • the display device 1 executes a function indicated by the object.
  • the display device 1 can give the user an impression that the object o is surely pressed.
  • the camera 20 has been described as an input device for detecting the proximity position.
  • the input device for detecting the proximity position is not limited to this.
  • an infrared sensor and a touch panel may be used.
  • the touch panel is a so-called non-contact type touch panel.
  • zo is the distance of the object position from the display screen 10 (zo> 0).
  • f (x, y, z) represents a predetermined optimum viewing position with respect to the display screen 10
  • D represents a distance between the optimum viewing position and the display screen 10.
  • W indicates the width of the display screen 10
  • s indicates the baseline length, which is the distance between the user's right eye fr and left eye fl.
  • fr ′ indicates the intersection of the perpendicular to the display screen 10 from the right eye fr and the display screen 10
  • the right triangle formed by the object dr, the right eye fr, and the intersection fr ′ is similar to the right triangle formed by the object o, the object dr, and the intersection dr ′. Therefore, the following formula (A5) is established.
  • fl ′ indicates the intersection of the perpendicular line from the left eye fl to the display screen 10 and the display screen 10
  • the proximity position determination unit 141 matches the position (symmetric position) where the proximity position is symmetric with respect to the object position with respect to the display screen 10. It is determined whether or not to do.
  • the position symmetrical to the object position with respect to the display screen 10 is a position on the vertical line from the object position to the display screen 10 and has the same vertical length.
  • the proximity position determination unit 141 determines whether or not the proximity position matches the position of (xo, yo, zo).
  • the object position is moved perpendicularly to the display screen 10 in a direction approaching the display screen 10.
  • the movement amount at this time is an amount by which the object o can move following the finger 6, and in this embodiment, this movement amount is ⁇ . That is, the image generation unit 150 changes the object position to (xo, yo, ⁇ zo + ⁇ ).
  • the image generation unit 150 substitutes the changed object position (xo, yo, ⁇ zo + ⁇ ) into the expressions (A6) and (A8), thereby drawing the object dr and the object drawn in the right eye image and the left eye image.
  • the drawing position of dl is calculated from the object position.
  • the image generation unit 150 can generate a right-eye image and a left-eye image in which an object is drawn at the position represented by the above formulas (A6) and (A8).
  • the image generation unit 150 displays the right-eye image and the left-eye image in which the x component of the drawing position is changed. Generate. That is, the image generation unit 150 generates a right-eye image and a left-eye image in which the drawing position of the object is moved to the left and right.
  • FIG. 9A and 9B show an example of the position of the user's finger 6, the object position, and the drawing position when the user's finger 6 comes close to the display screen 10, and
  • FIG. ) Is a diagram illustrating an example of the position of the user's finger 6, the object position, and the drawing position when the user's finger 6 contacts the display screen 10.
  • the finger 6 is close to the display screen 10, and the proximity position (x1, y1, z1) is symmetrical with respect to the display screen 10 with respect to the object position (xo, yo, ⁇ zo).
  • the image generation unit 150 moves the object position of the object o toward the display screen 10 in a direction approaching the display screen 10 as illustrated in FIG. To move vertically.
  • the movement amount at this time is an amount by which the object o can move following the finger 6 and is represented by ⁇ .
  • the image generation unit 150 calculates the drawing position of the object dr drawn on the right eye image and the object dl drawn on the left eye image from the object position of the moved object o, as shown in FIG. Move left and right.
  • the image generation unit 150 generates a right-eye image and a left-eye image in which the drawing position of the object o is moved left and right. Thereby, the object o is displayed at the moved object position so as to be stereoscopically viewed.
  • the proximity position (x1, y1, z1 ′) of the finger 6 is symmetric with respect to the display screen 10 (xo, yo, zo ⁇ ) with the object position (xo, yo, ⁇ zo + ⁇ ) moved.
  • the image generation unit 150 further moves the object position of the object o perpendicular to the display screen 10 in a direction approaching the display screen 10. As described above, until the finger 6 contacts the display screen 10, that is, until the object position becomes (xo, yo, 0), the image generation unit 150 moves the object position of the object o in a direction approaching the display screen 10. The display screen 10 is moved vertically.
  • the execution unit 170 Performs the function indicated by the object o.
  • the display device 1 determines the drawing positions of the objects in the right-eye image and the left-eye image using the expressions (A6) and (A8). It can be obtained by a simple calculation as shown in FIG. Further, the display device 1 can move the object o perpendicular to the display screen 10 in a direction approaching the display screen 10.
  • the display device 10 can give a natural impression that the user is pushing the object o toward the display screen 10.
  • FIG. 10 is a block diagram showing a main configuration of the display device 3 according to the present embodiment.
  • the display device 3 includes a display screen 10, a camera (first input device) 20, a touch panel (third input device) 30, a camera (second input device) 40, and a control unit. 300.
  • the camera 40 is an input device that detects the face of the user who uses the display device 3 and transmits a signal indicating the detected face information and the position of the face to the control unit 300.
  • FIG. 11 is a cross-sectional view of the display device 3.
  • a camera 40 is disposed below the display device 1 shown in FIG. 2 (in the negative y-axis direction).
  • the position where the camera 40 is disposed is not limited to this, and may be a position where the face of the user who uses the display device 3 can be detected.
  • the display device 3 may have a configuration surrounded by the bezel 2 as shown in FIG.
  • the camera 40 may be configured integrally with the display device 3 or may be configured separately from the display device 3. Further, the camera 40 may be integrated with the camera 20.
  • the control unit 300 is responsible for processing that the display device 3 executes internally.
  • the control unit 300 includes a proximity position detection unit (proximity position detection unit) 110, a contact position detection unit (contact position detection unit) 120, an object position storage unit 130, a determination unit 140, and an image generation unit ( An image generation unit 150, an image output unit 160, an execution unit (execution unit) 170, a face detection unit (face detection unit) 310, and an object position calculation unit (object position calculation unit) 320.
  • the determination unit 140 includes a proximity position determination unit (proximity position determination unit) 141 and a contact position determination unit (contact position determination unit) 142.
  • the face detection unit 310 recognizes the face of the user who is using the display device 3 using an input signal from the camera 40. Specifically, the user's face is recognized using the user's face information transmitted from the camera 40 and a signal indicating its position.
  • the user's face information is information indicating components of the user's face such as the user's right eye, left eye, nose and mouth.
  • the face detection unit 310 When the face detection unit 310 recognizes the user's face, the face detection unit 310 detects the position of the user's face with respect to the display screen 10.
  • the position of the user's face detected by the face detection unit 310 is the position of the user's nose, but is not limited thereto, and may be, for example, the position of the user's right eye.
  • the face detection unit 310 supplies the detected position of the user's face to the object position calculation unit 320.
  • the face detection unit 310 notifies the object position calculation unit 320 to that effect.
  • the object position calculation unit 320 calculates the object position of the object displayed on the display screen 10 so as to be stereoscopically viewable. Specifically, the object position is calculated from the position of the user's face supplied from the face detection unit 310 and the drawing position of the object in the right-eye image and the left-eye image displayed on the display screen 10. A method for calculating the object position will be described later.
  • the object position calculation unit 320 uses the optimal viewing position determined in advance for the display screen 10 and the drawing position of the object. Calculate the object position. A method for calculating the object position will be described later.
  • the object position calculation unit 320 stores the calculated object position in the object position storage unit 130.
  • the proximity position determination unit 141 determines whether the proximity position detected by the proximity position detection unit 110 matches the object position calculated by the object position calculation unit 320.
  • FIG. 12 is a front view and a side view of the display screen 10 when the user uses the display device 3.
  • the face detection unit 310 displays the distance z3 between the user's face and the display screen 10 and the display with the upper left as the origin. From the face position (x3, y3) on the plane parallel to the screen 10 (xy plane), (x3, y3, z3) is detected as the face position.
  • the position of the face on the plane (xy plane) parallel to the display screen 10 is represented as (x3, y3)
  • the position of the user's face is in an area including (x3, y3).
  • the position of the face on the xy plane is represented using a representative point such as (x3, y3).
  • FIG. 13 shows the object position o (xo,) with respect to the position of the object dr drawn on the right-eye image and the object dl drawn on the left-eye image at the position f (fx, fy, fz) of the user's face. It is a figure which shows yo, zo).
  • s indicates a baseline length that is the distance between the user's right eye fr and left eye fl.
  • zo is the distance of the object position from the display screen 10 (zo> 0).
  • the object position calculation unit 320 determines from the position f (fx, fy, fz) of the user's face.
  • the position of the right eye fr and the position of the user's left eye fl are calculated.
  • the face detection unit 310 detects the position of the right eye fr and the position of the left eye fl of the user, the positions are used.
  • the object o is drawn on the straight line connecting the object dr drawn on the user's right eye fr and the right eye image (straight line shown by a dotted line in FIG. 13), and on the user's left eye fl and left eye image.
  • the object position can be obtained by calculating the intersection of the two straight lines.
  • the object position calculation unit 320 sets the object position as f (fx, fy, fz) as the optimum viewing position determined in advance for the display screen 10. Can be obtained.
  • the face detection unit 310 determines whether or not the camera 40 has detected a user using the display device 3 (S302). When the camera 40 detects a user using the display device 3 (Yes in S302), the face detection unit 310 recognizes the user's face (S303).
  • the face detection unit 310 When the face detection unit 310 recognizes the user's face (Yes in S303), the face detection unit 310 detects the position (x3, y3, z3) of the user's face (S304).
  • the face detection unit 310 substitutes the detected position (x3, y3, z3) of the user's face for the position f (fx, fy, fz) of the user shown in FIG. 12 (S305).
  • the unit 310 substitutes the optimum viewing position for the position f (fx, fy, fz) of the user's face shown in FIG. 12 (S306).
  • the optimum viewing position is expressed as (W / 2, H / 2, D), but the optimum viewing position is not limited to this, and is a position determined according to the installation location of the display device 3 or the like. It is.
  • W indicates the width of the display device 3
  • H indicates the height of the display device 3
  • D indicates the distance between the display device 3 and the user.
  • the object position calculation unit 320 calculates the object position from the position f (fx, fy, fz) of the user's face and the drawing position of the object (S307).
  • the object position calculation unit 320 stores the calculated object position in the object position storage unit 130.
  • the display device 3 can detect the position of the user's face and calculate the object position of the object o displayed on the display screen 10 so as to be stereoscopically viewed.
  • the object o can be displayed in a stereoscopic manner and the impression that the object o has been touched can be given.
  • the camera 40 has been described as an input device for detecting the face of the user who uses the display device 3, but the input device for detecting the face of the user is not limited to this.
  • an infrared sensor may be used.
  • the display device 1 and the display device 3 are configured to include the contact position detection unit 120 that detects the position of the object that has touched the display screen 10, but the present invention is not limited to this.
  • the proximity position is set as the contact position.
  • a fourth embodiment according to the present invention will be described with reference to FIGS. 15 to 18.
  • FIG. 15 is a block diagram showing a main configuration of the display device 4 according to the present embodiment.
  • the display device 4 includes a display screen 10, a camera (first input device) 20, and a control unit 400.
  • the control unit 400 is responsible for the processing that the display device 4 executes internally. As shown in FIG. 15, the control unit 400 includes a proximity position detection unit (proximity position detection unit) 110, an object position storage unit 130, an image generation unit (image generation unit) 150, an image output unit 160, and an execution unit (execution unit). ) 170 and a determination unit 410.
  • the determination unit 410 includes a proximity position determination unit (proximity position determination unit) 411 and a contact position determination unit (comparison unit) 412.
  • the proximity position determination unit 411 acquires the object position from the object position storage unit 130.
  • the object position stored in the object position storage unit 130 may be a predetermined position, or is drawn on the display screen 10 in a predetermined optimal viewing position, a right-eye image, and a left-eye image. It may be a position obtained from the drawing position of the selected object. Also, the position obtained in S305 of the third embodiment may be used.
  • the proximity position determination unit 411 determines whether or not the proximity position supplied from the proximity position detection unit 110 matches the acquired object position. Thereafter, the proximity position determination unit 411 notifies the determination result to the contact position determination unit 412. When the proximity position determination unit 411 receives a notification from the contact position determination unit 412 that the proximity position is not the contact position, the proximity position determination unit 411 notifies the image generation unit 150 of the determination result.
  • the contact position determination unit 412 When the determination result by the proximity position determination unit 411 is true, that is, when the proximity position matches the object position, the contact position determination unit 412 includes a distance from the proximity position to the display screen 10 and a predetermined threshold value. Compare When the distance from the proximity position to the display screen 10 is smaller than the threshold value, the contact position determination unit 412 considers the proximity position as the contact position to the display screen 10. Thereafter, the contact position determination unit 412 notifies the proximity position determination unit 411 and the execution unit 170 of the determination result.
  • the execution unit 170 When the execution unit 170 receives a notification from the contact position determination unit 412 that the proximity position is the contact position, the execution unit 170 executes the function indicated by the object.
  • FIG. 16 is a cross-sectional view of the display device 4.
  • the display 16 has a configuration excluding the touch panel 30 from the display device 1 of FIG.
  • the display device 4 may have a configuration surrounded by the bezel 2 as shown in FIG.
  • FIG. 17 is a flowchart showing a processing flow when the user's finger 6 comes close to the display screen 10.
  • the proximity position detection unit 110 determines whether or not the camera 20 has detected the finger 6 that has approached the display screen 10 (S402). If camera 20 has not detected finger 6 in proximity to display screen 10 (No in S402), the process returns to S401, and camera 20 detects an object again.
  • the proximity position detection unit 110 detects the proximity position (x1, y1, z1) from the input signal transmitted from the camera 20. (S403).
  • the proximity position determination unit 411 acquires the object position (xo, yo, zo) from the object position storage unit 130 (S404).
  • the proximity position determination unit 141 determines whether or not the finger 6 is touching the object o, that is, whether or not the proximity position (x1, y1, z1) matches the object position (xo, yo, zo). Determination is made (S405).
  • the contact position determination unit 412 compares the distance (z1) from the proximity position to the display screen 10 with a predetermined threshold value (dth). (S406).
  • the image generation unit 150 causes the object position to be the display screen 10.
  • the object position is changed to (xo, yo, zo- ⁇ ) so as to move vertically to the display screen 10 in a direction approaching. Further, the image generation unit 150 moves the drawing position of the object in the right eye image and the left eye image left and right so that the object is displayed at the object position (xo, yo, zo- ⁇ ), and A left-eye image is generated.
  • the image generation unit 150 stores the changed object position (xo, yo, zo- ⁇ ) as a new object position in the object position storage unit 130 (S407).
  • the execution unit 170 executes the function indicated by the object o (S408).
  • FIG. 18A shows an example of the position of the user's finger 6 and the object position when the user's finger 6 is close to the display screen 10 and the distance from the close position to the display screen 10 is equal to or greater than the threshold value.
  • FIG. 18B is a diagram illustrating an example of the position of the user's finger 6 and the object position when the distance from the proximity position to the display screen 10 is smaller than the threshold value.
  • the contact position determination unit 412 Compares the distance z1 between the proximity position (x1, y1, z1) and the display screen 10 with a predetermined threshold value dth.
  • the image generation unit 150 sets the object position of the object o in a direction closer to the display screen 10. Move perpendicular to 10.
  • the movement amount at this time is an amount by which the object o can move following the finger 6 and is represented by ⁇ .
  • the contact position determination unit 412 determines the proximity position (x1, y1, z1). The distance z1 'between') and the display screen 10 is compared with a predetermined threshold value dth.
  • the contact position determination unit 412 determines that the proximity position (x1, y1, z1 ′) is on the display screen 10. It is determined that the contact position. After the determination, the execution unit 170 executes the function indicated by the object o.
  • the function shown in the object o can be executed without actually touching the display screen 10.
  • Each block of the display device 1, the display device 3, and the display device 4 described above may be configured by hardware logic, or may be realized by software using a CPU as follows.
  • the display device 1, the display device 3, and the display device 4 include a CPU (central processing unit) that executes instructions of a control program that realizes each function, a ROM (read only memory) that stores the program, and the program.
  • a RAM random access memory
  • a storage device such as a memory for storing the program and various data, and the like are provided.
  • An object of the present invention is to display the program code (execution format program, intermediate code program, source program) of the display device 1, the display device 3, and the control program (authentication program) of the display device 4, which is software for realizing the functions described above ) Is supplied to the display device 1, the display device 3, and the display device 4, and the computer (or CPU or MPU) reads the program code recorded on the recording medium. It can also be achieved by executing.
  • Examples of the recording medium include tapes such as magnetic tapes and cassette tapes, magnetic disks such as floppy (registered trademark) disks / hard disks, and disks including optical disks such as CD-ROM / MO / MD / DVD / CD-R.
  • Card system such as IC card, IC card (including memory card) / optical card, or semiconductor memory system such as mask ROM / EPROM / EEPROM / flash ROM.
  • the display device 1, the display device 3, and the display device 4 may be configured to be connectable to a communication network, and the program code may be supplied via the communication network.
  • the communication network is not particularly limited.
  • the Internet intranet, extranet, LAN, ISDN, VAN, CATV communication network, virtual private network, telephone line network, mobile communication network, satellite communication. A net or the like is available.
  • the transmission medium constituting the communication network is not particularly limited.
  • infrared rays such as IrDA and remote control, Bluetooth ( (Registered trademark), 802.11 wireless, HDR (high data rate), mobile phone network, satellite line, terrestrial digital network, and the like can also be used.
  • the present invention can also be realized in the form of a computer data signal embedded in a carrier wave in which the program code is embodied by electronic transmission.
  • a proximity position detection unit that detects a proximity position of an object close to the display screen, and the proximity position detection unit detect Proximity position determination means for determining whether the proximity position of the object coincides with a display target position where the object is to be displayed or a display target position and a symmetrical position with respect to the display screen; and the proximity An image for moving the drawing position of the object in the right-eye image and the left-eye image displayed on the display screen to the right and left when the proximity position matches the display target position or the symmetrical position in the determination result by the position determination unit Generating means, and in the determination result by the proximity position determination means, the proximity position and the table Each time the target position or the symmetrical position matches, the amount of movement by which the image generating means moves the drawing position of the object to the left or right in order to bring the display target position closer to the display screen by
  • the display image generation method is a display image generation method executed by a display device that displays an object on a display screen in a stereoscopic manner, and detects a proximity position of an object close to the display screen. Whether the proximity position of the object detected by the detection step and the proximity position detection step coincides with a display target position where the object is to be displayed or a symmetrical position with respect to the display target position and the display screen.
  • the proximity position and the display target position or the symmetrical position match in the determination result of the proximity position determination step and the determination of the proximity position determination step, the right eye image and the left eye image displayed on the display screen And an image generation step of moving the drawing position of the object to the left and right,
  • the determination result in the proximity position determination step every time the proximity position matches the display target position or the symmetrical position, in the image generation step to bring the display target position closer to the display screen by a predetermined length.
  • the amount of movement for moving the drawing position of the object to the left and right is set so as to decrease as the display target position of the object approaches the display screen.
  • the object refers to a display object constituting a GUI (Graphical User Interface).
  • GUI Graphic User Interface
  • operation objects for accepting selection by the user such as buttons and switches, are representative examples of objects here.
  • the display device is configured such that each time an object such as a user's finger approaches the display screen and touches an object displayed in a stereoscopic manner on the display screen, the object in the right-eye image and the left-eye image is displayed. Move the drawing position of to the left or right. At this time, the movement amount for moving the drawing position of the object in the right-eye image and the left-eye image to the left and right is set so as to decrease as the distance between the object and the display screen decreases.
  • the display device can display the object at a position moved vertically with respect to the display screen by displaying the right-eye image and the left-eye image thus generated on the display screen.
  • the display device has an effect that it can give an impression that the user has surely touched the object.
  • the horizontal coordinate of the display target position (the upper left corner of the display screen is the origin) is xo
  • the distance of the display target position from the display screen is zo
  • the distance between the viewing position and the display screen is D
  • the display When the width in the horizontal direction of the screen is W and the baseline length, which is the distance between the right eye and the left eye of the user, is s, the left and right of the drawing position of the object drawn on the right eye image by the image generating means
  • a coordinate xdr in the direction (with the upper left corner of the display screen as the origin) and a coordinate xdl in the horizontal direction of the drawing position of the object drawn on the image for the left eye by the image generation means (the upper left corner of the display screen And the origin)
  • the image generation means renders the drawing after the movement of the object in the right-eye image.
  • the proximity position determining means of the display device may be configured such that when the display target position of the object is located in a space in front of the display screen, the proximity position detected by the proximity position detecting means is It is preferable to determine whether or not the display target position matches.
  • the proximity position determination unit of the display device is configured such that when the display target position of the object is located in a space behind the display screen, the proximity position detected by the proximity position detection unit is It is preferable to determine whether or not the position coincides with the symmetrical position.
  • the position of the object in the right-eye image and the left-eye image displayed on the display screen is determined by the display device regardless of whether the object is in the space in front of or behind the display screen. Can be obtained by simple calculation, and the object can be moved perpendicularly to the display screen in a direction approaching the display screen.
  • the display device can give the user a natural impression that the user is pushing the object toward the display screen.
  • the display device preferably further includes a first input device, and the proximity position detection unit detects the proximity position of the object using an input signal from the first input device. .
  • the first input device detects the proximity of the object and transmits an input signal indicating the proximity position to the proximity position detection means.
  • the proximity position detection means detects the proximity position using the transmitted input signal.
  • the display device can move the object perpendicular to the display screen in a direction approaching the display screen when the proximity position matches the display target position of the object.
  • the user can feel as if the user actually touched the object.
  • the display device recognizes the face of the user who uses the display device and detects the position of the user's face with respect to the display screen, and allows the stereoscopic display on the display screen.
  • Object position calculating means for calculating a display target position of the object to be displayed, and the object position calculating means, when the face detection means recognizes the user's face, A target display position of the object is calculated from the drawing position of the object, and when the face of the user is not recognized by the face detection means, an optimal viewing position predetermined for the display screen;
  • the display target position of the object is calculated from the drawing position of the object, and the proximity position determining means It is determined whether or not the proximity position detected by the position detection means coincides with the display target position of the object calculated by the object position calculation means or a symmetrical position with respect to the display target position and the display screen. It is preferable.
  • the display device further includes a second input device, and the face detection unit detects the position of the user's face using
  • the display device can detect the position of the user's face and calculate the display target position of the object displayed in a stereoscopic view on the display screen or its symmetrical position.
  • the object can be displayed in a stereoscopic manner and the impression that the object has been touched can be given.
  • the display device includes a contact position detection unit that detects a contact position of an object that contacts the display screen, and the contact position of the object detected by the contact position detection unit is the display target position or the symmetry.
  • a contact position determination unit that determines whether or not the position coincides with a position; and a function indicated by the object when the contact position matches the display target position or the symmetrical position in the determination result by the contact position determination unit It is preferable to include an execution means.
  • the display device may further include a third input device, and the contact position detecting means may detect the contact position of the object using an input signal from the third input device.
  • the display device executes the function indicated by the object.
  • a distance from the proximity position to the display screen is determined in advance.
  • a contact position determination unit that determines that the proximity position detected by the proximity position detection unit is a contact position on the display screen when the distance is smaller than the threshold, and the contact position determination And means for executing a function indicated by the object when the proximity position is determined to be a contact position on the display screen.
  • the present invention also includes a display program for operating a computer included in the display device, the display program for causing the computer to execute as each of the means, and a computer-readable recording medium on which the display program is recorded. Is included in the technical scope.
  • the present invention can be suitably used for a display device that displays an object in a stereoscopic manner, in particular, a display device such as a television receiver of 40 inches or more and a digital signage of 100 inches or more.

Abstract

A display device (1) for displaying an object on a display screen (10) in a stereoscopically viewable manner is provided with a proximal position detector (110) for detecting a proximal position of a proximal body, a proximal position determining unit (141) for determining whether or not the proximal position coincides with a display target position, and an image generator (150) for moving to the left or right the position at which the object is drawn so that, each time the positions coincide, the display target position becomes smaller as the viewer moves closer to the display screen (10).

Description

表示装置、表示画像生成方法、プログラム、及び記録媒体Display device, display image generation method, program, and recording medium
　本発明は、ディスプレイ画面にオブジェクトを立体視可能に表示する表示装置に関する。また、そのような表示装置が実行する表示画像生成方法、そのような表示装置を動作させるためのプログラム、および、そのようなプログラムが記録された記録媒体に関する。 The present invention relates to a display device that displays an object on a display screen in a stereoscopic manner. The present invention also relates to a display image generation method executed by such a display device, a program for operating such a display device, and a recording medium on which such a program is recorded.
　近年、画像を立体視可能に表示する表示装置が普及している。また、このような表示装置の一種として、いわゆる３Ｄ眼鏡の装着を必要とせず、裸眼による立体視が可能な表示装置が開発されている。 In recent years, display devices that display images in a stereoscopic manner have become widespread. As one type of such a display device, a display device has been developed that does not require wearing of so-called 3D glasses and enables stereoscopic viewing with the naked eye.
　このような表示装置においては、ユーザインターフェースを構成するボタンなどの操作用オブジェクトを立体視可能に表示し、ユーザインターフェースのリアリティを高める工夫がなされている。また、立体視可能に表示されたオブジェクトを選択するときの操作性を向上させる技術が提案されている。 In such a display device, an operation object such as a button constituting the user interface is displayed in a stereoscopic manner so as to improve the reality of the user interface. In addition, a technique for improving operability when selecting an object displayed in a stereoscopic manner has been proposed.
　例えば、特許文献１には、指先または入力ペンのペン先で選択されたオブジェクトをタッチパネルの押し込み量に合わせて奥行き方向に移動させて表示させる画像表示システムが開示されている。 For example, Patent Document 1 discloses an image display system in which an object selected with a fingertip or a pen tip of an input pen is moved and displayed in the depth direction in accordance with the pressing amount of the touch panel.
　また、特許文献２には、立体視差画像が表示部に表示されている操作パネル装置において、押圧手段がタッチパネルに触れる以前に、センサが操作面への近接を検知すると、立体視差画像を平面画像に切り替えて表示部に表示する操作パネル装置が開示されている。 In Patent Document 2, in an operation panel device in which a stereoscopic parallax image is displayed on a display unit, if the sensor detects proximity to the operation surface before the pressing means touches the touch panel, the stereoscopic parallax image is converted into a planar image. An operation panel device that switches to and displays on a display unit is disclosed.
日本国公開特許公報「特開２００６－２９３８７８号公報（２００６年１０月２６日公開）」Japanese Patent Publication “Japanese Patent Laid-Open No. 2006-293878 (published on October 26, 2006)” 日本国公開特許公報「特開２００４－２８０４９６号公報（２００４年１０月０７日公開）」Japanese Patent Publication “Japanese Patent Laid-Open Publication No. 2004-280496 (published Oct. 07, 2004)”
　しかしながら、従来の表示装置においては、オブジェクトの表示目標位置がユーザの正面である場合しか想定されておらず、オブジェクトの表示目標位置がユーザの正面から左右にずれている場合が考慮されていない。ここで、オブジェクトの表示目標位置とは、表示装置がディスプレイ画面の手前又は奥の空間にオブジェクトを（立体）表示しようとする位置、言い換えれば、表示装置がユーザにオブジェクトを視認させようとする位置のことを指す。 However, in the conventional display device, only the case where the display target position of the object is the front of the user is assumed, and the case where the display target position of the object is shifted left and right from the front of the user is not considered. Here, the display target position of the object is a position where the display device tries to display the object in (three-dimensional) in front of or behind the display screen, in other words, a position where the display device tries to make the user visually recognize the object. Refers to that.
　オブジェクトの表示目標位置がユーザの正面から左右にずれている場合、換言すれば、視聴位置（ユーザの頭部の位置）がオブジェクトの表示目標位置の正面に存在しない場合に生じ得る問題について、図１９を参照して説明する。 When the display target position of the object is shifted to the left or right from the front of the user, in other words, the problem that may occur when the viewing position (the position of the user's head) does not exist in front of the display target position of the object. Explanation will be made with reference to FIG.
　ディスプレイ画面５上の点Ｍの手前に設定された表示目標位置ｏにオブジェクトを立体表示する場合、従来の表示装置は、図１９の（ａ）に示すように、右目用画像におけるオブジェクトを点Ｍの左方に描画し、左目用画像におけるオブジェクトを点Ｍの右方に描画する（視差を付ける）。そして、表示目標位置ｏを点Ｍに近づける場合、従来の表示装置は、図１９の（ｂ）に示すように、右目用画像におけるオブジェクトの描画位置ｄｒおよび左目用画像におけるオブジェクトの描画位置ｄｌを、それぞれ、点Ｍに向かって移動する（視差を減らす）。さらに、表示目標位置ｏを点Ｍに一致させる場合、従来の表示装置は、図１９の（ｃ）に示すように、右目用画像におけるオブジェクトと左目用画像におけるオブジェクトとを、共に点Ｍ上に描画する（視差を無くす）。図１９の（ａ）～図１９の（ｃ）に示す何れのステップにおいても、点Ｍから描画位置ｄｒまでの距離と点Ｍから描画位置ｄｌまでの距離とは同一である（視差は左右対称に与えられる）。 When the object is stereoscopically displayed at the display target position o set before the point M on the display screen 5, the conventional display device displays the object in the right-eye image as the point M as shown in FIG. And the object in the left-eye image is drawn to the right of the point M (with parallax). When the display target position o is brought close to the point M, the conventional display device sets the object drawing position dr in the right-eye image and the object drawing position dl in the left-eye image as shown in FIG. , Respectively, move toward the point M (reduce the parallax). Further, when the display target position o is made to coincide with the point M, the conventional display device places both the object in the right-eye image and the object in the left-eye image on the point M, as shown in FIG. Draw (remove parallax). In any step shown in FIGS. 19A to 19C, the distance from the point M to the drawing position dr is the same as the distance from the point M to the drawing position dl (the parallax is symmetrical). To be given).
　このような表示方法を採用した場合、ユーザの頭部が点Ｍの正面に位置していないと、図１９の（ｄ）に示すように、ユーザにオブジェクトを視認させようとする位置である表示目標位置ｏと、ユーザが実際にオブジェクトを視認する位置である視認位置ｏ’との間にズレが生じる。このため、図１９の（ｄ）に示すように、オブジェクトに触れるべくユーザが視認位置ｏ’に指６を差し出しても、従来の表示装置は、ユーザがオブジェクトに触れたというイベントを検出することができない。したがって、ユーザがオブジェクトに触れたと感じているにも関わらず、ユーザがオブジェクトに触れたというイベントに応じた処理が表示装置において実行されず、ユーザに違和感を与えてしまうという事態を招来する。 When such a display method is adopted, if the user's head is not positioned in front of the point M, as shown in FIG. There is a difference between the target position o and the visual recognition position o ′ where the user actually views the object. For this reason, as shown in FIG. 19D, even when the user pushes the finger 6 to the visual recognition position o ′ to touch the object, the conventional display device detects an event that the user touches the object. I can't. Therefore, although the user feels that he / she has touched the object, a process corresponding to the event that the user has touched the object is not executed in the display device, which causes the user to feel uncomfortable.
　また、ユーザがオブジェクトに触れたというイベントに応じた処理を実行しない場合であっても、ユーザに違和感を与えてしまうことは免れない。実際、図１９の（ｄ）に示す位置ｏ’にボタンなどのオブジェクトを視認したユーザは、このボタンを押下するべく、視認位置ｏ’からディスプレイ画面５に下ろした垂線の足の位置に向かって指６を差し出す。そうすると、実際の視認位置ｏ’とディスプレイ画面５との間に入り込んだ指６により立体視が崩れ、それまで位置ｏ’に視認されていたオブジェクトが、突然、ディスプレイ画面５上の点Ｍの辺りにぼやけて視認されるようになる。この場合、ユーザの指６を、実際の視認位置ｏ’からディスプレイ画面５上の点Ｍへと斜めに導けるものの、立体視が崩れる際にユーザに強い違和感を与えてしまう。 Also, even if the process corresponding to the event that the user touches the object is not executed, it is inevitable that the user feels uncomfortable. In fact, a user who has visually recognized an object such as a button at a position o ′ shown in FIG. 19D is directed from the viewing position o ′ to the position of a perpendicular foot lowered on the display screen 5 in order to press the button. Hold your finger 6 out. Then, the stereoscopic vision is lost due to the finger 6 that has entered between the actual viewing position o ′ and the display screen 5, and the object that has been viewed at the position o ′ until then is suddenly around the point M on the display screen 5. Will be blurred. In this case, the user's finger 6 can be guided obliquely from the actual visual recognition position o 'to the point M on the display screen 5, but this gives a strong sense of discomfort to the user when the stereoscopic view is lost.
　本発明は、上記問題に鑑みてなされたものであり、その目的は、立体視可能に表示されたオブジェクトに触ったとき、ユーザにより自然な印象を与えることができる表示装置を提供することにある。 The present invention has been made in view of the above problems, and an object of the present invention is to provide a display device capable of giving a user a natural impression when touching an object displayed in a stereoscopic manner. .
　上記課題を解決するために、本発明に係る表示装置は、ディスプレイ画面にオブジェクトを立体視可能に表示する表示装置であって、前記ディスプレイ画面に近接した物体の位置である近接位置を検出する近接位置検出手段と、前記近接位置検出手段にて検出された前記近接位置が、前記オブジェクトを表示しようとする位置である表示目標位置と一致するか否か、又は、前記近接位置検出手段にて検出された前記近接位置が、前記表示目標位置と前記ディスプレイ画面に対して対称な位置である対称位置と一致するか否かを判定する近接位置判定手段と、前記近接位置判定手段による判定結果において前記近接位置と前記表示目標位置又は前記対称位置とが一致する度に、前記ディスプレイ画面に表示する右目用画像及び左目用画像における前記オブジェクトの描画位置を左右に移動させる画像生成手段とを備え、前記近接位置判定手段による判定結果において前記近接位置と前記表示目標位置又は前記対称位置とが一致する度に、前記表示目標位置をディスプレイ画面に所定の長さ近づけるために前記画像生成手段が前記オブジェクトの描画位置を左右に移動させる移動量は、前記表示目標位置が前記ディスプレイ画面に近づくにつれて小さくなるように設定されている、ことを特徴としている。 In order to solve the above problems, a display device according to the present invention is a display device that displays an object on a display screen so as to be stereoscopically viewed, and is a proximity device that detects a proximity position that is a position of an object close to the display screen. Whether the proximity position detected by the position detection means and the proximity position detection means coincides with a display target position that is a position where the object is to be displayed, or is detected by the proximity position detection means In the determination result by the proximity position determination means, the proximity position determination means for determining whether or not the proximity position that has been made coincides with a symmetrical position that is symmetrical with respect to the display target position and the display screen. Each time the proximity position matches the display target position or the symmetrical position, the right-eye image and the left-eye image displayed on the display screen are displayed. Image generation means for moving the drawing position of the object to the left and right, and each time the proximity position matches the display target position or the symmetrical position in the determination result by the proximity position determination means, the display target position The amount of movement by which the image generating means moves the drawing position of the object to the left and right in order to bring it closer to the display screen by a predetermined length is set so as to decrease as the display target position approaches the display screen. It is characterized by that.
　また、上記課題を解決するために、本発明に係る表示画像生成方法は、ディスプレイ画面にオブジェクトを立体視可能に表示する表示装置が実行する表示画像生成方法であって、前記ディスプレイ画面に近接した物体の位置である近接位置を検出する近接位置検出ステップと、前記近接位置検出ステップにて検出された前記物体の近接位置が、前記オブジェクトを表示しようとする位置である表示目標位置と一致するか否か、又は、前記近接位置検出ステップにて検出された前記物体の近接位置が、前記表示目標位置と前記ディスプレイ画面に対して対称な位置である対称位置と一致するか否かを判定する近接位置判定ステップと、前記近接位置判定ステップによる判定結果において前記近接位置と前記表示目標位置又は前記対称位置とが一致する度に、前記ディスプレイ画面に表示する右目用画像及び左目用画像における前記オブジェクトの描画位置を左右に移動させる画像生成ステップとを含み、前記近接位置判定ステップでの判定結果において前記近接位置と前記表示目標位置又は前記対称位置とが一致する度に、前記表示目標位置をディスプレイ画面に所定の長さ近づけるために前記画像生成ステップにて前記オブジェクトの描画位置を左右に移動させる移動量は、前記表示目標位置が前記ディスプレイ画面に近づくにつれて小さくなるように設定されている、ことを特徴としている。 In order to solve the above-described problem, a display image generation method according to the present invention is a display image generation method executed by a display device that displays an object on a display screen in a stereoscopic manner, and is close to the display screen. A proximity position detection step for detecting a proximity position that is the position of an object, and whether the proximity position of the object detected in the proximity position detection step matches a display target position where the object is to be displayed Proximity to determine whether or not the proximity position of the object detected in the proximity position detection step coincides with a symmetrical position that is symmetrical with respect to the display target position and the display screen In the determination result of the position determination step and the proximity position determination step, the proximity position and the display target position or the symmetrical position are An image generation step of moving the drawing position of the object in the right-eye image and the left-eye image displayed on the display screen to the right and left each time the image is matched, and in the determination result in the proximity position determination step, Each time the display target position or the symmetric position coincides, a movement amount for moving the drawing position of the object left and right in the image generation step in order to bring the display target position closer to a display screen by a predetermined length is: The display target position is set to become smaller as the display screen approaches the display screen.
　ここでいうオブジェクトとは、例えば、ＧＵＩ（グラフィカル・ユーザ・インターフェース）を構成する表示対象物のことを指す。例えば、ボタンやスイッチなど、ユーザによる選択を受け付けるための操作用オブジェクトは、ここでいうオブジェクトの代表例である。 The object here refers to, for example, a display object constituting a GUI (graphical user interface). For example, an operation object for accepting selection by the user, such as a button or a switch, is a representative example of the object here.
　上記構成によれば、前記物体の近接位置と前記オブジェクトの表示目標位置（又はその対称位置）とが一致する度に、右目用画像及び左目用画像におけるオブジェクトの描画位置が左右に移動し、その結果、ユーザが前記オブジェクトを視認する位置である視認位置がディスプレイ画面に近づく。 According to the above configuration, every time the proximity position of the object matches the display target position of the object (or its symmetrical position), the drawing position of the object in the right-eye image and the left-eye image moves to the left and right. As a result, the viewing position where the user visually recognizes the object approaches the display screen.
　ここで、前記オブジェクトの描画位置を移動させる移動量を、前記表示目標位置に拠らず一定とした場合、前記オブジェクトの視認位置は、前記ディスプレイ画面に対して斜めに移動することがある（図１９の（ｄ）参照）。このため、前記オブジェクトの視認位置と前記オブジェクトの表示目標位置との間にズレが生じ得る。 Here, when the movement amount for moving the drawing position of the object is constant regardless of the display target position, the visual recognition position of the object may move obliquely with respect to the display screen (see FIG. 19 (d)). For this reason, a deviation may occur between the visual recognition position of the object and the display target position of the object.
　一方、前記オブジェクトの描画位置を移動させる移動量を、前記表示目標位置が前記ディスプレイ画面に近づくにつれて小さくなるようにした場合、前記オブジェクトの視認位置は、前記ディスプレイ画面に対して垂直に移動する。このため、前記オブジェクトの視認位置と前記オブジェクトの表示目標位置との間に生じ得るズレが抑制される。 On the other hand, when the amount of movement for moving the drawing position of the object is reduced as the display target position approaches the display screen, the visual recognition position of the object moves perpendicularly to the display screen. For this reason, the gap which may arise between the visual recognition position of the object and the display target position of the object is controlled.
　上記構成によれば、このように前記オブジェクトの視認位置と前記オブジェクトの表示目標位置とが一致した状態を保つことによって、あたかも前記オブジェクトが指に追従して動くような感覚をユーザに与えることができる。すなわち、ユーザに対しオブジェクトに確かに触れたのだという印象を与えることができる。 According to the above configuration, by maintaining the state where the visual recognition position of the object coincides with the display target position of the object, it is possible to give the user a feeling as if the object moves following the finger. it can. That is, it is possible to give an impression that the user has surely touched the object.
　本発明によれば、オブジェクトに確かに触れたのだという印象をユーザに与えることができる。 According to the present invention, it is possible to give the user the impression that the object has been touched.
実施形態１に係る表示装置の要部構成を示すブロック図である。1 is a block diagram illustrating a main configuration of a display device according to Embodiment 1. FIG. 図１の表示装置の断面図である。It is sectional drawing of the display apparatus of FIG. 図３の（ａ）は、指がディスプレイ画面に近接したときの、ディスプレイの正面図及び側面図を示し、図３の（ｂ）は、指がディスプレイ画面に接触したときの、ディスプレイの正面図及び側面図を示し、図３の（ｃ）は、オブジェクトがディスプレイ画面に立体視可能に表示されているときの、ディスプレイの正面図及び側面図である。3A shows a front view and a side view of the display when the finger is close to the display screen, and FIG. 3B is a front view of the display when the finger is in contact with the display screen. FIG. 3C is a front view and a side view of the display when the object is displayed on the display screen in a stereoscopic manner. 図４の（ａ）は、オブジェクトに対する、右目用画像に描画されるオブジェクトの描画位置を示す図であり、図４の（ｂ）は、オブジェクトに対する、左目用画像に描画されるオブジェクトの描画位置を示す図である。4A is a diagram illustrating a drawing position of the object drawn on the right-eye image with respect to the object, and FIG. 4B is a drawing position of the object drawn on the left-eye image with respect to the object. FIG. オブジェクト位置に対する、ディスプレイ画面に表示する右目用画像及び左目用画像におけるオブジェクトの描画位置を示す図である。It is a figure which shows the drawing position of the object in the image for right eyes and the image for left eyes displayed on a display screen with respect to an object position. ディスプレイ画面にユーザの指が近接及び接近したときの処理流れを示すフローチャートである。It is a flowchart which shows the processing flow when a user's finger | toe approaches and approaches a display screen. 図７の（ａ）及び図７の（ｂ）は、ユーザの指がディスプレイ画面に近接したときの、ユーザの指の位置、オブジェクト位置、及び、描画位置の一例を示し、図７の（ｃ）は、ユーザの指がディスプレイ画面に接触したときの、ユーザの指の位置、オブジェクト位置、及び、描画位置の一例を示す図である。FIGS. 7A and 7B show an example of the position of the user's finger, the object position, and the drawing position when the user's finger is close to the display screen. ) Is a diagram illustrating an example of the position of the user's finger, the object position, and the drawing position when the user's finger contacts the display screen. 図８の（ａ）は、オブジェクト位置がディスプレイ画面より奥の空間に位置しているときのオブジェクトに対する、右目用画像に描画されるオブジェクトの描画位置を示す図であり、図８の（ｂ）は、オブジェクト位置がディスプレイ画面より奥の空間に位置しているときのオブジェクトに対する、左目用画像に描画されるオブジェクトの描画位置を示す図である。FIG. 8A is a diagram showing the drawing position of the object drawn on the right-eye image with respect to the object when the object position is located in the space behind the display screen, and FIG. These are figures which show the drawing position of the object drawn by the image for left eyes with respect to the object when an object position is located in the space behind a display screen. 図９の（ａ）及び図９の（ｂ）は、ユーザの指がディスプレイ画面に近接したときの、ユーザの指の位置、オブジェクト位置、及び、描画位置の他の例を示し、図９の（ｃ）は、ユーザの指がディスプレイ画面に接触したときの、ユーザの指の位置、オブジェクト位置、及び、描画位置の他の例を示す図である。9A and 9B show other examples of the position of the user's finger, the object position, and the drawing position when the user's finger is close to the display screen. (C) is a figure which shows the other example of the position of a user's finger, an object position, and a drawing position when a user's finger contacts a display screen. 実施形態３に係る表示装置の要部構成を示すブロック図である。FIG. 10 is a block diagram illustrating a main configuration of a display device according to a third embodiment. 図１０の表示装置の断面図である。It is sectional drawing of the display apparatus of FIG. ユーザが表示装置を利用しているときの、ディスプレイ画面の正面図及び側面図を示す図である。It is a figure which shows the front view and side view of a display screen when a user is using the display apparatus. ユーザの顔の位置と右目用画像に描画されたオブジェクト及び左目用画像に描画されたオブジェクトの位置とに対する、オブジェクト位置を示す図である。It is a figure which shows the object position with respect to the position of a user's face, the object drawn on the image for right eyes, and the position of the object drawn on the image for left eyes. 表示装置を利用しているユーザを検出し、ディスプレイ画面にユーザの指が近接及び接近したときの処理流れを示すフローチャートである。It is a flowchart which shows the process flow when the user who utilizes the display apparatus is detected and a user's finger | toe approaches and approaches a display screen. 実施形態４に係る表示装置の要部構成を示すブロック図である。FIG. 10 is a block diagram illustrating a main configuration of a display device according to a fourth embodiment. 図１５の表示装置の断面図である。It is sectional drawing of the display apparatus of FIG. ディスプレイ画面にユーザの指が近接したときの処理流れを示すフローチャートである。It is a flowchart which shows the processing flow when a user's finger | toe approaches the display screen. 図１８の（ａ）は、ユーザの指がディスプレイ画面に近接し、近接位置からディスプレイ画面までの距離が閾値以上であるときの、ユーザの指の位置、及び、オブジェクト位置の一例を示し、図１８の（ｂ）は、近接位置からディスプレイ画面までの距離が閾値より小さいときの、ユーザの指の位置、及び、オブジェクト位置の一例を示す図である。FIG. 18A shows an example of the position of the user's finger and the object position when the user's finger is close to the display screen and the distance from the proximity position to the display screen is equal to or greater than the threshold. 18B is a diagram illustrating an example of the position of the user's finger and the object position when the distance from the proximity position to the display screen is smaller than the threshold value. 図１９の（ａ）～（ｄ）は、オブジェクトの表示目標位置が視聴位置（ユーザの頭部の位置）の正面に設定されていない場合に生じえる従来技術の問題点を説明する図である。FIGS. 19A to 19D are diagrams for explaining problems of the conventional technology that may occur when the display target position of the object is not set in front of the viewing position (position of the user's head). .
　〔実施形態１〕
　以下、本発明の実施の形態について、図面に基づいて説明すれば、以下のとおりである。 [Embodiment 1]
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
　（表示装置１の構成）
　まず、本実施形態に係る表示装置１について、図１を参照して以下に説明する。図１は、本実施形態に係る表示装置１の要部構成を示すブロック図である。図１に示すように、表示装置１は、ディスプレイ画面１０、カメラ（第１の入力デバイス）２０、タッチパネル（第３の入力デバイス）３０、及び、制御部１００を備えている。 (Configuration of display device 1)
First, the display device 1 according to the present embodiment will be described below with reference to FIG. FIG. 1 is a block diagram showing a main configuration of a display device 1 according to the present embodiment. As illustrated in FIG. 1, the display device 1 includes a display screen 10, a camera (first input device) 20, a touch panel (third input device) 30, and a control unit 100.
　ディスプレイ画面１０は、情報を表示しユーザに提供する。このディスプレイ画面１０は、例えば、ＬＣＤ、ＥＬ（Electroluminescence）ディスプレイ、ＰＤＰ（Plasma Display Panel）などの表示パネルのディスプレイ画面である。 Display screen 10 displays information and provides it to the user. The display screen 10 is a display screen of a display panel such as an LCD, an EL (Electroluminescence) display, or a PDP (Plasma Display Panel).
　ディスプレイ画面１０は、オブジェクトを立体視可能に表示することができる。具体的には、両眼視差の原理に基づき、いわゆる３Ｄ眼鏡の装着を必要とせず、そのまま画面を見るだけで立体視が得られるような表示を可能としている。なお、本実施形態においては、上述したように、いわゆる３Ｄ眼鏡の装着を必要としないディスプレイ画面１０を例に説明を行うが、本発明はこれに限定されず、３Ｄ眼鏡の装着を必要とするディスプレイ画面であってもよい。 The display screen 10 can display an object in a stereoscopic manner. Specifically, based on the principle of binocular parallax, it is possible to perform display so that stereoscopic viewing can be obtained by simply looking at the screen without wearing so-called 3D glasses. In the present embodiment, as described above, the display screen 10 that does not require wearing of so-called 3D glasses will be described as an example, but the present invention is not limited to this and requires wearing of 3D glasses. It may be a display screen.
　ここでいうオブジェクトとは、ＧＵＩ（グラフィカル・ユーザ・インターフェース）を構成する表示対象物のことを指す。例えば、ボタン及びスイッチなど、ユーザによる選択を受け付けるための操作用オブジェクトは、ここでいうオブジェクトの代表例である。 Here, the object refers to a display object constituting a GUI (Graphical User Interface). For example, operation objects for accepting selection by the user, such as buttons and switches, are representative examples of objects here.
　なお、本実施形態では、表示装置１がオブジェクトを表示しようとする位置、すなわち、表示装置１がユーザにオブジェクトを視認させようとする位置のことを、「オブジェクト位置」（請求の範囲における「表示目標位置」に対応）と呼称する。このオブジェクト位置は、ユーザが触れることが可能な場所に設定される。より具体的に言うと、ユーザからおよそ５０ｃｍ離れた場所に設定される。 In this embodiment, the position where the display device 1 tries to display an object, that is, the position where the display device 1 tries to make the user visually recognize the object is referred to as “object position” (“display in claims”). Corresponding to the "target position"). This object position is set to a place where the user can touch. More specifically, it is set at a location approximately 50 cm away from the user.
　カメラ２０は、ディスプレイ画面１０に近接した物体を検知し、検知した物体の位置（以下「近接位置」と記載）を示す信号を制御部１００に送信する入力デバイスである。 The camera 20 is an input device that detects an object close to the display screen 10 and transmits a signal indicating the position of the detected object (hereinafter referred to as “proximity position”) to the control unit 100.
　タッチパネル３０は、ディスプレイ画面１０に接触した物体を検知し、検知した物体の位置（以下「接触位置」と記載）を示す信号を制御部１００に送信する入力デバイスである。本実施形態では、タッチパネル３０は、接触型の、いわゆる静電容量方式のタッチパネルであるとする。なお、タッチパネル３０はこれに限定されず、いわゆる抵抗膜方式のものであってもよい。また、タッチパネル３０は、例えば、光センサ内蔵の液晶パネルのような、いわゆる非接触型タッチパネルであってもよい。 The touch panel 30 is an input device that detects an object in contact with the display screen 10 and transmits a signal indicating the position of the detected object (hereinafter referred to as “contact position”) to the control unit 100. In the present embodiment, it is assumed that the touch panel 30 is a contact type so-called capacitive touch panel. The touch panel 30 is not limited to this, and may be a so-called resistive film type. The touch panel 30 may be a so-called non-contact type touch panel such as a liquid crystal panel with a built-in optical sensor.
　ここで、ディスプレイ画面１０、カメラ２０、及び、タッチパネル３０の位置関係を図２を参照して説明する。図２は、表示装置１の断面図である。 Here, the positional relationship between the display screen 10, the camera 20, and the touch panel 30 will be described with reference to FIG. FIG. 2 is a cross-sectional view of the display device 1.
　図２に示すように、表示装置１においては、ディスプレイ画面１０を有する表示パネルの周囲にベゼル２が配置される。ディスプレイ画面１０が配置される平面をｘｙ平面とすると、タッチパネル３０は、ディスプレイ画面１０を覆うように、ディスプレイ画面１０のｚ軸正方向側に配置される。また、カメラ２０は、タッチパネル３０よりもｚ軸正方向に迫り出したベゼル２の内側に配置されている。 As shown in FIG. 2, in the display device 1, the bezel 2 is disposed around the display panel having the display screen 10. If the plane on which the display screen 10 is arranged is the xy plane, the touch panel 30 is arranged on the z-axis positive direction side of the display screen 10 so as to cover the display screen 10. The camera 20 is disposed inside the bezel 2 that protrudes in the positive z-axis direction from the touch panel 30.
　なお、カメラ２０が配置される位置はこれに限定されず、ディスプレイ画面１０に近接した物体を検知できる位置であればよい。また、カメラ２０は、表示装置１と一体の構成であってもよいし、表示装置１とは別個の構成であってもよい。 Note that the position where the camera 20 is arranged is not limited to this, and may be a position where an object close to the display screen 10 can be detected. Further, the camera 20 may be configured integrally with the display device 1 or may be configured separately from the display device 1.
　本実施形態では、ベゼル２は、タッチパネル３０から６ｃｍほどｚ軸方向に迫り出した形状であるとする。つまり、カメラ２０は、タッチパネル３０からおよそ６ｃｍまでの物体をディスプレイ画面１０に近接した物体であると検知することとする。なお、カメラ２０が検知する物体とタッチパネル３０との距離は一例であり、ディスプレイ画面１０の大きさ及び設置場所等に応じた距離にすることが可能である。 In this embodiment, it is assumed that the bezel 2 has a shape protruding from the touch panel 30 by about 6 cm in the z-axis direction. That is, the camera 20 detects that an object approximately 6 cm from the touch panel 30 is an object close to the display screen 10. The distance between the object detected by the camera 20 and the touch panel 30 is an example, and the distance can be set according to the size of the display screen 10 and the installation location.
　次に、制御部１００について説明する。制御部１００は、表示装置１が内部において実行する処理を受け持つ。図１に示すように、制御部１００は、近接位置検出部（近接位置検出手段）１１０、接触位置検出部（接触位置検出手段）１２０、オブジェクト位置保存部１３０、判定部１４０、画像生成部（画像生成手段）１５０、画像出力部１６０、及び、実行部（実行手段）１７０を備えている。また、判定部１４０は、近接位置判定部（近接位置判定手段）１４１及び接触位置判定部（接触位置判定手段）１４２を備えている。 Next, the control unit 100 will be described. The control unit 100 is responsible for processing that the display device 1 executes internally. As shown in FIG. 1, the control unit 100 includes a proximity position detection unit (proximity position detection unit) 110, a contact position detection unit (contact position detection unit) 120, an object position storage unit 130, a determination unit 140, and an image generation unit ( An image generation unit 150, an image output unit 160, and an execution unit (execution unit) 170. The determination unit 140 includes a proximity position determination unit (proximity position determination unit) 141 and a contact position determination unit (contact position determination unit) 142.
　近接位置検出部１１０は、カメラ２０からの入力信号を用いて、ディスプレイ画面１０に近接した物体の位置である近接位置を検出する。具体的には、カメラ２０から送信された近接位置を示す信号（入力信号）を用いて、ディスプレイ画面１０に近接したユーザの指の位置を近接位置として検出する。近接位置検出部１１０は、検出した近接位置を近接位置判定部１４１に供給する。 The proximity position detection unit 110 detects a proximity position that is the position of an object close to the display screen 10 using an input signal from the camera 20. Specifically, the position of the user's finger in proximity to the display screen 10 is detected as a proximity position using a signal (input signal) indicating the proximity position transmitted from the camera 20. The proximity position detection unit 110 supplies the detected proximity position to the proximity position determination unit 141.
　接触位置検出部１２０は、タッチパネル３０からの入力信号を用いて、ディスプレイ画面１０に接触した物体の位置である接触位置を検出する。具体的には、タッチパネル３０から送信された接触位置を示す信号（入力信号）を用いて、ディスプレイ画面１０に接触したユーザの指の位置を接触位置として検出する。接触位置検出部１２０は、検出した接触位置を接触位置判定部１４２に供給する。 The contact position detection unit 120 detects a contact position that is the position of an object that has touched the display screen 10 using an input signal from the touch panel 30. Specifically, the position of the user's finger that touches the display screen 10 is detected as a contact position using a signal (input signal) indicating the contact position transmitted from the touch panel 30. The contact position detection unit 120 supplies the detected contact position to the contact position determination unit 142.
　オブジェクト位置保存部１３０には、オブジェクト位置が保存されている。このオブジェクトのオブジェクト位置は、予め定められた位置である。なお、オブジェクト位置は、ディスプレイ画面１０に対し、予め定められた最適視聴位置と、右目用画像及び左目用画像に描画されたオブジェクトの位置（描画位置）とから得られる位置であってもよい。 The object position is stored in the object position storage unit 130. The object position of this object is a predetermined position. The object position may be a position obtained with respect to the display screen 10 from a predetermined optimum viewing position and the position (drawing position) of the object drawn on the right-eye image and the left-eye image.
　また、オブジェクト位置保存部１３０は、表示装置１と一体の構成であってもよいし、表示装置１とは別個の構成であってもよい。 Further, the object position storage unit 130 may be configured integrally with the display device 1 or may be configured separately from the display device 1.
　近接位置判定部１４１は、オブジェクト位置保存部１３０からオブジェクト位置を取得する。近接位置判定部１４１は、近接位置検出部１１０から供給された近接位置が、取得したオブジェクト位置と一致するか否かを判定する。近接位置判定部１４１は、判定結果を画像生成部１５０に通知する。 The proximity position determination unit 141 acquires the object position from the object position storage unit 130. The proximity position determination unit 141 determines whether the proximity position supplied from the proximity position detection unit 110 matches the acquired object position. The proximity position determination unit 141 notifies the image generation unit 150 of the determination result.
　接触位置判定部１４２は、オブジェクト位置保存部１３０からオブジェクト位置を取得する。接触位置判定部１４２は、接触位置検出部１２０から供給された接触位置が、取得したオブジェクト位置と一致するか否かを判定する。接触位置判定部１４２は、判定結果を実行部１７０に供給する。 The contact position determination unit 142 acquires the object position from the object position storage unit 130. The contact position determination unit 142 determines whether or not the contact position supplied from the contact position detection unit 120 matches the acquired object position. The contact position determination unit 142 supplies the determination result to the execution unit 170.
　画像生成部１５０は、オブジェクトの立体視を実現するためにディスプレイ画面１０に表示する右目用画像及び左目用画像を生成する。画像生成部１５０は、近接位置判定部１４１による判定結果が真であるとき、つまり、近接位置がオブジェクト位置と一致するとき、オブジェクト位置がディスプレイ画面１０に対して垂直に移動するように、右目用画像及び左目用画像におけるオブジェクトの描画位置を左右に移動させた右目用画像及び左目用画像を生成する。オブジェクトの描画位置を左右に移動した右目用画像及び左目用画像の具体的な生成方法については、後述する。 The image generation unit 150 generates a right-eye image and a left-eye image to be displayed on the display screen 10 in order to realize stereoscopic viewing of the object. When the determination result by the proximity position determination unit 141 is true, that is, when the proximity position matches the object position, the image generation unit 150 uses the right eye so that the object position moves vertically with respect to the display screen 10. A right-eye image and a left-eye image are generated by moving the drawing position of the object in the image and the left-eye image to the left and right. A specific method for generating the right-eye image and the left-eye image in which the drawing position of the object has been moved to the left and right will be described later.
　画像生成部１５０は、生成した右目用画像及び左目用画像を画像出力部１６０に供給する。また、画像生成部１５０は、ディスプレイ画面１０に対して垂直に移動させたオブジェクト位置を、新たなオブジェクト位置として、オブジェクト位置保存部１３０に保存する。 The image generation unit 150 supplies the generated right eye image and left eye image to the image output unit 160. In addition, the image generation unit 150 stores the object position moved perpendicular to the display screen 10 in the object position storage unit 130 as a new object position.
　画像出力部１６０は、画像生成部１５０から供給された右目用画像及び左目用画像表示させる。これにより、ディスプレイ画面１０はオブジェクトを立体視可能に表示する。 The image output unit 160 displays the right-eye image and the left-eye image supplied from the image generation unit 150. As a result, the display screen 10 displays the object in a stereoscopic manner.
　実行部１７０は、接触位置判定部１４２による判定結果が真であるとき、つまり、接触位置がオブジェクト位置と一致するとき、オブジェクトが示す機能を実行する。 The execution unit 170 executes the function indicated by the object when the determination result by the contact position determination unit 142 is true, that is, when the contact position matches the object position.
　（近接位置、接触位置、及び、オブジェクト位置について）
　ここで、近接位置検出部１１０が検出する近接位置、接触位置検出部１２０が検出する接触位置、及び、オブジェクト位置について、図３を参照して説明する。 (Proximity position, contact position, and object position)
Here, the proximity position detected by the proximity position detection unit 110, the contact position detected by the contact position detection unit 120, and the object position will be described with reference to FIG.
　まず、図３の（ａ）を用いて近接位置検出部１１０が検出する近接位置について説明する。図３の（ａ）は、指６がディスプレイ画面１０に近接したときの、ディスプレイ画面１０の正面図及び側面図を示す図である。図３の（ａ）に示すように、ユーザの指６などの物体がディスプレイ画面１０から距離ｚ１だけ離れた位置に近接しているとき、近接位置検出部１１０は、指６及びディスプレイ画面１０間の距離ｚ１と、ディスプレイ画面１０の左上隅を原点とするディスプレイ画面１０に平行な面（ｘｙ平面）における指６の位置（ｘ１，ｙ１）とから、（ｘ１，ｙ１，ｚ１）を指６の近接位置として検出する。なお、ディスプレイ画面１０の左右方向をｘ軸とし、ディスプレイ画面１０の上下方向をｙ軸とする。 First, the proximity position detected by the proximity position detection unit 110 will be described with reference to FIG. FIG. 3A is a diagram illustrating a front view and a side view of the display screen 10 when the finger 6 approaches the display screen 10. As shown in FIG. 3A, when an object such as a user's finger 6 is close to the position separated from the display screen 10 by a distance z1, the proximity position detection unit 110 detects the distance between the finger 6 and the display screen 10. And the position (x1, y1) of the finger 6 on a plane (xy plane) parallel to the display screen 10 with the upper left corner of the display screen 10 as the origin (x1, y1, z1) Detect as proximity position. The horizontal direction of the display screen 10 is the x axis, and the vertical direction of the display screen 10 is the y axis.
　次に、図３の（ｂ）を用いて接触位置検出部１２０が検出する近接位置について説明する。図３の（ｂ）は、指６がディスプレイ画面１０に接触したときの、ディスプレイ画面１０の正面図及び側面図を示す図である。図３の（ｂ）に示すように、ユーザの指６などの物体がディスプレイ画面１０に接触しているとき、つまり、近接位置のｚ軸方向の成分が０であるとき、接触位置検出部１２０は、ｘｙ平面における指６の位置（ｘ２，ｙ２）から、（ｘ２，ｙ２，０）を指６の接触位置として検出する。 Next, the proximity position detected by the contact position detection unit 120 will be described with reference to FIG. FIG. 3B is a diagram illustrating a front view and a side view of the display screen 10 when the finger 6 contacts the display screen 10. As shown in FIG. 3B, when an object such as the user's finger 6 is in contact with the display screen 10, that is, when the component in the z-axis direction of the proximity position is 0, the contact position detection unit 120. Detects (x2, y2, 0) as the contact position of the finger 6 from the position (x2, y2) of the finger 6 on the xy plane.
　次に、図３の（ｃ）を用いてオブジェクト位置について説明する。図３の（ｃ）は、オブジェクトｏがディスプレイ画面１０に立体視可能に表示されているときの、ディスプレイ画面１０の正面図及び側面図を示す図である。オブジェクト位置が、（ｘｏ，ｙｏ，ｚｏ）であると予め定められているとき、オブジェクトｏは図３の（ｃ）に示す位置に表示されている。ここで、ｚｏは、オブジェクト位置のディスプレイ画面１０からの距離である（ｚｏ＞０）。 Next, the object position will be described with reference to FIG. FIG. 3C is a diagram illustrating a front view and a side view of the display screen 10 when the object o is displayed on the display screen 10 so as to be stereoscopically viewable. When the object position is predetermined as (xo, yo, zo), the object o is displayed at the position shown in (c) of FIG. Here, zo is the distance of the object position from the display screen 10 (zo> 0).
　なお、ディスプレイ画面１０に平行な面（ｘｙ平面）上のオブジェクト位置を（ｘｏ，ｙｏ）と表しているが、オブジェクトはこの一点のみに表示されているものではなく、（ｘｏ，ｙｏ）を含む領域に表示されている。以下では、説明の便宜上、ｘｙ平面上のオブジェクト位置を、（ｘｏ，ｙｏ）のような代表点を用いて表す。 Note that the object position on a plane (xy plane) parallel to the display screen 10 is represented as (xo, yo), but the object is not displayed only at this one point and includes (xo, yo). It is displayed in the area. Hereinafter, for convenience of explanation, the object position on the xy plane is represented by using a representative point such as (xo, yo).
　（オブジェクト位置に対する右目用画像及び左目用画像の生成について）
　次に、図４を参照して、オブジェクト位置がディスプレイ画面１０に対して垂直に移動するように、右目用画像及び左目用画像におけるオブジェクトの描画位置を左右に移動させた右目用画像及び左目用画像の生成について説明する。 (Regarding generation of right-eye image and left-eye image for object position)
Next, referring to FIG. 4, the right-eye image and the left-eye image in which the drawing position of the object in the right-eye image and the left-eye image is moved left and right so that the object position moves vertically with respect to the display screen 10. Image generation will be described.
　なお、図４ではオブジェクトｏのオブジェクト位置がディスプレイ画面１０より手前の空間に位置している、つまり、ｚ軸正方向に位置していることとする。 In FIG. 4, it is assumed that the object position of the object o is located in a space in front of the display screen 10, that is, in the positive z-axis direction.
　図４の（ａ）は、オブジェクト位置が（ｘｏ，ｙｏ，ｚｏ）であるオブジェクトｏに対する、右目用画像に描画されるオブジェクトｄｒの、ｙ＝ｙｏにおける描画位置（ｘｄｒ，ｙｄｒ，０）を示す図である。 FIG. 4A shows the drawing position (xdr, ydr, 0) at y = yo of the object dr drawn on the right-eye image for the object o whose object position is (xo, yo, zo). FIG.
　ここで、ｆ（ｘ，ｙ，ｚ）は、ディスプレイ画面１０に対し、予め定められた最適視聴位置を示し、Ｄは、最適視聴位置とディスプレイ画面１０との距離を示す。また、Ｗはディスプレイ画面１０の幅を示し、ｓは、ユーザの右目ｆｒ及び左目ｆｌの距離である基線長を示す。ｆｒ’は右目ｆｒからディスプレイ画面１０に対する垂線とディスプレイ画面１０との交点を示し、ｏ’はオブジェクトｏからディスプレイ画面１０に対する垂線とディスプレイ画面１０との交点を示す。 Here, f (x, y, z) represents a predetermined optimum viewing position with respect to the display screen 10, and D represents a distance between the optimum viewing position and the display screen 10. W indicates the width of the display screen 10, and s indicates the baseline length, which is the distance between the user's right eye fr and left eye fl. fr ′ represents the intersection of the perpendicular line from the right eye fr to the display screen 10 and the display screen 10, and o ′ represents the intersection of the perpendicular line from the object o to the display screen 10 and the display screen 10.
　図４の（ａ）に示すように、オブジェクトｄｒ、右目ｆｒ及び交点ｆｒ’がなす直角三角形と、オブジェクトｄｒ、オブジェクトｏ及び交点ｏ’がなす直角三角形とは相似の関係にある。そのため、以下の式（Ａ１）が成り立つ。 4A, the right triangle formed by the object dr, the right eye fr, and the intersection fr ′ is similar to the right triangle formed by the object dr, the object o, and the intersection o ′. Therefore, the following formula (A1) is established.
Figure JPOXMLDOC01-appb-M000005
Figure JPOXMLDOC01-appb-M000005
　式（Ａ１）より、ｘｄｒは式（Ａ２）となる。 From equation (A1), xdr becomes equation (A2).
Figure JPOXMLDOC01-appb-M000006
Figure JPOXMLDOC01-appb-M000006
　また、ｙ＝ｙｏであるため、ｙｄｒ＝ｙｏとなる。 Moreover, since y = yo, ydr = yo.
　次に左目用画像に描画されるオブジェクトｄｌの描画位置について図４の（ｂ）を参照して説明する。図４の（ｂ）は、オブジェクト位置が（ｘｏ，ｙｏ，ｚｏ）であるオブジェクトｏに対する、左目用画像に描画されるオブジェクトｄｌの、ｙ＝ｙｏにおける描画位置ｄｌ（ｘｄｌ，ｙｄｌ，０）を示す図である。 Next, the drawing position of the object dl drawn on the left eye image will be described with reference to FIG. FIG. 4B shows the drawing position dl (xdl, ydl, 0) at y = yo of the object dl drawn on the left-eye image for the object o whose object position is (xo, yo, zo). FIG.
　ここで、ｆｌ’は左目ｆｌからディスプレイ画面１０に対する垂線とディスプレイ画面１０との交点を示し、ｏ’はオブジェクトｏからディスプレイ画面１０に対する垂線とディスプレイ画面１０との交点を示す。 Here, fl ′ represents the intersection of the vertical line from the left eye fl to the display screen 10 and the display screen 10, and o ′ represents the intersection of the vertical line from the object o to the display screen 10 and the display screen 10.
　図４の（ｂ）に示すように、オブジェクトｄｌ、左目ｆｌ及び交点ｆｌ’がなす直角三角形と、オブジェクトｄｌ、オブジェクトｏ及び交点ｏ’がなす直角三角形とは相似の関係にある。そのため、以下の式（Ａ３）が成り立つ。 As shown in FIG. 4B, the right triangle formed by the object dl, the left eye fl, and the intersection fl 'is similar to the right triangle formed by the object dl, the object o, and the intersection o'. Therefore, the following formula (A3) is established.
Figure JPOXMLDOC01-appb-M000007
Figure JPOXMLDOC01-appb-M000007
　式（Ａ３）より、ｘｄｌは式（Ａ４）となる。 From equation (A3), xdl becomes equation (A4).
Figure JPOXMLDOC01-appb-M000008
Figure JPOXMLDOC01-appb-M000008
　また、ｙ＝ｙｏであるため、ｙｄｌ＝ｙｏとなる。 Moreover, since y = yo, ydl = yo.
　ここで、近接位置がオブジェクト位置と一致するとき、オブジェクト位置をディスプレイ画面１０に近づく向きに、ディスプレイ画面１０に対して垂直に移動させる。このときの移動量は、オブジェクトｏが指６に追従して移動できる量であり、本実施形態では、この移動量をαとする。つまり、画像生成部１５０は、オブジェクト位置を（ｘｏ，ｙｏ，ｚｏ－α）に変更する。 Here, when the proximity position matches the object position, the object position is moved perpendicularly to the display screen 10 in a direction approaching the display screen 10. The movement amount at this time is an amount by which the object o can move following the finger 6, and in this embodiment, this movement amount is α. That is, the image generation unit 150 changes the object position to (xo, yo, zo−α).
　画像生成部１５０は、変更したオブジェクト位置（ｘｏ，ｙｏ，ｚｏ－α）を、式（Ａ２）及び式（Ａ４）に代入することにより、右目用画像及び左目用画像に描画されるオブジェクトｄｒ及びオブジェクトｄｌの描画位置をオブジェクト位置から算出する。 The image generation unit 150 substitutes the changed object position (xo, yo, zo−α) into the expressions (A2) and (A4), thereby the objects dr and The drawing position of the object dl is calculated from the object position.
　このように、画像生成部１５０は、上記式（Ａ２）及び式（Ａ４）で表される位置にオブジェクトを描画した、右目用画像及び左目用画像を生成することができる。 Thus, the image generation unit 150 can generate a right-eye image and a left-eye image in which an object is drawn at the position represented by the above formulas (A2) and (A4).
　次に図５を参照して、オブジェクトの描画位置の移動量について説明する。図５は、オブジェクト位置に対する、ディスプレイ画面１０に表示する右目用画像及び左目用画像におけるオブジェクトの描画位置を示す図である。 Next, the movement amount of the drawing position of the object will be described with reference to FIG. FIG. 5 is a diagram illustrating a drawing position of an object in the right-eye image and the left-eye image displayed on the display screen 10 with respect to the object position.
　図５に示すように、オブジェクトのオブジェクト位置がｏ１の位置であるとき、ディスプレイ画面１０に表示された右目用画像及び左目用画像におけるオブジェクトの描画位置は、ｏ１’の位置である。次に、オブジェクトのオブジェクト位置を、ｏ１からｏ２に移動させるために、オブジェクトの描画位置をｏ１’からｏ２’に移動する。このとき、オブジェクトの描画位置の移動量は、図５に示すようにβである。ここで、ｏ２は、ｏ１の位置からディスプレイ画面１０にαだけ近づいた位置である。このときのオブジェクトの描画位置の移動量は、図５に示すようにβである。 As shown in FIG. 5, when the object position of the object is the position o1, the drawing position of the object in the right-eye image and the left-eye image displayed on the display screen 10 is the position o1 '. Next, in order to move the object position of the object from o1 to o2, the drawing position of the object is moved from o1 'to o2'. At this time, the movement amount of the drawing position of the object is β as shown in FIG. Here, o2 is a position that is closer to the display screen 10 by α from the position of o1. The moving amount of the drawing position of the object at this time is β as shown in FIG.
　次に、オブジェクトのオブジェクト位置を、ｏ２からｏ３に移動させるために、オブジェクトの描画位置をｏ２’からｏ３’に移動する。ここで、ｏ３は、ｏ２の位置からディスプレイ画面１０にαだけ近づいた位置である。このときのオブジェクトの描画位置の移動量は、図５に示すようにγである。ここで、図５に示すように、オブジェクトの描画位置ｏ１’からｏ２’までの移動量βと、ｏ２’からｏ３’までの移動量γとは、β＞γの関係である。 Next, in order to move the object position of the object from o2 to o3, the drawing position of the object is moved from o2 'to o3'. Here, o3 is a position that is closer to the display screen 10 by α from the position of o2. The amount of movement of the drawing position of the object at this time is γ as shown in FIG. Here, as shown in FIG. 5, the movement amount β from the drawing position o1 ′ to o2 ′ of the object and the movement amount γ from o2 ′ to o3 ′ have a relationship of β> γ.
　同様に、オブジェクトのオブジェクト位置を、ｏ３からｏ４に移動させるために、オブジェクトの描画位置をｏ３’からｏ４’に移動する。ここで、ｏ４は、ｏ３の位置からディスプレイ画面１０にαだけ近づいた位置である。このときのオブジェクトの描画位置の移動量は、図５に示すようにδである。ここで、図５に示すように、β、γ、及びδは、β＞γ＞δの関係が成り立つ。 Similarly, in order to move the object position of the object from o3 to o4, the drawing position of the object is moved from o3 'to o4'. Here, o4 is a position that is closer to the display screen 10 by α from the position of o3. The amount of movement of the drawing position of the object at this time is δ as shown in FIG. Here, as shown in FIG. 5, β, γ, and δ have a relationship of β> γ> δ.
　これにより、オブジェクトの描画位置を左右に移動させる移動量は、オブジェクトのオブジェクト位置がディスプレイ画面１０に所定の長さ近づく度に小さくなるように設定されていることがわかる。 Thus, it can be seen that the amount of movement for moving the drawing position of the object to the left and right is set to decrease as the object position of the object approaches the display screen 10 by a predetermined length.
　なお、オブジェクトのオブジェクト位置をディスプレイ画面１０に対し垂直に移動させる移動量は、αに限定されない。例えば、オブジェクトのオブジェクト位置をｏ１からｏ２へ移動させた後、オブジェクトのオブジェクト位置をｏ２からｏ４まで移動させるためには、オブジェクトの描画位置はｏ２’からｏ４’まで移動することになる。つまり、オブジェクトのオブジェクト位置をｏ２から２×αだけディスプレイ画面１０に垂直に移動させるとき、オブジェクトの描画位置の移動量は、γ＋δとなる。このとき、ｏ２からディスプレイ画面１０に対し２×αだけ離れた位置から、ｏ２までオブジェクトのオブジェクト位置を移動させるために、オブジェクトの描画位置を左右に移動させたときの移動量は、γ＋δより大きくなる。 Note that the amount of movement for moving the object position of the object perpendicular to the display screen 10 is not limited to α. For example, in order to move the object position of the object from o1 to o2 and then move the object position of the object from o2 to o4, the drawing position of the object moves from o2 'to o4'. That is, when the object position of the object is moved vertically from o2 by 2 × α to the display screen 10, the movement amount of the drawing position of the object is γ + δ. At this time, in order to move the object position of the object from o2 to the o2 from a position 2 × α away from the display screen 10, the amount of movement when the drawing position of the object is moved to the left and right is larger than γ + δ. Become.
　このように、オブジェクトのオブジェクト位置を移動させる移動量はαに限定されないが、オブジェクトのオブジェクト位置がディスプレイ画面１０に所定の長さ近づく度に小さくなるように設定されている。 As described above, the amount of movement for moving the object position of the object is not limited to α, but is set so as to decrease as the object position of the object approaches the display screen 10 by a predetermined length.
　ここで、オブジェクト位置であるｏ４の位置と、描画位置であるｏ４’の位置とが一致するとき、実行部１７０は、このオブジェクトが示す機能を実行する。 Here, when the position o4 that is the object position matches the position o4 'that is the drawing position, the execution unit 170 executes the function indicated by the object.
　なお、図５において、描画位置がｏ４’の位置であり、オブジェクトのオブジェクト位置がｏ４の位置であるとき、ｏ４の位置とｏ４’の位置とが一致していることを例に説明を行ったが、本発明はこれに限定されるものではない。つまり、オブジェクトのオブジェクト位置と描画位置とが一致する位置は、オブジェクトの最初のオブジェクト位置であるｏ１の位置からαの３倍の距離を移動させた位置でなくてもよく、オブジェクトのオブジェクト位置を移動させる量は、任意である。 Note that, in FIG. 5, when the drawing position is the position o4 ′ and the object position of the object is the position o4, the case where the position o4 coincides with the position o4 ′ has been described as an example. However, the present invention is not limited to this. That is, the position where the object position of the object matches the drawing position may not be a position moved by a distance three times α from the position of o1, which is the first object position of the object. The amount to be moved is arbitrary.
　このように、画像生成部１５０は、ユーザの指６がディスプレイ画面１０に近接し、ディスプレイ画面１０に立体視可能に表示されているオブジェクトに触れたとき、つまり、近接位置がオブジェクト位置と一致するとき、オブジェクトの描画位置をβだけ移動させた右目用画像及び左目用画像を生成する。その後、更に指６がオブジェクトに触れ続ける度、つまり、近接位置がオブジェクト位置と一致する度に、右目用画像及び左目用画像におけるオブジェクトの描画位置の移動量が、オブジェクトとディスプレイ画面１０との距離が近くなるにつれて小さくなるように、オブジェクトの描画位置を左右に移動させた右目用画像及び左目用画像を生成する。このように、画像生成部１５０がオブジェクトの描画位置を左右に移動させる移動量は、オブジェクトの表示目標位置がディスプレイ画面１０に近づくにつれて小さくなるように設定されている。 As described above, the image generation unit 150 closes when the user's finger 6 comes close to the display screen 10 and touches an object displayed on the display screen 10 so as to be stereoscopically viewed, that is, the proximity position matches the object position. At this time, a right-eye image and a left-eye image in which the drawing position of the object is moved by β are generated. Thereafter, every time the finger 6 continues to touch the object, that is, every time the proximity position matches the object position, the movement amount of the drawing position of the object in the right-eye image and the left-eye image is the distance between the object and the display screen 10. The image for right eye and the image for left eye are generated by moving the drawing position of the object to the left and right so as to become smaller as the distance becomes closer. As described above, the movement amount by which the image generation unit 150 moves the drawing position of the object to the left and right is set so as to decrease as the display target position of the object approaches the display screen 10.
　これにより、ユーザがオブジェクトを視認する視認位置が、ディスプレイ画面１０に近づく向きにディスプレイ画面１０に対して垂直に移動する。従って、表示装置１は、このように生成された右目用画像及び左目用画像をディスプレイ画面１０に表示することにより、ディスプレイ画面１０に対して垂直に移動した位置にオブジェクトを表示することができる。 Thereby, the visual recognition position where the user visually recognizes the object moves perpendicularly to the display screen 10 in a direction approaching the display screen 10. Therefore, the display device 1 can display the object at a position moved vertically with respect to the display screen 10 by displaying the right-eye image and the left-eye image thus generated on the display screen 10.
　（処理の流れ）
　次に、図６及び図７を参照して、ディスプレイ画面１０に物体が近接及び接近したときの処理流れについて説明する。 (Process flow)
Next, a processing flow when an object approaches and approaches the display screen 10 will be described with reference to FIGS.
　図６は、ディスプレイ画面１０にユーザの指６が近接及び接近したときの処理流れを示すフローチャートである。 FIG. 6 is a flowchart showing a processing flow when the user's finger 6 approaches and approaches the display screen 10.
　ディスプレイ画面１０にオブジェクトｏが立体視可能に表示されているとき、カメラ２０は、ディスプレイ画面１０に近接した指６を検知する（ｄｅｔｅｃｔ１＝１）と、近接位置を示す信号を近接位置検出部１１０に送信する（ステップＳ１０１、以下単にＳ１０１と記載する）。 When the object o is displayed on the display screen 10 so as to be stereoscopically viewed, when the camera 20 detects the finger 6 in proximity to the display screen 10 (detect 1 = 1), a signal indicating the proximity position is detected as the proximity position detection unit 110. (Step S101, hereinafter simply referred to as S101).
　近接位置検出部１１０は、カメラ２０がディスプレイ画面１０に近接した指６を検知したか否かを判定する（Ｓ１０２）。カメラ２０が、ディスプレイ画面１０に近接した指６を検知している場合（Ｓ１０２にてＹｅｓ）、近接位置検出部１１０は、カメラ２０から送信された入力信号より近接位置（ｘ１，ｙ１，ｚ１）を検出する（Ｓ１０３、近接位置検出ステップ）。検知していない場合（Ｓ１０２にてＮｏ）、Ｓ１０１に戻り、カメラ２０は、再度物体を検知する。 The proximity position detection unit 110 determines whether or not the camera 20 has detected the finger 6 that has approached the display screen 10 (S102). When the camera 20 has detected the finger 6 that has approached the display screen 10 (Yes in S102), the proximity position detection unit 110 detects the proximity position (x1, y1, z1) from the input signal transmitted from the camera 20. (S103, proximity position detection step). If not detected (No in S102), the process returns to S101, and the camera 20 detects the object again.
　次に、近接位置判定部１４１及び接触位置判定部１４２は、オブジェクト位置保存部１３０から、オブジェクト位置（ｘｏ，ｙｏ，ｚｏ）を取得する（Ｓ１０４）。 Next, the proximity position determination unit 141 and the contact position determination unit 142 acquire the object position (xo, yo, zo) from the object position storage unit 130 (S104).
　また、タッチパネル３０は、ディスプレイ画面１０に接触した物体を検知する（ｄｅｔｅｃｔ２＝１）と、接触位置を示す信号を接触位置検出部１２０に送信する（Ｓ１０５）。 Further, when the touch panel 30 detects an object in contact with the display screen 10 (detect2 = 1), the touch panel 30 transmits a signal indicating the contact position to the contact position detection unit 120 (S105).
　接触位置検出部１２０は、タッチパネル３０がディスプレイ画面１０に接触した物体を検知したか否かを判定する（Ｓ１０６）。 The contact position detection unit 120 determines whether or not the touch panel 30 has detected an object that has touched the display screen 10 (S106).
　タッチパネル３０が、ディスプレイ画面１０に接触した物体を検知していない場合（Ｓ１０６にてＮｏ）、近接位置判定部１４１は、指６がオブジェクトｏに触れているか否か、つまり、近接位置（ｘ１，ｙ１，ｚ１）が、オブジェクト位置（ｘｏ，ｙｏ，ｚｏ）と一致するか否かを判定する（Ｓ１０７）。 When touch panel 30 does not detect an object that has touched display screen 10 (No in S106), proximity position determination unit 141 determines whether finger 6 is touching object o, that is, proximity position (x1, It is determined whether or not y1, z1) matches the object position (xo, yo, zo) (S107).
　指６がオブジェクトｏに触れていない場合（Ｓ１０７にてＮｏ）、Ｓ１０１に戻り、カメラ２０は、再度物体を検知する。 If the finger 6 is not touching the object o (No in S107), the process returns to S101, and the camera 20 detects the object again.
　指６がオブジェクトｏに触れている場合（Ｓ１０７にてＹｅｓ、近接位置判定ステップ）、画像生成部１５０は、オブジェクト位置がディスプレイ画面１０に近づく向きに、ディスプレイ画面１０に対して垂直に移動するように、オブジェクト位置を（ｘｏ，ｙｏ，ｚｏ－α）に変更する。また、画像生成部１５０は、オブジェクト位置（ｘｏ，ｙｏ，ｚｏ－α）にオブジェクトが表示されるように、右目用画像及び左目用画像におけるオブジェクトの描画位置を左右に移動させた右目用画像及び左目用画像を生成する。画像生成部１５０は、変更したオブジェクト位置（ｘｏ，ｙｏ，ｚｏ－α）を新たなオブジェクト位置として、オブジェクト位置保存部１３０に保存する（Ｓ１０８、画像生成ステップ）。 When the finger 6 is touching the object o (Yes in S107, proximity position determination step), the image generation unit 150 moves vertically with respect to the display screen 10 so that the object position approaches the display screen 10. Then, the object position is changed to (xo, yo, zo-α). Further, the image generation unit 150 moves the drawing position of the object in the right eye image and the left eye image left and right so that the object is displayed at the object position (xo, yo, zo-α), and A left-eye image is generated. The image generation unit 150 stores the changed object position (xo, yo, zo-α) as a new object position in the object position storage unit 130 (S108, image generation step).
　Ｓ１０８後、Ｓ１０１に戻り、カメラ２０は、再度物体を検知する。このように、タッチパネル３０が、ディスプレイ画面１０に接触した物体を検知するまで、処理を繰り返す。 After S108, the process returns to S101, and the camera 20 detects the object again. As described above, the process is repeated until the touch panel 30 detects an object in contact with the display screen 10.
　タッチパネル３０が、ディスプレイ画面１０に接触した物体を検知している場合（Ｓ１０６にてＹｅｓ）、接触位置検出部１２０は、タッチパネル３０から送信された入力信号より接触位置（ｘ２，ｙ２，０）を検出する（Ｓ１０９）。 When the touch panel 30 detects an object that has touched the display screen 10 (Yes in S106), the contact position detection unit 120 determines the contact position (x2, y2, 0) from the input signal transmitted from the touch panel 30. It is detected (S109).
　次に、接触位置判定部１４２は、指６がオブジェクトｏに触れているか否か、つまり、近接位置（ｘ２，ｙ２，０）が、オブジェクト位置（ｘｏ，ｙｏ，ｚｏ）と一致するか否かを判定する（Ｓ１１０）。 Next, the contact position determination unit 142 determines whether or not the finger 6 is touching the object o, that is, whether or not the proximity position (x2, y2, 0) matches the object position (xo, yo, zo). Is determined (S110).
　指６がオブジェクトｏに触れている場合（Ｓ１１０にてＹｅｓ）、実行部１７０は、オブジェクトｏが示す機能を実行する（Ｓ１１１）。 When the finger 6 is touching the object o (Yes in S110), the execution unit 170 executes the function indicated by the object o (S111).
　指６がオブジェクトｏに触れていない場合（Ｓ１１０にてＮｏ）、Ｓ１０１に戻り、カメラ２０は、再度物体を検知する。 If the finger 6 is not touching the object o (No in S110), the process returns to S101, and the camera 20 detects the object again.
　次に、図７を参照して、ユーザの指６がディスプレイ画面１０に近接及び接近したときのユーザの指６の位置、オブジェクト位置、及び、描画位置について説明する。 Next, the position of the user's finger 6, the object position, and the drawing position when the user's finger 6 approaches and approaches the display screen 10 will be described with reference to FIG.
　図７の（ａ）及び（ｂ）は、ユーザの指６がディスプレイ画面１０に近接したときの、ユーザの指６の位置、オブジェクト位置、及び、描画位置の一例を示し、図７の（ｃ）は、ユーザの指６がディスプレイ画面１０に接触したときの、ユーザの指６の位置、オブジェクト位置、及び、描画位置の一例を示す図である。 7A and 7B show an example of the position of the user's finger 6, the object position, and the drawing position when the user's finger 6 comes close to the display screen 10, and FIG. ) Is a diagram illustrating an example of the position of the user's finger 6, the object position, and the drawing position when the user's finger 6 contacts the display screen 10.
　図７の（ａ）に示すように、指６がディスプレイ画面１０に近接し、近接位置（ｘ１，ｙ１，ｚ１）が、オブジェクト位置（ｘｏ，ｙｏ，ｚｏ）と一致すると、画像生成部１５０は、図７の（ｂ）に示すように、オブジェクトｏのオブジェクト位置をディスプレイ画面１０に近づく向きに、ディスプレイ画面１０に対して垂直に移動させる。このときの移動量は、オブジェクトｏが指６に追従して移動できる量であり、αで表す。 As shown in FIG. 7A, when the finger 6 is close to the display screen 10 and the proximity position (x1, y1, z1) matches the object position (xo, yo, zo), the image generation unit 150 As shown in FIG. 7B, the object position of the object o is moved perpendicularly to the display screen 10 in a direction approaching the display screen 10. The movement amount at this time is an amount by which the object o can move following the finger 6 and is represented by α.
　画像生成部１５０は、移動したオブジェクトｏのオブジェクト位置から、右目用画像に描画されるオブジェクトｄｒ及び左目用画像に描画されるオブジェクトｄｌの描画位置を算出し、図７の（ｂ）に示すように左右に移動する。画像生成部１５０は、オブジェクトｏの描画位置を左右に移動させた右目用画像及び左目用画像を生成する。これにより、オブジェクトｏは、移動したオブジェクト位置に立体視可能に表示される。 The image generation unit 150 calculates the drawing position of the object dr drawn on the right eye image and the object dl drawn on the left eye image from the object position of the moved object o, as shown in FIG. Move left and right. The image generation unit 150 generates a right-eye image and a left-eye image in which the drawing position of the object o is moved left and right. Thereby, the object o is displayed at the moved object position so as to be stereoscopically viewed.
　更に、指６の近接位置（ｘ１，ｙ１，ｚ１’）が、位置移動したオブジェクト位置（ｘｏ，ｙｏ，ｚｏ－α）と一致すると、更に画像生成部１５０は、オブジェクトｏのオブジェクト位置をディスプレイ画面１０に近づく向きに、ディスプレイ画面１０に対して垂直に移動させる。このように、指６がディスプレイ画面１０に接触するまで、つまり、オブジェクト位置が（ｘｏ，ｙｏ，０）になるまで、画像生成部１５０は、オブジェクトｏのオブジェクト位置をディスプレイ画面１０に近づく向きに、ディスプレイ画面１０に対して垂直に移動させる。 Further, when the proximity position (x1, y1, z1 ′) of the finger 6 coincides with the moved object position (xo, yo, zo−α), the image generation unit 150 further displays the object position of the object o on the display screen. In the direction approaching 10, the display screen 10 is moved vertically. As described above, until the finger 6 contacts the display screen 10, that is, until the object position becomes (xo, yo, 0), the image generation unit 150 moves the object position of the object o in a direction approaching the display screen 10. The display screen 10 is moved vertically.
　その後、図７の（ｃ）に示すように、指６がディスプレイ画面１０に接触し、接触位置（ｘ２，ｙ２，０）が、オブジェクト位置（ｘｏ，ｙｏ，０）と一致すると、実行部１７０は、オブジェクトｏが示す機能を実行する。 Thereafter, as shown in FIG. 7C, when the finger 6 touches the display screen 10 and the contact position (x2, y2, 0) matches the object position (xo, yo, 0), the execution unit 170 Performs the function indicated by the object o.
　このように表示装置１は、生成された右目用画像及び左目用画像をディスプレイ画面１０に表示することにより、ディスプレイ画面１０に対して垂直に移動した位置にオブジェクトを表示することができる。 Thus, the display device 1 can display the object at a position moved vertically with respect to the display screen 10 by displaying the generated right-eye image and left-eye image on the display screen 10.
　これにより、表示装置１は、ユーザに対しオブジェクトに確かに触れたのだという印象を与えることができるという効果を奏する。 As a result, the display device 1 has an effect that it can give the user the impression that the user has surely touched the object.
　また、本実施形態のようにオブジェクトｏの位置がディスプレイ画面１０より手前の空間にあるとき、表示装置１は、右目用画像及び左目用画像におけるオブジェクトの描画位置を、を式（Ａ２）及び式（Ａ４）に示すような、簡単な計算によって得ることができる。また、表示装置１は、オブジェクトｏをディスプレイ画面１０に近づく方向に、ディスプレイ画面１０に対し垂直に移動させることができる。 Further, when the position of the object o is in the space in front of the display screen 10 as in the present embodiment, the display device 1 represents the drawing position of the object in the right-eye image and the left-eye image by using the formula (A2) and the formula It can be obtained by a simple calculation as shown in (A4). Further, the display device 1 can move the object o perpendicular to the display screen 10 in a direction approaching the display screen 10.
　これにより、表示装置１は、ユーザがオブジェクトをディスプレイ画面１０に向かって押しているという自然な印象を与えることができる。 Thereby, the display device 1 can give a natural impression that the user is pushing the object toward the display screen 10.
　また、カメラ２０が検知する位置に、指６が近接すると、カメラ２０は指６の近接を検知し、近接位置を示す入力信号を近接位置検出部１１０に送信する。近接位置検出部１１０は、送信された入力信号を用いて、近接位置を検出する。これにより表示装置１は、近接位置がオブジェクトｏのオブジェクト位置と一致したときオブジェクトをディスプレイ画面１０に近づく方向に、ディスプレイ画面１０に対し垂直に移動させることができる。 When the finger 6 comes close to the position detected by the camera 20, the camera 20 detects the proximity of the finger 6 and transmits an input signal indicating the proximity position to the proximity position detection unit 110. The proximity position detection unit 110 detects the proximity position using the transmitted input signal. Accordingly, the display device 1 can move the object perpendicular to the display screen 10 in a direction approaching the display screen 10 when the proximity position matches the object position of the object o.
　従って、ユーザはあたかもオブジェクトに実際に触れたかのように感じることができる。 Therefore, the user can feel as if the user actually touched the object.
　また、表示装置１は、ディスプレイ画面１０に表示されたオブジェクトｏに指６が触れると、オブジェクトが示す機能を実行する。 Further, when the finger 6 touches the object o displayed on the display screen 10, the display device 1 executes a function indicated by the object.
　これにより、表示装置１は、ユーザに確かにオブジェクトｏを押したのだという印象を与えることができる。 Thereby, the display device 1 can give the user an impression that the object o is surely pressed.
　なお、本実施形態では、近接位置を検知する入力デバイスとして、カメラ２０を挙げ、説明を行ったが、近接位置を検知する入力デバイスはこれに限定されない。例えば、赤外線センサ及びタッチパネルであってもよい。また、タッチパネルは、いわゆる非接触型タッチパネルである。 In the present embodiment, the camera 20 has been described as an input device for detecting the proximity position. However, the input device for detecting the proximity position is not limited to this. For example, an infrared sensor and a touch panel may be used. The touch panel is a so-called non-contact type touch panel.
　〔実施形態２〕
　実施形態１では、オブジェクトｏのオブジェクト位置がディスプレイ画面１０より手前の空間に位置しているときを例に説明を行ったが、オブジェクト位置は、これに限定されない。つまり、オブジェクト位置は、ディスプレイ画面１０より奥の空間に位置していてもよい。 [Embodiment 2]
In the first embodiment, the case where the object position of the object o is located in the space in front of the display screen 10 has been described as an example. However, the object position is not limited to this. That is, the object position may be located in a space behind the display screen 10.
　本実施形態では、オブジェクトｏのオブジェクト位置がディスプレイ画面１０より奥の空間に位置している、つまり、ｚ軸負方向に位置していることとする。以下、本発明に係る第２の実施形態について、図８及び図９を参照して説明する。 In this embodiment, it is assumed that the object position of the object o is located in a space behind the display screen 10, that is, in the negative z-axis direction. Hereinafter, a second embodiment according to the present invention will be described with reference to FIGS.
　（オブジェクト位置に対する右目用画像及び左目用画像の生成について）
　図８を参照して、オブジェクト位置がディスプレイ画面１０より奥の空間に位置しているとき、オブジェクト位置がディスプレイ画面１０に対して垂直に移動するように、右目用画像及び左目用画像におけるオブジェクトの描画位置を左右に移動させた右目用画像及び左目用画像の生成について説明する。 (Regarding generation of right-eye image and left-eye image for object position)
Referring to FIG. 8, when the object position is located in a space deeper than the display screen 10, the object positions in the right-eye image and the left-eye image are moved so that the object position moves vertically with respect to the display screen 10. Generation of a right-eye image and a left-eye image with the drawing position moved to the left and right will be described.
　図８の（ａ）は、オブジェクト位置が（ｘｏ，ｙｏ，－ｚｏ）であるオブジェクトｏに対する、右目用画像に描画されるオブジェクトｄｒの、ｙ＝ｙｏにおける描画位置（ｘｄｒ，ｙｄｒ，０）を示す図である。ここで、ｚｏは、オブジェクト位置のディスプレイ画面１０からの距離である（ｚｏ＞０）。 FIG. 8A shows the drawing position (xdr, ydr, 0) at y = yo of the object dr drawn on the right-eye image for the object o whose object position is (xo, yo, −zo). FIG. Here, zo is the distance of the object position from the display screen 10 (zo> 0).
　ここで、ｆ（ｘ，ｙ，ｚ）は、ディスプレイ画面１０に対し、予め定められた最適視聴位置を示し、Ｄは、最適視聴位置とディスプレイ画面１０との距離を示す。また、Ｗはディスプレイ画面１０の幅を示し、ｓは、ユーザの右目ｆｒ及び左目ｆｌの距離である基線長を示す。ｆｒ’は右目ｆｒからディスプレイ画面１０に対する垂線とディスプレイ画面１０との交点を示し、ｄｒ’は、右目用画像に描画されるオブジェクトｄｒからｚ＝－ｚｏに対する垂線と、ｚ＝－ｚｏとの交点を示す。 Here, f (x, y, z) represents a predetermined optimum viewing position with respect to the display screen 10, and D represents a distance between the optimum viewing position and the display screen 10. W indicates the width of the display screen 10, and s indicates the baseline length, which is the distance between the user's right eye fr and left eye fl. fr ′ indicates the intersection of the perpendicular to the display screen 10 from the right eye fr and the display screen 10, and dr ′ is the intersection of the perpendicular to the z = −zo and z = −zo from the object dr drawn in the right eye image. Indicates.
　図８の（ａ）に示すように、オブジェクトｄｒ、右目ｆｒ及び交点ｆｒ’がなす直角三角形と、オブジェクトｏ、オブジェクトｄｒ及び交点ｄｒ’がなす直角三角形とは相似の関係にある。そのため、以下の式（Ａ５）が成り立つ。 As shown in FIG. 8A, the right triangle formed by the object dr, the right eye fr, and the intersection fr ′ is similar to the right triangle formed by the object o, the object dr, and the intersection dr ′. Therefore, the following formula (A5) is established.
Figure JPOXMLDOC01-appb-M000009
Figure JPOXMLDOC01-appb-M000009
　式（Ａ５）より、ｘｄｒは式（Ａ６）となる。 From equation (A5), xdr becomes equation (A6).
Figure JPOXMLDOC01-appb-M000010
Figure JPOXMLDOC01-appb-M000010
　また、ｙ＝ｙｏであるため、ｙｄｒ＝ｙｏとなる。 Moreover, since y = yo, ydr = yo.
　次に左目用画像に描画されるオブジェクトｄｌの描画位置について図８の（ｂ）を参照して説明する。図８の（ｂ）は、オブジェクト位置が（ｘｏ，ｙｏ，－ｚｏ）であるオブジェクトｏに対する、左目用画像に描画されるオブジェクトｄｌの、ｙ＝ｙｏにおける描画位置ｄｌ（ｘｄｌ，ｙｄｌ，０）を示す図である。 Next, the drawing position of the object dl drawn on the left-eye image will be described with reference to FIG. FIG. 8B shows a drawing position dl (xdl, ydl, 0) at y = yo of the object dl drawn on the left-eye image for the object o whose object position is (xo, yo, −zo). FIG.
　ここで、ｆｌ’は左目ｆｌからディスプレイ画面１０に対する垂線とディスプレイ画面１０との交点を示し、ｄｌ’は、左目用画像に描画されるオブジェクトｄｌから－ｚｏに対する垂線と、ｚ＝－ｚｏとの交点を示す。 Here, fl ′ indicates the intersection of the perpendicular line from the left eye fl to the display screen 10 and the display screen 10, and dl ′ is a perpendicular line from the object dl drawn on the left eye image to −zo and z = −zo. Indicates the intersection.
　図８の（ｂ）に示すように、オブジェクトｄｌ、左目ｆｌ及び交点ｆｌ’がなす直角三角形と、オブジェクトｏ、オブジェクトｄｌ及び交点ｄｌ’がなす直角三角形とは相似の関係にある。そのため、以下の式（Ａ７）が成り立つ。 As shown in FIG. 8B, the right triangle formed by the object dl, the left eye fl, and the intersection fl ′ is similar to the right triangle formed by the object o, the object dl, and the intersection dl ′. Therefore, the following formula (A7) is established.
　式（Ａ７）より、ｘｄｌは式（Ａ８）となる。 From equation (A7), xdl becomes equation (A8).
Figure JPOXMLDOC01-appb-M000012
Figure JPOXMLDOC01-appb-M000012
　また、ｙ＝ｙｏであるため、ｙｄｌ＝ｙｏとなる。 Moreover, since y = yo, ydl = yo.
　ここで、オブジェクト位置は、ディスプレイ画面１０より奥の空間に位置しているので、近接位置判定部１４１は、近接位置が、ディスプレイ画面１０に対しオブジェクト位置と対称となる位置（対称位置）と一致するか否かを判定する。 Here, since the object position is located in a space behind the display screen 10, the proximity position determination unit 141 matches the position (symmetric position) where the proximity position is symmetric with respect to the object position with respect to the display screen 10. It is determined whether or not to do.
　なお、ディスプレイ画面１０に対し、オブジェクト位置と対称となる位置とは、オブジェクト位置からディスプレイ画面１０に対する垂線上の位置であって、垂線の長さが同じになる位置である。 It should be noted that the position symmetrical to the object position with respect to the display screen 10 is a position on the vertical line from the object position to the display screen 10 and has the same vertical length.
　つまり、オブジェクト位置が（ｘｏ，ｙｏ，－ｚｏ）であるとき、近接位置判定部１４１は、近接位置が、（ｘｏ，ｙｏ，ｚｏ）の位置と一致するか否かを判定する。 That is, when the object position is (xo, yo, −zo), the proximity position determination unit 141 determines whether or not the proximity position matches the position of (xo, yo, zo).
　そして、近接位置が、（ｘｏ，ｙｏ，ｚｏ）の位置と一致するとき、オブジェクト位置をディスプレイ画面１０に近づく向きに、ディスプレイ画面１０に対して垂直に移動させる。このときの移動量は、オブジェクトｏが指６に追従して移動できる量であり、本実施形態では、この移動量をαとする。つまり、画像生成部１５０は、オブジェクト位置を（ｘｏ，ｙｏ，－ｚｏ＋α）に変更する。 Then, when the proximity position matches the position of (xo, yo, zo), the object position is moved perpendicularly to the display screen 10 in a direction approaching the display screen 10. The movement amount at this time is an amount by which the object o can move following the finger 6, and in this embodiment, this movement amount is α. That is, the image generation unit 150 changes the object position to (xo, yo, −zo + α).
　画像生成部１５０は、変更したオブジェクト位置（ｘｏ，ｙｏ，－ｚｏ＋α）を、式（Ａ６）及び式（Ａ８）に代入することにより、右目用画像及び左目用画像に描画されるオブジェクトｄｒ及びオブジェクトｄｌの描画位置をオブジェクト位置から算出する。 The image generation unit 150 substitutes the changed object position (xo, yo, −zo + α) into the expressions (A6) and (A8), thereby drawing the object dr and the object drawn in the right eye image and the left eye image. The drawing position of dl is calculated from the object position.
　このように、画像生成部１５０は、上記式（Ａ６）及び式（Ａ８）で表される位置にオブジェクトを描画した、右目用画像及び左目用画像を生成することができる。 As described above, the image generation unit 150 can generate a right-eye image and a left-eye image in which an object is drawn at the position represented by the above formulas (A6) and (A8).
　このように、画像生成部１５０は、オブジェクト位置をディスプレイ画面１０に近づく向きに、ディスプレイ画面１０に対して垂直に移動させたとき、描画位置のｘ成分を変更した右目用画像及び左目用画像を生成する。つまり、画像生成部１５０は、オブジェクトの描画位置を左右に移動した右目用画像及び左目用画像を生成する。 As described above, when the image generation unit 150 moves the object position vertically to the display screen 10 in a direction approaching the display screen 10, the image generation unit 150 displays the right-eye image and the left-eye image in which the x component of the drawing position is changed. Generate. That is, the image generation unit 150 generates a right-eye image and a left-eye image in which the drawing position of the object is moved to the left and right.
　（処理の流れ）
　次に、図９を参照して、ユーザの指６がディスプレイ画面１０に近接及び接近したときのユーザの指６の位置、オブジェクト位置、及び、描画位置について説明する。 (Process flow)
Next, the position of the user's finger 6, the object position, and the drawing position when the user's finger 6 approaches and approaches the display screen 10 will be described with reference to FIG.
　図９の（ａ）及び（ｂ）は、ユーザの指６がディスプレイ画面１０に近接したときの、ユーザの指６の位置、オブジェクト位置、及び、描画位置の一例を示し、図９の（ｃ）は、ユーザの指６がディスプレイ画面１０に接触したときの、ユーザの指６の位置、オブジェクト位置、及び、描画位置の一例を示す図である。 9A and 9B show an example of the position of the user's finger 6, the object position, and the drawing position when the user's finger 6 comes close to the display screen 10, and FIG. ) Is a diagram illustrating an example of the position of the user's finger 6, the object position, and the drawing position when the user's finger 6 contacts the display screen 10.
　図９の（ａ）に示すように、指６がディスプレイ画面１０に近接し、近接位置（ｘ１，ｙ１，ｚ１）が、ディスプレイ画面１０に対し、オブジェクト位置（ｘｏ，ｙｏ，－ｚｏ）と対称となる位置（ｘｏ，ｙｏ，ｚｏ）と一致すると、画像生成部１５０は、図９の（ｂ）に示すように、オブジェクトｏのオブジェクト位置をディスプレイ画面１０に近づく向きに、ディスプレイ画面１０に対して垂直に移動させる。このときの移動量は、オブジェクトｏが指６に追従して移動できる量であり、αで表す。 As shown in FIG. 9A, the finger 6 is close to the display screen 10, and the proximity position (x1, y1, z1) is symmetrical with respect to the display screen 10 with respect to the object position (xo, yo, −zo). When the position coincides with the position (xo, yo, zo), the image generation unit 150 moves the object position of the object o toward the display screen 10 in a direction approaching the display screen 10 as illustrated in FIG. To move vertically. The movement amount at this time is an amount by which the object o can move following the finger 6 and is represented by α.
　画像生成部１５０は、移動したオブジェクトｏのオブジェクト位置から、右目用画像に描画されるオブジェクトｄｒ及び左目用画像に描画されるオブジェクトｄｌの描画位置を算出し、図９の（ｂ）に示すように左右に移動する。画像生成部１５０は、オブジェクトｏの描画位置を左右に移動させた右目用画像及び左目用画像を生成する。これにより、オブジェクトｏは、移動したオブジェクト位置に立体視可能に表示される。 The image generation unit 150 calculates the drawing position of the object dr drawn on the right eye image and the object dl drawn on the left eye image from the object position of the moved object o, as shown in FIG. Move left and right. The image generation unit 150 generates a right-eye image and a left-eye image in which the drawing position of the object o is moved left and right. Thereby, the object o is displayed at the moved object position so as to be stereoscopically viewed.
　更に、指６の近接位置（ｘ１，ｙ１，ｚ１’）が、ディスプレイ画面１０に対し、位置を移動したオブジェクト位置（ｘｏ，ｙｏ，－ｚｏ＋α）と対称となる位置（ｘｏ，ｙｏ，ｚｏ－α）と一致すると、更に画像生成部１５０は、オブジェクトｏのオブジェクト位置をディスプレイ画面１０に近づく向きに、ディスプレイ画面１０に対して垂直に移動させる。このように、指６がディスプレイ画面１０に接触するまで、つまり、オブジェクト位置が（ｘｏ，ｙｏ，０）になるまで、画像生成部１５０は、オブジェクトｏのオブジェクト位置をディスプレイ画面１０に近づく向きに、ディスプレイ画面１０に対して垂直に移動させる。 Further, the proximity position (x1, y1, z1 ′) of the finger 6 is symmetric with respect to the display screen 10 (xo, yo, zo−α) with the object position (xo, yo, −zo + α) moved. ), The image generation unit 150 further moves the object position of the object o perpendicular to the display screen 10 in a direction approaching the display screen 10. As described above, until the finger 6 contacts the display screen 10, that is, until the object position becomes (xo, yo, 0), the image generation unit 150 moves the object position of the object o in a direction approaching the display screen 10. The display screen 10 is moved vertically.
　その後、図９の（ｃ）に示すように、指６がディスプレイ画面１０に接触し、接触位置（ｘ２，ｙ２，０）が、オブジェクト位置（ｘｏ，ｙｏ，０）と一致すると、実行部１７０は、オブジェクトｏが示す機能を実行する。 Thereafter, as shown in FIG. 9C, when the finger 6 contacts the display screen 10 and the contact position (x2, y2, 0) matches the object position (xo, yo, 0), the execution unit 170 Performs the function indicated by the object o.
　このように、オブジェクトｏの位置が、ディスプレイ画面１０より奥の空間であっても、表示装置１は、右目用画像及び左目用画像におけるオブジェクトの描画位置を、を式（Ａ６）及び式（Ａ８）に示すような、簡単な計算によって得ることができる。また、表示装置１は、オブジェクトｏをディスプレイ画面１０に近づく方向に、ディスプレイ画面１０に対し垂直に移動させることができる。 As described above, even when the position of the object o is in the space behind the display screen 10, the display device 1 determines the drawing positions of the objects in the right-eye image and the left-eye image using the expressions (A6) and (A8). It can be obtained by a simple calculation as shown in FIG. Further, the display device 1 can move the object o perpendicular to the display screen 10 in a direction approaching the display screen 10.
　これにより、表示装置１０は、ユーザがオブジェクトｏをディスプレイ画面１０に向かって押しているという自然な印象を与えることができる。 Thereby, the display device 10 can give a natural impression that the user is pushing the object o toward the display screen 10.
　〔実施形態３〕
　実施形態１及び２では、オブジェクトｏのオブジェクト位置が、予め定められた位置であるときを例に説明を行ったが、オブジェクトｏのオブジェクト位置は、図１９の（ｄ）に示すように、ユーザがディスプレイ画面１０をどの位置から見ているかによって異なる。このように、ユーザがオブジェクトを視認している視認位置と、オブジェクト位置とが異なると、ユーザは、オブジェクトに触れることができない場合がある。本実施形態では、ユーザの顔の位置からオブジェクトｏのオブジェクト位置を算出し、ユーザがどの位置でディスプレイ画面１０を見ていても、オブジェクトに触れることができるようにする。以下、本発明に係る第３の実施形態について、図１０から図１４を参照して説明する。 [Embodiment 3]
In the first and second embodiments, the case where the object position of the object o is a predetermined position has been described as an example. However, as illustrated in FIG. Depends on the position from which the display screen 10 is viewed. Thus, if the visual recognition position where the user visually recognizes the object is different from the object position, the user may not be able to touch the object. In the present embodiment, the object position of the object o is calculated from the position of the user's face so that the user can touch the object regardless of the position at which the user is viewing the display screen 10. Hereinafter, a third embodiment according to the present invention will be described with reference to FIGS.
　（表示装置３の構成）
　まず、本実施形態に係る表示装置３について、図１０を参照して以下に説明する。なお、説明の便宜上、前記実施形態１にて説明した図１と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。 (Configuration of display device 3)
First, the display device 3 according to the present embodiment will be described below with reference to FIG. For convenience of explanation, members having the same functions as those in FIG. 1 described in the first embodiment are denoted by the same reference numerals and description thereof is omitted.
　図１０は、本実施形態に係る表示装置３の要部構成を示すブロック図である。図１０に示すように、表示装置３は、ディスプレイ画面１０、カメラ（第１の入力デバイス）２０、タッチパネル（第３の入力デバイス）３０、カメラ（第２の入力デバイス）４０、及び、制御部３００を備えている。 FIG. 10 is a block diagram showing a main configuration of the display device 3 according to the present embodiment. As shown in FIG. 10, the display device 3 includes a display screen 10, a camera (first input device) 20, a touch panel (third input device) 30, a camera (second input device) 40, and a control unit. 300.
　カメラ４０は、表示装置３を利用しているユーザの顔を検知し、検知した顔の情報及び顔の位置を示す信号を制御部３００に送信する入力デバイスである。 The camera 40 is an input device that detects the face of the user who uses the display device 3 and transmits a signal indicating the detected face information and the position of the face to the control unit 300.
　ここで、ディスプレイ画面１０、カメラ２０、タッチパネル３０、及び、カメラ４０の位置関係を図１１を参照して説明する。図１１は、表示装置３の断面図である。 Here, the positional relationship among the display screen 10, the camera 20, the touch panel 30, and the camera 40 will be described with reference to FIG. FIG. 11 is a cross-sectional view of the display device 3.
　図１１に示すように、表示装置３は、図２で示した表示装置１の下部（ｙ軸負方向）にカメラ４０が配置されている。なお、カメラ４０が配置される位置はこれに限定されず、表示装置３を利用しているユーザの顔が検知できる位置であればよい。また、表示装置３は、図２のようにベゼル２で囲まれた構成であってもよい。 As shown in FIG. 11, in the display device 3, a camera 40 is disposed below the display device 1 shown in FIG. 2 (in the negative y-axis direction). In addition, the position where the camera 40 is disposed is not limited to this, and may be a position where the face of the user who uses the display device 3 can be detected. Further, the display device 3 may have a configuration surrounded by the bezel 2 as shown in FIG.
　また、カメラ４０は、表示装置３と一体の構成であってもよいし、表示装置３とは別個の構成であってもよい。また、カメラ４０は、カメラ２０と一体の構成であってもよい。 Further, the camera 40 may be configured integrally with the display device 3 or may be configured separately from the display device 3. Further, the camera 40 may be integrated with the camera 20.
　次に、制御部３００について説明する。制御部３００は、表示装置３が内部において実行する処理を受け持つ。図１０に示すように、制御部３００は、近接位置検出部（近接位置検出手段）１１０、接触位置検出部（接触位置検出手段）１２０、オブジェクト位置保存部１３０、判定部１４０、画像生成部（画像生成手段）１５０、画像出力部１６０、実行部（実行手段）１７０、顔検出部（顔検出手段）３１０、及び、オブジェクト位置算出部（オブジェクト位置算出手段）３２０を備えている。また、判定部１４０は、近接位置判定部（近接位置判定手段）１４１及び接触位置判定部（接触位置判定手段）１４２を備えている。 Next, the control unit 300 will be described. The control unit 300 is responsible for processing that the display device 3 executes internally. As shown in FIG. 10, the control unit 300 includes a proximity position detection unit (proximity position detection unit) 110, a contact position detection unit (contact position detection unit) 120, an object position storage unit 130, a determination unit 140, and an image generation unit ( An image generation unit 150, an image output unit 160, an execution unit (execution unit) 170, a face detection unit (face detection unit) 310, and an object position calculation unit (object position calculation unit) 320. The determination unit 140 includes a proximity position determination unit (proximity position determination unit) 141 and a contact position determination unit (contact position determination unit) 142.
　顔検出部３１０は、カメラ４０からの入力信号を用いて、表示装置３を利用しているユーザの顔を認識する。具体的には、カメラ４０から送信されたユーザの顔の情報とその位置を示す信号を用いて、ユーザの顔を認識する。ここで、ユーザの顔の情報とは、ユーザの右目、左目、鼻及び口など、ユーザの顔の構成要素を示す情報である。 The face detection unit 310 recognizes the face of the user who is using the display device 3 using an input signal from the camera 40. Specifically, the user's face is recognized using the user's face information transmitted from the camera 40 and a signal indicating its position. Here, the user's face information is information indicating components of the user's face such as the user's right eye, left eye, nose and mouth.
　顔検出部３１０は、ユーザの顔を認識すると、ディスプレイ画面１０に対するユーザの顔の位置を検出する。なお、本実施形態では、顔検出部３１０が検出するユーザの顔の位置は、ユーザの鼻の位置とするが、これに限定されず、例えば、ユーザの右目の位置であってもよい。顔検出部３１０は、検出したユーザの顔の位置をオブジェクト位置算出部３２０に供給する。 When the face detection unit 310 recognizes the user's face, the face detection unit 310 detects the position of the user's face with respect to the display screen 10. In the present embodiment, the position of the user's face detected by the face detection unit 310 is the position of the user's nose, but is not limited thereto, and may be, for example, the position of the user's right eye. The face detection unit 310 supplies the detected position of the user's face to the object position calculation unit 320.
　また、顔検出部３１０は、ユーザの顔が認識できなかったとき、その旨をオブジェクト位置算出部３２０に通知する。 In addition, when the face of the user cannot be recognized, the face detection unit 310 notifies the object position calculation unit 320 to that effect.
　オブジェクト位置算出部３２０は、ディスプレイ画面１０に立体視可能に表示されるオブジェクトのオブジェクト位置を算出する。具体的には、顔検出部３１０から供給されたユーザの顔の位置と、ディスプレイ画面１０に表示された右目用画像及び左目用画像におけるオブジェクトの描画位置とから、オブジェクト位置を算出する。オブジェクト位置の算出方法については、後述する。 The object position calculation unit 320 calculates the object position of the object displayed on the display screen 10 so as to be stereoscopically viewable. Specifically, the object position is calculated from the position of the user's face supplied from the face detection unit 310 and the drawing position of the object in the right-eye image and the left-eye image displayed on the display screen 10. A method for calculating the object position will be described later.
　また、オブジェクト位置算出部３２０は、顔検出部３１０からユーザの顔が認識できなかった旨の通知を受けとると、ディスプレイ画面１０に対し予め定められた最適視聴位置と、オブジェクトの描画位置とから、オブジェクト位置を算出する。オブジェクト位置の算出方法については、後述する。 In addition, when the object position calculation unit 320 receives a notification from the face detection unit 310 that the user's face has not been recognized, the object position calculation unit 320 uses the optimal viewing position determined in advance for the display screen 10 and the drawing position of the object. Calculate the object position. A method for calculating the object position will be described later.
　オブジェクト位置算出部３２０は、算出したオブジェクト位置を、オブジェクト位置保存部１３０に保存する。 The object position calculation unit 320 stores the calculated object position in the object position storage unit 130.
　近接位置判定部１４１は、近接位置検出部１１０にて検出された近接位置が、オブジェクト位置算出部３２０によって算出されたオブジェクト位置と一致するか否かを判定する。 The proximity position determination unit 141 determines whether the proximity position detected by the proximity position detection unit 110 matches the object position calculated by the object position calculation unit 320.
　（ユーザの顔の位置について）
　ここで、顔検出部３１０が検出するユーザの顔の位置（顔位置）について、図１２を参照して説明する。 (Regarding the position of the user's face)
Here, the position of the user's face (face position) detected by the face detection unit 310 will be described with reference to FIG.
　図１２は、ユーザが表示装置３を利用しているときの、ディスプレイ画面１０の正面図及び側面図である。図１２に示すように、ユーザの顔がディスプレイ画面１０から距離ｚ３だけ離れた位置にあるとき、顔検出部３１０は、ユーザの顔及びディスプレイ画面１０間の距離ｚ３と、左上を原点とするディスプレイ画面１０に平行な面（ｘｙ平面）における顔の位置（ｘ３，ｙ３）とから、（ｘ３，ｙ３，ｚ３）を顔の位置として検出する。 FIG. 12 is a front view and a side view of the display screen 10 when the user uses the display device 3. As shown in FIG. 12, when the user's face is located at a distance z3 from the display screen 10, the face detection unit 310 displays the distance z3 between the user's face and the display screen 10 and the display with the upper left as the origin. From the face position (x3, y3) on the plane parallel to the screen 10 (xy plane), (x3, y3, z3) is detected as the face position.
　なお、ディスプレイ画面１０に平行な面（ｘｙ平面）上の顔の位置を（ｘ３，ｙ３）と表しているが、ユーザの顔の位置は（ｘ３，ｙ３）を含む領域にある。以下では、説明の便宜上、ｘｙ平面上の顔の位置を、（ｘ３，ｙ３）のような代表点を用いて表す。 In addition, although the position of the face on the plane (xy plane) parallel to the display screen 10 is represented as (x3, y3), the position of the user's face is in an area including (x3, y3). Hereinafter, for convenience of description, the position of the face on the xy plane is represented using a representative point such as (x3, y3).
　（オブジェクト位置の算出方法）
　次に、図１３を参照して、オブジェクト位置算出部３２０におけるオブジェクト位置の算出方法について説明する。 (Object position calculation method)
Next, an object position calculation method in the object position calculation unit 320 will be described with reference to FIG.
　図１３は、ユーザの顔の位置ｆ（ｆｘ，ｆｙ，ｆｚ）であるときの右目用画像に描画されたオブジェクトｄｒ及び左目用画像に描画されるオブジェクトｄｌの位置に対する、オブジェクト位置ｏ（ｘｏ，ｙｏ，ｚｏ）を示す図である。ここで、ｓは、ユーザの右目ｆｒ及び左目ｆｌの距離である基線長を示す。また、ｚｏは、オブジェクト位置のディスプレイ画面１０からの距離である（ｚｏ＞０）。 FIG. 13 shows the object position o (xo,) with respect to the position of the object dr drawn on the right-eye image and the object dl drawn on the left-eye image at the position f (fx, fy, fz) of the user's face. It is a figure which shows yo, zo). Here, s indicates a baseline length that is the distance between the user's right eye fr and left eye fl. Also, zo is the distance of the object position from the display screen 10 (zo> 0).
　顔検出部３１０にて、ユーザの顔の位置がｆ（ｆｘ，ｆｙ，ｆｚ）であると検出されると、オブジェクト位置算出部３２０は、ユーザの顔の位置ｆ（ｆｘ，ｆｙ，ｆｚ）より右目ｆｒの位置及びユーザの左目ｆｌの位置を算出する。なお、顔検出部３１０にて、ユーザの右目ｆｒの位置及び左目ｆｌの位置が検出された場合には、その位置を用いる。 When the face detection unit 310 detects that the position of the user's face is f (fx, fy, fz), the object position calculation unit 320 determines from the position f (fx, fy, fz) of the user's face. The position of the right eye fr and the position of the user's left eye fl are calculated. When the face detection unit 310 detects the position of the right eye fr and the position of the left eye fl of the user, the positions are used.
　図１３に示すように、オブジェクトｏは、ユーザの右目ｆｒ及び右目用画像に描画されるオブジェクトｄｒを結ぶ直線（図１３に点線で示す直線）と、ユーザの左目ｆｌ及び左目用画像に描画されるオブジェクトｄｌを結ぶ直線（図１３に一点鎖線で示す直線）との交点に表示される。そのため、この２つの直線の交点を算出することにより、オブジェクト位置を得ることができる。 As shown in FIG. 13, the object o is drawn on the straight line connecting the object dr drawn on the user's right eye fr and the right eye image (straight line shown by a dotted line in FIG. 13), and on the user's left eye fl and left eye image. Are displayed at intersections with a straight line connecting the objects dl (a straight line indicated by a one-dot chain line in FIG. 13). Therefore, the object position can be obtained by calculating the intersection of the two straight lines.
　また、顔検出部３１０にてユーザの顔が認識されなかったとき、オブジェクト位置算出部３２０は、ディスプレイ画面１０に対し予め定められた最適視聴位置をｆ（ｆｘ，ｆｙ，ｆｚ）として、オブジェクト位置を得ることができる。 When the face detection unit 310 does not recognize the user's face, the object position calculation unit 320 sets the object position as f (fx, fy, fz) as the optimum viewing position determined in advance for the display screen 10. Can be obtained.
　（処理の流れ）
　次に、図１４を参照して、表示装置３を利用しているユーザを検出し、ディスプレイ画面１０に物体が近接及び接近したときの処理流れについて説明する。 (Process flow)
Next, with reference to FIG. 14, a processing flow when a user who uses the display device 3 is detected and an object approaches and approaches the display screen 10 will be described.
　ディスプレイ画面１０にオブジェクトｏが立体視可能に表示されているとき、カメラ４０は、表示装置３を利用しているユーザを検知する（ｄｅｔｅｃｔ３＝１）と、ユーザの顔の情報とその位置を示す信号を顔検出部３１０に送信する（Ｓ３０１）。 When the object o is displayed on the display screen 10 so as to be stereoscopically viewed, the camera 40 detects the user who is using the display device 3 (detect 3 = 1), and indicates the user's face information and its position. The signal is transmitted to the face detection unit 310 (S301).
　顔検出部３１０は、カメラ４０が表示装置３を利用しているユーザを検知したか否かを判定する（Ｓ３０２）。カメラ４０が、表示装置３を利用しているユーザを検知している場合（Ｓ３０２にてＹｅｓ）、顔検出部３１０は、ユーザの顔を認識する（Ｓ３０３）。 The face detection unit 310 determines whether or not the camera 40 has detected a user using the display device 3 (S302). When the camera 40 detects a user using the display device 3 (Yes in S302), the face detection unit 310 recognizes the user's face (S303).
　顔検出部３１０は、ユーザの顔を認識した場合（Ｓ３０３にてＹｅｓ）、ユーザの顔の位置（ｘ３，ｙ３，ｚ３）を検出する（Ｓ３０４）。 When the face detection unit 310 recognizes the user's face (Yes in S303), the face detection unit 310 detects the position (x3, y3, z3) of the user's face (S304).
　次に、顔検出部３１０は、図１２に示すユーザの顔の位置ｆ（ｆｘ，ｆｙ，ｆｚ）に、検出したユーザの顔の位置（ｘ３，ｙ３，ｚ３）を代入する（Ｓ３０５）。 Next, the face detection unit 310 substitutes the detected position (x3, y3, z3) of the user's face for the position f (fx, fy, fz) of the user shown in FIG. 12 (S305).
　カメラ４０が表示装置３を利用しているユーザを検知していない場合（Ｓ３０２にてＮｏ）、または、顔検出部３１０がユーザの顔を認識していない場合（Ｓ３０３にてＮｏ）、顔検出部３１０は、図１２に示すユーザの顔の位置ｆ（ｆｘ，ｆｙ，ｆｚ）に、最適視聴位置を代入する（Ｓ３０６）。ここでは、最適視聴位置を、（Ｗ／２，Ｈ／２，Ｄ）と表現しているが、最適視聴位置は、これに限定されず、表示装置３の設置場所などに応じて定められる位置である。なお、Ｗは表示装置３の幅を示し、Ｈは表示装置３の高さを示し、Ｄは表示装置３とユーザとの距離を示す。 Face detection when camera 40 does not detect a user using display device 3 (No in S302) or face detection unit 310 does not recognize a user's face (No in S303) The unit 310 substitutes the optimum viewing position for the position f (fx, fy, fz) of the user's face shown in FIG. 12 (S306). Here, the optimum viewing position is expressed as (W / 2, H / 2, D), but the optimum viewing position is not limited to this, and is a position determined according to the installation location of the display device 3 or the like. It is. W indicates the width of the display device 3, H indicates the height of the display device 3, and D indicates the distance between the display device 3 and the user.
　次に、オブジェクト位置算出部３２０は、ユーザの顔の位置ｆ（ｆｘ，ｆｙ，ｆｚ）と、オブジェクトの描画位置とからオブジェクト位置を算出する（Ｓ３０７）。オブジェクト位置算出部３２０は、算出したオブジェクト位置をオブジェクト位置保存部１３０に保存する。 Next, the object position calculation unit 320 calculates the object position from the position f (fx, fy, fz) of the user's face and the drawing position of the object (S307). The object position calculation unit 320 stores the calculated object position in the object position storage unit 130.
　その後、図６のＳ１０１からＳ１１１の処理を行う（Ｓ３０８からＳ３１８）。ただし、Ｓ３１１にて取得するオブジェクト位置は、Ｓ３０７にて算出したオブジェクト位置である。 Thereafter, the processing from S101 to S111 in FIG. 6 is performed (S308 to S318). However, the object position acquired in S311 is the object position calculated in S307.
　このように、表示装置３はユーザの顔の位置を検出し、ディスプレイ画面１０に立体視可能に表示されているオブジェクトｏのオブジェクト位置を算出することができる。 As described above, the display device 3 can detect the position of the user's face and calculate the object position of the object o displayed on the display screen 10 so as to be stereoscopically viewed.
　これにより、ユーザがどのような位置から表示装置３を利用していても、ユーザにオブジェクトｏを立体視可能に表示することができ、オブジェクトｏに触れたのだという印象を与えることができる。 Thereby, regardless of the position where the user uses the display device 3, the object o can be displayed in a stereoscopic manner and the impression that the object o has been touched can be given.
　なお、本実施形態では、表示装置３を利用しているユーザの顔を検知する入力デバイスとして、カメラ４０を挙げ、説明を行ったが、ユーザの顔を検知する入力デバイスはこれに限定されない。例えば、赤外線センサであってもよい。 In the present embodiment, the camera 40 has been described as an input device for detecting the face of the user who uses the display device 3, but the input device for detecting the face of the user is not limited to this. For example, an infrared sensor may be used.
　〔実施形態４〕
　実施形態１から３では、表示装置１及び表示装置３は、ディスプレイ画面１０に接触した物体の位置を検出する接触位置検出部１２０を備える構成であったが、本発明はこれに限定されない。本実施形態では、近接位置が予め定められた閾値以下である場合、この近接位置を接触位置とする。以下、本発明に係る第４の実施形態について、図１５から図１８を参照して説明する。 [Embodiment 4]
In the first to third embodiments, the display device 1 and the display device 3 are configured to include the contact position detection unit 120 that detects the position of the object that has touched the display screen 10, but the present invention is not limited to this. In this embodiment, when the proximity position is equal to or less than a predetermined threshold value, the proximity position is set as the contact position. Hereinafter, a fourth embodiment according to the present invention will be described with reference to FIGS. 15 to 18.
　（表示装置４の構成）
　まず、本実施形態に係る表示装置４について、図１５を参照して以下に説明する。なお、説明の便宜上、前記実施形態１にて説明した図１と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。 (Configuration of display device 4)
First, the display device 4 according to the present embodiment will be described below with reference to FIG. For convenience of explanation, members having the same functions as those in FIG. 1 described in the first embodiment are denoted by the same reference numerals and description thereof is omitted.
　図１５は、本実施形態に係る表示装置４の要部構成を示すブロック図である。図１５に示すように、表示装置４は、ディスプレイ画面１０、カメラ（第１の入力デバイス）２０、及び、制御部４００を備えている。 FIG. 15 is a block diagram showing a main configuration of the display device 4 according to the present embodiment. As shown in FIG. 15, the display device 4 includes a display screen 10, a camera (first input device) 20, and a control unit 400.
　制御部４００は、表示装置４が内部において実行する処理を受け持つ。図１５に示すように、制御部４００は、近接位置検出部（近接位置検出手段）１１０、オブジェクト位置保存部１３０、画像生成部（画像生成手段）１５０、画像出力部１６０、実行部（実行手段）１７０、及び、判定部４１０を備えている。また、判定部４１０は、近接位置判定部（近接位置判定手段）４１１及び接触位置判定部（比較手段）４１２を備えている。 The control unit 400 is responsible for the processing that the display device 4 executes internally. As shown in FIG. 15, the control unit 400 includes a proximity position detection unit (proximity position detection unit) 110, an object position storage unit 130, an image generation unit (image generation unit) 150, an image output unit 160, and an execution unit (execution unit). ) 170 and a determination unit 410. The determination unit 410 includes a proximity position determination unit (proximity position determination unit) 411 and a contact position determination unit (comparison unit) 412.
　近接位置判定部４１１は、オブジェクト位置保存部１３０からオブジェクト位置を取得する。オブジェクト位置保存部１３０に保存されているオブジェクト位置は、予め定められた位置であってもよいし、ディスプレイ画面１０に対し、予め定められた最適視聴位置と、右目用画像及び左目用画像に描画されたオブジェクトの描画位置とから得られる位置であってもよい。また、実施形態３のＳ３０５で得られた位置であってもよい。 The proximity position determination unit 411 acquires the object position from the object position storage unit 130. The object position stored in the object position storage unit 130 may be a predetermined position, or is drawn on the display screen 10 in a predetermined optimal viewing position, a right-eye image, and a left-eye image. It may be a position obtained from the drawing position of the selected object. Also, the position obtained in S305 of the third embodiment may be used.
　近接位置判定部４１１は、近接位置検出部１１０から供給された近接位置が、取得したオブジェクト位置と一致するか否かを判定する。その後、近接位置判定部４１１は、判定結果を接触位置判定部４１２に通知する。また、近接位置判定部４１１は、接触位置判定部４１２から、近接位置が接触位置ではない旨の通知を受け取ったとき、判定結果を画像生成部１５０に通知する。 The proximity position determination unit 411 determines whether or not the proximity position supplied from the proximity position detection unit 110 matches the acquired object position. Thereafter, the proximity position determination unit 411 notifies the determination result to the contact position determination unit 412. When the proximity position determination unit 411 receives a notification from the contact position determination unit 412 that the proximity position is not the contact position, the proximity position determination unit 411 notifies the image generation unit 150 of the determination result.
　接触位置判定部４１２は、近接位置判定部４１１による判定結果が真であるとき、つまり、近接位置がオブジェクト位置と一致するとき、近接位置からディスプレイ画面１０までの距離と、予め定められた閾値とを比較する。接触位置判定部４１２は、近接位置からディスプレイ画面１０までの距離が閾値より小さい場合、近接位置をディスプレイ画面１０への接触位置であると見做す。その後、接触位置判定部４１２は、判定結果を近接位置判定部４１１及び実行部１７０に通知する。 When the determination result by the proximity position determination unit 411 is true, that is, when the proximity position matches the object position, the contact position determination unit 412 includes a distance from the proximity position to the display screen 10 and a predetermined threshold value. Compare When the distance from the proximity position to the display screen 10 is smaller than the threshold value, the contact position determination unit 412 considers the proximity position as the contact position to the display screen 10. Thereafter, the contact position determination unit 412 notifies the proximity position determination unit 411 and the execution unit 170 of the determination result.
　実行部１７０は、接触位置判定部４１２から、近接位置が接触位置である旨の通知を受け取ると、オブジェクトが示す機能を実行する。 When the execution unit 170 receives a notification from the contact position determination unit 412 that the proximity position is the contact position, the execution unit 170 executes the function indicated by the object.
　ここで、ディスプレイ画面１０及びカメラ２０の位置関係を図１６を参照して説明する。図１６は、表示装置４の断面図である。 Here, the positional relationship between the display screen 10 and the camera 20 will be described with reference to FIG. FIG. 16 is a cross-sectional view of the display device 4.
　図１６の表示装置４は、図２の表示装置１からタッチパネル３０をのぞいた構成である。なお、表示装置４は、図２に示すようにベゼル２で囲まれた構成であってもよい。 16 has a configuration excluding the touch panel 30 from the display device 1 of FIG. The display device 4 may have a configuration surrounded by the bezel 2 as shown in FIG.
　（処理の流れ）
　次に、図１７及び図１８を参照して、ディスプレイ画面１０に物体が近接したときの処理流れについて説明する。 (Process flow)
Next, a processing flow when an object approaches the display screen 10 will be described with reference to FIGS. 17 and 18.
　図１７は、ディスプレイ画面１０にユーザの指６が近接したときの処理流れを示すフローチャートである。 FIG. 17 is a flowchart showing a processing flow when the user's finger 6 comes close to the display screen 10.
　ディスプレイ画面１０にオブジェクトｏが立体視可能に表示されているとき、カメラ２０は、ディスプレイ画面１０に近接した指６を検知する（ｄｅｔｅｃｔ１＝１）と、近接位置を示す信号を近接位置検出部１１０に送信する（Ｓ４０１）。 When the object o is displayed on the display screen 10 so as to be stereoscopically viewed, when the camera 20 detects the finger 6 in proximity to the display screen 10 (detect 1 = 1), a signal indicating the proximity position is detected as the proximity position detection unit 110. (S401).
　近接位置検出部１１０は、カメラ２０がディスプレイ画面１０に近接した指６を検知したか否かを判定する（Ｓ４０２）。カメラ２０が、ディスプレイ画面１０に近接した指６を検知していない場合（Ｓ４０２にてＮｏ）、Ｓ４０１に戻り、カメラ２０は、再度物体を検知する。 The proximity position detection unit 110 determines whether or not the camera 20 has detected the finger 6 that has approached the display screen 10 (S402). If camera 20 has not detected finger 6 in proximity to display screen 10 (No in S402), the process returns to S401, and camera 20 detects an object again.
　カメラ２０が、ディスプレイ画面１０に近接した指６を検知した場合（Ｓ４０２にてＹｅｓ）、近接位置検出部１１０は、カメラ２０から送信された入力信号より近接位置（ｘ１，ｙ１，ｚ１）を検出する（Ｓ４０３）。 When the camera 20 detects the finger 6 in proximity to the display screen 10 (Yes in S402), the proximity position detection unit 110 detects the proximity position (x1, y1, z1) from the input signal transmitted from the camera 20. (S403).
　次に、近接位置判定部４１１は、オブジェクト位置保存部１３０から、オブジェクト位置（ｘｏ，ｙｏ，ｚｏ）を取得する（Ｓ４０４）。 Next, the proximity position determination unit 411 acquires the object position (xo, yo, zo) from the object position storage unit 130 (S404).
　その後、近接位置判定部１４１は、指６がオブジェクトｏに触れているか否か、つまり、近接位置（ｘ１，ｙ１，ｚ１）が、オブジェクト位置（ｘｏ，ｙｏ，ｚｏ）と一致するか否かを判定する（Ｓ４０５）。 Thereafter, the proximity position determination unit 141 determines whether or not the finger 6 is touching the object o, that is, whether or not the proximity position (x1, y1, z1) matches the object position (xo, yo, zo). Determination is made (S405).
　指６がオブジェクトｏに触れていない場合（Ｓ４０５にてＮｏ）、Ｓ４０１に戻り、カメラ２０は、再度物体を検知する。 If the finger 6 has not touched the object o (No in S405), the process returns to S401, and the camera 20 detects the object again.
　指６がオブジェクトｏに触れている場合（Ｓ４０５にてＹｅｓ）、接触位置判定部４１２は、近接位置からディスプレイ画面１０までの距離（ｚ１）と、予め定められた閾値（ｄｔｈ）とを比較する（Ｓ４０６）。 When the finger 6 is touching the object o (Yes in S405), the contact position determination unit 412 compares the distance (z1) from the proximity position to the display screen 10 with a predetermined threshold value (dth). (S406).
　近接位置からディスプレイ画面１０までの距離が閾値以上である場合（Ｓ４０６にてＮｏ）、つまり、近接位置が閾値で示される位置より画面に遠い場合、画像生成部１５０は、オブジェクト位置がディスプレイ画面１０に近づく向きに、ディスプレイ画面１０に対して垂直に移動するように、オブジェクト位置を（ｘｏ，ｙｏ，ｚｏ－α）に変更する。また、画像生成部１５０は、オブジェクト位置（ｘｏ，ｙｏ，ｚｏ－α）にオブジェクトが表示されるように、右目用画像及び左目用画像におけるオブジェクトの描画位置を左右に移動させた右目用画像及び左目用画像を生成する。画像生成部１５０は、変更したオブジェクト位置（ｘｏ，ｙｏ，ｚｏ－α）を新たなオブジェクト位置として、オブジェクト位置保存部１３０に保存する（Ｓ４０７）。 When the distance from the proximity position to the display screen 10 is equal to or greater than the threshold (No in S406), that is, when the proximity position is farther from the screen than the position indicated by the threshold, the image generation unit 150 causes the object position to be the display screen 10. The object position is changed to (xo, yo, zo-α) so as to move vertically to the display screen 10 in a direction approaching. Further, the image generation unit 150 moves the drawing position of the object in the right eye image and the left eye image left and right so that the object is displayed at the object position (xo, yo, zo-α), and A left-eye image is generated. The image generation unit 150 stores the changed object position (xo, yo, zo-α) as a new object position in the object position storage unit 130 (S407).
　Ｓ４０７後、Ｓ１０１に戻り、カメラ２０は、再度物体を検知する。このように、近接位置からディスプレイ画面１０までの距離が閾値より小さくなるまで、処理を繰り返す。 After S407, the process returns to S101, and the camera 20 detects the object again. In this way, the processing is repeated until the distance from the proximity position to the display screen 10 becomes smaller than the threshold value.
　近接位置からディスプレイ画面１０までの距離が閾値より小さい場合（Ｓ４０６にてＹｅｓ）、実行部１７０は、オブジェクトｏが示す機能を実行する（Ｓ４０８）。 When the distance from the proximity position to the display screen 10 is smaller than the threshold (Yes in S406), the execution unit 170 executes the function indicated by the object o (S408).
　次に、図１８を参照して、ユーザの指６がディスプレイ画面１０に近接したときのユーザの指６の位置、及び、オブジェクト位置について説明する。 Next, the position of the user's finger 6 and the object position when the user's finger 6 comes close to the display screen 10 will be described with reference to FIG.
　図１８の（ａ）は、ユーザの指６がディスプレイ画面１０に近接し、近接位置からディスプレイ画面１０までの距離が閾値以上であるときの、ユーザの指６の位置、及び、オブジェクト位置の一例を示し、図１８の（ｂ）は、近接位置からディスプレイ画面１０までの距離が閾値より小さいときの、ユーザの指６の位置、及び、オブジェクト位置の一例を示す図である。 FIG. 18A shows an example of the position of the user's finger 6 and the object position when the user's finger 6 is close to the display screen 10 and the distance from the close position to the display screen 10 is equal to or greater than the threshold value. FIG. 18B is a diagram illustrating an example of the position of the user's finger 6 and the object position when the distance from the proximity position to the display screen 10 is smaller than the threshold value.
　図１８の（ａ）に示すように、指６がディスプレイ画面１０に近接し、近接位置（ｘ１，ｙ１，ｚ１）が、オブジェクト位置（ｘｏ，ｙｏ，ｚｏ）と一致すると、接触位置判定部４１２は、近接位置（ｘ１，ｙ１，ｚ１）とディスプレイ画面１０との距離ｚ１と予め定められた閾値ｄｔｈとを比較する。 As shown in FIG. 18A, when the finger 6 is close to the display screen 10 and the proximity position (x1, y1, z1) coincides with the object position (xo, yo, zo), the contact position determination unit 412 Compares the distance z1 between the proximity position (x1, y1, z1) and the display screen 10 with a predetermined threshold value dth.
　図１８の（ａ）に示すように、近接位置とディスプレイ画面１０との距離ｚｏが閾値ｄｔｈ以上のとき、画像生成部１５０は、オブジェクトｏのオブジェクト位置をディスプレイ画面１０に近づく向きに、ディスプレイ画面１０に対して垂直に移動させる。このときの移動量は、オブジェクトｏが指６に追従して移動できる量であり、αで表す。 As illustrated in FIG. 18A, when the distance zo between the proximity position and the display screen 10 is equal to or greater than the threshold value dth, the image generation unit 150 sets the object position of the object o in a direction closer to the display screen 10. Move perpendicular to 10. The movement amount at this time is an amount by which the object o can move following the finger 6 and is represented by α.
　更に、指６の近接位置（ｘ１，ｙ１，ｚ１’）が、位置移動したオブジェクト位置（ｘｏ，ｙｏ，ｚｏ－α）と一致すると、接触位置判定部４１２は、近接位置（ｘ１，ｙ１，ｚ１’）とディスプレイ画面１０との距離ｚ１’と予め定められた閾値ｄｔｈとを比較する。 Further, when the proximity position (x1, y1, z1 ′) of the finger 6 coincides with the moved object position (xo, yo, zo−α), the contact position determination unit 412 determines the proximity position (x1, y1, z1). The distance z1 'between') and the display screen 10 is compared with a predetermined threshold value dth.
　図１８の（ｂ）に示すように、近接位置とディスプレイ画面１０との距離ｚｏが閾値ｄｔｈより小さいとき、接触位置判定部４１２は、近接位置（ｘ１，ｙ１，ｚ１’）がディスプレイ画面１０への接触位置であると判定する。判定後、実行部１７０は、オブジェクトｏが示す機能を実行する。 As shown in FIG. 18B, when the distance zo between the proximity position and the display screen 10 is smaller than the threshold value dth, the contact position determination unit 412 determines that the proximity position (x1, y1, z1 ′) is on the display screen 10. It is determined that the contact position. After the determination, the execution unit 170 executes the function indicated by the object o.
　このように予め定めた閾値よりディスプレイ画面１０に近い場所に、指６が近接したとき、指６は、ディスプレイ画面１０に接触していると判定することができる。これにより、実際にディスプレイ画面１０に触れなくても、オブジェクトｏに示す機能を実行することができる。 Thus, when the finger 6 comes close to a place closer to the display screen 10 than the predetermined threshold value, it can be determined that the finger 6 is in contact with the display screen 10. Thereby, the function shown in the object o can be executed without actually touching the display screen 10.
　〔プログラム及び記録媒体〕
　また、上述した表示装置１、表示装置３、及び表示装置４の各ブロックは、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。 [Program and recording medium]
Each block of the display device 1, the display device 3, and the display device 4 described above may be configured by hardware logic, or may be realized by software using a CPU as follows.
　すなわち、表示装置１、表示装置３、及び表示装置４は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納した
ＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラム及び各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである表示装置１、表示装置３、及び表示装置４の制御プログラム（認証プログラム）のプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記表示装置１、表示装置３、及び表示装置４に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。 That is, the display device 1, the display device 3, and the display device 4 include a CPU (central processing unit) that executes instructions of a control program that realizes each function, a ROM (read only memory) that stores the program, and the program. A RAM (random access memory) to be developed, a storage device (recording medium) such as a memory for storing the program and various data, and the like are provided. An object of the present invention is to display the program code (execution format program, intermediate code program, source program) of the display device 1, the display device 3, and the control program (authentication program) of the display device 4, which is software for realizing the functions described above ) Is supplied to the display device 1, the display device 3, and the display device 4, and the computer (or CPU or MPU) reads the program code recorded on the recording medium. It can also be achieved by executing.
　上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ－ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ－Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。 Examples of the recording medium include tapes such as magnetic tapes and cassette tapes, magnetic disks such as floppy (registered trademark) disks / hard disks, and disks including optical disks such as CD-ROM / MO / MD / DVD / CD-R. Card system such as IC card, IC card (including memory card) / optical card, or semiconductor memory system such as mask ROM / EPROM / EEPROM / flash ROM.
　また、表示装置１、表示装置３、及び表示装置４を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネ
ットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ（high data rate）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。 The display device 1, the display device 3, and the display device 4 may be configured to be connectable to a communication network, and the program code may be supplied via the communication network. The communication network is not particularly limited. For example, the Internet, intranet, extranet, LAN, ISDN, VAN, CATV communication network, virtual private network, telephone line network, mobile communication network, satellite communication. A net or the like is available. Also, the transmission medium constituting the communication network is not particularly limited. For example, even in the case of wired such as IEEE 1394, USB, power line carrier, cable TV line, telephone line, ADSL line, etc., infrared rays such as IrDA and remote control, Bluetooth ( (Registered trademark), 802.11 wireless, HDR (high data rate), mobile phone network, satellite line, terrestrial digital network, and the like can also be used. The present invention can also be realized in the form of a computer data signal embedded in a carrier wave in which the program code is embodied by electronic transmission.
　〔まとめ〕
　以上のように、本発明は、ディスプレイ画面にオブジェクトを立体視可能に表示する表示装置において、前記ディスプレイ画面に近接した物体の近接位置を検出する近接位置検出手段と、前記近接位置検出手段が検出した前記物体の近接位置が、前記オブジェクトを表示しようとする表示目標位置又は該表示目標位置と前記ディスプレイ画面に対して対称位置、と一致するか否かを判定する近接位置判定手段と、前記近接位置判定手段による判定結果において前記近接位置と前記表示目標位置又は前記対称位置とが一致するとき、前記ディスプレイ画面に表示する右目用画像及び左目用画像における前記オブジェクトの描画位置を左右に移動させる画像生成手段とを備え、前記近接位置判定手段による判定結果において前記近接位置と前記表示目標位置又は前記対称位置とが一致する度に、前記表示目標位置をディスプレイ画面に所定の長さ近づけるために前記画像生成手段が前記オブジェクトの描画位置を左右に移動させる移動量は、前記オブジェクトの表示目標位置が前記ディスプレイ画面に近づくにつれて小さくなるように設定されている、ことを特徴としている。 [Summary]
As described above, according to the present invention, in a display device that displays an object on a display screen so as to be stereoscopically viewed, a proximity position detection unit that detects a proximity position of an object close to the display screen, and the proximity position detection unit detect Proximity position determination means for determining whether the proximity position of the object coincides with a display target position where the object is to be displayed or a display target position and a symmetrical position with respect to the display screen; and the proximity An image for moving the drawing position of the object in the right-eye image and the left-eye image displayed on the display screen to the right and left when the proximity position matches the display target position or the symmetrical position in the determination result by the position determination unit Generating means, and in the determination result by the proximity position determination means, the proximity position and the table Each time the target position or the symmetrical position matches, the amount of movement by which the image generating means moves the drawing position of the object to the left or right in order to bring the display target position closer to the display screen by a predetermined length is the amount of movement of the object. It is characterized in that the display target position is set so as to become smaller as it approaches the display screen.
　また、本発明における表示画像生成方法は、ディスプレイ画面にオブジェクトを立体視可能に表示する表示装置が実行する表示画像生成方法であって、前記ディスプレイ画面に近接した物体の近接位置を検出する近接位置検出ステップと、前記近接位置検出ステップが検出した前記物体の近接位置が、前記オブジェクトを表示しようとする表示目標位置又は該表示目標位置と前記ディスプレイ画面に対して対称位置と一致するか否かを判定する近接位置判定ステップと、前記近接位置判定ステップによる判定結果において前記近接位置と前記表示目標位置又は前記対称位置とが一致するとき、前記ディスプレイ画面に表示する右目用画像及び左目用画像における前記オブジェクトの描画位置を左右に移動させる画像生成ステップとを含み、前記近接位置判定ステップでの判定結果において前記近接位置と前記表示目標位置又は前記対称位置とが一致する度に、前記表示目標位置をディスプレイ画面に所定の長さ近づけるために前記画像生成ステップにて前記オブジェクトの描画位置を左右に移動させる移動量は、前記オブジェクトの表示目標位置が前記ディスプレイ画面に近づくにつれて小さくなるように設定されている、ことを特徴としている。 The display image generation method according to the present invention is a display image generation method executed by a display device that displays an object on a display screen in a stereoscopic manner, and detects a proximity position of an object close to the display screen. Whether the proximity position of the object detected by the detection step and the proximity position detection step coincides with a display target position where the object is to be displayed or a symmetrical position with respect to the display target position and the display screen. When the proximity position and the display target position or the symmetrical position match in the determination result of the proximity position determination step and the determination of the proximity position determination step, the right eye image and the left eye image displayed on the display screen And an image generation step of moving the drawing position of the object to the left and right, In the determination result in the proximity position determination step, every time the proximity position matches the display target position or the symmetrical position, in the image generation step to bring the display target position closer to the display screen by a predetermined length. The amount of movement for moving the drawing position of the object to the left and right is set so as to decrease as the display target position of the object approaches the display screen.
　ここでいうオブジェクトとは、ＧＵＩ（グラフィカル・ユーザ・インターフェース）を構成する表示対象物のことを指す。例えば、ボタン及びスイッチなど、ユーザによる選択を受け付けるための操作用オブジェクトは、ここでいうオブジェクトの代表例である。 Here, the object refers to a display object constituting a GUI (Graphical User Interface). For example, operation objects for accepting selection by the user, such as buttons and switches, are representative examples of objects here.
　上記構成によれば、前記表示装置は、ユーザの指などの物体がディスプレイ画面に近接し、ディスプレイ画面に立体視可能に表示されているオブジェクトに触れる度に、右目用画像及び左目用画像におけるオブジェクトの描画位置を左右に移動させる。この際、右目用画像及び左目用画像におけるオブジェクトの描画位置を左右に移動させる移動量が、オブジェクトとディスプレイ画面との距離が近くなるにつれて小さくなるように設定されている。 According to the above configuration, the display device is configured such that each time an object such as a user's finger approaches the display screen and touches an object displayed in a stereoscopic manner on the display screen, the object in the right-eye image and the left-eye image is displayed. Move the drawing position of to the left or right. At this time, the movement amount for moving the drawing position of the object in the right-eye image and the left-eye image to the left and right is set so as to decrease as the distance between the object and the display screen decreases.
　これにより、ユーザがオブジェクトを視認する視認位置が、ディスプレイ画面に近づく向きにディスプレイ画面に対して垂直に移動する。従って、表示装置は、このように生成された右目用画像及び左目用画像をディスプレイ画面に表示することにより、ディスプレイ画面に対して垂直に移動した位置にオブジェクトを表示することができる。 Thereby, the visual recognition position where the user visually recognizes the object moves vertically to the display screen in a direction approaching the display screen. Therefore, the display device can display the object at a position moved vertically with respect to the display screen by displaying the right-eye image and the left-eye image thus generated on the display screen.
　これにより、表示装置は、ユーザに対しオブジェクトに確かに触れたのだという印象を与えることができるという効果を奏する。 Thereby, the display device has an effect that it can give an impression that the user has surely touched the object.
　前記表示目標位置の左右方向の座標（前記ディスプレイ画面の左上隅を原点）をｘｏ、前記表示目標位置の前記ディスプレイ画面からの距離をｚｏ、視聴位置と前記ディスプレイ画面との距離をＤ、前記ディスプレイ画面の左右方向の幅をＷ、ユーザの右目と左目との間の距離である基線長をｓとしたときに、前記画像生成手段によって前記右目用画像に描画される前記オブジェクトの描画位置の左右方向の座標ｘｄｒ（前記ディスプレイ画面の左上隅を原点とする）と、前記画像生成手段によって前記左目用画像に描画される前記オブジェクトの描画位置の左右方向の座標ｘｄｌ（前記ディスプレイ画面の左上隅を原点とする）とが、それぞれ、 The horizontal coordinate of the display target position (the upper left corner of the display screen is the origin) is xo, the distance of the display target position from the display screen is zo, the distance between the viewing position and the display screen is D, and the display When the width in the horizontal direction of the screen is W and the baseline length, which is the distance between the right eye and the left eye of the user, is s, the left and right of the drawing position of the object drawn on the right eye image by the image generating means A coordinate xdr in the direction (with the upper left corner of the display screen as the origin) and a coordinate xdl in the horizontal direction of the drawing position of the object drawn on the image for the left eye by the image generation means (the upper left corner of the display screen And the origin)
Figure JPOXMLDOC01-appb-M000013
Figure JPOXMLDOC01-appb-M000013
及び、 as well as,
Figure JPOXMLDOC01-appb-M000014
Figure JPOXMLDOC01-appb-M000014
または、 Or
Figure JPOXMLDOC01-appb-M000015
Figure JPOXMLDOC01-appb-M000015
及び、 as well as,
Figure JPOXMLDOC01-appb-M000016
Figure JPOXMLDOC01-appb-M000016
により与えられ、前記近接位置判定手段による判定結果において前記近接位置と前記表示目標位置又は前記対称位置とが一致する度に、前記画像生成手段は、前記右目用画像における前記オブジェクトの移動後の描画位置の左右方向の座標ｘｄｒ’と、前記左目用画像に描画する前記オブジェクトの移動後の描画位置の左右方向の座標ｘｄｌ’とを、式（１）及び（２）、又は式（３）及び（４）に、ｚｏ＝ｚｏ－αを代入することにより算出する（αは予め定められた定数）、ことが好ましい。 Each time the proximity position coincides with the display target position or the symmetrical position in the determination result by the proximity position determination means, the image generation means renders the drawing after the movement of the object in the right-eye image. The left-right coordinate xdr ′ of the position and the left-right coordinate xdl ′ of the drawing position after the movement of the object drawn on the left-eye image are expressed by equations (1) and (2), or (3) and It is preferable to calculate by substituting zo = zo−α into (4) (α is a predetermined constant).
　これにより、上述したオブジェクトの視認位置の垂直移動を簡単な構成により実現することができる。 Thereby, the vertical movement of the visual recognition position of the object described above can be realized with a simple configuration.
　また、本発明における表示装置の前記近接位置判定手段は、前記オブジェクトの表示目標位置が、前記ディスプレイ画面より手前の空間に位置しているとき、前記近接位置検出手段にて検出された近接位置が、前記表示目標位置と一致するか否かを判定することが好ましい。 The proximity position determining means of the display device according to the present invention may be configured such that when the display target position of the object is located in a space in front of the display screen, the proximity position detected by the proximity position detecting means is It is preferable to determine whether or not the display target position matches.
　また、本発明における表示装置の前記近接位置判定手段は、前記オブジェクトの表示目標位置が、前記ディスプレイ画面より奥の空間に位置しているとき、前記近接位置検出手段にて検出された近接位置が、前記対称位置と一致するか否かを判定することが好ましい。 Further, the proximity position determination unit of the display device according to the present invention is configured such that when the display target position of the object is located in a space behind the display screen, the proximity position detected by the proximity position detection unit is It is preferable to determine whether or not the position coincides with the symmetrical position.
　上記構成によれば、オブジェクトの位置が、ディスプレイ画面より手前の空間であっても、奥の空間であっても、表示装置は、ディスプレイ画面に表示する右目用画像及び左目用画像のオブジェクトの位置を簡単な計算によって得ることができ、オブジェクトをディスプレイ画面に近づく方向に、ディスプレイ画面に対し垂直に移動させることができる。 According to the above configuration, the position of the object in the right-eye image and the left-eye image displayed on the display screen is determined by the display device regardless of whether the object is in the space in front of or behind the display screen. Can be obtained by simple calculation, and the object can be moved perpendicularly to the display screen in a direction approaching the display screen.
　これにより、表示装置は、ユーザがオブジェクトをディスプレイ画面に向かって押しているという自然な印象をユーザに与えることができる。 Thereby, the display device can give the user a natural impression that the user is pushing the object toward the display screen.
　また、本発明における表示装置は、第１の入力デバイスを更に備え、前記近接位置検出手段は、前記第１の入力デバイスからの入力信号を用いて、前記物体の近接位置を検出することが好ましい。 The display device according to the present invention preferably further includes a first input device, and the proximity position detection unit detects the proximity position of the object using an input signal from the first input device. .
　上記構成によれば、第１の入力デバイスが検知する位置に、物体が近接すると、第１の入力デバイスは物体の近接を検知し、近接位置を示す入力信号を近接位置検出手段に送信する。近接位置検出手段は、送信された入力信号を用いて、近接位置を検出する。これにより表示装置は、該近接位置が該オブジェクトの表示目標位置と一致したときオブジェクトをディスプレイ画面に近づく方向に、ディスプレイ画面に対し垂直に移動させることができる。 According to the above configuration, when an object approaches the position detected by the first input device, the first input device detects the proximity of the object and transmits an input signal indicating the proximity position to the proximity position detection means. The proximity position detection means detects the proximity position using the transmitted input signal. Thereby, the display device can move the object perpendicular to the display screen in a direction approaching the display screen when the proximity position matches the display target position of the object.
　従って、ユーザはあたかもオブジェクトに実際に触れたかのように感じることができる。 Therefore, the user can feel as if the user actually touched the object.
　また、本発明における表示装置は、前記表示装置を利用しているユーザの顔を認識し、前記ディスプレイ画面に対する該ユーザの顔の位置を検出する顔検出手段と、前記ディスプレイ画面に立体視可能に表示されるオブジェクトの表示目標位置を算出するオブジェクト位置算出手段とを更に備え、前記オブジェクト位置算出手段は、前記顔検出手段にて前記ユーザの顔が認識されたとき、前記ユーザの顔の位置と、前記オブジェクトの描画位置とから、前記オブジェクトの表示目標位置を算出し、前記顔検出手段にて前記ユーザの顔が認識されなかったとき、前記ディスプレイ画面に対し予め定められた最適視聴位置と、前記オブジェクトの描画位置とから、前記オブジェクトの表示目標位置を算出し、前記近接位置判定手段は、前記近接位置検出手段にて検出された近接位置が、前記オブジェクト位置算出手段によって算出されたオブジェクトの表示目標位置、又は該表示目標位置と前記ディスプレイ画面に対して対称位置と一致するか否かを判定することが好ましい。このとき、本発明における表示装置は、第２の入力デバイスを更に備え、前記顔検出手段は、前記第２の入力デバイスからの入力信号を用いて、前記ユーザの顔の位置を検出してもよい。 Further, the display device according to the present invention recognizes the face of the user who uses the display device and detects the position of the user's face with respect to the display screen, and allows the stereoscopic display on the display screen. Object position calculating means for calculating a display target position of the object to be displayed, and the object position calculating means, when the face detection means recognizes the user's face, A target display position of the object is calculated from the drawing position of the object, and when the face of the user is not recognized by the face detection means, an optimal viewing position predetermined for the display screen; The display target position of the object is calculated from the drawing position of the object, and the proximity position determining means It is determined whether or not the proximity position detected by the position detection means coincides with the display target position of the object calculated by the object position calculation means or a symmetrical position with respect to the display target position and the display screen. It is preferable. At this time, the display device according to the present invention further includes a second input device, and the face detection unit detects the position of the user's face using an input signal from the second input device. Good.
　上記構成によれば、表示装置はユーザの顔の位置を検出し、ディスプレイ画面に立体視可能に表示されているオブジェクトの表示目標位置又はその対称位置を算出することができる。 According to the above configuration, the display device can detect the position of the user's face and calculate the display target position of the object displayed in a stereoscopic view on the display screen or its symmetrical position.
　これにより、ユーザがどのような位置から表示装置を利用していても、ユーザにオブジェクトを立体視可能に表示することができ、オブジェクトに触れたのだという印象を与えることができる。 Thus, regardless of the position where the user uses the display device, the object can be displayed in a stereoscopic manner and the impression that the object has been touched can be given.
　また、本発明における表示装置は、前記ディスプレイ画面に接触した物体の接触位置を検出する接触位置検出手段と、前記接触位置検出手段が検出した前記物体の接触位置が、前記表示目標位置又は前記対称位置と一致するか否かを判定する接触位置判定手段と、前記接触位置判定手段による判定結果において、前記接触位置が前記表示目標位置又は前記対称位置と一致するとき、前記オブジェクトが示す機能を実行する実行手段とを備えることが好ましい。このとき、表示装置は、第３の入力デバイスを更に備え、前記接触位置検出手段は、前記第３の入力デバイスからの入力信号を用いて、前記物体の接触位置を検出してもよい。 The display device according to the present invention includes a contact position detection unit that detects a contact position of an object that contacts the display screen, and the contact position of the object detected by the contact position detection unit is the display target position or the symmetry. A contact position determination unit that determines whether or not the position coincides with a position; and a function indicated by the object when the contact position matches the display target position or the symmetrical position in the determination result by the contact position determination unit It is preferable to include an execution means. At this time, the display device may further include a third input device, and the contact position detecting means may detect the contact position of the object using an input signal from the third input device.
　上記構成によれば、表示装置は、ディスプレイ画面に表示されたオブジェクトに物体が触れると、オブジェクトが示す機能を実行する。 According to the above configuration, when the object touches the object displayed on the display screen, the display device executes the function indicated by the object.
　これにより、表示装置は、ユーザに確かにオブジェクトを押したのだという印象を与えることができる。 This allows the display device to give the user the impression that the object has been pressed.
　また、本発明における表示装置は、前記近接位置判定手段による判定結果において、前記近接位置が前記表示目標位置又は前記対称位置と一致するとき、前記近接位置からディスプレイ画面までの距離と、予め定められた閾値とを比較し、前記距離が前記閾値より小さい場合、前記近接位置検出手段にて検出された近接位置を、前記ディスプレイ画面への接触位置と判定する接触位置判定手段と、前記接触位置判定手段にて、前記近接位置が前記ディスプレイ画面への接触位置と判定されたとき、前記オブジェクトが示す機能を実行する実行手段とを備えていてもよい。 In the display device according to the present invention, when the proximity position coincides with the display target position or the symmetrical position in the determination result by the proximity position determination unit, a distance from the proximity position to the display screen is determined in advance. A contact position determination unit that determines that the proximity position detected by the proximity position detection unit is a contact position on the display screen when the distance is smaller than the threshold, and the contact position determination And means for executing a function indicated by the object when the proximity position is determined to be a contact position on the display screen.
　上記構成によれば、予め定めた閾値よりディスプレイ画面に近い場所に、物体が近接したとき、この物体は、ディスプレイ画面に接触していると判定することができる。これにより、実際にディスプレイ画面に触れなくても、オブジェクトに示す機能を実行することができる。 According to the above configuration, when an object approaches a place closer to the display screen than a predetermined threshold, it can be determined that the object is in contact with the display screen. Thus, the function indicated by the object can be executed without actually touching the display screen.
　また、前記表示装置が備えているコンピュータを動作させる表示プログラムであって、前記コンピュータを前記の各手段として実行させるための表示プログラム、および当該表示プログラムを記録したコンピュータ読み取り可能な記録媒体も本発明の技術的範囲に含まれる。 The present invention also includes a display program for operating a computer included in the display device, the display program for causing the computer to execute as each of the means, and a computer-readable recording medium on which the display program is recorded. Is included in the technical scope.
　〔付記事項〕
　本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。 [Additional Notes]
The present invention is not limited to the above-described embodiments, and various modifications are possible within the scope shown in the claims, and embodiments obtained by appropriately combining technical means disclosed in different embodiments. Is also included in the technical scope of the present invention.
　本発明は、オブジェクトを立体視可能に表示する表示装置、特に、４０インチ以上のテレビジョン受像機、１００インチ以上のディジタルサイネージ等の表示装置に、好適に利用することができる。 The present invention can be suitably used for a display device that displays an object in a stereoscopic manner, in particular, a display device such as a television receiver of 40 inches or more and a digital signage of 100 inches or more.
　１　　　表示装置
　２　　　ベゼル
　１０　　　ディスプレイ画面
　２０　　　カメラ（第１の入力デバイス）
　３０　　　タッチパネル（第３の入力デバイス）
　１００　　制御部
　１１０　　　近接位置検出部（近接位置検出手段）
　１２０　　　接触位置検出部（接触位置検出手段）
　１３０　　　オブジェクト位置保存部
　１４０　　　判定部　１４１　　　　近接位置判定部（近接位置判定手段）
　１４２　　　　接触位置判定部（接触位置判定手段）
　１５０　　　画像生成部（画像生成手段）
　１６０　　　画像出力部
　１７０　　　実行部（実行手段）
　３　　　表示装置
　４０　　　カメラ（第２の入力デバイス）
　３００　　制御部
　３１０　　　顔検出部（顔検出手段）
　３２０　　　オブジェクト位置算出部（オブジェクト位置算出手段）
　４　　　表示装置
　４００　　制御部
　４１０　　　判定部
　４１１　　　　近接位置判定部（近接位置判定手段）
　４１２　　　　接触位置判定部（比較手段）
　５　　　ディスプレイ画面
　６　　　指 DESCRIPTION OF SYMBOLS 1 Display apparatus 2 Bezel 10 Display screen 20 Camera (1st input device)
30 Touch panel (third input device)
100 Control Unit 110 Proximity Position Detection Unit (Proximity Position Detection Unit)
120 Contact position detection unit (contact position detection means)
130 object position storage unit 140 determination unit 141 proximity position determination unit (proximity position determination means)
142 Contact position determination unit (contact position determination means)
150 Image generation unit (image generation means)
160 Image output unit 170 Execution unit (execution means)
3 Display device 40 Camera (second input device)
300 Control Unit 310 Face Detection Unit (Face Detection Unit)
320 Object position calculation unit (object position calculation means)
4 display device 400 control unit 410 determination unit 411 proximity position determination unit (proximity position determination unit)
412 Contact position determination unit (comparison means)
5 Display screen 6 Finger

Claims (13)

  1. 　ディスプレイ画面にオブジェクトを立体視可能に表示する表示装置であって、
    　前記ディスプレイ画面に近接した物体の位置である近接位置を検出する近接位置検出手段と、
    　前記近接位置検出手段にて検出された前記近接位置が、前記オブジェクトを表示しようとする位置である表示目標位置と一致するか否か、又は、前記近接位置検出手段にて検出された前記近接位置が、前記表示目標位置と前記ディスプレイ画面に対して対称な位置である対称位置と一致するか否かを判定する近接位置判定手段と、
    　前記近接位置判定手段による判定結果において前記近接位置と前記表示目標位置又は前記対称位置とが一致する度に、前記ディスプレイ画面に表示する右目用画像及び左目用画像における前記オブジェクトの描画位置を左右に移動させる画像生成手段とを備え、
    　前記近接位置判定手段による判定結果において前記近接位置と前記表示目標位置又は前記対称位置とが一致する度に、前記表示目標位置をディスプレイ画面に所定の長さ近づけるために前記画像生成手段が前記オブジェクトの描画位置を左右に移動させる移動量は、前記表示目標位置が前記ディスプレイ画面に近づくにつれて小さくなるように設定されている、ことを特徴とする表示装置。     A display device that displays an object on a display screen in a stereoscopic manner,
    Proximity position detection means for detecting a proximity position that is a position of an object close to the display screen;
    Whether or not the proximity position detected by the proximity position detection means coincides with a display target position that is a position to display the object, or the proximity position detected by the proximity position detection means Is a proximity position determination means for determining whether or not the display target position coincides with a symmetrical position that is a symmetrical position with respect to the display screen;
    Each time the proximity position matches the display target position or the symmetrical position in the determination result by the proximity position determination means, the drawing position of the object in the right-eye image and the left-eye image displayed on the display screen is set to the left and right. An image generating means for moving,
    Each time the proximity position coincides with the display target position or the symmetrical position in the determination result by the proximity position determination means, the image generation means is configured to bring the display target position closer to a display screen by a predetermined length. The amount of movement for moving the drawing position to the left and right is set so as to decrease as the display target position approaches the display screen.
  2. 　前記表示目標位置の左右方向の座標（前記ディスプレイ画面の左上隅を原点）をｘｏ、前記表示目標位置の前記ディスプレイ画面からの距離をｚｏ、視聴位置と前記ディスプレイ画面との距離をＤ、前記ディスプレイ画面の左右方向の幅をＷ、ユーザの右目と左目との間の距離である基線長をｓとしたときに、前記画像生成手段によって前記右目用画像に描画される前記オブジェクトの描画位置の左右方向の座標ｘｄｒ（前記ディスプレイ画面の左上隅を原点とする）と、前記画像生成手段によって前記左目用画像に描画される前記オブジェクトの描画位置の左右方向の座標ｘｄｌ（前記ディスプレイ画面の左上隅を原点とする）とが、それぞれ、
    Figure JPOXMLDOC01-appb-M000001
     及び、
    Figure JPOXMLDOC01-appb-M000002
     または、
    Figure JPOXMLDOC01-appb-M000003
     及び、
    Figure JPOXMLDOC01-appb-M000004
     により与えられ、
    　前記近接位置判定手段による判定結果において前記近接位置と前記表示目標位置又は前記対称位置とが一致する度に、前記画像生成手段は、前記右目用画像における前記オブジェクトの移動後の描画位置の左右方向の座標ｘｄｒ’と、前記左目用画像に描画する前記オブジェクトの移動後の描画位置の左右方向の座標ｘｄｌ’とを、式（１）及び（２）、又は式（３）及び（４）に、ｚｏ＝ｚｏ－αを代入することにより算出する（αは予め定められた定数）、ことを特徴とする請求項１に記載の表示装置。     The horizontal coordinate of the display target position (the upper left corner of the display screen is the origin) is xo, the distance of the display target position from the display screen is zo, the distance between the viewing position and the display screen is D, and the display When the width in the horizontal direction of the screen is W and the baseline length, which is the distance between the right eye and the left eye of the user, is s, the left and right of the drawing position of the object drawn on the right eye image by the image generating means A coordinate xdr in the direction (with the upper left corner of the display screen as the origin) and a coordinate xdl in the horizontal direction of the drawing position of the object drawn in the image for the left eye by the image generation means (the upper left corner of the display screen And the origin)
    Figure JPOXMLDOC01-appb-M000001
     as well as,
    Figure JPOXMLDOC01-appb-M000002
     Or
    Figure JPOXMLDOC01-appb-M000003
     as well as,
    Figure JPOXMLDOC01-appb-M000004
     Given by
    Whenever the proximity position coincides with the display target position or the symmetrical position in the determination result by the proximity position determination unit, the image generation unit performs the horizontal direction of the drawing position after the movement of the object in the right-eye image. And the horizontal coordinate xdl ′ of the drawing position after the movement of the object to be drawn on the left-eye image are expressed by Equations (1) and (2) or Equations (3) and (4). The display device according to claim 1, wherein the calculation is performed by substituting zo = zo−α (α is a predetermined constant).
  3. 　前記近接位置判定手段は、前記表示目標位置が前記ディスプレイ画面より手前の空間に位置しているとき、前記近接位置検出手段にて検出された前記近接位置が、前記表示目標位置と一致するか否かを判定することを特徴とする請求項２に記載の表示装置。 The proximity position determination means determines whether the proximity position detected by the proximity position detection means matches the display target position when the display target position is located in a space in front of the display screen. The display device according to claim 2, wherein the determination is made.
  4. 　前記近接位置判定手段は、前記表示目標位置が前記ディスプレイ画面より奥の空間に位置しているとき、前記近接位置検出手段にて検出された前記近接位置が、前記対称位置と一致するか否かを判定することを特徴とする請求項１から３の何れか１項に記載の表示装置。 The proximity position determination means determines whether the proximity position detected by the proximity position detection means coincides with the symmetric position when the display target position is located in a space behind the display screen. The display device according to claim 1, wherein the display device is determined.
  5. 　第１の入力デバイスを更に備え、
    　前記近接位置検出手段は、前記第１の入力デバイスからの入力信号を用いて、前記近接位置を検出することを特徴とする請求項１から４の何れか１項に記載の表示装置。     A first input device;
    5. The display device according to claim 1, wherein the proximity position detection unit detects the proximity position using an input signal from the first input device. 6.
  6. 　前記表示装置を利用しているユーザの顔を認識し、前記ディスプレイ画面に対する該ユーザの顔の位置を検出する顔検出手段と、
    　前記オブジェクトの表示目標位置を算出するオブジェクト位置算出手段とを更に備え、
    　前記オブジェクト位置算出手段は、前記顔検出手段にて前記ユーザの顔が認識されたとき、前記ユーザの顔の位置と、前記オブジェクトの描画位置とから、前記オブジェクトの表示目標位置を算出し、
    　前記顔検出手段にて前記ユーザの顔が認識されなかったとき、前記ディスプレイ画面に対し予め定められた最適視聴位置と、前記オブジェクトの描画位置とから、前記オブジェクトの表示目標位置を算出し、
    　前記近接位置判定手段は、前記オブジェクト位置算出手段にて算出された前記表示目標位置を用いて前記判定を行なう、ことを特徴とする請求項１から５の何れか１項に記載の表示装置。     Recognizing a face of a user who uses the display device, and detecting a position of the user's face with respect to the display screen;
    An object position calculating means for calculating a display target position of the object;
    The object position calculation means calculates a display target position of the object from the position of the user's face and the drawing position of the object when the face detection means recognizes the user's face,
    When the face detection unit does not recognize the user's face, the display target position of the object is calculated from the optimal viewing position predetermined for the display screen and the drawing position of the object,
    The display device according to claim 1, wherein the proximity position determination unit performs the determination using the display target position calculated by the object position calculation unit.
  7. 　第２の入力デバイスを更に備え、
    　前記顔検出手段は、前記第２の入力デバイスからの入力信号を用いて、前記ユーザの顔の位置を検出することを特徴とする請求項６に記載の表示装置。     A second input device;
    The display device according to claim 6, wherein the face detection unit detects a position of the user's face using an input signal from the second input device.
  8. 　前記物体が前記ディスプレイ画面に接触したとき、前記物体が前記ディスプレイ画面に接触した位置である接触位置を検出する接触位置検出手段と、
    　前記接触位置検出手段にて検出された前記接触位置が前記表示目標位置と一致するか否か、又は、前記接触位置検出手段にて検出された前記接触位置が前記対称位置と一致するか否かを判定する接触位置判定手段と、
    　前記接触位置判定手段による判定結果において前記接触位置が前記表示目標位置又は前記対称位置と一致するとき、前記オブジェクトが示す機能を実行する実行手段とを備えることを特徴とする請求項１から７の何れか１項に記載の表示装置。     Contact position detecting means for detecting a contact position, which is a position where the object touches the display screen when the object touches the display screen;
    Whether or not the contact position detected by the contact position detection means matches the display target position, or whether or not the contact position detected by the contact position detection means matches the symmetric position Contact position determining means for determining
    The execution unit that executes a function indicated by the object when the contact position coincides with the display target position or the symmetrical position in the determination result by the contact position determination unit. The display device according to any one of the above.
  9. 　第３の入力デバイスを更に備え、
    　前記接触位置検出手段は、前記第３の入力デバイスからの入力信号を用いて、前記接触位置を検出することを特徴とする請求項８に記載の表示装置。     A third input device;
    The display device according to claim 8, wherein the contact position detection unit detects the contact position using an input signal from the third input device.
  10. 　前記近接位置判定手段による判定結果において前記近接位置が前記表示目標位置又は前記対称位置と一致するとき、前記近接位置からディスプレイ画面までの距離と、予め定められた閾値とを比較する比較手段と、
    　上記比較手段にて前記距離が前記閾値より小さいと判定されたとき、前記オブジェクトが示す機能を実行する実行手段とを備えることを特徴とする請求項１から７までの何れか１項に記載の表示装置。     A comparison unit that compares a distance from the proximity position to the display screen with a predetermined threshold when the proximity position matches the display target position or the symmetrical position in the determination result by the proximity position determination unit;
    8. The execution unit according to claim 1, further comprising: an execution unit that executes a function indicated by the object when the comparison unit determines that the distance is smaller than the threshold value. 9. Display device.
  11. 　ディスプレイ画面にオブジェクトを立体視可能に表示する表示装置が実行する表示画像生成方法であって、
    　前記ディスプレイ画面に近接した物体の位置である近接位置を検出する近接位置検出ステップと、
    　前記近接位置検出ステップにて検出された前記物体の近接位置が、前記オブジェクトを表示しようとする位置である表示目標位置と一致するか否か、又は、前記近接位置検出ステップにて検出された前記物体の近接位置が、前記表示目標位置と前記ディスプレイ画面に対して対称な位置である対称位置と一致するか否かを判定する近接位置判定ステップと、
    　前記近接位置判定ステップによる判定結果において前記近接位置と前記表示目標位置又は前記対称位置とが一致する度に、前記ディスプレイ画面に表示する右目用画像及び左目用画像における前記オブジェクトの描画位置を左右に移動させる画像生成ステップとを含み、
    　前記近接位置判定ステップでの判定結果において前記近接位置と前記表示目標位置又は前記対称位置とが一致する度に、前記表示目標位置をディスプレイ画面に所定の長さ近づけるために前記画像生成ステップにて前記オブジェクトの描画位置を左右に移動させる移動量は、前記表示目標位置が前記ディスプレイ画面に近づくにつれて小さくなるように設定されている、
    ことを特徴とする表示装置の表示画像生成方法。     A display image generation method executed by a display device that displays an object stereoscopically on a display screen,
    A proximity position detecting step of detecting a proximity position that is a position of an object close to the display screen;
    Whether the proximity position of the object detected in the proximity position detection step coincides with a display target position that is a position where the object is to be displayed, or the detection of the proximity position detection step A proximity position determination step of determining whether or not the proximity position of the object matches a symmetrical position that is a symmetrical position with respect to the display target position and the display screen;
    Each time the proximity position matches the display target position or the symmetrical position in the determination result of the proximity position determination step, the drawing position of the object in the right-eye image and the left-eye image displayed on the display screen is set to the left and right. A moving image generating step,
    In the image generation step, in order to bring the display target position closer to the display screen by a predetermined length every time the proximity position matches the display target position or the symmetrical position in the determination result in the proximity position determination step. The amount of movement for moving the drawing position of the object to the left and right is set to decrease as the display target position approaches the display screen.
    A display image generation method for a display device.
  12. 　請求項１から１０の何れか１項に記載の表示装置を動作させるための表示プログラムであって、コンピュータを上記の各手段として機能させるための表示プログラム。 A display program for operating the display device according to any one of claims 1 to 10, wherein the display program causes a computer to function as each of the above means.
  13. 　請求項１２に記載の表示プログラムを記録しているコンピュータ読み取り可能な記録媒体。 A computer-readable recording medium in which the display program according to claim 12 is recorded.
PCT/JP2012/052551 2011-02-04 2012-02-03 Display device, display image generating method, program, and recording medium WO2012105703A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011022900 2011-02-04
JP2011-022900 2011-02-04

Publications (1)

Publication Number Publication Date
WO2012105703A1 true WO2012105703A1 (en) 2012-08-09

Family

ID=46602903

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/052551 WO2012105703A1 (en) 2011-02-04 2012-02-03 Display device, display image generating method, program, and recording medium

Country Status (1)

Country Link
WO (1) WO2012105703A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014034653A1 (en) * 2012-08-28 2014-03-06 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 Electronic apparatus, control method thereof, and program

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005228130A (en) * 2004-02-13 2005-08-25 Sharp Corp Drawing device, drawing method and drawing program
WO2008062586A1 (en) * 2006-11-22 2008-05-29 Sharp Kabushiki Kaisha Display, display method, display program, and recording medium
JP2009070416A (en) * 2009-01-05 2009-04-02 Sony Computer Entertainment Inc Control system and control method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005228130A (en) * 2004-02-13 2005-08-25 Sharp Corp Drawing device, drawing method and drawing program
WO2008062586A1 (en) * 2006-11-22 2008-05-29 Sharp Kabushiki Kaisha Display, display method, display program, and recording medium
JP2009070416A (en) * 2009-01-05 2009-04-02 Sony Computer Entertainment Inc Control system and control method

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014034653A1 (en) * 2012-08-28 2014-03-06 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 Electronic apparatus, control method thereof, and program
JP2014044662A (en) * 2012-08-28 2014-03-13 Nec Casio Mobile Communications Ltd Electronic apparatus, control method thereof, and program

Similar Documents

Publication Publication Date Title
US20200409529A1 (en) Touch-free gesture recognition system and method
TWI486629B (en) Optical-see-through head mounted display system and interactive operation
US11164546B2 (en) HMD device and method for controlling same
US9454837B2 (en) Image processing apparatus, method, and computer-readable storage medium calculating size and position of one of an entire person and a part of a person in an image
TWI471820B (en) Mobile terminal and operation control method thereof
US20100053151A1 (en) In-line mediation for manipulating three-dimensional content on a display device
KR20120050900A (en) Information processing apparatus, stereoscopic display method, and program
JP5263355B2 (en) Image display device and imaging device
JP2016523420A (en) System and method for direct pointing detection for interaction with digital devices
CN110968187B (en) Remote touch detection enabled by a peripheral device
JP2012108723A (en) Instruction reception device
US9432652B2 (en) Information processing apparatus, stereoscopic display method, and program
EP2453660B1 (en) Information processing apparatus, stereoscopic display method, and program
US20150033157A1 (en) 3d displaying apparatus and the method thereof
CN107077199B (en) Apparatus for presenting virtual object on three-dimensional display and method for controlling apparatus
JP5341126B2 (en) Detection area expansion device, display device, detection area expansion method, program, and computer-readable recording medium
CN105808015A (en) Peep-proof user interaction device and peep-proof user interaction method
US9123146B2 (en) Stereoscopic image display control apparatus, and stereoscopic image display control method
WO2012105703A1 (en) Display device, display image generating method, program, and recording medium
JP2006302029A (en) Display device control program, display device control method and display device
JP2012103980A5 (en)
KR101560474B1 (en) Apparatus and method for providing 3d user interface using stereoscopic image display device
JP5950806B2 (en) Input device, information processing method, and information processing program
Zhao et al. Evaluation of visuo-haptic feedback in a 3D touch panel interface
Niikura et al. 3D touch panel interface using an autostereoscopic display

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12742144

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12742144

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP