WO2014119383A1 - 触力覚提示装置、触力覚提示システム、触力覚提示方法、およびコンピュータ読み取り可能な記録媒体 - Google Patents

触力覚提示装置、触力覚提示システム、触力覚提示方法、およびコンピュータ読み取り可能な記録媒体 Download PDF

Info

Publication number
WO2014119383A1
WO2014119383A1 PCT/JP2014/050745 JP2014050745W WO2014119383A1 WO 2014119383 A1 WO2014119383 A1 WO 2014119383A1 JP 2014050745 W JP2014050745 W JP 2014050745W WO 2014119383 A1 WO2014119383 A1 WO 2014119383A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
force
haptic
presentation
real space
Prior art date
Application number
PCT/JP2014/050745
Other languages
English (en)
French (fr)
Inventor
則枝真
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2014559621A priority Critical patent/JPWO2014119383A1/ja
Publication of WO2014119383A1 publication Critical patent/WO2014119383A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Definitions

  • the present invention records a haptic sense presentation device for presenting (transmitting) a haptic sense to a user, a haptic sense presentation system, a haptic sense presentation method, and a program for realizing the same.
  • the present invention relates to a computer-readable recording medium.
  • AR augmented reality
  • augmented reality means adding new information to a real-space image captured by a camera using a computer or the like.
  • the user can easily obtain useful information about things, living things, and the like existing in the photographed real space, which is convenient.
  • the use of augmented reality has become popular due to the widespread use of information equipment equipped with a display and a camera.
  • applications using augmented reality are actively developed.
  • Patent Document 1 and Patent Document 2 disclose portable tactile sensation presentation systems that can use augmented reality.
  • the tactile sensation presentation system disclosed in Patent Literature 1 and Patent Literature 2 continuously acquires real-space video by a camera provided therein, and displays it on the screen while displaying it on the screen. Superimpose additional information.
  • An example of an object of the present invention is to solve the above-described problem and enable a haptic sense presentation device, a haptic sense presentation system, and a haptic sense presentation method capable of presenting a haptic sense corresponding to an object existing in a real space. And providing a computer-readable recording medium.
  • a haptic sense presentation device is a device for presenting a haptic sense to a user, An object specifying unit for specifying an object existing in the real space from information on the real space; An information processing unit that calculates a haptic sensation to be presented to the user according to the identified object; A haptic sense presentation unit that presents the calculated haptic sense to the user; It is characterized by having.
  • a haptic sense presentation system includes an information acquisition device that acquires real space information, and a haptic sense presentation device that presents a haptic sense to a user.
  • the haptic sense presentation device includes: An object specifying unit for specifying an object existing in the real space from the information acquired by the information acquisition device; An information processing unit that calculates a haptic sensation to be presented to the user according to the identified object; A haptic sense presentation unit that presents the calculated haptic sense to the user; With It is characterized by that.
  • a tactile force sense presentation method is a method for presenting a tactile force sense to a user, (A) identifying an object existing in the real space from information on the real space; (B) calculating a haptic sensation to be presented to the user according to the object specified in the step (a); (C) presenting the tactile sensation calculated in the step (b) to the user; It is characterized by having.
  • a program according to one aspect of the present invention is a computer-readable recording medium on which a program for presenting a tactile sensation to a user is recorded by a computer.
  • a computer In the computer, (A) identifying an object existing in the real space from information on the real space; (B) calculating a haptic sensation to be presented to the user according to the object specified in the step (a); (C) presenting the tactile sensation calculated in the step (b) to the user; A program including an instruction for executing is recorded.
  • FIG. 1 is a perspective view showing an external configuration of a haptic sense presentation device and a haptic sense presentation system according to Embodiment 1 of the present invention.
  • FIG. 2 is a block diagram illustrating a configuration of the haptic sense presentation system and the haptic sense presentation device according to Embodiment 1 of the present invention.
  • FIG. 3 is an exploded perspective view showing each component of the haptic sense presentation device in the embodiment of the present invention.
  • FIG. 4 is a flowchart showing the operation of the haptic sense presentation device in the embodiment of the present invention.
  • FIG. 5 is a diagram for explaining step S101 shown in FIG.
  • FIG. 6 is a diagram for explaining step S103 shown in FIG. FIG.
  • FIG. 7A is a diagram for explaining a tensile force calculation process
  • FIG. 7B is a diagram illustrating coordinate axes used for the tensile force calculation process
  • FIG. 8 is a diagram for explaining the presentation power resetting process.
  • FIG. 9 is a perspective view showing another example of the tactile force sense presentation device in the embodiment of the present invention.
  • FIG. 10 is a diagram showing another example of the mounting member used in the embodiment of the present invention.
  • FIG. 1 is a perspective view showing an external configuration of a haptic sense presentation device and a haptic sense presentation system according to Embodiment 1 of the present invention.
  • the haptic sense presentation system 100 includes a haptic sense presentation device 60 that presents a haptic sensation to a user 110 and an information acquisition device 70 that acquires real space information. I have.
  • the real space is an aquarium, and in particular, is a space in the aquarium 120 installed there.
  • the information acquisition device 70 is a camera, and acquires an image in the water tank 120 as real space information. In the following, it is referred to as “camera 70”.
  • the tactile sensation presentation device 60 has a tablet shape and is disposed in front of the water tank 120. Further, the tactile sensation presentation device 60 is a part that receives presentation of the tactile sensation of the user 110 in the space on the back side of the device (opposite side where the screen 41 is provided), specifically, the position of the finger. The user 110 can perform an input operation by moving the position of the finger.
  • the tactile sensation presentation device 60 can display a virtual space corresponding to the water tank 120 on the screen 41, and further, an object corresponding to the finger of the user 110 (hereinafter referred to as “user object”). 42 can be displayed in the virtual space in accordance with the detected position. As will be described later, when the virtual object 43 generated from the object existing in the real space and the user object 42 come into contact with each other, the haptic presentation device 60 touches the virtual object 43 with the finger of the user 110. Communicate the feel.
  • the user 110 moves the finger or the real space object (virtual object 43) moves, so that the haptic sensation corresponding to the touch of the real space object is given to the user 110. Is presented.
  • FIG. 2 is a block diagram illustrating a configuration of the haptic sense presentation system and the haptic sense presentation device according to Embodiment 1 of the present invention.
  • the haptic sense presentation device 60 mainly includes an object specifying unit 20, an information processing unit 30, and a haptic sense presentation unit 10.
  • the object specification 20 specifies the object which exists in real space from the information acquired by the camera 70 which is an information acquisition apparatus.
  • the information processing unit 30 calculates a tactile force sense to be presented to the user according to the object specified by the object specifying unit 20.
  • the haptic sense presentation unit 10 presents the calculated haptic sense to the user.
  • an object existing there is specified from information acquired from a real space, specifically, an image, and a tactile sensation is calculated based on the specified object. That is, according to the present embodiment, it is possible to present a haptic sense corresponding to an object existing in the real space.
  • the tactile sense presentation apparatus 60 is further comprised with the display apparatus 40, And a position detection unit 50.
  • the display device 40 is a thin display panel such as a liquid crystal display panel or an organic EL panel.
  • the position detection unit 50 detects the position of the part (finger) that receives the presentation of the tactile force sense in the user 110.
  • the haptic sense presentation unit 10 includes a transmission member 12, a drive unit 11, and a control unit 14.
  • the transmission member 12 extends from the haptic sense presentation device 60 to a portion that receives the presentation of the haptic sense of the user 110 (a finger in the examples of FIGS. 1 and 2), and applies a force in the pulling direction to the user 110 (hereinafter, “ It is a member that transmits “tensile force”.
  • the drive unit 11 generates a tensile force and applies it to the transmission member 12.
  • control unit 14 first causes the drive unit 11 to generate a tensile force having a preset size as an initial force. Then, when the controller 11 presents the haptic sensation calculated by the information processing unit 30 in the drive unit 11, the calculated haptic sensation is transmitted to the user 110 (see FIG. 2) via the transmission member 12. Increase or decrease the initial force as provided.
  • FIG. 3 is an exploded perspective view showing each component of the haptic sense presentation device in the embodiment of the present invention.
  • the tactile sensation presentation device 60 includes a cover 61 formed in a frame shape, a display device 40, and a box-shaped housing 62 in order from the user side.
  • the cover 61 is attached to the opening portion of the housing 62 so that the screen of the display device 40 is exposed.
  • the driving unit 11, the control unit 14, the object specifying unit 20, the position detecting unit 50, and the information processing unit 30 described above are arranged inside a housing 62 that is on the back side of the display device 40. Also, as shown in FIG. 3, in the present embodiment, three transmission members 12 are used, and three drive units 11 are arranged correspondingly.
  • each of the transmission members 12 is a string-like member that extends from a different position on the back side of the haptic sense presentation device 60 to a portion (finger) that receives the presentation of the haptic sense in the user 110, for example, a wire It is. Further, the distal end of each transmission member 12 is fixed to a mounting member 13 that is mounted on a portion that receives a sense of touch of the user 110. Specifically, the mounting member 13 is a ring-shaped member that can be mounted on the finger of the user 110.
  • each drive unit 11 is a motor having a pulley 15 attached to a shaft. By winding the corresponding transmission member 12 with the pulley 15, the corresponding transmission member 12 is pulled in the pulling direction. Giving power.
  • a through hole 16 is provided for each transmission member 12 on the bottom surface of the housing 62, and each transmission member 12 passes through the through hole 16 to the back side of the haptic sense presentation device 60. extend.
  • the position of each through hole 16 is not particularly limited, as described later, the tactile sense presentation range is determined by the position of each through hole 16 (see region X in FIG. 8). Therefore, the position of each through hole 16 is determined in consideration of the required presentation range.
  • the presentation force is presented to the finger of the user 110 when the mounting member 13 is pulled by the three transmission members 12 (see FIG. 1). That is, the sense of tactile force is presented by the resultant force of the tensile force that each driving unit 11 applies to the transmission member 13.
  • the position detection unit 50 is an encoder provided on the shaft of each drive unit 11. For this reason, the position detection unit 50 specifies the number of rotations of the motor shaft as data (hereinafter referred to as “position detection data”) for detecting the position of the portion that receives the presentation of the tactile sensation of the user. Data to be output to the information processing unit 30.
  • the information processing unit 30 When the information processing unit 30 receives the position detection data output from each position detection unit 50, the total length of the transmission member 12, the diameter of the pulley 15, and the distance from the pulley 15 to the through hole 16 are registered in advance. Based on the above, the length from the through hole 16 of each transmission member 12 to the mounting member 13 is calculated. In addition, as described later, the information processing unit 30 calculates the position of the portion that receives the presentation of the tactile sensation of the user 110, that is, the position of the mounting member 13, based on the calculated length of each transmission member 12. To do.
  • control unit 14, the object specifying unit 20, and the information processing unit 30 are not individually illustrated, and these are constructed by a program incorporated in the board computer 63. Moreover, the control part 14, the object specific
  • each position detection unit 50 transmits the position detection data a to the information processing unit 30. Output to.
  • the object specifying unit 20 when acquiring the real space video from the camera 70, the object specifying unit 20 generates the virtual object 43 of the object 121 shown in the acquired video in the virtual space constructed in the memory space of the computer (see FIG. 1). Specifically, the object specifying unit 20 generates a three-dimensional model from a photographed object disclosed in, for example, US Patent Application Publication No. 2009/0096783 and US Patent Application Publication No. 2010/0118123. The virtual object 43 is generated using the technology to be created.
  • the object specifying unit 20 outputs the generated data of the virtual object 43 (virtual object data c) to the information processing unit 30.
  • the object specifying unit 20 generates a virtual object of a fish swimming in the aquarium 120.
  • the virtual object data c includes the position data.
  • the information processing unit 30 generates a user object 42 (see FIG. 1) corresponding to the finger of the user 110.
  • the information processing unit 30 receives the position detection data a
  • the information processing unit 30 specifies the position of the finger (the mounting member 13) of the user 110 based on the position detection data a, and the user object 42 (FIG. 1) according to the specified position. Change the position of (see).
  • the information processing unit 30 compares the position of the virtual object 43 with the position of the user object 42 and determines whether or not they are in contact with each other. If the result of the determination is that the user is in contact, the information processing unit 30 calculates the force generated on the user object 42 by the contact of the virtual object 43 and specifies the calculated force b (hereinafter “presentation data b”). ”Is output to the control unit 14. This calculated force corresponds to a tactile force sense to be transmitted to the user. At this time, the information processing unit 30 outputs data for displaying the virtual object 43 and the user object 42 to the display device 40 as display data e.
  • control unit 14 When the control unit 14 receives the presentation data b, the control unit 14 calculates a tensile force to be output by each driving unit 11 so that the tactile force sense specified by the presentation data b is transmitted to the user 110. Then, the control unit 14 generates control data d that causes each driving unit 11 to exhibit a target tensile force, and outputs the control data d to each driving unit 11.
  • control unit 14 generates a pulse signal for driving the motor functioning as the driving unit 11 using a power supply circuit (not shown), and outputs this as control data d.
  • each drive part (motor) 11 pulls the transmission member 12 with the calculated tensile force, and the tactile force sense specified by the presentation data b is presented to the fingertip of the user 110.
  • the haptic sense presentation device 60 transmits the force in the pulling direction to the finger of the user 110 located on the back side thereof by the transmission member 11. By presenting the sense of touch. For this reason, it is possible to present a three-dimensional haptic sensation in a wide range. Further, since the configuration of the tactile sensation presentation device can be made compact, the size of the device can be reduced.
  • the “tactile sensation” as used in the present invention means a repulsive force, a resistance force, an external force, a touch, and the like that the user feels.
  • the transmission direction of the tensile force by the drive member 12 can be freely set by the positions of the pulley 15 and the through hole 16. Furthermore, since the distance from the through hole of the transmission member 12 to the mounting member 13 can be set by the winding amount of the pulley 15, the range in which the user can move the finger can also be set freely. Further, since a light string-like member is used as the transmission member 12, it can be said that the user hardly feels mechanical resistance or the like when moving the finger.
  • FIG. 4 is a flowchart showing the operation of the haptic sense presentation device in the embodiment of the present invention.
  • FIGS. 1 to 3 are referred to as appropriate.
  • the haptic sense presentation method is implemented by operating the haptic sense presentation device 60. Therefore, the description of the haptic sense presentation method in the present embodiment is replaced with the following description of the operation of the haptic sense presentation device 60.
  • the object specifying unit 20 acquires an image of a real space from the camera 70 in advance, and generates a virtual object 43 of the object 121 shown in the acquired image in a virtual space constructed in the memory space of the computer.
  • the information processing unit 30 also generates a user object 42 (see FIG. 1) corresponding to the finger of the user 110 in advance.
  • each of the position detection units 50 outputs the position detection data a to the information processing unit 30.
  • the information processing unit 30 calculates the length from the through hole 16 of each transmission member 12 to the mounting member 13 based on the output position detection data a, Based on the calculated length of each transmission member 12, the position of the finger of the user 110 is detected and specified (S101). Further, the information processing unit 30 changes the position of the user object 42 (see FIG. 1) according to the specified position.
  • the information processing unit 30 compares the position of the virtual object 43 with the position of the user object 42 and determines whether or not they are in contact with each other. As a result of the determination, if the contact is made, the information processing unit 30 calculates the force generated in the user object 42 by the contact of the virtual object 43, and displays the presentation data b specifying the calculated force as the control unit 14. (Step S102).
  • step S102 the information processing section 30 outputs data for displaying the virtual object 43 and the user object 42 to the display device 40 as display data e.
  • step S103 when receiving the presentation data b from the information processing unit 30, the control unit 14 calculates the tensile force that each driving unit 11 should output when presenting the presentation force specified by the presentation data b (step S103). ).
  • step S ⁇ b> 103 the control unit 14 further generates control data d so that the calculated tensile force is generated by each drive unit 11, and outputs the control data d to each drive unit 11.
  • step S103 the haptic sense presentation device 60 presents the haptic sense to the fingertip of the user 110 via the mounting member 13 (step S104). Further, the virtual object 43 and the user object 42 are displayed on the screen 101 of the display device based on the display data e output from the information processing unit 30 in step S102 (step S105). Note that step S104 and step S105 may be executed simultaneously.
  • steps S101 to S105 are repeatedly executed. Therefore, when the user 110 moves his / her finger from one position to another position, the steps S101 to S105 are repeatedly executed during the period from the start to the end. You can receive a tactile sensation.
  • step S101 to step S105 shown in FIG. 4 will be described in more detail with reference to FIGS.
  • step S101 shown in FIG. 4 will be described with reference to FIG.
  • FIG. 5 is a diagram for explaining step S101 shown in FIG.
  • the position of the mounting member 13 to which the tip of the transmission member 12 is connected is specified by the position detection unit 50 on the back side of the tactile sense presentation device 60. It is specified by the length of the transmission member 12.
  • the lengths from the through holes 16 to the mounting members 13 of the transmission members 12 are defined as l 1 , l 2 , and l 3 , respectively.
  • the interval between the holes is w
  • the interval between the through holes adjacent in the vertical direction of the screen is h.
  • the information processing unit 30 geometrically calculates the coordinates (x, y, z) of the mounting member 13 using l 1 , l 2 , l 3 , w, and h.
  • step S102 Next, step S102 shown in FIG. 4 will be described with reference to FIG.
  • the user object 42 contacts the virtual object 43 in the virtual space in accordance with the actual finger movement of the user 110.
  • the information processing unit 30 simulates a change in position and a contact force when the user object 42 and the virtual object 43 are in contact with each other using a physical simulator in the virtual space.
  • the information processing unit 30 calculates the reaction force generated in both of the user object 42 and the virtual object 43 due to contact according to the physical coefficient in the virtual space.
  • the mass of each of the user object 42 and the virtual object 43 speed, acceleration, a contact direction, a restitution coefficient, etc. are mentioned.
  • the reaction force received by the user object 42 from the virtual object 43 corresponds to a haptic sensation to be presented to the user 110 (see FIGS. 6 and 7 described later). Therefore, when the reaction force received by the user object 42 from the virtual object 43 is “presentation force F”, the information processing unit 30 presents the presentation data b that specifies the presentation force F so that the presentation force F is presented. Is output to the control unit 14. In addition, the information processing unit 30 outputs data for displaying the user object 42 and the virtual object 43 at that time to the display device 40 as display data e that is display information.
  • FIG. 6 is a diagram for explaining step S103 shown in FIG.
  • the presentation force F is basically Corresponds to the resultant force of the tensile forces ⁇ 1 , ⁇ 2 , and ⁇ 3 .
  • the direction of the presentation force F matches the direction of the resultant force of the tensile forces ⁇ 1 to ⁇ 3 .
  • the transmission member 12 is a string-like member and moves toward the haptic sense presentation device 60. Since only the force in the pulling direction can be transmitted, there is a possibility that the haptic sense cannot be presented.
  • the control unit 14 always presents a predetermined force as the initial force F 0 in advance to the user's finger (the mounting member 13) in the case where the tactile force sense is not presented as described above. To do. Then, the control unit 14, the presentation force F, when the direction of the force away from the haptic presentation device 60, by loosening the initial force F 0, the tactile force in a direction away from the haptic presentation device 60 Presents a sense of consciousness.
  • Adaptation is a phenomenon in which sensitivity to a stimulus decreases when a constant stimulus continues to be presented to a human. That is, human skin is very adaptable to pressure, and when a ring and a wristwatch are worn, the feeling of wearing is easily lost.
  • human adaptability is used, and by increasing or decreasing the initial force F 0 , the tactile force sense in the direction toward the tactile force sense presentation device 60 and the tactile force sense in the direction away from the tactile force sense device. It is possible to present.
  • FIG. 7A is a diagram for explaining a tensile force calculation process
  • FIG. 7B is a diagram illustrating coordinate axes used for the tensile force calculation process.
  • tensile force ⁇ 1 ⁇ ⁇ 3 is a tensile force, except a tensile force required to generate the initial force F 0, added to the initial force F 0 Or the pulling force to be subtracted.
  • the origin of the coordinate axes is the position of the tip of each transmission member 12.
  • the x axis is an axis parallel to the horizontal direction of the screen
  • the y axis is an axis parallel to the vertical direction of the screen
  • the z axis is an axis parallel to the normal line of the screen.
  • the coordinates of the unit vector r are (r, ⁇ i , ⁇ i ).
  • the tensile forces ⁇ 1 to ⁇ 3 need to satisfy the relationship of the following formula 1 in order to exhibit the desired presentation force.
  • Equation 1 the tensile forces ⁇ 1 to ⁇ 3 of the transmission member 12 are scalar quantities, and the direction vector ⁇ i of the tensile forces ⁇ 1 to ⁇ 3 is expressed by Equation 2.
  • the control unit 14 can calculate the tensile forces ⁇ 1 to ⁇ 3 by using the above equations 1 and 2. Further, as shown in Equation 1, the target presentation force F is obtained by subtracting the initial force F 0 from the tensile force of each transmission member 12. Therefore, as long as the presentation force F is not a force exceeding the initial force F 0 in the direction away from the haptic sense presentation system 100 ( ⁇ z direction), in the direction away from the haptic sense presentation system 100 ( ⁇ z direction). Can also present tactile sensation.
  • the transmission member 12 can transmit only the force in the pulling direction, there may occur a situation where the tactile force sense to be presented cannot be presented due to the resultant force of the tensile forces ⁇ 1 , ⁇ 2 , ⁇ 3 (see FIG. 8). ).
  • the target presentation force F cannot be calculated in the above formula 1.
  • the control unit 14 resets the haptic force (presentation force F) to be presented, and the initial force F 0 is presented so that the reset presentation force Fr is presented. Increase or decrease.
  • the resetting process will be specifically described below.
  • FIG. 8 is a diagram for explaining the presentation power resetting process. As shown in FIG. 8, for example, it is assumed that the position (x, y, z) of the mounting member 13 is in a position that does not overlap in the z-axis direction with a region X obtained by connecting adjacent through holes 16 with a straight line. To do.
  • the presentation force F is calculated by the above formulas 1 and 2 regardless of how the tension of each transmission member 12 is set. Is impossible.
  • the control unit 14 resets the presentation force Fr so that the tensile forces ⁇ 1 , ⁇ 2 , and ⁇ 3 can be calculated by the above formulas 1 and 2.
  • the direction in which the tensile forces ⁇ 1 , ⁇ 2 , and ⁇ 3 are actually pulled is the resultant force direction of the presentation force F and the initial force F 0 .
  • this direction is not a direction that can be pulled by the resultant force of each transmission member 12. Therefore, the control unit 14, the closest force resultant force of the presentation force F and the initial force F 0, is re-set as the new presentation force Fr.
  • the presentation force Fr generated by the tensile force ⁇ 1 and the tensile force ⁇ 2 is close to the resultant force of the original presentation force F and the initial force F 0 . Therefore, the control unit 14 rotationally projects the resultant force of the original presentation force F and the initial force F 0 on the surface created by the two transmission members 12 that generate the tensile force ⁇ 1 and the tensile force ⁇ 2. Then, the new presentation force Fr is reset.
  • the projection vector V onto the surface created by the two transmission members 12 that generate the tensile force ⁇ 1 and the tensile force ⁇ 2 can be expressed by the following equation (4).
  • the variable “a” represents the position at which the rotation angle ⁇ when rotating projection is minimized, that is, the position on the side in the vertical direction of the screen of the region X as a percentage. (0 ⁇ a ⁇ 1).
  • ⁇ 1 is a direction vector of ⁇ 1 with reference to the through hole 16.
  • ⁇ 2 is a direction vector of ⁇ 2 with respect to the through hole 16.
  • ⁇ 1 and ⁇ 2 are obtained from the above-mentioned formula 2.
  • control unit 14 uses the following equation 5, the inner product of the resultant force of the projection vector V and the original presentation force F and the initial force F 0, calculates a projection vector be minimized. Then, the control unit 15 calculates a new presentation force Fr by applying the calculated projection vector to the following Expression 6. Thereafter, the control unit 15 calculates the tensile forces ⁇ 1 , ⁇ 2 , and ⁇ 3 of each transmission member 12 using the new presentation force Fr, generates control data d so that these are generated, and drives each drive To the unit 11.
  • Modification 1 In the example described above, a camera is used as the information acquisition device 70, but the present embodiment is not limited to this.
  • the information acquisition device 70 may be any device that can acquire real space information.
  • the information acquisition device 70 may be a device that can specify the shape of an object in real space by using ultrasonic waves.
  • Modification 2 In the example described above, the information acquisition device 70 is separate from the haptic sense presentation device 60. However, in the present embodiment, even if the information acquisition device 70 is incorporated in the haptic sense presentation device 60. good. Specifically, an aspect in which a camera is attached to the back surface of the haptic sense presentation device 60 may be used.
  • the haptic sense presentation device 60 stores all the components in the tablet-shaped casing 62 as shown in FIG. 3, but the present embodiment is not limited to this. In the present embodiment, for example, a portion other than the haptic sense presentation unit 10 in the haptic sense presentation device 60, that is, the object specifying unit 20 and the information processing unit 30 are configured by different computers. Also good.
  • the haptic sense presentation unit 10 has a configuration in which a haptic sensation is presented by a plurality of string-shaped transmission members 12, but the configuration of the haptic sense presentation unit 10 is limited in the present embodiment.
  • the haptic sense presentation unit 10 includes a link mechanism formed according to the shape of the hand, a mechanism for moving the display device in the thickness direction, or a mechanism for moving a transparent plate arranged on the main surface of the display device, The tactile sensation can be presented by these mechanisms.
  • Modification 5 Moreover, in the example mentioned above, in the tactile-force sensation presentation unit 10, there are three transmission members 12. However, in the present embodiment, the number of transmission members 12 is not particularly limited. The number of the transmission members 12 should just be set in the range which does not enlarge the tactile-force sense presentation apparatus 60. FIG.
  • Modification 5 Furthermore, in the above-described example, a motor is used as the drive unit 11 in the haptic sense presentation unit 10, but in the present embodiment, the drive unit 11 is not limited to a motor.
  • the drive unit 11 may be an actuator that can pull the transmission member. Examples of the drive unit 11 include an artificial muscle actuator that performs an extension operation and a fibrous shape memory alloy actuator.
  • the encoder which specifies the length of a transmission member is used as the position detection part 50,
  • the position detection part 50 may be other than an encoder.
  • a camera installed on the back surface of the haptic sense presentation device 60 can be used as the position detection unit 50.
  • the position of the mounting member 13 is optically detected.
  • a magnetic sensor installed on the back surface of the haptic sense presentation device 60 can be used as the position detection unit 50.
  • the position of the mounting member 13 can be detected by forming the mounting member 13 from a material that generates magnetism.
  • the position of the through hole 16 which is the position where the transmission member 12 starts to be pulled, is set at the apex position of a right triangle with the vertical direction being h and the horizontal direction being w.
  • the position of the through hole 16 is not particularly limited. Further, all the through holes may not be arranged in the same plane. The position of the through hole 16 is appropriately set within the range allowed by the thickness of the haptic sense presentation device 60.
  • Modification 8 In the example described above, the haptic sense is presented with the back side of the haptic sense presentation device 60 as the operation space. However, in this embodiment, the space on the screen side of the haptic sense presentation device 60 is It may be an operation space. However, in this case, the direction of the initial force F 0 is a negative direction on the z axis (see FIG. 6).
  • FIG. 9 is a perspective view showing another example of the tactile force sense presentation device in the embodiment of the present invention.
  • a groove 17 for accommodating the transmission member 12 and a recess 18 for accommodating the mounting member 13 are formed on the bottom surface of the housing 62 constituting the tactile force sense presentation device 60. ing.
  • the appearance of the tactile sensation presentation device 60 can be refreshed when not in use.
  • FIG. 10 is a diagram showing another example of the mounting member used in the embodiment of the present invention.
  • the mounting member 13 is not a mere ring, but includes a ring-shaped frame 13 a, a ball bearing 13 b fitted into the inner periphery thereof, and a connecting portion 13 c to which the transmission member 12 is connected. Accordingly, the portion of the mounting member 13 that is in contact with the user's finger can rotate independently of the portion connected to the transmission member 12, and the following effects are obtained.
  • the user tries to touch the right side of the virtual object 43 with the finger wearing the mounting member 13.
  • the user rotates the wrist in an attempt to bring the belly of the finger into contact with the virtual object 43.
  • the mounting member is caused by the external rotation of the wrist. 13 rotates with the finger.
  • an unexpected moment acts on the finger, and it becomes difficult to present an accurate sense of tactile force.
  • the transmission member 12 may be tangled with the finger.
  • the mounting member 13 shown in FIG. 10 is used, the portion of the mounting member 13 that is in contact with the user's finger can rotate independently from the portion connected to the transmission member 12. Therefore, a situation in which an unexpected moment is applied or the transmission member 12 is entangled with the finger is avoided.
  • the ball bearing 13 b is used to rotate the portion in contact with the user's finger independently from the portion connected to the transmission member 12.
  • the present invention is not limited to this aspect. Any member capable of obtaining such an action can be introduced into the mounting member 13 without limitation.
  • [Application example] 1 shows an aquarium tank as an application example of the haptic sense presentation system 100.
  • the application example of the haptic sense presentation system 100 is not limited to this.
  • Other application examples of the haptic sense presentation system 100 include a zoo, a museum, an observation deck, an observatory, a planetarium, and the like.
  • the haptic sense presentation system 100 is particularly effective for an object that a user wants to touch but cannot touch.
  • the program in the first embodiment may be a program that causes a computer to execute steps S101 to S103 shown in FIG.
  • a CPU Central Processing Unit
  • the haptic sense presentation device 60 and the haptic sense presentation method in the present embodiment can be realized.
  • a CPU Central Processing Unit
  • the computer functions as the object specifying unit 20, the information processing unit 30, and the control unit 14, and performs processing.
  • the computer capable of realizing the haptic sense presentation device 60 is not particularly limited, and may be the above-described microcomputer or a general-purpose personal computer. Further, the computer capable of realizing the haptic sense presentation device 60 may be a computer provided in a mobile phone, a smartphone, or a tablet-type haptic sense presentation system.
  • the program in the present embodiment may be provided in a state of being recorded on a computer-readable recording medium, or may be transmitted via the Internet.
  • the recording medium include a general-purpose semiconductor storage device such as CF (Compact Flash (registered trademark)) and SD (Secure Digital), a magnetic storage medium such as a flexible disk, or a CD-ROM.
  • Optical storage media such as (Compact Disk Read Only Memory).
  • the user can feel as if he / she touched an object in real space that cannot be actually touched by the presented haptic sense. Therefore, the user can feel that he / she has touched a living organism in the main water, a dangerous carnivorous animal, a precious art object that cannot be touched, or the like.
  • the generated haptic sensation is not uncomfortable for the user. Furthermore, by ensuring the length of the transmission member, the user can move his / her finger greatly. From this point of view, the sense of touch is not uncomfortable for the user.
  • the haptic sense presentation device can be applied to a portable haptic sense presentation system.
  • a device for presenting a tactile sensation to a user An object specifying unit for specifying an object existing in the real space from information on the real space; An information processing unit that calculates a haptic sensation to be presented to the user according to the identified object; A haptic sense presentation unit that presents the calculated haptic sense to the user;
  • a tactile sensation presentation device comprising:
  • the object specifying unit acquires the image of the real space as information of the real space, and specifies the object by generating a virtual object of the object shown in the acquired image in the virtual space.
  • the haptic sense presentation device according to appendix 1, wherein the information processing unit calculates the haptic sense to be presented based on the generated virtual object of the object.
  • a position detection unit for detecting a position of a part that receives the presentation of the tactile sensation in the user;
  • the information processing unit calculates the haptic sensation to be presented to the user according to the detected position.
  • the tactile sensation presentation device according to attachment 1.
  • the tactile sensation presentation unit further includes: A transmission member that extends from the haptic sense presentation device to a portion that receives the presentation of the haptic sense of the user and transmits a force in a pulling direction to the user; A drive unit that generates a force in the pulling direction and applies the force to the transmission member; In advance, the driving unit generates a force in the pulling direction having a set size as an initial force, and the calculated tactile force is presented when the tactile force sense calculated by the information processing unit is presented. A controller that increases or decreases the initial force so that a sense of force is provided to the user via the transmission member.
  • the tactile sensation presentation device according to attachment 4.
  • the haptic sense presentation device includes: An object specifying unit for specifying an object existing in the real space from the information acquired by the information acquisition device; An information processing unit that calculates a haptic sensation to be presented to the user according to the identified object; A haptic sense presentation unit that presents the calculated haptic sense to the user; With A tactile sensation presentation system characterized by this.
  • the information acquisition device is a camera that acquires an image of the real space as the information of the real space;
  • the object specifying unit specifies the object by generating a virtual object of the object shown in the acquired video in the virtual space,
  • the haptic sense presentation system according to appendix 6, wherein the information processing unit calculates the haptic sense to be presented based on the generated virtual object of the object.
  • the tactile sensation presentation device further includes a position detection unit that detects a position of a portion that receives the presentation of the haptic sensation in the user, The information processing unit calculates the haptic sensation to be presented to the user according to the detected position.
  • the tactile sensation presentation system according to attachment 6.
  • the tactile sensation presentation unit further includes: A transmission member that extends from the haptic sense presentation device to a portion that receives the presentation of the haptic sense of the user and transmits a force in a pulling direction to the user; A drive unit that generates a force in the pulling direction and applies the force to the transmission member; In advance, the driving unit generates a force in the pulling direction having a set size as an initial force, and the calculated tactile force is presented when the tactile force sense calculated by the information processing unit is presented. A controller that increases or decreases the initial force so that a sense of force is provided to the user via the transmission member.
  • the tactile sensation presentation system according to attachment 8.
  • a tactile force sense presentation method characterized by comprising:
  • step (a) the real space information is acquired as the real space information, and the virtual object of the object shown in the acquired video is generated in the virtual space. Identify, In the step (b), the haptic sensation to be presented is calculated based on the virtual object of the object generated in the step (a).
  • step (a) an image of the real space is acquired from a camera capable of photographing the real space.
  • (Appendix 14) A computer-readable recording medium in which a program for presenting a tactile sensation to a user is recorded by a computer, In the computer, (A) identifying an object existing in the real space from information on the real space; (B) calculating a haptic sensation to be presented to the user according to the object specified in the step (a); (C) presenting the tactile sensation calculated in the step (b) to the user; The computer-readable recording medium which recorded the program containing the instruction
  • step (a) the real space information is acquired as the real space information, and the virtual object of the object shown in the acquired video is generated in the virtual space. Identify, In the step (b), the haptic sensation to be presented is calculated based on the virtual object of the object generated in the step (a).
  • step (a) an image of the real space is acquired from a camera capable of photographing the real space.
  • the present invention it is possible to present a tactile sensation corresponding to an object existing in a real space.
  • the present invention is useful in, for example, an aquarium, a zoo, a museum, and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

 触力覚提示システム100は、実空間の情報を取得する情報取得装置70と、ユーザに触力覚を提示する触力覚提示装置60とを備えている。触力覚提示装置60は、情報取得装置70によって取得された情報から、実空間に存在する物体を特定する物体特定部20と、特定された物体に応じて、ユーザに提示すべき触力覚を算出する情報処理部30と、ユーザに対して、算出された触力覚を提示する、触力覚提示部10とを備えている。

Description

触力覚提示装置、触力覚提示システム、触力覚提示方法、およびコンピュータ読み取り可能な記録媒体
 本発明は、ユーザに対して触力覚を提示(伝達)する触力覚提示装置、これを備えた、触力覚提示システム、触力覚提示方法、及びこれらを実現するためのプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
 一般に、拡張現実(AR: Augmented Reality)とは、カメラによって撮影された現実空間の映像に、コンピュータ等によって新たな情報を付加することをいう。拡張現実を利用すれば、ユーザは、撮影された現実空間に存在する物及び生物等について、有益な情報を簡単に取得でき、便利である。また、近年、ディスプレイとカメラとを搭載した情報機器の普及により、拡張現実の利用は盛んになっている。特に、スマートフォン等の携帯型の触力覚提示システムの分野では、拡張現実を利用したアプリケーションの開発が盛んである。
 例えば、特許文献1及び特許文献2は、拡張現実を利用可能な携帯型の触力覚提示システムを開示している。特許文献1及び特許文献2に開示された触力覚提示システムは、それに備えられたカメラによって、実空間の映像を連続的に取得し、これを画面上に表示しながら、表示される映像に付加情報を重畳する。
特開2010-238096号公報 特開2010-244575号公報
 ところで、上述の特許文献1又は特許文献2に開示された触力覚提示システムを用いれば、実空間の映像に情報を付加することができ、ユーザは、実空間に関する有益な情報を取得できると考えられる。しかしながら、ユーザが取得できる情報は、テキスト又は映像で表わされる情報に過ぎず、ユーザは、実空間に存在している、物、生物等の感触を得ることは不可能である。
 本発明の目的の一例は、上記問題を解消し、実空間に存在する物体に対応した触力覚の提示を可能にし得る、触力覚提示装置、触力覚提示システム、触力覚提示方法、及びコンピュータ読み取り可能な記録媒体を提供することにある。
 上記目的を達成するため、本発明の一側面における触力覚提示装置は、ユーザに触力覚を提示するための装置であって、
 実空間の情報から、前記実空間に存在する物体を特定する、物体特定部と、
 特定された前記物体に応じて、前記ユーザに提示すべき触力覚を算出する、情報処理部と、
 前記ユーザに対して、算出された前記触力覚を提示する、触力覚提示部と、
を備えていることを特徴とする。
 また、上記目的を達成するため、本発明の一側面における触力覚提示システムは、実空間の情報を取得する情報取得装置と、ユーザに触力覚を提示する触力覚提示装置と、を備え、
 前記触力覚提示装置は、
前記情報取得装置によって取得された情報から、前記実空間に存在する物体を特定する、物体特定部と、
特定された前記物体に応じて、前記ユーザに提示すべき触力覚を算出する、情報処理部と、
前記ユーザに対して、算出された前記触力覚を提示する、触力覚提示部と、
を備えている、
ことを特徴とする。
 また、上記目的を達成するため、本発明の一側面における触力覚提示方法は、ユーザに触力覚を提示するための方法であって、
(a)実空間の情報から、前記実空間に存在する物体を特定する、ステップと、
(b)前記(a)のステップで特定された前記物体に応じて、前記ユーザに提示すべき触力覚を算出する、ステップと、
(c)前記ユーザに対して、前記(b)のステップで算出された前記触力覚を提示する、ステップと、
を有することを特徴とする。
 更に、上記目的を達成するため、本発明の一側面におけるプログラムは、コンピュータによって、ユーザに触力覚を提示するためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記コンピュータに、
(a)実空間の情報から、前記実空間に存在する物体を特定する、ステップと、
(b)前記(a)のステップで特定された前記物体に応じて、前記ユーザに提示すべき触力覚を算出する、ステップと、
(c)前記ユーザに対して、前記(b)のステップで算出された前記触力覚を提示する、ステップと、
を実行させる命令を含む、プログラムを記録していることを特徴とする。
 以上のように本発明によれば、実空間に存在する物体に対応した触力覚の提示が可能になる。
図1は、本発明の実施の形態1における触力覚提示装置及び触力覚提示システムの外観構成を示す斜視図である。 図2は、本発明の実施の形態1における触力覚提示システム及び触力覚提示装置の構成を示すブロック図である。 図3は、本発明の実施の形態における触力覚提示装置の各構成部品を示す分解斜視図である。 図4は、本発明の実施の形態における触力覚提示装置の動作を示すフロー図である。 図5は、図4に示したステップS101を説明するための図である。 図6は、図4に示したステップS103を説明するための図である。 図7(a)は、引張力の算出処理を説明するための図であり、図7(b)は、引張力の算出処理に用いられる座標軸を示す図である。 図8は、提示力の再設定処理を説明するための図である。 図9は、本発明の実施の形態における触力覚提示装置の他の例を示す斜視図である。 図10は、本発明の実施の形態において利用される装着部材の他の例を示す図である。
(実施の形態)
 以下、本発明の実施の形態における、触力覚提示装置、触力覚提示システム、触力覚提示方法、及びプログラムについて、図1~図10を参照しながら説明する。
[装置構成]
 最初に、図1を用いて、本実施の形態1における触力覚提示装置及び触力覚提示システムの外観構成を説明する。図1は、本発明の実施の形態1における触力覚提示装置及び触力覚提示システムの外観構成を示す斜視図である。
 図1に示すように、本実施の形態における触力覚提示システム100は、ユーザ110に触力覚を提示する触力覚提示装置60と、実空間の情報を取得する情報取得装置70とを備えている。
 本実施の形態では、実空間は、水族館であり、特に、そこに設置された水槽120内の空間である。また、情報取得装置70は、カメラであり、実空間の情報として、水槽120内の映像を取得する。なお、以下においては、「カメラ70」と表記する。
 また本実施の形態では、触力覚提示装置60は、タブレット型の形状を有し、水槽120の前に配置されている。更に、触力覚提示装置60は、装置の背面側(画面41が設けられた側の反対側)の空間において、ユーザ110の触力覚の提示を受ける部分、具体的には、指の位置を検出することができ、ユーザ110は指の位置を動かすことによって入力操作を行うことができる。
 また、触力覚提示装置60は、画面41上に、水槽120に対応した仮想空間を表示することができ、更に、ユーザ110の指に相当するオブジェクト(以下「ユーザオブジェクト」と表記する。)42を、検出された位置に合わせて仮想空間内に表示することもできる。そして、後述するように、実空間に存在する物体から生成された仮想オブジェクト43とユーザオブジェクト42とが接触した場合は、触力覚提示装置60は、ユーザ110の指に仮想オブジェクト43に触れた感触を伝達する。
 つまり、触力覚提示システム100では、ユーザ110が指を動かしたり、実空間の物体(仮想オブジェクト43)が動いたりすることにより、ユーザ110に、実空間の物体の感触に相当する触力覚が提示される。
 続いて、図2を用いて、本実施の形態における触力覚提示装置及び触力覚提示システムの構成について説明する。図2は、本発明の実施の形態1における触力覚提示システム及び触力覚提示装置の構成を示すブロック図である。
 図2に示すように、触力覚提示装置60は、主に、物体特定部20と、情報処理部30と、触力覚提示部10とを備えている。このうち、物体特定20は、情報取得装置であるカメラ70によって取得された情報から、実空間に存在する物体を特定する。また、情報処理部30は、物体特定部20によって特定された物体に応じて、ユーザに提示すべき触力覚を算出する。触力覚提示部10は、ユーザに対して、算出された触力覚を提示する。
 このように、本実施の形態では、実空間から取得された情報、具体的には映像からそこに存在する物体が特定され、特定した物体に基づいて触力覚が算出される。つまり、本実施の形態によれば、実空間に存在する物体に対応した触力覚の提示が可能となる。
 また、本実施の形態では、図2に示すように、触力覚提示装置60は、物体特定部20、情報処理部30及び触力覚提示部10に加えて、更に、表示装置40と、位置検出部50とを備えている。このうち、表示装置40は、液晶表示パネル、有機ELパネルといった薄型の表示パネルである。位置検出部50は、ユーザ110において触力覚の提示を受ける部分(指)の位置を検出する。
 また、図2に示すように、本実施の形態では、触力覚提示装置60において、触力覚提示部10は、伝達部材12と、駆動部11と、制御部14とを備えている。
 伝達部材12は、触力覚提示装置60からユーザ110の触力覚の提示を受ける部分(図1及び図2の例では指)へと伸びて、ユーザ110に引っ張り方向の力(以下、「引張力」と表記する。)を伝達する部材である。駆動部11は、引張力を発生させ、それを伝達部材12に与えている。
 また、制御部14は、まず、駆動部11に、予め、設定された大きさの引張力を初期力として発生させる。そして、制御部14は、駆動部11において、情報処理部30によって算出された触力覚の提示の際に、算出された触力覚が伝達部材12を介してユーザ110(図2参照)に与えられるように、初期力を増加又は減少させる。
 ここで、図3を用いて、触力覚提示装置の内部構成を具体的に説明する。図3は、本発明の実施の形態における触力覚提示装置の各構成部品を示す分解斜視図である。
 図3に示すように、触力覚提示装置60は、ユーザ側から順に、枠状に形成されたカバー61と、表示装置40と、箱状の筐体62とを備えている。カバー61は、表示装置40の画面が露出するように、筐体62の開口部分に取り付けられる。
 上述した、駆動部11、制御部14、物体特定部20、位置検出部50、及び情報処理部30は、表示装置40の背面側となる筐体62の内部に配置されている。また、図3に示すように、本実施の形態では、3本の伝達部材12が用いられており、これに対応して3つの駆動部11が配置されている。
 本実施の形態では、伝達部材12それぞれは、触力覚提示装置60の背面側の異なる位置からユーザ110における触力覚の提示を受ける部分(指)へと伸びる紐状の部材、例えば、ワイヤである。また、各伝達部材12の先端は、ユーザ110の触力覚の提示を受ける部分に装着される装着部材13に固定されている。具体的には、装着部材13は、ユーザ110の指に装着可能なリング状の部材である。
 また、本実施の形態では、各駆動部11は、プーリ15が軸に取り付けられたモータであり、対応する伝達部材12をプーリ15で巻き取ることによって、対応する伝達部材12に、引っ張り方向の力を与えている。
 更に、筐体62の底面には、伝達部材12毎に、通し穴16が設けられており、各伝達部材12は、通し穴16を経由して、触力覚提示装置60の背面側へと伸びる。なお、各通し穴16の位置は、特に限定されないが、後述するように、触力覚の提示範囲は各通し穴16の位置によって決定される(図8の領域X参照)。よって、各通し穴16の位置は、求められる提示範囲を考慮した上で決定される。
 このように、本実施の形態においては、3本の伝達部材12によって、装着部材13が引っ張られることによって、ユーザ110の指に提示力が提示される(図1参照)。つまり、各駆動部11が伝達部材13に与える引張力の合力によって、触力覚が提示される。
 また、本実施の形態では、位置検出部50は、駆動部11毎に、その軸に設けられたエンコーダである。このため、位置検出部50は、ユーザの触力覚の提示を受ける部分の位置を検出するためのデータ(以下、「位置検出データ」と表記する。)として、モータの軸の回転数を特定するデータを、情報処理部30に出力する。
 そして、情報処理部30は、各位置検出部50から出力された位置検出データを受け取ると、予め登録されている、伝達部材12の全長、プーリ15の直径、プーリ15から通し穴16までの距離等に基づいて、各伝達部材12の通し穴16から装着部材13までの長さを算出する。また、情報処理部30は、後述するように、算出された各伝達部材12の長さに基づいて、ユーザ110の触力覚の提示を受ける部分の位置、即ち、装着部材13の位置を算出する。
 また、図3の例では、制御部14、物体特定部20、及び情報処理部30は、個別に例示されておらず、これらは、ボードコンピュータ63に組み込まれたプログラムによって構築されている。また、制御部14、物体特定部20、及び情報処理部30はそれぞれ別々のコンピュータによって実現されていても良いし、同一のコンピュータによって実現されていても良い。
 続いて、再度図2を用いて、触力覚提示装置60におけるデータの流れについて説明する。触力覚提示装置60では、ユーザ110が、装着部材13を装着した指を、触力覚提示システム100の背面側で動かすと、各位置検出部50が、位置検出データaを情報処理部30に出力する。
 また、物体特定部20は、カメラ70から実空間の映像を取得すると、コンピュータのメモリ空間に構築された仮想空間内に、取得した映像に映っている物体121の仮想オブジェクト43を生成する(図1参照)。具体的には、物体特定部20は、例えば、米国特許出願公開第2009/0096783号明細書及び米国特許出願公開第2010/0118123号明細書に開示された、撮影された物体から3次元モデルを作成する技術を利用して、仮想オブジェクト43を生成する。
 更に、物体特定部20は、生成した仮想オブジェクト43のデータ(仮想オブジェクトデータc)を情報処理部30に出力する。なお、図1の例では、物体特定部20は、水槽120内を泳ぐ魚の仮想オブジェクトを生成している。また、仮想オブジェクトデータcには、その位置データも含まれている。
 また、情報処理部30は、ユーザ110の指に相当するユーザオブジェクト42(図1参照)を生成する。そして、情報処理部30は、各位置検出データaを受け取ると、これらに基づいて、ユーザ110の指(装着部材13)の位置を特定し、特定した位置に応じて、ユーザオブジェクト42(図1参照)の位置を変更する。
 続いて、情報処理部30は、仮想オブジェクト43の位置と、ユーザオブジェクト42の位置とを比較し、両者が接触しているかどうかを判定する。そして、判定の結果、接触している場合は、情報処理部30は、仮想オブジェクト43の接触によってユーザオブジェクト42に生じた力を算出し、算出した力を特定するデータb(以下「提示データb」と表記する。)を、制御部14に出力する。この算出された力は、ユーザに伝達すべき触力覚に相当する。また、このとき、情報処理部30は、仮想オブジェクト43とユーザオブジェクト42とを表示させるためのデータを、表示データeとして表示装置40に出力する。
 制御部14は、提示データbを受け取ると、提示データbによって特定される触力覚がユーザ110に伝達されるように、各駆動部11が出力すべき引張力を算出する。そして、制御部14は、各駆動部11に目的の引張力を発揮させる制御データdを生成し、これを各駆動部11に出力する。
 具体的には、制御部14は、電源回路(図示せず)を用いて、駆動部11として機能するモータを駆動するためのパルス信号を生成し、これを制御データdとして出力する。これにより、各駆動部(モータ)11は、計算された引張力で伝達部材12を引っ張り、ユーザ110の指先には、提示データbによって特定される触力覚が提示される。
 図1~図3を用いて説明したように、本実施の形態では、触力覚提示装置60は、その背面側に位置するユーザ110の指に、伝達部材11によって引っ張り方向の力を伝達することによって触力覚を提示する。このため、広い範囲での3次元的な触力覚の提示が可能となる。また、触力覚提示装置の構成は、コンパクトにできるので、装置の小型化も図られる。なお、本発明でいう「触力覚」とは、ユーザが感じる、反発力、抵抗力、外力、感触、等を意味する。
 また、本実施の形態1では、駆動部材12による引張力の伝達方向は、プーリ15及び通し穴16の位置によって、自由に設定できる。更に、伝達部材12の通し穴から装着部材13までの距離は、プーリ15での巻き取り量によって設定できるので、ユーザが指を動かすことのできる範囲も自由に設定できる。また、伝達部材12として、軽量な紐状の部材が用いられているので、ユーザは、指を動かす際に、機械的な抵抗などを感じ難いといえる。
[装置動作]
 次に、本発明の実施の形態における触力覚提示装置60の動作について図4を用いて説明する。図4は、本発明の実施の形態における触力覚提示装置の動作を示すフロー図である。なお、以下の説明においては、適宜図1~図3を参酌する。また、本実施の形態では、触力覚提示装置60を動作させることによって、触力覚提示方法が実施される。よって、本実施の形態における触力覚提示方法の説明は、以下の触力覚提示装置60の動作説明に代える。
 まず、物体特定部20が、予め、カメラ70から実空間の映像を取得し、コンピュータのメモリ空間に構築された仮想空間内に、取得した映像に映っている物体121の仮想オブジェクト43を生成しているとする。また、情報処理部30も、予め、ユーザ110の指に相当するユーザオブジェクト42(図1参照)を生成しているとする。
 この場合において、ユーザ110が、触力覚提示システム100の背面の空間において、表示装置40の画面上に表示される仮想オブジェクト43(図1参照)に触れようとして、指を動かすとする。これにより、図2に示したように、位置検出部50それぞれは、位置検出データaを、情報処理部30に出力する。
 次に、図4に示すように、情報処理部30は、出力されてきた位置検出データaに基づいて、各伝達部材12の通し穴16から装着部材13までの長さを算出し、更に、算出された各伝達部材12の長さに基づいて、ユーザ110の指の位置を検出及び特定する(S101)。また、情報処理部30は、特定した位置に応じて、ユーザオブジェクト42(図1参照)の位置を変更する。
 次に、情報処理部30は、仮想オブジェクト43の位置と、ユーザオブジェクト42の位置とを比較し、両者が接触しているかどうかを判定する。そして、判定の結果、接触している場合は、情報処理部30は、仮想オブジェクト43の接触によってユーザオブジェクト42に生じた力を算出し、算出した力を特定する提示データbを、制御部14に出力する(ステップS102)。
 また、ステップS102では、情報処理部30は、仮想オブジェクト43とユーザオブジェクト42とを表示させるためのデータを、表示データeとして表示装置40に出力する。
 次に、制御部14は、情報処理部30から提示データbを受け取ると、提示データbで特定される提示力を提示する上で各駆動部11が出力すべき引張力を算出する(ステップS103)。また、ステップS103では、制御部14は、更に、各駆動部11によって、算出された引張力が発生するように制御データdを生成し、これを各駆動部11に出力する。
 ステップS103が実行されると、触力覚提示装置60は、ユーザ110の指先に、装着部材13を介して触力覚を提示する(ステップS104)。また、表示装置の画面101には、ステップS102で情報処理部30が出力した表示データeに基づいて、仮想オブジェクト43とユーザオブジェクト42とが表示される(ステップS105)。なお、ステップS104とステップS105とは、同時に実行されても良い。
 また、本実施の形態1においては、ステップS101~S105は、繰り返し実行される。よって、ユーザ110が、ある位置から別の位置までを指を動かした場合は、開始から終了までの間に、ステップS101~S105は繰り返し実行されるので、その間、ユーザ110は、連続して、触力覚の提示を受けることができる。
 ここで、図4に示したステップS101~ステップS105までの各ステップについて、図5~図8を用いて更に詳細に説明する。
[ステップS101]
 まず、図5を用いて、図4に示したステップS101について説明する。図5は、図4に示したステップS101を説明するための図である。ステップS101の指位置検出処理では、上述したように、触力覚提示装置60の背面側において、伝達部材12の先端が接続されている装着部材13の位置が、位置検出部50によって特定される伝達部材12の長さによって特定される。
 具体的には、図5に示すように、各伝達部材12の通し穴16から装着部材13までの長さを、それぞれ、l、l、lとし、画面の水平方向において隣り合う通し穴間の間隔をwとし、画面の垂直方向において隣り合う通し穴間の間隔をhとする。この場合、情報処理部30は、l、l、l、w、及びhを用いて、装着部材13の座標(x、y、z)を幾何的に算出する。
[ステップS102]
 次に、図1を参照しながら、図4に示したステップS102について説明する。ステップS102では、上述したように、ユーザ110の実際の指の動きに合せて、仮想空間内でユーザオブジェクト42が仮想オブジェクト43に接触する。
 具体的には、情報処理部30は、仮想空間内の物理シミュレータを用いて、ユーザオブジェクト42と仮想オブジェクト43とが接触した際の位置の変化及び接触力をシミュレートする。
 そして、情報処理部30は、ユーザオブジェクト42と仮想オブジェクト43との仮想空間での物理係数に応じて、接触によって両者に生じた反力を計算する。なお、物理係数としては、ユーザオブジェクト42及び仮想オブジェクト43それぞれの、質量、速度、加速度、接触方向、反発係数等が挙げられる。
 また、この計算された反力のうち、ユーザオブジェクト42が仮想オブジェクト43から受けた反力が、ユーザ110に提示すべき触力覚に相当する(後述の図6及び図7参照)。よって、ユーザオブジェクト42が仮想オブジェクト43から受けた反力を「提示力F」とすると、情報処理部30は、提示力Fが提示されるようにするため、提示力Fを特定する提示データbを制御部14に出力する。また、情報処理部30は、その際の、ユーザオブジェクト42及び仮想オブジェクト43を表示するためのデータを、表示情報である表示データeとして表示装置40に出力する。
[ステップS103]
 次に、図6及び図7を用いて、図4に示したステップS103について説明する。図6は、図4に示したステップS103を説明するための図である。図6に示すように、目的の提示力Fを提示するために必要となる各伝達部材12の引張力を、それぞれ、τ、τ、τとすると、提示力Fは、基本的には、引張力τ、τ、及びτの合力に相当する。
 そして、提示力Fが、外部から触力覚提示装置60に向かう方向の力である場合には、提示力Fの方向は、引張力τ~τの合力の方向と一致する。しかし、図6に示すように、提示力Fが触力覚提示装置60から離れる方向の力である場合には、伝達部材12は、紐状の部材であり、触力覚提示装置60側へと引っ張る方向の力しか伝達できないため、触力覚の提示ができなくなる可能性がある。
 そのため、本実施の形態1では、制御部14は、上述したように、触力覚を提示しない場合において、予め、ユーザの指(装着部材13)に一定の力を常に初期力Fとして提示する。そして、制御部14は、提示力Fが、触力覚提示装置60から離れる方向の力である場合は、初期力Fを緩めることにより、触力覚提示装置60から離れる方向への触力覚を提示している。
 一般に、ヒトの触感覚には、その時間特性として、順応と呼ばれる現象がある。順応は、ヒトに一定の刺激を提示し続けると、刺激に対する感度が低下する現象である。つまり、ヒトの皮膚は、圧力に対してきわめて順応しやすく、指輪及び腕時計を装着した場合、その装着感は失われやすい。
 また、重力に対しても同様であり、ヒトは、普段、その力を意識することはない。例えば、電車に乗っている際の加速時又は減速時において、ヒトには、その慣性力と重力との合力が力として加わっているが、電車に乗っているヒトは、合力を感じず、移動方向への慣性力のみを感じる。
 このように、本実施の形態では、ヒトの順応性が利用され、初期力Fを増加又は減少させることによって、触力覚提示装置60に向かう方向の触力覚と離れる方向の触力覚との提示が可能となっている。
 続いて、図7を用いて、伝達部材12に与える引張力τ~τの算出処理について具体的に説明する。図7(a)は、引張力の算出処理を説明するための図であり、図7(b)は、引張力の算出処理に用いられる座標軸を示す図である。
 図7(a)及び(b)において、引張力τ~τは、初期力Fを発生させるために必要となる引張力を除いた引張力であり、初期力Fに対して加算又は減算させる引張力である。また、図7(a)及び(b)において、座標軸の原点は、各伝達部材12の先端の位置とする。更に、x軸は画面の水平方向に平行な軸、y軸は画面の垂直方向に平行な軸、z軸は画面の法線に平行な軸とする。図7(b)において、単位ベクトルrの座標を、(r,ψ,θ)とする。この場合、引張力τ~τは、目的の提示力を発揮するためには、下記の数1の関係を満たす必要がある。
Figure JPOXMLDOC01-appb-M000001
 また、上記数1において、伝達部材12の引張力τ~τはスカラー量であり、引張力τ~τの方向ベクトルΦは、数2によって表わされる。
Figure JPOXMLDOC01-appb-M000002
 制御部14は、上記数1及び数2を用いることで、引張力τ~τを算出することができる。また、上記数1に示すように、目的の提示力Fは、各伝達部材12の引張力から初期力Fを減算することによって得られている。このため、提示力Fが、触力覚提示システム100から離れる方向(-z方向)の、初期力Fを超える力でない限りは、触力覚提示システム100から離れる方向(-z方向)においても触力覚の提示が可能となる。
 なお、各伝達部材12の引張力の条件として、引張力τ、τ、τは、引張する向にしか力を提示できないため、これらは必ず正の値をとる。また、各引張力の最低値をτminとした場合は、下記の数3が成立する。
Figure JPOXMLDOC01-appb-M000003
 ところで、伝達部材12は、引っ張り方向の力しか伝達できないため、引張力τ、τ、τの合力によって、提示すべき触力覚を提示できない状況が発生することがある(図8参照)。具体的には、装着部材13が、画面の法線に平行な方向(z軸方向)において、隣接する通し穴16を直線で結んで得られる領域(図8の領域X参照)と重ならない位置にある場合は、上記数1では、目的の提示力Fを算出できなくなる可能性がある。このような場合、本実施の形態では、制御部14は、提示すべき触力覚(提示力F)を設定し直し、設定し直した提示力Frが提示されるように、初期力Fを増加又は減少させる。以下に、上記再設定処理について具体的に説明する。
 図8は、提示力の再設定処理を説明するための図である。図8に示すように、例えば、装着部材13の位置(x、y、z)が、隣接する通し穴16を直線で結んで得られる領域Xとz軸方向において重ならない位置にある場合を想定する。
 図8に示す場合において、提示力Fのx軸方向の成分が正でない限り、各伝達部材12の張力をどのように設定しても、上記数1及び数2によって提示力Fを算出することは不可能である。一方、このような状況であっても、ユーザは、指を領域Xとz軸方向において重なる位置に移動させることはできる。従って、制御部14は、このような場合において、上記数1及び数2によって、引張力τ、τ、τを算出できるように、提示力Frを再設定する。
 図8の例では、実際に、引張力τ、τ、及びτによって引っ張りたい方向は、提示力Fと初期力Fとの合力の方向である。しかし、この方向は、各伝達部材12の合力によって引っ張ることができる方向ではない。このため、制御部14は、提示力Fと初期力Fとの合力に最も近い力を、新たな提示力Frとして再設定する。
 図8の例では、引張力τと引張力τとで発生させる提示力Frが、元の提示力Fと初期力Fとの合力に近くなる。そこで、制御部14は、引張力τと引張力τとを発生させる2本の伝達部材12によって作られる面に、元の提示力Fと初期力Fとの合力を回転射影することで、新しい提示力Frを再設定する。
 具体的には、引張力τと引張力τとを発生させる2本の伝達部材12によって作られる面への射影ベクトルVは、下記の数4によって表すことができる。数4において変数「a」は、図8に示すように、回転射影を行なった場合の回転角度ωを最も小さくする位置、即ち、領域Xの画面の垂直方向における辺上の位置を割合で表わしている(0<a<1)。また、Φは通し穴16を基準にしたτの方向ベクトルである。Φは通し穴16を基準にしたτの方向ベクトルである。Φ及びΦは、上述の数2から求められる。
Figure JPOXMLDOC01-appb-M000004
 従って、制御部14は、下記数5を用いて、射影ベクトルVと元の提示力F及び初期力Fの合力との内積を、最も小さくする射影ベクトルを算出する。そして、制御部15は、算出した射影ベクトルを、下記の数6に適用して、新たな提示力Frを算出する。その後、制御部15は、新たな提示力Frを用いて、各伝達部材12の引張力τ、τ、τを算出し、これらが発生するように制御データdを生成し、各駆動部11に出力する。
Figure JPOXMLDOC01-appb-M000005
Figure JPOXMLDOC01-appb-M000006
[実施の形態における変形例]
 変形例1:
 上述した例では、情報取得装置70としては、カメラが用いられているが、本実施の形態はこれに限定されない。情報取得装置70は、実空間の情報を取得できる装置であれば良く、例えば、実空間の物体の形状を超音波によって特定できる装置であっても良い。
 変形例2:
 上述した例では、情報取得装置70は、触力覚提示装置60とは別体となっているが、本実施の形態では、情報取得装置70が触力覚提示装置60に組み込まれていても良い。具体的には、触力覚提示装置60の背面に、カメラが取り付けられている態様であっても良い。
 変形例3:
 上述した例では、触力覚提示装置60は、図3に示したようにタブレット状の筐体62に全ての構成部品を収納しているが、本実施の形態はこれに限定されない。本実施の形態は、例えば、触力覚提示装置60における触力覚提示部10以外の部分、即ち、物体特定部20と情報処理部30とが、別のコンピュータによって構成された態様であっても良い。
 変形例4:
 上述した例では、触力覚提示部10は、複数の紐状の伝達部材12によって触力覚を提示する構成を備えているが、本実施の形態では触力覚提示部10の構成は限定されない。例えば、触力覚提示部10は、手の形状に合わせて形成したリンク機構、表示装置を厚み方向に移動させる機構、又は表示装置の主面に配置された透明のプレートを動かす機構を備え、これらの機構によって触力覚を提示することもできる。
 変形例5:
 また、上述した例では、触力覚提示部10において、伝達部材12は三本であるが、本実施の形態では、伝達部材12の数は特に限定されるものではない。伝達部材12の数は、触力覚提示装置60を大型化させない範囲で設定されていれば良い。
 変形例5:
 更に、上述した例では、触力覚提示部10において、駆動部11としてモータが用いられているが、本実施の形態では、駆動部11はモータに限定されない。駆動部11は、伝達部材を引っ張ることが可能なアクチュエータであれば良く、駆動部11としては、他に、伸張動作を行なう人工筋肉アクチュエータ、繊維状の形状記憶合金アクチュエータ、などが挙げられる。
 変形例6:
 また、上述した例では、位置検出部50として、伝達部材の長さを特定するエンコーダが用いられているが、本実施の形態では、位置検出部50は、エンコーダ以外であっても良い。例えば、位置検出部50としては、触力覚提示装置60の背面に設置されたカメラを用いることができる。この場合は、装着部材13の位置が光学的に検出される。また、位置検出部50として、触力覚提示装置60の背面に設置された磁気センサを用いることもできる。この場合は、磁気を発する材料で装着部材13を形成することによって、装着部材13の位置検出が可能となる。
 変形例7:
 また、上述した例では、図5に示したように、伝達部材12を引張し始める位置である通し穴16の位置は、縦方向をh、横方向をwとした直角三角形の頂点位置に設定されているが、本実施の形態において、通し穴16の位置は特に限定されるものではない。また、全ての通し穴は、同一平面内に配置されていなくても良い。通し穴16の位置は、触力覚提示装置60の厚みが許す範囲で適宜設定される。
 変形例8:
 また、上述した例では、触力覚提示装置60の背面側を操作空間にして、触力覚が提示されているが、本実施の形態では、触力覚提示装置60の画面側の空間が操作空間となっていても良い。但し、この場合は、初期力Fの方向は、z軸において負の方向となる(図6参照)。
 変形例9:
 図9は、本発明の実施の形態における触力覚提示装置の他の例を示す斜視図である。図9の例では、触力覚提示装置60を構成している筐体62の底面に、伝達部材12を収容するための溝17と、装着部材13を収容するための凹部18とが形成されている。図9に示す例とした場合は、不使用時において、触力覚提示装置60の外観をすっきりさせることができる。
 変形例10:
 図10は、本発明の実施の形態において利用される装着部材の他の例を示す図である。図10の例では、装着部材13は、単なるリングではなく、リング状のフレーム13aと、その内周に嵌め込まれるボールベアリング13bと、伝達部材12が連結される連結部13cとを備えている。従って、装着部材13において、ユーザの指に接触している部分は、伝達部材12に接続されている部分から独立して回転することができるので、以下の効果が得られることになる。
 例えば、図1の例において、ユーザが、装着部材13を装着した指で、仮想オブジェク43の向かって右側の面を触ろうとした場合を想定する。この場合、ユーザは、指の腹を仮想オブジェクト43に接触させようとして、手首を外旋させるが、このとき、指と装着部材13とが密着していると、手首の外旋によって、装着部材13は指と共に回転してしまう。これにより、指には、想定していないモーメントが作用してしまい、正確な触力覚を提示することが困難となる。また、指に、伝達部材12が絡みつく可能性もある。
 しかしながら、図10に示す装着部材13を用いれば、装着部材13において、ユーザの指に接触している部分は、伝達部材12に接続されている部分から独立して回転することができる。よって、想定していないモーメントが作用したり、指に伝達部材12が絡みついたり、といった事態が回避される。なお、図10の例では、ユーザの指に接触している部分を、伝達部材12に接続されている部分から独立して回転させるために、ボールベアリング13bが用いられているが、本例は、この態様に限定される趣旨ではない。このような作用が得られる部材であれば、限定なく、装着部材13に導入可能である。
[適用例]
 また、図1には、触力覚提示システム100の適用例として、水族館の水槽が示されているが、本実施の形態において、触力覚提示システム100の適用例は、これに限定されない。触力覚提示システム100の他の適用例としては、動物園、美術館、展望台、天文台、プラネタリウム等が挙げられる。触力覚提示システム100は、特に、ユーザが触れてみたいが触ることができない物体に対して有効である。
[プログラム]
 本実施の形態1におけるプログラムは、コンピュータに、図4に示すステップS101~S103を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における触力覚提示装置60と触力覚提示方法とを実現することができる。この場合、コンピュータのCPU(Central Processing Unit)は、物体特定部20、情報処理部30、制御部14として機能し、処理を行なう。
 また、触力覚提示装置60を実現可能なコンピュータは、特に限定されず、上述したマイコンであっても良いし、汎用のパーソナルコンピュータであっても良い。更に、触力覚提示装置60を実現可能なコンピュータは、携帯電話、スマートフォン、又はタブレット型の触力覚提示システムに備えられているコンピュータであっても良い。
 また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体に記録された状態で提供されても良いし、インターネット介して送信されても良い。なお、記録媒体の具体例としては、CF(Compact Flash(登録商標))及びSD(Secure Digital)等の汎用的な半導体記憶デバイス、フレキシブルディスク(Flexible Disk)等の磁気記憶媒体、又はCD-ROM(Compact Disk Read Only Memory)などの光学記憶媒体が挙げられる。
[実施の形態における効果]
 以上のように、本実施の形態における触力覚提示システムによれば、ユーザは、提示される触力覚によって、実際には触ることができない実空間の物体をあたかも触ったと感じることができる。従って、ユーザは、本水中にいる生物、危険な肉食獣、触ることが許されない貴重な美術品等を、擬似的に触ったと感じることができる。
 また、本実施の形態では、触力覚の発生は、ヒトの知覚特性を考慮して行なわれているため、発生した触力覚は、ユーザにとって違和感のないものとなる。更に、伝達部材の長さを確保することで、ユーザは指を大きく動かすことができ、この点からも、触力覚は、ユーザにとって違和感のないものとなる。
 また、伝達部材として紐状の部材を用いた場合は、触力覚提示装置の複雑化を抑制できるので、特に、装置の小型化及び軽量化を促進できる。更に、モータ等を空間的に配置する必要がないので、触力覚提示装置を、携帯型の触力覚提示システムに適用することも可能となる。
 上述した実施の形態の一部又は全部は、以下に記載する(付記1)~(付記17)によって表現することができるが、以下の記載に限定されるものではない。
(付記1)
 ユーザに触力覚を提示するための装置であって、
 実空間の情報から、前記実空間に存在する物体を特定する、物体特定部と、
 特定された前記物体に応じて、前記ユーザに提示すべき触力覚を算出する、情報処理部と、
 前記ユーザに対して、算出された前記触力覚を提示する、触力覚提示部と、
を備えていることを特徴とする触力覚提示装置。
(付記2)
 前記物体特定部が、前記実空間の情報として、前記実空間の映像を取得し、仮想空間内に、取得した前記映像に映っている物体の仮想オブジェクトを生成することによって、前記物体を特定し、
 前記情報処理部が、生成された前記物体の仮想オブジェクトに基づいて、提示すべき前記触力覚を算出する、付記1に記載の触力覚提示装置。
(付記3)
 前記実空間を撮影可能なカメラを更に備え、
 前記物体特定部が、前記カメラから、前記実空間の映像を取得する、
付記2に記載の触力覚提示装置。
(付記4)
 前記ユーザにおいて前記触力覚の提示を受ける部分の位置を検出する位置検出部を更に備え、
 前記情報処理部が、検出された位置に応じて、前記ユーザに提示すべき前記触力覚を算出する、
付記1に記載の触力覚提示装置。
(付記5)
 前記触力覚提示部が、更に、
当該触力覚提示装置から前記ユーザの前記触力覚の提示を受ける部分へと伸びて前記ユーザに引っ張り方向の力を伝達する伝達部材と、
前記引っ張り方向の力を発生させ、それを前記伝達部材に与える駆動部と、
予め、前記駆動部に、設定された大きさの前記引っ張り方向の力を初期力として発生させておき、前記情報処理部によって算出された前記触力覚の提示の際に、算出された前記触力覚が前記伝達部材を介して前記ユーザに与えられるように、前記初期力を増加又は減少させる、制御部と、を備えている、
付記4に記載の触力覚提示装置。
(付記6)
 実空間の情報を取得する情報取得装置と、ユーザに触力覚を提示する触力覚提示装置と、を備え、
 前記触力覚提示装置は、
前記情報取得装置によって取得された情報から、前記実空間に存在する物体を特定する、物体特定部と、
特定された前記物体に応じて、前記ユーザに提示すべき触力覚を算出する、情報処理部と、
前記ユーザに対して、算出された前記触力覚を提示する、触力覚提示部と、
を備えている、
ことを特徴とする触力覚提示システム。
(付記7)
 前記情報取得装置が、前記実空間の情報として、前記実空間の映像を取得するカメラであり、
 前記物体特定部が、仮想空間内に、取得された前記映像に映っている物体の仮想オブジェクトを生成することによって、前記物体を特定し、
 前記情報処理部が、生成された前記物体の仮想オブジェクトに基づいて、提示すべき前記触力覚を算出する、付記6に記載の触力覚提示システム。
(付記8)
 前記触力覚提示装置が、前記ユーザにおいて前記触力覚の提示を受ける部分の位置を検出する位置検出部を更に備え、
 前記情報処理部が、検出された位置に応じて、前記ユーザに提示すべき前記触力覚を算出する、
付記6に記載の触力覚提示システム。
(付記9)
 前記触力覚提示部が、更に、
当該触力覚提示装置から前記ユーザの前記触力覚の提示を受ける部分へと伸びて前記ユーザに引っ張り方向の力を伝達する伝達部材と、
前記引っ張り方向の力を発生させ、それを前記伝達部材に与える駆動部と、
予め、前記駆動部に、設定された大きさの前記引っ張り方向の力を初期力として発生させておき、前記情報処理部によって算出された前記触力覚の提示の際に、算出された前記触力覚が前記伝達部材を介して前記ユーザに与えられるように、前記初期力を増加又は減少させる、制御部と、を備えている、
付記8に記載の触力覚提示システム。
(付記10)
 ユーザに触力覚を提示するための方法であって、
(a)実空間の情報から、前記実空間に存在する物体を特定する、ステップと、
(b)前記(a)のステップで特定された前記物体に応じて、前記ユーザに提示すべき触力覚を算出する、ステップと、
(c)前記ユーザに対して、前記(b)のステップで算出された前記触力覚を提示する、ステップと、
を有することを特徴とする触力覚提示方法。
(付記11)
 前記(a)のステップで、前記実空間の情報として、前記実空間の映像を取得し、仮想空間内に、取得した前記映像に映っている物体の仮想オブジェクトを生成することによって、前記物体を特定し、
 前記(b)のステップで、前記(a)のステップで生成された前記物体の仮想オブジェクトに基づいて、提示すべき前記触力覚を算出する、
付記10に記載の触力覚提示方法。
(付記12)
 前記(a)のステップで、前記実空間を撮影可能なカメラから、前記実空間の映像を取得する、
付記11に記載の触力覚提示方法。
(付記13)
 前記ユーザにおいて前記触力覚の提示を受ける部分の位置が検出された場合に、前記(b)のステップにおいて、検出された位置に応じて、前記ユーザに提示すべき前記触力覚を算出する、
付記10に記載の触力覚提示方法。
(付記14)
 コンピュータによって、ユーザに触力覚を提示するためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記コンピュータに、
(a)実空間の情報から、前記実空間に存在する物体を特定する、ステップと、
(b)前記(a)のステップで特定された前記物体に応じて、前記ユーザに提示すべき触力覚を算出する、ステップと、
(c)前記ユーザに対して、前記(b)のステップで算出された前記触力覚を提示する、ステップと、
を実行させる命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。
(付記15)
 前記(a)のステップで、前記実空間の情報として、前記実空間の映像を取得し、仮想空間内に、取得した前記映像に映っている物体の仮想オブジェクトを生成することによって、前記物体を特定し、
 前記(b)のステップで、前記(a)のステップで生成された前記物体の仮想オブジェクトに基づいて、提示すべき前記触力覚を算出する、
付記14に記載のコンピュータ読み取り可能な記録媒体。
(付記16)
 前記(a)のステップで、前記実空間を撮影可能なカメラから、前記実空間の映像を取得する、
付記15に記載のコンピュータ読み取り可能な記録媒体。
(付記17)
 前記ユーザにおいて前記触力覚の提示を受ける部分の位置が検出された場合に、前記(b)のステップにおいて、検出された位置に応じて、前記ユーザに提示すべき前記触力覚を算出する、
付記14に記載のコンピュータ読み取り可能な記録媒体。
 以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
 この出願は、2013年1月29日に出願された日本出願特願2013-14207を基礎とする優先権を主張し、その開示の全てをここに取り込む。
 本発明によれば、実空間に存在する物体に対応した触力覚の提示が可能になる。本発明は、例えば、水族館、動物園、美術館などにおいて有用である。
 10 触力覚提示部
 11 駆動部
 12 伝達部材
 13 装着部材
 13a フレーム
 13b ボールベアリング
 13c 連結部
 14 制御部
 15 プーリ
 16 通し穴
 17 溝
 18 凹部
 20 物体特定部
 30 情報処理部
 40 表示装置
 41 画面
 42 ユーザオブジェクト
 43 仮想オブジェクト
 50 位置検出部
 60 触力覚提示装置
 61 カバー
 62 筐体
 70 情報取得装置
 100 触力覚提示システム
 110 ユーザ
 a 位置検出データ
 b 提示データ
 c 仮想オブジェクトデータ
 d 制御データ 
 e 表示データ

Claims (17)

  1.  ユーザに触力覚を提示するための装置であって、
     実空間の情報から、前記実空間に存在する物体を特定する、物体特定部と、
     特定された前記物体に応じて、前記ユーザに提示すべき触力覚を算出する、情報処理部と、
     前記ユーザに対して、算出された前記触力覚を提示する、触力覚提示部と、
    を備えていることを特徴とする触力覚提示装置。
  2.  前記物体特定部が、前記実空間の情報として、前記実空間の映像を取得し、仮想空間内に、取得した前記映像に映っている物体の仮想オブジェクトを生成することによって、前記物体を特定し、
     前記情報処理部が、生成された前記物体の仮想オブジェクトに基づいて、提示すべき前記触力覚を算出する、請求項1に記載の触力覚提示装置。
  3.  前記実空間を撮影可能なカメラを更に備え、
     前記物体特定部が、前記カメラから、前記実空間の映像を取得する、
    請求項2に記載の触力覚提示装置。
  4.  前記ユーザにおいて前記触力覚の提示を受ける部分の位置を検出する位置検出部を更に備え、
     前記情報処理部が、検出された位置に応じて、前記ユーザに提示すべき前記触力覚を算出する、
    請求項1~3のいずれかに記載の触力覚提示装置。
  5.  前記触力覚提示部が、更に、
    当該触力覚提示装置から前記ユーザの前記触力覚の提示を受ける部分へと伸びて前記ユーザに引っ張り方向の力を伝達する伝達部材と、
    前記引っ張り方向の力を発生させ、それを前記伝達部材に与える駆動部と、
    予め、前記駆動部に、設定された大きさの前記引っ張り方向の力を初期力として発生させておき、前記情報処理部によって算出された前記触力覚の提示の際に、算出された前記触力覚が前記伝達部材を介して前記ユーザに与えられるように、前記初期力を増加又は減少させる、制御部と、を備えている、
    請求項4に記載の触力覚提示装置。
  6.  実空間の情報を取得する情報取得装置と、ユーザに触力覚を提示する触力覚提示装置と、を備え、
     前記触力覚提示装置は、
    前記情報取得装置によって取得された情報から、前記実空間に存在する物体を特定する、物体特定部と、
    特定された前記物体に応じて、前記ユーザに提示すべき触力覚を算出する、情報処理部と、
    前記ユーザに対して、算出された前記触力覚を提示する、触力覚提示部と、
    を備えている、
    ことを特徴とする触力覚提示システム。
  7.  前記情報取得装置が、前記実空間の情報として、前記実空間の映像を取得するカメラであり、
     前記物体特定部が、仮想空間内に、取得された前記映像に映っている物体の仮想オブジェクトを生成することによって、前記物体を特定し、
     前記情報処理部が、生成された前記物体の仮想オブジェクトに基づいて、提示すべき前記触力覚を算出する、請求項6に記載の触力覚提示システム。
  8.  前記触力覚提示装置が、前記ユーザにおいて前記触力覚の提示を受ける部分の位置を検出する位置検出部を更に備え、
     前記情報処理部が、検出された位置に応じて、前記ユーザに提示すべき前記触力覚を算出する、
    請求項6または7に記載の触力覚提示システム。
  9.  前記触力覚提示部が、更に、
    当該触力覚提示装置から前記ユーザの前記触力覚の提示を受ける部分へと伸びて前記ユーザに引っ張り方向の力を伝達する伝達部材と、
    前記引っ張り方向の力を発生させ、それを前記伝達部材に与える駆動部と、
    予め、前記駆動部に、設定された大きさの前記引っ張り方向の力を初期力として発生させておき、前記情報処理部によって算出された前記触力覚の提示の際に、算出された前記触力覚が前記伝達部材を介して前記ユーザに与えられるように、前記初期力を増加又は減少させる、制御部と、を備えている、
    請求項8に記載の触力覚提示システム。
  10.  ユーザに触力覚を提示するための方法であって、
    (a)実空間の情報から、前記実空間に存在する物体を特定する、ステップと、
    (b)前記(a)のステップで特定された前記物体に応じて、前記ユーザに提示すべき触力覚を算出する、ステップと、
    (c)前記ユーザに対して、前記(b)のステップで算出された前記触力覚を提示する、ステップと、
    を有することを特徴とする触力覚提示方法。
  11.  前記(a)のステップで、前記実空間の情報として、前記実空間の映像を取得し、仮想空間内に、取得した前記映像に映っている物体の仮想オブジェクトを生成することによって、前記物体を特定し、
     前記(b)のステップで、前記(a)のステップで生成された前記物体の仮想オブジェクトに基づいて、提示すべき前記触力覚を算出する、
    請求項10に記載の触力覚提示方法。
  12.  前記(a)のステップで、前記実空間を撮影可能なカメラから、前記実空間の映像を取得する、
    請求項11に記載の触力覚提示方法。
  13.  前記ユーザにおいて前記触力覚の提示を受ける部分の位置が検出された場合に、前記(b)のステップにおいて、検出された位置に応じて、前記ユーザに提示すべき前記触力覚を算出する、
    請求項10~12のいずれかに記載の触力覚提示方法。
  14.  コンピュータによって、ユーザに触力覚を提示するためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
    前記コンピュータに、
    (a)実空間の情報から、前記実空間に存在する物体を特定する、ステップと、
    (b)前記(a)のステップで特定された前記物体に応じて、前記ユーザに提示すべき触力覚を算出する、ステップと、
    (c)前記ユーザに対して、前記(b)のステップで算出された前記触力覚を提示する、ステップと、
    を実行させる命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。
  15.  前記(a)のステップで、前記実空間の情報として、前記実空間の映像を取得し、仮想空間内に、取得した前記映像に映っている物体の仮想オブジェクトを生成することによって、前記物体を特定し、
     前記(b)のステップで、前記(a)のステップで生成された前記物体の仮想オブジェクトに基づいて、提示すべき前記触力覚を算出する、
    請求項14に記載のコンピュータ読み取り可能な記録媒体。
  16.  前記(a)のステップで、前記実空間を撮影可能なカメラから、前記実空間の映像を取得する、
    請求項15に記載のコンピュータ読み取り可能な記録媒体。
  17.  前記ユーザにおいて前記触力覚の提示を受ける部分の位置が検出された場合に、前記(b)のステップにおいて、検出された位置に応じて、前記ユーザに提示すべき前記触力覚を算出する、
    請求項14~16のいずれかに記載のコンピュータ読み取り可能な記録媒体。
PCT/JP2014/050745 2013-01-29 2014-01-17 触力覚提示装置、触力覚提示システム、触力覚提示方法、およびコンピュータ読み取り可能な記録媒体 WO2014119383A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014559621A JPWO2014119383A1 (ja) 2013-01-29 2014-01-17 触力覚提示装置、触力覚提示システム、触力覚提示方法、およびプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-014207 2013-01-29
JP2013014207 2013-01-29

Publications (1)

Publication Number Publication Date
WO2014119383A1 true WO2014119383A1 (ja) 2014-08-07

Family

ID=51262097

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/050745 WO2014119383A1 (ja) 2013-01-29 2014-01-17 触力覚提示装置、触力覚提示システム、触力覚提示方法、およびコンピュータ読み取り可能な記録媒体

Country Status (2)

Country Link
JP (1) JPWO2014119383A1 (ja)
WO (1) WO2014119383A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7420099B2 (ja) 2021-03-10 2024-01-23 豊田合成株式会社 視聴方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003172662A (ja) * 2001-12-10 2003-06-20 Rikogaku Shinkokai 力覚提示装置における張力計算のアルゴリズム
JP2009187550A (ja) * 2008-02-04 2009-08-20 Gwangju Inst Of Science & Technology 拡張現実におけるハプティックインタラクション方法およびそのシステム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003172662A (ja) * 2001-12-10 2003-06-20 Rikogaku Shinkokai 力覚提示装置における張力計算のアルゴリズム
JP2009187550A (ja) * 2008-02-04 2009-08-20 Gwangju Inst Of Science & Technology 拡張現実におけるハプティックインタラクション方法およびそのシステム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7420099B2 (ja) 2021-03-10 2024-01-23 豊田合成株式会社 視聴方法

Also Published As

Publication number Publication date
JPWO2014119383A1 (ja) 2017-01-26

Similar Documents

Publication Publication Date Title
EP3997552B1 (en) Virtual user interface using a peripheral device in artificial reality environments
KR102209873B1 (ko) 헤드 마운트 디스플레이를 위한 예측적 트래킹에 기반한 인식
CN108475120B (zh) 用混合现实***的远程设备进行对象运动跟踪的方法及混合现实***
KR102194164B1 (ko) 홀로그램 객체 피드백
JP6348176B2 (ja) 適応イベント認識
JP2021168176A (ja) 検出された手入力に基づく仮想手ポーズのレンダリング
JP6509698B2 (ja) 提示する力覚を決定する装置、方法、およびプログラム
JP2022535325A (ja) 人工現実システムのための腕注視駆動のユーザインターフェース要素ゲーティング
KR20160013939A (ko) 증강 현실 오브젝트의 신체 고정식 배치
US11086475B1 (en) Artificial reality systems with hand gesture-contained content window
JP2015095802A (ja) 表示制御装置、表示制御方法、およびプログラム
JP2022535182A (ja) ユーザインターフェース要素をゲーティングするパーソナルアシスタント要素を備えた人工現実システム
JP2022535322A (ja) 人工現実システムのための角を識別するジェスチャー駆動のユーザインターフェース要素ゲーティング
EP3528024B1 (en) Information processing device, information processing method, and program
EP3217384B1 (en) Head mounted display and information processing method
JP6341096B2 (ja) 触力覚提示装置、情報端末、触力覚提示方法、およびコンピュータ読み取り可能な記録媒体
KR102152595B1 (ko) 가상 현실 콘텐츠에 참여하고 있는 사용자에 대한 코칭 시스템
WO2014119383A1 (ja) 触力覚提示装置、触力覚提示システム、触力覚提示方法、およびコンピュータ読み取り可能な記録媒体
JP6428629B2 (ja) 触力覚提示装置、情報端末、触力覚提示方法、およびプログラム
JP6387762B2 (ja) 力覚提示装置、情報端末、力覚提示方法、及びプログラム
JP2015153387A (ja) 仮想現実体感装置、仮想現実体感方法、及びプログラム
JP2018190380A (ja) 仮想空間の立体視映像を提供するためのプログラム、システム、及び方法
JP2015118323A (ja) 訓練装置、訓練方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14746439

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014559621

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14746439

Country of ref document: EP

Kind code of ref document: A1