WO2019163260A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
WO2019163260A1
WO2019163260A1 PCT/JP2018/045563 JP2018045563W WO2019163260A1 WO 2019163260 A1 WO2019163260 A1 WO 2019163260A1 JP 2018045563 W JP2018045563 W JP 2018045563W WO 2019163260 A1 WO2019163260 A1 WO 2019163260A1
Authority
WO
WIPO (PCT)
Prior art keywords
tactile
presentation device
information processing
processing apparatus
perceived
Prior art date
Application number
PCT/JP2018/045563
Other languages
English (en)
French (fr)
Inventor
諒 横山
伊藤　鎮
山野　郁男
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US16/969,695 priority Critical patent/US11334226B2/en
Priority to EP18906864.6A priority patent/EP3757721A4/en
Priority to CN201880089356.3A priority patent/CN111712779A/zh
Priority to JP2020502043A priority patent/JP7314926B2/ja
Publication of WO2019163260A1 publication Critical patent/WO2019163260A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Definitions

  • the present disclosure relates to an information processing apparatus, an information processing method, and a program.
  • Patent Document 1 describes a technique for outputting a tactile stimulus to a predetermined device when an event occurs in a virtual space.
  • the output tactile stimulus differs depending on the position of the target of the tactile stimulus.
  • the same tactile stimulus is output regardless of the position information. It had been.
  • the effect of the tactile sensation presentation can only be confirmed by the waveform of the signal output to each tactile sensation presentation device, and the actual presentation effect is difficult to understand.
  • the present disclosure proposes an information processing apparatus, an information processing method, and a program that enable an intuitive operation regarding the setting of a perceptual position of a tactile stimulus.
  • a display control unit that displays information related to the tactile presentation device and a perceived position specified by the user in the tactile presentation device, and a plurality of the perceptual positions and the tactile presentation device provided in the display control unit.
  • An information processing apparatus comprising: a generation unit that generates an output control signal to be output to the plurality of tactile stimulation units so as to perceive a tactile stimulation at the perceptual position according to the position of the tactile stimulation unit.
  • a processor for displaying information related to a haptic presentation device and a perceived position in the haptic presentation device specified by a user; and the perceived position and the haptic presentation device. Producing an output control signal to be output to the plurality of tactile stimulation units so as to perceive a tactile stimulation at the perceptual position in accordance with the positions of the plurality of tactile stimulation units.
  • a computer in the display control unit that displays information related to a tactile presentation device and a perceived position in the tactile presentation device designated by a user, and the perceived position and the tactile presentation device.
  • a program for functioning as a generation unit that generates an output control signal to be output to the plurality of tactile stimulation units so as to perceive a tactile stimulation at the perceptual position according to the positions of the plurality of tactile stimulation units. suggest.
  • FIG. 1 is a diagram illustrating an overview of an information processing system according to an embodiment of the present disclosure.
  • the information processing system according to the present embodiment includes a tactile presentation device 10 that presents a tactile stimulus to a user, and an information processing apparatus 20 that performs output setting of the tactile stimulus.
  • a haptic presentation device 10 illustrated in FIG. 1 includes a plurality of haptic stimulation units 100 (also referred to as actuators) and two audio output units 102 therein.
  • a predetermined number for example, six
  • the individual haptic stimulation units 100 are arranged in such a positional relationship that the individual haptic stimulation units 100 arranged on the front side and the individual haptic stimulation units 100 arranged on the back side face each other. .
  • FIG. 1 shows an example in which the tactile sense presentation device 10 is a vest type (clothes without sleeves).
  • the tactile sense presentation device 10 may have a sleeve. Good.
  • one or more tactile stimulation units 100 may be disposed not only on the user's chest and abdomen but also on positions corresponding to the user's arms.
  • the tactile sense presentation device 10 is not limited to the jacket as shown in FIG. 1, and may be trousers, socks, shoes, a belt, a hat, gloves, a mask, or the like.
  • one audio output unit 102 is disposed on each of the left and right sides of the shoulder portion.
  • the audio output unit 102 is 1 Only one piece may be arranged, or three or more pieces may be arranged. Further, instead of being included in the haptic presentation device 10, the audio output unit 102 may be disposed in the predetermined space as an independent device, or may be a wearable device (for example, a headphone) different from the haptic presentation device 10. Or a headset, etc.) or a portable device (eg, a portable music player, a smartphone, a portable game machine, etc.).
  • a wearable device for example, a headphone
  • a portable device eg, a portable music player, a smartphone, a portable game machine, etc.
  • the tactile sensation presentation device 10 is not limited to the above-mentioned accessories, and examples include a controller, a gun-type controller, a bed, and a chair.
  • Tactile stimulation unit 100 When the plurality of haptic stimulation units 100 included in the haptic presentation device 10 each generate vibrations alone, the generated vibrations can be perceived only at the periphery of the haptic stimulation unit 100. That is, when the individual tactile stimulation units 100 are arranged apart from each other, vibrations generated separately by the individual tactile stimulation units 100 can be perceived discretely in the user's body.
  • This phantom sensation is an illusion phenomenon in which when a stimulus is presented simultaneously to different positions on the skin, a human perceives only one stimulus between the presented stimulus positions.
  • a perceived position the position of the stimulus perceived by the user (hereinafter referred to as a perceived position) is usually two tactile stimuli. It is known to be a position between the parts 100.
  • the range of tactile stimulations that can be presented by the plurality of tactile stimulation units 100 is continuously expanded without changing the arrangement interval of the individual tactile stimulation units 100.
  • the output intensity of each of the two tactile stimulation units 100 is continuously weakened, for example, “1”, “0.6”, “0”, and the second tactile stimulation Assume that the output intensity of the unit 100 is continuously increased like “0”, “0.6”, “1”.
  • the perceived position (perceived by the user) can continuously move from the contact position of the first haptic stimulation unit 100 to the contact position of the second haptic stimulation unit 100.
  • the perceived position and the perceived intensity can be designated on the GUI, and output signals to the corresponding plurality of tactile stimulation units are automatically generated based on the designated perceived position and intensity.
  • the user can perform an intuitive operation regarding the setting of the perceptual position of the tactile stimulus.
  • the output by each tactile stimulation unit is controlled to confirm the perceptual effect (experience) Again, it was necessary to repeat the three steps, such as conceiving / correcting the perceptual effect to be realized on the GUI, performing output control, and actually experiencing it.
  • the perceptual effect desired to be realized on the GUI is controlled (perception position and strength designation), and the perceptual effect is confirmed (experience).
  • perceptual effect it is possible to intuitively design a perceptual effect by repeating one step.
  • Specification of the perceptual effect ie, perceived position and perceived intensity
  • the output of the haptic presentation device 10 changes. In this way, by designating how to actually feel (in what place and with what strength), it becomes possible to omit and control the individual tactile stimulation units 100 themselves by the user.
  • the information processing apparatus 20 includes a control unit 200, a communication unit 210, an operation input unit 220, a display unit 230, and a storage unit 240.
  • Control unit 200 The control unit 200 functions as an arithmetic processing device and a control device, and controls the overall operation in the information processing device 20 according to various programs.
  • the control unit 200 is realized by an electronic circuit such as a CPU (Central Processing Unit) or a microprocessor, for example.
  • the control unit 200 may include a ROM (Read Only Memory) that stores programs to be used, calculation parameters, and the like, and a RAM (Random Access Memory) that temporarily stores parameters that change as appropriate.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the control unit 200 also functions as a perceptual position / intensity determination unit 201, a screen generation unit 202, and an output control unit 203.
  • the perceptual position / intensity determining unit 201 has a plurality of tactile stimulation units corresponding to a target perceptual position (so as to perceive the perceived intensity specified at the specified perceptual position) according to the specified perceived position and perceived intensity. It functions as a generation unit that determines (calculates) the vibration intensity for 100 and generates output control signals to be output to the plurality of tactile stimulation units 100.
  • the designated perceptual position includes a movement path of the perceptual position.
  • the perceived position and the movement path of the perceived position can be set on the surface of the user's body.
  • the movement path of the perceived position can be set as a path connecting the first surface of the user's body, the inside of the user's body, and the second surface facing the first surface.
  • the first surface may be the front surface of the user, and the second surface may be the back surface of the user.
  • the first surface may be a surface on the front side of a predetermined part such as an arm, and the second surface may be a surface on the back side of the part.
  • the movement route is a route connecting a position in the front of the user, the inside of the user's body, and a position in the back of the user
  • the user is presented with a sense of sticking into the inside of the body from the front to the back. Can do.
  • the perceptual position / intensity determination unit 201 can set a perceptual range.
  • the perceived position / intensity determining unit 201 can also associate the perceived position with the timing according to the content being played (movie, game content, etc.). Thereby, it becomes possible to give a predetermined tactile stimulus at a predetermined timing to a user who is viewing the content using the tactile sense presentation device 10.
  • the perceived position / intensity determining unit 201 first specifies a plurality (for example, three) of tactile stimulation units 100 located in the vicinity of the designated perceived position. The perceived position / intensity determining unit 201 then determines the plurality of tactile stimulating units 100 based on the positional relationship between each of the plurality of tactile stimulating units 100 and the designated perceived position, and the designated perceived intensity. Determine the output intensity of each of the. That is, the perceived position / intensity determining unit 201 outputs the output intensities of the plurality of tactile stimulation units 100 based on the specified perception position and perception intensity and the distances between the plurality of tactile stimulation units 100 arranged in the vicinity. (Output control signal to be output to each tactile stimulation unit 100 is generated). The technique described in PCT / JP2017 / 14379 can be used to adjust the output intensity of the plurality of tactile stimulation units 100 for presenting a predetermined tactile stimulation to a target position on the user's body.
  • the perceived position / intensity determination unit 201 includes the first tactile stimulation unit 100 in the user's body.
  • the output intensity of the first tactile stimulation unit 100 is determined based on the distance between the contact position and the target perceived position.
  • the perceived position / intensity determination unit 201 determines the output intensity of the second tactile stimulation unit 100 based on the distance between the contact position of the second tactile stimulation unit 100 on the user's body and the target perceived position. .
  • the perceived position / intensity determining unit 201 is based on the positional relationship between the target position and the intermediate position between the contact position of the first tactile stimulus unit 100 and the contact position of the second tactile stimulus unit 100.
  • the output intensity of the first haptic stimulation unit 100 and the output intensity of the second haptic stimulation unit 100 are respectively determined.
  • the perceived position / intensity determining unit 201 sums the output intensity of the first haptic stimulation unit 100 and the output intensity of the second haptic stimulation unit 100.
  • the output intensities of the first haptic stimulation unit 100 and the second haptic stimulation unit 100 may be determined so as to increase.
  • the perceived position / intensity determination unit 201 determines that the first tactile stimulation
  • the output intensity of the first haptic stimulation unit 100 may be determined such that the output intensity of the first haptic stimulation unit 100 increases as the distance between the contact position of the unit 100 and the target perceived position increases. The same applies to the second tactile stimulation unit 100 (that is, the relationship is reversed).
  • the perceived position / intensity determining unit 201 determines whether the output intensity of the first tactile stimulation unit 100 and the output intensity of the second tactile stimulation unit 100 are based on the positional relationship between the intermediate position and the target perceived position. Change the ratio.
  • the screen generation unit 202 can generate a target perceptual position and perceptual intensity setting screen.
  • On the setting screen as information related to the tactile presentation device 10, an image showing the positions of the plurality of tactile stimulation units 100 provided in the tactile presentation device 10 and an image showing the outer shape of the tactile presentation device 10 are displayed.
  • the user can specify the position (perceived position) of the tactile stimulus to be presented.
  • the positions of the plurality of tactile stimulation units 100 may be arranged freely by the user as virtual ones. When the positions of the plurality of tactile stimulation units 100 are preset and known, an image indicating the position of each tactile stimulation unit 100 is displayed.
  • the tactile presentation is performed.
  • An image showing only the outer shape of the device 10 may be displayed.
  • the setting screen it is possible to input a movement path of the perceived position. It is also possible to set a plurality of perceived positions (movement paths of a plurality of perceived positions). It is also possible to set the perceived position and the perceived intensity so that a tactile stimulus is generated at a predetermined position at a predetermined timing corresponding to reproduction of a predetermined content.
  • a controller such as a mouse operation, a touch operation, or a 3D pointer, for example. Examples of specific setting screens according to the present embodiment will be described later with reference to FIGS.
  • the screen generation unit 202 can also generate a screen that displays the output control signals (waveforms) generated by the perceptual position / intensity determination unit 201 and output to each tactile stimulation unit 100.
  • Output control unit 203 The output control unit 203 performs output control of the tactile stimulus to the tactile presentation device 10 according to the determination content of the perceived position / intensity determination unit 201. Thereby, for example, when the user actually wears and feels the tactile sense presentation device 10, the effect (perceptual effect) of the designated tactile stimulus can be confirmed. Specifically, the output control unit 203 outputs the generated output control signal (controls the generation of vibration) to a plurality of predetermined tactile stimulation units 100 determined by the perceived position / intensity determination unit 201. In addition, the output control unit 203 controls reproduction of content (video) to be reproduced on a display device (display, HMD, projector, PC, smartphone, or the like) and the predetermined timing set in accordance with the reproduction of the content.
  • a display device display, HMD, projector, PC, smartphone, or the like
  • the output control unit 203 can also perform control to reproduce sound such as impact sound corresponding to the tactile stimulus to be presented from the sound output unit 102 of the tactile presentation device 10. Further, the output control unit 203 can perform control to display various screens generated by the screen generation unit 202 on the display unit 230.
  • the communication unit 210 transmits / receives information to / from other devices. For example, the communication unit 210 transmits a control signal of the output of the tactile stimulus to each of the plurality of tactile stimulus units 100 (or the tactile sense presentation device 10) according to the control of the output control unit 203. Further, the communication unit 210 transmits a control signal for displaying an image to be reproduced to a display device (not shown) according to the control of the output control unit 203, and outputs a control signal for outputting the sound to be reproduced to a plurality of audio signals. The data is transmitted to each of the output units 102 (or the tactile sense presentation device 10).
  • the communication unit 210 is, for example, a wired / wireless LAN (Local Area Network), Wi-Fi (registered trademark), Bluetooth (registered trademark), short-range wireless communication, a mobile communication network (LTE (Long Term Evolution), or 3G ( The third generation mobile communication system)) etc. is used for communication connection with other devices.
  • a wired / wireless LAN Local Area Network
  • Wi-Fi registered trademark
  • Bluetooth registered trademark
  • short-range wireless communication a mobile communication network
  • LTE Long Term Evolution
  • 3G The third generation mobile communication system
  • the operation input unit 220 receives an operation instruction from the user and outputs the operation content to the control unit 200.
  • the operation input unit 220 may be a touch sensor, a pressure sensor, or a proximity sensor.
  • the operation input unit 220 may have a physical configuration such as a keyboard, a mouse, a button, a switch, and a lever.
  • the display unit 230 is a display device that outputs a setting screen or the like on which a perceptual effect can be set.
  • the display unit 230 may be a display device such as a liquid crystal display (LCD) or an organic EL (Electro Luminescence) display.
  • the storage unit 240 is realized by a ROM (Read Only Memory) that stores programs used in the processing of the control unit 200, calculation parameters, and the like, and a RAM (Random Access Memory) that temporarily stores parameters that change as appropriate.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the configuration of the information processing apparatus 20 according to the present embodiment has been specifically described above.
  • the configuration of the information processing apparatus 20 is not limited to the example illustrated in FIG.
  • the information processing device 20 may be configured by a plurality of devices.
  • the information processing apparatus 20 may further include a voice input unit and a voice output unit.
  • the information processing apparatus 20 is not limited to a PC as shown in FIG. 1, and may be realized by a smartphone, a mobile phone terminal, a tablet terminal, a dedicated terminal, or the like. Further, at least a part of the control unit 200 of the information processing apparatus 20 may be realized by a server on the network.
  • the display unit 230 may be realized by a projector, and a setting screen or the like may be projected on a wall, a table, a screen, or the like. In this case, the user's operation input on the projection screen may be such that a touch operation on the projection screen is detected by a separately provided camera.
  • the haptic presentation device 10 includes a plurality of haptic stimulation units 100a to 100c, a control unit 110, a communication unit 120, and an audio output unit 102.
  • the control unit 110 functions as an arithmetic processing unit and a control unit, and controls the overall operation in the tactile sense presentation device 10 according to various programs.
  • the control unit 110 is realized by an electronic circuit such as a CPU (Central Processing Unit) or a microprocessor, for example.
  • the tactile sense presentation device 10 may include a ROM (Read Only Memory) that stores programs to be used, calculation parameters, and the like, and a RAM (Random Access Memory) that temporarily stores parameters that change as appropriate.
  • control unit 110 performs tactile stimulation (for example, vibration) in the plurality of tactile stimulation units 100a to 100c according to the control signal of the output of the tactile stimulation corresponding to each tactile stimulation unit 100 received from the information processing apparatus 20 via the communication unit 120. ) Output.
  • tactile stimulation for example, vibration
  • the communication unit 120 transmits / receives information to / from other devices.
  • the communication unit 120 receives from the information processing apparatus 20 a control signal for the output of a tactile stimulus corresponding to each tactile stimulus unit 100.
  • the communication unit 120 receives a control signal for outputting audio to be reproduced from the information processing apparatus 20.
  • the communication unit 120 is, for example, a wired / wireless LAN (Local Area Network), Wi-Fi (registered trademark), Bluetooth (registered trademark), short-range wireless communication, a mobile communication network (LTE (Long Term Evolution), or 3G ( The third generation mobile communication system)) etc. is used for communication connection with other devices.
  • the tactile stimulation unit 100 is an actuator that presents tactile stimulation to the user.
  • the tactile stimulus unit 100 generates vibration as a tactile stimulus.
  • the tactile stimulus presented by the tactile stimulus unit 100 is not limited to vibration, and for example, stimuli such as coldness, warmth, wind, water, and pressure are also assumed.
  • the audio output unit 102 includes a speaker that reproduces an audio signal and an amplifier circuit for the speaker.
  • the configuration of the tactile presentation device 10 according to the present embodiment has been described above. Note that the configuration of the tactile sense presentation device 10 according to the present embodiment is not limited to the example shown in FIG. For example, the tactile sense presentation device 10 may be configured without the audio output unit 102.
  • FIG. 5 is a diagram illustrating an example of a setting screen 40 for setting the position of the haptic stimulation unit 100 according to the present embodiment.
  • displays 402a to 402g indicating the haptic stimulation unit 100 are displayed on the display 401 of the shape of the jacket-type haptic presentation device 10, for example.
  • the displays 402a to 402g indicating the tactile stimulation unit 100 can be moved to an arbitrary position by operating the cursor 403 using a mouse operation, touch operation, or other controller.
  • the position of the tactile stimulation unit 100 may be known. That is, the already generated 3D data of the haptic presentation device 10 may be captured, and the external shape of the haptic presentation device 10 and the position of the haptic stimulation unit 100 arranged in the haptic presentation device 10 may be displayed.
  • a front image and a side image are shown as an example, but a rear image may be displayed. Further, the front image, the side image, and the back image may be switched according to a user operation.
  • FIG. 6 is a diagram showing an example of the perceptual effect setting screen 42 according to the present embodiment.
  • the setting screen 42 displays a display 420 indicating the arrangement of the plurality of tactile stimulation units 100.
  • the user designates a position (that is, a perceived position) where the tactile stimulus is desired to be generated by operating the mouse.
  • a perceived position display 423 is displayed at the designated position.
  • the movement path 424 can also be designated by a mouse operation or the like. The user can also set the movement speed of the perceived position.
  • a moving image showing the movement locus of the perceived position is played back. That is, a moving image in which the perceived position display 423 moves along the movement path 424 can be reproduced. As a result, the user can confirm the setting contents.
  • the playback button 426 is selected, the information processing apparatus 20 plays a moving image showing the movement locus of the perceived position on the setting screen 42 displayed on the display unit 230, and responds from the tactile presentation device 10 to which the information processing apparatus 20 is connected. You may make it perform output control of the tactile stimulus to perform. As a result, the user can immediately receive feedback of the perceptual effect.
  • FIG. 7 is a diagram showing an example of the setting screen 44 for setting the tactile stimulus waveform type.
  • tactile stimuli such as impact vibration.
  • the user moves the waveform type of an arbitrary tactile stimulus (such waveform data is also referred to as “library”) to an arbitrary perceptual position 443 by dragging a mouse or the like, so that the tactile sense at the perceptual position 443 is obtained.
  • the type of stimulus for example, the type of vibration waveform.
  • a large number of libraries may be set in advance, or an arbitrary audio waveform or moving image data may be taken in and generated by the information processing apparatus 20.
  • the information processing apparatus 20 includes a filter / algorithm for converting media into a tactile stimulus signal.
  • the information processing apparatus 20 can also recommend an optimal library according to the location and length of the movement path of the perceived position designated by the user, the moving speed of the perceived position, and the like.
  • FIG. 8 is a diagram showing an example of a reproduction screen for the set perceptual effect.
  • the reproduction screens 46-1 to 46-3 include a display screen 460 for the perceived position, a seek bar 462, and content indicating the (temporal) length of the tactile stimulus set at the perceived position.
  • a bar 464 is displayed.
  • the play button 463 When the play button 463 is selected, a change in the perceived position is indicated, and the seek position of the corresponding tactile stimulus content also changes.
  • the intensity of the perceived position is indicated by the size of the perceived position display 461, for example. In the example shown in FIG. 8, it can be seen that the perceived intensity is higher at the perceived position 461b shown in the reproduction screen 46-2 than at the perceived position 461a as the starting point.
  • the user can also check the perceived position and perceived intensity by moving the seek bar.
  • a tactile stimulus content bar 466 corresponding to the perceived position 465 may also be displayed.
  • the user can arbitrarily adjust the time length of the content bars 464 and 466 (the length of the tactile stimulus).
  • the corresponding (synchronized) video content and audio content are also displayed so that the change in the perceived position and the change in the seek position of each content can be confirmed. May be.
  • the perceptual effect setting screen it is possible to control the tactile quality (presentation size, gradually becoming stronger / weaker, temperature control, etc.) and other modal effects (lighting effect, video effect, sound effect, etc.) It may be.
  • a warning is displayed or the like so that the tactile presentation device 10 does not break down.
  • an output control signal for realizing a specified perceived position and perceived intensity is generated.
  • a tactile sense presentation time is too long or too strong, or a driving time is too long, and heat is generated.
  • it simulates in advance that it may become a load due to low temperature burns or high temperature burns caused by the temperature presentation device, displays a warning on the setting screen, and automatically corrects the output so that it does not become a load Also good.
  • the strength of tactile presentation may be expressed by the size of the marker, or the length of the presentation time may be expressed by the color or transparency of the marker.
  • the actual output may not be strictly linked to the perceptual effect specified by the user. For example, even if the setting is made to generate 100 separate tactile perceptions in a short time, the actual output may be limited to about 10 times. In this case, the number of times after optimization and the presentation time may or may not be displayed on the setting screen.
  • the perceived position is near the stomach (for example, when the ball hits the stomach), decrease the volume of the headphones (corresponding sound volume), or increase the volume if the perceived position is near the chest. It is also possible to automatically adjust the sound effect and the video effect according to the perceived position.
  • a control signal for several minutes in the tactile sense presentation device 10 can be output, or the tool itself can function as a player (playback software).
  • the arrangement of the plurality of tactile stimulation units 100 is determined before the perceived position is set.
  • the information processing apparatus 20 is an arbitrary one designated by the user. It is also possible to recommend an optimal arrangement of the plurality of tactile stimulation units 100 based on the perceived position and the movement path.
  • the optimum arrangement is assumed to be an arrangement capable of presenting at least a tactile sensation at a set perceived position, for example, and capable of realizing, for example, power saving and load reduction.
  • the user may be allowed to input information such as the number of tactile stimulation units 100 that can be used and restrictions on the range in which they can be installed.
  • FIG. 9 is a diagram illustrating an example of arrangement recommendation of a plurality of tactile stimulation units 100.
  • the user draws movement paths 481a and 481b of one or more perceptual positions in the outline of the tactile sense presentation device 10 on the setting screen 48-2, and sets the perceptual effect.
  • the optimum position display button 483 is selected on the setting screen 48-3, for example, the optimum arrangement of the plurality of tactile stimulation units 100 for realizing the set perceptual effect ( Indications 484a-484f) are shown.
  • the recommendation of the optimal arrangement of the plurality of tactile stimulation units 100 includes a proposal for correcting the plurality of tactile stimulation units 100 that have already been arranged.
  • a description will be given with reference to FIG.
  • FIG. 10 is a diagram illustrating an example of arrangement correction of a plurality of tactile stimulation units 100.
  • the display 501a to 501i indicating the positions of a plurality of preset tactile stimulation units 100 (or arbitrarily arranged by the user) is displayed on the setting screen 50-1.
  • the user operates the mouse or the like to draw the movement paths 503a and 503b of the target perceived position.
  • the information processing apparatus 20 performs a plurality of operations according to the movement paths 503a and 503b of the designated perceived position.
  • the optimum positions of the tactile stimulation units 100 are calculated, and as shown in the figure, displays 505a to 505i indicating the optimum positions of the plurality of tactile stimulation units 100 are superimposed and displayed.
  • displays 505a to 505i indicating the optimum positions of the plurality of tactile stimulation units 100 are superimposed and displayed.
  • the preset displays 501c, 501f, and 501i of the haptic stimulation unit 100 are shifted from the optimum position displays 505c, 505f, and 505i and are corrected.
  • the optimization display button 506 on the setting screen 50-3 when the user selects the optimization display button 506 on the setting screen 50-3, the state in which the plurality of tactile stimulation units 100 are changed to the optimal positions is displayed and confirmed.
  • the user can adjust the arrangement of the actual plurality of tactile stimulation units 100 provided in the tactile presentation device 10 in accordance with the optimum positions of the plurality of tactile stimulation units 100 presented in this way.
  • FIG. 11 is a diagram illustrating an example of an optimized display of the movement path of the perceived position.
  • the user first inputs the perceived position and the movement path 520 on the setting screen 52-1.
  • the information processing device 20 calculates the optimum route of the perceived position and displays it as the optimum route 522.
  • the optimum path can be calculated in consideration of, for example, the influence of the tactile stimulation on the human body, the load on the tactile stimulation unit 100, the arrangement of the surrounding tactile stimulation unit 100, and the like.
  • FIG. 12 is a flowchart showing tactile stimulus determination processing according to the present embodiment.
  • a position (and intensity) at which a tactile stimulus is to be perceived is designated on the GUI using an input device such as a mouse or a touch panel (step S103).
  • the information processing apparatus 20 has a tactile stimulation unit 100 that performs tactile presentation based on the specified perception position (and perception intensity), and presentation strength (the magnitude of a tactile control signal output from the tactile stimulation unit 100). Is determined (step S106).
  • the content determined in this manner may be output to the tactile sense presentation device 10 in accordance with, for example, an operation of a playback button on the GUI.
  • the user can set intuitive perceptual effects on the GUI, and can immediately feel and confirm the set perceptual effects with the tactile sense presentation device 10, and can adjust this repeatedly.
  • the setting of the perceptual effect is not limited to a mouse, a touch panel, or the like, and can be directly input on a real object using a tactile pointer (3D pointer).
  • a tactile pointer 3D pointer
  • FIG. 13 is a diagram illustrating the haptic pointer 60 according to the present embodiment.
  • the locus 601 drawn on the haptic presentation device 10 may be displayed on the display unit 640 of the haptic presentation device 10, or a visible ray 601 such as an LED is emitted from the haptic presentation device 10 to emit a locus 601 on the haptic presentation device 10. May be visualized.
  • the tactile presentation control in the tactile presentation device 10 is performed in real time so that the tactile stimulus is presented by the locus drawn by the tactile pointer 60 by the tactile pointer 60 or the information processing apparatus 20 connected to the tactile pointer 60. May be performed. This allows the user to specify the movement path of the perceived position in real time and to experience the perceptual effect. Note that the user himself / herself wearing the tactile presentation device 10 may operate the tactile pointer 60. The user can create data as he / she feels by checking the perceptual effect in real time using the haptic pointer 60 even without expert knowledge.
  • the locus 601 is recognized by detecting the distance d to the object (tactile sense presentation device 10) by a distance sensor such as IR (infrared ray) emitted from the tactile pointer 60, for example, and detecting the three-dimensional position of the object (tactile pointer 60). And the movement of the tactile pointer 60 is acquired by a posture sensor such as a gyro sensor or an acceleration sensor provided by the tactile pointer 60.
  • a distance sensor such as IR (infrared ray)
  • each haptic stimulation unit 100 arranged in the haptic presentation device 10 may be known, may be detected by a camera provided on the haptic pointer 60, or the user may use the haptic pointer 60.
  • the position (relative position) of each tactile stimulation unit 100 may be designated and stored.
  • the tactile pointer 60 is provided with operation input units 620 such as a recording start / stop button and a playback start / stop button.
  • operation input units 620 such as a recording start / stop button and a playback start / stop button.
  • the haptic pointer 60 emits infrared rays and starts recognizing the three-dimensional position of the object (the haptic presentation device 10).
  • the recording stop button is pressed, the haptic pointer 60 ends the recognition of the three-dimensional position and stores the movement path of the recognized three-dimensional position (that is, the locus 601 on the haptic presentation device 10).
  • the haptic pointer 60 is played back from the haptic presentation device 10 so as to present the haptic stimulus in the playback of the stored data, that is, the locus 601 on the stored haptic presentation device 10. Start output control.
  • the tactile pointer 60 includes a control unit 600, a communication unit 610, an operation input unit 620, a sensor 630, a display unit 640, a tactile sense presentation unit 650, and a storage unit 660.
  • the control unit 600 functions as an arithmetic processing unit and a control unit, and controls the entire operation in the haptic pointer 60 according to various programs.
  • the control unit 600 is realized by an electronic circuit such as a CPU (Central Processing Unit) or a microprocessor, for example.
  • the control unit 600 may include a ROM (Read Only Memory) that stores programs to be used, calculation parameters, and the like, and a RAM (Random Access Memory) that temporarily stores parameters that change as appropriate.
  • the control unit 600 selects a library (tactile type), adjusts intensity, starts / stops recording (stores recorded multi-channel haptic data), Play / Stop (playback of recorded data), tactile presentation area setting (narrow / wide), tactile presentation mode selection (surface tracing (border contrast setting-clear / blurry), punch-through expression Presentation of a sense of sagging)), temperature adjustment (temperature sense presentation setting), force adjustment (force sense presentation setting), and the like.
  • a library such as a user operation from the operation input unit 620
  • vibration, temperature, and force information may be included in one library.
  • control unit 600 can recognize the locus on the tactile sense presentation device 10 based on the detection result by the sensor 630. Specifically, the control unit 600 detects the distance d to the haptic presentation device 10 using, for example, infrared rays, a beacon (Bluetooth), a camera, or the like, and the position (three-dimensional position) of the haptic presentation device 10 with respect to the haptic pointer 60. ) To get. Then, the control unit 600 detects the movement of the haptic pointer 60 according to the detection result of the posture sensor, and recognizes the locus on the haptic presentation device 10 together with the three-dimensional position. The control unit 600 can also recognize the shape of the tactile presentation device 10 by analyzing a captured image captured by a camera provided on the tactile pointer 60 and recognize the relative position of the locus with respect to the tactile presentation device 10. is there.
  • the control unit 600 can also recognize the shape of the tactile presentation device 10 by analyzing a captured image captured by a camera provided on the tactile pointer 60 and recognize the
  • control unit 600 acquires the position of the haptic stimulation unit 100 provided in the haptic presentation device 10 and generates an output control signal in each haptic stimulation unit 100 for perceptual presentation with a specified locus. Is possible.
  • the generation method is as described in the perceptual position / intensity determination unit 201 of the information processing apparatus 20 described above.
  • the position of the haptic stimulation unit 100 provided in the haptic presentation device 10 may be input by the user using the haptic pointer 60.
  • the user points the haptic stimulation unit 100 provided in the haptic presentation device 10 by using the haptic pointer 60, acquires the three-dimensional position of the target using the haptic pointer 60, and uses the 3 as the “position of the haptic stimulation unit 100”.
  • the control unit 600 displays a camera image.
  • the marker can be detected and the position of each tactile stimulation unit 100 can be grasped.
  • control unit 600 may acquire three-dimensional position information from the haptic presentation device 10 or each haptic stimulation unit 100.
  • the communication unit 610 transmits / receives information to / from other devices.
  • the communication unit 610 may obtain library update information from the network, upload recorded data, or send the information to the information processing apparatus 20.
  • the communication unit 610 may transmit an output control signal (a control signal for outputting a tactile stimulus) to the tactile sense presentation device 10 or each tactile stimulus unit 100.
  • the communication unit 610 is, for example, a wired / wireless LAN (Local Area Network), Wi-Fi (registered trademark), Bluetooth (registered trademark), short-range wireless communication, a mobile communication network (LTE (Long Term Evolution), or 3G ( The third generation mobile communication system)) etc. is used for communication connection with other devices.
  • the operation input unit 620 receives an operation instruction from the user and outputs the operation content to the control unit 600.
  • the operation input unit 620 may be a touch sensor, a pressure sensor, or a proximity sensor.
  • the operation input unit 620 may have a physical configuration such as a keyboard, a mouse, a button, a switch, and a lever.
  • the sensor 630 includes, for example, a three-dimensional position sensor (a so-called distance sensor such as an infrared sensor, a beacon, or a camera) and an attitude sensor (a gyro sensor, an acceleration sensor, or the like).
  • the sensor 630 may include an infrared camera, an RGB camera, or the like that detects markers indicating the positions of the plurality of tactile stimulation units 100 provided in the tactile presentation device 10.
  • the display unit 640 is a display device that outputs various operation screens, a screen that displays an input locus (movement path of a perceived position), and the like.
  • the display unit 640 may be a display device such as a liquid crystal display (LCD) or an organic EL (Electro Luminescence) display.
  • the tactile sense presentation unit 650 has a function of performing feedback to the user's hand holding the tactile pointer 60.
  • the tactile sense providing unit 650 can present vibration, force, temperature, and the like as tactile stimuli.
  • the tactile sense providing unit 650 may present vibration in real time, for example, when the user inputs a perceptual effect to the tactile sense providing device 10. Thereby, even when the operator of the tactile pointer 60 is not wearing the tactile sense presentation device 10, it is possible to grasp the tactile sense set in real time.
  • the storage unit 660 is realized by a ROM (Read Only Memory) that stores programs and calculation parameters used for the processing of the control unit 600, and a RAM (Random Access Memory) that temporarily stores parameters that change as appropriate. For example, the storage unit 660 can save the library and the recorded data.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the configuration of the haptic pointer 60 according to the present embodiment has been specifically described above.
  • the configuration illustrated in FIG. 14 is an example, and the present embodiment is not limited to this.
  • the haptic pointer 60 may be configured without the display unit 640 or the haptic presentation unit 650.
  • FIG. 15 is a diagram for explaining the adjustment of the presentation area of the tactile stimulus by the button operation of the tactile pointer 60.
  • the presentation area of the tactile stimulus can be changed according to, for example, the pressing amount of a predetermined button provided on the tactile pointer 60. For example, as shown on the left side of FIG. 15, when the push amount of the button is small, the presentation area is small (narrow), and as shown on the right side of FIG. 15, the presentation area is large (widely wide). ) become.
  • the trajectories 602a and 602b in this case may be visualized by LEDs that emit light from the tactile pointer 60.
  • FIG. 16 is a diagram illustrating a case where a movement path of a perceived position that penetrates the body is set.
  • the haptic pointer 60 it is possible to select the type of presentation of the haptic stimulus. For example, “penetration mode” or “surface tracing mode” is assumed.
  • the penetration mode is selected, as shown in FIG. 7, a movement path connecting the front and the inside of the user's body wearing the tactile presentation device 10 to the inside and the back, that is, a movement path 603 that penetrates the user's body is input. Is possible.
  • the tactile pointer 60 When the body is traced by the tactile pointer 60 in this state, it is possible to present a sensation as if the body was cut into two with a sword.
  • FIG. 17 is a diagram for explaining a case where the perceptual effect is set using only the haptic pointer 60 without using the haptic presentation device 10. As shown in FIG. 17, it is possible to draw a trajectory with the tip of the tactile pointer 60 in direct contact with the body (an example of a real object) and set the movement path of the perceived position on the body.
  • the haptic pointer 60 can acquire the three-dimensional coordinate information of the tip. At this time, a tactile sensation such as vibration or temperature change may be presented at the tip of the tactile pointer 60.
  • the tactile pointer 60 or the information processing device 20 is worn on the body and the three-dimensional position information that is a recorded trajectory on the body.
  • the output level from the surrounding tactile stimulus units 100 the magnitude of the tactile control signal is large so that the tactile stimulus is perceived in the target locus. Determine).
  • FIG. 18 is a diagram illustrating the setting of the perceptual effect using a doll.
  • a locus is drawn with a tactile pointer 60 on a doll 70 (an example of a real object), and tactile stimulation corresponding to the locus is presented to the tactile sense. It is possible to feed back (in real time) at the device 10.
  • irradiation with a laser pointer from the tactile pointer 60 may be performed so that the perceived position can be visually recognized.
  • the tactile pointer 60 acquires the three-dimensional position of the doll by the distance sensor, detects the movement of the tactile pointer 60 by the posture sensor, and detects the locus drawn on the body of the doll based on these.
  • the tactile pointer 60 can acquire the irradiation position of the laser pointer irradiated on the doll with a camera and detect a locus drawn on the doll's body.
  • the user draws a locus by moving the tactile pointer 60 while pressing the recording button of the tactile pointer 60.
  • the haptic pointer 60 stores data for a plurality of channels (that is, output control signals of the haptic stimulation units 100 generated according to the drawn trajectory).
  • FIG. 19 is a diagram for explaining various settings of the perceptual effect using a doll.
  • the user uses the tactile pointer 60 to irradiate the doll 70 with a laser pointer and confirms the position, and looks at the doll 70 as a human wearing the tactile presentation device 10. It is possible to input the movement path of the perceived position.
  • the size of the doll 70 is not particularly limited. When the size of the doll 70 is different from that of the tactile presentation device 10 (or the person wearing the tactile presentation device 10), the tactile pointer 60 is set to the size of the doll and the size of the tactile presentation device 10 (or the human body). In response, scale matching is performed.
  • the intensity of tactile presentation can be expressed by the intensity of irradiation by the laser pointer.
  • the user can operate the button of the tactile pointer 60 to adjust the intensity of the tactile presentation.
  • the tactile presentation is weak
  • the light pointer 606a is irradiated.
  • the dark pointer 606b may be irradiated.
  • the range of tactile presentation can be expressed by the magnitude of irradiation by the laser pointer.
  • the user can adjust the range of the tactile presentation by operating the button of the tactile pointer 60.
  • a small pointer 607a is irradiated when the range of the tactile presentation is narrow.
  • a large pointer 607b may be irradiated.
  • the functions of the haptic presentation device 10, the information processing apparatus 20, or the haptic pointer 60 are added to hardware such as a CPU, ROM, and RAM incorporated in the haptic presentation device 10, the information processing apparatus 20, or the haptic pointer 60 described above. It is also possible to create a computer program for exhibiting the above. A computer-readable storage medium storing the computer program is also provided.
  • this technique can also take the following structures.
  • a display control unit for displaying information related to the tactile presentation device and a perceived position in the tactile presentation device designated by the user;
  • a generation unit that generates an output control signal to be output to the plurality of tactile stimulation units so as to perceive a tactile stimulation at the perceptual position according to the perceived position and the positions of the plurality of tactile stimulation units provided in the tactile presentation device.
  • An information processing apparatus comprising: (2) The information related to the haptic presentation device is the information processing apparatus according to (1), wherein the information indicating positions of a plurality of haptic stimulation units in the haptic presentation device. (3) The information processing apparatus according to (1), wherein the information related to the tactile presentation device is information indicating an outer shape of the tactile presentation device.
  • the information processing apparatus includes: The information processing apparatus according to (9) or (10), wherein control is performed to output the generated output control signal to the tactile sense presentation device in accordance with reproduction of a moving image indicating movement of the perceived position.
  • the display control unit according to any one of (1) to (11), wherein the display control unit displays a recommendation screen in which positions of the plurality of tactile stimulation units are optimized according to a perceived position designated by the user.
  • the display control unit displays a recommendation screen in which the perceived position is optimized according to the perceived position designated by the user and the positions of the plurality of tactile stimulation units, according to (1) to (12),
  • the information processing apparatus according to any one of claims.
  • the information processing apparatus according to any one of (1) to (13), wherein the perceived position and a movement path of the perceived position are input by a controller that acquires a three-dimensional position on a real object.
  • Processor Displaying information related to the haptic presentation device and a perceived position on the haptic presentation device specified by the user; Generating an output control signal to be output to the plurality of tactile stimulation units so as to perceive a tactile stimulation at the perceptual position according to the perceived position and positions of the plurality of tactile stimulation units provided in the tactile presentation device; , Including an information processing method.
  • Computer A display control unit for displaying information related to the tactile presentation device and a perceived position in the tactile presentation device designated by the user; A generation unit that generates an output control signal to be output to the plurality of tactile stimulation units so as to perceive a tactile stimulation at the perceptual position according to the perceived position and the positions of the plurality of tactile stimulation units provided in the tactile presentation device.
  • Tactile presentation device 100 Tactile stimulation part 102 Audio

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】触覚刺激の知覚位置の設定に関して直感的な操作を可能とする情報処理装置、情報処理方法、およびプログラムを提供する。 【解決手段】触覚提示デバイスに関連する情報と、ユーザにより指定された前記触覚提示デバイスにおける知覚位置と、を表示する表示制御部と、前記知覚位置および前記触覚提示デバイスに設けられた複数の触覚刺激部の位置に応じて、前記知覚位置で触覚刺激を知覚するよう前記複数の触覚刺激部に出力する出力制御信号を生成する生成部と、を備える、情報処理装置。

Description

情報処理装置、情報処理方法、およびプログラム
　本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
　従来、例えば、振動などの触覚刺激をユーザに提示するための技術が各種提案されている。
　下記特許文献１には、仮想空間においてイベントが発生した場合に、所定のデバイスに触覚刺激を出力させる技術が記載されている。
特開２０１５－１６６８９０号公報
　ところで、触覚刺激の対象となる位置などによって、出力される触覚刺激が異なることが望まれる場合があるが、特許文献１に記載の技術では、位置情報によらずに、同一の触覚刺激が出力されていた。
　また、触覚提示の効果は、各触覚提示デバイスに出力される信号の波形で確認するしかなく、実際の提示効果が分り難かった。
　そこで、本開示では、触覚刺激の知覚位置の設定に関して直感的な操作を可能とする情報処理装置、情報処理方法、およびプログラムを提案する。
　本開示によれば、触覚提示デバイスに関連する情報と、ユーザにより指定された前記触覚提示デバイスにおける知覚位置と、を表示する表示制御部と、前記知覚位置および前記触覚提示デバイスに設けられた複数の触覚刺激部の位置に応じて、前記知覚位置で触覚刺激を知覚するよう前記複数の触覚刺激部に出力する出力制御信号を生成する生成部と、を備える、情報処理装置を提案する。
　本開示によれば、プロセッサが、触覚提示デバイスに関連する情報と、ユーザにより指定された前記触覚提示デバイスにおける知覚位置と、を表示することと、前記知覚位置および前記触覚提示デバイスに設けられた複数の触覚刺激部の位置に応じて、前記知覚位置で触覚刺激を知覚するよう前記複数の触覚刺激部に出力する出力制御信号を生成することと、を含む、情報処理方法を提案する。
　本開示によれば、コンピュータを、触覚提示デバイスに関連する情報と、ユーザにより指定された前記触覚提示デバイスにおける知覚位置と、を表示する表示制御部と、前記知覚位置および前記触覚提示デバイスに設けられた複数の触覚刺激部の位置に応じて、前記知覚位置で触覚刺激を知覚するよう前記複数の触覚刺激部に出力する出力制御信号を生成する生成部と、として機能させるための、プログラムを提案する。
　以上説明したように本開示によれば、触覚刺激の知覚位置の設定に関して直感的な操作を可能とする。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態による情報処理システムの概要について説明する図である。 各触覚刺激部から出力される触覚を波形で表示する場合の例について示す図である。 本実施形態による知覚効果デザインにおける工程の削減について説明する図である。 本実施形態による情報処理装置および触覚提示デバイスの構成の一例を示すブロック図である。 本実施形態による触覚刺激部の位置を設定する設定画面の一例を示す図である。 本実施形態による知覚効果の設定画面の一例を示す図である。 本実施形態による触覚刺激の波形種類を設定する設定画面の一例を示す図である。 本実施形態による設定した知覚効果の再生画面の一例を示す図である。 本実施形態による複数の触覚刺激提示部の配置推薦の一例を示す図である。 本実施形態による複数の触覚刺激提示部の配置修正の一例を示す図である。 本実施形態による知覚位置の移動経路の最適化表示の一例を示す図である。 本実施形態による触覚刺激の決定処理を示すフローチャートである。 本実施形態による本実施形態による触覚ポインタについて説明する図である。 本実施形態による 触覚ポインタの構成の一例を示すブロック図である。 本実施形態による触覚ポインタのボタン操作による触覚刺激の提示面積の調整について説明する図である。 本実施形態による身体を貫通する知覚位置の移動経路を設定する場合について説明する図である。 本実施形態による触覚提示デバイスを用いず触覚ポインタのみで知覚効果の設定を行う場合について説明する図である。 本実施形態による人形を用いた知覚効果の設定について説明する図である。 本実施形態による人形を用いた知覚効果の種々の設定について説明する図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、説明は以下の順序で行うものとする。
　１．本開示の一実施形態による情報処理システムの概要
　２．構成
　　２－１．情報処理装置の構成
　　２－２．触覚提示デバイスの構成
　３．知覚効果の設定画面例
　４．動作処理
　５．触覚ポインタ
　６．まとめ
　＜＜１．本開示の一実施形態による情報処理システムの概要＞＞
　図１は、本開示の一実施形態による情報処理システムの概要について説明する図である。図１に示すように、本実施形態による情報処理システムは、ユーザに触覚刺激を提示する触覚提示デバイス１０と、触覚刺激の出力設定等を行う情報処理装置２０とを含む。
　触覚提示デバイス１０の形状は特に限定しないが、一例として、図１に示すような、ユーザに着用されるベスト型を挙げる。図１に示す触覚提示デバイス１０は、内部に複数の触覚刺激部１００（アクチュエータとも称す）、および、２個の音声出力部１０２を有する。例えば、触覚提示デバイス１０の内部において、ユーザの正面側および背面側にそれぞれ所定の個数（例えば６個）ずつ触覚刺激部１００が配置され得る。一例として、正面側に配置されている個々の触覚刺激部１００と、背面側に配置されている個々の触覚刺激部１００とが向かい合うような位置関係で、個々の触覚刺激部１００は配置される。
　なお、図１では、触覚提示デバイス１０がベスト型（袖なしの服）である例を示しているが、かかる例に限定されず、触覚提示デバイス１０は、袖を有したものであってもよい。この場合、触覚刺激部１００は、ユーザの胸部および腹部だけでなく、ユーザの両腕に対応する位置にも一以上配置され得る。また、触覚提示デバイス１０は、図１に示すような上着に限定されず、ズボンや靴下、靴、ベルト、帽子、手袋、またはマスク等であってもよい。また、図１に示す触覚提示デバイス１０には、肩の部分に左右にそれぞれ一つずつ音声出力部１０２を配置しているが、本実施例はこれに限定されず、音声出力部１０２が１個だけ配置されてもよいし、または、３個以上配置されてもよい。また、音声出力部１０２は、触覚提示デバイス１０に含まれる代わりに、独立した装置として当該所定の空間内に配置されてもよいし、または、触覚提示デバイス１０とは異なる装着型装置（例えばヘッドフォンやヘッドセットなど）や携帯型装置（例えば携帯型音楽プレーヤ、スマートフォン、携帯型ゲーム機など）に含まれてもよい。
　さらに、触覚提示デバイス１０は、上記例示した服飾品に限定されず、例えばコントローラ、銃型のコントローラ、ベッド、椅子等も挙げられる。
　（触覚刺激部１００）
　触覚提示デバイス１０に含まれる複数の触覚刺激部１００がそれぞれ単独で振動を発生する場合、発生された振動は、当該触覚刺激部１００の周辺部でのみ知覚され得る。つまり、個々の触覚刺激部１００が離れて配置されている場合には、個々の触覚刺激部１００が別々に発生する振動は、ユーザの身体において離散的に知覚され得る。
　一方、ファントムセンセーションという錯覚現象が医学的に解明されている。このファントムセンセーションは、皮膚上の異なる位置に対して同時に刺激が提示されると、人間は、提示された刺激位置の間において刺激を一つだけ知覚するような錯覚現象である。例えば、ユーザの身体上に配置された２個の触覚刺激部１００に同時に刺激を出力させると、通常、ユーザに知覚される刺激の位置（以下、知覚位置と称する）は、２個の触覚刺激部１００の間の位置になることが知られている。
　また、複数の触覚刺激部１００の出力強度を変化させることにより、個々の触覚刺激部１００の配置間隔を変えることなく、複数の触覚刺激部１００により提示可能な触覚刺激の範囲を連続的に拡大し得る。例えば２個の触覚刺激部１００の各々の出力強度と、知覚位置との関係の例（ファントムセンセーションの例）について説明する。例えば、時間の経過に応じて、第１の触覚刺激部１００の出力強度を例えば「１」、「０．６」、「０」のように連続的に弱くし、かつ、第２の触覚刺激部１００の出力強度を「０」、「０．６」、「１」のように連続的に強くしたとする。この場合、（ユーザに知覚される）知覚位置は、第１の触覚刺激部１００の接触位置から第２の触覚刺激部１００の接触位置へと連続的に移動し得る。
　（背景）
　ここで、様々な触覚提示デバイスの触覚信号をデザインするにあたり、直感的な操作が望まれる。しかしながら、各触覚刺激部１００（アクチュエータ）により提示される触覚刺激が、図２に示すように波形（触覚信号）で表示されたとしても、実際の知覚効果（どの部位がどのように感じるか）は不明であった。
　そこで、本実施形態では、ＧＵＩ上で知覚位置と知覚強度とを指定できるようにし、指定された知覚位置と強度とに基づいて、対応する複数の触覚刺激部への出力信号を自動生成する。これにより、ユーザは、触覚刺激の知覚位置の設定に関して直感的な操作が可能となる。
　また、本実施形態によれば、知覚効果デザインにおける工程を削減することができる。具体的には、例えば図３左に示すように、通常は、実現したい知覚効果（知覚位置および知覚強度）を構想した上で、各触覚刺激部による出力を制御し、知覚効果を確認（体感）し、再度、ＧＵＩ上で実現したい知覚効果を構想／修正して、出力制御を行い、実際に体感する、というように、３つのステップを繰り返す必要があった。これに対し、本実施形態によれば、図３右に示すように、ＧＵＩ上で実現したい知覚効果を制御（知覚位置や強さの指定）し、知覚効果を確認（体感）する、といった２つのステップを繰り返すことで、知覚効果デザインを直感的に行うことが可能となる。知覚効果の指定（すなわち知覚位置および知覚強度）は、ＧＵＩ上でマウス操作やタッチ操作、または３Ｄポインタ等のコントローラで指定することが可能であり、その知覚効果が提示されるように、複数の触覚提示デバイス１０の出力が変化する。このように、実際にどう感じさせるか（どの場所にどのくらいの強さで）を指定することで、個々の触覚刺激部１００そのもののユーザによる制御を省略し、自動化することが可能となる。
　＜＜２．構成＞＞
　続いて、図４を参照して本実施形態による情報処理装置２０および触覚提示デバイス１０の構成について具体的に説明する。
　　＜２－１．情報処理装置２０の構成＞
　図４は、本実施形態による情報処理装置２０は、制御部２００、通信部２１０、操作入力部２２０、表示部２３０、および記憶部２４０を有する。
　（制御部２００）
　制御部２００は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置２０内の動作全般を制御する。制御部２００は、例えばＣＰＵ（Central　Processing　Unit）、マイクロプロセッサ等の電子回路によって実現される。また、制御部２００は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ（Read　Only　Memory）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Random　Access　Memory）を含んでいてもよい。
　また、本実施形態による制御部２００は、知覚位置・強度決定部２０１、画面生成部２０２、および出力制御部２０３としても機能する。
　・知覚位置・強度決定部２０１
　知覚位置・強度決定部２０１は、指定された知覚位置および知覚強度に応じて、（指定された知覚位置で指定された知覚強度を知覚するよう）目標の知覚位置に対応する複数の触覚刺激部１００に対する振動強度を決定（算出）し、複数の触覚刺激部１００に出力する出力制御信号を生成する生成部として機能する。指定される知覚位置には、知覚位置の移動経路も含まれる。
　知覚位置および知覚位置の移動経路は、ユーザの身体の表面上に設定され得る。例えば、ユーザの身体上の始点となる位置から、終点となる位置まで知覚位置が連続的に移動するように、ユーザに触覚刺激を提示することが可能となる。若しくは、知覚位置の移動経路は、ユーザの身体の第１の面、ユーザの身体の内部、および、当該第１の面と向かい合う第２の面を結ぶ経路として設定することも可能である。ここで、第１の面は、ユーザの正面であり、また、第２の面は、ユーザの背面であり得る。あるいは、第１の面は、例えば腕などの所定の部位の表側の面であり、また、第２の面は、当該部位の裏側の面であってもよい。例えば移動経路が、ユーザの正面における位置、ユーザの身体の内部、および、ユーザの背面における位置を結ぶ経路である場合、正面から背面へと身体の内部に突き刺さるような感覚をユーザに提示することができる。
　また、知覚位置・強度決定部２０１は、知覚範囲を設定することも可能である。
　さらに、知覚位置・強度決定部２０１は、知覚位置を、再生中のコンテンツ（映画やゲームコンテンツ等）に応じたタイミングに対応付けることも可能である。これにより、触覚提示デバイス１０を用いて、コンテンツを視聴しているユーザに対し、所定のタイミングで所定の触覚刺激を与えることが可能となる。
　知覚位置・強度決定部２０１は、まず、指定された知覚位置の近隣に位置する複数（例えば３個）の触覚刺激部１００を特定する。そして、知覚位置・強度決定部２０１は、当該複数の触覚刺激部１００の各々と当該指定された知覚位置との位置関係、および、指定された知覚強度に基づいて、当該複数の触覚刺激部１００の各々の出力強度を決定する。すなわち、知覚位置・強度決定部２０１は、指定された知覚位置および知覚強度と、近隣に配置されている複数の触覚刺激部１００との距離に基づいて、当該複数の触覚刺激部１００の出力強度を調整する（各触覚刺激部１００に出力する出力制御信を生成する）。ユーザの身体上における目標位置に所定の触覚刺激を提示するための複数の触覚刺激部１００の出力強度の調整に関しては、PCT/JP2017/14379に記載の技術を用い得る。
　例えば、指定された知覚位置の近隣に第１の触覚刺激部１００および第２の触覚刺激部１００が位置する場合、知覚位置・強度決定部２０１は、ユーザの身体における第１の触覚刺激部１００の接触位置と目標の知覚位置との距離に基づいて、第１の触覚刺激部１００の出力強度を決定する。また、知覚位置・強度決定部２０１は、ユーザの身体における第２の触覚刺激部１００の接触位置と目標の知覚位置との距離に基づいて、第２の触覚刺激部１００の出力強度を決定する。
　以下、上記の機能についてより詳細に説明する。まず、２個の触覚刺激部１００の接触位置の間に目標の知覚位置が位置する場合における、当該２個の触覚刺激部１００の出力強度の調整例について説明する。例えば、知覚位置・強度決定部２０１は、第１の触覚刺激部１００の接触位置と第２の触覚刺激部１００の接触位置との中間位置と、目標の知覚位置との位置関係に基づいて、第１の触覚刺激部１００の出力強度および第２の触覚刺激部１００の出力強度をそれぞれ決定する。
　例えば、知覚位置・強度決定部２０１は、当該中間位置と目標の知覚位置との距離が小さいほど、第１の触覚刺激部１００の出力強度および第２の触覚刺激部１００の出力強度の合計値が大きくなるように、第１の触覚刺激部１００および第２の触覚刺激部１００の出力強度を決定してもよい。または、第２の触覚刺激部１００の接触位置よりも第１の触覚刺激部１００の接触位置の近くに目標の知覚位置が位置する場合、知覚位置・強度決定部２０１は、第１の触覚刺激部１００の接触位置と目標の知覚位置との距離が大きくなるほど第１の触覚刺激部１００の出力強度が大きくなるように第１の触覚刺激部１００の出力強度を決定してもよい。また、第２の触覚刺激部１００に関しても同様である（つまり、逆の関係になる）。
　同時に、知覚位置・強度決定部２０１は、当該中間位置と目標の知覚位置との位置関係に基づいて、第１の触覚刺激部１００の出力強度と第２の触覚刺激部１００の出力強度との比を変更する。
　・画面生成部２０２
　画面生成部２０２は、目標とする知覚位置および知覚強度の設定画面を生成し得る。設定画面には、触覚提示デバイス１０に関連する情報として、触覚提示デバイス１０に設けられた複数の触覚刺激部１００の位置を示す画像や、触覚提示デバイス１０の外形を示す画像が表示され、これに対し、ユーザは、提示したい触覚刺激の位置（知覚位置）を指定し得る。複数の触覚刺激部１００の位置は、仮想のものとしてユーザが自由に配置できるようにしてもよい。また、複数の触覚刺激部１００の位置が予め設定されて既知の場合は、各触覚刺激部１００の位置を示す画像が表示される。また、複数の触覚刺激部１００の位置が予め設定されて既知であるが利用者には提示しない設定がされている場合（例えば、各触覚刺激部１００の位置が企業秘密の場合）、触覚提示デバイス１０の外形のみを示す画像が表示されるようにしてもよい。また、設定画面では、知覚位置の移動経路を入力することが可能である。また、複数の知覚位置（複数の知覚位置の移動経路）を設定することも可能である。また、所定のコンテンツの再生に対応する所定のタイミングで所定位置に触覚刺激を発生させるよう、知覚位置と知覚強度を設定することも可能である。このような設定画面における知覚位置および知覚強度の指定は、例えば、マウス操作やタッチ操作、３Ｄポインタ等のコントローラで行われ得る。本実施形態による具体的な設定画面の例については、図５～図１１を参照して後述する。
　なお、画面生成部２０２は、知覚位置・強度決定部２０１により生成された、各触覚刺激部１００に出力される出力制御信号（波形）を表示する画面を生成することも可能である。
　・出力制御部２０３
　出力制御部２０３は、知覚位置・強度決定部２０１の決定内容に従って、触覚提示デバイス１０に対して触覚刺激の出力制御を行う。これにより、例えばユーザが実際に触覚提示デバイス１０を着用して体感することで、指定した触覚刺激の効果（知覚効果）を確認することが可能となる。具体的には、出力制御部２０３は、知覚位置・強度決定部２０１により決定された所定の複数の触覚刺激部１００に対し、生成された出力制御信号を出力（振動の発生を制御）する。また、出力制御部２０３は、表示装置（ディスプレイ、ＨＭＤ、プロジェクター、ＰＣ、またはスマートフォン等）で再生するコンテンツ（映像）の再生制御、および当該コンテンツの再生に応じて、設定された所定のタイミングで触覚提示デバイス１０からの触覚刺激の出力制御を行うことも可能である。また、出力制御部２０３は、提示する触覚刺激に対応する衝撃音等の音声を、触覚提示デバイス１０の音声出力部１０２から再生する制御を行うことも可能である。また、出力制御部２０３は、画面生成部２０２により生成された各種画面を、表示部２３０に表示する制御を行い得る。
　（通信部２１０）
　通信部２１０は、他の装置との間で情報の送受信を行う。例えば、通信部２１０は、出力制御部２０３の制御に従って、触覚刺激の出力の制御信号を複数の触覚刺激部１００の各々（または触覚提示デバイス１０）へ送信する。また、通信部２１０は、出力制御部２０３の制御に従って、再生対象の画像の表示の制御信号を表示装置（不図示）へ送信し、かつ、再生対象の音声の出力の制御信号を複数の音声出力部１０２の各々（または触覚提示デバイス１０）へ送信する。
　通信部２１０は、例えば有線／無線ＬＡＮ（Local　Area　Network）、またはＷｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、近距離無線通信、携帯通信網（ＬＴＥ（Long　Term　Evolution）、または３Ｇ（第３世代の移動体通信方式））等により他の装置と通信接続する。
　（操作入力部２２０）
　操作入力部２２０は、ユーザによる操作指示を受付け、その操作内容を制御部２００に出力する。操作入力部２２０は、タッチセンサ、圧力センサ、若しくは近接センサであってもよい。あるいは、操作入力部２２０は、キーボード、マウス、ボタン、スイッチ、およびレバーなど、物理的構成であってもよい。
　（表示部２３０）
　表示部２３０は、知覚効果の設定を行える設定画面等を出力する表示装置である。この表示部２３０は、例えば、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）、有機ＥＬ（（Electro　Luminescence）ディスプレイなどの表示装置であってもよい。
　（記憶部２４０）
　記憶部２４０は、制御部２００の処理に用いられるプログラムや演算パラメータ等を記憶するＲＯＭ（Read　Only　Memory）、および適宜変化するパラメータ等を一時記憶するＲＡＭ（Random　Access　Memory）により実現される。
　以上、本実施形態による情報処理装置２０の構成について具体的に説明した。なお情報処理装置２０の構成は、図４に示す例に限定されない。例えば、情報処理装置２０は、複数の装置により構成されていてもよい。また、情報処理装置２０は、音声入力部および音声出力部をさらに有していてもよい。
　また、情報処理装置２０は、図１に示すようなＰＣに限定されず、スマートフォン、携帯電話端末、タブレット端末、または専用端末等により実現されてもよい。また、情報処理装置２０の制御部２００の少なくとも一部が、ネットワーク上のサーバにより実現されていてもよい。また、表示部２３０がプロジェクターにより実現され、設定画面等が、壁やテーブル、スクリーン等に投影されるようにしてもよい。この場合、投影画面に対するユーザの操作入力は、別途設けられたカメラにより投影画面に対するタッチ操作が検出されるようにしてもよい。
　　＜２－２．触覚提示デバイス１０の構成＞
　次に、本実施形態による触覚提示デバイス１０の構成について図４を参照して説明する。図４に示すように、本実施形態による触覚提示デバイス１０は、複数の触覚刺激部１００ａ～１００ｃ、制御部１１０、通信部１２０、および音声出力部１０２を有する。
　制御部１１０は、演算処理装置および制御装置として機能し、各種プログラムに従って触覚提示デバイス１０内の動作全般を制御する。制御部１１０は、例えばＣＰＵ（Central　Processing　Unit）、マイクロプロセッサ等の電子回路によって実現される。また、触覚提示デバイス１０は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ（Read　Only　Memory）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Random　Access　Memory）を含んでいてもよい。
　例えば制御部１１０は、通信部１２０を介して情報処理装置２０から受信した各触覚刺激部１００に対応する触覚刺激の出力の制御信号に従って、複数の触覚刺激部１００ａ～１００ｃにおける触覚刺激（例えば振動）の出力を制御する。
　通信部１２０は、他の装置との間で情報の送受信を行う。例えば、通信部１２０は、情報処理装置２０から、各触覚刺激部１００に対応する触覚刺激の出力の制御信号を受信する。また、通信部１２０は、情報処理装置２０から、再生対象の音声の出力の制御信号を受信する。通信部１２０は、例えば有線／無線ＬＡＮ（Local　Area　Network）、またはＷｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、近距離無線通信、携帯通信網（ＬＴＥ（Long　Term　Evolution）、または３Ｇ（第３世代の移動体通信方式））等により他の装置と通信接続する。
　触覚刺激部１００は、ユーザに対して触覚刺激を提示するアクチュエータである。例えば触覚刺激部１００は、触覚刺激として、振動を発生する。なお、触覚刺激部１００により提示される触覚刺激は、振動に限定されず、例えば、冷たさ、暖かさ、風、水、圧力等の刺激も想定される。
　音声出力部１０２は、音声信号を再生するスピーカと、スピーカに対するアンプ回路を有する。
　以上、本実施形態による触覚提示デバイス１０の構成の一例について説明した。なお本実施形態による触覚提示デバイス１０の構成は、図４に示す例に限定されない。例えば、触覚提示デバイス１０は、音声出力部１０２を有さない構成であってもよい。
　＜＜３．知覚効果の設定画面例＞＞
　次に、本実施形態による知覚効果の設定画面例について、図５～図１１を参照して具体的に説明する。
　図５は、本実施形態による触覚刺激部１００の位置を設定する設定画面４０の一例を示す図である。図５に示すように、設定画面４０には、例えばジャケット型の触覚提示デバイス１０の形状の表示４０１上に、触覚刺激部１００を示す表示４０２ａ～４０２ｇが表示されている。触覚刺激部１００を示す表示４０２ａ～４０２ｇは、マウス操作、タッチ操作、その他コントローラを用いてカーソル４０３を操作し、任意の位置に移動させることが可能である。なお、触覚刺激部１００の位置は既知であってもよい。すなわち既に生成された触覚提示デバイス１０の３Ｄデータを取り込み、触覚提示デバイス１０の外形と、当該触覚提示デバイス１０に配置されている触覚刺激部１００の位置を表示するようにしてもよい。
　図５に示す例では、一例として正面画像と側面画像を示しているが、さらに背面画像を表示してもよい。また、ユーザ操作に応じて正面画像、側面画像、および背面画像が切り替えられてもよい。
　図６は、本実施形態による知覚効果の設定画面４２の一例を示す図である。図６に示すように、設定画面４２には、複数の触覚刺激部１００の配置を示す表示４２０が表示されている。ユーザは、触覚刺激を発生させたい位置（すなわち知覚位置）を、マウス操作等により指定する。指定された位置には、知覚位置表示４２３が表示される。また、ユーザは、知覚位置を連続的に移動させたい場合、その移動経路４２４も、マウス操作等により指定し得る。また、ユーザは、知覚位置の移動速度を設定することも可能である。
　また、設定画面４２の再生ボタン４２６を選択すると、知覚位置の移動軌跡を示す動画が再生される。すなわち、知覚位置表示４２３が移動経路４２４に沿って移動する動画が再生され得る。これによりユーザは設定内容を確認することが可能となる。また、情報処理装置２０は、再生ボタン４２６が選択された場合に、表示部２３０に表示する設定画面４２で知覚位置の移動軌跡を示す動画を再生すると共に、接続する触覚提示デバイス１０から、対応する触覚刺激の出力制御を行うようにしてもよい。これによりユーザは、即座に知覚効果のフィードバックを受けることが可能となる。
　図７は、触覚刺激の波形種類を設定する設定画面４４の一例を示す図である。触覚刺激には、例えば打撃振動など、多数の種類が想定される。ユーザは、図７に示すように、任意の触覚刺激の波形種類（かかる波形データを、「ライブラリ」とも称す）をマウスドラッグ等によって任意の知覚位置４４３に移動させることで、知覚位置４４３における触覚刺激の種類（例えば振動波形の種類）を設定することが可能である。ライブラリは、予め多数設定されていてもよいし、任意のオーディオ波形や動画データを取り込んで情報処理装置２０により生成するようにしてもよい。情報処理装置２０は、メディアを触覚刺激の信号に変換するためのフィルタ／アルゴリズムを有する。また、情報処理装置２０は、ユーザが指定した知覚位置の移動経路の場所や長さ、知覚位置の移動速度等に応じて、最適なライブラリを推薦することも可能である。
　図８は、設定した知覚効果の再生画面の一例を示す図である。図８に示すように、再生画面４６－１～４６－３には、知覚位置の表示画面４６０と、シークバー４６２と、当該知覚位置に設定された触覚刺激の（時間的）長さを示すコンテンツバー４６４とが表示されている。再生ボタン４６３が選択されると、知覚位置の変化が示されると共に、対応する触覚刺激コンテンツのシーク位置も変化する。また、知覚位置の強度は、例えば知覚位置の表示４６１の大きさで示される。図８に示す例では、再生画面４６－２に示す知覚位置４６１ｂにおいて、始点である知覚位置４６１ａよりも知覚強度が大きくなっていることが分かる。ユーザは、シークバーを動かすことによって知覚位置や知覚強度を確認することも可能である。
　また、再生画面４６－３に示すように、複数の知覚効果を配置することも可能である。この場合、再生画面４６－３に示すように、知覚位置４６５に対応する触覚刺激のコンテンツバー４６６も表示され得る。
　また、コンテンツバー４６４、４６６の時間的長さ（触覚刺激の長さ）は、ユーザが任意に調整することも可能である。
　また、図示していないが、知覚効果の再生画面では、対応する（同期する）映像コンテンツや音響コンテンツも併せて表示し、知覚位置の変化と共に、各コンテンツのシーク位置の変化を確認できるようにしてもよい。
　また、知覚効果の設定画面において、触覚の質（提示の大小、だんだん強く/弱く、温度の制御など）や、他モーダルに関わるエフェクト（照明効果、映像の効果、音響効果など）を制御できるようにしてもよい。
　また、本実施形態では、複数の異なった（周波数特性や応答性能、大きさなどが異なる）触覚刺激部１００を用いたとしても、それらの違いを補正して制御することも可能である。
　また、本実施形態では、過大な出力が予想できる場合、警告を表示するなどして、触覚提示デバイス１０が故障しないようにすることができる。例えば、本実施形態では、指定された知覚位置および知覚強度を実現するための出力制御信号を生成するが、人体にとって、触覚提示時間が長すぎたり強すぎたり、駆動時間が長すぎて発熱したり、温度提示デバイスによる低温やけどや高温やけど等の要因で負荷になりそうなことを事前にシミュレートし、設定画面上で警告表示を行ったり、負荷とならないように、出力を自動補正してもよい。
　また、本実施形態では、設定画面において、触覚提示の強度をマーカーの大きさで表現したり、提示時間の長さをマーカーの色や透明度で表現してもよい。
　また、本実施形態では、知覚位置の移動が早すぎる（経路が長い）場合に、最適な経路を表示したり自動調整することも可能である。
　また、本実施形態では、ユーザが指定した知覚効果に対して、実際の出力が厳密に連動していなくてもよい。例えば、短時間の間に100回の別々の触覚知覚を発生するような設定がなされたとしても、実際の出力は10回程度に留めてもよい。この場合、最適化後の回数や提示時間は、設定画面上に表示してもしなくてもよい。
　また、（お腹にボールが当たる等の表現で）知覚位置がお腹付近の場合、ヘッドホンの音量（対応する音響の音量）を小さくしたり、一方、知覚位置が胸付近の場合、音量を大きくするなど、知覚位置に応じて、音響効果や映像効果を自動調整することも可能である。
　また、本実施形態では、最終的に、触覚提示デバイス１０における数分の制御信号を出力したり、あるいは、ツール自体がプレイヤー（再生ソフト）として機能し得る。
　（触覚刺激部１００の配置の推薦）
　以上説明した例では、知覚位置を設定する前に、複数の触覚刺激部１００の配置を決定しているが、本実施形態はこれに限定されず、情報処理装置２０は、ユーザが指定した任意の知覚位置および移動経路に基づいて、複数の触覚刺激部１００の最適な配置を推薦することも可能である。最適な配置は、例えば少なくとも設定される知覚位置における触覚提示が可能な配置であって、かつ、例えば省電力および負荷の軽減等を実現し得る配置が想定される。この際、ユーザ側で、使用可能な触覚刺激部１００の数や、設置可能な範囲の制約などの情報をインプットできるようにしてもよい。
　図９は、複数の触覚刺激部１００の配置推薦の一例を示す図である。まず、図９左に示すように、設定画面４８－１において、触覚提示デバイス１０の輪郭のみが表示される。次に、図９中央に示すように、ユーザは、設定画面４８－２において、１以上の知覚位置の移動経路４８１ａ、４８１ｂを触覚提示デバイス１０の輪郭内に描き、知覚効果の設定を行う。そして、図９右に示すように、設定画面４８－３において、例えば最適位置表示ボタン４８３が選択されると、設定された知覚効果を実現するための複数の触覚刺激部１００の最適な配置（表示４８４ａ～４８４ｆ）が示される。
　また、複数の触覚刺激部１００の最適な配置の推薦は、既に配置された複数の触覚刺激部１００の修正提案も含む。以下、図１０を参照して説明する。
　図１０は、複数の触覚刺激部１００の配置修正の一例を示す図である。まず、図１０左に示すように、設定画面５０－１において、予め設定された（若しくはユーザが任意に配置した）複数の触覚刺激部１００の位置を示す表示５０１ａ～５０１ｉが表示されている際に、ユーザは、マウス等を操作し、目標とする知覚位置の移動経路５０３ａ、５０３ｂを描く。次に、図１０中央に示すように、ユーザが設定画面５０－２において、最適位置表示ボタン５０４を選択すると、情報処理装置２０により、指定された知覚位置の移動経路５０３ａ、５０３ｂに応じた複数の触覚刺激部１００の最適位置が算出され、図に示すように、複数の触覚刺激部１００の最適位置を示す表示５０５ａ～５０５ｉが重畳表示される。図１０に示す例では、予め設定された触覚刺激部１００の表示５０１ｃ、５０１ｆ、５０１ｉと、最適位置の表示５０５ｃ、５０５ｆ、５０５ｉがずれており、修正されていることが分かる。
　そして、図１０右に示すように、ユーザが設定画面５０－３において、最適化表示ボタン５０６を選択すると、複数の触覚刺激部１００が最適位置に変更された状態が表示され、確定する。ユーザはこのように提示された複数の触覚刺激部１００の最適位置に応じて、触覚提示デバイス１０に設ける実際の複数の触覚刺激部１００の配置を調整することが可能である。
　次いで、指定した知覚位置の最適経路の推薦について図１１を参照して説明する。図１１は、知覚位置の移動経路の最適化表示の一例を示す図である。
　図１１に示すように、ユーザが設定画面５２－１において、まず、知覚位置および移動経路５２０の入力を行う。次に、設定画面５２－２に示す最適経路表示ボタン５２１を選択すると、情報処理装置２０により、知覚位置の最適経路が算出され、最適経路５２２として表示される。最適経路は、例えば触覚刺激の人体への影響や、触覚刺激部１００への負荷、また、周辺の触覚刺激部１００の配置等を考慮して、算出され得る。
　そして、図１１右に示すように、ユーザが設定画面５２－３において、経路最適化ボタン５２３を選択すると、知覚位置の移動経路の最適化が確定する。
　＜＜４．動作処理＞＞
　続いて、本実施形態による情報処理システムの動作処理について図１２を参照して説明する。図１２は、本実施形態による触覚刺激の決定処理を示すフローチャートである。
　図１２に示すように、まず、マウス、タッチパネル等の入力装置によって、触覚刺激を知覚させたい位置（および強度）が、ＧＵＩ上にて指定される（ステップＳ１０３）。
　次に、情報処理装置２０は、指定された知覚位置（および知覚強度）に基づいて、触覚提示を行う触覚刺激部１００と、提示強度（触覚刺激部１００から出力する触覚制御信号の大きさ）を決定する（ステップＳ１０６）。
　このように決定された内容は、例えばＧＵＩ上の再生ボタンの操作に応じて、触覚提示デバイス１０に出力されてもよい。ユーザは、ＧＵＩ上における直感的な知覚効果の設定を行うと共に、設定した知覚効果を、すぐに触覚提示デバイス１０で体感して確認することができ、これを繰り返して調整することができる。
　なお、知覚効果の設定は、マウスやタッチパネル等に限定されず、触覚ポインタ（３Ｄポインタ）を用いて実物体上において直接入力することも可能である。以下、このような触覚ポインタについて説明する。
　＜＜５．触覚ポインタ＞＞
　図１３は、本実施形態による触覚ポインタ６０について説明する図である。図１３に示すように、触覚ポインタ６０を触覚提示デバイス１０に向けて動かすことで、触覚提示デバイス１０上（実物体）に直感的に軌跡６０１を描き、知覚位置や知覚位置の移動経路を設定することが可能となる。触覚提示デバイス１０上で描かれる軌跡６０１は、触覚提示デバイス１０の表示部６４０に表示してもよいし、触覚提示デバイス１０からＬＥＤ等の可視光線を発射して触覚提示デバイス１０上の軌跡６０１を可視化してもよい。
　また、触覚ポインタ６０または触覚ポインタ６０と接続する情報処理装置２０により、触覚ポインタ６０で描いた軌跡で触覚刺激を提示するよう、リアルタイムで触覚提示デバイス１０における触覚提示制御（触覚刺激の出力制御）を行うようにしてもよい。これにより、ユーザはリアルタイムで知覚位置の移動経路を指定すると共に、知覚効果を体感することができる。なお触覚提示デバイス１０を着用したユーザ自身が触覚ポインタ６０を操作してもよい。ユーザは、専門知識がなくとも、触覚ポインタ６０を用いてリアルタイムで知覚効果を確認することで、自分が感じた通りのデータを作成することができる。
　軌跡６０１の認識は、例えば触覚ポインタ６０から発光されるＩＲ（赤外線）等の距離センサにより、対象物（触覚提示デバイス１０）までの距離ｄを検出して対象物の３次元位置（触覚ポインタ６０に対する相対位置）を把握すると共に、触覚ポインタ６０により設けられたジャイロセンサや加速度センサ等の姿勢センサにより触覚ポインタ６０の動きを取得することで行われ得る。
　また、触覚提示デバイス１０に配置される各触覚刺激部１００の位置は既知であってもよいし、触覚ポインタ６０に設けられたカメラにより検出してもよいし、ユーザが触覚ポインタ６０を用いて各触覚刺激部１００の位置（相対位置）を指定して記憶させてもよい。
　また、触覚ポインタ６０には、収録開始・停止ボタンや再生開始・停止ボタン等の操作入力部６２０が設けられている。ユーザが収録開始ボタンを選択した際、触覚ポインタ６０は赤外線を発光して対象物（触覚提示デバイス１０）の３次元位置の認識を開始する。そして、収録停止ボタンが押されると、触覚ポインタ６０は、３次元位置の認識を終了すると共に、認識した３次元位置の移動経路（すなわち、触覚提示デバイス１０上における軌跡６０１）を保存する。また、再生開始ボタンが選択された場合には、触覚ポインタ６０は、保存したデータのプレイバック、すなわち、保存した触覚提示デバイス１０上における軌跡６０１において触覚刺激を提示するよう、触覚提示デバイス１０からの出力制御を開始する。
　＜５－１．構成＞
　次に、本実施形態による触覚ポインタ６０の構成の一例を図１４に示す。図１４に示すように、触覚ポインタ６０は、制御部６００、通信部６１０、操作入力部６２０、センサ６３０、表示部６４０、触覚提示部６５０、および記憶部６６０を有する。
　制御部６００は、演算処理装置および制御装置として機能し、各種プログラムに従って触覚ポインタ６０内の動作全般を制御する。制御部６００は、例えばＣＰＵ（Central　Processing　Unit）、マイクロプロセッサ等の電子回路によって実現される。また、制御部６００は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ（Read　Only　Memory）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Random　Access　Memory）を含んでいてもよい。
　本実施形態による制御部６００は、操作入力部６２０からのユーザ操作に応じて、ライブラリ（触覚の種類）の選択、強度調整、収録の開始／停止（収録された多チャンネル触覚データを保存）、再生／停止（収録されたデータのプレイバック）、触覚提示面積の設定（狭／広）、触覚提示モードの選択（表面なぞり（提示の境界コントラスト設定－はっきり／ぼんやり）、突き抜け表現（銃に打たれた感などの提示））、温度調整（温度感の提示設定）、力調整（力覚の提示設定）等を行い得る。なお、振動、温度、力の情報は、一つのライブラリに包含されていてもよい。
　また、制御部６００は、センサ６３０による検出結果に基づいて、触覚提示デバイス１０上における軌跡の認識を行い得る。具体的には、制御部６００は、例えば赤外線やビーコン（Ｂｌｕｅｔｏｏｔｈ）、カメラ等を用いて、触覚提示デバイス１０までの距離ｄを検出し、触覚ポインタ６０に対する触覚提示デバイス１０の位置（３次元位置）を取得する。そして、制御部６００は、姿勢センサの検出結果に応じて触覚ポインタ６０の動きを検出し、上記３次元位置と併せて、触覚提示デバイス１０上における軌跡を認識する。また、制御部６００は、触覚ポインタ６０に設けられたカメラにより撮像した撮像画像を解析して触覚提示デバイス１０の形状を認識し、触覚提示デバイス１０に対する軌跡の相対位置を認識することも可能である。
　また、制御部６００は、触覚提示デバイス１０に設けられた触覚刺激部１００の位置を取得し、指定された軌跡で知覚提示するための、各触覚刺激部１００における出力制御信号を生成することも可能である。生成方法については、上述した情報処理装置２０の知覚位置・強度決定部２０１で説明した通りである。また、触覚提示デバイス１０に設けられた触覚刺激部１００の位置は、ユーザが触覚ポインタ６０を用いて入力してもよい。例えば、ユーザは、触覚ポインタ６０により触覚提示デバイス１０に設けられた触覚刺激部１００を指し示して、触覚ポインタ６０により対象の３次元位置を取得させると共に、「触覚刺激部１００の位置」として当該３次元位置を登録する操作を行う。また、触覚提示デバイス１０に、各触覚刺激部１００の位置に対応する箇所にマーカー（ＬＥＤ、赤外線マーカー、またはＱＲコード（登録商標）など）が設けられている場合、制御部６００は、カメラ画像によりマーカーの検出を行い、各触覚刺激部１００の位置を把握し得る。
　若しくは、制御部６００は、触覚提示デバイス１０または各触覚刺激部１００から３次元位置情報を取得してもよい。
　通信部６１０は、他の装置との間で情報の送受信を行う。例えば、通信部６１０は、ネットワーク上からライブラリの更新情報を取得したり、収録データをアップロードしたり、情報処理装置２０に送信したりしてもよい。また、通信部６１０は、触覚提示デバイス１０または各触覚刺激部１００に、出力制御信号（触覚刺激の出力の制御信号）を送信してもよい。通信部６１０は、例えば有線／無線ＬＡＮ（Local　Area　Network）、またはＷｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、近距離無線通信、携帯通信網（ＬＴＥ（Long　Term　Evolution）、または３Ｇ（第３世代の移動体通信方式））等により他の装置と通信接続する。
　操作入力部６２０は、ユーザによる操作指示を受付け、その操作内容を制御部６００に出力する。操作入力部６２０は、タッチセンサ、圧力センサ、若しくは近接センサであってもよい。あるいは、操作入力部６２０は、キーボード、マウス、ボタン、スイッチ、およびレバーなど、物理的構成であってもよい。
　センサ６３０は、例えば、３次元位置センサ（赤外線センサ、ビーコン、カメラ等のいわゆる距離センサ）や、姿勢センサ（ジャイロセンサ、加速度センサ等）を含む。またセンサ６３０は、触覚提示デバイス１０に設けられた複数の触覚刺激部１００の位置を示すマーカーを検出する赤外線カメラ、ＲＧＢカメラ等を含んでもよい。
　表示部６４０は、各種操作画面や、入力した軌跡（知覚位置の移動経路）を表示する画面等を出力する表示装置である。この表示部６４０は、例えば、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）、有機ＥＬ（（Electro　Luminescence）ディスプレイなどの表示装置であってもよい。
　触覚提示部６５０は、触覚ポインタ６０を把持しているユーザの手に対してフィードバックを行う機能を有する。例えば触覚提示部６５０は、振動、力、温度等を、触覚刺激として提示し得る。触覚提示部６５０は、例えばユーザが触覚提示デバイス１０に対して知覚効果の入力を行っている際に、リアルタイムで振動を提示するようにしてもよい。これにより、触覚ポインタ６０の操作者が触覚提示デバイス１０を着用していない場合でも、リアルタイムで設定している触覚を把握することが可能となる。
　記憶部６６０は、制御部６００の処理に用いられるプログラムや演算パラメータ等を記憶するＲＯＭ（Read　Only　Memory）、および適宜変化するパラメータ等を一時記憶するＲＡＭ（Random　Access　Memory）により実現される。例えば記憶部６６０は、ライブラリの保存および収録したデータの保存を行い得る。
　以上、本実施形態による触覚ポインタ６０の構成について具体的に説明した。なお、図１４に示す構成は一例であって、本実施形態はこれに限定されない。例えば触覚ポインタ６０は、表示部６４０または触覚提示部６５０を有さない構成であってもよい。
　＜５－２．知覚効果の設定操作例＞
　続いて、本実施形態による触覚ポインタ６０を用いた知覚効果の具体的な設定操作例について、図面を用いて説明する。
　図１５は、触覚ポインタ６０のボタン操作による触覚刺激の提示面積の調整について説明する図である。触覚刺激の提示面積は、例えば触覚ポインタ６０に設けられた所定のボタンの押込み量に応じて変化させることが可能である。例えば図１５左に示すように、ボタンの押込み量が少ない場合は、提示面積が小さく（狭く）なり、図１５右に示すように、ボタンの押込み量が多い場合は、提示面積が大きく（広く）なる。この場合の軌跡６０２ａ、６０２ｂを、触覚ポインタ６０から発光するＬＥＤ等により可視化してもよい。
　図１６は、身体を貫通する知覚位置の移動経路を設定する場合について説明する図である。触覚ポインタ６０では、触覚刺激の提示種類を選択することが可能であり、例えば、「貫通モード」や「表面なぞりモード」が想定される。貫通モードが選択された場合、図７に示すように、触覚提示デバイス１０を着用するユーザの身体の正面から内部および背面を結ぶ移動経路、すなわちユーザの身体を貫通する移動経路６０３を入力することが可能となる。この状態で触覚ポインタ６０により身体をなぞると、刀で身体が真っ二つに斬られたような感覚を提示することが可能となる。また、「表面なぞりモード」では、触覚提示の境界コントラストを設定することも可能である。例えば、「表面なぞり－鉛筆」では、触覚提示の境界がはっきりとした感覚が提示され、「表面なぞり－ブラシ」では、触覚提示の境界がぼんやりとした感覚が提示されるようにしてもよい。
　また、触覚ポインタ６０を、触覚提示デバイス１０に対して略垂直に前後させることで、距離に応じて圧力提示の強さを変化させることも可能である。
　図１７は、触覚提示デバイス１０を用いず触覚ポインタ６０のみで知覚効果の設定を行う場合について説明する図である。図１７に示すように、触覚ポインタ６０の先端を身体（実物体の一例）に直接接触させた状態で軌跡を描き、身体上における知覚位置の移動経路を設定することが可能である。触覚ポインタ６０は、先端の３次元座標情報を取得し得る。この際、触覚ポインタ６０の先端で振動や温度変化等の触覚提示を行ってもよい。
　このように設定した知覚位置の移動経路を実際に触覚提示デバイス１０で再生する場合、触覚ポインタ６０または情報処理装置２０は、収録された身体上の軌跡である３次元位置情報と、身体に着用された触覚提示デバイス１０に設けられた各触覚刺激部１００の位置情報を考慮し、目標の軌跡で触覚刺激が知覚されるよう、周辺の触覚刺激部１００からの出力レベル（触覚制御信号の大きさ）を決定する。
　図１８は、人形を用いた知覚効果の設定について説明する図である。図１８に示すように、例えばユーザが触覚提示デバイス１０を着用した状態で、人形７０（実物体の一例）に対して触覚ポインタ６０により軌跡を描き、当該軌跡に対応する触覚刺激を、触覚提示デバイス１０で（リアルタイムで）フィードバックすることが可能である。この際、触覚ポインタ６０からレーザーポインタにより照射し、知覚位置を視認できるようにしてもよい。触覚ポインタ６０は、距離センサにより人形の３次元位置を取得し、また、姿勢センサによる触覚ポインタ６０の動きを検出し、これらに基づいて、人形の身体上に描いた軌跡を検出する。または、触覚ポインタ６０は、人形に照射されたレーザーポインタの照射位置をカメラにより取得し、人形の身体上に描かれた軌跡を検出することも可能である。
　また、ユーザは、触覚ポインタ６０の収録ボタンを押しながら触覚ポインタ６０を動かして軌跡を描く。ユーザが収録ボタンを離すと、触覚ポインタ６０は、複数チャンネル分のデータ（すなわち、描かれた軌跡に応じて生成した各触覚刺激部１００の出力制御信号）を保存する。
　図１９は、人形を用いた知覚効果の種々の設定について説明する図である。図１９の上段に示すように、ユーザは、触覚ポインタ６０を用いて人形７０に対してレーザーポインタで照射して位置を確認しながら、人形７０を、触覚提示デバイス１０を着用した人間に見立てて、知覚位置の移動経路を入力することが可能である。なお人形７０の大きさは特に限定しない。人形７０の大きさが、触覚提示デバイス１０（または触覚提示デバイス１０を着用する人間）と異なる場合、触覚ポインタ６０は、人形の大きさと、触覚提示デバイス１０（または人間の身体）の大きさに応じて、スケールのマッチングを行う。
　また、図１９の中段に示すように、レーザーポインタによる照射の濃さにより、触覚提示の強度を表現することも可能である。ユーザは、触覚ポインタ６０のボタンを操作して、触覚提示の強度を調整することが可能であるが、これを視覚的にフィードバックするため、例えば触覚提示が弱い場合は薄い色のポインタ６０６ａを照射し、触覚提示が強い場合は濃い色のポインタ６０６ｂを照射するようにしてもよい。
　また、図１９の下段に示すように、レーザーポインタによる照射の大きさにより、触覚提示の範囲を表現することも可能である。ユーザは、触覚ポインタ６０のボタンを操作して、触覚提示の範囲を調整することが可能であるが、これを視覚的にフィードバックするため、例えば触覚提示の範囲が狭い場合は小さいポインタ６０７ａを照射し、触覚提示の範囲が広い場合は大きいポインタ６０７ｂを照射するようにしてもよい。
　＜＜５．まとめ＞＞
　上述したように、本開示の実施形態による情報処理システムでは、触覚刺激の知覚位置の設定に関して直感的な操作を可能とする。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、上述した触覚提示デバイス１０、情報処理装置２０、または触覚ポインタ６０に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、触覚提示デバイス１０、情報処理装置２０、または触覚ポインタ６０の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、本技術は以下のような構成も取ることができる。
（１）
　触覚提示デバイスに関連する情報と、ユーザにより指定された前記触覚提示デバイスにおける知覚位置と、を表示する表示制御部と、
　前記知覚位置および前記触覚提示デバイスに設けられた複数の触覚刺激部の位置に応じて、前記知覚位置で触覚刺激を知覚するよう前記複数の触覚刺激部に出力する出力制御信号を生成する生成部と、
を備える、情報処理装置。
（２）
　前記触覚提示デバイスに関連する情報は、前記触覚提示デバイスにおける複数の触覚刺激部の位置を示す情報である、前記（１）に記載の情報処理装置。
（３）
　前記触覚提示デバイスに関連する情報は、前記触覚提示デバイスの外形を示す情報である、前記（１）に記載の情報処理装置。
（４）
　前記生成部は、前記ユーザに指定された前記知覚位置と知覚強度に応じて、前記出力制御信号を生成する、前記（１）～（３）のいずれか１項に記載の情報処理装置。
（５）
　前記生成部は、前記ユーザに選択された種類の触覚刺激が前記知覚位置で知覚されるよう、前記出力制御信号を生成する、前記（１）～（４）のいずれか１項に記載の情報処理装置。
（６）
　前記表示制御部は、複数種類の触覚刺激の選択画面を表示する、前記（５）に記載の情報処理装置。
（７）
　前記表示制御部は、前記ユーザに指定された前記知覚位置に応じて、適した触覚刺激の種類を推薦する推薦画面を表示する、前記（５）に記載の情報処理装置。
（８）
　前記表示制御部は、前記知覚位置の移動経路を示す表示を行う、前記（１）～（７）のいずれか１項に記載の情報処理装置。
（９）
　前記表示制御部は、
　　前記知覚位置の移動を示す動画と、
　　前記動画のシークバーと、を表示する、前記（８）に記載の情報処理装置。
（１０）
　前記表示制御部は、
　　前記知覚位置で触覚刺激が提示される際に再生される動画コンテンツを併せて表示する、前記（９）に記載の情報処理装置。
（１１）
　前記情報処理装置は、
　　前記知覚位置の移動を示す動画の再生に合わせて、前記生成した出力制御信号を前記触覚提示デバイスに出力する制御を行う、前記（９）または（１０）に記載の情報処理装置。
（１２）
　前記表示制御部は、前記ユーザに指定された知覚位置に応じて、前記複数の触覚刺激部の位置を最適化した推薦画面を表示する、前記（１）～（１１）のいずれか１項に記載の情報処理装置。
（１３）
　前記表示制御部は、前記ユーザに指定された知覚位置と、前記複数の触覚刺激部の位置に応じて、前記知覚位置を最適化した推薦画面を表示する、前記（１）～（１２）のいずれか１項に記載の情報処理装置。
（１４）
　前記知覚位置および前記知覚位置の移動経路は、実物体上の３次元位置を取得するコントローラにより入力される、前記（１）～（１３）のいずれか１項に記載の情報処理装置。
（１５）
　プロセッサが、
　触覚提示デバイスに関連する情報と、ユーザにより指定された前記触覚提示デバイスにおける知覚位置と、を表示することと、
　前記知覚位置および前記触覚提示デバイスに設けられた複数の触覚刺激部の位置に応じて、前記知覚位置で触覚刺激を知覚するよう前記複数の触覚刺激部に出力する出力制御信号を生成することと、
を含む、情報処理方法。
（１６）
　コンピュータを、
　触覚提示デバイスに関連する情報と、ユーザにより指定された前記触覚提示デバイスにおける知覚位置と、を表示する表示制御部と、
　前記知覚位置および前記触覚提示デバイスに設けられた複数の触覚刺激部の位置に応じて、前記知覚位置で触覚刺激を知覚するよう前記複数の触覚刺激部に出力する出力制御信号を生成する生成部と、
として機能させるための、プログラム。
　１０　触覚提示デバイス
　　１００　触覚刺激部
　　１０２　音声出力部
　　１１０　制御部
　　１２０　通信部
　２０　情報処理装置
　　２００　制御部
　　２０１　知覚位置・強度決定部
　　２０２　画面生成部
　　２０３　出力制御部
　　２１０　通信部
　　２２０　操作入力部
　　２３０　表示部
　　２４０　記憶部
　６０　触覚ポインタ
　　６００　制御部
　　６１０　通信部
　　６２０　操作入力部
　　６３０　センサ
　　６４０　表示部
　　６５０　触覚提示部
　　６６０　記憶部

Claims (16)

  1. 　触覚提示デバイスに関連する情報と、ユーザにより指定された前記触覚提示デバイスにおける知覚位置と、を表示する表示制御部と、
    　前記知覚位置および前記触覚提示デバイスに設けられた複数の触覚刺激部の位置に応じて、前記知覚位置で触覚刺激を知覚するよう前記複数の触覚刺激部に出力する出力制御信号を生成する生成部と、
    を備える、情報処理装置。
  2. 　前記触覚提示デバイスに関連する情報は、前記触覚提示デバイスにおける複数の触覚刺激部の位置を示す情報である、請求項１に記載の情報処理装置。
  3. 　前記触覚提示デバイスに関連する情報は、前記触覚提示デバイスの外形を示す情報である、請求項１に記載の情報処理装置。
  4. 　前記生成部は、前記ユーザに指定された前記知覚位置と知覚強度に応じて、前記出力制御信号を生成する、請求項１に記載の情報処理装置。
  5. 　前記生成部は、前記ユーザに選択された種類の触覚刺激が前記知覚位置で知覚されるよう、前記出力制御信号を生成する、請求項１に記載の情報処理装置。
  6. 　前記表示制御部は、複数種類の触覚刺激の選択画面を表示する、請求項５に記載の情報処理装置。
  7. 　前記表示制御部は、前記ユーザに指定された前記知覚位置に応じて、適した触覚刺激の種類を推薦する推薦画面を表示する、請求項５に記載の情報処理装置。
  8. 　前記表示制御部は、前記知覚位置の移動経路を示す表示を行う、請求項１に記載の情報処理装置。
  9. 　前記表示制御部は、
    　　前記知覚位置の移動を示す動画と、
    　　前記動画のシークバーと、を表示する、請求項８に記載の情報処理装置。
  10. 　前記表示制御部は、
    　　前記知覚位置で触覚刺激が提示される際に再生される動画コンテンツを併せて表示する、請求項９に記載の情報処理装置。
  11. 　前記情報処理装置は、
    　　前記知覚位置の移動を示す動画の再生に合わせて、前記生成した出力制御信号を前記触覚提示デバイスに出力する制御を行う、請求項９に記載の情報処理装置。
  12. 　前記表示制御部は、前記ユーザに指定された知覚位置に応じて、前記複数の触覚刺激部の位置を最適化した推薦画面を表示する、請求項１に記載の情報処理装置。
  13. 　前記表示制御部は、前記ユーザに指定された知覚位置と、前記複数の触覚刺激部の位置に応じて、前記知覚位置を最適化した推薦画面を表示する、請求項１に記載の情報処理装置。
  14. 　前記知覚位置および前記知覚位置の移動経路は、実物体上の３次元位置を取得するコントローラにより入力される、請求項１に記載の情報処理装置。
  15. 　プロセッサが、
    　触覚提示デバイスに関連する情報と、ユーザにより指定された前記触覚提示デバイスにおける知覚位置と、を表示することと、
    　前記知覚位置および前記触覚提示デバイスに設けられた複数の触覚刺激部の位置に応じて、前記知覚位置で触覚刺激を知覚するよう前記複数の触覚刺激部に出力する出力制御信号を生成することと、
    を含む、情報処理方法。
  16. 　コンピュータを、
    　触覚提示デバイスに関連する情報と、ユーザにより指定された前記触覚提示デバイスにおける知覚位置と、を表示する表示制御部と、
    　前記知覚位置および前記触覚提示デバイスに設けられた複数の触覚刺激部の位置に応じて、前記知覚位置で触覚刺激を知覚するよう前記複数の触覚刺激部に出力する出力制御信号を生成する生成部と、
    として機能させるための、プログラム。
PCT/JP2018/045563 2018-02-20 2018-12-11 情報処理装置、情報処理方法、およびプログラム WO2019163260A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US16/969,695 US11334226B2 (en) 2018-02-20 2018-12-11 Information processing device, information processing method, and program
EP18906864.6A EP3757721A4 (en) 2018-02-20 2018-12-11 INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND PROGRAM
CN201880089356.3A CN111712779A (zh) 2018-02-20 2018-12-11 信息处理装置、信息处理方法和程序
JP2020502043A JP7314926B2 (ja) 2018-02-20 2018-12-11 情報処理装置、情報処理方法、およびプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018027689 2018-02-20
JP2018-027689 2018-02-20

Publications (1)

Publication Number Publication Date
WO2019163260A1 true WO2019163260A1 (ja) 2019-08-29

Family

ID=67687521

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/045563 WO2019163260A1 (ja) 2018-02-20 2018-12-11 情報処理装置、情報処理方法、およびプログラム

Country Status (5)

Country Link
US (1) US11334226B2 (ja)
EP (1) EP3757721A4 (ja)
JP (1) JP7314926B2 (ja)
CN (1) CN111712779A (ja)
WO (1) WO2019163260A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021149585A (ja) * 2020-03-19 2021-09-27 豊田合成株式会社 アクチュエータ装置
JP2021148712A (ja) * 2020-03-23 2021-09-27 カシオ計算機株式会社 位置測定システム、位置測定装置、位置測定方法及びプログラム
WO2021210341A1 (ja) * 2020-04-14 2021-10-21 ソニーグループ株式会社 情報処理装置、情報処理方法
WO2022118746A1 (ja) * 2020-12-04 2022-06-09 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム及び情報処理システム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021026618A (ja) * 2019-08-07 2021-02-22 ソニー株式会社 生成装置、生成方法、プログラム及び触覚提示デバイス

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014203960A1 (ja) * 2013-06-21 2014-12-24 株式会社ニコン 振動データ生成プログラム、および振動データ生成装置
JP2015111417A (ja) * 2013-11-14 2015-06-18 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ ハプティック空間化システム
JP2016001472A (ja) * 2014-06-09 2016-01-07 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ オーディオ・トラックを介して触覚効果を与えるための触覚デバイスおよび方法
US20160291694A1 (en) * 2015-04-03 2016-10-06 Disney Enterprises, Inc. Haptic authoring tool for animated haptic media production
WO2017009181A1 (en) * 2015-07-13 2017-01-19 Thomson Licensing Method and apparatus for providing haptic feedback and interactivity based on user haptic space (hapspace)
WO2017053761A1 (en) * 2015-09-25 2017-03-30 Immersion Corporation Haptic effects design system
WO2018008217A1 (ja) * 2016-07-07 2018-01-11 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100078294A (ko) 2008-12-30 2010-07-08 삼성전자주식회사 진동 패턴 생성 방법 및 이를 이용한 휴대 단말기
US8540571B2 (en) * 2010-03-31 2013-09-24 Immersion Corporation System and method for providing haptic stimulus based on position
US9880621B2 (en) * 2010-04-08 2018-01-30 Disney Enterprises, Inc. Generating virtual stimulation devices and illusory sensations using tactile display technology
US8872762B2 (en) * 2010-12-08 2014-10-28 Primesense Ltd. Three dimensional user interface cursor control
EP2895050B8 (en) * 2012-09-11 2018-12-19 L.I.F.E. Corporation S.A. Wearable communication platform
US9619029B2 (en) * 2013-11-14 2017-04-11 Immersion Corporation Haptic trigger control system
EP3102272B1 (en) * 2014-02-04 2019-12-11 Team Turquoise Ltd. System for treating a condition of a user
EP3125073B1 (en) * 2014-03-26 2020-11-18 Sony Corporation Sensory feedback introducing device, sensory feedback introducing system, and sensory feedback introduction method
US20170098350A1 (en) * 2015-05-15 2017-04-06 Mick Ebeling Vibrotactile control software systems and methods
US20160129279A1 (en) * 2014-07-09 2016-05-12 Akari Systems, Inc. Wearable therapeutic light source
CN105589594B (zh) * 2014-11-06 2019-12-31 天马微电子股份有限公司 电子装置和电子装置的操作控制方法
CN107529995A (zh) * 2015-02-18 2018-01-02 维拉布尔生命科学股份有限公司 用于传送刺激的装置、***以及方法
KR102138104B1 (ko) * 2016-05-09 2020-08-13 써브팩, 아이엔씨. 능동 피드백 시스템을 갖는 촉각 사운드 장치
US9797729B1 (en) * 2016-10-25 2017-10-24 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for automatic fit adjustment of a wearable device
US10744058B2 (en) * 2017-04-20 2020-08-18 Neosensory, Inc. Method and system for providing information to a user
CN107320095B (zh) * 2017-06-30 2020-06-23 联想(北京)有限公司 一种心电监测方法和心电监测设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014203960A1 (ja) * 2013-06-21 2014-12-24 株式会社ニコン 振動データ生成プログラム、および振動データ生成装置
JP2015111417A (ja) * 2013-11-14 2015-06-18 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ ハプティック空間化システム
JP2016001472A (ja) * 2014-06-09 2016-01-07 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ オーディオ・トラックを介して触覚効果を与えるための触覚デバイスおよび方法
US20160291694A1 (en) * 2015-04-03 2016-10-06 Disney Enterprises, Inc. Haptic authoring tool for animated haptic media production
WO2017009181A1 (en) * 2015-07-13 2017-01-19 Thomson Licensing Method and apparatus for providing haptic feedback and interactivity based on user haptic space (hapspace)
WO2017053761A1 (en) * 2015-09-25 2017-03-30 Immersion Corporation Haptic effects design system
WO2018008217A1 (ja) * 2016-07-07 2018-01-11 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3757721A4 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021149585A (ja) * 2020-03-19 2021-09-27 豊田合成株式会社 アクチュエータ装置
JP7205512B2 (ja) 2020-03-19 2023-01-17 豊田合成株式会社 アクチュエータ装置
JP2021148712A (ja) * 2020-03-23 2021-09-27 カシオ計算機株式会社 位置測定システム、位置測定装置、位置測定方法及びプログラム
JP7006714B2 (ja) 2020-03-23 2022-01-24 カシオ計算機株式会社 位置測定システム、位置測定装置、位置測定方法及びプログラム
WO2021210341A1 (ja) * 2020-04-14 2021-10-21 ソニーグループ株式会社 情報処理装置、情報処理方法
WO2022118746A1 (ja) * 2020-12-04 2022-06-09 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム及び情報処理システム

Also Published As

Publication number Publication date
US20210004132A1 (en) 2021-01-07
EP3757721A4 (en) 2021-04-21
JP7314926B2 (ja) 2023-07-26
EP3757721A1 (en) 2020-12-30
JPWO2019163260A1 (ja) 2021-02-04
CN111712779A (zh) 2020-09-25
US11334226B2 (en) 2022-05-17

Similar Documents

Publication Publication Date Title
WO2019163260A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US11347311B2 (en) Systems and methods for providing haptic feedback for remote interactions
CN110832439B (zh) 发光用户输入设备
US20170221379A1 (en) Information terminal, motion evaluating system, motion evaluating method, and recording medium
WO2018008217A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US20230102542A1 (en) Information processing device, information processing method, and recording medium
US7732694B2 (en) Portable music player with synchronized transmissive visual overlays
JP2019080920A (ja) 音声情報を補償する視覚的表示方法及び装置、記録媒体、プログラム、電子機器
JP6834614B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US10525349B2 (en) Information processing apparatus
JP6908053B2 (ja) 情報処理装置、情報処理方法、およびプログラム
KR101415944B1 (ko) 기상 상태에 대한 입체 음향을 제공하는 가상 골프 시뮬레이션 장치 및 방법
CN109984911B (zh) 一种具有虚拟现实功能的按摩设备及其控制方法
CN106569614A (zh) 虚拟现实中场景切换控制方法及***
KR20210075082A (ko) 정보 처리 장치, 정보 처리 방법, 및 프로그램
JP2021073749A (ja) 情報処理装置、情報処理方法、およびプログラム
US11228855B2 (en) Information processing device and information processing method
US11190874B2 (en) Information processing device and information processing method
JP7238886B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2009282650A (ja) インタフェース装置及び入力方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18906864

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020502043

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018906864

Country of ref document: EP

Effective date: 20200921