WO2023189406A1 - 出力制御装置、出力制御プログラム及び出力制御方法 - Google Patents

出力制御装置、出力制御プログラム及び出力制御方法 Download PDF

Info

Publication number
WO2023189406A1
WO2023189406A1 PCT/JP2023/009258 JP2023009258W WO2023189406A1 WO 2023189406 A1 WO2023189406 A1 WO 2023189406A1 JP 2023009258 W JP2023009258 W JP 2023009258W WO 2023189406 A1 WO2023189406 A1 WO 2023189406A1
Authority
WO
WIPO (PCT)
Prior art keywords
output
sound
haptic
tactile
data
Prior art date
Application number
PCT/JP2023/009258
Other languages
English (en)
French (fr)
Inventor
修一 赤岩
慶介 木野井
Original Assignee
株式会社栗本鐵工所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社栗本鐵工所 filed Critical 株式会社栗本鐵工所
Publication of WO2023189406A1 publication Critical patent/WO2023189406A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output

Definitions

  • the present invention relates to a technique for controlling haptic effects and sound output by a haptic device.
  • VR virtual reality
  • AR augmented reality
  • MR mixed reality
  • a display and a speaker provide visual and auditory sensations to the user.
  • user operations are input to the system through the controller. Via these interface devices, a user can perform two-way communication with virtual objects in a virtual space.
  • Patent Publication 1 discloses a force sense presentation device that presents a force sense of an object displayed in a video to an operator. This force sense presentation device can link the movement of an image and the force sense presented at the operation unit with high precision without requiring complicated control. This publication does not mention the auditory sensation provided to the user in addition to the tactile sensation.
  • Patent Document 2 discloses a method of providing automatic tactile sensation generation for video content. The method includes identifying audio characteristics associated with the audio signal, identifying video characteristics associated with the video signal, and determining a haptic effect based at least in part on the video characteristics and the audio characteristics. This publication discloses determining haptic effects based on video content, but does not mention determining sound based on haptic effects.
  • Patent Document 3 discloses a tactile sensation providing device.
  • This device includes a converter that converts a digital audio signal into an analog signal, an audio output unit that receives an analog signal and outputs sound, and a haptic actuator that is driven by receiving the analog signal.
  • This device receives an acoustic signal from a portable terminal and provides the user with a tactile sensation corresponding to the acoustic signal in real time.
  • This publication makes no mention of determining sound based on haptic effects.
  • An object of the present disclosure is to enable output of an appropriate sound that matches the haptic effect in response to the output of the haptic effect by the haptic device.
  • An output control device in an embodiment of the present invention includes an output tactile determination unit that determines output tactile data indicating a tactile effect to be output from a tactile device, and a plurality of pre-stored types of sounds corresponding to the output tactile data.
  • the apparatus includes a sound determining section that determines an output sound to be output, and an output control section that controls an output of the haptic effect of the output tactile data from the haptic device and an output of the output sound from the speaker. .
  • FIG. 1 is a functional block diagram showing a configuration example of a system including an output control device in this embodiment.
  • FIG. 2 is a diagram showing a configuration example of the haptic device shown in FIG. 1.
  • FIG. 3 is a diagram showing another configuration example of the haptic device shown in FIG. 1.
  • FIG. 4 is a flowchart showing an example of the operation of the output control device shown in FIG.
  • FIG. 5 is a diagram showing an example of output tactile data.
  • FIG. 6 is a diagram showing an example of sound control data.
  • FIG. 7 is a diagram showing an example of a signal waveform in the operation example shown in FIG. 4.
  • An output control device in an embodiment of the present invention includes an output tactile determination unit that determines output tactile data indicating a tactile effect to be output from a tactile device, and a plurality of pre-stored types of sounds corresponding to the output tactile data.
  • the apparatus includes a sound determining section that determines an output sound to be output, and an output control section that controls an output of the haptic effect of the output tactile data from the haptic device and an output of the output sound from the speaker. .
  • the output control device When outputting a haptic effect from a haptic device, the output control device configured as described above determines an output sound from among a plurality of types of sounds, and controls the output of the output sound as well as the output of the haptic effect. This makes it possible, for example, to select and output an appropriate type of sound depending on the situation from among a plurality of types of sounds. That is, depending on the output of the haptic effect by the haptic device, it is possible to output an appropriate sound that matches the haptic effect.
  • the sound determining unit may, for example, determine the type of sound to be output, and determine a sound stored in association with the determined type of sound as the output sound. In this case, along with a plurality of sounds corresponding to the output tactile data, data indicating the types of the plurality of sounds may be stored in association with each other in advance.
  • the type of sound may be, for example, a predefined classification (category) of sound.
  • Data indicating the type may be provided in advance to each of the plurality of sounds corresponding to the output tactile data and stored. For example, sounds can be classified into one of a plurality of types depending on the impression or atmosphere given to the user when the sounds are output.
  • the sound determining unit may determine the output sound based on, for example, preset and stored output type data indicating the type of sound to be output.
  • the output type data may be updatable by user input, the output haptic determiner, or other systems related to the output of haptic effects.
  • the sound determining section may determine a plurality of types of sounds corresponding to the output tactile data determined by the output haptic determining section, using model data that indicates correspondence between haptic effects and sounds stored in advance.
  • the model data may be, for example, data indicating a plurality of sounds corresponding to each of a plurality of haptic effects.
  • the model data may be a program that receives a haptic effect as input and outputs a plurality of corresponding sounds, or data of a trained model.
  • the model data may be stored in a distributed manner in the storage units of multiple computers connected via a network.
  • the output control unit may control these outputs so that at least part of the period during which the haptic effect is output from the haptic device overlaps the period during which the output sound is output from the speaker. That is, the output control unit may control the haptic effect and the output sound to be output at the same time.
  • the output control device may further include a specification reception unit that receives a specification of the type of sound to be output from the user.
  • the sound determining unit may determine, as the output sound, a type of sound specified by the user among the plurality of types of sounds associated with the output tactile data. This allows the user to specify the type of sound to be output together with the haptic effect.
  • the plurality of types of sounds may include at least real sounds and onomatopoeia.
  • Real sounds are sounds that can actually occur along with haptic effects presented on a haptic device. That is, real sounds are sounds that can actually be generated when a contact action such as hitting, scraping, crushing, or flicking something is performed, for example. Real sounds also include sounds that are indirectly generated as a result of an action, such as a beep sound when a button is pressed or a gunshot sound when a trigger is pulled.
  • onomatopoeic sounds are sounds that are conceptually evoked in response to tactile effects presented by a tactile device, and include sounds that cannot be generated in reality.
  • Onomatopoeic sound may be a voice uttered by a person.
  • Onomatopoeia includes many onomatopoeias. In this way, by setting the types of sounds to include at least real sounds and onomatopoeia, for example, when outputting sounds in accordance with haptic effects, it is possible to create a realistic atmosphere for the user. It becomes possible to control the virtual atmosphere.
  • the output control unit may control the output of an image corresponding to the haptic effect in addition to the output of the haptic effect of the output tactile data from the haptic device and the output of the output sound from the speaker.
  • the output control unit outputs a tactile effect of the output tactile data from the tactile device in response to a body movement detected by a motion sensor that detects a person's body movement over time. Then, the output of the output sound from the speaker may be controlled. As a result, the movement of a person's body is detected over time, and a tactile effect and an output sound are output in response to the movement. As a result, the output control device can generate various sounds and haptic effects in response to the movement of the person's body that changes over time. For example, the output control unit may control the playback speed, playback position, or output waveform of the output sound according to the detected body movement.
  • the output control program in the embodiment of the present invention includes an output tactile determination process that determines output tactile data indicating a tactile effect to be output from a tactile device, and a plurality of pre-stored types of sounds corresponding to the recorded output tactile data.
  • an output tactile determination process that determines output tactile data indicating a tactile effect to be output from a tactile device, and a plurality of pre-stored types of sounds corresponding to the recorded output tactile data.
  • a sound determination process that determines an output sound to be output
  • an output control process that controls the output of the haptic effect of the output tactile data from the haptic device, and the output of the output sound from the speaker. have it executed.
  • An output control method in an embodiment of the present invention is an output control method executed by a computer, and includes an output tactile determination step of determining output tactile data indicating a tactile effect to be output from a tactile device, and a step corresponding to the output tactile data. a sound determination step of determining an output sound to be outputted from among a plurality of pre-stored types of sounds; outputting a haptic effect of the output tactile data from the haptic device; and outputting the output sound from a speaker. and an output control step for controlling.
  • FIG. 1 is a functional block diagram showing a configuration example of a system including an output control device 10 in this embodiment.
  • the output control device 10 controls the output of the haptic effect from the haptic device 43 and the output of sound from the speaker 30.
  • the output control device 10 can control the tactile presentation device 40 including the tactile device 43 and the speaker 30.
  • the output control device 10 may be a part of a system or device (hereinafter simply referred to as a control system etc.) that controls the tactile sensation and sound presented to the user in response to the user's operation, or may be a part of a system or device (hereinafter simply referred to as a control system etc.), or It may also be configured to be able to communicate with, etc.
  • a control system or the like may include a user interface.
  • the user interface includes, for example, an output device such as a display and a speaker, and an input device such as a button, a mouse, a keyboard, and a touch sensor.
  • the output control device 10 includes an output tactile determination section 1, a sound determination section 2, an output control section 3, and a specification reception section 4.
  • the output control device 10 can access the storage section 11.
  • the output tactile sensation determining unit 1 determines output tactile data indicating the haptic effect to be output from the haptic device 43.
  • the output tactile sensation determining unit 1 may receive an instruction to output a haptic effect.
  • the output tactile sensation determining unit 1 can determine output tactile data based on the output instruction.
  • the output instruction may include a designation of the output tactile data or information for determining the output tactile data (for example, information indicating a tactile effect to be output).
  • the output tactile sense determining unit 1 may receive an instruction to output a haptic effect from, for example, a control system, or may receive an instruction to output a haptic effect from a user.
  • the output tactile sense determining unit 1 may detect the occurrence of an event that triggers the output of a tactile effect in a control system or the like. For example, when a control system or the like detects that a user has performed a predetermined operation on a virtual object, this operation can be used as an instruction to output a haptic effect, and output tactile data can be determined based on the output instruction.
  • the output tactile sense determining unit 1 may determine, as the output tactile data, the tactile data corresponding to the haptic effect indicated by the output instruction from among the plurality of haptic effects stored in advance in the storage unit 11.
  • the storage unit 11 may store tactile data corresponding to each of a plurality of virtual objects.
  • the tactile data in the storage unit 11 in FIG. 1 is one example.
  • the sound determining unit 2 determines the output sound to be output from among a plurality of pre-stored types of sounds corresponding to the output tactile data. In determining the output sound, the sound determining unit 2 performs a process of determining a plurality of sounds corresponding to the output tactile data, a process of determining the type of sound to be output, and a process of determining the determined type of the plurality of corresponding sounds. A process of determining a sound as an output sound may also be executed.
  • the sound determination unit 2 can determine a plurality of sounds corresponding to the output tactile data based on the output tactile data or the output instruction based on the output tactile data.
  • model data indicating the correspondence between haptic effects and sounds is stored in the storage unit 11 in advance.
  • the sound determining unit 2 can use the model data to determine a plurality of sounds corresponding to the haptic effect indicated by the output instruction.
  • the plurality of sounds all correspond to the same haptic effect, but are of different types.
  • a tactile effect for example, a rubber balloon
  • a plurality of corresponding sounds for example, sound files A1 to A3 are stored in the storage unit 11 in association with each other.
  • the sound determining unit 2 determines a plurality of sounds (sound files A1 to A3) corresponding to the haptic effect (rubber balloon) specified in the output instruction as a plurality of sounds corresponding to the output tactile data. can do.
  • the model data may be a trained model that inputs a haptic effect and outputs a plurality of types of sounds corresponding to the haptic effect.
  • a trained model is generated by machine learning.
  • a learning data set including a plurality of combinations including a haptic effect and a plurality of types of corresponding sounds may be used for machine learning.
  • Machine learning may be, for example, deep learning using a learning model that constitutes a neural network.
  • the sound determining unit 2 can determine the type of sound to be output based on the output type data stored in the storage unit 11.
  • the output type data is data indicating the type of sound to be output.
  • the output type data in the storage unit 11 is updated depending on the situation.
  • the output type data may be data indicating the type of sound to be output for each haptic effect.
  • the output type data may be updated based on instructions from a user, a control system, or the like. Thereby, the type of sound to be output is controlled according to the user's intention or the status of the control system.
  • the output instruction received by the output tactile sense determining unit 1 may include information specifying the type of sound to be output.
  • the sound determining unit 2 can determine the type of sound to be output based on the output instruction.
  • the sound determining unit 2 determines, as the output sound, a type of sound that matches the determined type of sound to be output, among the plurality of sounds corresponding to the output tactile data.
  • data indicating each type of a plurality of sounds corresponding to the output tactile data is recorded in advance.
  • data indicating the type (type 1 to type 3) is stored in association with each of a plurality of sounds (sound files A1 to A3) corresponding to the tactile effect (rubber balloon).
  • the sound determining unit 2 can determine the sound associated with the determined type of sound to be output as the output sound.
  • a sound type is assigned and stored in advance to each of a plurality of sounds (for example, sound files) prepared as sound effects for haptic effects.
  • sounds can be divided into a plurality of types based on the degree of realism (virtual degree) of the sound. That is, as mentioned above, certain sounds are close to sounds that can actually accompany the sensation of touch, or, conversely, sounds that cannot actually occur but are pronounced of the sensation of touch. It is possible to determine the type of sound. Examples of types based on the degree of realism of sounds include real sounds and onomatopoeia.
  • Real sounds have a high degree of realism
  • onomatopoeias have a high degree of virtuality.
  • the types are not limited to these two types; for example, there may be a type in which a real sound is divided into multiple stages according to its degree of realism, or a type in which onomatopoeia is divided into multiple stages according to its virtual degree.
  • types of real sounds include recorded sounds that are recorded from actual sounds
  • types of onomatopoeia include types of simulated sounds created by computer sound synthesis processing
  • types of onomatopoeia created by a person uttering onomatopoeia A type of vocalization may also be included.
  • the types of sounds are not limited to the classification based on the degree of realism described above.
  • the type of sound may be determined based on the loudness, duration, musicality, musical instrument, usage scene, atmosphere, degree of deformation, and other properties or attributes of the sound that may affect tactile presentation.
  • the output control unit 3 controls the output of the haptic effect of the output tactile data from the haptic device 43 and the output of the output sound from the speaker 30.
  • the output control unit 3 causes the haptic device 43 to output a haptic effect indicated by the output tactile data. Furthermore, the output control unit 3 causes the speaker 30 to output sound.
  • the output control unit 3 can control the temporal relationship between the output of the haptic effect and the output of the output sound. For example, the output control unit 3 controls the output so that the output period of the haptic effect and the output period of the output sound overlap at least in part.
  • the output control unit may directly or indirectly control at least one of the haptic device or the speaker.
  • Indirect control includes, for example, providing information for controlling the output of output tactile data and output sound to another device or system that controls the haptic device or speaker.
  • the output control device 10 shown in FIG. 1 it is possible to select and output an appropriate type of sound according to the situation from among a plurality of types of sounds.
  • the type of sound presented to the user along with the tactile sensation can be flexibly switched depending on the user's intention or the system situation.
  • the atmosphere desired to be created can be controlled by the type of sound. That is, depending on the output of the haptic effect, it is possible to output an appropriate sound in accordance with the haptic effect.
  • the designation receiving unit 4 receives a designation of the type of sound to be output from the user.
  • the designation receiving unit 4 updates the output type data in the storage unit 11 according to the designation from the user. For example, when the user performs an operation that becomes a condition for outputting a specific haptic effect, the specification receiving unit 4 may receive an input from the user to select the type of sound to be output together with the haptic effect.
  • the specification reception unit 4 may present a user interface for the user to set the type of sound to be output.
  • the specification reception unit 4 may present the user with a settings screen for inputting settings related to sound output control. This may allow the user to comprehensively set the types of sounds to be output in advance.
  • the designation reception unit 4 may be omitted.
  • the control system or the like may be configured to automatically determine the type of sound to be output depending on the situation and update the output type data in the storage unit 11.
  • the output control device 10 can be configured by one or more computers having a processor and memory.
  • the storage unit 11 can be configured with a storage device that can be accessed by this computer.
  • the storage unit 11 may be, for example, a storage device of one or more computers connected via a network.
  • the functions of the output tactile sense determining section 1, the sound determining section 2, the output controlling section 3, and the designation receiving section 4 are realized by one or more computers executing a predetermined program.
  • the present invention also provides a program for causing a computer to execute processing for realizing the functions of the output tactile sense determining section 1, the sound determining section 2, the output controlling section 3, and the designation accepting section 4, and a storage medium storing such a program. Included in the embodiments of.
  • the output control device 10 may be configured with, for example, a smartphone, a tablet, a PC, or a general-purpose computer such as a server. Alternatively, it may be configured with a computer built into a wearable device such as a head-mounted display, smart glasses, or other equipment. In this case, the output control device is implemented in the computer by, for example, installing an application program for realizing the output control device 10 on the computer.
  • the output control device 10 may be connected to the tactile presentation device 40 wirelessly, by wire, or via a network. Alternatively, at least a portion of the output control device 10 may be configured by the tactile presentation device 40.
  • the output control device 10 may have a built-in speaker 30, or may be connected to the speaker 30 wirelessly, by wire, or via a network.
  • the tactile presentation device 40 includes a storage unit 41, a control unit 42, a tactile device 43, and a sensor 44.
  • the storage unit 41 stores tactile data.
  • the sensor 44 detects movements of the user's body (for example, fingers) over time.
  • the control unit 42 controls the tactile device 43 based on the user's movement detected by the sensor 44 and the tactile data read from the storage unit 41 .
  • the haptic device 43 can present the tactile sensation indicated by the tactile data to the user.
  • the tactile data may be, for example, data indicating an output value of the tactile device 43 corresponding to the movement of the user's body (user's operation).
  • control unit 42 controls the output of the haptic device 43 according to the output value corresponding to the user's operation indicated by the haptic data.
  • the tactile presentation device 40 may include a communication unit (for example, a wireless communication module) for communicating with the output control device 10.
  • FIG. 2 is a diagram showing an example of the configuration of the haptic device 43.
  • the haptic device 43 is an MRF device using magneto-rheological fluid.
  • the tactile device 43 includes a support portion 434 that is the main body of the tactile device 43, a movable portion 432 movably supported with respect to the support portion 434, and a magnetorheological fluid 433 sealed between the support portion 434 and the movable portion 432. and a coil 431 that generates a variable magnetic field in the magnetorheological fluid 433.
  • the support section 434 supports the movable section 432 and the coil 431.
  • a tactile sensation is presented to the user by the movable part 432 moving while in contact with a part of the user (for example, a finger, etc.).
  • the viscosity of the magnetorheological fluid 433 changes depending on the magnetic field generated by the current flowing through the coil 431.
  • the resistance of the movement of the movable part 432 relative to the support part 434 changes.
  • the user's tactile sensation with respect to the movable portion 432 changes. That is, by controlling the current of the coil 431, the tactile sensation presented to the user is controlled.
  • the tactile device 43 shown in FIG. 2 is not limited to this, but may be configured, for example, like the tactile presentation device described in Japanese Patent Application Publication No. 2020-17159.
  • the control unit 42 controls the electric current of the coil 431 by controlling the electric power supplied to the coil 431 from a battery (not shown), thereby controlling the viscosity of the magnetorheological fluid 433 and presenting a tactile sensation to the user.
  • a tactile device using magnetorheological fluid can dynamically control the subtle tactile sensation given to the user.
  • the output control device 10 of the present embodiment enables the output of a haptic effect that can be dynamically and subtly changed, and the output of a sound that can vary the type of sound to be output depending on the situation. Therefore, the synergistic effect of the combination of tactile output and sound output makes it possible to present advanced sensations to the user.
  • the sensor 44 detects the user's operation.
  • the sensor 44 is configured to detect, for example, a movement of a user's finger as the user's operation.
  • the sensor 44 may be configured to detect the angle of rotation of the movable part 432 relative to the support part 434, which changes depending on the movement of the user's finger.
  • the position of the user's finger is detected based on the angle detected by the sensor 44.
  • the control unit 42 determines a command value corresponding to the position of the user's finger detected by the sensor 44 with reference to the tactile data.
  • the control unit 42 causes a current to flow through the coil 431 according to the command value.
  • the tactile data is data indicating the correspondence between the finger position and the command value.
  • the output control unit 3 may control the output sound output from the speaker 30 according to the user's operation detected by the sensor 44.
  • the output control unit 3 may read sound data corresponding to the user's body movement detected by the sensor 44 from the storage unit 11, and control the speaker based on the read sound data.
  • the output control unit 3 reads sound data (for example, amplitude and frequency, or playback speed, etc.) corresponding to the position of the finger detected by the sensor 44 from the storage unit 11 and sends it to the speaker 30. Thereby, the playback position or playback speed of the sound can be controlled according to the movement of the user's finger.
  • FIG. 3 is a diagram showing another example of the configuration of the haptic device 43.
  • the haptic device 43 includes a support portion 437 that is the main body of the haptic device 43, a movable portion 436 movably supported by the support portion 437, and an actuator 435 that moves the movable portion 436.
  • the support portion 437 supports the movable portion 436 and the actuator 435.
  • a tactile sensation is presented to the user by the movable part 436 moving while in contact with a part of the user (for example, a finger, etc.).
  • By controlling the movement of the movable part 436 with an actuator the user's sense of touch is controlled. Also in this configuration, it is possible to dynamically control the subtle tactile sensation given to the user. Therefore, the synergistic effect of the combination of the output of the tactile device 43 having such a configuration and the output of sound whose type is controlled makes it possible to produce sophisticated performances.
  • the actuator 435 generates a force that causes the movable part 432 to vibrate, deform, or move.
  • the actuator 435 is, for example, an eccentric rotating mass (ERM), a linear resonant actuator (LRA), a piezo actuator using a piezoelectric element, a solenoid actuator, or other actuator that generates vibration. There may be.
  • haptic device 43 may be configured to generate friction, such as electrostatic friction or ultrasonic surface friction.
  • the haptic device 43 may include a sound wave generation source and a transducer that converts the generated sound wave into a tactile sensation.
  • the haptic device 43 may be a device that provides electrical muscle stimulation to the user. By controlling the tactile device 43 in this manner, more sophisticated effects can be achieved.
  • FIG. 4 is a flowchart showing an example of the operation of the output control device 10 shown in FIG. 1.
  • the output tactile sensation determining unit 1 selects the output haptic data to be output. Determine (S3).
  • An event is an example of an output instruction.
  • the output tactile sensation determining unit 1 determines output tactile data using event-related data. For example, if the event is a user's operation on a virtual object, tactile data associated with the virtual object is determined as output tactile data.
  • the sound determining unit 2 can determine output haptic data corresponding to the haptic effect using the model data.
  • the sound determining unit 2 determines the type of sound to be output (S4).
  • the sound determining unit 2 may determine the type of sound to be output using data related to the event (for example, user operation, etc.).
  • the sound determining unit 2 stores the determined type of sound to be output in the storage unit 11 as output type data.
  • an event that is a condition for haptic output may be an operation by the user to specify a virtual object for which a haptic effect is desired to be presented and the type of sound to be output.
  • the type of sound to be output specified by the user is stored as output type data.
  • the type of sound to be output may be determined based on preset output type data regardless of the event.
  • the sound determining unit 2 determines a plurality of sounds corresponding to the output tactile data determined in S3 (S5).
  • the sound determination unit 2 can determine a plurality of sounds (for example, sound files A1 to A3 shown in FIG. 1) stored in association with a haptic effect to be output as a plurality of corresponding sounds.
  • the sound determining unit 2 may determine a plurality of sounds corresponding to the output tactile data, for example, using model data indicating a plurality of haptic effects and a plurality of sounds corresponding to each of the plurality of haptic effects.
  • the sound determining unit 2 determines a haptic effect that is close to the haptic effect of the output tactile data from among the haptic effects in the model data, and assigns a plurality of sounds corresponding to the determined haptic effect to the output tactile data. can be determined as multiple sounds.
  • the sound determining unit 2 selects a type of sound (for example, a type 1) corresponding to the type of sound to be output determined in S4 (for example, type 1) from among the plurality of sounds determined in S5 (for example, sound files A1 to A3). , sound file A1) is determined as the output sound (S6).
  • a type of sound for example, a type 1
  • S4 for example, type 1
  • S5 for example, sound files A1 to A3
  • sound file A1 is determined as the output sound (S6).
  • the output control unit 3 causes the haptic device 43 to output the output tactile data determined in S3, and causes the speaker 30 to output the output sound determined in S6 (S7).
  • the output control unit 3 sends output tactile data to the tactile presentation device 40 and instructs tactile output.
  • the output tactile data is stored in the storage unit 41 of the tactile presentation device 40.
  • the control unit 42 of the tactile presentation device 40 acquires the position (for example, angle) of the finger from the sensor 44 and monitors whether the finger has reached the position (starting position) of the tactile output start condition. When the finger position reaches the starting position, the control unit 42 applies a current (or voltage thereto) to the haptic device 43 according to an output value corresponding to the finger position. The output value corresponding to the finger position is determined based on the output tactile data.
  • FIG. 5 is a diagram showing an example of output tactile data. In the example of FIG. 5, an output value (an example is a current value) is stored in association with the finger position.
  • the control unit 42 calculates the movement speed of the finger from the movement of the finger position detected by the sensor 44.
  • the finger movement speed is sent to the output control section 3.
  • the output control unit 3 controls the reproduction speed of the output sound output from the speaker 30 according to the movement speed of the finger.
  • the output sound is reproduced at a reproduction speed that corresponds to the moving speed of the finger.
  • the playback speed corresponding to the finger movement speed is determined based on, for example, pre-stored sound control data.
  • FIG. 6 is a diagram showing an example of sound control data.
  • the sound control data is data indicating the correspondence between the finger movement speed and the sound reproduction speed. That is, the sound control data indicates the correspondence between the body movement detected by the motion sensor and the sound to be output.
  • the output control unit 3 can control the output of sound from the speaker 30 according to the movement of the body using the sound control data.
  • the sound control data may be stored in advance, for example, for each of a plurality of sounds corresponding to the output tactile data.
  • the detection of the finger position by the sensor 44, the corresponding output of the output value of the haptic device, and the reproduction of the output sound are repeated. For example, this process is repeated until the user inputs an instruction to stop the tactile output. Thereby, the output of the haptic effect of the output tactile data from the haptic device 43 and the output of the output sound from the speaker 30 are controlled in accordance with the movement of the finger detected by the sensor 44 .
  • FIG. 7 is a diagram showing an example of the sensor, tactile device, and playback speed in the above control.
  • the current value of the tactile device is controlled according to the movement of the finger detected by the sensor 44, and at the same time, the reproduction speed of the output sound is also controlled according to the movement of the finger.
  • the output control unit 3 may control the output of images in addition to the output of haptic effects and output sounds.
  • an image corresponding to the output tactile data may be stored in the storage unit 11.
  • image control data indicating the correspondence between the user's body movement (for example, finger position) and the displayed image may be stored in the storage unit 11.
  • the output control unit 3 may cause an image corresponding to the position of the finger detected by the sensor 44 to be displayed on a display (not shown) in the process of S7 in FIG. 4 described above.
  • the image corresponding to the position of the finger can be determined based on the image control data in the storage unit 11. Thereby, the output of the image corresponding to the haptic effect output from the haptic device 43 can be controlled.
  • the motion sensor may detect movement of the head, shoulders, arms, torso, hips, legs, or a combination thereof instead of the fingers.
  • the motion sensor may also sense one-dimensional, two-dimensional, or three-dimensional coordinates of the body instead of the angle of the body.
  • a camera may be used as the motion sensor. In this case, an image of the body taken by a camera may be analyzed and its coordinates may be detected.
  • there may be not only one motion sensor but two or more motion sensors.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

出力制御装置１０は、触覚デバイス４３から出力すべき触覚効果を示す出力触覚データを決定する出力触覚決定部１と、出力触覚データに対応する予め記憶された複数の種類の音のうち、出力すべき出力音を決定する音決定部２と、出力触覚データの触覚効果の触覚デバイス４３からの出力と、出力音のスピーカ３０からの出力とを制御する出力制御部３とを、備える。

Description

出力制御装置、出力制御プログラム及び出力制御方法
　本発明は、触覚デバイスによる触覚効果及び音の出力を制御する技術に関する。
　近年、仮想現実(VR; Virtual Reality)、拡張現実(AR; Augmented Reality)、複合現実(MR; Mixed Reality)等の技術を用いてメタバースと呼ばれる仮想空間を提供するサービスが始まっている。仮想空間を実現するシステムでは、ディスプレイ及びスピーカにより、ユーザに視覚と聴覚が与えられる。また、コントローラを通じてユーザの操作がシステムへ入力される。これらのインタフェース装置を介して、ユーザは、仮想空間内の仮想オブジェクトと双方向のコミュニケーションを行うことができる。
　インタフェース装置として、触覚をユーザに与える触覚デバイスが開発されている。例えば、特開２０１７－１７４３８１号公報（特許公報１）は、映像に映し出された物体の力覚を操作者に提示する力覚提示装置を開示する。この力覚提示装置は、複雑な制御を必要とすることなく、映像の動きと操作部において提示される力覚とを高い精度でリンクさせることができる。この公報は、触覚とともにユーザに与える聴覚については言及していない。
　聴覚と触覚を組み合わせて提示する技術としては、例えば、特開２０２０－１０３２２号公報（特許文献２）は、映像コンテンツに対する自動触覚生成を提供する方法が開示される。この方法は、音声信号に関連付けられる音声特性を識別するステップ、映像信号に関連付けられる映像特性を識別ステップ、映像特性及び音声特定の少なくとも部分的に基づいて触覚効果を決定するステップを含む。この公報は、映像コンテンツに基づいて触覚効果を決定することを開示するが、触覚効果に基づいて音を決定することについては言及していない。
　また、特表２０２１－５２４９７２号公報（特許文献３）は、触覚提供装置を開示する。この装置は、デジタル音響信号をアナログ信号に変換するコンバータと、アナログ信号を入力されて音響を出力する音響出力部と、このアナログ信号を入力されて駆動される触覚アクチュエータを備える。この装置は、携帯用端末から音響信号を伝達されてリアルタイムで音響信号に対応する触覚をユーザに提供する。この公報は、触覚効果に基づいて音を決定することについての言及はない。
特開２０１７－１７４３８１号公報 特開２０２０－１０３２２号公報 特表２０２１－５２４９７２号公報
　本開示の課題は、触覚デバイスによる触覚効果の出力に応じて、その触覚効果に合った適切な音の出力を可能にすることである。
　本発明の実施形態における出力制御装置は、触覚デバイスから出力すべき触覚効果を示す出力触覚データを決定する出力触覚決定部と、前記出力触覚データに対応する予め記憶された複数の種類の音のうち、出力すべき出力音を決定する音決定部と、前記出力触覚データの触覚効果の前記触覚デバイスからの出力と、前記出力音のスピーカからの出力とを制御する出力制御部とを、備える。
図１は、本実施形態における出力制御装置を含むシステムの構成例を示す機能ブロック図である。 図２は、図１に示す触覚デバイスの構成例を示す図である。 図３は、図１に示す触覚デバイスの他の構成例を示す図である。 図４は、図１に示す出力制御装置の動作例を示すフローチャートである。 図５は、出力触覚データの一例を示す図である。 図６は、音制御データの一例を示す図である。 図７は、図４に示す動作例における信号波形の一例を示す図である。
　＜実施形態の概要＞
　発明者らは、従来の音声入力に応じて触覚を生成する技術から発想を転換して、デバイスから出力する触覚効果に合った音を生成し、触覚効果とともに出力することを検討した。検討において、発明者らは、触覚デバイスで出力されるある１つの触覚効果に対して、触覚に合う音の選択の幅が広いことを見出した。例えば、触覚効果を高める効果音としては、触覚に伴い実際に発生する音に加え、現実には発生し得ないが、触覚の雰囲気を表す架空の音が適している場合がある。例えば、「すべすべ」、「つるつる」、「べとべと」等のオノマトペを音にしたものが、触覚の効果音として有効な場合がある。触覚効果を出力する際に、その時の状況や雰囲気に応じた音を出力することが好ましい。そこで、発明者らは、触覚効果の出力の際に、適切な音を決定して出力するための仕組みを検討した。鋭意検討の結果、下記の実施形態に想到した。
　本発明の実施形態における出力制御装置は、触覚デバイスから出力すべき触覚効果を示す出力触覚データを決定する出力触覚決定部と、前記出力触覚データに対応する予め記憶された複数の種類の音のうち、出力すべき出力音を決定する音決定部と、前記出力触覚データの触覚効果の前記触覚デバイスからの出力と、前記出力音のスピーカからの出力とを制御する出力制御部とを、備える。
　上記構成の出力制御装置は、触覚デバイスから触覚効果を出力しようとする場合に、複数の種類の音の中から出力音を決定し、触覚効果の出力とともに、出力音の出力を制御する。これにより、例えば、複数の種類の音のうち、状況に応じた適切な種類の音を選んで出力することが可能になる。すなわち、触覚デバイスによる触覚効果の出力に応じて、その触覚効果に合った適切な音の出力が可能になる。
　前記音決定部は、例えば、出力する音の種類を決定し、決定した音の種類に対応付けて記憶された音を、出力音に決定してもよい。この場合、出力触覚データに対応する複数の音とともに、前記複数の音に対してそれぞれの種類を示すデータが対応付けられて予め記憶されていてもよい。
　音の種類は、例えば、予め定義された音の分類（カテゴリ）であってもよい。出力触覚データに対応する複数の音のそれぞれに対して種類を示すデータが予め付与され、記憶されてもよい。例えば、音を出力した場合にユーザに与える印象又は雰囲気によって、音を、複数の種類のいずれかに分類することができる。
　前記音決定部は、例えば、予め設定され、記憶された出力すべき音の種類を示す出力種類データに基づいて、出力音を決定してもよい。出力種類データは、ユーザ入力、前記出力触覚決定部、又は、触覚効果の出力に関連する他のシステムによって更新可能であってもよい。
　前記音決定部は、出力触覚決定部が決定した出力触覚データに対応する複数の種類の音を、予め記憶された触覚効果と音の対応を示すモデルデータを用いて決定してもよい。モデルデータは、例えば、複数の触覚効果のそれぞれに対応する複数の音を示すデータであってもよい。モデルデータは、触覚効果を入力として対応する複数の音を出力するプログラム、又は学習済みモデルのデータであってもよい。モデルデータは、例えば、ネットワークを介して接続された複数のコンピュータの記憶部に分散して記憶されてもよい。
　前記出力制御部は、前記触覚効果を前記触覚デバイスから出力する期間の少なくとも一部と、スピーカから前記出力音を出力する期間と重なるように、これらの出力を制御してもよい。すなわち、出力制御部は、触覚効果と出力音を同時に出力するよう制御してもよい。
　前記出力制御装置は、出力すべき音の種類の指定をユーザから受け付ける指定受付部をさらに備えてもよい。前記音決定部は、前記出力触覚データに対応付けられた前記複数の種類の音のうち、前記ユーザから指定された種類の音を前記出力音に決定することができる。これにより、ユーザは、触覚効果とともに出力される音の種類を指定することができる。
　前記音の複数の種類は、リアル音、及び、擬音を少なくとも含んでもよい。リアル音は、触覚デバイスで提示される触覚効果に伴って実際に発生し得る音である。すなわち、リアル音は、例えば、物を叩く、擦る、つぶす、はじくなどの接触動作をした際に現実に発生し得る音である。リアル音には、ボタンを押した際に発生するビープ音や、引き金を引いたときの銃声等、動作に伴って間接的に発生する音も含まれる。これに対して、擬音は、触覚デバイスで提示される触覚効果に対して概念的に想起される音であり、現実的に発生し得ない音も含まれる。例えば、柔らかいものに指をめり込ませた際に、「ぷにゅう」という音は現実に発生し得ないが、概念的に想起される。擬音は、人が発声した声であってもよい。擬音には、オノマトペが多く含まれる。このように、音の種類を、少なくともリアル音と擬音を含むように設定することで、例えば、触覚効果に合わせて音を出力する場合にユーザが感じる雰囲気を、現実的な雰囲気にするか、仮想的な雰囲気にするかを制御することが可能になる。
　前記出力制御部は、前記出力触覚データの触覚効果の前記触覚デバイスからの出力と、前記出力音のスピーカからの出力に加えて、前記触覚効果に対応する画像の出力を制御してもよい。これにより、聴覚効果、触覚効果に加えて視覚効果を、互いに連携させてユーザに提供することができる。
　前記出力制御部は、前記出力制御部は、人の身体の動きを時間経過とともに検知するモーションセンサにより検知された身体の動きに応じて、前記出力触覚データの触覚効果の前記触覚デバイスからの出力と、前記出力音のスピーカからの出力を制御してもよい。これにより、人の身体の動きが時間経過とともに検知され、その動きに対応して、触覚効果及び出力音が出力される。その結果、出力制御装置は、時間経過とともに変化する人の身体の動きに応じて多様な音及び触覚効果を発生することができる。例えば、前記出力制御部は、検知された身体の動きに応じて、前記出力音の再生速度、再生位置、又は出力波形を制御してもよい。
　本発明の実施形態における出力制御プログラムは、触覚デバイスから出力すべき触覚効果を示す出力触覚データを決定する出力触覚決定処理と、記出力触覚データに対応する予め記憶された複数の種類の音のうち、出力すべき出力音を決定する音決定処理と、前記出力触覚データの触覚効果の前記触覚デバイスからの出力と、前記出力音のスピーカからの出力とを制御する出力制御処理とを、コンピュータに実行させる。
　本発明の実施形態における出力制御方法は、コンピュータが実行する出力制御方法であって、触覚デバイスから出力すべき触覚効果を示す出力触覚データを決定する出力触覚決定工程と、前記出力触覚データに対応する予め記憶された複数の種類の音のうち、出力すべき出力音を決定する音決定工程と、前記出力触覚データの触覚効果の前記触覚デバイスからの出力と、前記出力音のスピーカからの出力とを制御する出力制御工程とを、有する。
　＜実施形態の詳細＞
　以下、添付の図面を参照しながら本実施形態を詳しく説明する。図中、同一又は相当部分には同一参照符号を付し、その説明を繰り返さない。
　＜第１実施形態＞
　図１は、本実施形態における出力制御装置１０を含むシステムの構成例を示す機能ブロック図である。出力制御装置１０は、触覚デバイス４３からの触覚効果の出力と、スピーカ３０からの音の出力を制御する。出力制御装置１０は、触覚デバイス４３を含む触覚提示装置４０、及び、スピーカ３０を制御可能である。出力制御装置１０は、例えば、ユーザの操作に応じてユーザに提示する触覚及び音を制御するシステム又は機器（以下、単に制御システム等と称する）の一部であってもよいし、これら制御システム等と通信可能に構成されてもよい。制御システム等は、ユーザインタフェースを含んでもよい。ユーザインタフェースは、例えば、ディスプレイ、スピーカ等の出力装置と、ボタン、マウス、キーボード、タッチセンサ等の入力装置とが含まれる。出力制御装置１０は、出力触覚決定部１、音決定部２、出力制御部３、及び指定受付部４を備える。出力制御装置１０は、記憶部１１にアクセス可能である。
　出力触覚決定部１は、触覚デバイス４３から出力すべき触覚効果を示す出力触覚データを決定する。例えば、出力触覚決定部１は、触覚効果の出力指示を受け付けてもよい。この場合、出力触覚決定部１は、出力指示に基づいて出力触覚データを決定することができる。出力指示には、出力触覚データの指定又は出力触覚データを決定するための情報（例えば、出力する触覚効果を示す情報）が含まれてもよい。出力触覚決定部１は、例えば、制御システム等から、触覚効果の出力指示を受け付けてもよいし、ユーザから触覚効果の出力指示を受け付けてもよい。
　出力触覚決定部１は、出力指示の受け付けの例として、制御システム等における触覚効果を出力の契機となるイベントの発生を検出してもよい。例えば、制御システム等において仮想オブジェクトに対してユーザが所定の操作をしたことを検出した場合に、この操作を触覚効果の出力指示として、出力指示に基づき、出力触覚データを決定することができる。この場合、出力触覚決定部１は、記憶部１１に予め記憶された複数の触覚効果のうち、出力指示で示される触覚効果に対応する触覚データを出力触覚データに決定してもよい。例えば、記憶部１１に、複数の仮想オブジェクトのそれぞれに対応する触覚データが記憶されていてもよい。図１の記憶部１１の触覚データは、その一例である。
　音決定部２は、出力触覚データに対応する予め記憶された複数の種類の音のうち、出力すべき出力音を決定する。音決定部２は、出力音の決定において、出力触覚データに対応する複数の音を決定する処理と、出力すべき音の種類を決定する処理と、対応する複数の音のうち決定した種類の音を出力音として決定する処理とを実行してもよい。
　音決定部２は、出力触覚データに対応する複数の音を、出力触覚データ又はその基になった出力指示に基づいて決定することができる。この場合、記憶部１１に、触覚効果と音の対応を示すモデルデータが予め記憶される。音決定部２は、モデルデータを用いて、出力指示で示される触覚効果に対応する複数の音を決定することができる。ここで、複数の音は、いずれも同じ触覚効果に対応する音であるが、互いに種類が異なっている。図１では、モデルデータの一例として、触覚効果（例えば、ゴム風船）とこれに対応する複数の音（例えば、音ファイルＡ１～Ａ３）が対応付けられて記憶部１１に記憶される。この例では、例えば、音決定部２は、出力指示で指定される触覚効果（ゴム風船）に対応する複数の音（音ファイルＡ１～Ａ３）を、出力触覚データに対応する複数の音として決定することができる。
　なお、モデルデータの構成は、図１に示す例に限られない。例えば、触覚効果を入力して、その触覚効果に対応する複数の種類の音を出力する学習済みモデルを、モデルデータとしてもよい。学習済みモデルは、機械学習によって生成される。機械学習には、例えば、触覚効果とこれに対応する複数の種類の音とを含む組み合わせを複数組含む学習用データセットを用いてもよい。機械学習は、例えば、ニューラルネットワークを構成する学習モデルを用いたディープラーニングであってもよい。
　音決定部２は、出力すべき音の種類を、記憶部１１に記憶された出力種類データにより決定することができる。出力種類データは、出力すべき音の種類を示すデータである。記憶部１１の出力種類データは、状況に応じて更新される。また、出力種類データは、触覚効果ごとに、それぞれ出力すべき音の種類を示すデータであってもよい。例えば、出力種類データは、ユーザ又は制御システム等からの指示に基づいて更新されてもよい。これにより、ユーザの意思又は制御システムの状況に応じて、出力する音の種類が制御される。なお、出力触覚決定部１が受け付ける出力指示に、出力すべき音の種類を指定する情報が含まれてもよい。この場合、音決定部２は、出力指示に基づいて出力すべき音の種類を決定することができる。
　音決定部２は、出力触覚データに対応する複数の音のうち、決定した出力すべき音の種類に合致する種類の音を、出力音として決定する。記憶部１１には、出力触覚データに対応する複数の音のそれぞれの種類を示すデータが予め記録される。図１の例では、触覚効果（ゴム風船）に対応する複数の音（音ファイルＡ１～Ａ３）のそれぞれに種類を示すデータ（種類１～種類３）が対応づけて記憶される。音決定部２は、決定した出力すべき音の種類に対応付けられた音を、出力音として決定することができる。
　触覚効果の効果音として準備された複数の音（例えば、音ファイル）のそれぞれに対して、音の種類が、予め割り当てられ、記憶される。音に対する音の種類の割り当ての基準は特定のものに限定されないが、例えば、音のリアル度合い（仮想度合い）に基づいて、音を複数の種類に分けることができる。すなわち、上述のように、触覚に伴って実際に発生し得る音に近いか、又は、これとは反対に、実際に発生し得ないが触覚を想起させる音に近いかに基づいて、ある特定の音に対して、その音の種類を決定することができる。この音のリアル度合いを基準とした種類の例として、リアル音及び擬音が挙げられる。リアル音は、リアル度合いが高く、擬音は仮想度合いが高い。種類は、この２種類に限られず、例えば、リアル音を、そのリアル度合いに応じて複数段階に分けた種類があってもよいし、擬音をその仮想度合いに応じて複数段階に分けた種類があってもよい。一例として、リアル音の種類に、実際の音を録音した記録音という種類が含まれ、擬音の種類に、コンピュータの音合成処理により作られた模擬音という種類、及び、人がオノマトペを発声した発声音という種類が含まれてもよい。
　なお、音の種類は、上記のリアル度合いを基準とした分類に限られない。例えば、音の大きさ、時間長、音楽性、楽器、利用シーン、雰囲気、デフォルメ度合いその他、触覚提示に影響を与え得る音の性質又は属性を基準に、音の種類が決定されてもよい。
　出力制御部３は、出力触覚データの触覚効果の触覚デバイス４３からの出力と、出力音のスピーカ３０からの出力とを制御する。出力制御部３は、触覚デバイス４３に、出力触覚データで示される触覚効果を出力させる。また、出力制御部３は、スピーカ３０に出力音を出力させる。出力制御部３は、触覚効果の出力と出力音の出力の時間的関連性を制御することができる。例えば、出力制御部３は、触覚効果の出力期間と出力音の出力期間とが、少なくとも一部において重なるよう、これらの出力を制御する。
　前記出力制御部は、触覚デバイス又はスピーカの少なくとも１つを、直接制御してもよいし、間接的に制御してもよい。間接的な制御としては、例えば、触覚デバイス又はスピーカを制御する他の機器又はシステムに対して、出力触覚データと出力音の出力を制御するための情報を提供する形態が挙げられる。
　このように、図１に示す出力制御装置１０によれば、複数の種類の音のうち、状況に応じた適切な種類の音を選んで出力することが可能になる。これにより、ユーザに触覚とともに提示される音の種類を、ユーザの意図又はシステムの状況に応じて柔軟に切り替えることができる。例えば、ユーザに触覚とともに音を提示する際に演出したい雰囲気を、音の種類によって制御することが可能になる。すなわち、触覚効果の出力に応じて、その触覚効果に合わせて適切な音の出力が可能になる。
　指定受付部４は、出力すべき音の種類の指定をユーザから受け付ける。指定受付部４は、ユーザからの指定に応じて、記憶部１１の出力種類データを更新する。指定受付部４は、例えば、ユーザが特定の触覚効果の出力の条件となる操作をした場合に、ユーザから触覚効果とともに出力すべき音の種類の選択入力を受け付けてよい。又は、指定受付部４は、ユーザが、出力すべき音の種類を設定するためのユーザインタフェースを提示してもよい。例えば、指定受付部４は、音の出力制御に関する設定を入力するための設定画面をユーザに提示してもよい。これにより、ユーザが、出力すべき音の種類を予め包括的に設定可能としてもよい。なお、指定受付部４は、省略されてもよい。例えば、制御システム等が、状況に応じて自動的に出力すべき音の種類を決定し、記憶部１１の出力種類データを更新するよう構成されてもよい。
　出力制御装置１０は、プロセッサ及びメモリを有する１又は複数のコンピュータによって構成することができる。記憶部１１は、このコンピュータがアクセス可能な記憶装置で構成することができる。記憶部１１は、例えば、ネットワークを介して接続される１又は複数のコンピュータの記憶装置であってもよい。出力触覚決定部１、音決定部２、出力制御部３、及び指定受付部４の機能は、１又は複数のコンピュータが、所定のプログラムを実行することで実現される。コンピュータに、出力触覚決定部１、音決定部２、出力制御部３、及び指定受付部４の機能を実現するための処理を実行させるプログラム及びそのようなプログラムを記憶した記憶媒体も、本発明の実施形態に含まれる。
　出力制御装置１０は、例えば、スマートフォン、タブレット、ＰＣ、又は、サーバ等の汎用コンピュータで構成されてもよい。又は、ヘッドマウントディスプレイ、スマートグラス等のウェアラブルデバイス、又は、その他の機器に内蔵されるコンピュータで構成されてもよい。この場合、例えば、出力制御装置１０を実現するためのアプリケーションプログラムをコンピュータにインストールすることで、コンピュータに出力制御装置が実装される。出力制御装置１０は、触覚提示装置４０に、無線又は有線もしくはネットワークを介して接続されてもよい。又は、出力制御装置１０の少なくとも一部は、触覚提示装置４０によって構成されてもよい。出力制御装置１０は、スピーカ３０を内蔵してもよいし、スピーカ３０に対して、無線又は有線もしくはネットワークを介して接続されてもよい。
　図１に示す例では、触覚提示装置４０は、記憶部４１、制御部４２、触覚デバイス４３、及びセンサ４４を備える。記憶部４１には、触覚データが記憶される。センサ４４は、ユーザの身体（例えば、指）の動きを時間経過とともに検知する。制御部４２は、センサ４４で検出されたユーザの動きと、記憶部４１から読み出した触覚データに基づいて、触覚デバイス４３を制御する。これにより、触覚デバイス４３は、触覚データが示す触覚をユーザに提示することができる。触覚データは、例えば、ユーザの身体の動き（ユーザの操作）に対応する触覚デバイス４３の出力値を示すデータであってもよい。この場合、制御部４２は、触覚データが示すユーザの操作に対応する出力値に応じて、触覚デバイス４３の出力を制御する。なお、触覚提示装置４０は、出力制御装置１０と通信するための通信部（例えば、無線通信モジュール）を備えてもよい。
　図２は、触覚デバイス４３の構成例を示す図である。図２の例では、触覚デバイス４３は、磁気粘性流体(Magneto-rheological fluid)を用いたＭＲＦデバイスである。触覚デバイス４３は、触覚デバイス４３の本体である支持部４３４と、支持部４３４に対して可動に支持される可動部４３２と、支持部４３４と可動部４３２の間に封入される磁気粘性流体４３３と、磁気粘性流体４３３に可変な磁場を発生させるコイル４３１とを有する。支持部４３４は、可動部４３２、及びコイル４３１を支持する。可動部４３２が、ユーザの一部（例えば指等）に接触した状態で動くことで、ユーザに触覚が提示される。磁気粘性流体４３３は、コイル４３１を流れる電流により発生する磁場に応じて粘性が変化する。磁気粘性流体４３３の粘性が変化することで、可動部４３２の支持部４３４に対する動きの抵抗が変化する。これにより、ユーザの可動部４３２に対する触覚が変化する。すなわち、コイル４３１の電流を制御することで、ユーザに提示する触覚が制御される。図２に示す触覚デバイス４３は、これに限られないが、例えば、特開２０２０－１７１５９号公報に記載の触覚提示装置のように構成されてもよい。
　制御部４２は、バッテリ（図示略）からコイル４３１へ供給される電力を制御することで、コイル４３１の電流を制御し、もって磁気粘性流体４３３の粘性を制御し、ユーザに触覚を提示する。このように磁気粘性流体を用いた触覚デバイスでは、ユーザに付与する微妙な触覚を動的に制御できる。本実施形態の出力制御装置１０は、動的に微妙な変化が可能な触覚効果の出力と、状況に応じて出力する音の種類を可変とした音の出力との連携を可能にする。そのため、触覚出力と音出力の組み合わせによる相乗効果で、ユーザに対する高度な感覚提示が可能になる。
　図２の例では、センサ４４によって、ユーザの操作が検出される。センサ４４は、ユーザの操作として、例えば、ユーザの指の動きを検出するよう構成される。具体例として、センサ４４は、ユーザの指の動きに応じて変化する可動部４３２の支持部４３４に対する回転の角度を検出するよう構成されてもよい。センサ４４で検出される角度により、ユーザの指の位置が検出される。制御部４２は、センサ４４で検出されるユーザの指の位置に対応する指令値を、触覚データを参照して決定する。制御部４２は、指令値に応じた電流をコイル４３１に流す。この場合、触覚データは、指の位置と指令値との対応関係を示すデータである。
　出力制御部３は、センサ４４で検出されるユーザの操作に応じて、スピーカ３０から出力される出力音を制御してもよい。例えば、出力制御部３は、センサ４４により検知されたユーザの身体の動きに対応する音のデータを、記憶部１１から読み出し、読み出された音のデータに基づいてスピーカを制御してもよい。例えば、出力制御部３は、センサ４４で検知された指の位置に対応する音のデータ（例えば、振幅及び周波数、又は再生速度等）を記憶部１１から読み出し、スピーカ３０へ送出する。これにより、ユーザの指の動きに応じて、音の再生位置又は再生速度を制御することができる。
　図３は、触覚デバイス４３の他の構成例を示す図である。図３の例では、触覚デバイス４３は、触覚デバイス４３の本体である支持部４３７と、支持部４３７に可動に支持された可動部４３６と、可動部４３６を動かすアクチュエータ４３５とを備える。支持部４３７は、可動部４３６及びアクチュエータ４３５を支持する。可動部４３６がユーザの一部（例えば指等）に接触した状態で動くことで、ユーザに触覚が提示される。可動部４３６の動きをアクチュエータにより制御することで、ユーザの触覚が制御される。この構成においても、ユーザに付与する微妙な触覚を動的に制御できる。そのため、このような構成の触覚デバイス４３の出力と、種類が制御された音の出力との組み合わせの相乗効果により、高度な演出が可能になる。
　アクチュエータ４３５は、可動部４３２を振動、変形又は移動させる力を発生する。アクチュエータ４３５は、例えば、偏心回転質量（ＥＲＭ、eccentric rotating mass）、リニア・レゾナンス・アクチュエータ（ＬＲＡ：Linear Resonant Actuator）、圧電素子用いたピエゾアクチュエータ、ソレノイドアクチュエータ、又は、その他の振動を発生させるアクチュエータであってもよい。
　なお、触覚デバイス４３の構成は、図２及び図３に示す例に限られない。例えば、触覚デバイス４３は、静電摩擦、又は超音波表面摩擦等の摩擦を発生させる構成であってもよい。又は、触覚デバイス４３は、音波発生源と、発生した音波を触覚に変換する変換器とを備える構成でもよい。或いは、触覚デバイス４３は、ユーザに対して電気的な筋肉刺激を与えるデバイスであってもよい。このような触覚デバイス４３に対する制御をすることで、より高度な演出が可能になる。
　図４は、図１に示す出力制御装置１０の動作例を示すフローチャートである。図４の例では、出力制御装置１０の待機状態（Ｓ１）において、触覚効果を出力する条件となるイベントが発生すると（Ｓ２でＹＥＳ）、出力触覚決定部１が、出力すべき出力触覚データを決定する（Ｓ３）。イベントは、出力指示の一例である。出力触覚決定部１は、イベントに関連するデータを用いて、出力触覚データを決定する。例えば、イベントが、仮想オブジェクトに対するユーザの操作である場合、仮想オブジェクトに対応付けられた触覚データが、出力触覚データとして決定される。音決定部２は、モデルデータを用いて、触覚効果に対応する出力触覚データを決定することができる。
　音決定部２は、出力すべき音の種類を決定する（Ｓ４）。音決定部２、イベントに関連するデータ（例えば、ユーザの操作等）を用いて、出力すべき音の種類を決定してもよい。音決定部２は、決定した出力すべき音の種類を、出力種類データとして記憶部１１に記憶する。一例として、ユーザによる、触覚効果の提示を希望する仮想オブジェクトと、出力すべき音の種類とを指定する操作が、触覚出力の条件となるイベントであってもよい。この場合、ユーザが指定した出力すべき音の種類が出力種類データとして記憶される。或いは、イベントに関係なく、予め設定された出力種類データを基に、出力すべき音の種類が決定されてもよい。
　音決定部２は、Ｓ３で決定される出力触覚データに対応する複数の音を決定する（Ｓ５）。音決定部２は、出力しようとする触覚効果に対応付けて記憶された複数の音（例えば、図１に示す音ファイルＡ１～Ａ３）を、対応する複数の音として、決定することができる。音決定部２は、例えば、複数の触覚効果と、複数の触覚効果のそれぞれに対応する複数の音を示すモデルデータを用いて、出力触覚データに対応する複数の音を決定してもよい。この場合、音決定部２は、モデルデータにおける複数の触覚効果のうち、出力触覚データの触覚効果に近い触覚効果を決定し、決定した触覚効果に対応する複数の音を、出力触覚データに対応する複数の音として決定することができる。
　音決定部２は、Ｓ５で決定した複数の音（例えば、音ファイルＡ１～Ａ３）の中で、Ｓ４で決定した出力すべき音の種類（例えば、種類１）に対応する種類の音（例えば、音ファイルＡ１）を、出力音として決定する（Ｓ６）。
　出力制御部３は、Ｓ３で決定した出力触覚データを触覚デバイス４３に出力させ、Ｓ６で決定した出力音をスピーカ３０に出力させる（Ｓ７）。出力制御部３は、出力触覚データを触覚提示装置４０に送出し、触覚出力を指示する。出力触覚データは、触覚提示装置４０の記憶部４１に記憶される。
　触覚提示装置４０の制御部４２は、センサ４４から指の位置（例えば、角度）を取得し、指が触覚出力の開始条件の位置（開始位置）に達しているか監視する。指の位置が開始位置に達した場合、制御部４２は、触覚デバイス４３に、指の位置に対応する出力値に応じた電流（又はこれに電圧）を付与する。指の位置に対応する出力値は、出力触覚データに基づいて決められる。図５は、出力触覚データの一例を示す図である。図５の例では、指の位置に、出力値（一例として電流値）が対応付けられて記憶される。
　また、制御部４２は、センサ４４で検知される指位置の動きから指の移動速度を算出する。指の移動速度は、出力制御部３に送られる。出力制御部３は、指に移動速度に応じて、スピーカ３０から出力する出力音の再生速度を制御する。これにより、指の移動速度に応じた再生速度で出力音が再生される。指の移動速度に応じた再生速度は、例えば、予め記憶された音制御データに基づいて決められる。図６は、音制御データの一例を示す図である。図６の例では、音制御データは、指の移動速度と音の再生速度との対応関係を示すデータである。すなわち、音制御データは、モーションセンサで検知された身体の動きと出力する音との対応関係を示す。出力制御部３は、音制御データを用いて、身体の動きに応じてスピーカ３０からの出力音の出力を制御することができる。音制御データは、例えば、出力触覚データに対応する複数の音のそれぞれについて、予め記憶されてもよい。
　このように、センサ４４による指位置の検知と、これに応じた触覚デバイスの出力値の出力及び出力音の再生処理が繰り返される。例えば、ユーザから、触覚出力の停止を指示する入力があるまで、この処理が繰り返される。これにより、センサ４４により検知された指の動きに応じて、出力触覚データの触覚効果の触覚デバイス４３からの出力と、出力音のスピーカ３０からの出力が制御される。
　図７は、上記の制御におけるセンサ、触覚デバイス及び再生速度の例を示す図である。図７に示す例では、センサ４４で検知された指の動きに応じて、触覚デバイスの電流値が制御され、これと同時に、指の動きに応じて出力音の再生速度も制御される。
　なお、出力制御装置１０の構成及び動作は、上記例に限られない。出力制御部３は、触覚効果の出力及び出力音の出力に加えて、画像の出力を制御してもよい。この場合、出力触覚データに対応する画像が、記憶部１１に記憶されてもよい。又は、ユーザの身体の動き（例えば、指の位置）と表示する画像との対応関係を示す画像制御データが記憶部１１に記憶されてもよい。出力制御部３は、上記の図４のＳ７の処理において、センサ４４で検知される指の位置に応じた画像を、ディスプレイ（図示略）に表示させてもよい。この場合、指の位置に応じた画像は、記憶部１１の画像制御データに基づいて決定することができる。これにより、触覚デバイス４３から出力される触覚効果に対応する画像の出力を制御することができる。
　モーションセンサは、指の代わりに、頭、肩、腕、胴、腰、足、又はこれらの組み合わせの動きを検知してもよい。モーションセンサはまた、身体の角度の代わりに、身体の１次元座標、２次元座標、又は３次元座標を検知してもよい。また、モーションセンサとして、カメラを用いてもよい。この場合、カメラにより撮影された身体の画像を解析し、その座標を検知してもよい。また、モーションセンサは１つだけでなく、２つ以上あってもよい。
　以上、本発明の実施形態を説明したが、上述した実施形態は本発明を実施するための例示に過ぎない。よって、本発明は上述した実施形態に限定されることなく、その趣旨を逸脱しない範囲内で上述した実施形態を適宜変形して実施することが可能である。
１：出力触覚決定部、２：音決定部、３：出力制御部、４：指定受付部、１０：出力制御装置、１１：記憶部、３０：スピーカ、４０：触覚提示装置、４３：触覚デバイス
 
 

Claims (7)

  1. 　触覚デバイスから出力すべき触覚効果を示す出力触覚データを決定する出力触覚決定部と、
    　前記出力触覚データに対応する予め記憶された複数の種類の音のうち、出力すべき出力音を決定する音決定部と、
    　前記出力触覚データの触覚効果の前記触覚デバイスからの出力と、前記出力音のスピーカからの出力とを制御する出力制御部とを、備える、出力制御装置。
     
  2. 　請求項１に記載の出力制御装置であって、
    　出力すべき音の種類の指定をユーザから受け付ける指定受付部をさらに備え、
    　前記音決定部は、前記出力触覚データに対応付けられた前記複数の種類の音のうち、前記ユーザから指定された種類の音を前記出力音に決定する、出力制御装置。
     
  3. 　請求項１又は２に記載の出力制御装置であって、
    　前記音の複数の種類は、リアル音、及び、擬音を少なくとも含む、出力制御装置。
     
  4. 　請求項１～３のいずれか１項に記載の出力制御装置であって、
    　前記出力制御部は、前記出力触覚データの触覚効果の前記触覚デバイスからの出力と、前記出力音のスピーカからの出力に加えて、前記触覚効果に対応する画像の出力を制御する、出力制御装置。
     
  5. 　請求項１～４のいずれか１項に記載の出力制御装置であって、
    　前記出力制御部は、人の身体の動きを時間経過とともに検知するモーションセンサにより検知された身体の動きに応じて、前記出力触覚データの触覚効果の前記触覚デバイスからの出力と、前記出力音のスピーカからの出力を制御する、出力制御装置。
     
  6. 　触覚デバイスから出力すべき触覚効果を示す出力触覚データを決定する出力触覚決定処理と、
    　前記出力触覚データに対応する予め記憶された複数の種類の音のうち、出力すべき出力音を決定する音決定処理と、
    　前記出力触覚データの触覚効果の前記触覚デバイスからの出力と、前記出力音のスピーカからの出力とを制御する出力制御処理とを、コンピュータに実行させる出力制御プログラム。
     
  7. 　コンピュータが実行する出力制御方法であって、
    　触覚デバイスから出力すべき触覚効果を示す出力触覚データを決定する出力触覚決定工程と、
    　前記出力触覚データに対応する予め記憶された複数の種類の音のうち、出力すべき出力音を決定する音決定工程と、
    　前記出力触覚データの触覚効果の前記触覚デバイスからの出力と、前記出力音のスピーカからの出力とを制御する出力制御工程とを、有する出力制御方法。
     
     
PCT/JP2023/009258 2022-03-31 2023-03-10 出力制御装置、出力制御プログラム及び出力制御方法 WO2023189406A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022059808A JP2023150609A (ja) 2022-03-31 2022-03-31 出力制御装置、出力制御プログラム及び出力制御方法
JP2022-059808 2022-03-31

Publications (1)

Publication Number Publication Date
WO2023189406A1 true WO2023189406A1 (ja) 2023-10-05

Family

ID=88200673

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/009258 WO2023189406A1 (ja) 2022-03-31 2023-03-10 出力制御装置、出力制御プログラム及び出力制御方法

Country Status (2)

Country Link
JP (1) JP2023150609A (ja)
WO (1) WO2023189406A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017062788A (ja) * 2015-09-25 2017-03-30 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 音声−触覚干渉を補償するように触覚効果を修正するためのプログラム可能な触覚デバイスおよび方法
WO2017175867A1 (ja) * 2016-04-07 2017-10-12 国立研究開発法人科学技術振興機構 触覚情報変換装置、触覚情報変換方法、および、触覚情報変換プログラム
JP2018171320A (ja) * 2017-03-31 2018-11-08 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びプログラム
JP2021047756A (ja) * 2019-09-20 2021-03-25 日本電信電話株式会社 触覚振動配信装置、触覚振動配信方法、触覚振動配信プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017062788A (ja) * 2015-09-25 2017-03-30 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 音声−触覚干渉を補償するように触覚効果を修正するためのプログラム可能な触覚デバイスおよび方法
WO2017175867A1 (ja) * 2016-04-07 2017-10-12 国立研究開発法人科学技術振興機構 触覚情報変換装置、触覚情報変換方法、および、触覚情報変換プログラム
JP2018171320A (ja) * 2017-03-31 2018-11-08 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びプログラム
JP2021047756A (ja) * 2019-09-20 2021-03-25 日本電信電話株式会社 触覚振動配信装置、触覚振動配信方法、触覚振動配信プログラム

Also Published As

Publication number Publication date
JP2023150609A (ja) 2023-10-16

Similar Documents

Publication Publication Date Title
KR102254385B1 (ko) 햅틱 와핑 시스템
US20180164896A1 (en) Audio enhanced simulation of high bandwidth haptic effects
EP3206109B1 (en) Low-frequency effects haptic conversion system
EP3564789A1 (en) Haptic warping system that transforms a haptic signal into a collection of vibrotactile haptic effect patterns
US20170090577A1 (en) Haptic effects design system
EP3561661A1 (en) Method and haptic device for encoding and decoding haptic information
Martínez et al. Vitaki: a vibrotactile prototyping toolkit for virtual reality and video games
KR20150028749A (ko) 동적 햅틱 변환 시스템
JP2016095847A (ja) ハプティックコントローラ
CN103513767A (zh) 触觉反馈控制***
WO2019038888A1 (ja) 振動制御装置
JP2016001472A (ja) オーディオ・トラックを介して触覚効果を与えるための触覚デバイスおよび方法
JP7380568B2 (ja) 触覚提示装置の事前駆動
CN111381707A (zh) 触觉信号转换***
WO2019138867A1 (ja) 情報処理装置および方法、並びにプログラム
EP3462285A1 (en) Haptic pitch control
US10297119B1 (en) Feedback device in an electronic device
WO2023189406A1 (ja) 出力制御装置、出力制御プログラム及び出力制御方法
CN111512371B (zh) 用于所捕获的空间音频内容的呈现的装置和相关方法
Papetti et al. The TouchBox: an open-source audio-haptic device for finger-based interaction
JP2023150608A (ja) 触覚音提供システム、触覚音提供プログラム、及び、触覚音提供方法
WO2023189404A1 (ja) 入出力装置
WO2023189407A1 (ja) 触覚パターン提供システム、触覚パターン提供プログラム、及び、触覚パターン提供方法
US11809630B1 (en) Using a haptic effects library to determine whether to provide predefined or parametrically-defined haptic responses, and systems and methods of use thereof
WO2023189405A1 (ja) 入出力装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23779430

Country of ref document: EP

Kind code of ref document: A1