WO2022181702A1 - 信号生成装置、信号生成方法及びプログラム - Google Patents

信号生成装置、信号生成方法及びプログラム Download PDF

Info

Publication number
WO2022181702A1
WO2022181702A1 PCT/JP2022/007643 JP2022007643W WO2022181702A1 WO 2022181702 A1 WO2022181702 A1 WO 2022181702A1 JP 2022007643 W JP2022007643 W JP 2022007643W WO 2022181702 A1 WO2022181702 A1 WO 2022181702A1
Authority
WO
WIPO (PCT)
Prior art keywords
setting information
haptic
signal
signal generation
waveform
Prior art date
Application number
PCT/JP2022/007643
Other languages
English (en)
French (fr)
Inventor
洋介 飯塚
Original Assignee
株式会社村田製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社村田製作所 filed Critical 株式会社村田製作所
Priority to JP2023502495A priority Critical patent/JPWO2022181702A1/ja
Publication of WO2022181702A1 publication Critical patent/WO2022181702A1/ja
Priority to US18/454,342 priority patent/US20230390635A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/22—Setup operations, e.g. calibration, key configuration or button assignment
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer

Definitions

  • the present invention relates to a signal generation device, a signal generation method and a program.
  • Haptics technology is known that presents sensations such as tactile sensations by generating vibrations.
  • parameters such as start time, duration, loop count, clip length, signal type, intensity type, signal gap, signal width, gap first, link gap vs. width, signal shape, etc. are described. Modifying parameters is disclosed.
  • Japanese Patent Laid-Open No. 2002-200011 discloses changing the vibration frequency and amplitude parameters to customize the haptic output.
  • US Pat. No. 5,900,003 discloses customizing haptic parameters such as magnitude, duration, frequency, and waveform.
  • the present invention has been made in view of such circumstances, and aims to provide a technique for more intuitive setting of the tactile force sensation to be presented.
  • a signal generation device includes an input unit that receives setting information including information indicating the direction of a haptic sensation presented from an object, and a haptic sensation based on the setting information received by the input unit. a generator for generating a waveform signal for presentation.
  • a signal generation method includes: receiving setting information including information indicating the direction of a haptic sensation to be presented from an object; and generating a signal.
  • a program comprises an input unit that receives setting information including information indicating the direction of a haptic sensation presented from an object, and a haptic sensation based on the setting information received by the input unit. It functions as a generator that generates a waveform signal for presentation.
  • FIG. 1 is a diagram showing a schematic configuration of a game development system according to one embodiment.
  • FIG. 2 is a block diagram showing the functional configuration of the signal generator according to one embodiment.
  • FIG. 3 is a diagram for explaining an example of a user interface according to one embodiment.
  • FIG. 4 is a diagram for explaining an example of a user interface according to one embodiment.
  • FIG. 5 is a diagram for explaining an example of a user interface according to one embodiment.
  • FIG. 6 is a diagram for explaining an example of a user interface according to one embodiment.
  • FIG. 7 is a diagram for explaining an example of a user interface according to an embodiment;
  • FIG. 8 is a diagram for explaining an example of waveform signal generation processing according to an embodiment.
  • FIG. 1 is a diagram showing a schematic configuration of a game development system according to one embodiment.
  • FIG. 2 is a block diagram showing the functional configuration of the signal generator according to one embodiment.
  • FIG. 3 is a diagram for explaining an example of a user interface according to one
  • FIG. 10 is a block diagram showing an example of a configuration for realizing a signal generator.
  • FIG. 11 is a block diagram showing another example of the configuration for realizing the signal generator.
  • FIG. 12 is a block diagram showing another example of the configuration for realizing the signal generator.
  • FIG. 13 is a block diagram showing another example of the configuration for realizing the signal generator.
  • FIG. 1 is a diagram showing a schematic configuration of a game development system according to this embodiment.
  • the game development system 3 mainly includes a computer 11, a speaker 19, a display monitor 20, and a controller 21 (object).
  • the game development system 3 may also include an operation unit (for example, a mouse and keyboard for user operation) connected to the computer 11 (not shown).
  • FIG. 1 shows that the game development system 3 includes one computer 11, it may include a plurality of computers 11 in order to implement the functions of the computer 11, which will be described later.
  • the computer 11 is a computer for creating game programs and executing the created game programs (for testing).
  • the computer 11 displays, for example, a user interface for creating a game program on the display monitor 20, and creates a game program according to user input received via an operation unit (not shown) such as a keyboard or mouse. It is possible.
  • the computer 11 executes the created game program, displays an image representing the virtual reality developed by the game program on the display monitor 20 , and outputs sound from the speaker 19 .
  • the user for example, recognizes the situation of the character in the virtual reality displayed on the display monitor 20 and operates the controller 21 so as to give movement to the character according to the situation.
  • the computer 11 executes the game program in accordance with the details of the operation performed on the controller 21 .
  • the computer 11 transmits a control signal including a waveform signal to the controller 21 so that at least one of "force”, “pressure”, and “tactile” (hereinafter referred to as tactile force) from the controller 21 to the user by haptics. ) is presented (hereinafter sometimes referred to as haptic presentation).
  • the "sense of force” is, for example, the feeling of being pulled or pushed, the feeling of impact when an object is strongly pressed, or an object bursts.
  • a "pressure sensation” is a tactile sensation, such as when an object is touched or when an object feels hard or soft.
  • the “tactile sense” is, for example, the tactile sensation of the surface of an object, or the tactile sensation and roughness such as the degree of unevenness of the surface of an object.
  • the software and hardware layers in the computer 11 are composed of an application layer game program, an intermediate layer SDK (Software Development Kit), a system and game engine, and a physical layer HW (Hardware).
  • the SDK includes, for example, plug-ins or authoring tools and middleware.
  • the middleware includes a program (hereinafter sometimes referred to as a target program) that vibrates the controller 21 so as to give the user at least one of a "sense of force", a "sense of pressure", and a "sense of touch”.
  • a game program calls a target program according to an API (Application Programming Interface), for example, when a specific event occurs in a character. At this time, the game program passes event information indicating, for example, the type of event and the start time of the event to the target program.
  • the type of event is identified by an ID, for example.
  • Specific events are, for example, the application of an external force to a character in virtual reality, such as pulling or pushing, the character shooting a gun, the character being hit, or an explosion occurring near the character. , and the characters dancing to the music.
  • the target program Based on the event information, the target program generates a waveform signal for presenting a tactile sensation corresponding to the type of event indicated by the event information.
  • the target program transmits the generated waveform signal to the controller 21 through the game engine, operating system and hardware.
  • the controller 21 presents a haptic sensation by vibrating based on the waveform signal.
  • a user who plays the game can sense the character in virtual reality not only by sight and hearing but also by at least one of "force sense”, “pressure sense” and “tactile sense”. Able to recognize situations.
  • the computer 11 includes a CPU (Central Processing Unit) 12, a memory 13, a disk 14, an audio interface (I / F) 15, a GPU (Graphics Processing Unit) 16, a communication interface (I / F) 17, a bus 18;
  • the controller 21 includes an MCU (Micro Controller Unit) 22, a communication interface (I/F) 23, a haptics output driver 24, a haptics element 25, a sensor input driver 26, and a sensor element 27.
  • the CPU 12, the memory 13, the disk 14, the audio interface 15, the GPU 16 and the communication interface 17 are connected through the bus 18 so that they can transmit and receive data to each other.
  • the disk 14 is a readable/writable non-volatile storage device such as an HDD (Hard Disk Drive), and stores programs (codes) such as game programs and SDKs.
  • the disk 14 is not limited to an HDD, but may be an SSD (Solid State Drive), a memory card, or a read-only CD-ROM (Compact Disc Read Only Memory) or DVD-ROM (Digital Versatile Disc-Read Only Memory).
  • Other storage media such as Programs such as the target program can be installed from the outside. Programs such as the target program are distributed in a state stored in a storage medium readable by the computer 11 such as the disc 14 .
  • a program such as the target program may be distributed on the Internet connected via a communication interface.
  • the memory 13 is a volatile storage device such as a DRAM (Dynamic Random Access Memory).
  • the communication interface 17 transmits and receives various data to and from the communication interface 23 in the controller 21 . This communication may be performed by wire or wirelessly, and any communication protocol may be used as long as mutual communication can be performed.
  • the communication interface 17 transmits various data to the controller 21 according to instructions from the CPU 12 .
  • the communication interface 17 also receives various data transmitted from the controller 21 and outputs the received data to the CPU 12 .
  • the CPU 12 When executing the program, the CPU 12 transfers the program saved on the disk 14 and the data necessary for executing the program to the memory 13 .
  • the CPU 12 reads from the memory 13 processing instructions and data necessary for executing the program, and executes arithmetic processing according to the contents of the processing instructions. At this time, the CPU 12 may newly generate data necessary for executing the program and store it in the memory 13 .
  • the CPU 12 is not limited to the configuration in which the program and data are acquired from the disk 14, and may be configured to acquire them from a server or the like via the Internet.
  • the CPU 12 creates a game program according to user operations, and stores the created game program in a storage unit such as the memory 13 or disk 14 . Further, for example, when executing the created game program, the CPU 12 receives the details of the user's operation on the controller 21, executes processing instructions according to the details of the operation, and gives movement to the character in the virtual reality. At this time, the CPU 12 performs processing for haptic presentation, video display, and audio output according to the situation of the character in the virtual reality.
  • the CPU 12 when an external force such as pulling or pushing is applied to a character in virtual reality, the CPU 12 generates a waveform signal for presenting haptics of the sense of force felt when the external force is applied. to generate
  • the CPU 12 generates, for example, a waveform signal for haptic presentation of the feeling of recoil felt when a character shoots a gun in virtual reality.
  • the CPU 12 generates, for example, a waveform signal for presenting the haptics of the feeling of impact felt when a character receives a blow in virtual reality.
  • the CPU 12 also generates a waveform signal for presenting the haptics of the dynamism that a character feels in relation to musical beats and rhythms when, for example, a character is dancing to music in virtual reality.
  • the CPU 12 digitally encodes the generated waveform signal to generate haptic information, and transmits the generated haptic information to the controller 21 via the communication interface 17 .
  • the CPU 12 generates screen information necessary for video display of moving characters and backgrounds in virtual reality, and outputs the generated screen information to the GPU 16 .
  • the GPU 16 receives screen information from the CPU 12, performs rendering based on the screen information, and generates a digital video signal including video such as 3D graphics.
  • the GPU 16 causes the display monitor 20 to display 3D graphics or the like by transmitting the generated digital video signal to the display monitor 20 .
  • the CPU 12 generates audio information indicating audio according to the environment, movement, situation, etc. of the character in the virtual reality, and outputs the generated audio information to the audio interface 15 .
  • the audio interface 15 receives audio information from the CPU 12, performs rendering based on the received audio information, and generates an audio signal.
  • the audio interface 15 outputs the sound from the speaker 19 by transmitting the generated audio signal to the speaker 19 .
  • the haptics element 25 in the controller 21 is a vibration actuator that converts an electrical signal into mechanical vibration, such as a voice coil actuator with a wide frequency band for vibration relaxation.
  • the haptic element 25 may be an eccentric motor, a linear resonance actuator, an electromagnetic actuator, a piezoelectric actuator, an ultrasonic actuator, an electrostatic actuator, a polymer actuator, or the like.
  • the number of haptic elements 25 in the controller 21 may be one or plural.
  • the MCU 22 controls the haptic output driver 24 and the sensor input driver 26. Specifically, the MCU 22 reads out a program stored in a ROM (not shown) and executes arithmetic processing according to the contents of the program, for example, when receiving power supply.
  • the MCU 22 when the MCU 22 receives haptic information from the computer 11 via the communication interface 23, the MCU 22 controls the haptic output driver 24 based on the received haptic information and presents the haptics using the haptic element 25.
  • the MCU 22 outputs haptic information to the haptic output driver 24 .
  • the haptic output driver 24 receives the haptic information from the MCU 22, and based on the received haptic information, generates an analog electrical signal that is an electrical signal corresponding to the waveform signal and is capable of driving the haptic element 25. Output to element 25 . As a result, the haptic element 25 vibrates based on the electrical signal, and haptic presentation is performed.
  • the sensor element 27 detects, for example, the movement of an operation unit that receives a user's operation, such as a joystick and buttons provided on the controller 21, and outputs an analog electric signal indicating the detection result to the sensor input driver 26.
  • the sensor input driver 26 operates, for example, under the control of the MCU 22, supplies electric power necessary for driving to the sensor element 27, receives an electric signal from the sensor element 27, and converts the received electric signal into a digital signal. .
  • Sensor input driver 26 outputs the converted digital signal to MCU 22 .
  • the MCU 22 Based on the digital signal received from the sensor input driver 26 , the MCU 22 generates operation information indicating the details of the user's operation on the controller 21 and transmits the operation information to the computer 11 via the communication interface 23 .
  • FIG. 2 is a block diagram showing the configuration of the signal generator according to this embodiment.
  • the signal generation device 1 is realized by, for example, causing the CPU 12 in the computer 11 to execute a signal generation program, which is an example of a target program.
  • the signal generation device 1 includes, as functional blocks, a direction input unit 202 that receives setting information including information indicating the direction of the tactile force sense presented from the object, and a tactile force sense based on the setting information received by the direction input unit 202. and a signal generator 206 for generating a waveform signal for presentation.
  • Setting information that indicates the direction of the tactile force sense presented from the object allows the user to more intuitively experience the tactile force sense compared to setting information such as the frequency and amplitude of the vibration for generating the haptic force sense. Easy to grasp the feeling. Therefore, according to the signal generation device 1 according to the present embodiment, it is possible to more intuitively set the tactile force sense to be presented. Further, by being able to more intuitively set the direction of presenting the tactile force sense, it becomes easier to present the user with a tactile force sense with a higher sense of reality.
  • the signal generation device 1 also includes an intensity input unit 203 that receives setting information including information indicating the intensity of the tactile force sense presented by the object. Further, the signal generation device 1 includes a time axis setting section 201 , a parameter generation section 204 and a basic waveform registration section 205 . In addition, the time axis setting unit 201, the direction input unit 202, and the intensity input unit 203 may include a function for controlling display of a user interface (graphical user interface) on the display monitor 20 by the signal generation device 1. . Each functional block will be described in more detail below.
  • the time axis setting unit 201 sets the length of the signal generated for presenting the haptic sensation, that is, the time axis of the haptic sensation to be presented.
  • the time axis of the haptic sensation may include information on the timing of starting or ending presentation of the haptic sensation.
  • the time axis setting unit 201 may set the time axis of the tactile force sense according to user input via the operation unit, or may set a predetermined time axis.
  • the time axis setting unit 201 can also set the resolution (frequency) of the haptic sensation to be presented according to user input.
  • the resolution of the haptic sensation to be presented is the granularity (unit) of the haptic sensation that can be set or edited by the method described later. For example, when the resolution is set to 1/30 [second], it is possible to set the tactile force sensation (for example, set the direction or intensity) to be presented in units of 1/30 second.
  • the time axis of the haptic sensation to be presented may be set based on the reference waveform.
  • a reference waveform is, for example, a waveform obtained by analyzing data that can be converted into a waveform, such as audio data or video data.
  • the time axis setting unit 201 sets the reference waveform by, for example, analyzing audio data or video data acquired according to user input.
  • the time axis setting unit 201 may set the time axis of the haptic sensation to be presented based on the length (time length) of the set reference waveform.
  • the audio data or video data is acquired, for example, via media or in a streaming format, but any data acquisition method or format may be used.
  • the time axis setting unit 201 performs processing for transmitting information on the time axis, resolution, and reference waveform set as described above from the signal generation device 1 to the display monitor 20 .
  • the display monitor 20 controls the display based on the received information on the time axis, resolution, and reference waveform.
  • FIG. 3 shows an example of a user interface image (hereinafter simply referred to as “user interface”) displayed on the display monitor 20 based on the time axis, resolution, and reference waveform information received by the display monitor 20. ing.
  • waveforms of "reference waveform A” and “reference waveform B” are shown along the time axis direction as reference waveforms.
  • FIG. 3 shows the time axis of the "directional intensity waveform” as the time axis of the haptic sensation.
  • the time axis of the tactile force sense is displayed side by side with the time axis of "reference waveform A” and “reference waveform B” and the start and end being associated with each other. That is, the time axis of the tactile force sense is set to have the same length as the time axes of "reference waveform A” and "reference waveform B.”
  • the user can generate or edit the haptic sensation to be presented on the set time axis while referring to the image shown in FIG. 3 displayed on the display monitor 20 .
  • the user can specify the direction and intensity of the haptic sensation to be presented on the time axis while referring to "reference waveform A" and "reference waveform B.”
  • a haptic waveform based on the reference waveform. For example, it is possible to generate a tactile force sense waveform based on data obtained by filtering "reference waveform A" or "reference waveform B", or partial data of the reference waveform. It is also possible to edit the direction or intensity of the haptic waveform generated based on the reference waveform by a method described later. The generated or edited haptic waveform is displayed along the time axis as a "directional intensity waveform" in an image as shown in FIG. 3, for example.
  • the time axis setting unit 201 can also set the time axis or resolution of the tactile force sense based on the user's operation without displaying or using the reference waveform.
  • the direction input unit 202 sets the direction to present the haptic sensation.
  • the direction in which the haptic sensation is presented is the direction based on the position of the object (for example, the controller 21) that presents the haptic sensation.
  • "to present a tactile force sense in the forward direction” refers to a haptic sense in the forward direction with respect to the position of the object (i.e., a sensation that the object is pulled forward, or a sense that the object is pulled forward). (physical quantity such as pulling torque) is presented continuously in a set period. The setting of the period is set along the time axis for presenting the haptic sensation as described later.
  • the direction input unit 202 can set a direction for continuously presenting the tactile force sense in an arbitrary direction such as a vertical direction, a horizontal direction, a front-rear direction, and an oblique direction.
  • the direction input unit 202 sets the direction of the tactile force sense to be presented at a specified timing, for example, based on user input. That is, the direction of the set haptic force sense (setting information) is associated with the time on the timeline (time axis) of the haptic sense presented from the object.
  • the direction input unit 202 is used for transmitting necessary information from the signal generation device 1 to the display monitor 20 in order to display on the display monitor 20 a user interface for setting the direction of the tactile force sense based on user input. process.
  • FIG. 4 shows an example of an image displayed on the display monitor 20 as a user interface for setting the direction of the tactile force sense based on user input.
  • a tactile force sense in the direction corresponding to the selected position is set.
  • a tactile force sense in the direction is set.
  • a tactile force sense in the set direction is presented at the timing according to the position on the time axis corresponding to the selected position (that is, the position on the horizontal axis).
  • the user can set the direction of the haptic sensation and the timing of presenting the haptic sensation in that direction via the user interface shown in FIG.
  • the intensity input unit 203 sets the intensity for presenting the haptic sensation.
  • the strength input unit 203 sets the strength of the tactile force sense to be presented at the designated timing, for example, based on the user's input. That is, the intensity of the set haptic force sense (setting information) is associated with the time on the timeline of the haptic force sense presented by the object.
  • the intensity input unit 203 is used to transmit necessary information from the signal generation device 1 to the display monitor 20 in order to display on the display monitor 20 a user interface for setting the intensity of the tactile force sense based on user input. process.
  • FIG. 5 shows an example of an image displayed on the display monitor 20 as a user interface for setting the intensity of the tactile force sense based on user input.
  • the waveform shown in the image of FIG. 5 indicates the intensity of the tactile force sense presented at each timing on the time axis.
  • the horizontal axis of the image in FIG. 5 is the time axis of the presented haptic force sense, and the vertical axis is the intensity of the presented haptic force sense.
  • the user can change the shape of the waveform as shown in FIG. 5 into a desired shape through the operation unit, thereby setting the intensity of the tactile force according to the shape of the waveform after deformation.
  • the user can set the intensity of the tactile force sense and the timing of presenting the haptic force sense of that intensity via the user interface shown in FIG.
  • the parameter generation unit 204 generates parameters of the tactile force sense to be presented based on the information set by the direction input unit 202 and the information set by the strength input unit 203 . More specifically, the parameter generation unit 204 generates parameters of the direction and strength of the haptic force sense associated with the timing of presenting the haptic force sense. For example, a sign (for example, "+" (plus) or "-" (minus)) indicates the direction in which the tactile force sense is presented, the intensity of the haptic force sensation to be presented is indicated by a numerical value, and the sign and the numerical value are combined. can generate parameters indicating the direction and strength of the haptic force.
  • the parameter generation unit 204 associates the parameters indicating the direction and intensity of the haptic force sense with the parameters indicating the timing, thereby generating the parameters of the direction and intensity of the haptic force sense associated with the timing of presenting the haptic force sense. It is possible to generate
  • the information (setting information) about the direction and intensity of the tactile force sense set along the time axis is transmitted to the user via the user interface.
  • Information based on the input may be included, and the parameter generation unit 204 may generate parameters of the haptic sensation to be presented based on the setting information.
  • the parameter generation unit 204 may simultaneously set the direction and intensity of the haptic sensation to be presented at a predetermined timing, and generate parameters based on the settings.
  • the parameter generation unit 204 transmits the signal from the signal generation device 1 to the display monitor 20, for example, in order to display on the display monitor 20 a user interface for setting the direction and intensity of the tactile force sense based on the user input. Perform processing to send the necessary information.
  • FIG. 6 shows an example of an image displayed on the display monitor 20 as a user interface for setting the direction and intensity of the tactile force sense based on user input.
  • the horizontal axis of the image in FIG. 6 is the time axis of the presented haptic force sense, and the vertical axis is the intensity of the presented haptic force sense.
  • the waveform shown in the image of FIG. 6 indicates the direction and intensity of the tactile force sense presented at each timing on the time axis.
  • the upper (positive side) area which is the area of "forward strength" indicates that the tactile force sense is in the forward direction, and the higher the position, the stronger the intensity of the tactile force sense.
  • the lower (negative) region which is the “rear direction strength” region, indicates a rearward tactile force sense, and the lower the position, the stronger the tactile force sense. That is, in the example of FIG. 6, during the period in which the waveform is in the region of "forward intensity”, the forward tactile force sense is set to be continuously presented with an intensity corresponding to the position on the vertical axis, and the waveform is set to During the period in the “rearward direction intensity” region, the tactile force sense in the rearward direction is set to be continuously presented with an intensity corresponding to the position on the vertical axis.
  • the user sets the direction and strength of the tactile force sense according to the shape of the waveform image after deformation. be able to.
  • the parameter generation unit 204 generates parameters of the haptic sensation to be presented according to the shape of the deformed waveform image. That is, based on the image operation via the user interface as shown in FIG. can be set. As a result, according to the present embodiment, it is possible to more intuitively set the tactile force sense to be presented.
  • the user operates the curved points (curve points) of the waveform representing the direction, intensity, and timing of the haptic force sense to be presented.
  • the parameter generator 204 may generate a waveform connecting (complementing) the designated curve points.
  • the speed (curve radius) of the curve at the curve point may be settable according to user input.
  • the parameter generator 204 generates parameters of the haptic sensation to be presented based on the generated waveform.
  • the parameter generation unit 204 can set the direction of presenting the tactile force sense in any three-dimensional direction, such as the vertical direction, the horizontal direction, the front-rear direction, and the oblique direction, via the user interface. parameters may be generated.
  • the upper side (plus side) and the lower side (minus side) of the user interface shown in FIG. 6 can be associated with the direction of presenting the tactile force sense according to the user's operation or the like.
  • the number of directions that can be set may be one, or three or more, instead of two.
  • FIG. 7 shows an example of a user interface displayed on the display monitor 20.
  • FIG. 7 shows an image of a controller that presents a haptic sensation and an image of an arrow.
  • one of the two arrows is associated with the plus side of the presentation of the forward haptic sensation, and the minus side of the presentation of the backward haptic sensation. is shown.
  • the user can change the "forward direction” to the “upward direction”, change the “backward direction” to the “downward direction”, change the position of the arrow image, etc., through the operation unit, thereby changing the position of the arrow image shown in FIG. It is possible to change the correspondence between each of the upper (plus side) and lower (minus side) sides of the user interface shown in , and the direction of presenting the haptic force sense.
  • the generation of the waveform indicating the direction and intensity of the tactile force sensation on the time axis has been described by operating the image or specifying the curve point via the user interface, but the method of generating the waveform is not limited to these.
  • the parameter generation unit 204 may automatically (based on a predetermined algorithm) generate a waveform indicating the direction and intensity of the haptic sensation to be presented on the time axis.
  • the parameter generation unit 204 generates the direction and intensity of the haptic sensation to be presented on the time axis based on the audio data or video data (or the reference waveform) as described above. You may generate the information (setting information) set along.
  • the parameter generation unit 204 generates a waveform indicating the direction and intensity of the haptic force sense along the time axis (that is, the waveform indicating the direction and intensity of the haptic force sense along the time axis) based on the filtered audio data or video data. direction and intensity setting information) may be generated.
  • a waveform indicating the direction and intensity of the haptic force sense along the time axis
  • direction and intensity setting information may be generated.
  • the parameter generation unit 204 extracts the feature amount of the audio data or the video data, and based on the feature amount, the waveform indicating the direction and intensity of the tactile force sense on the time axis (that is, the tactile force along the time axis). setting information of sense direction and intensity) may be generated.
  • a pattern recognition technique may be employed for feature extraction.
  • Artificial intelligence technology such as machine learning or deep learning may also be employed to generate setting information for the direction and intensity of the tactile force sense along the time axis.
  • the haptic information (on the time axis) is extracted from audio or video data. ) may be specified (generated), including setting information for the direction and intensity of the haptic force sense along.
  • the learned model may be stored in a storage unit (not shown) of the signal generation device 1 or may be acquired from outside the signal generation device 1 . Specification (generation) of haptic information using the learned model may be performed by the parameter generation unit 204 .
  • the direction and intensity of the tactile force sense along the time axis are automatically adjusted based on cooperation with an input device connected to the signal generation device 1 (for example, motion capture or input according to the movement of a mouse). may be set to Further, the direction and intensity of the tactile force sense along the time axis may be automatically set by remote cooperation with a device using a remote network system.
  • the parameter generation unit 204 acquires information on the direction and intensity of the tactile force sense associated with the time information (for example, array data of parameters indicating time, direction, and intensity) based on user input, A parameter may be generated based on the information.
  • the basic waveform registration unit 205 stores and registers a basic waveform signal of vibration of a haptic element (for example, the haptic element 25) for presenting a tactile force sensation in a predetermined direction from an object. Since each haptic element has different characteristics, even if the haptic element is vibrated with the same basic waveform signal, each haptic element may present a different haptic sensation. Therefore, the basic waveform registration unit 205 may register different basic waveforms for each haptic element in order to present a haptic sensation in the same direction, or may change one basic waveform according to the haptic element. may be registered with.
  • a haptic element for example, the haptic element 25
  • the basic waveform signal of the vibration of the haptic element 25 for presenting a tactile force sense in a predetermined direction from an object continuously generates a tactile force sense in all three-dimensional directions such as vertical, horizontal, forward and backward directions, and oblique directions. It contains a vibration waveform signal for realistic presentation.
  • a basic waveform signal of vibration of the haptic element 25 for continuously presenting a tactile force sense in a predetermined direction is generated by any method.
  • the basic waveform signal may be generated based on the method described in Japanese Patent No. 4111278.
  • the signal generation unit 206 generates a waveform signal for presenting a haptic sensation based on the setting information (or generated parameters) received by the input unit (the direction input unit 202, the strength input unit 203, or the parameter generation unit 204). Generate. For example, the signal generation unit 206 generates a tactile force based on the setting information (or generated parameters) received by the input unit based on a combination of basic waveform signals for presenting a tactile force sense in a predetermined direction from an object. Generates a waveform signal for presenting a sense. More specifically, the signal generation unit 206 refers to the basic waveform registration unit 205 and generates one or more basic waveform signals necessary for presenting the haptic sensation based on the setting information received by the input unit. By specifying and combining the specified basic waveform signals, a waveform signal for presenting a tactile force sense based on the setting information received by the input unit is generated.
  • the signal generation unit 206 acquires the setting information of the tactile force sense received by the input unit (information on the directional intensity at each time).
  • (3) of FIG. 9 conceptually shows an example of a waveform indicating the direction and intensity of the tactile force sense based on the setting information on the time axis.
  • the signal generation unit 206 refers to the basic waveform registration unit 205, and obtains one or a plurality of forward single waveforms and backward single waveforms as basic waveform signals necessary for presenting the tactile force sensation based on the setting information. Acquire a directional single waveform signal.
  • FIG. 9(1) conceptually shows an example of a forward single waveform
  • FIG. 9(2) conceptually shows an example of a backward single waveform.
  • the signal generation unit 206 generates the corresponding forward direction single waveform (basic waveform signal) obtained above for generation of the waveform signal during the period in which the setting information indicates the forward direction (+ direction). are spliced according to the set time axis.
  • the signal generation unit 206 generates the corresponding backward single waveform (basic waveform signal) obtained above in order to generate the waveform signal during the period in which the setting information indicates the backward direction (negative direction). Connect according to the set time axis.
  • FIG. 9 conceptually shows an example of the basic waveform signals that are connected.
  • a waveform signal for continuously presenting the forward tactile force sensation is generated, and in the period in which the backward single waveforms are connected, the backward tactile force is generated.
  • a waveform signal is generated for continuously presenting the haptic sensation.
  • the signal generation unit 206 multiplies the above-connected basic waveform signal by the intensity associated with the time axis indicated by the setting information (that is, sets the intensity).
  • (5) of FIG. 9 conceptually shows an example of a waveform signal obtained by setting the intensity of the connected basic waveform signal.
  • a waveform signal is generated for presenting the tactile force sensation of the shaking method (intended direction, intensity and time axis) intended by the user based on intuitive settings such as forward and backward directions. be able to.
  • Example 1 Example 1 will be described with reference to FIG.
  • the game development system 3 comprises at least one computer 11 a and a controller 21 .
  • Computer 11 a is a specific example of computer 11 .
  • the game development system 3 may have other configurations as described above. In this embodiment and other embodiments, the game development system 3 is applicable not only as a system for game development but also as a system for game execution.
  • the computer 11 a communicates with the controller 21 . Communication between the computer 11a and the controller 21 is performed by any method, and may be wired communication, wireless communication, or communication via a network such as the Internet. The same applies to communication between the computer 11 and the controller 21 and communication between a plurality of computers 11 performed in other embodiments.
  • the computer 11a includes a parameter input unit 111, a signal generation unit 112, and a device output unit 113 as functional configurations.
  • the parameter input unit 111 inputs parameters of the presented tactile force sense to the signal generation unit 112 .
  • the processing by the parameter input unit 111 is performed by at least part of the time axis setting unit 201, the direction input unit 202, the intensity input unit 203, the parameter generation unit 204, and the basic waveform registration unit 205 described with reference to FIG. may correspond to
  • the parameter input from the parameter input unit 111 to the signal generation unit 112 may be a tactile force parameter related to the direction or intensity based on the feature amount extracted from the audio data or video data.
  • the user's movement specified by the operation on the controller 21 or the motion capture is detected with respect to the time axis, and based on the detection result, a tactile force sense related to the direction or intensity is generated corresponding to the time axis.
  • a parameter may be input from the parameter input unit 111 to the signal generation unit 112 .
  • the parameters input to the signal generator 112 may be randomly generated in association with the time axis.
  • a motion of a character animation appearing in the game is detected, and a tactile force sense parameter related to direction or intensity generated corresponding to the time axis based on the detection result is input from the parameter input unit 111 to the signal generation unit 112.
  • the parameters input to the signal generation unit 112 may be parameters of the tactile force sense registered in advance in association with the time axis.
  • the signal generation unit 112 generates a waveform signal for presenting the haptic sensation based on the parameters input from the parameter input unit 111 and outputs the waveform signal to the device output unit 113 .
  • the processing by the signal generator 112 may correspond to the processing by the signal generator 206 described above.
  • the device output unit 113 is a communication interface that transmits the waveform signal output from the signal generation unit 112 to the controller 21 .
  • the device output unit 113 is implemented by, for example, the communication interface 17 described above.
  • Example 2 A second embodiment will be described with reference to FIG. In the second embodiment, the functions of the computer 11 described in the first embodiment are realized by two computers 11.
  • the game development system 3 comprises a computer 11b, a computer 11c, and a controller 21.
  • FIG. Computer 11 b and computer 11 c are specific examples of controller 11 .
  • the computer 11b and the computer 11c each have a hardware configuration similar to at least part of the hardware configuration of the controller 11 described above.
  • the computer 11 b communicates with the computer 11 c and the controller 21 . Communication in this embodiment is performed by any method, and may be either wired communication or wireless communication, or communication via a network such as the Internet.
  • the computer 11b includes a parameter input section 111 and a device output section 113 as functional configurations.
  • the computer 11c includes a signal generator 112 as a functional configuration. That is, in this embodiment, the parameters are input from the computer 11b to the computer 11c, and the signal generation is performed by the computer 11c. The generated signal is transmitted from computer 11c to computer 11b. Communication between the computer 11b and the computer 11c is realized through a receiving interface or a transmitting interface provided by the computer 11b and the computer 11c. Since the processing by the parameter input unit 111, the signal generation unit 112, and the device output unit 113 shown in FIG. 11 is the same as that of the first embodiment, description thereof is omitted here.
  • Example 3 A third embodiment will be described with reference to FIG. In the third embodiment, the functions of the computer 11 described in the first embodiment are realized by three computers 11.
  • the game development system 3 comprises a computer 11 d, a computer 11 e, a computer 11 f, and a controller 21 .
  • Computer 11 d , computer 11 e , and computer 11 f are specific examples of controller 11 .
  • Computer 11d, computer 11e, and computer 11f each have a hardware configuration similar to at least part of the hardware configuration of controller 11 described above.
  • the computer 11d communicates with the computer 11e.
  • the computer 11e communicates with the computer 11f.
  • the computer 11 f communicates with the controller 21 .
  • Communication in this embodiment is performed by any method, and may be either wired communication or wireless communication, or communication via a network such as the Internet.
  • the computer 11d includes a parameter input section 111 as a functional configuration.
  • the computer 11e includes a signal generator 112 as a functional configuration.
  • the computer 11f includes a device output section 113 as a functional configuration. That is, in this embodiment, the parameters are input from the computer 11d to the computer 11e, and the signal generation is performed by the computer 11e. The generated signal is transmitted from computer 11e to computer 11f. Communication among the plurality of computers 11 is realized via a reception interface or a transmission interface that each computer 11 has. Since the processing by the parameter input unit 111, the signal generation unit 112, and the device output unit 113 shown in FIG. 12 is the same as that of the first embodiment, description thereof is omitted here.
  • Example 4 will be described with reference to FIG.
  • the game development system 3 comprises a computer 11g and a storage medium 31.
  • a waveform signal for presenting a haptic sensation generated by any one of the methods of Examples 1 to 3 is stored in storage medium 31 and output from storage medium 31 to computer 11g.
  • the storage medium 31 is configured by any method, for example, a readable and writable non-volatile storage device such as an HDD or SSD, or a portable memory card or read-only CD-ROM (or DVD-ROM). Other storage media such as a storage medium may be used.
  • Communication for outputting the waveform signal from the storage medium 31 to the computer 11g is performed by any method.
  • the computer 11g includes a device output section 113 as a functional configuration. Since the processing by the device output unit 113 is the same as that of the first embodiment, description thereof is omitted here.
  • ⁇ Modification> the process of generating a waveform signal for presenting a haptic sensation based on information (setting information) set according to image manipulation and automatic processing via a user interface has been described.
  • the processing method for generating the signal is not limited to this.
  • the setting information (the direction and intensity of the tactile force sense along the time axis) may be generated based on the character input via the user interface.
  • the user programming the game program inputs characters of the function or method for generating the setting information via the operation unit (by typing, mouse operation, etc.), and furthermore, the function or method
  • the setting information of the direction and intensity of the tactile force sense along the time axis can be entered in characters.
  • the signal generator 206 may generate a waveform signal for presenting a haptic sensation based on the character input.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提示する触力覚のより直感的な設定に関する技術を提供する。信号生成装置は、対象物から提示する触力覚の方向を示す情報を含む設定情報を受け付ける入力部と、入力部により受け付けた設定情報に基づく触力覚を提示するための波形信号を生成する生成部とを備える。

Description

信号生成装置、信号生成方法及びプログラム
　本発明は、信号生成装置、信号生成方法及びプログラムに関する。
　振動の生成により触力覚などの感覚を提示するハプティクス技術が知られている。特許文献１には、ハプティクス効果を編集するために、開始時間、持続時間、ループカウント、クリップ長、信号タイプ、強度タイプ、信号ギャップ、信号幅、ギャップファースト、リンクギャップ対幅、信号形状などのパラメータを修正することが開示されている。特許文献２には、触力覚の出力をカスタマイズするために、振動の周波数及び振幅のパラメータを変更することが開示されている。特許文献３には、大きさ、持続時間、周波数、及び波形などのハプティクスのパラメータをカスタマイズすることについて開示されている。
特表２０１８－５２８５３４号公報 特表２０１０－５２８３９４号公報 特開２０１４－０４４７２２号公報
　提示する触力覚をより直感的に設定可能な技術が求められている。
　本発明はこのような事情に鑑みてなされたものであり、提示する触力覚のより直感的な設定に関する技術を提供することを目的とする。
　本発明の一態様に係る信号生成装置は、対象物から提示する触力覚の方向を示す情報を含む設定情報を受け付ける入力部と、前記入力部により受け付けた前記設定情報に基づく触力覚を提示するための波形信号を生成する生成部とを備える。
　本発明の一態様に係る信号生成方法は、対象物から提示する触力覚の方向を示す情報を含む設定情報を受け付けることと、受け付けた前記設定情報に基づく触力覚を提示するための波形信号を生成することとを含む。
　本発明の一態様に係るプログラムは、コンピュータを、対象物から提示する触力覚の方向を示す情報を含む設定情報を受け付ける入力部、前記入力部により受け付けた前記設定情報に基づく触力覚を提示するための波形信号を生成する生成部、として機能させる。
　本発明によれば、提示する触力覚のより直感的な設定に関する技術を提供することができる。
図１は、一実施形態に係るゲーム開発システムの概略構成を示す図である。 図２は、一実施形態に係る信号生成装置の機能構成を示すブロック図である。 図３は、一実施形態に係るユーザインタフェースの一例を説明するための図である。 図４は、一実施形態に係るユーザインタフェースの一例を説明するための図である。 図５は、一実施形態に係るユーザインタフェースの一例を説明するための図である。 図６は、一実施形態に係るユーザインタフェースの一例を説明するための図である。 図７は、一実施形態に係るユーザインタフェースの一例を説明するための図である。 図８は、一実施形態に係る波形信号の生成処理の一例を説明するための図である。 図９は、一実施形態に係る波形信号の生成処理の一例を説明するための図である。 図１０は、信号生成装置を実現するための構成の一例を示すブロック図である。 図１１は、信号生成装置を実現するための構成の他の例を示すブロック図である。 図１２は、信号生成装置を実現するための構成の他の例を示すブロック図である。 図１３は、信号生成装置を実現するための構成の他の例を示すブロック図である。
　以下、本発明の実施の形態について、図面を参照しつつ詳細に説明する。なお、同一の要素には同一の符号を付し、重複する説明を極力省略する。
　本実施形態に係るゲーム開発システムについて説明する。図１は、本実施形態に係るゲーム開発システムの概略構成を示す図である。図１に示すように、ゲーム開発システム３は、コンピュータ１１と、スピーカ１９、ディスプレイモニタ２０と、コントローラ２１（対象物）と、を主に備える。また、図示しないが、ゲーム開発システム３は、コントローラ２１とは別に、コンピュータ１１に接続された操作部（例えば、ユーザ操作のためのマウス及びキーボード）を備えてもよい。また、図１には、ゲーム開発システム３は、１つのコンピュータ１１を備えることが示されているが、後述するコンピュータ１１の機能を実現するために、複数のコンピュータ１１を備えてもよい。
　コンピュータ１１は、ゲームプログラムを作成し、作成したゲームプログラムを（テストのために）実行するためのコンピュータである。コンピュータ１１は、例えば、ゲームプログラムを作成するためのユーザインタフェースをディスプレイモニタ２０に表示し、キーボード又はマウスなどの操作部（図示せず）を介して受け付けたユーザ入力に応じて、ゲームプログラムを作成可能である。さらに、コンピュータ１１は、作成されたゲームプログラムを実行し、ゲームプログラムが展開する仮想現実を表す画像をディスプレイモニタ２０に表示し、さらに、音声をスピーカ１９から出力する。ユーザは、例えば、ディスプレイモニタ２０に映し出された仮想現実におけるキャラクターの状況を認識し、その状況に応じてキャラクターに動きを与えるようにコントローラ２１を操作する。コンピュータ１１は、コントローラ２１に対して行われた操作内容に応じてゲームプログラムを実行する。
　また、コンピュータ１１は、波形信号を含む制御信号をコントローラ２１に送信することにより、コントローラ２１からユーザへのハプティクスによる「力覚」、「圧覚」及び「触覚」の少なくとも１つ（以下、触力覚と称することがある。）の提示（以下、ハプティクス提示と称することがある。）を行う。ここで、「力覚」は、例えば、引っ張られたり、押されたりされたときの感触、及び対象を強く押さえたり、物がはじけたときの衝撃の感触などである。「圧覚」は、例えば、物体に接触したとき、または物体の堅さもしくは柔らかさを感じたときなどの接触感である。「触覚」は、例えば、物体の表面の触り心地、または物体の表面の凹凸度合いなどの触感及び粗さ感である。
　コンピュータ１１におけるソフトウェア及びハードウェアの階層は、アプリケーション層のゲームプログラム、中間層のＳＤＫ（Software Development Kit）、システム及びゲームエンジン、ならびに物理層のＨＷ（Hardware）によって構成される。
　ＳＤＫは、例えば、プラグインまたはオーサリングツールと、ミドルウェアと、を含む。ミドルウェアには、「力覚」、「圧覚」及び「触覚」の少なくとも１つをユーザに与えるようにコントローラ２１を振動させるプログラム（以下、対象プログラムと称することがある。）が含まれる。ゲームプログラムは、例えば、キャラクターに特定のイベントが発生すると、ＡＰＩ（Application Programming Interface）に従って対象プログラムを呼び出す。このとき、ゲームプログラムは、例えば、イベントの種類及び当該イベントの開始時刻を示すイベント情報を対象プログラムに渡す。イベントの種類は、例えばＩＤによって特定される。
　特定のイベントは、例えば、仮想現実内において、引っ張ったり押したりする外力がキャラクターに加わったこと、キャラクターが銃を撃ったこと、キャラクターが打撃を受けたこと、キャラクターの近くで爆発が発生したこと、及びキャラクターが音楽に合わせて踊っていることなどである。
　対象プログラムは、イベント情報に基づいて、イベント情報の示すイベントの種類に応じた感覚の触力覚を提示するための波形信号を生成する。対象プログラムは、生成した波形信号を、ゲームエンジン、オペレーティングシステム及びハードウェアを通じてコントローラ２１へ送信する。
　コントローラ２１は、波形信号に基づいて振動することにより、触力覚を提示する。ゲームをプレイするユーザは、例えば、振動するコントローラ２１を手で持つことで、視覚及び聴覚だけでなく、「力覚」、「圧覚」及び「触覚」の少なくとも１つによって、仮想現実におけるキャラクターの状況を認識することができる。
　次に、図１を参照して、本実施形態に係るゲーム開発システムのハードウェア構成を説明する。コンピュータ１１は、ＣＰＵ（Central Processing Unit）１２と、メモリ１３と、ディスク１４と、オーディオインターフェース（Ｉ／Ｆ）１５と、ＧＰＵ（Graphics Processing Unit）１６と、通信インターフェース（Ｉ／Ｆ）１７と、バス１８と、を含む。コントローラ２１は、ＭＣＵ（Micro Controller Unit）２２と、通信インターフェース（Ｉ／Ｆ）２３と、ハプティクス出力駆動器２４と、ハプティクス素子２５と、センサ入力駆動器２６と、センサ素子２７と、を含む。
　コンピュータ１１では、ＣＰＵ１２、メモリ１３、ディスク１４、オーディオインターフェース１５、ＧＰＵ１６及び通信インターフェース１７は、互いにデータの送受信が可能なようにバス１８を通じて接続される。
　本実施形態では、ディスク１４は、ＨＤＤ（Hard Disk Drive）などの読み書きが可能な不揮発性の記憶装置であり、ゲームプログラム及びＳＤＫなどのプログラム（コード）が保存されている。なお、ディスク１４は、ＨＤＤに限定するものではなく、ＳＳＤ（Solid State Drive）、メモリーカードまたは読み込み専用のＣＤ－ＲＯＭ（Compact Disc Read Only Memory）若しくはＤＶＤ－ＲＯＭ（Digital Versatile Disc-Read Only Memory）などの他の記憶媒体であってもよい。また、対象プログラムなどのプログラムは、外部からインストールすることができる。また、対象プログラムなどのプログラムは、ディスク１４のようなコンピュータ１１によって読み取り可能な記憶媒体に格納された状態で流通する。なお、対象プログラムなどのプログラムは、通信インターフェースを経由して接続されたインターネット上で流通するものであってもよい。
　メモリ１３は、ＤＲＡＭ（Dynamic Random Access Memory）などの揮発性の記憶装置である。通信インターフェース１７は、コントローラ２１における通信インターフェース２３と各種データの送受信を行う。この通信は、有線及び無線のいずれで実行されてもよく、互いの通信が実行できるのであれば、どのような通信プロトコルを用いてもよい。通信インターフェース１７は、ＣＰＵ１２からの指示に従って各種データをコントローラ２１へ送信する。また、通信インターフェース１７は、コントローラ２１から送信された各種データを受信し、受信したデータをＣＰＵ１２へ出力する。
　ＣＰＵ１２は、プログラムの実行時において、ディスク１４に保存された当該プログラム及び当該プログラムの実行に必要なデータをメモリ１３に転送する。ＣＰＵ１２は、プログラムの実行に必要な処理命令及びデータをメモリ１３から読み出し、処理命令の内容に従って演算処理を実行する。このとき、ＣＰＵ１２は、プログラムの実行に必要なデータを新たに生成してメモリ１３に保存する場合がある。なお、ＣＰＵ１２は、プログラム及びデータをディスク１４から取得する構成に限らず、インターネットを経由してサーバなどから取得する構成であってもよい。
　具体的には、ＣＰＵ１２は、例えば、ユーザ操作に応じてゲームプログラムを作成し、作成されたゲームプログラムをメモリ１３又はディスク１４などの記憶部に記憶する。さらに、ＣＰＵ１２は、例えば、作成されたゲームプログラムの実行時において、ユーザのコントローラ２１に対する操作内容を受けて、操作内容に応じた処理命令を実行し、仮想現実内のキャラクターに動きを与える。このとき、ＣＰＵ１２は、仮想現実内のキャラクターの状況に応じて、ハプティクス提示、映像表示及び音声出力を行うための処理を行う。
　より具体的には、ＣＰＵ１２は、例えば、仮想現実内において、引っ張ったり押したりする外力がキャラクターに加わったときに、当該外力が加わったときに感じる力覚感のハプティクス提示をするための波形信号を生成する。
　また、ＣＰＵ１２は、例えば、仮想現実内において、キャラクターが銃を撃ったときに、銃を撃ったときなどに感じる反動感のハプティクス提示をするための波形信号を生成する。
　また、ＣＰＵ１２は、例えば、仮想現実内において、キャラクターが打撃を受けたときに、打撃を受けたときなどに感じる衝撃感のハプティクス提示をするための波形信号を生成する。
　また、ＣＰＵ１２は、例えば、仮想現実内において、キャラクターが音楽に合わせて踊っているときに、音楽的なビートやリズムなどに対して感じる躍動感のハプティクス提示をするための波形信号を生成する。
　ＣＰＵ１２は、生成した波形信号をデジタル符号化することによってハプティクス情報を生成し、生成したハプティクス情報を通信インターフェース１７経由でコントローラ２１へ送信する。
　また、ＣＰＵ１２は、仮想現実内で動くキャラクター及び背景などの映像表示に必要な画面情報を生成し、生成した画面情報をＧＰＵ１６へ出力する。ＧＰＵ１６は、例えば、ＣＰＵ１２から画面情報を受けて、画面情報に基づいてレンダリングなどを行い、３Ｄグラフィクスなどの映像を含むデジタル映像信号を生成する。ＧＰＵ１６は、生成したデジタル映像信号をディスプレイモニタ２０へ送信することによって、ディスプレイモニタ２０に３Ｄグラフィクスなどを表示させる。
　また、ＣＰＵ１２は、仮想現実内のキャラクターの環境、動き及び状況などに応じた音声を示す音声情報を生成し、生成した音声情報をオーディオインターフェース１５へ出力する。オーディオインターフェース１５は、例えば、ＣＰＵ１２から音声情報を受けて、受けた音声情報に基づいてレンダリングなどを行い、音声信号を生成する。オーディオインターフェース１５は、生成した音声信号をスピーカ１９へ送信することによって、スピーカ１９から音声を出力させる。
　コントローラ２１におけるハプティクス素子２５は、電気信号を力学的な振動に変換する振動アクチュエータであり、例えば、振動緩和の周波数帯域が広いボイスコイルアクチュエータである。なお、ハプティクス素子２５は、偏心モータ、リニア共振アクチュエータ、電磁アクチュエータ、圧電アクチュエータ、超音波アクチュエータ、静電アクチュエータまたは高分子アクチュエータなどであってもよい。コントローラ２１におけるハプティクス素子２５の数は、１つであってもよいし、複数であってもよい。
　ＭＣＵ２２は、ハプティクス出力駆動器２４及びセンサ入力駆動器２６を制御する。具体的には、ＭＣＵ２２は、例えば、電源の供給を受けたときに、ＲＯＭ（図示しない）に保存されたプログラムを読み出し、当該プログラムの内容に従って演算処理を実行する。
　本実施形態では、ＭＣＵ２２は、例えば、コンピュータ１１から通信インターフェース２３経由でハプティクス情報を受信すると、受信したハプティクス情報に基づいてハプティクス出力駆動器２４を制御し、ハプティクス素子２５によってハプティクス提示を行う。
　具体的には、ＭＣＵ２２は、ハプティクス情報をハプティクス出力駆動器２４へ出力する。ハプティクス出力駆動器２４は、ＭＣＵ２２からハプティクス情報を受けて、受けたハプティクス情報に基づいて、波形信号に応じた電気信号であって、ハプティクス素子２５を駆動可能なアナログの電気信号を生成してハプティクス素子２５へ出力する。これにより、ハプティクス素子２５が電気信号に基づいて振動し、ハプティクス提示が行われる。
　センサ素子２７は、例えば、コントローラ２１に設けられているジョイスティック及びボタンといったユーザの操作を受ける操作部の動きを検知し、検知結果を示すアナログの電気信号をセンサ入力駆動器２６へ出力する。
　センサ入力駆動器２６は、例えば、ＭＣＵ２２の制御に従って動作し、駆動に必要な電力をセンサ素子２７に供給するとともに、センサ素子２７から電気信号を受けて、受けた電気信号をデジタル信号に変換する。センサ入力駆動器２６は、変換したデジタル信号をＭＣＵ２２へ出力する。ＭＣＵ２２は、センサ入力駆動器２６から受けるデジタル信号に基づいて、ユーザのコントローラ２１に対する操作内容を示す操作情報を生成して通信インターフェース２３経由でコンピュータ１１へ送信する。
　［信号生成装置の構成］
　図２は、本実施形態に係る信号生成装置の構成を示すブロック図である。信号生成装置１は、例えば、コンピュータ１１におけるＣＰＵ１２において、対象プログラムの一例である信号生成プログラムを実行させることによって実現されるものである。
　信号生成装置１は、機能ブロックとして、対象物から提示する触力覚の方向を示す情報を含む設定情報を受け付ける方向入力部２０２と、方向入力部２０２により受け付けた設定情報に基づく触力覚を提示するための波形信号を生成する信号生成部２０６とを備える。対象物から提示する触力覚の方向を示す設定情報は、触力覚を生成するための振動の周波数や振幅などの設定情報と比較して、ユーザはより直感的に触力覚で体感できる感覚を把握しやすい。従って、本実施形態に係る信号生成装置１によれば、提示する触力覚のより直感的な設定を行うことが可能である。また、より直感的に触力覚を提示する方向を設定可能であることにより、より臨場感の高い触力覚をユーザに提示することが容易となる。
　また、信号生成装置１は、対象物から提示する触力覚の強度を示す情報を含む設定情報を受け付ける強度入力部２０３を備える。さらに、信号生成装置１は、時間軸設定部２０１、パラメータ生成部２０４、及び基本波形登録部２０５を備える。また、時間軸設定部２０１、方向入力部２０２、及び強度入力部２０３は、信号生成装置１により、ディスプレイモニタ２０へのユーザインタフェース（グラフィカルユーザインタフェース）の表示を制御するための機能を含んでもよい。以下に各機能ブロックについてさらに詳細に説明する。
　時間軸設定部２０１は、触力覚の提示のために生成する信号の長さ、すなわち、提示する触力覚の時間軸を設定する。触力覚の時間軸は、触力覚の提示を開始、又は終了するタイミングの情報を含んでもよい。時間軸設定部２０１は、例えば、操作部を介したユーザ入力に応じて、触力覚の時間軸を設定してもよいし、予め定められた時間軸が設定されてもよい。また、時間軸設定部２０１は、ユーザ入力に応じて、提示する触力覚の分解度（周波数）を設定することも可能である。
　提示する触力覚の分解度とは、後述する方法により設定又は編集可能な触力覚の粒度（単位）である。例えば、分解度が１／３０［秒］で設定された場合、３０分の１秒単位で提示する触力覚の設定（例えば、方向又は強度の設定）を行うことが可能である。
　提示する触力覚の時間軸は、参考波形に基づいて設定されてもよい。参考波形は、例えば、音声データ又は映像データなど、波形に変換可能なデータを解析することにより得られる波形である。時間軸設定部２０１は、例えば、ユーザ入力に応じて取得した音声データ又は映像データを解析することにより、参考波形を設定する。時間軸設定部２０１は、設定された参考波形の長さ（時間長）に基づいて、提示する触力覚の時間軸を設定してもよい。なお、音声データ又は映像データは、例えば、メディアを介して、又はストリーミング形式で取得されるが、データの取得方法又は形式は、どのようなものであってもよい。
　時間軸設定部２０１は、上記のように設定された時間軸、分解度、及び参考波形の情報を信号生成装置１からディスプレイモニタ２０へ送信するための処理を行う。ディスプレイモニタ２０は、受信した時間軸、分解度、及び参考波形の情報に基づいて、表示を制御する。
　図３は、ディスプレイモニタ２０が受信した時間軸、分解度、及び参考波形の情報に基づいてディスプレイモニタ２０に表示されたユーザインタフェース画像（以下、単に「ユーザインタフェース」と称する。）の例を示している。図３には、参考波形として、「参考波形Ａ」及び「参考波形Ｂ」の波形が時間軸方向に沿って示されている。さらに、図３には、触力覚の時間軸として、「方向強度波形」の時間軸が示されている。図３に示す例において、触力覚の時間軸は、「参考波形Ａ」及び「参考波形Ｂ」の時間軸と開始及び終了が対応付けられて並べて表示されている。すなわち、触力覚の時間軸は、「参考波形Ａ」及び「参考波形Ｂ」の時間軸と同じ長さで設定されている。
　ユーザは、ディスプレイモニタ２０に表示された図３に示すような画像を参照しながら、設定された時間軸において提示する触力覚を生成又は編集することが可能である。例えば、ユーザは、「参考波形Ａ」及び「参考波形Ｂ」を参照しながら、時間軸上において、提示する触力覚の方向及び強度を指定することができる。
　また、参考波形に基づいて、触力覚の波形を生成することも可能である。例えば、「参考波形Ａ」又は「参考波形Ｂ」にフィルタをかけて得られたデータ、又は当該参考波形の一部のデータに基づいて、触力覚の波形を生成することも可能である。また、参考波形に基づいて生成された触力覚の波形に対して、後述する方法により、方向又は強度の編集を行うことも可能である。生成又は編集された触力覚の波形は、例えば、図３に示すような画像に「方向強度波形」として時間軸方向に沿って表示される。
　他の例として、時間軸設定部２０１は、参考波形を表示又は使用せずに、ユーザ操作に基づいて、触力覚の時間軸又は分解度を設定することも可能である。
　方向入力部２０２は、触力覚を提示する方向を設定する。触力覚を提示する方向とは、触力覚を提示する対象物（例えば、コントローラ２１）の位置を基準とした方向である。例えば、「触力覚を前方向に提示する」とは、対象物の位置を基準として前方向に触力覚（すなわち、対象物が前方向に引っ張られる感覚、又は当該対象物を前方向に引っ張るトルクなどの物理量）を設定された期間において連続的に提示することを意味する。期間の設定は、後述するように触力覚を提示する時間軸に沿って設定される。方向入力部２０２は、上下方向、左右方向、前後方向、斜め方向など、任意の方向に、触力覚を連続的に提示する方向を設定可能である。
　方向入力部２０２は、例えば、ユーザ入力に基づいて、指定されたタイミングにおいて提示する触力覚の方向を設定する。すなわち、設定された触力覚の方向（設定情報）は、対象物から提示する触力覚のタイムライン（時間軸）上における時間に対応付けられている。方向入力部２０２は、ユーザ入力に基づいた触力覚の方向の設定のためのユーザインタフェースをディスプレイモニタ２０に表示するために、信号生成装置１からディスプレイモニタ２０へ必要な情報を送信するための処理を行う。
　図４は、ユーザ入力に基づいた触力覚の方向の設定のためのユーザインタフェースとして、ディスプレイモニタ２０に表示された画像の例を示している。例えば、ユーザが操作部を介して、図４に示す画像の所望の位置を選択すると、選択された位置に対応する方向の触力覚が設定される。例えば、「前方向（＋）」と表示された領域が選択されると、前方向の触力覚が提示されるように設定され、「下方向（－）」と表示された領域が選択されると、下方向の触力覚が提示されるように設定される。また、選択された位置に対応する時間軸上の位置（すなわち、横方向の軸上の位置）に応じたタイミングで、設定された方向の触力覚が提示されるように設定される。すなわち、ユーザは、図４に示すようなユーザインタフェースを介して、触力覚の方向及びその方向で触力覚を提示するタイミングを設定することができる。その結果、本実施形態によれば、提示する触力覚をより直感的に設定可能である。
　強度入力部２０３は、触力覚を提示する強度を設定する。強度入力部２０３は、例えば、ユーザ入力に基づいて、指定されたタイミングにおいて提示する触力覚の強度を設定する。すなわち、設定された触力覚の強度（設定情報）は、対象物から提示する触力覚のタイムライン上における時間に対応付けられている。強度入力部２０３は、ユーザ入力に基づいた触力覚の強度の設定のためのユーザインタフェースをディスプレイモニタ２０に表示するために、信号生成装置１からディスプレイモニタ２０へ必要な情報を送信するための処理を行う。
　図５は、ユーザ入力に基づいた触力覚の強度の設定のためのユーザインタフェースとして、ディスプレイモニタ２０に表示された画像の例を示している。図５の画像に示された波形は、時間軸上の各タイミングにおいて提示される触力覚の強度を示している。図５の画像の横軸は、提示される触力覚の時間軸であり、縦軸は提示される触力覚の強度である。例えば、ユーザが操作部を介して、図５に示すような波形の形状を所望の形状に変形することにより、変形後の波形の形状に応じた強度の触力覚を設定することができる。すなわち、ユーザは、図５に示すようなユーザインタフェースを介して、触力覚の強度及びその強度の触力覚を提示するタイミングを設定することができる。その結果、本実施形態によれば、提示する触力覚をより直感的に設定可能である。
　パラメータ生成部２０４は、方向入力部２０２により設定された情報と、強度入力部２０３により設定された情報に基づいて、提示する触力覚のパラメータを生成する。より詳細には、パラメータ生成部２０４は、触力覚を提示するタイミングに対応付けられた触力覚の方向及び強度のパラメータを生成する。例えば、触力覚を提示する方向を符号（例えば、「＋」（プラス）又は「－」（マイナス））で示し、提示する触力覚の強度を数値で示し、当該符号及び数値を組み合わせることにより、触力覚の方向及び強度を示すパラメータを生成することができる。また、パラメータ生成部２０４は、当該触力覚の方向及び強度を示すパラメータとタイミングを示すパラメータを対応付けることにより、触力覚を提示するタイミングに対応付けられた触力覚の方向及び強度のパラメータを生成することが可能である。
　本実施形態によれば、図４及び図５を参照して説明したように、時間軸に沿って設定された触力覚の方向及び強度の情報（設定情報）は、ユーザインタフェースを介したユーザ入力に基づく情報を含んでもよく、パラメータ生成部２０４は、当該設定情報に基づいて、提示する触力覚のパラメータを生成してもよい。
　本実施形態において、方向入力部２０２により触力覚の方向を設定し、強度入力部２０３により触力覚の強度を設定する方法を説明したが、これに限定されない。例えば、パラメータ生成部２０４が、所定のタイミングで提示する触力覚の方向及び強度を同時に設定し、当該設定に基づくパラメータを生成してもよい。この場合において、パラメータ生成部２０４は、例えば、ユーザ入力に基づいた触力覚の方向及び強度の設定のためのユーザインタフェースをディスプレイモニタ２０に表示するために、信号生成装置１からディスプレイモニタ２０へ必要な情報を送信する処理を行う。
　図６は、ユーザ入力に基づいた触力覚の方向及び強度の設定のためのユーザインタフェースとして、ディスプレイモニタ２０に表示された画像の例を示している。図６の画像の横軸は、提示される触力覚の時間軸であり、縦軸は提示される触力覚の強度である。図６の画像に示された波形は、時間軸上の各タイミングにおいて提示される触力覚の方向及び強度を示している。図６の画像において、「前方向強度」の領域である上側（プラス側）の領域は、前方向の触力覚であることを示し、位置が上であるほど、触力覚の強度が強いことを示す。「後方向強度」の領域である下側（マイナス側）の領域は、後方向の触力覚であることを示し、位置が下であるほど、触力覚の強度が強いことを示す。すなわち、図６の例において、波形が「前方向強度」の領域にある期間において、縦軸位置に応じた強度で前方向の触力覚が連続的に提示されるように設定され、波形が「後方向強度」の領域にある期間において、縦軸位置に応じた強度で後方向の触力覚が連続的に提示されるように設定される。
　例えば、ユーザが操作部を介して、図６に示すような波形画像の形状を所望の形状に変形することにより、変形後の波形画像の形状に応じた方向及び強度の触力覚を設定することができる。パラメータ生成部２０４は、変形後の波形画像の形状に応じて、提示する触力覚のパラメータを生成する。すなわち、ユーザは、図６に示すようなユーザインタフェースを介した画像操作に基づいて、触力覚の方向及び強度、並びにその方向及び強度の触力覚を提示するタイミングを含む情報（設定情報）を設定することができる。その結果、本実施形態によれば、提示する触力覚をより直感的に設定可能である。
　ユーザインタフェースを介した触力覚の方向及び強度の設定方法の他の例として、ユーザは、提示する触力覚の方向、強度、及びタイミングを表す波形のカーブするポイント（カーブポイント）を、操作部を介して指定し、パラメータ生成部２０４は、指定されたカーブポイント間を結ぶ（補完する）波形を生成してもよい。また、カーブポイントのカーブの緩急（カーブ半径）は、ユーザ入力に応じて設定可能であってもよい。パラメータ生成部２０４は、生成された波形に基づいて、提示する触力覚のパラメータを生成する。このようにカーブポイントを指定することで波形を生成可能にすることにより、ユーザによる操作入力を最小限にし、短時間で触力覚のパラメータを生成することが可能となる。
　また、図６を参照して説明した例では、前方向及び後方向の二方向を設定可能としたが、これに限定されない。パラメータ生成部２０４は、ユーザインタフェースを介して、上下方向、左右方向、前後方向、斜め方向など、三次元上の任意の方向に、触力覚を提示する方向を設定可能にし、当該設定に基づくパラメータを生成してもよい。この場合において、ユーザ操作等に応じて、図６に示したユーザインタフェースの上側（プラス側）及び下側（マイナス側）のそれぞれと、触力覚を提示する方向とを対応付けることができる。また、設定可能な方向の数を二方向ではなく、一方向、又は三方向以上とすることも可能である。
　図７を参照して、ユーザ操作に応じて図６に示したユーザインタフェースの上側（プラス側）及び下側（マイナス側）のそれぞれと、触力覚を提示する方向とを対応付ける方法の例を説明する。図７は、ディスプレイモニタ２０に表示されたユーザインタフェースの例を示している。図７には、触力覚を提示するコントローラの画像と、矢印の画像が示されている。図７に示す例において、二つの矢印のうち一方は、前方向への触力覚の提示がプラス側に対応付けられ、後方向への触力覚の提示がマイナス側に対応付けられていることが示されている。ユーザは、操作部を介して、「前方向」を「上方向」に変更したり、「後方向」を「下方向」に変更したり、矢印画像の位置を変更等することにより、図６に示したユーザインタフェースの上側（プラス側）及び下側（マイナス側）のそれぞれと、触力覚を提示する方向との間の対応付けを変更することができる。
　上記において、ユーザインタフェースを介した画像操作やカーブポイントの指定により、触力覚の方向及び強度を時間軸で示す波形の生成について説明したが、当該波形の生成方法はこれらに限定されない。
　例えば、パラメータ生成部２０４は、自動的に（所定のアルゴリズムに基づいて）、提示する触力覚の方向及び強度を時間軸で示す波形を生成してもよい。自動的に波形を生成する方法の例として、パラメータ生成部２０４は、上述のとおり、音声データ又は映像データ（又は、参考波形）に基づいて、提示する触力覚の方向及び強度を時間軸に沿って設定する情報（設定情報）を生成してもよい。
　この場合において、パラメータ生成部２０４は、音声データ又は映像データのフィルタ処理後のデータに基づいて、触力覚の方向及び強度を時間軸で示す波形（すなわち、時間軸に沿った触力覚の方向及び強度の設定情報）を生成してもよい。音声データ又は映像データのフィルタ処理により、例えば、所定の周波数要素のデータが抽出され、当該抽出されたデータに基づいて波形が生成されてもよい。
　また、パラメータ生成部２０４は、音声データ又は映像データの特徴量を抽出し、当該特徴量に基づいて、触力覚の方向及び強度を時間軸で示す波形（すなわち、時間軸に沿った触力覚の方向及び強度の設定情報）を生成してもよい。特徴量の抽出のために、パターン認識の技術が採用されてもよい。
　また、時間軸に沿った触力覚の方向及び強度の設定情報の生成のために、機械学習又はディープラーニングなどの人工知能の技術が採用されてもよい。例えば、音声データ又は映像データから抽出された特徴量を説明変数とし、触力覚の情報を目的変数として学習されたモデルを用いて、音声データ又は映像データから触力覚の情報（時間軸に沿った触力覚の方向及び強度の設定情報を含む。）が特定（生成）されてもよい。当該学習されたモデルは、信号生成装置１の記憶部（図示せず）に記憶されていてもよいし、信号生成装置１の外部から取得してもよい。当該学習されたモデルを用いた触力覚の情報の特定（生成）は、パラメータ生成部２０４により実施されてもよい。
　その他、時間軸に沿った触力覚の方向及び強度の自動設定のために、ユーザ入力により、データベースに記憶された設定情報、又はテンプレートが選択され、当該選択された設定情報又はテンプレートをつなぎ合わされたりしてもよい。また、信号生成装置１に接続された入力デバイスとの連携により（例えば、モーションキャプチャーやマウスなどの動きに応じた入力）に基づいて、時間軸に沿った触力覚の方向及び強度が自動的に設定されてもよい。また、リモート・ネットワークシステムを利用した遠隔でのデバイスとの連携により、時間軸に沿った触力覚の方向及び強度の設定が自動的に行われてもよい。
　また、手動で、時間軸に沿った触力覚の方向及び強度を設定することも可能である。例えば、パラメータ生成部２０４は、ユーザ入力に基づいて、時間情報に対応付けられた触力覚の方向及び強度の情報（例えば、時間、方向、及び強度を示すパラメータの配列データ）を取得し、当該情報に基づいて、パラメータを生成してもよい。
　図２の説明に戻り、基本波形登録部２０５は、対象物から所定方向の触力覚を提示するためのハプティクス素子（例えば、ハプティクス素子２５）の振動の基本波形信号を記憶し登録する。ハプティクス素子ごとに特性が異なるため、同じ基本波形信号で振動させてもハプティクス素子ごとに異なる触力覚が提示される場合がある。そのため、基本波形登録部２０５は、同じ方向の触力覚を提示するために、ハプティクス素子ごとに異なる基本波形を登録してもよいし、一つの基本波形をハプティクス素子に応じて変更可能なように登録してもよい。
　対象物から所定方向の触力覚を提示するためのハプティクス素子２５の振動の基本波形信号は、上下方向、左右方向、前後方向、斜め方向など、三次元上のあらゆる方向に触力覚を連続的に提示するための振動の波形信号を含む。所定方向の触力覚を連続的に提示するためのハプティクス素子２５の振動の基本波形信号は、任意の方法で生成される。例えば、特許第４１１１２７８号公報に記載の方法に基づいて基本波形信号が生成されてもよい。
　信号生成部２０６は、入力部（方向入力部２０２、強度入力部２０３、又はパラメータ生成部２０４）により受け付けた設定情報（又は生成されたパラメータ）に基づく触力覚を提示するための波形信号を生成する。例えば、信号生成部２０６は、対象物から所定方向の触力覚を提示するための基本波形信号の組み合わせに基づいて、上記入力部により受け付けた設定情報（又は生成されたパラメータ）に基づく触力覚を提示するための波形信号を生成する。より詳細には、信号生成部２０６は、基本波形登録部２０５を参照し、上記入力部により受け付けた設定情報等に基づく触力覚を提示するために必要な１つ又は複数の基本波形信号を特定し、当該特定された基本波形信号を組み合わせることにより、上記入力部により受け付けた設定情報等に基づく触力覚を提示するための波形信号を生成する。
　図８及び図９を参照して、信号生成部２０６により、前方向（＋方向）又は後方向（－方向）に所定の強度で触力覚を提示するための波形信号の生成方法をさらに詳しく説明する。図８に示すように、信号生成部２０６は、上記入力部により受け付けた触力覚の設定情報（各時間の方向強度の情報）を取得する。図９の（３）は、当該設定情報に基づく触力覚の方向及び強度を時間軸で示す波形の例を概念的に示している。
　次に、信号生成部２０６は、基本波形登録部２０５を参照し、上記設定情報に基づく触力覚を提示するために必要な基本波形信号として、１つ又は複数の前方向単一波形及び後方向単一波形の信号を取得する。図９の（１）は、前方向単一波形の例、図９の（２）は、後方向単一波形の例をそれぞれ概念的に示している。
　次に、信号生成部２０６は、上記設定情報が前方向（＋方向）を示している期間の波形信号の生成のために、上記で取得された対応する前方向単一波形（基本波形信号）を設定された時間軸に従ってつなぎ合わせる。また、信号生成部２０６は、上記設定情報が後方向（－方向）を示している期間の波形信号の生成のために、上記で取得された対応する後方向単一波形（基本波形信号）を設定された時間軸に従ってつなぎ合わせる。図９の（４）は、つなぎ合わせた基本波形信号の例を概念的に示している。前方向単一波形がつなぎ合わされた期間においては、前方向の触力覚を連続的に提示するための波形信号が生成され、後方向単一波形がつなぎ合わされた期間においては、後方向の触力覚を連続的に提示するための波形信号が生成される。
　次に、信号生成部２０６は、上記でつなぎ合わせた基本波形信号に対して、上記設定情報が示す時間軸に対応付けられた強度をかけあわせる（すなわち、強度を設定する）。図９の（５）は、つなぎ合わせた基本波形信号に強度を設定することにより得られた波形信号の例を概念的に示している。
　上記の処理により、前方向及び後方向などの直感的な設定に基づいて、ユーザが意図した揺らし方（意図した方向、強度及び時間軸）の触力覚を提示するための波形信号を生成することができる。
＜実施例＞
　本実施形態の具体的な実施例を以下に説明する。本実施形態は、様々な方法により実施可能であり、実施例は下記に限定されない。
　実施例１
　図１０を参照して、実施例１について説明する。実施例１では、ゲーム開発システム３は、少なくとも１つのコンピュータ１１ａと、コントローラ２１とを備える。コンピュータ１１ａは、コンピュータ１１の具体例である。ゲーム開発システム３は、上記で説明した他の構成を備えてもよい。ゲーム開発システム３は、本実施例及び他の実施例において、ゲーム開発用のシステムとしてだけでなく、ゲーム実行用のシステムとしても適用可能である。コンピュータ１１ａは、コントローラ２１との間で通信を行う。コンピュータ１１ａと、コントローラ２１との間の通信は、任意の方法で行われ、有線通信又は無線通信の何れであってもよいし、インターネットなどのネットワークを介した通信であってもよい。他の実施例において行われるコンピュータ１１と、コントローラ２１との間の通信、及び複数のコンピュータ１１間の通信においても同様である。
　実施例１において、コンピュータ１１ａは、機能構成として、パラメータ入力部１１１、信号生成部１１２、及びデバイス出力部１１３を備える。
　パラメータ入力部１１１は、提示される触力覚のパラメータを信号生成部１１２に入力する。パラメータ入力部１１１による処理は、図２を参照して説明した時間軸設定部２０１、方向入力部２０２、及び強度入力部２０３、パラメータ生成部２０４、及び基本波形登録部２０５の少なくとも一部による処理に対応してもよい。
　パラメータ入力部１１１から信号生成部１１２に入力されるパラメータは、音声データ又は映像データから抽出された特徴量に基づく方向又は強度に関する触力覚のパラメータであってもよい。また、時間軸に対して、コントローラ２１に対する操作又はモーションキャプチャーにより特定されたユーザの動きが検出され、当該検出結果に基づいて時間軸に対応するように生成された方向又は強度に関する触力覚のパラメータがパラメータ入力部１１１から信号生成部１１２に入力されてもよい。信号生成部１１２に入力されるパラメータは、時間軸に対応付けてランダムに生成されてもよい。ゲームに登場するキャラクターアニメーションの動作が検出され、当該検出結果に基づいて時間軸に対応するように生成された方向又は強度に関する触力覚のパラメータがパラメータ入力部１１１から信号生成部１１２に入力されてもよい。信号生成部１１２に入力されるパラメータは、時間軸に対応付けて予め登録された触力覚のパラメータであってもよい。
　信号生成部１１２は、パラメータ入力部１１１から入力されたパラメータに基づいて、触力覚を提示するための波形信号を生成し、デバイス出力部１１３に出力する。信号生成部１１２による処理は、上述の信号生成部２０６による処理に対応してもよい。
　デバイス出力部１１３は、信号生成部１１２から出力された波形信号をコントローラ２１へ送信する通信インタフェースである。デバイス出力部１１３は、例えば、上述の通信インターフェース１７により実現される。
　実施例２
　図１１を参照して、実施例２について説明する。実施例２では、実施例１で説明したコンピュータ１１の機能が２つのコンピュータ１１で実現される。実施例２では、ゲーム開発システム３は、コンピュータ１１ｂ、コンピュータ１１ｃ、及びコントローラ２１を備える。コンピュータ１１ｂ、及びコンピュータ１１ｃは、コントローラ１１の具体例である。コンピュータ１１ｂ、及びコンピュータ１１ｃはそれぞれ、上記で説明したコントローラ１１の少なくとも一部のハードウェア構成と同様のハードウェア構成を備える。コンピュータ１１ｂは、コンピュータ１１ｃと、コントローラ２１との間で通信を行う。本実施例における通信は、任意の方法で行われ、有線通信又は無線通信の何れであってもよいし、インターネットなどのネットワークを介した通信であってもよい。
　図１１に示すように、コンピュータ１１ｂは、機能構成として、パラメータ入力部１１１、及びデバイス出力部１１３を備える。コンピュータ１１ｃは、機能構成として、信号生成部１１２を備える。すなわち、本実施例において、パラメータはコンピュータ１１ｂからコンピュータ１１ｃに入力され、信号生成は、コンピュータ１１ｃにて行われる。生成された当該信号は、コンピュータ１１ｃからコンピュータ１１ｂに送信される。コンピュータ１１ｂと、コンピュータ１１ｃとの間の通信は、コンピュータ１１ｂと、コンピュータ１１ｃとが備える受信インタフェース又は送信インタフェースを介して実現される。図１１に示すパラメータ入力部１１１、信号生成部１１２、デバイス出力部１１３による処理は、実施例１と同様であるため、ここでは説明を省略する。
　実施例３
　図１２を参照して、実施例３について説明する。実施例３では、実施例１で説明したコンピュータ１１の機能が３つのコンピュータ１１で実現される。実施例３では、ゲーム開発システム３は、コンピュータ１１ｄ、コンピュータ１１ｅ、コンピュータ１１ｆ、及びコントローラ２１を備える。コンピュータ１１ｄ、コンピュータ１１ｅ、及びコンピュータ１１ｆは、コントローラ１１の具体例である。コンピュータ１１ｄ、コンピュータ１１ｅ、及びコンピュータ１１ｆはそれぞれ、上記で説明したコントローラ１１の少なくとも一部のハードウェア構成と同様のハードウェア構成を備える。コンピュータ１１ｄは、コンピュータ１１ｅとの間で通信を行う。コンピュータ１１ｅは、コンピュータ１１ｆとの間で通信を行う。コンピュータ１１ｆは、コントローラ２１との間で通信を行う。本実施例における通信は、任意の方法で行われ、有線通信又は無線通信の何れであってもよいし、インターネットなどのネットワークを介した通信であってもよい。
　図１２に示すように、コンピュータ１１ｄは、機能構成として、パラメータ入力部１１１を備える。コンピュータ１１ｅは、機能構成として、信号生成部１１２を備える。コンピュータ１１ｆは、機能構成として、デバイス出力部１１３を備える。すなわち、本実施例において、パラメータはコンピュータ１１ｄからコンピュータ１１ｅに入力され、信号生成は、コンピュータ１１ｅにて行われる。生成された当該信号は、コンピュータ１１ｅからコンピュータ１１ｆに送信される。複数のコンピュータ１１の間の通信は、各コンピュータ１１が備える受信インタフェース又は送信インタフェースを介して実現される。図１２に示すパラメータ入力部１１１、信号生成部１１２、デバイス出力部１１３による処理は、実施例１と同様であるため、ここでは説明を省略する。
　実施例４
　図１３を参照して、実施例４について説明する。図１３に示すように、ゲーム開発システム３は、コンピュータ１１ｇ、及び記憶媒体３１を備える。実施例４では、実施例１から実施例３のいずれかの方法で生成された触力覚を提示するための波形信号が記憶媒体３１に記憶され、記憶媒体３１からコンピュータ１１ｇに出力される。記憶媒体３１は、任意の方法で構成され、例えば、ＨＤＤ、若しくはＳＳＤなどの読み書きが可能な不揮発性の記憶装置、又はメモリーカード若しくは読み込み専用のＣＤ－ＲＯＭ（若しくはＤＶＤ－ＲＯＭ）の可搬性の記憶媒体などの他の記憶媒体であってもよい。記憶媒体３１からコンピュータ１１ｇへの波形信号の出力のための通信は任意の方法により行われる。コンピュータ１１ｇは、機能構成として、デバイス出力部１１３を備える。デバイス出力部１１３による処理は、実施例１と同様であるため、ここでは説明を省略する。
＜変形例＞
　本実施形態において、ユーザインタフェースを介した画像操作や自動処理に応じて設定された情報（設定情報）に基づいて、触力覚を提示するための波形信号を生成する処理を説明したが、波形信号を生成する処理の方法はこれに限定されない。
　例えば、設定情報（時間軸に沿った触力覚の方向及び強度）は、ユーザインタフェースを介した文字入力に基づいて生成されてもよい。この場合において、ゲームプログラムのプログラミングを行うユーザは、操作部を介して（タイピングやマウス操作等により）、上記設定情報の生成のための関数又はメソッドを文字入力し、さらに、当該関数又はメソッドのパラメータとして、時間軸に沿った触力覚の方向及び強度の設定情報を文字入力することができる。その後、信号生成部２０６は、当該文字入力に基づいて、触力覚を提示するための波形信号を生成してもよい。
　なお、以上説明した各実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更／改良され得るとともに、本発明にはその等価物も含まれる。即ち、各実施形態に当業者が適宜設計変更を加えたものも、本発明の特徴を備えている限り、本発明の範囲に包含される。例えば、各実施形態が備える各要素及びその配置、材料、条件、形状、サイズなどは、例示したものに限定されるわけではなく適宜変更することができる。また、各実施形態は例示であり、異なる実施形態で示した構成の部分的な置換又は組み合わせが可能であることは言うまでもなく、これらも本発明の特徴を含む限り本発明の範囲に包含される。
１…信号生成装置
３…ゲーム開発システム
１１…コンピュータ
１９…スピーカ
２０…ディスプレイモニタ
２１…コントローラ
２０１…時間軸設定部
２０２…方向入力部
２０３…強度入力部
２０４…パラメータ生成部
２０５…基本波形登録部
２０６…信号生成部
 

Claims (13)

  1. 　対象物から提示する触力覚の方向を示す情報を含む設定情報を受け付ける入力部と、
    　前記入力部により受け付けた前記設定情報に基づく触力覚を提示するための波形信号を生成する生成部と
    　を備える信号生成装置。
  2. 　前記設定情報は、前記対象物から提示する触力覚の強度を示す情報を含む、請求項１に記載の信号生成装置。
  3. 　前記設定情報は、前記対象物から提示する触力覚のタイムライン上における時間に対応付けられている、請求項１又は２に記載の信号生成装置。
  4. 　前記設定情報は、ユーザインタフェースを介したユーザ入力に基づく情報を含む、請求項１から３のいずれか一項に記載の信号生成装置。
  5. 　前記設定情報は、ユーザインタフェースを介した文字入力に基づく情報を含む、請求項１から４のいずれか一項に記載の信号生成装置。
  6. 　前記設定情報は、ユーザインタフェースを介した画像操作に基づく情報を含む、請求項１から５のいずれか一項に記載の信号生成装置。
  7. 　前記設定情報は、音声データ又は映像データに基づく情報を含む、請求項１から６のいずれか一項に記載の信号生成装置。
  8. 　前記設定情報は、音声データ又は映像データのフィルタ処理後のデータに基づく情報を含む、請求項１から７のいずれか一項に記載の信号生成装置。
  9. 　前記設定情報は、音声データ又は映像データから抽出された特徴量に基づく情報を含む、請求項１から８のいずれか一項に記載の信号生成装置。
  10. 　前記設定情報は、音声データ又は映像データから抽出された特徴量を説明変数とし、触力覚を目的変数として学習されたモデルを用いて、音声データ又は映像データから特定された触力覚の情報を含む、請求項９に記載の信号生成装置。
  11. 　前記生成部は、前記対象物から所定方向の触力覚を提示するための基本波形信号の組み合わせに基づいて、前記入力部により受け付けた前記設定情報に基づく触力覚を提示するための波形信号を生成する、請求項１から１０のいずれか一項に記載の信号生成装置。
  12. 　対象物から提示する触力覚の方向を示す情報を含む設定情報を受け付けることと、
    　受け付けた前記設定情報に基づく触力覚を提示するための波形信号を生成することと
    　を含む信号生成方法。
  13. 　コンピュータを、
    　対象物から提示する触力覚の方向を示す情報を含む設定情報を受け付ける入力部、
    　前記入力部により受け付けた前記設定情報に基づく触力覚を提示するための波形信号を生成する生成部、
    　として機能させるためのプログラム。
PCT/JP2022/007643 2021-02-25 2022-02-24 信号生成装置、信号生成方法及びプログラム WO2022181702A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023502495A JPWO2022181702A1 (ja) 2021-02-25 2022-02-24
US18/454,342 US20230390635A1 (en) 2021-02-25 2023-08-23 Signal generation device, signal generation method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021028415 2021-02-25
JP2021-028415 2021-02-25

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/454,342 Continuation US20230390635A1 (en) 2021-02-25 2023-08-23 Signal generation device, signal generation method, and program

Publications (1)

Publication Number Publication Date
WO2022181702A1 true WO2022181702A1 (ja) 2022-09-01

Family

ID=83049130

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/007643 WO2022181702A1 (ja) 2021-02-25 2022-02-24 信号生成装置、信号生成方法及びプログラム

Country Status (3)

Country Link
US (1) US20230390635A1 (ja)
JP (1) JPWO2022181702A1 (ja)
WO (1) WO2022181702A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015053054A (ja) * 2013-09-06 2015-03-19 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 音声信号に関係付けられる触覚効果を生成するためのシステム及び方法
WO2019043787A1 (ja) * 2017-08-29 2019-03-07 株式会社ソニー・インタラクティブエンタテインメント 振動制御装置
JP2019185811A (ja) * 2013-11-14 2019-10-24 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ ハプティック空間化システム
JP2020112944A (ja) * 2019-01-09 2020-07-27 日本電信電話株式会社 映像処理装置、映像処理方法、及び映像処理プログラム
JP2021026618A (ja) * 2019-08-07 2021-02-22 ソニー株式会社 生成装置、生成方法、プログラム及び触覚提示デバイス

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015053054A (ja) * 2013-09-06 2015-03-19 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 音声信号に関係付けられる触覚効果を生成するためのシステム及び方法
JP2019185811A (ja) * 2013-11-14 2019-10-24 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ ハプティック空間化システム
WO2019043787A1 (ja) * 2017-08-29 2019-03-07 株式会社ソニー・インタラクティブエンタテインメント 振動制御装置
JP2020112944A (ja) * 2019-01-09 2020-07-27 日本電信電話株式会社 映像処理装置、映像処理方法、及び映像処理プログラム
JP2021026618A (ja) * 2019-08-07 2021-02-22 ソニー株式会社 生成装置、生成方法、プログラム及び触覚提示デバイス

Also Published As

Publication number Publication date
US20230390635A1 (en) 2023-12-07
JPWO2022181702A1 (ja) 2022-09-01

Similar Documents

Publication Publication Date Title
US10146311B2 (en) Haptic devices and methods for providing haptic effects via audio tracks
US10152125B2 (en) Haptically enabled flexible devices
CN100350992C (zh) 使用触觉反馈的声音数据输出和处理方法和设备
JP2020024725A (ja) 方法、非一時的コンピュータ可読媒体及びシステム
WO2016136934A1 (ja) 情報処理装置、情報処理方法、情報処理システム
US8858330B2 (en) Music video game with virtual drums
JP6893561B2 (ja) 振動制御装置
JP6959349B2 (ja) 操作デバイス、及びその制御装置
Martínez et al. Vitaki: a vibrotactile prototyping toolkit for virtual reality and video games
JP2019121368A (ja) 直観的な触覚設計
KR101640043B1 (ko) 가상 세계 처리 장치 및 방법
JP2019075096A (ja) 複数の周辺機器によるハプティック効果
JP3978506B2 (ja) 楽音生成方法
WO2022181702A1 (ja) 信号生成装置、信号生成方法及びプログラム
JP7448030B2 (ja) 信号生成装置、信号生成方法及び信号生成プログラム
WO2022075136A1 (ja) 信号生成装置、信号生成方法及び信号生成プログラム
JP7014913B2 (ja) メッセージ出力装置、学習装置、メッセージ出力方法、学習方法及びプログラム
US20230256333A1 (en) Force wave determination device, force wave determination method, and force wave determination program
WO2021235525A1 (ja) コンテンツ再生プログラム及びコンテンツ再生装置
WO2024125478A1 (zh) 音频呈现方法和设备
WO2023189406A1 (ja) 出力制御装置、出力制御プログラム及び出力制御方法
JPH08335076A (ja) 音楽演奏システム
JP2023150607A (ja) 入出力装置
KR20230148552A (ko) 물리기반렌더링을 이용한 감각인식 시스템
Carr et al. Shadow Puppetry Using the Kinect

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22759737

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023502495

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22759737

Country of ref document: EP

Kind code of ref document: A1