WO2020059758A1 - コンテンツ再生装置、触覚振動発生方法、コンピュータプログラム、触覚振動データ配信システム、及び触覚振動提供装置 - Google Patents

コンテンツ再生装置、触覚振動発生方法、コンピュータプログラム、触覚振動データ配信システム、及び触覚振動提供装置 Download PDF

Info

Publication number
WO2020059758A1
WO2020059758A1 PCT/JP2019/036577 JP2019036577W WO2020059758A1 WO 2020059758 A1 WO2020059758 A1 WO 2020059758A1 JP 2019036577 W JP2019036577 W JP 2019036577W WO 2020059758 A1 WO2020059758 A1 WO 2020059758A1
Authority
WO
WIPO (PCT)
Prior art keywords
haptic vibration
haptic
content
audio output
unit
Prior art date
Application number
PCT/JP2019/036577
Other languages
English (en)
French (fr)
Inventor
池谷　直泰
哲三 永久
史善 吉岡
柴田　晃秀
岩田　浩
Original Assignee
日本電産株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電産株式会社 filed Critical 日本電産株式会社
Priority to JP2020548556A priority Critical patent/JPWO2020059758A1/ja
Publication of WO2020059758A1 publication Critical patent/WO2020059758A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/424—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving acoustic input signals, e.g. by using the results of pitch or rhythm extraction or voice recognition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/533—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game for prompting the player, e.g. by displaying a game menu
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones

Definitions

  • the present invention relates to a content reproduction device, a haptic vibration generation method, a computer program, a haptic vibration data distribution system, and a haptic vibration providing device.
  • haptic device that generates tactile vibration that gives a tactile stimulus to a user, and outputs a tactile stimulus synchronized with the sound included in the content.
  • Patent Literature 1 discloses a method of separating an audio signal into a plurality of subband signals including a high frequency, a middle frequency, and a low frequency subband signal; Segmenting the high-frequency and low-frequency sub-band signals differently than segmenting the medium-frequency sub-band signals, wherein at least one of the events is used to generate a haptic event by an actuator. Assigning a haptic effect to the first and second haptic effects.
  • a content reproduction device includes a processor that executes an application program that reproduces content including an audio output event, and outputs a sound in the audio output event when the processor executes the application program.
  • An audio output unit a communication unit that receives haptic vibration data for generating haptic vibration that gives a haptic stimulus to the user from a server separately from the application program, and a case where the communication unit receives the haptic vibration data.
  • a haptic vibrator that generates the haptic vibration based on the received haptic vibration data in accordance with the occurrence of the audio output event.
  • a haptic vibration generation method includes a sound output unit, a haptic vibration unit that generates haptic vibration for giving a haptic stimulus to a user, a communication unit, and a sound output event in which the sound output unit outputs sound. And a processor that executes an application program that reproduces content that includes the haptic vibration data for the haptic vibration unit to generate the haptic vibration, by the communication unit separately from the application program. Receiving, during the reproduction of the content, outputting audio in the audio output event by the audio output unit, when the haptic vibration data is received by the communication unit, in accordance with the occurrence of the audio output event, The haptic vibration is generated by a haptic vibration unit.
  • a computer program includes a computer including an audio output unit, a haptic vibration unit that generates haptic vibration for giving a haptic stimulus to a user, a communication unit, and a processor.
  • a computer program for reproducing content including an audio output event that outputs a haptic vibration data for causing the haptic vibration unit to generate the haptic vibration, separately from an application program for reproducing the content.
  • the tactile vibrator causes the tactile vibration.
  • a process that generates vibrations is executed.
  • a haptic vibration data distribution system includes a content reproduction device, and a server that transmits haptic vibration data for generating haptic vibration that gives a haptic stimulus to a user to the content reproduction device,
  • the content playback device a processor that executes an application program that plays content including an audio output event, and an audio output unit that outputs audio in the audio output event when the processor executes the application program.
  • a communicator that receives the haptic vibration data from the server separately from the application program, and, when the communicator receives the haptic vibration data, Generating the haptic vibration based on vibration data And a sense vibration section.
  • a haptic vibration providing apparatus is a haptic vibration providing apparatus for a content reproducing apparatus that executes an application program for reproducing content including an audio output event, and is transmitted from a server separately from the application program.
  • a receiving unit that receives haptic vibration data for generating haptic vibration that gives a haptic stimulus to the user, and when the receiving unit receives the haptic vibration data, in accordance with the occurrence of the audio output event, A haptic vibration element that generates the haptic vibration based on the received haptic vibration data.
  • a haptic vibration generation method provides a haptic vibration for generating a haptic vibration for giving a user a haptic stimulus by a haptic vibration providing apparatus for a content reproducing apparatus that executes an application program for reproducing a content including an audio output event. Generating a voice output event when receiving haptic vibration data for generating the haptic vibration transmitted from a server separately from the application program, and receiving the haptic vibration data. Generating the haptic vibration according to the received haptic vibration data.
  • FIG. 1 is a block diagram illustrating a configuration of a content reproduction device according to an embodiment.
  • 6 is a flowchart illustrating an example of a procedure of an operation of the content reproduction device according to the embodiment.
  • FIG. 7 is a diagram illustrating an example of a demonstration screen which is a display screen in a demo mode in the content reproduction device according to the embodiment.
  • FIG. 9 is a diagram illustrating an example of a selection screen in the content reproduction device according to the embodiment. It is a sequence diagram showing an example of the detailed procedure of the data purchase processing in the tactile vibration data distribution system according to the embodiment.
  • 15 is a flowchart illustrating an example of an operation of a part of the content reproduction device according to the embodiment.
  • 15 is a flowchart illustrating an example of an operation procedure of a content reproduction device according to a second modification.
  • 15 is a flowchart illustrating an example of an operation procedure of a content reproduction device according to a third modification.
  • 15 is a flowchart illustrating an example of an operation of part of a content reproduction device according to a fourth modification.
  • 15 is a flowchart illustrating an example of an operation of part of a content reproduction device according to a fifth modification.
  • 15 is a flowchart illustrating an example of an operation of part of a content reproduction device according to a sixth modification.
  • FIG. 1 is a diagram showing an overall configuration of a haptic vibration data distribution system according to an embodiment.
  • the haptic vibration data distribution system 100 includes a content server (server) 200, a billing server 250, and content reproducing devices 300-1, 300-2, and 300-3.
  • 300-1, 300-2, and 300-3 may be collectively referred to as 300.
  • Each of the content server 200, the billing server 250, and the content reproduction device 300 is connected to a network 400 configured by the Internet, an intranet, a LAN, or the like, and can perform data communication with each other.
  • the content server 200 is configured by a computer.
  • the content server 200 has a non-transitory storage medium such as a hard disk, and stores haptic vibration data in the storage medium.
  • the haptic vibration data is data for generating haptic vibration in a haptic vibration unit that is a haptic device.
  • Tactile vibration is vibration that gives a user a tactile stimulus.
  • the content server 200 transmits the haptic vibration data to the content reproduction device 300 connected to the network 400 in response to the request.
  • the billing server 250 is configured by a computer. When the billing server 250 receives a purchase request for tactile vibration data from the content reproduction device 300, the billing server 250 executes a payment process based on, for example, credit card information, transfer information to a specific bank account, and the like. The user can purchase the tactile vibration data by using the billing server 250.
  • the content reproduction device 300 is configured by a computer.
  • An example of the content reproducing device 300 is a game machine 300-1, another example is a personal computer 300-2, and another example is a smartphone.
  • FIG. 2 is a block diagram showing a configuration of content playback apparatus 300.
  • the content reproducing apparatus 300 includes a processor 301, a temporary memory 302, a non-transitory memory 303, a speaker (sound output unit) 304, a communication interface (communication unit) 305, and a haptic vibration unit (providing haptic vibration).
  • Device 306, a display unit 307, and an input unit 308.
  • a processor 301, a transient memory 302, a non-transient memory 303, a speaker (sound output unit) 304, a communication interface (communication unit) 305, a tactile vibration unit 306, a display unit 307, and an input unit 308 is connected by a bus.
  • the processor 301 is capable of executing a computer program.
  • the non-transitory memory 303 stores an application program 331 and a haptic vibration generation program 332.
  • the application program 331 is a program for reproducing contents such as games, music, and moving images.
  • the processor 301 reproduces the content by executing the application program 331.
  • the haptic vibration generation program 332 causes the haptic vibration unit 306 to generate haptic vibration using the haptic vibration data.
  • the processor 301 executes the haptic vibration generation program 332, the processor 301 performs an operation described later, and causes the haptic vibration unit 306 to generate haptic vibration in synchronization with the audio output.
  • the content includes one or more audio output events.
  • An audio output event is an operation in which audio is output during content reproduction.
  • a plurality of sound output events such as a sound output event for outputting an engine sound, a sound output event for outputting a brake sound, and a sound output event for outputting a collision sound may be included.
  • a sound event that outputs a sound of a specific instrument may be included.
  • the haptic vibration data corresponds to the type of the audio output event.
  • a tactile vibration data A is output for a sound output event that outputs an engine sound
  • a tactile vibration data B is output for a sound output event that outputs a brake sound
  • a tactile vibration data is output for a sound output event that outputs a collision sound.
  • the vibration data C respectively correspond.
  • the haptic vibration data a corresponds to a sound output event that outputs the sound of the first instrument
  • the haptic vibration data b corresponds to the sound output event that outputs the sound of the second instrument.
  • the non-transitory memory 303 stores table data 334 indicating the correspondence between the type of the audio output event and the haptic vibration data.
  • the table data 334 need not be stored in the non-transitory memory 303. In this case, the haptic vibration data corresponding to the audio output event is specified without referring to the table data 334.
  • the application program 331 can be downloaded from an external device such as the content server 200 to the content reproducing device 300 and stored in the non-transitory memory 303. Further, the content reproducing apparatus 300 reads the application program 331 recorded on the portable recording medium by a portable recording medium reading apparatus such as a DVD (Digital Versatile Disc), a Blu-ray (registered trademark) @ Disc, etc. May be installed in the sex memory 303. Further, the application program 331 recorded on the portable recording medium can be read by the reading device and directly executed by the processor 301.
  • a portable recording medium reading apparatus such as a DVD (Digital Versatile Disc), a Blu-ray (registered trademark) @ Disc, etc. May be installed in the sex memory 303.
  • the application program 331 recorded on the portable recording medium can be read by the reading device and directly executed by the processor 301.
  • the content reproduction device 300 can receive the haptic vibration data 333 from the content server 200.
  • the haptic vibration data 333 received from the content server 200 is stored in the non-transitory memory 303.
  • the speaker 304 is an example of a sound output unit. Another example of the audio output unit is a headphone.
  • the speaker 304 outputs sound included in the content when the content is reproduced.
  • the communication interface 305 is an example of a communication unit.
  • the communication interface 305 is, for example, an Ethernet (registered trademark) interface, and communicates with the content server 200 and the billing server 250 connected to the network 400 using a TCP / IP protocol or the like.
  • the communication interface 305 can receive the haptic vibration data 333 from the content server 200 separately from the application program 331.
  • the haptic vibration unit 306 is a haptic device, and includes a receiving unit 361 and a haptic vibration element 362.
  • the receiving unit 361 receives haptic vibration data.
  • the receiving unit 361 is, for example, a DA converter, receives haptic vibration data, and outputs a voltage signal that is an analog signal.
  • the haptic vibration element 362 is, for example, an eccentric motor (ERM: Eccentric Rotating Mass), a linear vibrator (LRA: Linear Resonant Actuator), or a piezo element, and generates vibration according to a voltage signal.
  • the haptic vibration unit 306 is incorporated in a game controller (input unit) when the content reproduction device 300 is a game machine, and is incorporated in an input unit such as a keyboard, a mouse, and a game controller when the content reproduction device 300 is a personal computer.
  • the tactile vibration unit 306 may be built in the computer main body.
  • the tactile vibration unit 306 is built in the main body. That is, the haptic vibrator 306 is provided at a position where the user of the content reproduction device 300 touches. Thereby, when the tactile vibration occurs, the tactile stimulation is given to the user.
  • the display unit 307 is a liquid crystal display, an organic EL (Organic @ Electro-Luminescence) display, or the like.
  • the display unit 307 outputs a video included in the content when the content is reproduced.
  • the input unit 308 is a game controller when the content playback device 300 is a game machine, a keyboard, a mouse, a game controller or the like when the content playback device 300 is a personal computer, and is a display when the content playback device 300 is a smartphone.
  • FIG. 3 is a flowchart illustrating an example of a procedure of an operation of the content reproduction device 300 according to the embodiment.
  • the processor 301 starts executing the application program 331 (Step S101).
  • the user can select the demo mode.
  • a menu screen may be displayed on the display unit 307 after the application program 331 is started, and a button for selecting a demo mode may be displayed on the menu screen.
  • the demo mode is selected.
  • the processor 301 determines whether the demo mode has been selected (step S102). When the demonstration mode is selected (YES in step S102), processor 301 requests, for example, content server 200 for demonstration data used for the demonstration executed in the demonstration mode. When the communication interface 305 receives the demonstration data (step S103), the processor 301 causes the temporary memory 302 or the non-transitory memory 303 to store the demonstration data.
  • processor 301 shifts the processing to step S109.
  • the processor 301 reads out the demonstration data and executes the demonstration (Step S104).
  • the demonstration data includes, for example, video data, audio data, and haptic vibration data.
  • the demonstration may be part of the content of a game or video, for example.
  • video, audio, and tactile vibration are output in synchronization.
  • FIG. 4 is a diagram showing an example of a demonstration screen which is a display screen in the demonstration mode.
  • An example of the demonstration screen 500 includes a first area 501 for displaying a video of the main part of the content, a second area 502 for displaying a video of the demonstration, and a menu button 503 for calling a menu.
  • a video of the demonstration is output to the second area 502.
  • audio and tactile vibration synchronized with the video are output. Thereby, the user can experience a tactile stimulus linked to the audio output. Therefore, it is possible to give the user an interest in the tactile stimulus and increase the willingness to purchase the tactile vibration data.
  • FIG. 5 is a diagram illustrating an example of the selection screen.
  • product information of a plurality of types of tactile vibration data is shown in a list format.
  • the product information includes a product number, a product name, an introduction of content (tactile vibration data), and a price.
  • Tactile vibration data is associated with the product information, particularly the product name.
  • the product may include a plurality of sets of haptic vibration data.
  • a command is associated with each product name, and when the user gives an input for selecting a product name, a purchase request for the selected product is transmitted to the charging server 250.
  • FIG. 3 is referred to again.
  • the processor 301 determines whether or not the product name, that is, the tactile vibration data has been selected (step S106). When the haptic vibration data is selected (YES in step S106), a data purchase process is executed (step S107). When the haptic vibration data is purchased, the content reproduction device 300 receives the purchased haptic vibration data from the content server 200 (Step S108). Upon receiving the haptic vibration data, the processor 301 stores the haptic vibration data in the non-transitory memory 303, and proceeds to step S109.
  • processor 301 shifts the processing to step S109.
  • FIG. 6 is a sequence diagram illustrating an example of a detailed procedure of the data purchase process.
  • the content reproduction device 300 transmits a purchase request to the charging server 250 (step S171).
  • the purchase request includes, for example, information for specifying a product and user ID information.
  • the billing server 250 executes a settlement process for the purchased product using the credit card information of the user or the transfer information from the bank account (step S172).
  • charging server 250 transmits purchase information of the haptic vibration data to content reproduction device 300 (step S173).
  • the purchase information includes, for example, information specifying a product and user ID information. This notifies the content reproduction device 300 that the purchase of the haptic vibration data has been completed.
  • the content reproduction device 300 transmits the purchase information to the content server 200 (Step S174). Thereby, a request for the haptic vibration data is made to the content server 200. Upon receiving the purchase information, the content server 200 transmits the purchased haptic vibration data to the content reproduction device 300 (Step S175). This is the end of the data purchase processing.
  • FIG. 3 is referred to again.
  • the processor 301 starts the reproduction of the content (step S109).
  • the processor 301 starts the audio waveform analysis processing at the same time as the reproduction of the content starts, and analyzes the waveform of the output audio.
  • the processor 301 determines whether a sound output event occurs (step S110). If no audio output event occurs (NO in step S110), processor 301 executes step S110 again. Thereby, the process of step S110 is repeated.
  • processor 301 When an audio output event occurs (YES in step S110), processor 301 refers to, for example, table data 334 and determines whether haptic vibration data 333 corresponding to the type of the audio output event is in non-transitory memory 303. Is determined (step S111). Note that the processor 301 may determine whether or not there is the haptic vibration data 333 corresponding to the type of the audio output event without referring to the table data 334. If there is corresponding haptic vibration data 333 (YES in step S111), processor 301 outputs sound to loudspeaker 304, and outputs haptic vibration data 333 to haptic vibration unit 306 to generate haptic vibration (step S112). ). Thereby, haptic vibration synchronized with the sound is generated. When the output of the sound and the tactile vibration ends, the processor 301 moves the process to step S113.
  • step S111 when there is no haptic vibration data 333 corresponding to the type of the sound output event to be generated (NO in step S111), the processor 301 shifts the processing to step S113.
  • the processor 301 determines whether the content has ended (step S113). If the content has not ended (NO in step S113), processor 301 shifts the processing to step S110. On the other hand, if the content has ended (YES in step S113), processor 301 ends the process.
  • FIG. 7 is a flowchart illustrating an example of an operation of a part of the content reproduction device 300.
  • the processor 301 samples the audio signal to be output to the speaker at a predetermined sampling cycle (step S1111), and performs a frequency conversion process on the sampled audio signal (step S1112).
  • a frequency analysis method such as a fast Fourier transform, a discrete Fourier transform, and a wavelet transform can be used.
  • the processor 301 analyzes the waveform of the audio signal using the signal in the frequency domain obtained by the frequency conversion (step S1113). As a result of the analysis, the processor 301 detects the occurrence of the audio output event by observing the waveform specific to the audio output event (step S110). If no voice output event has occurred (NO in step S110), processor 301 returns the process to step S1111.
  • processor 301 determines the type of the generated audio output event (step S1114).
  • the processor 301 refers to the table data 334, for example, and determines whether or not the haptic vibration data 333 corresponding to the determined type of the sound output event is in the non-transitory memory 303 (Step S111). Note that the processor 301 may determine whether or not there is the haptic vibration data 333 corresponding to the type of the audio output event without referring to the table data 334. If there is corresponding haptic vibration data 333 (YES in step S111), processor 301 reads haptic vibration data 333 and outputs haptic vibration data 333 to haptic vibration unit 306 (step S1115). The receiving unit 361 of the haptic vibration unit 306 receives the haptic vibration data (Step S1116), and the haptic vibration element 361 generates haptic vibration (Step S112).
  • step S111 when there is no haptic vibration data 333 corresponding to the type of the sound output event to be generated (NO in step S111), the processor 301 skips steps S1115 and S112.
  • the content reproduction device 300 can generate haptic vibration linked to audio regardless of the application program 331 that reproduces content.
  • a sense of unity with the content can be given to the user, and the sense of presence can be enhanced.
  • a plurality of haptic vibration data is associated with a plurality of audio output events.
  • a haptic stimulus suitable for audio can be given to the user.
  • the content reproducing apparatus 300 may include the input unit 308, and the selection of the haptic vibration data to be downloaded may be received from the user by the input unit 308. Thereby, the user can select the haptic vibration data desired to be downloaded from the plurality of haptic vibration data.
  • the selection screen 510 is displayed on the display unit 307. This allows the user to select desired haptic vibration data using the selection screen 510.
  • the content reproduction device 300 receives the demonstration data and executes a demonstration of the haptic vibration. This allows the user to experience tactile vibration and prompts the user to select tactile vibration data. After the end of the demonstration, a selection screen 510 is displayed. Thus, after experiencing the haptic vibration in the demonstration, the user can select the haptic vibration data with reference to the demonstration.
  • the audio waveform of the output audio is analyzed to determine whether an audio output event has occurred. Since the audio output event has a specific audio waveform, it is possible to determine whether or not the audio output event has occurred by analyzing the audio waveform.
  • the time required for the sound waveform analysis (for example, 10 msec) required to determine whether or not the sound output event has occurred is sufficiently short with respect to the time (for example, 1 sec) of the sound output event, so that the event cannot be detected. Also, it is possible to prevent the user from feeling a delay with respect to the sound of the tactile stimulus.
  • the content reproduction device 300 may display the selection screen 510 during the execution of the demonstration. This allows the user who has experienced the demonstration and desires the haptic vibration data to promptly purchase the haptic vibration data on the selection screen 510.
  • FIG. 8 is a flowchart illustrating an example of an operation procedure of the content reproduction device 300 according to the second modification.
  • the user gives an instruction to execute the application program 331 to the input unit 308.
  • the processor 301 starts executing the application program 331 (step S201).
  • the processor 301 starts reproducing the content (step S202).
  • the processor 301 starts the audio waveform analysis processing at the same time as the reproduction of the content starts, and analyzes the waveform of the output audio.
  • the processor 301 determines whether an audio output event occurs (Step S203). If no audio output event has occurred (NO in step S203), processor 301 executes step S203 again. Thereby, the process of step S203 is repeated.
  • processor 301 refers to, for example, table data 334 and determines whether haptic vibration data 333 corresponding to the type of the audio output event is in non-transitory memory 303. Is determined (step S204). Note that the processor 301 may determine whether or not there is the haptic vibration data 333 corresponding to the type of the audio output event without referring to the table data 334. If there is corresponding haptic vibration data 333 (YES in step S204), processor 301 causes loudspeaker 304 to output sound, and outputs haptic vibration data 333 to haptic vibration unit 306 to generate haptic vibration (step S205). Thereby, haptic vibration synchronized with the sound is generated. When the output of the sound and the tactile vibration ends, the processor 301 moves the process to step S206.
  • step S204 when there is no haptic vibration data 333 corresponding to the type of the sound output event to be generated (NO in step S204), the processor 301 shifts the processing to step S206.
  • the processor 301 determines whether the content has ended (step S206). If the content has not ended (NO in step S206), processor 301 shifts the processing to step S203.
  • processor 301 causes display unit 307 to display selection screen 510 for purchasing tactile vibration data (step S207).
  • the processor 301 determines whether or not the product name, that is, the tactile vibration data has been selected (step S208). If tactile vibration data is selected (YES in step S208), data purchase processing is executed (step S209).
  • the content reproduction device 300 receives the purchased haptic vibration data from the content server 200 (Step S210).
  • the processor 301 stores the haptic vibration data in the non-transitory memory 303, and ends the processing.
  • the processor 301 ends the processing as it is.
  • the content is reproduced, and the selection screen 510 is displayed after the user experiences the content.
  • a user may desire a tactile stimulus corresponding to a specific audio output event after content reproduction, such as a desire for a tactile stimulus corresponding to a collision sound after the end of a car racing game.
  • the selection screen 510 is displayed after the content is reproduced, it is possible to prompt the user to purchase the tactile vibration data.
  • the content reproducing apparatus 300 displays a selection screen 510 during content reproduction.
  • FIG. 9 is a flowchart illustrating an example of a procedure of an operation of the content reproduction device 300 according to the third modification.
  • the user gives an instruction to execute the application program 331 to the input unit 308.
  • the processor 301 starts executing the application program 331 (step S301).
  • the processor 301 When the application program 331 is activated and, for example, the user inputs an instruction to reproduce the content from a menu, the processor 301 starts reproducing the content (step S302).
  • the processor 301 starts the audio waveform analysis processing at the same time as the reproduction of the content starts, and analyzes the waveform of the output audio.
  • the processor 301 determines whether a sound output event occurs (step S303). If no audio output event occurs (NO in step S303), processor 301 executes step S303 again. Thereby, the process of step S303 is repeated.
  • processor 110 refers to, for example, table data 334 and determines whether haptic vibration data 333 corresponding to the type of the audio output event is in non-transitory memory 303. Is determined (step S304). Note that the processor 301 may determine whether or not there is the haptic vibration data 333 corresponding to the type of the audio output event without referring to the table data 334. If there is corresponding haptic vibration data 333 (YES in step S304), processor 301 causes speaker 304 to output sound, and outputs haptic vibration data 333 to haptic vibration unit 306 to generate haptic vibration (step S309). ). Thereby, haptic vibration synchronized with the sound is generated.
  • processor 301 causes display unit 307 to display selection screen 510 for purchasing haptic vibration data (step S304). S305).
  • the processor 301 determines whether or not the product name, that is, the tactile vibration data has been selected (step S306). If tactile vibration data is selected (YES in step S306), data purchase processing is executed (step S307). When the haptic vibration data is purchased, the content reproduction device 300 receives the purchased haptic vibration data from the content server 200 (Step S308). Upon receiving the haptic vibration data, the processor 301 stores the haptic vibration data in the non-transitory memory 303, and generates haptic vibration in synchronization with the audio output (step S309). When the output of the sound and the tactile vibration ends, the processor 301 moves the process to step S310.
  • processor 301 shifts the processing to step S310.
  • the processor 301 determines whether the content has ended (step S310). If the content has not ended (NO in step S310), processor 301 shifts the processing to step S303.
  • processor 301 ends the process.
  • the selection screen 510 is displayed while the content is being played.
  • a user may desire a tactile stimulus corresponding to a particular audio output event during content playback, such as a desire for a tactile stimulus corresponding to a collision sound during a car racing game.
  • the selection screen 510 is displayed during the reproduction of the content, the user can be prompted to purchase the tactile vibration data.
  • the content playback device 300 monitors the audio waveform of the output audio during the reproduction of the content, and if the occurrence of the audio output event is estimated, the content reproduction device 300 The analysis determines whether a sound output event has occurred.
  • the haptic vibration unit generates haptic vibration based on haptic vibration data corresponding to the audio output event when it is determined that the audio output event has occurred.
  • FIG. 10 is a flowchart illustrating an example of an operation of a part of the content reproduction device 300 according to the fourth modification.
  • the processor 301 monitors the waveform of the audio signal output to the speaker 304 and observes the waveform specific to the audio output event to estimate the occurrence of the audio output event (step S110). If it is estimated that no audio output event has occurred (NO in step S110), processor 301 returns the process to step S110.
  • processor 301 samples the output audio signal at a predetermined sampling cycle (step S4111), and performs frequency conversion on the sampled audio signal.
  • the processing is executed (step S4112).
  • a frequency analysis method such as a fast Fourier transform, a discrete Fourier transform, and a wavelet transform can be used.
  • the processor 301 analyzes the waveform of the audio signal using the signal in the frequency domain obtained by the frequency conversion (step S4113). The type of the generated audio output event is determined (step S4114).
  • the processor 301 refers to the table data 334, for example, and determines whether or not the haptic vibration data 333 corresponding to the determined type of the sound output event is in the non-transitory memory 303 (Step S111). Note that the processor 301 may determine whether or not there is the haptic vibration data 333 corresponding to the type of the audio output event without referring to the table data 334. If there is corresponding haptic vibration data 333 (YES in step S111), processor 301 reads haptic vibration data 333 and outputs haptic vibration data 333 to haptic vibration unit 306 (step S4115). The receiving unit 361 of the haptic vibration unit 306 receives the haptic vibration data (Step S4116), and the haptic vibration element 361 generates haptic vibration (Step S112).
  • step S111 when the haptic vibration data 333 corresponding to the type of the sound output event to be generated does not exist (NO in step S111), the processor 301 skips steps S4115 and S112.
  • the waveform analysis by the frequency conversion processing is executed only when the occurrence of the audio output event is detected. Therefore, the processing load on the processor 301 can be reduced.
  • the content reproduction device 300 detects a synchronization signal for each audio output event previously incorporated in the content during the reproduction of the content.
  • the haptic vibration unit 306 generates haptic vibration based on haptic vibration data corresponding to the generated audio output event when the synchronization signal is detected.
  • FIG. 11 is a flowchart illustrating an example of an operation of a part of the content reproduction device 300 according to the fifth modification.
  • the processor 301 monitors the video signal or the audio signal of the content and detects a synchronization signal of the audio output event (Step S110).
  • the synchronization signal is provided corresponding to the type of the audio output event. For example, in the case of a racing game, a synchronization signal S1 is used for an audio output event that outputs an engine sound, a synchronization signal S2 is used for an audio output event that outputs a brake sound, and a synchronization signal S3 is used for an audio output event that outputs a collision sound. Correspond to each other.
  • a synchronization signal s1 corresponds to an audio output event that outputs the sound of the first instrument
  • a synchronization signal s2 corresponds to an audio output event that outputs the sound of the second instrument.
  • the type of the audio output event can be specified by the detected synchronization signal.
  • processor 301 If no synchronization signal is detected (NO in step S110), processor 301 returns the process to step S110.
  • processor 301 determines the type of the sound output event based on the synchronization signal (step S5111).
  • the processor 301 refers to the table data 334, for example, and determines whether or not the haptic vibration data 333 corresponding to the determined type of the sound output event is in the non-transitory memory 303 (Step S111). Note that the processor 301 may determine whether or not there is the haptic vibration data 333 corresponding to the type of the audio output event without referring to the table data 334. If there is corresponding haptic vibration data 333 (YES in step S111), processor 301 reads haptic vibration data 333 and outputs haptic vibration data 333 to haptic vibration unit 306 (step S5112). The receiving unit 361 of the haptic vibration unit 306 receives the haptic vibration data (Step S5113), and the haptic vibration element 361 generates haptic vibration (Step S112).
  • step S111 when there is no haptic vibration data 333 corresponding to the type of the sound output event to be generated (NO in step S111), the processor 301 skips steps S5112 and S112.
  • the occurrence and type of an audio output event are detected using a synchronization signal incorporated in the content. Therefore, the frequency analysis processing is not required, and the processing load on the processor 301 can be suppressed.
  • the content reproducing apparatus 300 detects the occurrence timing of the haptic vibration based on a given time chart during the reproduction of the content.
  • the haptic vibration unit 306 generates haptic vibration based on haptic vibration data when the generation timing of haptic vibration is detected.
  • FIG. 12 is a flowchart illustrating an example of an operation of a part of the content reproduction device 300 according to the sixth modification.
  • the time chart is stored in the non-transitory memory 303 in advance.
  • the processor 301 reads out the time chart from the non-transitory memory 303 (step S6111).
  • the processor 301 detects the generation timing of the tactile vibration, that is, the generation timing of the audio output event, with reference to the time chart (step S110). When the start timing of the tactile vibration is not detected (NO in step S110), processor 301 returns the process to step S110.
  • processor 301 determines the type of the haptic vibration (step S6112).
  • the type of the tactile vibration or the type of the sound output event to be generated may be associated with the generation timing. Accordingly, the processor 301 can specify the type of the haptic vibration to be generated directly or indirectly from the type of the sound output event.
  • the processor 301 determines whether or not the haptic vibration data 333 corresponding to the determined type of haptic vibration is present in the non-transitory memory 303 (step S111). If there is corresponding haptic vibration data 333 (YES in step S111), processor 301 reads haptic vibration data 333 and outputs haptic vibration data 333 to haptic vibration unit 306 (step S6113).
  • the receiving unit 361 of the haptic vibration unit 306 receives the haptic vibration data (Step S6114), and the haptic vibration element 361 generates haptic vibration (Step S112).
  • step S111 when there is no haptic vibration data 333 corresponding to the determined type of haptic vibration (NO in step S111), the processor 301 skips steps S6113 and S112.
  • the occurrence timing and the type of the haptic vibration are detected using a time chart given in advance. Therefore, the processing load on the processor 301 can be reduced.
  • tactile vibration data distribution system 200
  • content server 250 billing server 300, 300-1, 300-2, 300-3 content playback device 400
  • network 301
  • processor 302 transient memory 303 non-transient memory 304 speaker (audio Output unit) ⁇ 305 ⁇ Communication interface (communication unit)
  • speaker audio Output unit
  • Communication interface communication unit
  • Tactile vibration unit Tactile vibration providing device
  • Display unit 308
  • Input unit 331
  • Application program 332 Tactile vibration generation program
  • Tactile vibration data 334
  • Receive unit 362 Tactile vibration element 500 Demo Screen ⁇ 501 ⁇ First area ⁇ 502 ⁇ Second area ⁇ 503 ⁇ Menu button ⁇ 510 ⁇ Selection screen ⁇ 511-1 to 511-10 ⁇

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Details Of Audible-Bandwidth Transducers (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

コンテンツを再生するアプリケーションプログラムにかかわらず、音声に連動した触覚振動を発生させる。コンテンツ再生装置は、音声出力イベントを含むコンテンツを再生するアプリケーションプログラムを実行するプロセッサと、前記プロセッサが前記アプリケーションプログラムを実行した場合に、前記音声出力イベントにおいて音声を出力する音声出力部と、ユーザに触覚刺激を与える触覚振動を発生させるための触覚振動データを、前記アプリケーションプログラムとは別個にサーバから受信する通信部と、前記通信部が前記触覚振動データを受信した場合に、前記音声出力イベントの発生に合わせて、受信された前記触覚振動データによる前記触覚振動を発生させる触覚振動部と、を備える。

Description

コンテンツ再生装置、触覚振動発生方法、コンピュータプログラム、触覚振動データ配信システム、及び触覚振動提供装置
本発明は、コンテンツ再生装置、触覚振動発生方法、コンピュータプログラム、触覚振動データ配信システム、及び触覚振動提供装置に関する。
ゲーム、音楽、動画等のコンテンツを再生する装置として、ゲーム機、コンピュータ、音楽再生装置、動画再生装置等が知られている。これらのコンテンツ再生装置の一部は、ハプティクスデバイスと呼ばれる、触覚刺激をユーザに与える触覚振動を発生させる装置を内蔵し、コンテンツに含まれる音声に同期した触覚刺激を出力する。　
特許文献１には、音声信号を高周波数、中周波数及び低周波数サブバンド信号を含む複数のサブバンド信号に分離するステップと、前記高周波、前記中周波数及び前記低周波数サブバンド信号を複数のイベントにセグメント化するステップであって、前記高周波及び前記低周波サブバンド信号のセグメント化が前記中周波数サブバンド信号のセグメント化とは異なり、アクチュエータによりハプティック・イベントを生成するために前記イベントの少なくとも一つにハプティック効果を割り当てるステップとを含む方法が開示される。
日本国公開公報：特開２０１２－２７５０９号公報
特許文献１に開示される方法では、ハプティック・イベントを生成する処理に時間を要する。したがって、音声に対してハプティック・イベントに遅れが生じ、音声とハプティック・イベントとの連動性が乏しい。
本発明の一態様に係るコンテンツ再生装置は、音声出力イベントを含むコンテンツを再生するアプリケーションプログラムを実行するプロセッサと、前記プロセッサが前記アプリケーションプログラムを実行した場合に、前記音声出力イベントにおいて音声を出力する音声出力部と、ユーザに触覚刺激を与える触覚振動を発生させるための触覚振動データを、前記アプリケーションプログラムとは別個にサーバから受信する通信部と、前記通信部が前記触覚振動データを受信した場合に、前記音声出力イベントの発生に合わせて、受信された前記触覚振動データによる前記触覚振動を発生させる触覚振動部と、を備える。　
本発明の一態様に係る触覚振動発生方法は、音声出力部と、ユーザに触覚刺激を与える触覚振動を発生させる触覚振動部と、通信部と、前記音声出力部が音声を出力する音声出力イベントを含むコンテンツを再生するアプリケーションプログラムを実行するプロセッサと、を備えるコンテンツ再生装置が、前記触覚振動部が前記触覚振動を発生させるための触覚振動データを、前記アプリケーションプログラムとは別個に前記通信部によって受信し、前記コンテンツの再生中に、前記音声出力部によって前記音声出力イベントにおいて音声を出力し、前記通信部によって前記触覚振動データを受信した場合に、前記音声出力イベントの発生に合わせて、前記触覚振動部によって前記触覚振動を発生させる。　
本発明の一態様に係るコンピュータプログラムは、音声出力部と、ユーザに触覚刺激を与える触覚振動を発生させる触覚振動部と、通信部と、プロセッサと、を備えるコンピュータに、前記音声出力部が音声を出力する音声出力イベントを含むコンテンツを再生させるコンピュータプログラムであって、前記プロセッサに、前記触覚振動部が前記触覚振動を発生させるための触覚振動データを、前記コンテンツを再生するアプリケーションプログラムとは別個に前記通信部が受信する処理と、前記コンテンツの再生中に、前記前記音声出力部によって前記音声出力イベントにおいて音声を出力する処理と、前記通信部によって前記触覚振動データが受信された場合に、前記音声出力イベントの発生に合わせて、前記触覚振動部によって前記触覚振動を発生させる処理と、を実行させる。　
本発明の一態様に係る触覚振動データ配信システムは、コンテンツ再生装置と、ユーザに触覚刺激を与える触覚振動を発生させるための触覚振動データを、前記コンテンツ再生装置に送信するサーバと、を備え、前記コンテンツ再生装置は、音声出力イベントを含むコンテンツを再生するアプリケーションプログラムを実行するプロセッサと、前記プロセッサが前記アプリケーションプログラムを実行した場合に、前記音声出力イベントにおいて音声を出力する音声出力部と、前記触覚振動データを、前記アプリケーションプログラムとは別個に前記サーバから受信する通信部と、前記通信部が前記触覚振動データを受信した場合に、前記音声出力イベントの発生に合わせて、受信された前記触覚振動データによる前記触覚振動を発生させる触覚振動部と、を備える。　
本発明の一態様に係る触覚振動提供装置は、音声出力イベントを含むコンテンツを再生するアプリケーションプログラムを実行するコンテンツ再生装置用の触覚振動提供装置であって、前記アプリケーションプログラムとは別個にサーバから送信される、ユーザに触覚刺激を与える触覚振動を発生させるための触覚振動データを受信する受信部と、前記受信部が前記触覚振動データを受信した場合に、前記音声出力イベントの発生に合わせて、受信された前記触覚振動データによる前記触覚振動を発生させる触覚振動素子と、を備える。　
本発明の一態様に係る触覚振動発生方法は、音声出力イベントを含むコンテンツを再生するアプリケーションプログラムを実行するコンテンツ再生装置用の触覚振動提供装置によってユーザに触覚刺激を与える触覚振動を発生させる触覚振動発生方法であって、前記アプリケーションプログラムとは別個にサーバから送信される、前記触覚振動を発生させるための触覚振動データを受信し、前記触覚振動データを受信した場合に、前記音声出力イベントの発生に合わせて、受信された前記触覚振動データによる前記触覚振動を発生させる。
本発明によれば、コンテンツを再生するアプリケーションプログラムにかかわらず、音声に連動した触覚振動を発生させることができる。
実施形態に係る触覚振動データ配信システムの全体構成を示す図である。 実施形態に係るコンテンツ再生装置の構成を示すブロック図である。 実施形態に係るコンテンツ再生装置の動作の手順の一例を示すフローチャートである。 実施形態に係るコンテンツ再生装置でのデモモードにおける表示画面であるデモ画面の一例を示す図である。 実施形態に係るコンテンツ再生装置における選択画面の一例を示す図である。 実施形態に係る触覚振動データ配信システムにおけるデータ購入処理の詳細な手順の一例を示すシーケンス図である。 実施形態に係るコンテンツ再生装置の一部の動作の一例を示すフローチャートである。 第２変形例に係るコンテンツ再生装置の動作の手順の一例を示すフローチャートである。 第３変形例に係るコンテンツ再生装置の動作の手順の一例を示すフローチャートである。 第４変形例に係るコンテンツ再生装置の一部の動作の一例を示すフローチャートである。 第５変形例に係るコンテンツ再生装置の一部の動作の一例を示すフローチャートである。 第６変形例に係るコンテンツ再生装置の一部の動作の一例を示すフローチャートである。
以下、図面を参照しつつ、本発明の実施形態の詳細を説明する。　
［１．触覚振動データ配信システムの構成］　図１は、実施形態に係る触覚振動データ配信システムの全体構成を示す図である。触覚振動データ配信システム１００は、コンテンツサーバ（サーバ）２００と、課金サーバ２５０と、コンテンツ再生装置３００－１，３００－２，３００－３とを含む。以下、３００－１，３００－２，３００－３を総称して３００と表記する場合もある。コンテンツサーバ２００、課金サーバ２５０、及びコンテンツ再生装置３００のそれぞれは、インターネット、イントラネット、ＬＡＮ等により構成されたネットワーク４００に接続され、相互にデータ通信が可能である。　
コンテンツサーバ２００は、コンピュータによって構成される。コンテンツサーバ２００は、ハードディスク等の非一過性の記憶媒体を有しており、触覚振動データを当該記憶媒体に記憶する。触覚振動データは、ハプティクスデバイスである触覚振動部に触覚振動を発生させるためのデータである。触覚振動は、ユーザに触覚刺激を与える振動である。コンテンツサーバ２００は、要求に応じて触覚振動データをネットワーク４００に接続されるコンテンツ再生装置３００へ送信する。　
課金サーバ２５０は、コンピュータによって構成される。課金サーバ２５０は、コンテンツ再生装置３００から触覚振動データの購入要求を受信した場合に、例えば、クレジットカード情報、特定の銀行口座への振込情報等に基づき決済処理を実行する。ユーザは、課金サーバ２５０を利用することで、触覚振動データを購入することができる。　
コンテンツ再生装置３００は、コンピュータによって構成される。コンテンツ再生装置３００の一例は、ゲーム機３００－１であり、他の例はパーソナルコンピュータ３００－２であり、さらに他の例はスマートフォンである。
［２．コンテンツ再生装置の構成］　図２は、コンテンツ再生装置３００の構成を示すブロック図である。コンテンツ再生装置３００は、プロセッサ３０１と、一過性メモリ３０２と、非一過性メモリ３０３と、スピーカ（音声出力部）３０４と、通信インタフェース（通信部）３０５と、触覚振動部（触覚振動提供装置）３０６と、表示部３０７と、入力部３０８とを含む。プロセッサ３０１と、一過性メモリ３０２と、非一過性メモリ３０３と、スピーカ（音声出力部）３０４と、通信インタフェース（通信部）３０５と、触覚振動部３０６と、表示部３０７と、入力部３０８とは、バスによって接続されている。　
プロセッサ３０１は、コンピュータプログラムを実行可能である。非一過性メモリ３０３は、アプリケーションプログラム３３１と、触覚振動発生プログラム３３２とを記憶する。　
アプリケーションプログラム３３１は、ゲーム、音楽、動画等のコンテンツを再生するためのプログラムである。プロセッサ３０１は、アプリケーションプログラム３３１を実行することにより、コンテンツを再生する。　
触覚振動発生プログラム３３２は、触覚振動データを用いて、触覚振動部３０６に触覚振動を発生させる。プロセッサ３０１は、触覚振動発生プログラム３３２を実行することにより、後述するような動作を行い、音声出力に同期して触覚振動部３０６に触覚振動を発生させる。　
コンテンツには、一又は複数の音声出力イベントが含まれる。音声出力イベントは、コンテンツ再生中に音声が出力される動作である。例えば、レーシングゲームの場合、エンジン音を出力する音声出力イベント、ブレーキ音を出力する音声出力イベント、衝突音を出力する音声出力イベント等の複数の音声出力イベントが含まれ得る。また、音楽の場合、特定の楽器の音を出力する音声イベントが含まれ得る。触覚振動データは、音声出力イベントの種類に対応する。例えば、レーシングゲームの場合、エンジン音を出力する音声出力イベントには触覚振動データＡが、ブレーキ音を出力する音声出力イベントには触覚振動データＢが、衝突音を出力する音声出力イベントには触覚振動データＣが、それぞれ対応する。また、音楽の場合、第１の楽器の音を出力する音声出力イベントには触覚振動データａが、第２の楽器の音を出力する音声出力イベントには触覚振動データｂが、それぞれ対応する。例えば、非一過性メモリ３０３には、音声出力イベントの種類と、触覚振動データとの対応関係を示すテーブルデータ３３４が記憶される。なお、非一過性メモリ３０３に、テーブルデータ３３４を記憶させなくてもよい。この場合、テーブルデータ３３４を参照することなく、音声出力イベントに対応する触覚振動データが特定される。
なお、アプリケーションプログラム３３１は、例えばコンテンツサーバ２００のような外部装置からコンテンツ再生装置３００にダウンロードし、非一過性メモリ３０３に格納することができる。また、コンテンツ再生装置３００がＤＶＤ（Digital Versatile Disc）、Ｂｌｕ－ｒａｙ（登録商標）　Ｄｉｓｃ等の可搬型記録媒体の読出装置によって、可搬型記録媒体に記録されたアプリケーションプログラム３３１を読み出し、非一過性メモリ３０３にインストールしてもよい。さらに、可搬型記録媒体に記録されたアプリケーションプログラム３３１を、読出装置によって読み出し、プロセッサ３０１が直接実行することもできる。　
コンテンツ再生装置３００は、コンテンツサーバ２００から触覚振動データ３３３を受信可能である。コンテンツサーバ２００から受信された触覚振動データ３３３は、非一過性メモリ３０３に記憶される。　
スピーカ３０４は、音声出力部の一例である。音声出力部の他の例として、ヘッドフォンがある。スピーカ３０４は、コンテンツが再生される場合に、コンテンツに含まれる音声を出力する。　
通信インタフェース３０５は、通信部の一例である。通信インタフェース３０５は、例えば、イーサネット（登録商標）インタフェースであり、ＴＣＰ／ＩＰプロトコル等を用いてネットワーク４００に接続されたコンテンツサーバ２００及び課金サーバ２５０と通信を行う。特に、通信インタフェース３０５は、触覚振動データ３３３を、アプリケーションプログラム３３１とは別個にコンテンツサーバ２００から受信することができる。　
触覚振動部３０６は、ハプティクスデバイスであり、受信部３６１と、触覚振動素子３６２とを有する。受信部３６１は、触覚振動データを受信する。受信部３６１は、例えば、ＤＡコンバータであり、触覚振動データを受信し、アナログ信号である電圧信号を出力する。触覚振動素子３６２は、例えば、偏心モーター（ERM：Eccentric Rotating Mass）、リニアバイブレータ（LRA:Linear Resonant Actuator）、又はピエゾ素子であり、電圧信号に応じた振動を発生させる。　
触覚振動部３０６は、コンテンツ再生装置３００がゲーム機の場合はゲームコントローラ（入力部）に内蔵され、コンテンツ再生装置３００がパーソナルコンピュータの場合はキーボード、マウス、ゲームコントローラ等入力部に内蔵される。また、コンテンツ再生装置３００がラップトップコンピュータの場合は、コンピュータ本体に触覚振動部３０６が内蔵されてもよい。コンテンツ再生装置３００がスマートフォンの場合は、本体に触覚振動部３０６が内蔵される。つまり、触覚振動部３０６は、コンテンツ再生装置３００のユーザが触れる部位に設けられる。これにより、触覚振動が発生すると、ユーザに触覚刺激が与えられる。　
表示部３０７は、液晶ディスプレイ又は有機ＥＬ（OEL:Organic Electro-Luminescence）ディスプレイ等である。表示部３０７は、コンテンツが再生される場合に、コンテンツに含まれる映像を出力する。　
入力部３０８は、コンテンツ再生装置３００がゲーム機の場合はゲームコントローラであり、コンテンツ再生装置３００がパーソナルコンピュータの場合はキーボード、マウス、ゲームコントローラ等であり、コンテンツ再生装置３００がスマートフォンの場合は表示部３０７に取り付けられた透明なタッチパッドである。　
［３．触覚振動データ配信システムの動作］　コンテンツ再生装置３００は、プロセッサ３０１が触覚振動発生プログラム３３２を実行することにより、以下のように動作する。図３は、実施形態に係るコンテンツ再生装置３００の動作の手順の一例を示すフローチャートである。　
ユーザは、コンテンツ再生装置３００によってコンテンツを再生する場合、アプリケーションプログラム３３１の実行指示を入力部３０８に与える。これにより、プロセッサ３０１は、アプリケーションプログラム３３１の実行を開始する（ステップＳ１０１）。　
アプリケーションプログラム３３１が実行されている場合、ユーザはデモモードを選択することができる。例えば、アプリケーションプログラム３３１の起動後にメニュー画面が表示部３０７に表示され、メニュー画面においてデモモードを選択するボタンが表示されてもよい。ユーザが入力部３０８を操作して当該ボタンを選択することにより、デモモードが選択される。　
プロセッサ３０１は、デモモードが選択されたか否かを判定する（ステップＳ１０２）。デモモードが選択された場合（ステップＳ１０２においてＹＥＳ）、プロセッサ３０１は、デモモードにおいて実行されるデモンストレーションに用いられるデモンストレーションデータを、例えば、コンテンツサーバ２００に要求する。通信インタフェース３０５がデモンストレーションデータを受信すると（ステップＳ１０３）、プロセッサ３０１は、一過性メモリ３０２又は非一過性メモリ３０３にデモンストレーションデータを記憶させる。　
他方、デモモードが選択されなかった場合（ステップＳ１０２においてＮＯ）、プロセッサ３０１は、ステップＳ１０９へ処理を移す。　
プロセッサ３０１は、デモンストレーションデータを読み出し、デモンストレーションを実行する（ステップＳ１０４）。デモンストレーションデータは、例えば、映像データと、音声データと、触覚振動データとを含む。デモンストレーションは、例えばゲーム又は動画のコンテンツの一部とすることができる。デモンストレーションでは、映像と音声と触覚振動とが同期して出力される。　
図４は、デモモードにおける表示画面であるデモ画面の一例を示す図である。デモ画面５００の一例では、コンテンツの本編の映像を表示する第１領域５０１と、デモンストレーションの映像を表示する第２領域５０２と、メニューを呼び出すメニューボタン５０３とが含まれる。デモ画面５００では、第２領域５０２にデモンストレーションの映像が出力される。また、映像と同期した音声及び触覚振動が出力される。これにより、ユーザは、音声出力に連動した触覚刺激を体験することができる。そのため、ユーザに触覚刺激に対する興味を与え、触覚振動データの購入意欲を増大させることができる。　
デモンストレーションが終了すると、プロセッサ３０１は、触覚振動データを購入するための選択画面を表示部３０７に表示させる（ステップＳ１０５）。図５は、選択画面の一例を示す図である。選択画面５１０の一例では、複数種類の触覚振動データの商品情報が一覧形式で示される。商品情報には、商品番号と、商品名と、コンテンツ（触覚振動データ）の紹介文と、価格とが含まれる。商品情報、特に商品名には、触覚振動データが対応づけられる。商品には、複数の触覚振動データのセットが含まれていてもよい。また、図５の例では、各商品名にコマンドが関連づけられ、ユーザが商品名を選択する入力を与えることで、選択された商品の購入要求が課金サーバ２５０に送信される。つまり、商品名５１１－１が選択されると、商品名「基本セットＡ」の商品の購入要求が発行され、商品名５１１－４が選択されると、商品名「オプションセットＢ」の商品の購入要求が発行され、商品名５１１－６が選択されると、商品名「△△信号」の商品の購入要求が発行される。これによって、ユーザは自分好みの特徴付けを行うことができる。　
再び図３を参照する。プロセッサ３０１は、商品名、即ち触覚振動データが選択されたか否かを判定する（ステップＳ１０６）。触覚振動データが選択された場合（ステップＳ１０６においてＹＥＳ）、データ購入処理が実行される（ステップＳ１０７）。触覚振動データが購入されると、コンテンツ再生装置３００は、購入された触覚振動データをコンテンツサーバ２００から受信する（ステップＳ１０８）。プロセッサ３０１は、触覚振動データを受信すると、当該触覚振動データを非一過性メモリ３０３に記憶させ、ステップＳ１０９へ処理を移す。　
他方、選択画面５１０において触覚振動データが選択されなかった場合（ステップＳ１０６においてＮＯ）、プロセッサ３０１は、ステップＳ１０９へ処理を移す。　
図６は、データ購入処理の詳細な手順の一例を示すシーケンス図である。選択画面５１０において、商品名、即ち触覚振動データがユーザによって選択されると、コンテンツ再生装置３００が購入要求を課金サーバ２５０へ送信する（ステップＳ１７１）。購入要求には、例えば、商品を特定する情報及びユーザのＩＤ情報等が含まれる。課金サーバ２５０は、購入要求を受信すると、ユーザのクレジットカード情報又は銀行口座からの振込情報を用いて、購入商品の決済処理を実行する（ステップＳ１７２）。　
決済が完了すると、課金サーバ２５０は、触覚振動データの購入情報をコンテンツ再生装置３００へ送信する（ステップＳ１７３）。購入情報には、例えば、商品を特定する情報及びユーザのＩＤ情報等が含まれる。これにより、コンテンツ再生装置３００に触覚振動データの購入が完了したことが通知される。　
コンテンツ再生装置３００は、購入情報をコンテンツサーバ２００へ送信する（ステップＳ１７４）。これにより、コンテンツサーバ２００に触覚振動データの要求が行われる。コンテンツサーバ２００は、購入情報を受信すると、購入された触覚振動データをコンテンツ再生装置３００へ送信する（ステップＳ１７５）。以上でデータ購入処理が終了する。　
再び図３を参照する。例えば、メニューからユーザがコンテンツの再生を指示する入力を行うと、プロセッサ３０１は、コンテンツの再生を開始する（ステップＳ１０９）。プロセッサ３０１は、コンテンツの再生開始と共に、音声波形解析処理を開始し、出力される音声の波形を解析する。　
プロセッサ３０１は、音声出力イベントが発生する否かを判定する（ステップＳ１１０）。音声出力イベントが発生しない場合（ステップＳ１１０においてＮＯ）、プロセッサ３０１は再度ステップＳ１１０を実行する。これにより、ステップＳ１１０の処理が繰り返される。　
音声出力イベントが発生する場合（ステップＳ１１０においてＹＥＳ）、プロセッサ３０１は、例えばテーブルデータ３３４を参照し、音声出力イベントの種類に対応する触覚振動データ３３３が、非一過性メモリ３０３にあるか否かを判定する（ステップＳ１１１）。なお、プロセッサ３０１は、テーブルデータ３３４を参照せずに、音声出力イベントの種類に対応する触覚振動データ３３３があるか否かを判定してもよい。対応する触覚振動データ３３３がある場合（ステップＳ１１１においてＹＥＳ）、プロセッサ３０１は、スピーカ３０４に音声を出力させると共に、触覚振動部３０６に触覚振動データ３３３を出力し、触覚振動を発生させる（ステップＳ１１２）。これにより、音声に同期した触覚振動が発生する。音声及び触覚振動の出力が終了すると、プロセッサ３０１はステップＳ１１３に処理を移す。　
他方、発生する音声出力イベントの種類に対応する触覚振動データ３３３がない場合（ステップＳ１１１においてＮＯ）、プロセッサ３０１はステップＳ１１３に処理を移す。　
プロセッサ３０１は、コンテンツが終了したか否かを判定する（ステップＳ１１３）。コンテンツが終了していない場合（ステップＳ１１３においてＮＯ）、プロセッサ３０１は、ステップＳ１１０に処理を移す。他方、コンテンツが終了した場合（ステップＳ１１３においてＹＥＳ）、プロセッサ３０１は、処理を終了する。　
コンテンツ再生装置３００のコンテンツ再生中の音声出力イベントの検出に関する動作についてさらに詳細に説明する。図７は、コンテンツ再生装置３００の一部の動作の一例を示すフローチャートである。
プロセッサ３０１は、スピーカに出力する音声信号を所定のサンプリング周期でサンプリングし（ステップＳ１１１１）、サンプリングされた音声信号に対して周波数変換処理を実行する（ステップＳ１１１２）。周波数変換処理では、高速フーリエ変換、離散フーリエ変換、ウェーブレット変換等の周波数解析手法を用いることができる。　
プロセッサ３０１は、周波数変換によって得られた周波数領域の信号を用いて、音声信号の波形解析を行う（ステップＳ１１１３）。解析の結果、プロセッサ３０１は、音声出力イベント特有の波形を観測することによって、音声出力イベントの発生を検出する（ステップＳ１１０）。音声出力イベントが発生していない場合には（ステップＳ１１０においてＮＯ）、プロセッサ３０１は、ステップＳ１１１１へ処理を戻す。　
音声出力イベントが発生した場合には（ステップＳ１１０においてＹＥＳ）、プロセッサ３０１は、発生した音声出力イベントの種類を判定する（ステップＳ１１１４）。　
プロセッサ３０１は、例えばテーブルデータ３３４を参照し、判定された音声出力イベントの種類に対応する触覚振動データ３３３が非一過性メモリ３０３にあるか否かを判定する（ステップＳ１１１）。なお、プロセッサ３０１は、テーブルデータ３３４を参照せずに、音声出力イベントの種類に対応する触覚振動データ３３３があるか否かを判定してもよい。対応する触覚振動データ３３３がある場合（ステップＳ１１１においてＹＥＳ）、プロセッサ３０１は触覚振動データ３３３を読み出し、触覚振動部３０６に触覚振動データ３３３を出力する（ステップＳ１１１５）。触覚振動部３０６の受信部３６１が触覚振動データを受信し（ステップＳ１１１６）、触覚振動素子３６１が触覚振動を発生させる（ステップＳ１１２）。　
他方、発生する音声出力イベントの種類に対応する触覚振動データ３３３がない場合（ステップＳ１１１においてＮＯ）、プロセッサ３０１は、ステップＳ１１１５及びＳ１１２をスキップする。　
特許文献１に開示される方法では、ハプティック・イベントを生成する処理に時間を要する。したがって、音声に対してハプティック・イベントに遅れが生じ、音声とハプティック・イベントとの連動性が乏しい。また、あらゆるコンテンツに対して振動信号を作成する必要があり汎用性が求められるため、個々の音声出力イベントに適した触覚振動を発生させることが困難である。　
以上のように構成することにより、本実施形態に係るコンテンツ再生装置３００は、コンテンツを再生するアプリケーションプログラム３３１にかかわらず、音声に連動した触覚振動を発生させることができる。また、触覚振動の音声に対する遅れが抑制されるためコンテンツとの一体感をユーザに与えることができ、臨場感を高めることができる。また、個々のユーザが触覚振動を選択したり特徴付けを行ったりすることが可能となり、エンターテイメント性が向上する。　
また、本実施形態では、複数の触覚振動データが、複数の音声出力イベントに対応づけられる。これにより、音声出力イベント毎に適切な触覚振動データを用いることで、音声に適合した触覚刺激をユーザに与えることができる。また、コンテンツ再生装置３００が入力部３０８を有し、ダウンロードする対象の触覚振動データの選択を入力部３０８によってユーザから受け付けることもできる。これにより、複数の触覚振動データの中から、ユーザがダウンロードを所望する触覚振動データを選択することができる。　
また、本実施形態では、表示部３０７によって選択画面５１０を表示させる。これにより、選択画面５１０を用いてユーザが所望する触覚振動データを選択することができる。　
また、本実施形態では、コンテンツ再生装置３００がデモンストレーションデータを受信し、触覚振動のデモンストレーションを実行する。これにより、ユーザに触覚振動を体験させ、触覚振動データの選択を促すことができる。また、デモンストレーションの終了後に、選択画面５１０を表示する。これにより、ユーザはデモンストレーションにおいて触覚振動を体験した後、デモンストレーションを参考にして触覚振動データを選択することができる。　
また、本実施形態では、コンテンツの再生中に、出力される音声が有する音声波形を解析し、音声出力イベントが発生したか否かを判定する。音声出力イベントは特有の音声波形を有するため、音声波形解析によって、音声出力イベントが発生したか否かを判定することができる。音声出力イベントが発生したか否かの判定に必要となる音声波形解析に要する時間（例えば、１０ｍｓｅｃ）は、音声出力イベントの時間（例えば１ｓｅｃ）に対して十分に短いため、イベントを検出できなかったり、ユーザが触覚刺激の音声に対する遅延を感じたりすることを抑えることができる。　
［４．変形例］　［４－１．第１変形例］　コンテンツ再生装置３００は、デモンストレーションの実行中に、選択画面５１０を表示してもよい。これにより、デモンストレーションを体験し、触覚振動データを所望するユーザに対し、即座に選択画面５１０によって触覚振動データの購入を促すことができる。　
［４－２．第２変形例］　第２変形例に係るコンテンツ再生装置３００は、コンテンツ再生の終了後に、選択画面５１０を表示する。　
図８は、第２変形例に係るコンテンツ再生装置３００の動作の手順の一例を示すフローチャートである。　
ユーザは、コンテンツ再生装置３００によってコンテンツを再生する場合、アプリケーションプログラム３３１の実行指示を入力部３０８に与える。これにより、プロセッサ３０１は、アプリケーションプログラム３３１の実行を開始する（ステップＳ２０１）。　
アプリケーションプログラム３３１が起動され、例えば、メニューからユーザがコンテンツの再生を指示する入力を行うと、プロセッサ３０１は、コンテンツの再生を開始する（ステップＳ２０２）。プロセッサ３０１は、コンテンツの再生開始と共に、音声波形解析処理を開始し、出力される音声の波形を解析する。　
プロセッサ３０１は、音声出力イベントが発生するか否かを判定する（ステップＳ２０３）。音声出力イベントが発生しない場合（ステップＳ２０３においてＮＯ）、プロセッサ３０１は再度ステップＳ２０３を実行する。これにより、ステップＳ２０３の処理が繰り返される。　
音声出力イベントが発生する場合（ステップＳ２０３においてＹＥＳ）、プロセッサ３０１は、例えばテーブルデータ３３４を参照し、音声出力イベントの種類に対応する触覚振動データ３３３が、非一過性メモリ３０３にあるか否かを判定する（ステップＳ２０４）。なお、プロセッサ３０１は、テーブルデータ３３４を参照せずに、音声出力イベントの種類に対応する触覚振動データ３３３があるか否かを判定してもよい。対応する触覚振動データ３３３がある場合（ステップＳ２０４においてＹＥＳ）、プロセッサ３０１は、スピーカ３０４に音声を出力させると共に、触覚振動部３０６に触覚振動データ３３３を出力し、触覚振動を発生させる（ステップＳ２０５）。これにより、音声に同期した触覚振動が発生する。音声及び触覚振動の出力が終了すると、プロセッサ３０１はステップＳ２０６に処理を移す。　
他方、発生する音声出力イベントの種類に対応する触覚振動データ３３３がない場合（ステップＳ２０４においてＮＯ）、プロセッサ３０１はステップＳ２０６に処理を移す。　
プロセッサ３０１は、コンテンツが終了したか否かを判定する（ステップＳ２０６）。コンテンツが終了していない場合（ステップＳ２０６においてＮＯ）、プロセッサ３０１は、ステップＳ２０３に処理を移す。　
他方、コンテンツが終了した場合（ステップＳ２０６においてＹＥＳ）、プロセッサ３０１は、触覚振動データを購入するための選択画面５１０を表示部３０７に表示させる（ステップＳ２０７）。　
プロセッサ３０１は、商品名、即ち触覚振動データが選択されたか否かを判定する（ステップＳ２０８）。触覚振動データが選択された場合（ステップＳ２０８においてＹＥＳ）、データ購入処理が実行される（ステップＳ２０９）。触覚振動データが購入されると、コンテンツ再生装置３００は、購入された触覚振動データをコンテンツサーバ２００から受信する（ステップＳ２１０）。プロセッサ３０１は、触覚振動データを受信すると、当該触覚振動データを非一過性メモリ３０３に記憶させ、処理を終了する。　
他方、選択画面５１０において触覚振動データが選択されなかった場合（ステップＳ２０８においてＮＯ）、プロセッサ３０１は、そのまま処理を終了する。　
第２変形例では、コンテンツが再生され、ユーザがコンテンツを体験した後に、選択画面５１０が表示される。例えばユーザは、カーレースゲームの終了後に衝突音に対応する触覚刺激を所望する等、コンテンツの再生後に特定の音声出力イベントに対応する触覚刺激を所望する場合がある。第２変形例では、コンテンツの再生後に選択画面５１０が表示されるため、ユーザに触覚振動データの購入を促すことができる。　
［４－３．第３変形例］　第３変形例に係るコンテンツ再生装置３００は、コンテンツ再生中に、選択画面５１０を表示する。　
図９は、第３変形例に係るコンテンツ再生装置３００の動作の手順の一例を示すフローチャートである。　
ユーザは、コンテンツ再生装置３００によってコンテンツを再生する場合、アプリケーションプログラム３３１の実行指示を入力部３０８に与える。これにより、プロセッサ３０１は、アプリケーションプログラム３３１の実行を開始する（ステップＳ３０１）。　
アプリケーションプログラム３３１が起動され、例えば、メニューからユーザがコンテンツの再生を指示する入力を行うと、プロセッサ３０１は、コンテンツの再生を開始する（ステップＳ３０２）。プロセッサ３０１は、コンテンツの再生開始と共に、音声波形解析処理を開始し、出力される音声の波形を解析する。　
プロセッサ３０１は、音声出力イベントが発生する否かを判定する（ステップＳ３０３）。音声出力イベントが発生しない場合（ステップＳ３０３においてＮＯ）、プロセッサ３０１は再度ステップＳ３０３を実行する。これにより、ステップＳ３０３の処理が繰り返される。　
音声出力イベントが発生する場合（ステップＳ３０３においてＹＥＳ）、プロセッサ１１０は、例えばテーブルデータ３３４を参照し、音声出力イベントの種類に対応する触覚振動データ３３３が、非一過性メモリ３０３にあるか否かを判定する（ステップＳ３０４）。なお、プロセッサ３０１は、テーブルデータ３３４を参照せずに、音声出力イベントの種類に対応する触覚振動データ３３３があるか否かを判定してもよい。対応する触覚振動データ３３３がある場合（ステップＳ３０４においてＹＥＳ）、プロセッサ３０１は、スピーカ３０４に音声を出力させると共に、触覚振動部３０６に触覚振動データ３３３を出力し、触覚振動を発生させる（ステップＳ３０９）。これにより、音声に同期した触覚振動が発生する。　
他方、発生する音声出力イベントの種類に対応する触覚振動データ３３３がない場合（ステップＳ３０４においてＮＯ）、プロセッサ３０１は、触覚振動データを購入するための選択画面５１０を表示部３０７に表示させる（ステップＳ３０５）。　
プロセッサ３０１は、商品名、即ち触覚振動データが選択されたか否かを判定する（ステップＳ３０６）。触覚振動データが選択された場合（ステップＳ３０６においてＹＥＳ）、データ購入処理が実行される（ステップＳ３０７）。触覚振動データが購入されると、コンテンツ再生装置３００は、購入された触覚振動データをコンテンツサーバ２００から受信する（ステップＳ３０８）。プロセッサ３０１は、触覚振動データを受信すると、当該触覚振動データを非一過性メモリ３０３に記憶させ、音声出力に同期させて、触覚振動を発生させる（ステップＳ３０９）。音声及び触覚振動の出力が終了すると、プロセッサ３０１はステップＳ３１０に処理を移す。
他方、選択画面５１０において触覚振動データが選択されなかった場合（ステップＳ３０６においてＮＯ）、プロセッサ３０１は、ステップＳ３１０に処理を移す。　
プロセッサ３０１は、コンテンツが終了したか否かを判定する（ステップＳ３１０）。コンテンツが終了していない場合（ステップＳ３１０においてＮＯ）、プロセッサ３０１は、ステップＳ３０３に処理を移す。　
他方、コンテンツが終了した場合（ステップＳ３１０においてＹＥＳ）、プロセッサ３０１は処理を終了する。　
第３変形例では、コンテンツが再生されている間に、選択画面５１０が表示される。例えばユーザは、カーレースゲームの最中に衝突音に対応する触覚刺激を所望する等、コンテンツの再生中に特定の音声出力イベントに対応する触覚刺激を所望する場合がある。第３変形例では、コンテンツの再生中に選択画面５１０が表示されるため、ユーザに触覚振動データの購入を促すことができる。　
［４－４．第４変形例］　第４変形例に係るコンテンツ再生装置３００は、コンテンツの再生中に、出力される音声が有する音声波形を監視し、音声出力イベントの発生が推定される場合に、音声波形を解析することで、音声出力イベントが発生したか否かを判定する。触覚振動部は、音声出力イベントが発生したと判定された場合に、音声出力イベントに対応する触覚振動データによる触覚振動を発生させる。　
図１０は、第４変形例に係るコンテンツ再生装置３００の一部の動作の一例を示すフローチャートである。　
プロセッサ３０１は、スピーカ３０４に出力する音声信号の波形を監視し、音声出力イベント特有の波形を観測することによって、音声出力イベントの発生を推定する（ステップＳ１１０）。音声出力イベントが発生していないと推定される場合には（ステップＳ１１０においてＮＯ）、プロセッサ３０１は、ステップＳ１１０へ処理を戻す。　
音声出力イベントが発生したと推定される場合（ステップＳ１１０においてＹＥＳ）、プロセッサ３０１は、出力される音声信号を所定のサンプリング周期でサンプリングし（ステップＳ４１１１）、サンプリングされた音声信号に対して周波数変換処理を実行する（ステップＳ４１１２）。周波数変換処理では、高速フーリエ変換、離散フーリエ変換、ウェーブレット変換等の周波数解析手法を用いることができる。　
プロセッサ３０１は、周波数変換によって得られた周波数領域の信号を用いて、音声信号の波形解析を行い（ステップＳ４１１３）。発生した音声出力イベントの種類を判定する（ステップＳ４１１４）。　
プロセッサ３０１は、例えばテーブルデータ３３４を参照し、判定された音声出力イベントの種類に対応する触覚振動データ３３３が非一過性メモリ３０３にあるか否かを判定する（ステップＳ１１１）。なお、プロセッサ３０１は、テーブルデータ３３４を参照せずに、音声出力イベントの種類に対応する触覚振動データ３３３があるか否かを判定してもよい。対応する触覚振動データ３３３がある場合（ステップＳ１１１においてＹＥＳ）、プロセッサ３０１は触覚振動データ３３３を読み出し、触覚振動部３０６に触覚振動データ３３３を出力する（ステップＳ４１１５）。触覚振動部３０６の受信部３６１が触覚振動データを受信し（ステップＳ４１１６）、触覚振動素子３６１が触覚振動を発生させる（ステップＳ１１２）。　
他方、発生する音声出力イベントの種類に対応する触覚振動データ３３３がない場合（ステップＳ１１１においてＮＯ）、プロセッサ３０１は、ステップＳ４１１５及びＳ１１２をスキップする。　
第４変形例では、音声出力イベントの発生が検出された場合にだけ、周波数変換処理による波形解析が実行される。このため、プロセッサ３０１における処理の負荷を抑制することができる。　
［４－５．第５変形例］　第５変形例に係るコンテンツ再生装置３００は、コンテンツの再生中に、コンテンツに予め組み込まれた音声出力イベント毎の同期信号を検出する。触覚振動部３０６は、同期信号が検出された場合に、発生した音声出力イベントに対応する触覚振動データによる触覚振動を発生させる。　
図１１は、第５変形例に係るコンテンツ再生装置３００の一部の動作の一例を示すフローチャートである。　
プロセッサ３０１は、コンテンツの映像信号又は音声信号を監視し、音声出力イベントの同期信号を検出する（ステップＳ１１０）。同期信号は、音声出力イベントの種類に対応して設けられる。例えば、レーシングゲームの場合、エンジン音を出力する音声出力イベントには同期信号Ｓ１が、ブレーキ音を出力する音声出力イベントには同期信号Ｓ２が、衝突音を出力する音声出力イベントには同期信号Ｓ３が、それぞれ対応する。また、音楽の場合、第１の楽器の音を出力する音声出力イベントには同期信号ｓ１が、第２の楽器の音を出力する音声出力イベントには同期信号ｓ２が、それぞれ対応する。これにより、検出された同期信号によって音声出力イベントの種類を特定することができる。　
同期信号が検出されない場合（ステップＳ１１０においてＮＯ）、プロセッサ３０１は、ステップＳ１１０へ処理を戻す。　
同期信号が検出された場合（ステップＳ１１０においてＹＥＳ）、プロセッサ３０１は、同期信号によって音声出力イベントの種類を判定する（ステップＳ５１１１）。　
プロセッサ３０１は、例えばテーブルデータ３３４を参照し、判定された音声出力イベントの種類に対応する触覚振動データ３３３が非一過性メモリ３０３にあるか否かを判定する（ステップＳ１１１）。なお、プロセッサ３０１は、テーブルデータ３３４を参照せずに、音声出力イベントの種類に対応する触覚振動データ３３３があるか否かを判定してもよい。対応する触覚振動データ３３３がある場合（ステップＳ１１１においてＹＥＳ）、プロセッサ３０１は触覚振動データ３３３を読み出し、触覚振動部３０６に触覚振動データ３３３を出力する（ステップＳ５１１２）。触覚振動部３０６の受信部３６１が触覚振動データを受信し（ステップＳ５１１３）、触覚振動素子３６１が触覚振動を発生させる（ステップＳ１１２）。　
他方、発生する音声出力イベントの種類に対応する触覚振動データ３３３がない場合（ステップＳ１１１においてＮＯ）、プロセッサ３０１は、ステップＳ５１１２及びＳ１１２をスキップする。　
第５変形例では、コンテンツに組み込まれた同期信号を用いて、音声出力イベントの発生及びその種類を検出する。このため、周波数解析処理が必要なく、プロセッサ３０１における処理の負荷を抑制することができる。　
［４－６．第６変形例］　第６変形例に係るコンテンツ再生装置３００は、コンテンツの再生中に、予め与えられたタイムチャートに基づいて、触覚振動の発生タイミングを検出する。触覚振動部３０６は、触覚振動の発生タイミングが検出された場合に、触覚振動データによる触覚振動を発生させる。
図１２は、第６変形例に係るコンテンツ再生装置３００の一部の動作の一例を示すフローチャートである。　
タイムチャートは、非一過性メモリ３０３に予め記憶される。プロセッサ３０１は、非一過性メモリ３０３からタイムチャートから読み出す（ステップＳ６１１１）。　
プロセッサ３０１は、タイムチャートを参照して、触覚振動の発生タイミング、即ち、音声出力イベントの発生タイミングを検出する（ステップＳ１１０）。触覚振動の発止タイミングが検出されない場合（ステップＳ１１０においてＮＯ）、プロセッサ３０１は、ステップＳ１１０へ処理を戻す。　
触覚振動の発生タイミングが検出された場合（ステップＳ１１０においてＹＥＳ）、プロセッサ３０１は、触覚振動の種類を判定する（ステップＳ６１１２）。ここで、タイムチャートには、発生対象の触覚振動の種類又は音声出力イベントの種類が、発生タイミングに対応づけられていてもよい。これにより、プロセッサ３０１は、発生対象の触覚振動の種類を、直接的に、又は音声出力イベントの種類から間接的に、特定することができる。　
プロセッサ３０１は、判定された触覚振動の種類に対応する触覚振動データ３３３が非一過性メモリ３０３にあるか否かを判定する（ステップＳ１１１）。対応する触覚振動データ３３３がある場合（ステップＳ１１１においてＹＥＳ）、プロセッサ３０１は触覚振動データ３３３を読み出し、触覚振動部３０６に触覚振動データ３３３を出力する（ステップＳ６１１３）。触覚振動部３０６の受信部３６１が触覚振動データを受信し（ステップＳ６１１４）、触覚振動素子３６１が触覚振動を発生させる（ステップＳ１１２）。
他方、判定された触覚振動の種類に対応する触覚振動データ３３３がない場合（ステップＳ１１１においてＮＯ）、プロセッサ３０１は、ステップＳ６１１３及びＳ１１２をスキップする。　
第６変形例では、予め与えられたタイムチャートを用いて、触覚振動の発生タイミング及びその種類を検出する。このため、プロセッサ３０１における処理の負荷を抑制することができる。　
［５．補記］　なお、今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内での全ての変更が含まれることが意図される。
１００　触覚振動データ配信システム　２００　コンテンツサーバ（サーバ）　２５０　課金サーバ　３００，３００－１，３００－２，３００－３　コンテンツ再生装置　４００　ネットワーク　３０１　プロセッサ　３０２　一過性メモリ　３０３　非一過性メモリ　３０４　スピーカ（音声出力部）　３０５　通信インタフェース（通信部）　３０６　触覚振動部（触覚振動提供装置）　３０７　表示部　３０８　入力部　３３１　アプリケーションプログラム　３３２　触覚振動発生プログラム　３３３　触覚振動データ　３３４　テーブルデータ　３６１　受信部　３６２　触覚振動素子　５００　デモ画面　５０１　第１領域　５０２　第２領域　５０３　メニューボタン　５１０　選択画面　５１１－１～５１１－１０　商品名 

Claims (16)

  1. 音声出力イベントを含むコンテンツを再生するアプリケーションプログラムを実行するプロセッサと、　前記プロセッサが前記アプリケーションプログラムを実行した場合に、前記音声出力イベントにおいて音声を出力する音声出力部と、　ユーザに触覚刺激を与える触覚振動を発生させるための触覚振動データを、前記アプリケーションプログラムとは別個にサーバから受信する通信部と、　前記通信部が前記触覚振動データを受信した場合に、前記音声出力イベントの発生に合わせて、受信された前記触覚振動データによる前記触覚振動を発生させる触覚振動部と、　を備える、コンテンツ再生装置。
  2. 複数の前記触覚振動データが、複数の前記音声出力イベントに対応づけられており、　受信する対象の前記触覚振動データの選択を受け付ける入力部をさらに備える、　請求項１に記載のコンテンツ再生装置。
  3. 前記触覚振動データを選択するための選択画面を表示する表示部をさらに備え、　前記入力部は、前記表示部に前記選択画面が表示されている場合に、前記触覚振動データの選択を受け付ける、　請求項２に記載のコンテンツ再生装置。
  4. 前記通信部は、前記触覚振動のデモンストレーションを実行するためのデモンストレーションデータを前記サーバから受信し、　前記触覚振動部は、前記通信部によって受信された前記デモンストレーションデータによる前記デモンストレーションを実行し、　前記表示部は、前記触覚振動部による前記デモンストレーションの実行後に、前記選択画面を表示する、　請求項３に記載のコンテンツ再生装置。
  5. 前
    記プロセッサは、前記コンテンツのデモンストレーションを行うデモンストレーション処理を実行し、　前記表示部は、前記デモンストレーションにおいて、前記選択画面を表示する、　請求項３に記載のコンテンツ再生装置。
  6. 前記表示部は、前記コンテンツを終了する場合に、前記選択画面を表示する、　請求項３に記載のコンテンツ再生装置。
  7. 前記表示部は、前記コンテンツの再生中に、前記選択画面を表示する、　請求項３に記載のコンテンツ再生装置。
  8. 前記プロセッサは、前記コンテンツの再生中に、前記音声出力部が出力する音声が有する音声波形を解析し、前記音声出力イベントが発生したか否かを判定し、　前記触覚振動部は、前記音声出力イベントが発生したと判定された場合に、前記音声出力イベントに対応する前記触覚振動データによる触覚振動を発生させる、　請求項１から請求項７のいずれか１項に記載のコンテンツ再生装置。
  9. 前記プロセッサは、前記コンテンツの再生中に、前記音声出力部が出力する音声が有する音声波形を監視し、前記音声出力イベントの発生が推定される場合に、前記音声波形を解析することで、前記音声出力イベントが発生したか否かを判定し、　前記触覚振動部は、前記音声出力イベントが発生したと判定された場合に、前記音声出力イベントに対応する前記触覚振動データによる触覚振動を発生させる、　請求項１から請求項７のいずれか１項に記載のコンテンツ再生装置。
  10. 前記プロセッサは、前記コンテンツの再生中に、前記コンテンツに予め組み込まれた前記音声出力イベント毎の同期信号を検出し、　前記触覚振動部は、前記同期信号が検出された場合に、発生した前記音声出力イベントに対応する前記触覚振動データによる触覚振動を発生させる、　請求項１から請求項７のいずれか１項に記載のコンテンツ再生装置。
  11. 前記プロセッサは、前記コンテンツの再生中に、予め与えられたタイムチャートに基づいて、前記触覚振動の発生タイミングを検出し、　前記触覚振動部は、前記触覚振動の発生タイミングが検出された場合に、前記触覚振動データによる触覚振動を発生させる、　請求項１から請求項７のいずれか１項に記載のコンテンツ再生装置。
  12. 音声出力部と、　ユーザに触覚刺激を与える触覚振動を発生させる触覚振動部と、　通信部と、　前記音声出力部が音声を出力する音声出力イベントを含むコンテンツを再生するアプリケーションプログラムを実行するプロセッサと、　を備えるコンテンツ再生装置が、　前記触覚振動部が前記触覚振動を発生させるための触覚振動データを、前記アプリケーションプログラムとは別個に前記通信部によって受信し、　前記コンテンツの再生中に、前記音声出力部によって前記音声出力イベントにおいて音声を出力し、　前記通信部によって前記触覚振動データを受信した場合に、前記音声出力イベントの発生に合わせて、前記触覚振動部によって前記触覚振動を発生させる、　触覚振動発生方法。
  13. 音声出力部と、　ユーザに触覚刺激を与える触覚振動を発生させる触覚振動部と、　通信部と、　プロセッサと、　を備えるコンピュータに、前記音声出力部が音声を出力する音声出力イベントを含むコンテンツを再生させるコンピュータプログラムであって、　前記プロセッサに、　前記触覚振動部が前記触覚振動を発生させるための触覚振動データを、前記コンテンツを再生するアプリケーションプログラムとは別個に前記通信部が受信する処理と、　前記コンテンツの再生中に、前記前記音声出力部によって前記音声出力イベントにおいて音声を出力する処理と、　前記通信部によって前記触覚振動データが受信された場合に、前記音声出力イベントの発生に合わせて、前記触覚振動部によって前記触覚振動を発生させる処理と、を実行させる、　コンピュータプログラム。
  14. コンテンツ再生装置と、　ユーザに触覚刺激を与える触覚振動を発生させるための触覚振動データを、前記コンテンツ再生装置に送信するサーバと、　を備え、　前記コンテンツ再生装置は、　音声出力イベントを含むコンテンツを再生するアプリケーションプログラムを実行するプロセッサと、　前記プロセッサが前記アプリケーションプログラムを実行した場合に、前記音声出力イベントにおいて音声を出力する音声出力部と、　前記触覚振動データを、前記アプリケーションプログラムとは別個に前記サーバから受信する通信部と、　前記通信部が前記触覚振動データを受信した場合に、前記音声出力イベントの発生に合わせて、受信された前記触覚振動データによる前記触覚振動を発生させる触覚振動部と、　を備える、触覚振動データ配信システム。
  15. 音声出力イベントを含むコンテンツを再生するアプリケーションプログラムを実行するコンテンツ再生装置用の触覚振動提供装置であって、　前記アプリケーションプログラムとは別個にサーバから送信される、ユーザに触覚刺激を与える触覚振動を発生させるための触覚振動データを受信する受信部と、　前記受信部が前記触覚振動データを受信した場合に、前記音声出力イベントの発生に合わせて、受信された前記触覚振動データによる前記触覚振動を発生させる触覚振動素子と、　を備える、触覚振動提供装置。
  16. 音声出力イベントを含むコンテンツを再生するアプリケーションプログラムを実行するコンテンツ再生装置用の触覚振動提供装置によってユーザに触覚刺激を与える触覚振動を発生させる触覚振動発生方法であって、　前記アプリケーションプログラムとは別個にサーバから送信される、前記触覚振動を発生させるための触覚振動データを受信し、　前記触覚振動データを受信した場合に、前記音声出力イベントの発生に合わせて、受信された前記触覚振動データによる前記触覚振動を発生させる、　触覚振動発生方法。  
PCT/JP2019/036577 2018-09-20 2019-09-18 コンテンツ再生装置、触覚振動発生方法、コンピュータプログラム、触覚振動データ配信システム、及び触覚振動提供装置 WO2020059758A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020548556A JPWO2020059758A1 (ja) 2018-09-20 2019-09-18 コンテンツ再生装置、触覚振動発生方法、コンピュータプログラム、触覚振動データ配信システム、及び触覚振動提供装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-175640 2018-09-20
JP2018175640 2018-09-20

Publications (1)

Publication Number Publication Date
WO2020059758A1 true WO2020059758A1 (ja) 2020-03-26

Family

ID=69887776

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/036577 WO2020059758A1 (ja) 2018-09-20 2019-09-18 コンテンツ再生装置、触覚振動発生方法、コンピュータプログラム、触覚振動データ配信システム、及び触覚振動提供装置

Country Status (2)

Country Link
JP (1) JPWO2020059758A1 (ja)
WO (1) WO2020059758A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022264537A1 (ja) * 2021-06-15 2022-12-22 ソニーグループ株式会社 触覚信号生成装置、触覚信号生成方法、プログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015145893A1 (ja) * 2014-03-26 2015-10-01 ソニー株式会社 体感導入装置、体感導入システム、及び体感導入方法
JP2015212987A (ja) * 2010-07-23 2015-11-26 サムスン エレクトロニクス カンパニー リミテッド リモートユーザーインターフェースシステムにおけるリモートユーザーインターフェースデータ送受信装置及び方法
JP2017005709A (ja) * 2015-06-12 2017-01-05 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ ブロードキャスト用ハプティクスアーキテクチャ
JP2018037106A (ja) * 2012-08-31 2018-03-08 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ マッピングを用いた音をハプティック効果に変換するシステム
JP2018064216A (ja) * 2016-10-13 2018-04-19 シャープ株式会社 力覚データ生成装置、電子機器、力覚データ生成方法、および制御プログラム
JP2018085148A (ja) * 2011-06-20 2018-05-31 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ ハプティックテーマフレームワーク

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015212987A (ja) * 2010-07-23 2015-11-26 サムスン エレクトロニクス カンパニー リミテッド リモートユーザーインターフェースシステムにおけるリモートユーザーインターフェースデータ送受信装置及び方法
JP2018085148A (ja) * 2011-06-20 2018-05-31 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ ハプティックテーマフレームワーク
JP2018037106A (ja) * 2012-08-31 2018-03-08 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ マッピングを用いた音をハプティック効果に変換するシステム
WO2015145893A1 (ja) * 2014-03-26 2015-10-01 ソニー株式会社 体感導入装置、体感導入システム、及び体感導入方法
JP2017005709A (ja) * 2015-06-12 2017-01-05 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ ブロードキャスト用ハプティクスアーキテクチャ
JP2018064216A (ja) * 2016-10-13 2018-04-19 シャープ株式会社 力覚データ生成装置、電子機器、力覚データ生成方法、および制御プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022264537A1 (ja) * 2021-06-15 2022-12-22 ソニーグループ株式会社 触覚信号生成装置、触覚信号生成方法、プログラム

Also Published As

Publication number Publication date
JPWO2020059758A1 (ja) 2021-08-30

Similar Documents

Publication Publication Date Title
JP6730398B2 (ja) 複数のアクチュエータを用いた音からハプティック効果への変換システム
EP3561661A1 (en) Method and haptic device for encoding and decoding haptic information
WO2020059758A1 (ja) コンテンツ再生装置、触覚振動発生方法、コンピュータプログラム、触覚振動データ配信システム、及び触覚振動提供装置
JP2023534975A (ja) ユーザーインタラクションに基づく音楽再生方法、装置、機器及び記憶媒体
JP2016005268A (ja) 情報伝送システム、情報伝送方法、及びプログラム
JP6344379B2 (ja) 情報処理装置、及び情報処理方法
JP2008032786A (ja) 語学学習システム及び語学学習システム用プログラム
JP6367748B2 (ja) 認識装置、映像コンテンツ提示システム
JP4925749B2 (ja) コンテンツ再生制御装置、コンテンツ再生制御方法、コンテンツ再生制御プログラムおよび記録媒体
JP6384329B2 (ja) データ処理装置、およびデータ処理プログラム
JP6619072B2 (ja) 音合成装置、音合成方法、及びそのプログラム
JP2007199574A (ja) 楽曲再生装置、楽曲テロップ検索サーバ
JP5094782B2 (ja) コンテンツの購買を促進する方法、プログラム及びアフィリエイトシステム
JPWO2005104125A1 (ja) 記録再生装置、同時記録再生制御方法、および同時記録再生制御プログラム
JP6440565B2 (ja) 音楽再生装置及び音楽再生方法
JP6259985B2 (ja) 情報処理システム
KR102056270B1 (ko) 저 전력 연관 콘텐츠 제공 방법
JP7485570B2 (ja) コンテンツ出力装置
JP2004021876A (ja) ブラウジング装置並びにプログラム及び記録媒体
JP4062570B2 (ja) 信号処理装置および方法、並びに記録媒体
JP2023164835A (ja) 情報処理システム、プログラム及び情報処理方法
JP2021056942A (ja) コンテンツ配信システム
JP2019008420A (ja) 注目度算出プログラム
WO2013151087A1 (ja) データ処理装置及びデータ処理プログラム
JP2014036316A (ja) 番組画像作成方法およびその装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19863929

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020548556

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19863929

Country of ref document: EP

Kind code of ref document: A1