EP2396788A2 - Device and method for playback pacing control of a file of signals to be reproduced - Google Patents

Device and method for playback pacing control of a file of signals to be reproduced

Info

Publication number
EP2396788A2
EP2396788A2 EP10706971A EP10706971A EP2396788A2 EP 2396788 A2 EP2396788 A2 EP 2396788A2 EP 10706971 A EP10706971 A EP 10706971A EP 10706971 A EP10706971 A EP 10706971A EP 2396788 A2 EP2396788 A2 EP 2396788A2
Authority
EP
European Patent Office
Prior art keywords
module
signals
control
file
keystrokes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP10706971A
Other languages
German (de)
French (fr)
Inventor
Dominique David
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Movea SA
Commissariat a lEnergie Atomique et aux Energies Alternatives CEA
Original Assignee
Commissariat a lEnergie Atomique CEA
Movea SA
Commissariat a lEnergie Atomique et aux Energies Alternatives CEA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Commissariat a lEnergie Atomique CEA, Movea SA, Commissariat a lEnergie Atomique et aux Energies Alternatives CEA filed Critical Commissariat a lEnergie Atomique CEA
Publication of EP2396788A2 publication Critical patent/EP2396788A2/en
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/40—Rhythm
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
    • G10H1/0041—Recording/reproducing or transmission of music for electrophonic musical instruments in coded form
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/04—Time compression or expansion
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • A63B2071/0625—Emitting sound, noise or music
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0686—Timers, rhythm indicators or pacing apparatus using electric or electronic means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/201—User input interfaces for electrophonic musical instruments for movement interpretation, i.e. capturing and recognizing a gesture or a specific kind of movement, e.g. to control a musical instrument
    • G10H2220/206—Conductor baton movement detection used to adjust rhythm, tempo or expressivity of, e.g. the playback of musical pieces
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/395—Acceleration sensing or accelerometer use, e.g. 3D movement computation by integration of accelerometer data, angle sensing with respect to the vertical, i.e. gravity sensing.
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/171—Transmission of musical instrument data, control or status information; Transmission, remote access or control of music data for electrophonic musical instruments
    • G10H2240/281—Protocol or standard connector for transmission of analog or digital data to or from an electrophonic musical instrument
    • G10H2240/311—MIDI transmission

Definitions

  • the invention relates to controlling the scrolling of an audio file in real time.
  • Electronic musical synthesis devices allow to play one or more synthetic instruments (made from acoustic models or samples of piano sounds, guitar, other stringed instruments, saxophone or other wind instruments, etc.) using a note input interface.
  • the notes entered are converted into signals by a synthesis device connected to the interface by a connector and a software interface using the MIDI standard (Musical Instrument Digital Interface).
  • MIDI Musical Instrument Digital Interface
  • Automatic programming of the instrument or instruments for generating sets of notes corresponding to a partition can be performed using software provided for this purpose.
  • the MAX / MSP programming software is one of the most popular and allows you to create such an application for the interpretation of musical scores.
  • Such an application includes a graphical programming interface which makes it possible to choose and control note sequences and to control the DSP (Digital Signal Processor) of musical synthesis.
  • DSP Digital Signal Processor
  • the existing devices do not allow this control of the scrolling rhythm of the different types of audio files used (MP3 - MPEG (Moving Picture Expert Group) 1/2 Layer 3, WAV - WAVeform audio format, WMA - Windows Media Audio .. .) to reproduce pre-recorded music on electronic equipment.
  • No device of the prior art can perform this control in real time under musicality conditions that are acceptable.
  • the PCT application WO98 / 19294 deals only with the control of the scrolling rhythm of MIDI files and not with substantially continuously encoded signal files, such as mp3 or wav files.
  • the present invention provides an answer to these limitations of the prior art by using an algorithm for controlling the scrolling of the automatic score which makes it possible to ensure satisfactory musical rendering.
  • the present invention discloses a device for controlling by a user the rate of movement of a pre-recorded file of signals to be reproduced and the intensity of said signals, said signals being encoded in said pre-recorded file in a substantially continuous manner, said device comprising a first control keys input interface module, a second input module of said signals to be reproduced, a third module for temporal control of said prerecorded signals and a device for reproducing the inputs of the first three modules, said control device being characterized in that said second module is able to be programmed to determine the times when are waited for control keystrokes of the file scroll rate, and in that said third module is able to calculate for a number of control strikes a corrected velocity factor (CSF) relative to strikes preprogrammed in the second module and keystrokes actually entered in the first module and a relative intensity factor of the velocities of said keystrokes actually entered and expected then to adjust the rate of movement of said second module to adjust said corrected speed factor (CSF) to subsequent keystroke
  • the first module comprises a MIDI interface.
  • the first module comprises a motion capture sub-module and a sub-module for analysis and interpretation of gestures receiving as input the outputs of the motion capture sub-module.
  • the motion capture sub-module performs said motion capture according to at least a first and a second axis, the sub-module for analyzing and interpreting gestures comprises a filtering function, a significant gesture detection function.
  • the first module comprises an interface for capturing neuronal signals from the user's brain and a sub-module for interpreting said neural signals.
  • the velocity of the typing input is calculated from the deviation of the signal output of the second sensor.
  • the first module further comprises a submodule capable of interpreting the user's gestures whose output is used by the third module to control a characteristic of the audio output chosen from the group constituted by the vibrato and the tremolo.
  • the second module comprises a tag placement sub-module in the prerecorded signal file to be reproduced at the times when the file's scroll rhythm control keystrokes are expected, said tags being generated automatically according to the rhythm of the files.
  • pre-recorded signals that can be moved by a MIDI interface.
  • the value chosen in the third module for adjusting the running speed of the second module is equal to a value chosen from a set of calculated values, one of whose limits is calculated by applying a speed factor CSF equal to the ratio of the time interval between the next tag and the previous tag minus the time interval between the current tap and the previous tap at the time interval between the current tap and the previous tap and whose other values are calculated by interpolation linear between the current value and the value corresponding to that of the terminal used for applying the CSF speed factor.
  • the value chosen in the third module to adjust the scrolling speed of the second module is equal to the value corresponding to that of the terminal used for the application of the CSF speed factor.
  • the invention also discloses a method of controlling by a user the rate of movement of a prerecorded file of signals to be reproduced and the intensity of said signals, said signals being encoded in said prerecorded file substantially continuously, said method comprising a first control keys input interface step, a second input step of said signals to be reproduced, a third step of time control of said prerecorded signals and a step of reproducing the inputs of the first three steps, said method of control being characterized in that the said second step is able to be programmed to determine the times when are expected control keystrokes of the file scroll rate, and in that the said third step is able to calculate for a number of control strokes a corrected speed factor (CSF) relative to preprogr strikes ammées in the second step and keystrokes actually entered in the first step and a relative intensity factor velocities of said keystrokes actually entered and expected then adjust the scroll rate in said second step to adjust said corrected speed factor (CSF ) to the following keystrokes at a chosen value and the
  • Another advantage of the invention is that it makes it possible to control the scrolling of the prerecorded audio files intuitively.
  • New scroll control algorithms can also be easily integrated into the device of the invention.
  • the control of the sound power of the prerecorded audio files can also be carried out in a simple manner by the device of the invention.
  • FIGS. 1A, 1B and 1C show, in a simplified manner, a functional architecture of a device for controlling the running speed of a prerecorded audio file according to three embodiments of the invention
  • FIG. 2 represents the flowchart of a low-pass filtering of the signals of a motion sensor in one of the embodiments of the invention as represented in FIG. 1B;
  • FIGS. 3A and 3B show two cases of implementation of the invention in which respectively the typing speed is higher / lower than that of running the audio band;
  • FIG. 4 represents a flowchart of the processes of the measurement function of the velocity of the striking in one embodiment of the invention
  • FIG. 5 represents a general flowchart of the treatments in one embodiment of the invention.
  • FIG. 6 represents a detail of FIG. 5 which shows the rhythmic control points desired by a user of a device according to one embodiment of the invention
  • FIG. 7 represents an expanded flowchart of a time control method in one embodiment of the invention.
  • FIGS. 1A, 1B and 1C show three embodiments of the invention which differ only in the control keys input interface module 10.
  • the characteristics of the module 20, the input of the signals to be reproduced, the timing control module 30 and the audio output module 40 are described below.
  • At least three input interface modules are possible. They are respectively represented in FIGS. 1A, 1B and 1C.
  • Each input module comprises a submodule 1 which captures interaction commands with the device and a part that makes the input and the translation of these modules. commands in the device.
  • MIDI controllers 1 10A are control surfaces that may have buttons, faders (linear faders for adjusting the level of sound sources, pads (touch sensitive surfaces) or rotary knobs.These controllers are not sound management or playback devices, they only produce MIDI data. Other types of control surfaces can be used, such as a virtual harp, guitar or saxophone. These controllers can have a display screen.Whatever the elements that make up the control surface, all buttons, sliders, faders, keys, pads are assignable to each element of the visual interface of the software through setups (configuration files) . The sound controls can also be coupled with lighting controls.
  • a MIDI controller 1 1 OA is connected to the time control processor 30 through an interface whose hardware part is a 5-pin DIN connector. Several MIDI controllers can be connected to the same computer by being chained together.
  • the communication link is set at 31,250 bauds.
  • the coding uses 128 tone values (from 0 to 127), the notes messages ranging between 8,175 Hz and 12544 Hz with a half-tone resolution.
  • FIG. 1B there is shown a motion capture assembly 10B comprising a Movea TM MotionPod TM motion sensor 1 10B and a motion analysis interface 120B.
  • An AirMouse TM or GyroMouse TM can also be used in place of the MotionPod, as well as other motion sensors.
  • a MotionPod comprises a tri-axis accelerometer, a tri-axis magnetometer, a pre-processing capability for preforming signals from the sensors, a radiofrequency transmission module of said signals to the processing module itself and a battery.
  • This motion sensor is called "3A3M" (three axes of accelerometer and three axes of magnetometer).
  • Accelerometers and magnetometers are small, low-power, low-cost commercial micro-sensors, such as a Kionix TM three-way accelerometer (KXPA4 3628) and HoneyWell TM magnetometers of the HMC1041 Z type (1). vertical track) and HMC1042L for the 2 horizontal tracks.
  • the raw signals are transmitted by a radio frequency protocol in the Bluetooth TM band (2, 4GHz) optimized for consumption in this type of applications.
  • the data is therefore raw to a controller that can receive data from a set of sensors. They are read by the controller and made available software.
  • the sampling rate is adjustable. By default, it is set at 200 Hz. Higher values (up to 3000 Hz or more) can nevertheless be envisaged, allowing greater accuracy in the detection of shocks, for example.
  • the radio frequency protocol of the MotionPod makes it possible to guarantee the provision of the data to the controller with a controlled delay, which should not exceed 10ms (at 200 Hz), which is important for the music.
  • An accelerometer of the above type makes it possible to measure the longitudinal displacements along its three axes and, by transformation, angular displacements (except those resulting from a rotation around the direction of the terrestrial gravitational field) and orientations with respect to a Cartesian reference system in three dimensions.
  • a set of magnetometers of the above type makes it possible to measure the orientation of the sensor to which it is fixed with respect to the terrestrial magnetic field and thus displacements and orientations with respect to the three axes of the reference frame (except around the direction of the magnetic field earthly).
  • the 3A3M combination provides complementary and smooth motion information.
  • the AirMouse includes two gyrometer type sensors, each with an axis of rotation.
  • the gyrometers used are from the Epson reference XV3500. Their axes are orthogonal and deliver the pitch angles (yaw or rotation around the axis parallel to the horizontal axis of a plane facing the user of the AirMouse) and yaw (pitch or rotation around a axis parallel to the vertical axis of a plane facing the user of the AirMouse).
  • the instantaneous pitch and yaw speeds measured by the two gyrometer axes are transmitted by radio frequency protocol to a controller moving a cursor in a screen facing the user.
  • the gesture analysis and interpretation module 120B provides signals that are directly usable by the time control processor 30. For example, the signals along an axis of the accelerometer and the magnetometer of the MotionPod are combined according to the method described in FIG. patent application filed by the present applicants in the patent application entitled "DEVICE AND METHOD FOR INTERPRETATION OF MUSICAL GESTURES". The processes implemented in the module 120B are performed in software.
  • the treatments firstly comprise a low-pass filtering of the outputs of the sensors of the two modalities (accelerometer and magnetometer) whose detailed operation is explained in FIG. 2.
  • This filtering of the output signals of the motion sensor controller uses a recursive approach of order 1.
  • the gain of the filter may for example be set at 0.3.
  • the filter equation is given by the following formula:
  • the treatment then comprises a low-pass filtering of the two modalities with a cut-off frequency lower than that of the first filter.
  • This lower cut-off frequency results from the choice of a coefficient of the second filter which is lower than the gain of the first filter.
  • the coefficient of the second filter can be set at 0.1.
  • the processing comprises a detection of a zero of the derivative of the output signal of the accelerometer with the measurement of the output signal of the magnetometer.
  • a negative sign of the product FDA (n) * FDA (n-1) indicates a zero of the derivative of the filtered signal of the accelerometer and thus detects a strike.
  • the processing module checks the intensity of the deviation of the other modality at the filtered output of the magnetometer. If this value is too low, the strike is considered not as a primary strike but as a secondary or ternary strike and discarded.
  • the threshold for discarding non-primary strikes depends on the expected amplitude of the deviation of the magnetometer. Typically, this value will be of the order of 5/1000 in the envisaged applications. This part of the treatment thus makes it possible to eliminate the insignificant strikes.
  • Figure 1C has an interface 1 OC, 1 10C Brain -> Computer or "Brain Computer Interface". These interfaces are still in the advanced stage of research but offer promising possibilities, especially in the field of musical performance.
  • the neural signals are provided to an interpretation interface 120C which converts these signals into commands for the time control processor 30.
  • Such neural devices operate, for example, as follows.
  • the person's scalp is provided with a network of sensors for electrical and / or magnetic activity resulting from the neuronal activity of the subject.
  • scientific models have not yet been signals to find the intention of the subject, for example in our case to beat the measure in a musical context.
  • a pre-recorded music file 20 to one of the standard formats (MP3, WAV, WMA, etc.) is taken from a storage unit by a reader.
  • To this file is associated another file with time marks or "tags" at predetermined times; for example, the table below shows nine tags at times in milliseconds that are listed next to the index of the decimal point:
  • the tags can advantageously be placed at beats of the same index in the piece that is played. There is no constraint on the number of tags.
  • Several techniques are possible to place tags in a pre-recorded piece of music: - Manually, by searching on the musical wave the point corresponding to a rhythm where a tag must be placed; it is a possible but tedious process;
  • the prerecorded signal input module 20 to be reproduced can process different types of audio files, in the MP3, WAV, WMA formats.
  • the file may also include other multimedia content than a simple sound recording. It may be for example video content, with or without soundtrack, which will be tagged and whose scrolling can be controlled by the input module 10.
  • the time control processor 30 synchronizes the signals received from the input module 10 and the pre-recorded music piece 20, in a manner commented on in FIGS. 3A and 3B.
  • the audio output 40 reproduces the pre-recorded piece of music from the module 20 with the variations of rhythm introduced by the commands of the input module 10 interpreted by the control processor 30. Any sound reproduction device does the job, including headphones, speakers.
  • FIGS. 3A and 3B show two cases of implementation of the invention in which respectively the typing speed is higher / lower than that of running the audio band.
  • the audio player of the module 20 starts playing the pre-recorded piece of music at a rate given. This rhythm can for example be indicated by several small prior strikes. Whenever the time control processor receives a strike signal, the current playing speed of the user is calculated.
  • SF (n) [T (n + 1) - T (n)] / [H (n + 1) - H (n)]
  • the player accelerates and advances the pre-recorded track: a new keystroke is received by the processor before the audio player has reached the sample of the piece of music where the tag is placed corresponding to this hit.
  • the speed factor SF is 4/3.
  • the time control processor makes the reading of the file 20 jump to the sample containing the index mark corresponding to the keystroke. Part of the pre-recorded music is lost, but the quality of the musical rendering is not too disturbed because the attention of those who listen to a piece of music usually focuses on the elements of the main rhythm and the tags will normally be placed on these elements of the main rhythm.
  • the listener who is waiting for that item will pay less attention to the absence of the part of the pre recorded song that has been skipped, this jump thus passing almost unnoticed.
  • the quality of listening can be further enhanced by smoothing the transition. This smoothing can by example be operated by interpolating a few samples (a dozen) between before and after the tag to which the player is blown up to catch up with the player's typing speed. Playback of the pre-recorded song continues at the new speed resulting from that jump.
  • FIG. 3B Three positions of the tags at time n + 2 (in the time scale of the audio file) before changing the speed of the reader are indicated in FIG. 3B:
  • the first starting from the left T (n + 2) is that corresponding to the speed of movement prior to the slowdown of the player;
  • the second, NT 1 (n + 2) is the result of the calculation consisting in adjusting the speed of the player's scrolling speed to the player's typing speed by using the speed factor SF; we see that in this case the tags remain ahead of the keystrokes;
  • NT 2 (n + 2) is the result of a calculation using a corrected speed factor CSF; this corrected factor is calculated so that the dates of the following keystroke and tag are identical, which is seen in Figure 3B.
  • Another improvement, applicable to the embodiment comprising one or more motion sensors, is to measure the player's striking energy or velocity to control the volume of the audio output.
  • the manner in which velocity is measured is also disclosed in the patent application filed by the present applicants in the patent application entitled "DEVICE AND METHOD FOR INTERPRETATION OF
  • This part of the processing carried out by the module 120B for analyzing and interpreting gestures is represented in FIG. 4.
  • the processing module calculates a velocity signal (or volume) of the strike by using the deviation of the filtered signal at the output of the magnetometer.
  • DELTAB (n) is introduced into the sample n which can be considered as the pre-filtered signal of the centered magnetometer and which is calculated as follows:
  • VEL (n) Max ⁇ DELTAB (n), DELTAB (p) ⁇ - Min ⁇ DELTAB (n), DELTA (p) ⁇
  • p is the index of the sample in which the previous primary strike was detected.
  • the velocity is the race (difference Max-Min) of the derivative signal between two detected primary strikes, characteristics of musical gestures.
  • this embodiment comprising several motion sensors, to control by other gestures other musical parameters such as the spatial origin of the sound (or panning), the vibrato or the tremolo.
  • a sensor in one hand will detect the striking while another sensor held in the other hand will detect the spatial origin of sound or tremolo.
  • Rotations of the hand can also be taken into account: when the palm of the hand is horizontal, one obtains a value of the spatial origin of the sound or the tremolo; when the palm is vertical, another value of the same parameter is obtained; in both cases, the movements of the hand in space provide the detection of the strikes.
  • conventionally used controllers can also be used in this embodiment of the invention to control the spatial origin of sounds, tremolo or vibrato.
  • the invention can be advantageously implemented by processing the keystrokes via a MAX / MSP program.
  • Figure 5 shows the general flowchart of the treatments in such a program.
  • the blue display shows the waveform associated with the audio track loaded into the system. There is a classical part to listen to the original piece.
  • Figure 7 details the part of Figure 5 at the bottom right that represents the time control that is applied.
  • the SF acceleration / deceleration coefficient is calculated by comparing the existing duration between two consecutive marks on the one hand in the original piece, on the other hand in the current game of the user. The formula for calculating this speed factor is given above in the description.
  • a timeout is set to stop the scrolling of the audio if the user has no longer typed for a time depending on the current musical content.
  • the "if" object in the left column detects whether it is slowing down or accelerating. In the event of a slowdown, the reading speed of the algorithm is changed, but no jump is made in the audio file.
  • the new reading speed is not necessarily exactly the one calculated in the right column (SF), but can be corrected (CSF speed factor) to take into account that we have already exceeded in the audio the corresponding mark at the last action of the player;

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Electrophonic Musical Instruments (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

The invention relates to a device and to a method for controlling the playback of a file of signals to be reproduced. The devices and methods of the prior art do not make it possible to control the playback of an audio file by means of the strokes of a user while guaranteeing high-quality musical rendition. The invention resolves said problem by providing a means for controlling said playback by means of strokes entered via a MIDI interface or measured by one or more motion sensors. Variations in playback speed can also be smoothed out in order to guarantee better musical rendition. The speed of the strokes can also be taken into account for controlling the volume of the audio output and other gestures or strokes can also control the tremolo or vibrato.

Description

DISPOSITIF ET PROCEDE DE CONTROLE DU DEFILEMENT D'UN FICHIER DE SIGNAUX A REPRODUIRE DEVICE AND METHOD FOR CONTROLLING THE SCROLLING OF A REPRODUCING SIGNAL FILE
L'invention concerne le contrôle du défilement d'un fichier audio en temps réel. Des dispositifs électroniques de synthèse musicale permettent de jouer un ou plusieurs instruments synthétiques (réalisés à partir de modèles acoustiques ou d'échantillons de sons de piano, guitare, autres instruments à cordes, saxophone ou autres instruments à vent, etc..) en utilisant une interface d'entrée de notes. Les notes entrées sont converties en signaux par un dispositif de synthèse connecté à l'interface par un connecteur et une interface logicielle utilisant le standard MIDI (Musical Instrument Digital Interface). Une programmation automatique du ou des instruments permettant de générer des séries de notes correspondant à une partition peut être effectuée en utilisant un logiciel prévu à cet effet. Parmi ceux-ci, le logiciel de programmation MAX/MSP est un des plus répandus et permet de créer une telle application d'interprétation de partitions musicales. Une telle application comprend une interface de programmation graphique qui permet de choisir et contrôler des séquences de notes et de piloter le DSP (Digital Signal Processor) de synthèse musicale. Dans ces dispositifs, il est possible de combiner une partition pilotée par l'interface qui commande un des instruments avec la partition d'autres instruments qui est jouée de manière automatique. Plutôt que de contrôler des instruments synthétiques par une interface de type MIDI, on peut souhaiter contrôler directement un enregistrement audio, le contrôle permettant par exemple d'agir sur la vitesse et/ou le volume de lecture du fichier. Pour assurer une synchronisation musicale du fichier qui est joué avec les données de jeu de l'interprète délivrées par l'interface MIDI, il serait particulièrement utile de pouvoir contrôler le rythme de déroulement de la partition jouée de manière automatique. Les dispositifs existant ne permettent pas de réaliser ce contrôle de rythme de défilement des différents types de fichiers audio utilisés (MP3 - MPEG (Moving Picture Expert Group) 1/2 Layer 3, WAV - WAVeform audio format, WMA - Windows Media Audio...) pour reproduire sur un équipement électronique de la musique préenregistrée. Aucun dispositif de l'art antérieur ne permet d'effectuer ce contrôle en temps réel dans des conditions de musicalité qui soient acceptables. En particulier, la demande PCT WO98/19294 ne traite que du contrôle du rythme de défilement de fichiers MIDI et non de fichiers de signaux encodés de manière substantiellement continue, tels que les fichiers mp3 ou wav. La présente invention apporte une réponse à ces limitations de l'art antérieur en utilisant une algorithmie de contrôle du défilement de la partition automatique qui permet d'assurer un rendu musical satisfaisant.The invention relates to controlling the scrolling of an audio file in real time. Electronic musical synthesis devices allow to play one or more synthetic instruments (made from acoustic models or samples of piano sounds, guitar, other stringed instruments, saxophone or other wind instruments, etc.) using a note input interface. The notes entered are converted into signals by a synthesis device connected to the interface by a connector and a software interface using the MIDI standard (Musical Instrument Digital Interface). Automatic programming of the instrument or instruments for generating sets of notes corresponding to a partition can be performed using software provided for this purpose. Among these, the MAX / MSP programming software is one of the most popular and allows you to create such an application for the interpretation of musical scores. Such an application includes a graphical programming interface which makes it possible to choose and control note sequences and to control the DSP (Digital Signal Processor) of musical synthesis. In these devices, it is possible to combine an interface-driven partition that controls one of the instruments with the score of other instruments that is played automatically. Rather than controlling synthetic instruments through a MIDI interface, it may be desired to directly control an audio recording, the control for example acting on the speed and / or the reading volume of the file. To ensure a musical synchronization of the file that is played with the play data of the interpreter delivered by the MIDI interface, it would be particularly useful to be able to control the rhythm of unfolding of the partition played automatically. The existing devices do not allow this control of the scrolling rhythm of the different types of audio files used (MP3 - MPEG (Moving Picture Expert Group) 1/2 Layer 3, WAV - WAVeform audio format, WMA - Windows Media Audio .. .) to reproduce pre-recorded music on electronic equipment. No device of the prior art can perform this control in real time under musicality conditions that are acceptable. In particular, the PCT application WO98 / 19294 deals only with the control of the scrolling rhythm of MIDI files and not with substantially continuously encoded signal files, such as mp3 or wav files. The present invention provides an answer to these limitations of the prior art by using an algorithm for controlling the scrolling of the automatic score which makes it possible to ensure satisfactory musical rendering.
A cet effet, la présente invention divulgue un dispositif de contrôle par un utilisateur du rythme de défilement d'un fichier préenregistré de signaux à reproduire et de l'intensité desdits signaux, lesdits signaux étant encodés dans ledit fichier préenregistré de manière sensiblement continue, ledit dispositif comprenant un premier module d'interface d'entrée de frappes de contrôle, un deuxième module, d'entrée des dits signaux à reproduire, un troisième module, de contrôle temporel des dits signaux préenregistrés et un dispositif de reproduction des entrées des trois premiers modules, ledit dispositif de contrôle étant caractérisé en ce que ledit deuxième module est apte à être programmé pour déterminer les temps où sont attendues des frappes de contrôle du rythme de défilement du fichier, et en ce que ledit troisième module est apte à calculer pour un certain nombre de frappes de contrôle un facteur de vitesse corrigée (CSF) relative de frappes préprogrammées dans le deuxième module et des frappes effectivement entrées dans le premier module et un facteur d'intensité relative des vélocités desdites frappes effectivement entrées et attendues puis à ajuster le rythme de défilement dudit deuxième module pour ajuster ledit facteur de vitesse corrigée (CSF) aux frappes suivantes à une valeur choisie et l'intensité des signaux en sortie du deuxième module en fonction dudit facteur d'intensité relative des vélocités.For this purpose, the present invention discloses a device for controlling by a user the rate of movement of a pre-recorded file of signals to be reproduced and the intensity of said signals, said signals being encoded in said pre-recorded file in a substantially continuous manner, said device comprising a first control keys input interface module, a second input module of said signals to be reproduced, a third module for temporal control of said prerecorded signals and a device for reproducing the inputs of the first three modules, said control device being characterized in that said second module is able to be programmed to determine the times when are waited for control keystrokes of the file scroll rate, and in that said third module is able to calculate for a number of control strikes a corrected velocity factor (CSF) relative to strikes preprogrammed in the second module and keystrokes actually entered in the first module and a relative intensity factor of the velocities of said keystrokes actually entered and expected then to adjust the rate of movement of said second module to adjust said corrected speed factor (CSF) to subsequent keystrokes at a selected value and the intensity of the signals output from the second module as a function of said relative velocity intensity factor.
Avantageusement, le premier module comprend une interface MIDI. Avantageusement, le premier module comprend un sous module de capture de mouvement et un sous module d'analyse et d'interprétation de gestes recevant en entrée les sorties du sous module de capture de mouvement. Avantageusement, le sous module de capture de mouvement réalise ladite capture de mouvements selon au moins un premier et un deuxième axes, .le sous module d'analyse et d'interprétation de gestes comprend une fonction de filtrage, une fonction de détection de geste significatif par comparaison de la variation entre deux valeurs successives dans l'échantillon d'au moins un des signaux en provenance au moins du premier axe de l'ensemble de capteurs avec au moins une première valeur de seuil choisie et une fonction de confirmation de détection de geste significatif, et ladite fonction de confirmation de détection de geste significatif est apte à comparer au moins un des signaux en provenance au moins du deuxième axe de l'ensemble de capteurs avec au moins une deuxième valeur de seuil choisie. Avantageusement, le premier module comprend une interface de capture de signaux neuronaux du cerveau de l'utilisateur et un sous module d'interprétation des dits signaux neuronaux.Advantageously, the first module comprises a MIDI interface. Advantageously, the first module comprises a motion capture sub-module and a sub-module for analysis and interpretation of gestures receiving as input the outputs of the motion capture sub-module. Advantageously, the motion capture sub-module performs said motion capture according to at least a first and a second axis, the sub-module for analyzing and interpreting gestures comprises a filtering function, a significant gesture detection function. by comparison of the variation between two successive values in the sample of at least one of the signals coming from at least the first axis of the set of sensors with at least a first selected threshold value and a significant gesture detection confirmation function, and said significant gesture detection confirmation function is able to compare at least one of the signals coming from at least the second axis of the sensor set with at least a second selected threshold value. Advantageously, the first module comprises an interface for capturing neuronal signals from the user's brain and a sub-module for interpreting said neural signals.
Avantageusement, la vélocité de la frappe entrée est calculée à partir de la déviation du signal en sortie du deuxième capteur.Advantageously, the velocity of the typing input is calculated from the deviation of the signal output of the second sensor.
Avantageusement, le premier module comprend en outre un sous module apte à interpréter des gestes de l'utilisateur dont la sortie est utilisée par le troisième module pour contrôler une caractéristique de la sortie audio choisie dans le groupe constitué par le vibrato et le trémolo.Advantageously, the first module further comprises a submodule capable of interpreting the user's gestures whose output is used by the third module to control a characteristic of the audio output chosen from the group constituted by the vibrato and the tremolo.
Avantageusement, le deuxième module comprend un sous module de placement de tags dans le fichier de signaux préenregistrés à reproduire aux temps où sont attendues des frappes de contrôle du rythme de défilement du fichier, les dits tags étant générés de manière automatique en fonction du rythme des signaux préenregistrés et pouvant être déplacés par une interface MIDI.Advantageously, the second module comprises a tag placement sub-module in the prerecorded signal file to be reproduced at the times when the file's scroll rhythm control keystrokes are expected, said tags being generated automatically according to the rhythm of the files. pre-recorded signals that can be moved by a MIDI interface.
Avantageusement, la valeur choisie dans le troisième module pour ajuster la vitesse de défilement du deuxième module est égale à une valeur choisie dans un ensemble de valeurs calculées dont une des bornes est calculée par application d'un facteur de vitesse CSF égal au rapport de l'intervalle de temps entre le tag suivant et le tag précédent diminué de l'intervalle de temps entre la frappe courante et la frappe précédente à l'intervalle de temps entre la frappe courante et la frappe précédente et dont les autres valeurs sont calculées par interpolation linéaire entre la valeur courante et la valeur correspondant à celle de la borne utilisée pour l'application du facteur de vitesse CSF.Advantageously, the value chosen in the third module for adjusting the running speed of the second module is equal to a value chosen from a set of calculated values, one of whose limits is calculated by applying a speed factor CSF equal to the ratio of the the time interval between the next tag and the previous tag minus the time interval between the current tap and the previous tap at the time interval between the current tap and the previous tap and whose other values are calculated by interpolation linear between the current value and the value corresponding to that of the terminal used for applying the CSF speed factor.
Avantageusement, la valeur choisie dans le troisième module pour ajuster la vitesse de défilement du deuxième module est égale à la valeur correspondant à celle de la borne utilisée pour l'application du facteur de vitesse CSF.Advantageously, the value chosen in the third module to adjust the scrolling speed of the second module is equal to the value corresponding to that of the terminal used for the application of the CSF speed factor.
L'invention divulgue également un procédé de contrôle par un utilisateur du rythme de défilement d'un fichier préenregistré de signaux à reproduire et de l'intensité desdits signaux, lesdits signaux étant encodés dans ledit fichier préenregistré de manière sensiblement continue, ledit procédé comprenant une première étape d'interface d'entrée de frappes de contrôle, une deuxième étape d'entrée des dits signaux à reproduire, une troisième étape de contrôle temporel des dits signaux préenregistrés et une étape de reproduction des entrées des trois premières étape, ledit procédé de contrôle étant caractérisé en ce que la dite deuxième étape est apte à être programmée pour déterminer les temps où sont attendues des frappes de contrôle du rythme de défilement du fichier, et en ce que la dite troisième étape est apte à calculer pour un certain nombre de frappes de contrôle un facteur de vitesse corrigée (CSF) relative des frappes préprogrammées dans la deuxième étape et des frappes effectivement entrées dans la première étape et un facteur d'intensité relative des vélocités desdites frappes effectivement entrées et attendues puis à ajuster le rythme de défilement dans la dite deuxième étape pour ajuster ledit facteur de vitesse corrigée (CSF) aux frappes suivantes à une valeur choisie et l'intensité des signaux en sortie du deuxième module en fonction dudit facteur d'intensité relative desdites vélocités..The invention also discloses a method of controlling by a user the rate of movement of a prerecorded file of signals to be reproduced and the intensity of said signals, said signals being encoded in said prerecorded file substantially continuously, said method comprising a first control keys input interface step, a second input step of said signals to be reproduced, a third step of time control of said prerecorded signals and a step of reproducing the inputs of the first three steps, said method of control being characterized in that the said second step is able to be programmed to determine the times when are expected control keystrokes of the file scroll rate, and in that the said third step is able to calculate for a number of control strokes a corrected speed factor (CSF) relative to preprogr strikes ammées in the second step and keystrokes actually entered in the first step and a relative intensity factor velocities of said keystrokes actually entered and expected then adjust the scroll rate in said second step to adjust said corrected speed factor (CSF ) to the following keystrokes at a chosen value and the intensity of the signals output from the second module as a function of said relative intensity factor of said velocities.
Un autre avantage de l'invention est qu'elle permet de réaliser le contrôle du défilement des fichiers audio préenregistrés de manière intuitive. De nouveaux algorithmes de contrôle du défilement pourront également être intégrés de manière facile dans le dispositif de l'invention. Le contrôle de la puissance sonore des fichiers audio préenregistrés peut être également effectué de manière simple par le dispositif de l'invention.Another advantage of the invention is that it makes it possible to control the scrolling of the prerecorded audio files intuitively. New scroll control algorithms can also be easily integrated into the device of the invention. The control of the sound power of the prerecorded audio files can also be carried out in a simple manner by the device of the invention.
L'invention sera mieux comprise, ses différentes caractéristiques et avantages ressortiront de la description qui suit de plusieurs exemples de réalisation et de ses figures annexées dont : - Les figures 1 A, 1 B et 1 C représentent de manière simplifiée une architecture fonctionnelle d'un dispositif de contrôle de la vitesse de défilement d'un fichier audio préenregistré selon trois modes de réalisation de l'invention ; - La figure 2 représente l'organigramme d'un filtrage passe-bas des signaux d'un capteur de mouvement dans un des modes de réalisation de l'invention tel que représenté sur la figure 1 B;The invention will be better understood, its various features and advantages will emerge from the following description of several embodiments and its accompanying figures, including: FIGS. 1A, 1B and 1C show, in a simplified manner, a functional architecture of a device for controlling the running speed of a prerecorded audio file according to three embodiments of the invention; FIG. 2 represents the flowchart of a low-pass filtering of the signals of a motion sensor in one of the embodiments of the invention as represented in FIG. 1B;
- Les figures 3A et 3B représentent deux cas de mise en œuvre de l'invention où respectivement la vitesse de frappe est plus élevée/moins élevée que celle de défilement de la bande audio ;FIGS. 3A and 3B show two cases of implementation of the invention in which respectively the typing speed is higher / lower than that of running the audio band;
- La figure 4 représente un organigramme des traitements de la fonction de mesure de la vélocité de la frappe dans un mode de réalisation de l'invention ;FIG. 4 represents a flowchart of the processes of the measurement function of the velocity of the striking in one embodiment of the invention;
- La figure 5 représente un organigramme général des traitements dans un mode de réalisation de l'invention;FIG. 5 represents a general flowchart of the treatments in one embodiment of the invention;
- La figure 6 représente un détail de la figure 5 qui montre les points de contrôle rythmiques souhaités par un utilisateur d'un dispositif selon un mode de réalisation de l'invention ;FIG. 6 represents a detail of FIG. 5 which shows the rhythmic control points desired by a user of a device according to one embodiment of the invention;
- La figure 7 représente un organigramme développé d'un procédé de contrôle temporel dans un mode de réalisation de l'invention.FIG. 7 represents an expanded flowchart of a time control method in one embodiment of the invention.
Les figures 1 A, 1 B et 1 C représentent trois modes de réalisation de l'invention qui ne diffèrent que par le module 10 d'interface d'entrée de frappes de contrôle. Les caractéristiques du module 20, d'entrée des signaux à reproduire, du module 30 de contrôle du rythme temporel et du module 40 de sortie audio sont décrites plus loin. On commence par décrire les différents modes de réalisation du module 10 d'interface d'entrée de frappes de contrôle. Au moins trois modules d'interface d'entrée sont possibles. Ils sont respectivement représentés sur les figures 1 A, 1 B et 1 C. Chaque module d'entrée comprend un sous module 1 10 qui capture des commandes d'interaction avec le dispositif et une partie qui réalise l'entrée et la traduction de ces commandes dans le dispositif.FIGS. 1A, 1B and 1C show three embodiments of the invention which differ only in the control keys input interface module 10. The characteristics of the module 20, the input of the signals to be reproduced, the timing control module 30 and the audio output module 40 are described below. We begin by describing the different embodiments of the control keys input interface module 10. At least three input interface modules are possible. They are respectively represented in FIGS. 1A, 1B and 1C. Each input module comprises a submodule 1 which captures interaction commands with the device and a part that makes the input and the translation of these modules. commands in the device.
Sur la figure 1 A est représenté un module d'entrée 1 OA de type MIDI. Les contrôleurs MIDI 1 10A sont des surfaces de contrôles pouvant posséder des touches, des faders (potentiomètres linéaires permettant de régler le niveau des sources sonores, des pads (surfaces tactiles) ou des boutons rotatifs. Ces contrôleurs ne sont pas des périphériques de gestion du son ou de restitution ; ils ne produisent que des données MIDI. D'autres types de surfaces de contrôles sont utilisables, par exemple une harpe, une guitare ou un saxophone virtuels. Ces contrôleurs peuvent avoir un écran de visualisation. Quels que soient les éléments qui composent la surface de contrôle, tous les boutons, curseurs, faders, touches, pads sont assignables à chaque élément de l'interface visuelle du logiciel grâce à des setups (fichiers de configuration). Les contrôles sonores peuvent également être couplés avec des contrôles de l'éclairage.In Figure 1A is shown an input module 1 OA type MIDI. MIDI controllers 1 10A are control surfaces that may have buttons, faders (linear faders for adjusting the level of sound sources, pads (touch sensitive surfaces) or rotary knobs.These controllers are not sound management or playback devices, they only produce MIDI data. Other types of control surfaces can be used, such as a virtual harp, guitar or saxophone.These controllers can have a display screen.Whatever the elements that make up the control surface, all buttons, sliders, faders, keys, pads are assignable to each element of the visual interface of the software through setups (configuration files) .The sound controls can also be coupled with lighting controls.
Un contrôleur MIDI 1 1 OA est relié au processeur de contrôle temporel 30 par l'intermédiaire d'une interface dont la partie matérielle est un connecteur DIN à 5 broches. Plusieurs contrôleurs MIDI peuvent être reliés au même ordinateur en étant chaînés entre eux. Le lien de communication est établi à 31 250 bauds. La codification utilise 128 valeurs tonales (de 0 à 127), les messages de notes s'étalant entre les fréquences de 8,175 Hz à 12544 Hz avec une résolution d'un demi ton.A MIDI controller 1 1 OA is connected to the time control processor 30 through an interface whose hardware part is a 5-pin DIN connector. Several MIDI controllers can be connected to the same computer by being chained together. The communication link is set at 31,250 bauds. The coding uses 128 tone values (from 0 to 127), the notes messages ranging between 8,175 Hz and 12544 Hz with a half-tone resolution.
Sur la figure 1 B, est représenté un ensemble de capture de mouvement 10B comprenant un capteur de mouvement 1 10B de type MotionPod™ de Movea™ et une interface d'analyse de mouvement 120B. Une AirMouse™ ou une GyroMouse™ sont également utilisables à la place du MotionPod, ainsi que d'autres capteurs de mouvement.In FIG. 1B, there is shown a motion capture assembly 10B comprising a Movea ™ MotionPod ™ motion sensor 1 10B and a motion analysis interface 120B. An AirMouse ™ or GyroMouse ™ can also be used in place of the MotionPod, as well as other motion sensors.
Un MotionPod comporte un accéléromètre tri axe, un magnétomètre tri axe, une capacité de prétraitement permettant de préformer des signaux à partir des capteurs, un module de transmission radiofréquence des dits signaux au module de traitement lui-même et une batterie. Ce capteur de mouvement est dit « 3A3M » (trois axes d'accéléromètre et trois axes de magnétomètre). Les accéléromètres et magnétomètres sont des micro capteurs du commerce de faible encombrement, de faible consommation et à bas coût, par exemple un accéléromètre trois voies de la société Kionix™ (KXPA4 3628) et des magnétomètres d'HoneyWell™ de type HMC1041 Z (1 voie verticale) et HMC1042L pour les 2 voies horizontales. D'autres fournisseurs existent : Memsic™ ou Asahi Kasei™ pour les magnétomètres et STM™, Freescale™, Analog Device™ pour les accéléromètres, pour ne citer que ceux là. Dans le Motion Pod, pour les 6 voies signal, il n'y a qu'un filtrage analogique et ensuite, après conversion analogique numérique (12 bits), les signaux bruts sont transmis par un protocole radiofréquence dans la bande Bluetooth™ (2,4GHz) optimisé pour la consommation dans ce type d'applications. Les données arrivent donc brutes à un contrôleur qui peut recevoir les données d'un ensemble de capteurs. Elles sont lues par le contrôleur et mises a disposition des logiciels. La cadence d'échantillonnage est réglable. Par défaut, elle est fixée à 200 Hz. Des valeurs plus élevées (jusqu'à 3000 Hz, voire plus) peuvent néanmoins être envisagées, permettant une plus grande précision dans la détection de chocs par exemple. Le protocole radiofréquence du MotionPod permet de garantir la mise a disposition de la donnée au contrôleur avec un retard contrôlé, qui ne doit pas dépasser ici 10ms (à 200 Hz), ce qui est important pour la musique. Un accéléromètre du type ci-dessus permet de mesurer les déplacements longitudinaux selon ses trois axes et, par transformation, des déplacements angulaires (sauf ceux résultant d'une rotation autour de la direction du champ de gravitation terrestre) et des orientations par rapport à un référentiel cartésien en trois dimensions. Un ensemble de magnétomètres du type ci- dessus permet de mesurer l'orientation du capteur auquel il est fixé par rapport au champ magnétique terrestre et donc des déplacements et des orientations par rapport aux trois axes du référentiel (sauf autour de la direction du champ magnétique terrestre). La combinaison 3A3M fournit des informations de mouvement complémentaires et lissées. La AirMouse comprend deux capteurs de type gyromètre, chacun à un axe de rotation. Les gyromètres utilisés sont de la marque Epson de référence XV3500. Leurs axes sont orthogonaux et délivrent les angles de tangage (yaw ou rotation autour de l'axe parallèle à l'axe horizontal d'un plan situé face à l'utilisateur de la AirMouse) et de lacet (pitch ou rotation autour d'un axe parallèle à l'axe vertical d'un plan situé face à l'utilisateur de la AirMouse). Les vitesses instantanées de pitch et de yaw mesurées par les deux axes gyromètres sont transmises par protocole radiofréquence à un contrôleur en mouvement d'un curseur dans un écran situé face à l'utilisateur. Le module d'analyse et d'interprétation de gestes 120B fournit des signaux directement exploitables par le processeur de contrôle temporel 30. Par exemple, les signaux selon un axe de l'accéléromètre et du magnétomètre du MotionPod sont combinés selon le procédé décrit dans la demande de brevet déposée par les présents demandeurs dans la demande de brevet ayant pour titre « DISPOSITIF ET PROCEDE D'INTERPRETATION DE GESTES MUSICAUX ». Les traitements mis en œuvre dans le module 120B sont effectués de manière logicielle.A MotionPod comprises a tri-axis accelerometer, a tri-axis magnetometer, a pre-processing capability for preforming signals from the sensors, a radiofrequency transmission module of said signals to the processing module itself and a battery. This motion sensor is called "3A3M" (three axes of accelerometer and three axes of magnetometer). Accelerometers and magnetometers are small, low-power, low-cost commercial micro-sensors, such as a Kionix ™ three-way accelerometer (KXPA4 3628) and HoneyWell ™ magnetometers of the HMC1041 Z type (1). vertical track) and HMC1042L for the 2 horizontal tracks. Other suppliers exist: Memsic ™ or Asahi Kasei ™ for magnetometers and STM ™, Freescale ™, Analog Device ™ for accelerometers, just to name a few. In the Motion Pod, for the 6 signal channels, there is only one analog filtering and then, after digital analog conversion (12 bits), the raw signals are transmitted by a radio frequency protocol in the Bluetooth ™ band (2, 4GHz) optimized for consumption in this type of applications. The data is therefore raw to a controller that can receive data from a set of sensors. They are read by the controller and made available software. The sampling rate is adjustable. By default, it is set at 200 Hz. Higher values (up to 3000 Hz or more) can nevertheless be envisaged, allowing greater accuracy in the detection of shocks, for example. The radio frequency protocol of the MotionPod makes it possible to guarantee the provision of the data to the controller with a controlled delay, which should not exceed 10ms (at 200 Hz), which is important for the music. An accelerometer of the above type makes it possible to measure the longitudinal displacements along its three axes and, by transformation, angular displacements (except those resulting from a rotation around the direction of the terrestrial gravitational field) and orientations with respect to a Cartesian reference system in three dimensions. A set of magnetometers of the above type makes it possible to measure the orientation of the sensor to which it is fixed with respect to the terrestrial magnetic field and thus displacements and orientations with respect to the three axes of the reference frame (except around the direction of the magnetic field earthly). The 3A3M combination provides complementary and smooth motion information. The AirMouse includes two gyrometer type sensors, each with an axis of rotation. The gyrometers used are from the Epson reference XV3500. Their axes are orthogonal and deliver the pitch angles (yaw or rotation around the axis parallel to the horizontal axis of a plane facing the user of the AirMouse) and yaw (pitch or rotation around a axis parallel to the vertical axis of a plane facing the user of the AirMouse). The instantaneous pitch and yaw speeds measured by the two gyrometer axes are transmitted by radio frequency protocol to a controller moving a cursor in a screen facing the user. The gesture analysis and interpretation module 120B provides signals that are directly usable by the time control processor 30. For example, the signals along an axis of the accelerometer and the magnetometer of the MotionPod are combined according to the method described in FIG. patent application filed by the present applicants in the patent application entitled "DEVICE AND METHOD FOR INTERPRETATION OF MUSICAL GESTURES". The processes implemented in the module 120B are performed in software.
Les traitements comprennent tout d'abord un filtrage passe-bas des sorties des capteurs des deux modalités (accéléromètre et magnétomètre) dont le fonctionnement détaillé est explicité par la figure 2.The treatments firstly comprise a low-pass filtering of the outputs of the sensors of the two modalities (accelerometer and magnetometer) whose detailed operation is explained in FIG. 2.
Ce filtrage des signaux en sortie du contrôleur des capteurs de mouvement utilise une approche récursive d'ordre 1. Le gain du filtre peut par exemple être fixé à 0,3. Dans ce cas, l'équation du filtre est donnée par la formule suivante :This filtering of the output signals of the motion sensor controller uses a recursive approach of order 1. The gain of the filter may for example be set at 0.3. In this case, the filter equation is given by the following formula:
Output(z(n))=0.3*lnput(z(n-1 )) + 0.7*Output(z(n-1 ))Output (z (n)) = 0.3 * lnput (z (n-1)) + 0.7 * Output (z (n-1))
Où, pour chacune des modalités : z est la lecture de la modalité sur l'axe du capteur qui est utilisé ; n est la lecture de l'échantillon courant ; n-1 est la lecture de l'échantillon précédent.Where, for each of the modalities: z is the reading of the modality on the axis of the sensor which is used; n is the reading of the current sample; n-1 is the reading of the previous sample.
Le traitement comporte ensuite un filtrage passe-bas des deux modalités avec une fréquence de coupure inférieure à celle du premier filtre Cette fréquence de coupure inférieur résulte du choix d'un coefficient du deuxième filtre inférieur au gain du premier filtre. Dans le cas choisi dans l'exemple ci- dessus où le coefficient du premier filtre est de 0,3, le coefficient du deuxième filtre peut être fixé à 0,1. L'équation du deuxième filtre est alors (avec les mêmes notations que ci-dessus) : Output(z(n))=0.1 *lnput(z(n-1 )) + 0.9*Output(z(n-1 ))The treatment then comprises a low-pass filtering of the two modalities with a cut-off frequency lower than that of the first filter. This lower cut-off frequency results from the choice of a coefficient of the second filter which is lower than the gain of the first filter. In the case chosen in the example above, where the coefficient of the first filter is 0.3, the coefficient of the second filter can be set at 0.1. The equation of the second filter is then (with the same notation as above): Output (z (n)) = 0.1 * lnput (z (n-1)) + 0.9 * Output (z (n-1))
Ensuite, le traitement comporte une détection d'un zéro de la dérivée du signal en sortie de l'accéléromètre avec la mesure du signal en sortie du magnétomètre. On pose les notations suivantes : - A(n) le signal en sortie de l'accéléromètre dans l'échantillon n ;Then, the processing comprises a detection of a zero of the derivative of the output signal of the accelerometer with the measurement of the output signal of the magnetometer. We put the following notations: - A (n) the output signal of the accelerometer in the sample n;
- AF1 (n) le signal de l'accéléromètre en sortie du premier filtre récursif dans l'échantillon n ;AF1 (n) the signal of the accelerometer at the output of the first recursive filter in the sample n;
- AF2(n) le signal AF1 filtré à nouveau par le deuxième filtre récursif dans l'échantillon n ;AF2 (n) the signal AF1 filtered again by the second recursive filter in the sample n;
- B(n) le signal du magnétomètre dans l'échantillon n ;.- B (n) the magnetometer signal in the sample n;
- BF1 (n) le signal du magnétomètre en sortie du premier filtre récursif dans l'échantillon n ;- BF1 (n) the magnetometer signal at the output of the first recursive filter in the sample n;
- BF2(n) le signal BF1 filtré à nouveau par le deuxième filtre récursif dans l'échantillon n.- BF2 (n) the signal BF1 filtered again by the second recursive filter in the sample n.
Alors, l'équation suivante permet de calculer une dérivée filtrée du signal de l'accéléromètre dans l'échantillon n: FDA(n) = AF1 (n) - AF2(n-1 )Then, the following equation allows to compute a filtered derivative of the accelerometer signal in sample n: FDA (n) = AF1 (n) - AF2 (n-1)
Un signe négatif du produit FDA(n) * FDA(n-1 ) indique un zéro de la dérivée du signal filtré de l'accéléromètre et détecte donc une frappe.A negative sign of the product FDA (n) * FDA (n-1) indicates a zero of the derivative of the filtered signal of the accelerometer and thus detects a strike.
Pour chacun de ces zéros du signal filtré de l'accéléromètre, le module de traitement vérifie l'intensité de la déviation de l'autre modalité en sortie filtrée du magnétomètre. Si cette valeur est trop faible, la frappe est considérée non comme une frappe primaire mais comme une frappe secondaire ou ternaire et écartée. Le seuil permettant d'écarter les frappes non primaires dépend de l'amplitude attendue de la déviation du magnétomètre. Typiquement, cette valeur sera de l'ordre de 5/1000 dans les applications envisagées. Cette partie du traitement permet donc d'éliminer les frappes non significatives. La figure 1 C comporte une interface 1 OC, 1 10C Cerveau -> Ordinateur ou « Brain Computer Interface ». Ces interfaces sont encore au stade de la recherche avancée mais offrent des possibilités prometteuses, notamment dans le domaine de l'interprétation musicale. Les signaux neuronaux sont fournis à une interface d'interprétation 120C qui convertit ces signaux en commandes pour le processeur de contrôle temporel 30. De tels dispositifs neuronaux fonctionnent par exemple de la manière suivante. On dispose sur le cuir chevelu de la personne un réseau de capteurs de l'activité électrique et/ou magnétique résultant de l'activité neuronale du sujet. A ce jour, on ne dispose pas encore de modèles scientifiques permettant à partir de ces signaux de retrouver l'intention du sujet, par exemple dans notre cas de battre la mesure dans un contexte musical. Par contre, on a pu montrer qu'en plaçant le sujet dans une boucle l'associant au dispositif de capteurs et à un feedback sensoriel, ledit sujet est capable d'apprendre à diriger sa pensée de sorte que l'effet produit soit celui qu'il désire. Par exemple, le sujet voit sur un écran un pointeur de souris, dont les mouvements résultent d'une analyse des signaux électriques (par exemple activité électrique plus importante dans telle zone du cerveau se traduisant par des sorites électriques plus élevées de certains des capteurs d'activité). Avec un certain entraînement grâce à une procédure de type apprentissage, il obtient un certain contrôle du curseur en dirigeant sa pensée. Les mécanismes précis ne sont pas scientifiquement connus, mais une certaine répétabilité des processus est aujourd'hui admise, permettant d'envisager que la capture de certaines intentions du sujet soit possible dans un avenir proche. Un fichier de musique préenregistré 20 à un des formats standards (MP3, WAV, WMA, etc..) est prélevé sur une unité de stockage par un lecteur. A ce fichier est associé un autre fichier comportant des marques temporelles ou « tags » à des instants prédéterminés ; par exemple, la table ci-dessous indique neuf tags aux instants en millisecondes qui sont indiqués à côté de l'indice du tag après la virgule:For each of these zeros of the filtered signal of the accelerometer, the processing module checks the intensity of the deviation of the other modality at the filtered output of the magnetometer. If this value is too low, the strike is considered not as a primary strike but as a secondary or ternary strike and discarded. The threshold for discarding non-primary strikes depends on the expected amplitude of the deviation of the magnetometer. Typically, this value will be of the order of 5/1000 in the envisaged applications. This part of the treatment thus makes it possible to eliminate the insignificant strikes. Figure 1C has an interface 1 OC, 1 10C Brain -> Computer or "Brain Computer Interface". These interfaces are still in the advanced stage of research but offer promising possibilities, especially in the field of musical performance. The neural signals are provided to an interpretation interface 120C which converts these signals into commands for the time control processor 30. Such neural devices operate, for example, as follows. The person's scalp is provided with a network of sensors for electrical and / or magnetic activity resulting from the neuronal activity of the subject. To date, scientific models have not yet been signals to find the intention of the subject, for example in our case to beat the measure in a musical context. On the other hand, it has been shown that by placing the subject in a loop associating it with the sensor device and with a sensory feedback, the subject is able to learn to direct his thought so that the effect produced is that which 'he desires. For example, the subject sees on a screen a mouse pointer, the movements of which result from an analysis of the electrical signals (for example greater electrical activity in such area of the brain resulting in higher electrical sorites of some of the 'activity). With some training through a learning-type procedure, he gets some control of the cursor by directing his thinking. The precise mechanisms are not scientifically known, but a certain process repeatability is now admitted, allowing to consider that the capture of certain intentions of the subject is possible in the near future. A pre-recorded music file 20 to one of the standard formats (MP3, WAV, WMA, etc.) is taken from a storage unit by a reader. To this file is associated another file with time marks or "tags" at predetermined times; for example, the table below shows nine tags at times in milliseconds that are listed next to the index of the decimal point:
1 , 0;1.0;
2, 335.41 1 194;2, 335.41, 194;
3, 649.042419;3, 649.042419;
4, 904.59381 1 ;4, 904.59381;
5, 1 160.145142;5, 1 160.145142;
6, 1462.1604;6, 1462.1604;
7, 1740.943726;7, 1740.943726;
8, 2054.574951 ;8, 2054.574951;
9, 2356.59; Les tags peuvent avantageusement être placés aux battements de même indice dans le morceau qui est joué. Il n'y a cependant pas de contrainte sur le nombre de tags. Plusieurs techniques sont possibles pour placer des tags dans un morceau de musique pré enregistrée : - De manière manuelle, en cherchant sur l'onde musicale le point correspondant à un rythme où un tag doit être placé ; c'est un processus possible mais fastidieux ;9, 2356.59; The tags can advantageously be placed at beats of the same index in the piece that is played. There is no constraint on the number of tags. Several techniques are possible to place tags in a pre-recorded piece of music: - Manually, by searching on the musical wave the point corresponding to a rhythm where a tag must be placed; it is a possible but tedious process;
- De manière semi-automatique, en écoutant le morceau de musique pré enregistrée et en pressant une touche de clavier d'ordinateur ou de clavier MIDI quand un rythme où un tag doit être placé est entendu ;- Semi-automatically, listening to the pre-recorded music track and pressing a computer keyboard key or MIDI keyboard when a rhythm where a tag is to be placed is heard;
- De manière automatique, en utilisant un algorithme de détection des rythmes qui place les tags au bon endroit ; aujourd'hui, les algorithmes ne sont pas suffisamment fiables pour que le résultat n'ait pas à être retouché en utilisant un des deux premiers processus mais on peut compléter cet automatisme par une phase manuelle de retouche du fichier des tags créés.- Automatically, using a rhythm detection algorithm that puts the tags in the right place; today, the algorithms are not reliable enough so that the result does not have to be retouched using one of the first two processes, but we can complete this automatism by a manual phase of retouching the created tags file.
Le module 20 d'entrée de signaux préenregistrés à reproduire peut traiter différents types de fichiers audio, aux formats MP3, WAV, WMA. Le fichier peut également comprendre d'autres contenus multimédias qu'un simple enregistrement sonore. Il peut s'agir par exemple de contenus vidéo, avec ou sans bande sonore, qui seront marqués par des tags et dont le défilement pourra être contrôlé par le module d'entrée 10.The prerecorded signal input module 20 to be reproduced can process different types of audio files, in the MP3, WAV, WMA formats. The file may also include other multimedia content than a simple sound recording. It may be for example video content, with or without soundtrack, which will be tagged and whose scrolling can be controlled by the input module 10.
Le processeur de contrôle temporel 30 réalise la synchronisation entre les signaux reçus du module d'entrée 10 et le morceau de musique pré enregistrée 20, d'une manière explicitée en commentaires aux figures 3A et 3B.The time control processor 30 synchronizes the signals received from the input module 10 and the pre-recorded music piece 20, in a manner commented on in FIGS. 3A and 3B.
La sortie audio 40 reproduit le morceau de musique pré enregistrée en provenance du module 20 avec les variations de rythme introduites par les commandes du module d'entrée 10 interprétée par le processeur de contrôle temporel 30. N'importe quel dispositif de reproduction sonore fait l'affaire, notamment des écouteurs, des haut-parleurs.The audio output 40 reproduces the pre-recorded piece of music from the module 20 with the variations of rhythm introduced by the commands of the input module 10 interpreted by the control processor 30. Any sound reproduction device does the job, including headphones, speakers.
Les figures 3A et 3B représentent deux cas de mise en œuvre de l'invention où respectivement la vitesse de frappe est plus élevée/moins élevée que celle de défilement de la bande audio.FIGS. 3A and 3B show two cases of implementation of the invention in which respectively the typing speed is higher / lower than that of running the audio band.
Lors de la première frappe entrée au clavier MIDI 1 10A, repérée par le capteur de mouvement 1 1 OB ou interprétée directement comme une pensée du cerveau 1 10C, le lecteur audio du module 20 démarre la lecture du morceau de musique pré enregistrée à un rythme donné. Ce rythme peut par exemple être indiqué par plusieurs petites frappes préalables. Chaque fois que le processeur de contrôle temporel reçoit un signal de frappe, la vitesse courante de jeu de l'utilisateur est calculée. Celle-ci peut par exemple être exprimée comme le facteur de vitesse SF(n) calculé comme le rapport de l'intervalle de temps entre deux tags T successifs n et n+1 du morceau pré enregistré à l'intervalle de temps entre deux frappes H successives n et n+1 de l'utilisateur : SF(n) = [T(n+1 ) - T(n)]/[H(n+1 ) - H(n)]During the first keystroke input to the MIDI keyboard 1 10A, identified by the motion sensor 1 1 OB or directly interpreted as a brain thought 1 10C, the audio player of the module 20 starts playing the pre-recorded piece of music at a rate given. This rhythm can for example be indicated by several small prior strikes. Whenever the time control processor receives a strike signal, the current playing speed of the user is calculated. This can for example be expressed as the speed factor SF (n) calculated as the ratio of the time interval between two successive tags T and n + 1 of the pre-recorded song at the time interval between two keystrokes H successive n and n + 1 of the user: SF (n) = [T (n + 1) - T (n)] / [H (n + 1) - H (n)]
Dans le cas de la figure 3A, le joueur accélère et prend de l'avance sur le morceau pré enregistré : une nouvelle frappe est reçue par le processeur avant que le lecteur audio ait atteint l'échantillon du morceau de musique où est placé le tag correspondant à cette frappe. Par exemple, dans le cas de la figure, le facteur de vitesse SF est de 4/3. A la lecture de cette valeur de SF, le processeur de contrôle temporel fait sauter la lecture du fichier 20 à l'échantillon contenant la marque d'indice correspondant à la frappe. Une partie de la musique pré enregistrée est donc perdue, mais la qualité du rendu musical n'est pas trop perturbée car l'attention de ceux qui écoutent un morceau de musique se concentre généralement sur les éléments du rythme principal et les tags seront normalement placés sur ces éléments du rythme principal. En outre, quand le lecteur saute au tag suivant, qui est un élément du rythme principal, l'auditeur qui attend cet élément, portera moins d'attention à l'absence de la partie du morceau pré enregistrée qui aura été sautée, ce saut passant ainsi quasiment inaperçu. La qualité de l'écoute peut encore être accrue en opérant un lissage de la transition. Ce lissage peut par exemple être opéré en en interpolant quelques échantillons (une dizaine) entre avant et après le tag vers lequel on fait sauter le lecteur pour rattraper la vitesse de frappe du joueur. La lecture du morceau pré enregistrée continue à la nouvelle vitesse résultant de ce saut.In the case of Figure 3A, the player accelerates and advances the pre-recorded track: a new keystroke is received by the processor before the audio player has reached the sample of the piece of music where the tag is placed corresponding to this hit. For example, in the case of the figure, the speed factor SF is 4/3. On reading this SF value, the time control processor makes the reading of the file 20 jump to the sample containing the index mark corresponding to the keystroke. Part of the pre-recorded music is lost, but the quality of the musical rendering is not too disturbed because the attention of those who listen to a piece of music usually focuses on the elements of the main rhythm and the tags will normally be placed on these elements of the main rhythm. In addition, when the player jumps to the next tag, which is an element of the main beat, the listener who is waiting for that item, will pay less attention to the absence of the part of the pre recorded song that has been skipped, this jump thus passing almost unnoticed. The quality of listening can be further enhanced by smoothing the transition. This smoothing can by example be operated by interpolating a few samples (a dozen) between before and after the tag to which the player is blown up to catch up with the player's typing speed. Playback of the pre-recorded song continues at the new speed resulting from that jump.
Dans le cas de la figure 3B, le joueur ralentit et prend du retard sur le morceau de musique pré enregistrée : le lecteur audio atteint un point où une frappe est attendue avant que celle-ci ne soit effectuée par le joueur. Dans le contexte d'une écoute musicale, il n'est bien entendu pas possible d'arrêter le lecteur pour attendre la frappe. Donc, la lecture audio continue à la vitesse courante, jusqu'à ce que la frappe attendue soit reçue. C'est à ce moment que la vitesse du lecteur est changée. Une méthode fruste consiste à fixer la vitesse du lecteur en fonction du facteur de vitesse SF calculé au moment où la frappe est reçue. Cette méthode donne déjà des résultats qualitativement satisfaisants. Une méthode plus élaborée consiste à calculer une vitesse de lecture corrigée qui permette de synchroniser à nouveau le tempo de lecture sur le tempo du joueur.In the case of Figure 3B, the player slows down and lags behind the pre-recorded music track: the audio player reaches a point where a strike is expected before it is performed by the player. In the context of a musical listening, it is of course not possible to stop the player to wait for the keystroke. Therefore, audio playback continues at the current speed until the expected keystroke is received. It is at this moment that the speed of the reader is changed. A crude method is to set the speed of the reader according to the speed factor SF calculated at the moment the keystroke is received. This method already gives qualitatively satisfactory results. A more elaborate method is to compute a corrected playback speed that will re-synchronize the playback tempo to the player's tempo.
Trois positions des tags à l'instant n+2 (dans l'échelle de temps du fichier audio) avant changement de la vitesse du lecteur sont indiquées sur la figure 3B :Three positions of the tags at time n + 2 (in the time scale of the audio file) before changing the speed of the reader are indicated in FIG. 3B:
- la première en partant de la gauche T(n+2) est celle correspondant à la vitesse de défilement antérieure au ralentissement du joueur ;the first starting from the left T (n + 2) is that corresponding to the speed of movement prior to the slowdown of the player;
- la deuxième, NT1 (n+2), est le résultat du calcul consistant à ajuster la vitesse de défilement du lecteur à la vitesse de frappe du joueur en utilisant le facteur de vitesse SF ; on voit que dans ce cas les tags restent en avance par rapport aux frappes ;the second, NT 1 (n + 2), is the result of the calculation consisting in adjusting the speed of the player's scrolling speed to the player's typing speed by using the speed factor SF; we see that in this case the tags remain ahead of the keystrokes;
- la troisième, NT2(n+2), est le résultat d'un calcul où l'on utilise un facteur de vitesse corrigé CSF ; ce facteur corrigé est calculé pour que les dates de la frappe et du tag suivants soient identiques, ce que l'on voit sur la figure 3B.the third, NT 2 (n + 2), is the result of a calculation using a corrected speed factor CSF; this corrected factor is calculated so that the dates of the following keystroke and tag are identical, which is seen in Figure 3B.
CSF est le rapport de l'intervalle de temps de la frappe n+1 au tag n+2 rapporté à l'intervalle de temps de la frappe n+1 à la frappe n+2. Sa formule de calcule est la suivante : CSF = {[T(n+2) - T(n)] - [H(n+1 ) - H(n)]} / [H(n+1 ) - H(n)] II est possible d'améliorer le rendu musical en lissant le profil du tempo du joueur. Pour cela, au lieu d'ajuster la vitesse de défilement du lecteur comme indiqué plus haut, on peut calculer une variation linéaire entre la valeur cible et la valeur de départ sur une durée relativement courte, par exemple 50 ms et faire passer la vitesse de défilement par ces différentes valeurs intermédiaires. Plus ce temps d'ajustement est long, plus la transition sera lissée. Cela permet un meilleur rendu, notamment lorsque de nombreuses notes sont jouées par le lecteur entre deux frappes. Mais le lissage se fait évidemment au détriment de la dynamique de la réponse musicale.CSF is the ratio of the time interval from the n + 1 strike to the n + 2 tag relative to the time interval from the n + 1 strike to the n + 2 strike. Its calculation formula is as follows: CSF = {[T (n + 2) - T (n)] - [H (n + 1) - H (n)]} / [H (n + 1) - H (n)] It is possible to improve the musical rendering by smoothing the profile of the player's tempo. For this, instead of adjusting the speed of the reader as indicated above, it is possible to calculate a linear variation between the target value and the starting value over a relatively short duration, for example 50 ms and to increase the speed of the scrolling through these different intermediate values. The longer this adjustment time, the smoother the transition will be. This allows a better rendering, especially when many notes are played by the player between two keystrokes. But the smoothing is obviously at the expense of the dynamics of the musical response.
Une autre amélioration, applicable au mode de réalisation comportant un ou plusieurs capteurs de mouvement, consiste à mesurer l'énergie de frappe du joueur ou vélocité pour contrôler le volume de la sortie audio. La manière dont la vélocité est mesurée est également divulguée dans la demande de brevet déposée par les présents demandeurs dans la demande de brevet ayant pour titre « DISPOSITIF ET PROCEDE D'INTERPRETATION DEAnother improvement, applicable to the embodiment comprising one or more motion sensors, is to measure the player's striking energy or velocity to control the volume of the audio output. The manner in which velocity is measured is also disclosed in the patent application filed by the present applicants in the patent application entitled "DEVICE AND METHOD FOR INTERPRETATION OF
GESTES MUSICAUX ».MUSICAL GESTURES ".
Cette partie du traitement effectuée par le module 120B d'analyse et d'interprétation de gestes est représentée sur la figure 4.This part of the processing carried out by the module 120B for analyzing and interpreting gestures is represented in FIG. 4.
Pour toutes les frappes primaires détectées, le module de traitement calcule un signal de vélocité (ou volume) de la frappe en utilisant la déviation du signal filtré en sortie du magnétomètre.For all the primary keystrokes detected, the processing module calculates a velocity signal (or volume) of the strike by using the deviation of the filtered signal at the output of the magnetometer.
En utilisant les mêmes notations que ci-dessus en commentaire de la figure 2, on introduit la valeur DELTAB(n) dans l'échantillon n qui peut être considérée comme le signal pré filtré du magnétomètre centré et qui est calculée de la manière suivante :Using the same notations as above in the commentary to FIG. 2, the value DELTAB (n) is introduced into the sample n which can be considered as the pre-filtered signal of the centered magnetometer and which is calculated as follows:
DELTAB(n) = BF1 (n) - BF2(n)DELTAB (n) = BF1 (n) - BF2 (n)
Les valeurs minimum et maximum de DELTAB(n) sont stockées entre deux frappes primaires détectées. Une valeur acceptable VEL(n) de la vélocité d'une frappe primaire détectée dans un échantillon n est alors donnée par l'équation suivante :The minimum and maximum values of DELTAB (n) are stored between two primary keystrokes detected. An acceptable value VEL (n) of the velocity of a primary strike detected in a sample n is then given by the following equation:
VEL(n) = Max {DELTAB(n), DELTAB(p)} - Min {DELTAB(n), DELTA(p)}VEL (n) = Max {DELTAB (n), DELTAB (p)} - Min {DELTAB (n), DELTA (p)}
Où p est l'indice de l'échantillon dans lequel a été détectée la frappe primaire précédente. La vélocité est donc la course (différence Max-Min) de la dérivée du signal entre deux frappes primaires détectées, caractéristiques de gestes significatifs au plan musical.Where p is the index of the sample in which the previous primary strike was detected. The velocity is the race (difference Max-Min) of the derivative signal between two detected primary strikes, characteristics of musical gestures.
On peut également envisager, dans ce mode de réalisation comprenant plusieurs capteurs de mouvements, de contrôler par d'autres gestes d'autres paramètres musicaux comme l'origine spatiale du son (ou panning), le vibrato ou le trémolo. Par exemple, un capteur dans une main permettra de détecter la frappe alors qu'un autre capteur tenu dans l'autre main permettra de détecter l'origine spatiale du son ou le trémolo. Des rotations de la main peuvent également être prises en compte : quand la paume de la main est horizontale, on obtient une valeur de l'origine spatiale du son ou du trémolo ; quand la paume est verticale, on obtient une autre valeur du même paramètre ; dans les deux cas, les mouvements de la main dans l'espace fournissent la détection des frappes. Dans le cas où un clavier MIDI est utilisé, les contrôleurs classiquement utilisés peuvent l'être également dans ce mode de réalisation de l'invention pour contrôler l'origine spatiale des sons, le trémolo ou le vibrato.It is also possible, in this embodiment comprising several motion sensors, to control by other gestures other musical parameters such as the spatial origin of the sound (or panning), the vibrato or the tremolo. For example, a sensor in one hand will detect the striking while another sensor held in the other hand will detect the spatial origin of sound or tremolo. Rotations of the hand can also be taken into account: when the palm of the hand is horizontal, one obtains a value of the spatial origin of the sound or the tremolo; when the palm is vertical, another value of the same parameter is obtained; in both cases, the movements of the hand in space provide the detection of the strikes. In the case where a MIDI keyboard is used, conventionally used controllers can also be used in this embodiment of the invention to control the spatial origin of sounds, tremolo or vibrato.
L'invention peut être avantageusement mise en œuvre en traitant les frappes par l'intermédiaire d'un programme MAX/MSP.The invention can be advantageously implemented by processing the keystrokes via a MAX / MSP program.
La figure 5 représente l'organigramme général des traitements dans un tel programme.Figure 5 shows the general flowchart of the treatments in such a program.
Le display bleu montre la forme d'onde associée au morceau audio chargé dans le système. On trouve une partie classique permettant d'écouter le morceau original.The blue display shows the waveform associated with the audio track loaded into the system. There is a classical part to listen to the original piece.
Se trouve en bas à gauche une partie, représentée sur la figure 6, permettant de créer un tableau contenant la liste des points de contrôle rythmiques souhaités par la personne : à l'écoute du morceau il tape sur une touche à chaque instant qu'il souhaite taper lors de l'interprétation ultérieure. Alternativement ces instants peuvent être désignés par la souris sur la forme d'onde. Enfin, ils peuvent être édités.At the bottom left is a part, shown in Figure 6, to create a table containing the list of rhythmic control points desired by the person: listening to the song he taps a key every moment he wish to type in the subsequent interpretation. Alternatively these times can be designated by the mouse on the waveform. Finally, they can be edited.
La figure 7 détaille la partie de la figure 5 se trouvant en bas à droite qui représente le contrôle temporel qui est appliqué. Dans la colonne de droite, on calcule le coefficient d'accélération/ralentissement SF par comparaison entre la durée existant entre deux repères consécutifs d'une part dans le morceau original, d'autre part dans le jeu actuel de l'utilisateur. La formule de calcul de ce facteur de vitesse est donnée plus haut dans la description.Figure 7 details the part of Figure 5 at the bottom right that represents the time control that is applied. In the right column, the SF acceleration / deceleration coefficient is calculated by comparing the existing duration between two consecutive marks on the one hand in the original piece, on the other hand in the current game of the user. The formula for calculating this speed factor is given above in the description.
Dans la colonne centrale, on met en place un timeout permettant d'arrêter le défilement de l'audio si l'utilisateur n'a plus effectué de frappe pendant un temps dépendant du contenu musical en cours.In the central column, a timeout is set to stop the scrolling of the audio if the user has no longer typed for a time depending on the current musical content.
Dans la colonne de gauche, se trouve le cœur du système de contrôle. Il repose sur un algorithme de compression/expansion temporel. La difficulté est de transformer un contrôle « discret » donc intervenant à des instants consécutifs, en une modulation régulière de la vitesse. A défaut, l'audition souffre d'une part d'interruptions totales du son (quand le joueur ralentit), d'autre part de clic et de sauts brusques quand il accélère. Ces défauts, qui rendent une telle approche non réaliste à cause d'une sortie audio inexploitable musicalement sont résolus dans la mise en œuvre développée. Elle consiste :In the left column, is the heart of the control system. It is based on a temporal compression / expansion algorithm. The difficulty is to transform a "discrete" control thus intervening at consecutive instants, in a regular modulation of the speed. Otherwise, the hearing suffers on the one hand of total interruptions of the sound (when the player slows down), on the other hand of clicks and abrupt jumps when he accelerates. These defects, which make such an approach unrealistic because of an unusually musically sound output are solved in the developed implementation. It consists :
- à ne jamais stopper le défilement sonore même en cas de ralentissement substantiel de l'utilisateur. L'objet « if » de la colonne de gauche détecte si on est en phase de ralentissement ou d'accélération. En cas de ralentissement, on modifie la vitesse de lecture de l'algorithme, mais on n'effectue aucun saut dans le fichier audio. La nouvelle vitesse de lecture n'est pas nécessairement exactement celle calculée dans la colonne de droite (SF), mais peut être corrigée (facteur de vitesse CSF) pour tenir compte du fait qu'on a déjà dépassé dans l'audio le repère correspondant à la dernière action du joueur ;- to never stop sound scrolling even if there is a substantial slowdown of the user. The "if" object in the left column detects whether it is slowing down or accelerating. In the event of a slowdown, the reading speed of the algorithm is changed, but no jump is made in the audio file. The new reading speed is not necessarily exactly the one calculated in the right column (SF), but can be corrected (CSF speed factor) to take into account that we have already exceeded in the audio the corresponding mark at the last action of the player;
- A effectuer un saut dans le fichier audio lors d'une accélération (seconde branche de l'objet « if »). Dans ce cas précis, cela a peu d'incidences subjectives sur l'audition, si les repères de contrôle correspondent à des instants musicaux suffisamment importants sur le plan psycho acoustique (il y a ici un parallèle à effectuer avec la base de la compression MP3, qui code pauvrement les fréquences peu signifiantes, et richement les fréquences prépondérantes). Il s'agit ici du domaine temporel macroscopique, certains instants dans l'écoute d'un morceau sont plus signifiants que d'autres, et c'est sur ces instants qu'on souhaite pouvoir agir. Les exemples décrits ci-dessus sont donnés à titre d'illustration de modes de réalisation de l'invention. Ils ne limitent en aucune manière le champ de l'invention qui est défini par les revendications qui suivent. - Jump to the audio file during an acceleration (second branch of the "if" object). In this case, it has little subjective impact on hearing, if the control marks correspond to musical moments sufficiently important on the psycho-acoustic level (here there is a parallel to perform with the basis of MP3 compression , which poorly encodes the less significant frequencies, and richly the preponderant frequencies). This is the macroscopic time domain, some moments in the listening of a piece are more significant than others, and it is on these moments that we wish to be able to act. The examples described above are given by way of illustration of embodiments of the invention. They in no way limit the scope of the invention which is defined by the following claims.

Claims

REVENDICATIONS
1 . Dispositif de contrôle par un utilisateur du rythme de défilement d'un fichier préenregistré de signaux à reproduire et de l'intensité desdits signaux, lesdits signaux étant encodés dans ledit fichier préenregistré de manière sensiblement continue, ledit dispositif comprenant un premier module (10, 1 10A, 1 10B, 1 10C 120A, 120B, 120C), d'interface d'entrée de frappes de contrôle, un deuxième module (20), d'entrée des dits signaux à reproduire, un troisième module (30), de contrôle temporel des dits signaux préenregistrés et un dispositif (40) de reproduction des entrées des trois premiers modules, ledit dispositif de contrôle étant caractérisé en ce que ledit deuxième module (20) est apte à être programmé pour déterminer les temps où sont attendues des frappes de contrôle du rythme de défilement du fichier, et en ce que ledit troisième module (30) est apte à calculer pour un certain nombre de frappes de contrôle un facteur de vitesse corrigée (CSF) relative de frappes préprogrammées dans le deuxième module et des frappes effectivement entrées dans le premier module et un facteur d'intensité relative des vélocités desdites frappes effectivement entrées et attendues puis à ajuster le rythme de défilement dudit deuxième module pour ajuster ledit facteur de vitesse corrigée (CSF) aux frappes suivantes à une valeur choisie et l'intensité des signaux en sortie du deuxième module en fonction dudit facteur d'intensité relative des vélocités.1. Device for controlling by a user the rate of movement of a prerecorded file of signals to be reproduced and the intensity of said signals, said signals being encoded in said pre-recorded file in a substantially continuous manner, said device comprising a first module (10, 1 10A, 1 10B, 1 10C 120A, 120B, 120C), control keys input interface, a second module (20), input of said signals to be reproduced, a third control module (30), time of said prerecorded signals and a device (40) for reproducing the inputs of the first three modules, said control device being characterized in that said second module (20) is able to be programmed to determine the times when strikes are expected. control of the file scroll rate, and in that said third module (30) is capable of calculating a corrected speed factor (CSF) for a certain number of control keystrokes relative of preprogrammed keystrokes in the second module and keystrokes actually entered in the first module and a relative intensity factor of the velocities of said keystrokes actually entered and expected then to adjust the rate of movement of said second module to adjust said corrected speed factor ( CSF) to the following keystrokes at a chosen value and the intensity of the output signals of the second module according to said relative velocity intensity factor.
2. Dispositif de contrôle selon la revendication 1 , caractérisé en ce que le premier module comprend une interface MIDI (1 10A, 120A).2. Control device according to claim 1, characterized in that the first module comprises a MIDI interface (1 10A, 120A).
3. Dispositif de contrôle selon la revendication 1 , caractérisé en ce que le premier module comprend un sous module de capture de mouvement3. Control device according to claim 1, characterized in that the first module comprises a sub-module motion capture
(1 10B) et un sous module d'analyse et d'interprétation de gestes (120B) recevant en entrée les sorties du sous module (1 10B) de capture de mouvement.(1 10B) and a sub-module for analysis and interpretation of gestures (120B) receiving as input the outputs of the sub-module (1 10B) of motion capture.
4. Dispositif de contrôle selon la revendication 3, caractérisé en ce que le sous module de capture de mouvement (1 10B) réalise ladite capture de mouvements selon au moins un premier et un deuxième axes, .en ce que le sous module d'analyse et d'interprétation de gestes (120B) comprend une fonction de filtrage, une fonction de détection de geste significatif par comparaison de la variation entre deux valeurs successives dans l'échantillon d'au moins un des signaux en provenance au moins du premier axe de l'ensemble de capteurs avec au moins une première valeur de seuil choisie et une fonction de confirmation de détection de geste significatif, et en ce que ladite fonction de confirmation de détection de geste significatif est apte à comparer au moins un des signaux en provenance au moins du deuxième axe de l'ensemble de capteurs avec au moins une deuxième valeur de seuil choisie.4. Control device according to claim 3, characterized in that the motion capture sub-module (1 10B) performs said capture. of movements according to at least first and second axes, .in that the sub-module for analysis and interpretation of gestures (120B) comprises a filtering function, a significant gesture detection function by comparing the variation between two successive values in the sample of at least one of the signals coming from at least the first axis of the set of sensors with at least a first selected threshold value and a significant gesture detection confirmation function, and in that that said significant gesture detection confirmation function is able to compare at least one of the signals coming from at least the second axis of the set of sensors with at least a second selected threshold value.
5. Dispositif de contrôle selon la revendication 1 , caractérisé en ce que le premier module comprend une interface 1 10C de capture de signaux neuronaux du cerveau de l'utilisateur et un sous module 120C d'interprétation des dits signaux neuronaux.5. Control device according to claim 1, characterized in that the first module comprises a 1 10C neuronal signal capture interface of the user's brain and a sub-module 120C for interpreting said neural signals.
6. Dispositif de contrôle selon la revendication 4, caractérisé en ce que la vélocité de la frappe entrée est calculée à partir de la déviation du signal en sortie du deuxième capteur. 6. Control device according to claim 4, characterized in that the velocity of the typing input is calculated from the deviation of the signal output of the second sensor.
7. Dispositif de contrôle selon la revendication 1 , caractérisé en ce que le premier module comprend en outre un sous module apte à interpréter des gestes de l'utilisateur dont la sortie est utilisée par le troisième module pour contrôler une caractéristique de la sortie audio choisie dans le groupe constitué par le vibrato et le trémolo. 7. Control device according to claim 1, characterized in that the first module further comprises a submodule adapted to interpret gestures of the user whose output is used by the third module to control a characteristic of the chosen audio output in the group consisting of vibrato and tremolo.
8. Dispositif de contrôle selon la revendication 1 , caractérisé en ce que le deuxième module comprend un sous module de placement de tags dans le fichier de signaux préenregistrés à reproduire aux temps où sont attendues des frappes de contrôle du rythme de défilement du fichier, les dits tags étant générés de manière automatique en fonction du rythme des signaux préenregistrés et pouvant être déplacés par une interface MIDI.8. Control device according to claim 1, characterized in that the second module comprises a tag placement sub-module in the prerecorded signal file to be reproduced at the times when are expected to control the pace of scrolling file, the said tags being generated automatically according to the rhythm of the pre-recorded signals and can be moved by a MIDI interface.
9. Dispositif de contrôle selon la revendication 1 , caractérisé en ce que la valeur choisie dans le troisième module pour ajuster la vitesse de défilement du deuxième module est égale à une valeur choisie dans un ensemble de valeurs calculées dont une des bornes est calculée par application d'un facteur de vitesse CSF égal au rapport de l'intervalle de temps entre le tag suivant et le tag précédent diminué de l'intervalle de temps entre la frappe courante et la frappe précédente à l'intervalle de temps entre la frappe courante et la frappe précédente et dont les autres valeurs sont calculées par interpolation linéaire entre la valeur courante et la valeur correspondant à celle de la borne utilisée pour l'application du facteur de vitesse CSF.9. Control device according to claim 1, characterized in that the value chosen in the third module to adjust the scroll speed of the second module is equal to a value selected from a set of calculated values of which one of the limits is calculated by applying a CSF speed factor equal to the ratio of the time interval between the next tag and the previous tag decreased by the time interval between the current tap and the previous tap at the time interval between the tap current and the previous keystroke and whose other values are calculated by linear interpolation between the current value and the value corresponding to that of the terminal used for the application of the CSF speed factor.
10. Dispositif de contrôle selon la revendication 9, caractérisé en ce que la valeur choisie dans le troisième module pour ajuster la vitesse de défilement du deuxième module est égale à la valeur correspondant à celle de la borne utilisée pour l'application du facteur de vitesse CSF.10. Control device according to claim 9, characterized in that the value chosen in the third module to adjust the running speed of the second module is equal to the value corresponding to that of the terminal used for the application of the speed factor. CSF.
1 1 . Procédé de contrôle par un utilisateur du rythme de défilement d'un fichier préenregistré de signaux à reproduire et de l'intensité desdits signaux, lesdits signaux étant encodés dans ledit fichier préenregistré de manière sensiblement continue, ledit procédé comprenant une première étape d'interface d'entrée de frappes de contrôle, une deuxième étape d'entrée des dits signaux à reproduire, une troisième étape de contrôle temporel des dits signaux préenregistrés et une étape de reproduction des entrées des trois premières étape, ledit procédé de contrôle étant caractérisé en ce que la dite deuxième étape est apte à être programmée pour déterminer les temps où sont attendues des frappes de contrôle du rythme de défilement du fichier, et en ce que la dite troisième étape est apte à calculer pour un certain nombre de frappes de contrôle un facteur de vitesse corrigée (CSF) relative des frappes préprogrammées dans la deuxième étape et des frappes effectivement entrées dans la première étape et un facteur d'intensité relative des vélocités desdites frappes effectivement entrées et attendues puis à ajuster le rythme de défilement dans la dite deuxième étape pour ajuster ledit facteur de vitesse corrigée (CSF) aux frappes suivantes à une valeur choisie et l'intensité des signaux en sortie du deuxième module en fonction dudit facteur d'intensité relative desdites vélocités. 1 1. A method of controlling by a user the rate of movement of a pre-recorded file of signals to be reproduced and the intensity of said signals, said signals being encoded in said pre-recorded file substantially continuously, said method comprising a first interface step of input of control keys, a second step of input of said signals to be reproduced, a third step of time control of said prerecorded signals and a step of reproducing the inputs of the first three steps, said control method being characterized in that the said second step is capable of being programmed to determine the times when are waited for control keystrokes of the file scrolling rhythm, and in that the said third step is able to calculate for a certain number of control keystrokes a factor of corrected speed (CSF) of preprogrammed strikes in the second stage and the keystrokes actually entered in the first step and a relative intensity factor of the velocities of said keystrokes actually entered and expected and then adjusting the scroll rate in said second step to adjust said corrected speed factor (CSF) to the following keystrokes at a selected value and the intensity of the output signals of the second module as a function of said relative intensity factor of said velocities.
EP10706971A 2009-02-13 2010-02-12 Device and method for playback pacing control of a file of signals to be reproduced Withdrawn EP2396788A2 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0950919A FR2942344B1 (en) 2009-02-13 2009-02-13 DEVICE AND METHOD FOR CONTROLLING THE SCROLLING OF A REPRODUCING SIGNAL FILE
PCT/EP2010/051763 WO2010092140A2 (en) 2009-02-13 2010-02-12 Device and method for controlling the playback of a file of signals to be reproduced

Publications (1)

Publication Number Publication Date
EP2396788A2 true EP2396788A2 (en) 2011-12-21

Family

ID=41136768

Family Applications (1)

Application Number Title Priority Date Filing Date
EP10706971A Withdrawn EP2396788A2 (en) 2009-02-13 2010-02-12 Device and method for playback pacing control of a file of signals to be reproduced

Country Status (7)

Country Link
US (1) US8880208B2 (en)
EP (1) EP2396788A2 (en)
JP (1) JP5945815B2 (en)
KR (1) KR101682736B1 (en)
CN (1) CN102598117B (en)
FR (1) FR2942344B1 (en)
WO (1) WO2010092140A2 (en)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2396711A2 (en) * 2009-02-13 2011-12-21 Movea S.A Device and process interpreting musical gestures
JP5902919B2 (en) * 2011-11-09 2016-04-13 任天堂株式会社 Information processing program, information processing apparatus, information processing system, and information processing method
CN102592485B (en) * 2011-12-26 2014-04-30 中国科学院软件研究所 Method for controlling notes to be played by changing movement directions
JP2013213946A (en) * 2012-04-02 2013-10-17 Casio Comput Co Ltd Performance device, method, and program
JP6044099B2 (en) * 2012-04-02 2016-12-14 カシオ計算機株式会社 Attitude detection apparatus, method, and program
JP2013213744A (en) 2012-04-02 2013-10-17 Casio Comput Co Ltd Device, method and program for detecting attitude
EP2835769A1 (en) 2013-08-05 2015-02-11 Movea Method, device and system for annotated capture of sensor data and crowd modelling of activities
US11688377B2 (en) 2013-12-06 2023-06-27 Intelliterran, Inc. Synthesized percussion pedal and docking station
US9568994B2 (en) 2015-05-19 2017-02-14 Spotify Ab Cadence and media content phase alignment
US9536560B2 (en) 2015-05-19 2017-01-03 Spotify Ab Cadence determination and media content selection
CN106847249B (en) * 2017-01-25 2020-10-27 得理电子(上海)有限公司 Pronunciation processing method and system

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5662117A (en) * 1992-03-13 1997-09-02 Mindscope Incorporated Biofeedback methods and controls
US5629491A (en) * 1995-03-29 1997-05-13 Yamaha Corporation Tempo control apparatus
JP3149736B2 (en) * 1995-06-12 2001-03-26 ヤマハ株式会社 Performance dynamics control device
US5663514A (en) * 1995-05-02 1997-09-02 Yamaha Corporation Apparatus and method for controlling performance dynamics and tempo in response to player's gesture
JP3307152B2 (en) * 1995-05-09 2002-07-24 ヤマハ株式会社 Automatic performance control device
JP3750699B2 (en) * 1996-08-12 2006-03-01 ブラザー工業株式会社 Music playback device
US5952597A (en) * 1996-10-25 1999-09-14 Timewarp Technologies, Ltd. Method and apparatus for real-time correlation of a performance to a musical score
US5792972A (en) * 1996-10-25 1998-08-11 Muse Technologies, Inc. Method and apparatus for controlling the tempo and volume of a MIDI file during playback through a MIDI player device
JP2001125568A (en) * 1999-10-28 2001-05-11 Roland Corp Electronic musical instrument
EP1855267B1 (en) * 2000-01-11 2013-07-10 Yamaha Corporation Apparatus and method for detecting performer´s motion to interactively control performance of music or the like
JP3646600B2 (en) * 2000-01-11 2005-05-11 ヤマハ株式会社 Playing interface
JP4320766B2 (en) * 2000-05-19 2009-08-26 ヤマハ株式会社 Mobile phone
DE20217751U1 (en) * 2001-05-14 2003-04-17 Schiller, Rolf, 88212 Ravensburg Music recording and playback system
JP2003015648A (en) * 2001-06-28 2003-01-17 Kawai Musical Instr Mfg Co Ltd Electronic musical sound generating device and automatic playing method
DE10222315A1 (en) * 2002-05-18 2003-12-04 Dieter Lueders Electronic midi baton for converting conducting movements into electrical pulses converts movements independently of contact/fields so midi data file playback speed/dynamics can be varied in real time
DE10222355A1 (en) * 2002-05-21 2003-12-18 Dieter Lueders Audio-dynamic additional module for control of volume and speed of record player, CD player or tape player includes intermediate data store with time scratching
JP2004302011A (en) * 2003-03-31 2004-10-28 Toyota Motor Corp Device which conducts performance in synchronism with the operating timing of baton
JP2005156641A (en) * 2003-11-20 2005-06-16 Sony Corp Playback mode control device and method
EP1550942A1 (en) * 2004-01-05 2005-07-06 Thomson Licensing S.A. User interface for a device for playback of audio files
WO2006050512A2 (en) * 2004-11-03 2006-05-11 Plain Sight Systems, Inc. Musical personal trainer
US7402743B2 (en) * 2005-06-30 2008-07-22 Body Harp Interactive Corporation Free-space human interface for interactive music, full-body musical instrument, and immersive media controller

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2010092140A2 *

Also Published As

Publication number Publication date
WO2010092140A3 (en) 2011-02-10
US8880208B2 (en) 2014-11-04
US20120059494A1 (en) 2012-03-08
KR20110115174A (en) 2011-10-20
JP2012518192A (en) 2012-08-09
FR2942344A1 (en) 2010-08-20
JP5945815B2 (en) 2016-07-05
WO2010092140A2 (en) 2010-08-19
CN102598117B (en) 2015-05-20
FR2942344B1 (en) 2018-06-22
CN102598117A (en) 2012-07-18
KR101682736B1 (en) 2016-12-05

Similar Documents

Publication Publication Date Title
EP2396788A2 (en) Device and method for playback pacing control of a file of signals to be reproduced
EP2396711A2 (en) Device and process interpreting musical gestures
EP2136286B1 (en) System and method for automatically producing haptic events from a digital audio file
JP4430368B2 (en) Method and apparatus for analyzing gestures made in free space
EP3671725A1 (en) Media-content augmentation system and method of aligning transitions in media files with temporally-varying events
KR101915120B1 (en) System for equalizing audio using artificial neural network
WO2020224322A1 (en) Method and device for processing music file, terminal and storage medium
US20130032023A1 (en) Real time control of midi parameters for live performance of midi sequences using a natural interaction device
JP2006171664A (en) Electronic music of portable and communicable device
WO2017028686A1 (en) Information processing method, terminal device and computer storage medium
WO2011133398A2 (en) Real time control of midi parameters for live performance of midi sequences
CN107004035A (en) Method for playing music, device and music player devices
FR2974226A1 (en) METHOD FOR GENERATING SOUND EFFECT IN GAME SOFTWARE, ASSOCIATED COMPUTER PROGRAM, AND COMPUTER SYSTEM FOR EXECUTING COMPUTER PROGRAM INSTRUCTIONS.
CN108053815A (en) The performance control method and robot of a kind of robot
EP1652180B1 (en) Method for reproducing audio documents with the aid of an interface comprising document groups and associated reproducing device
US9734809B2 (en) Digital control of the sound effects of a musical instrument
CN113674723A (en) Audio processing method, computer equipment and readable storage medium
EP0978116A1 (en) Method and device for recording in cyclic loops several sound sequences
Tanaka et al. MubuFunkScatShare: gestural energy and shared interactive music
EP3889958A1 (en) Dynamic audio playback equalization using semantic features
JP2014123085A (en) Device, method, and program for further effectively performing and providing body motion and so on to be performed by viewer according to singing in karaoke
FR2942345A1 (en) Gesture interpreting device for player of e.g. guitar, has gesture interpretation and analyze sub-module assuring gesture detection confirmation function by comparing variation between two values in sample of signal with threshold value
WO2024080009A1 (en) Acoustic device, acoustic control method, and acoustic control program
WO2023010949A1 (en) Method and apparatus for processing audio data
JP2007157254A (en) Contents reproduction device, retrieval server, and contents selection and reproduction method

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20110808

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO SE SI SK SM TR

DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20160803

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20170214