WO2010092139A2 - Dispositif et procede d'interpretation de gestes musicaux - Google Patents

Dispositif et procede d'interpretation de gestes musicaux Download PDF

Info

Publication number
WO2010092139A2
WO2010092139A2 PCT/EP2010/051761 EP2010051761W WO2010092139A2 WO 2010092139 A2 WO2010092139 A2 WO 2010092139A2 EP 2010051761 W EP2010051761 W EP 2010051761W WO 2010092139 A2 WO2010092139 A2 WO 2010092139A2
Authority
WO
WIPO (PCT)
Prior art keywords
module
sub
output
gestures
signals
Prior art date
Application number
PCT/EP2010/051761
Other languages
English (en)
Other versions
WO2010092139A3 (fr
Inventor
Dominique David
Original Assignee
Movea S.A
Commissariat A L'energie Atomique Et Aux Energies Alternatives
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from FR0950916A external-priority patent/FR2942345A1/fr
Priority claimed from FR0950919A external-priority patent/FR2942344B1/fr
Application filed by Movea S.A, Commissariat A L'energie Atomique Et Aux Energies Alternatives filed Critical Movea S.A
Priority to EP10703477A priority Critical patent/EP2396711A2/fr
Priority to US13/201,420 priority patent/US9171531B2/en
Publication of WO2010092139A2 publication Critical patent/WO2010092139A2/fr
Publication of WO2010092139A3 publication Critical patent/WO2010092139A3/fr

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/18—Selecting circuits
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/40—Rhythm
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/076—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction of timing, tempo; Beat detection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/375—Tempo or beat alterations; Music timing control
    • G10H2210/385—Speed change, i.e. variations from preestablished tempo, tempo change, e.g. faster or slower, accelerando or ritardando, without change in pitch
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/135—Musical aspects of games or videogames; Musical instrument-shaped game input interfaces
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/201—User input interfaces for electrophonic musical instruments for movement interpretation, i.e. capturing and recognizing a gesture or a specific kind of movement, e.g. to control a musical instrument
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/201—User input interfaces for electrophonic musical instruments for movement interpretation, i.e. capturing and recognizing a gesture or a specific kind of movement, e.g. to control a musical instrument
    • G10H2220/206—Conductor baton movement detection used to adjust rhythm, tempo or expressivity of, e.g. the playback of musical pieces
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/395—Acceleration sensing or accelerometer use, e.g. 3D movement computation by integration of accelerometer data, angle sensing with respect to the vertical, i.e. gravity sensing.

Definitions

  • the invention relates to the field of interpreting musical gestures or gestures acting on or as musical instruments.
  • it relates to a device and a method for processing signals representative of the movements of a music player using an instrument or beating a rhythm of accompaniment.
  • Devices and methods for play or learning have been developed to allow a musical instrument player using an object that simulates said instrument to play a partition, if necessary coupled with the scores of other instruments.
  • the instruments whose interpretation is simulated can be a guitar, a piano, a saxophone, a drums ....
  • the scores of the score are generated from the player's actions.
  • Such devices and methods can use buttons that trigger notes, if necessary by combining said buttons.
  • Some devices such as the Wll TM Music also use a recognition of certain gestures of the musician with the pressure on the buttons to play the score. Since the motion sensor of the Wll TM Music is an optical sensor that requires a fixed reference, its measurements are both conditioned by the player's position relative to the reference and rudimentary, which considerably limits the possibilities of interpretation. A satisfying musical rendering indeed requires a high accuracy of the capture of the movements of the player who are really intended to operate the instrument. Such a rendering is not within the reach of the devices of the prior art, such as US Pat. No. 5,663,514.
  • the present invention provides an answer to these limitations of the prior art by using motion sensor measurements according to at least two axes and a processing of their measurements which allow this precision and thus allow a satisfactory musical rendering.
  • the present invention discloses a device for interpreting gestures of a user comprising at least one measurement input module comprising at least one motion capture assembly according to at least a first and a second axis, a module signal processing sampled at the output of the input module and an output module adapted to reproduce the musical meaning of said gestures, the signal processing module comprising a sub module for analysis and interpretation of gestures comprising a filter function, a function of significant gesture detection by comparing the variation between two successive values in the sample of at least one of the signals coming from at least the first axis of the set of sensors with at least a first selected threshold value and a function significant gesture detection confirmation device, said device being characterized in that said significant gesture detection confirmation function is able to compare at least one of the signals coming from at least the second axis of the set of sensors with at least one second threshold value chosen.
  • the filtering function is capable of being executed by at least one pair of two successive low-pass recursive filters adapted to receive at least one of the output signals of the module as
  • the significant gesture detection function is able to identify sign changes between two successive values in the sample of the difference between at least one output of the first filter of at least one of the filter pairs at the current value and at least one output of the second filter of the same pair of filters for the same signal at the previous value.
  • the sub-module for analyzing and interpreting gestures further comprises a function for measuring the velocity of the gesture detected at the output of the detection confirmation function.
  • the velocity measurement function is able to calculate the stroke (Max-Min) between two significant gestures detected.
  • the second filter is able to operate at a cutoff frequency lower than that of the first filter.
  • the input module comprises at least a first accelerometer type sensor and a second sensor selected from the group of magnetometer type sensors and gyrometer.
  • the significant gesture detection function is able to receive at least one output of the second recursive filter of one of the pairs of filters applied to at least one of the signals of the first sensor.
  • the significant gesture detection confirmation function is able to receive as input at least one output of the second recursive filter of one of the pairs of filters applied to at least one of the signals of the second sensor.
  • the threshold chosen for the significant gesture detection confirmation function is of the order of 5/1000 relative value of the filtered signal.
  • the input module receives the signals from at least two sensors positioned on two independent parts of the body of the user, a first sensor providing via one of the pairs of recursive filters an input signal of the gesture detection function. significant and a second sensor providing via a pair of recursive filters an input signal of the gesture velocity measurement function detected at the output of the significant gesture detection confirmation function.
  • the signal processing module comprises an input sub-module of pre-recorded multimedia contents.
  • the multimedia content input sub-module comprises a function of partitioning said multimedia time-slot contents that can be used to perform a second confirmation of detection of the significant gestures detected.
  • the input module is able to transmit to the processing module a signal representative of the position of the user in a plane substantially orthogonal to the direction of the detected significant gesture to make a second confirmation.
  • the output module comprises a reproduction sub-module of a prerecorded file of signals to be reproduced and in that the processing module comprises a temporal control sub-module of said prerecorded signals, said reproduction sub-module being adapted to be programmed to determine the times when are expected to control the rate of scrolling of the file, and in that said time control sub-module is able to calculate for a certain number of control keystrokes a corrected speed factor (CSF) relative preprogrammed keystrokes in the reproduction sub-module and keystrokes actually entered in the temporal control sub-module and a relative intensity factor velocities said keystrokes actually entered and expected and then adjust the scroll rate of said under- time control module for adjusting said corrected speed factor (CSF) to the following keystrokes at a selected value and the intensity of the output signals of said reproduction sub-module according to said relative velocity intensity factor.
  • the velocity of the typing input is calculated from the deviation of the signal output of the second sensor.
  • the input module further comprises a submodule capable of interpreting user gestures whose output is used by the temporal control sub-module to control a characteristic of the audio output selected from the group constituted by the vibrato and tremolo.
  • the reproduction sub-module comprises a tag placement function in the prerecorded signal file to be reproduced at the times when the file's scroll rate control keys are expected, said tags being generated automatically according to the rhythm of pre-recorded signals that can be moved by a MIDI interface.
  • the value chosen in the time control sub-module for adjusting the running speed of the reproduction sub-module is equal to a value chosen from a set of calculated values, one of whose limits is calculated by applying a factor of CSF rate equal to the ratio of the time interval between the next tag and the previous tag minus the time interval between the current tap and the previous tap at the time interval between the current tap and the previous tap and whose the other values are calculated by linear interpolation between the current value and the value corresponding to that of the terminal used for the application of the CSF speed factor.
  • the value chosen in the time control sub-module for adjusting the running speed of the reproduction sub-module is equal to the value corresponding to that of the terminal used for applying the CSF speed factor.
  • the invention also discloses a method for interpreting significant gestures of a user comprising at least one measurement input step from at least one motion capture set according to at least a first and a second axis, a treatment stage of sampled signals at the output of the input step and an output step adapted to reproduce the musical meaning of said gestures, the signal processing step comprising a sub-step of analysis and interpretation of gesture comprising at least one filtering step, a significant gesture detection function by comparing the variation between two successive values in the sample of at least one of the signals coming from at least the first axis of the set of sensors with at least a first value chosen threshold and a significant gesture detection confirmation function, said method being characterized in that said significant gesture detection confirmation function is able to compare at least one of the signals coming from at least the second axis of the set of sensors with at least a second threshold value chosen.
  • the output step comprises a sub-step of reproducing a prerecorded file of signals to be reproduced and in that the processing step comprises a substep of time control of said prerecorded signals, said substep of reproducing being able to determine the times when are awaited control strokes of the file scroll rate, and said substep time control being able to calculate for a number of control strokes a corrected speed factor (CSF) relative preprogrammed keystrokes in the reproduction sub-step and keystrokes actually entered during the time control sub-step and a relative intensity factor of the velocities of said keystrokes actually entered and expected and then adjusting the scroll rate of said prerecorded file to adjust said corrected speed factor (CSF) to the following keystrokes at a chosen value and the sity of the output signals of the reproduction step according to said relative velocity intensity factor.
  • CSF corrected speed factor
  • Another advantage of the invention is that it uses micro sensors (accelerometers and magnetometers or gyrometers) at low cost. It can be used to play with the hands and / or beat the measure with the feet. It does not require a long learning and can be used by several players. It can be used with a large number of movements and instruments. It can also be used without any object simulating any instrument.
  • micro sensors accelerelerometers and magnetometers or gyrometers
  • the device and the method of the invention can be used to control the scrolling rate and the reproduction volume of an mp3 or wav audio file ensuring satisfactory musical performance.
  • the invention makes it possible, in this embodiment, to carry out the control of the scrolling of the prerecorded audio files in an intuitive manner.
  • New scroll control algorithms can also be easily integrated into the device of the invention.
  • FIG. 1 represents different contexts of use of the invention according to several embodiments
  • FIG. 2 is a simplified representation of a functional architecture of a device for interpreting musical gestures according to one embodiment of the invention
  • FIG. 3 (3a, 3b) represents a general flowchart of the treatments in one embodiment of the invention using an accelerometer and a magnetometer or a gyrometer;
  • FIG. 4 represents a flowchart of the filtering of the signals of the motion sensors in one embodiment of the invention
  • FIG. 5 represents a flow diagram of the detection of the power of the signals of the motion sensors in one embodiment of the invention
  • FIG. 6 represents a general flowchart of the treatments in one embodiment of the invention using only a gyrometer
  • FIG. 7 is a simplified representation of a functional architecture of a device for controlling the running speed of a prerecorded audio file by using the device and the method of the invention
  • FIGS. 8a and 8b show two cases of control of the scrolling of an audio file where respectively the typing speed is higher / lower than that of scrolling of the audio band;
  • FIG. 9 represents a flowchart of the processes of the function of measuring the velocity of the keystroke in a mode of control of the scrolling of an audio file
  • FIG. 10 represents a general flowchart of the processes making it possible to control the scrolling of an audio file
  • FIG. 11 represents a detail of FIG. 10 which shows the rhythmic control points desired by a user of a device for controlling the scrolling of an audio file;
  • FIG. 12 represents an expanded flowchart of a method for temporally controlling the scrolling of an audio file.
  • FIG. 1 shows three modes 10, 120A and 120B of input of musical gestures in a processing module 20 for reproduction by a musical synthesis module 30.
  • FIG. 1 On the left of Figure 1 are represented from top to bottom the three input modes 10 of musical gestures: - A musician 1 10 plays a guitar on which were fixed one or more motion sensors such as MotionPod TM of Movea TM; it is then the movements of the guitar that are measured by the motion sensors and supplied to the processing unit 20; - A 120A musician directly carries motion sensors of the same type on a part of the body (hand, forearm, arm, foot, leg, thigh, etc.); he can play the score of an instrument or simply beat a rhythm;
  • motion sensors such as MotionPod TM of Movea TM
  • a 120B musician can also operate a GyroMouse TM or a Movea AirMouse TM which is a three-dimensional remote control that includes a three-axis gyrometer to control a point in motion on a used plane, offering the possibility to use either the point displacements are the measurements of one or more axes gyrometers.
  • a MotionPod comprises a tri-axis accelerometer, a tri-axis magnetometer, a pre-processing capability for preforming signals from the sensors, a radiofrequency transmission module of said signals to the processing module itself and a battery. This motion sensor is called "3A3M" (three axes of accelerometer and three axes of magnetometer).
  • Accelerometers and magnetometers are small, low-cost, low-cost commercial micro-sensors, such as a Kionix TM three-way accelerometer (KXPA4 3628) and HoneyWell TM HMC1041 Z magnetometers (one-way). vertical) and HMC1042L for the 2 horizontal tracks.
  • Other suppliers include Memsic TM or Asahi Kasei TM for magnetometers and STM TM, Freescale TM, Analog Device TM for accelerometers, to name just a few.
  • the MotionPod for the 6 signal channels, there is only one analog filtering and then, after digital analog conversion (12 bits), the raw signals are transmitted by a radio frequency protocol in the Bluetooth TM band (2.4GHz ) optimized for consumption in this type of applications.
  • the data is therefore raw to a controller that can receive data from a set of sensors. They are read by the controller and made available software.
  • the sampling rate is adjustable. By default, it is set at 200 Hz. Higher values (up to 3000 Hz or more) can nevertheless be envisaged, allowing greater accuracy in the detection of shocks, for example.
  • the radio frequency protocol of the MotionPod makes it possible to guarantee the provision of the data to the controller with a controlled delay, which should not exceed 10ms (at 200 Hz), which is important for the music.
  • An accelerometer of the above type makes it possible to measure longitudinal displacements along its three axes and, by transformation, angular displacements (except around the direction of the earth's gravitational field) and orientations with respect to a Cartesian reference system in three dimensions.
  • a set of magnetometers of the above type makes it possible to measure the orientation of the sensor to which it is fixed with respect to the terrestrial magnetic field and thus displacements and orientations with respect to the three axes of the reference frame (except around the direction of the magnetic field earthly).
  • the 3A3M combination provides complementary and smooth motion information. In fact, in the invention only the information relating to one of the axes, the vertical axis Z or one of the other two axes is used.
  • motion sensors may be used, for example a combination of accelerometer and gyrometer (so-called “3A3G” sensors) or even a single three-axis gyrometer, as explained below in the description in comment to other figures.
  • 3A3G gyrometer
  • the remote controller of the MotionPod (at the input of the processing module 20, 210) synthesizes the signals of the sensor assemblies. A compromise must be found between the number of sensors, the sampling frequency of the sensors and the energy consumption autonomy of the sensor assemblies.
  • the term "output signal of the accelerometer or magnetometer in the singular indifferently the outputs of the controller depending on whether the input data come from a single sensor module 3A3M or a set of modules 3A3M synthesized in the controller.
  • the AirMouse includes two gyrometer type sensors, each with an axis of rotation.
  • the gyrometers used are from the Epson reference XV3500. Their axes are orthogonal and deliver the pitch angles (yaw or rotation around the axis parallel to the horizontal axis of a plane facing the user of the AirMouse) and yaw (pitch or rotation around a axis parallel to the vertical axis of a plane facing the user of the AirMouse).
  • the instantaneous pitch and yaw speeds measured by the two gyrometer axes are transmitted by radio frequency protocol to a controller of the input module (10) and converted by said controller in motion of a cursor in a screen facing the user. .
  • An output module 30 reproduces the sounds produced by the combination of pre-recorded contents and the capture of the musical gestures produced by the player via the input module 10. It may be a simple speaker or a a synthesizer.
  • the functional architecture of the device of the invention is described in FIG. 2.
  • the modules 10 and 30 are not returned.
  • the module 20 carries out the processing of the signals received from the input module 10 within a module of FIG. Gesture analysis and interpretation 210 whose outputs are provided to a module for calculating the music content control data 230.
  • Pre-recorded multimedia content is also provided by a module 220 to the module 230.
  • To correctly specify the algorithm analysis and interpretation of the musical gestures implanted in the module 210 it is necessary to take into account the specificity of the said gestures. In particular, playing a 5 minute piece of music for example by beating a moderately fast tempo at 120 bpm (beat per minute) results in 600 beats performed by the user.
  • module 210 The processing algorithms must be very adaptable. Moreover, it seems that the behavior of the user depends directly on his interaction with the content he is interpreting. It is therefore necessary to provide a process in situation, that is to say by putting the human system in an action / perception loop including all aspects involved (content, brain and cognitive, gestures, actuators, sensors. .). To meet these specifications, the general processing principle implemented in module 210 has the following two characteristics:
  • a sensor a magnetometer or a gyrometer
  • the module 220 makes it possible to insert pre-recorded contents of the MIDI (Musical Instrument Digital Interface) type coming from an electronic musical instrument, audio coming from a reader (MP3 - MPEG (Moving Picture Expert Group) 1/2 Layer 3, WAV - WAVeform audio format, WMA - Windows Media Audio, etc.), multimedia, images, video, etc. through a suitable interface.
  • the outputs of the module 220 are provided concurrently with the module 210 (to allow consideration of the reactions of the music player) and the module 230 to be subsequently reproduced at the output of the processing device.
  • the module 230 makes it possible to synthesize the musical gestures interpreted by the module 210 and the pre-recorded contents at the output of the module 220.
  • the simplest mode is to play a fragment, for example, encoded in MP3 or midi file (or file video) every time a strike is detected by the module 210, which will then sequentially seek the fragments in the module 220.
  • This mode allows to many interesting applications. It is much more flexible and powerful than 220 integrates a method such as the one we disclosed in the application No. FR07 / 55244 entitled "computer-assisted music interpretation system" and having as holder the inventor of the this request.
  • the device disclosed in this invention comprises two memories one of which comprises the musical data which define the totality of the musical events constituting the piece of music to be interpreted and the other the sequence of actions necessary for the reproduction of the stored musical events as well as the means for establishing said musical information by comparing the data stored in the first memory of the musical data and the memory of the sequence of the actions.
  • the user will have complete control over what he wants to play and when, and what is left to the initiative of the machine (eg an accompaniment).
  • FIG. 3 (cut at 3a and 3b for readability reasons) represents a general flowchart of the treatments in one embodiment of the invention using an accelerometer and a magnetometer or a gyrometer. In the remainder of the description relating to this figure, whenever the word magnetometer is used, it denotes indifferently a magnetometer or a gyrometer. All the treatments are done in software in the module 210.
  • the treatments firstly comprise a low-pass filtering of the outputs of the sensors of the two modalities (accelerometer and magnetometer) whose detailed operation is explained in FIG. 4.
  • This filtering of the output signals of the motion sensor controller uses a recursive approach of order 1.
  • the gain of the filter may for example be set at 0.3.
  • the filter equation is given by the following formula:
  • the treatment then comprises a low-pass filtering of the two modalities with a cut-off frequency lower than that of the first filter. This lower cut-off frequency results from the choice of a coefficient of the second filter which is lower than the gain of the first filter. In the case chosen in the example above, where the coefficient of the first filter is 0.3, the coefficient of the second filter can be set at 0.1.
  • the processing comprises a detection of a zero of the derivative of the output signal of the accelerometer with the measurement of the output signal of the magnetometer.
  • a negative sign of the product FDA (n) * FDA (n-1) indicates a zero of the derivative of the filtered signal of the accelerometer and thus detects a strike.
  • the processing module checks the intensity of the deviation of the other modality at the filtered output of the magnetometer. If this value is too low, the strike is considered not as a primary strike but as a secondary or ternary strike and discarded.
  • the threshold for excluding non-primary strikes depends on the expected amplitude of the deviation of the magnetometer. Typically, this value will be of the order of 5/1000 in the envisaged applications. This part of the treatment thus makes it possible to eliminate the insignificant strikes.
  • the processing module calculates a velocity signal (or volume) of the strike by using the deflection of the filtered signal at the output of the magnetometer.
  • DELTAB (n) BF1 (n) - BF2 (n)
  • VEL (n) Max ⁇ DELTAB (n), DELTAB (p) ⁇ - Min ⁇ DELTAB (n), DELTA (p) ⁇ Where p is the index of the sample in which the previous primary keystroke was detected. Velocity is thus the race (difference Max-Min) of the derivative of the signal between two detected primary strikes, characteristics of musical gestures.
  • An adaptive processing is thus carried out because the processing of the magnetic modality includes a centering of the signal.
  • the signal itself subtracts its own slow variations (see formula above). For example, if the user turns 60 ° to the right, the magnetic signals received will be shifted, but the corresponding offset will be removed by the subtraction in question, keeping only the rapid variations due to the musical rhythm.
  • This treatment according to the invention makes it possible to interpret, without a single error, pieces of a few minutes, with fine control at the same time of the speed and the volume of play, both when the sensors are placed on the player's hand or when they are located on the foot of a player who beats the measure with his foot.
  • the device of the invention can be used as it is, that is to say without any calibration, even magnetometers (we actually only work on signals cleared of continuous components).
  • a trigger signal that can be used to synchronize the play of a MIDI file, or to synchronize the scrolling of an MP3, WAV or WMA type audio file, which is described below;
  • An amplitude signal which can be used to control the volume of a MIDI playback (usually in general, the velocity of the notes played) or the playback volume of an audio file.
  • Figure 6 shows a general flowchart of the treatments in one embodiment of the invention using only a gyrometer.
  • the input device is the Movea AirMouse or GyroMouse (player 12OB of FIG. 1).
  • the processing carried out in the module 210 is comparable to the processing described above, except that we only use one sensor data item, which can be considered in an approximate manner that it is physically halfway between the accelerometer data. and the magnetometer data that provides absolute angles.
  • the gyrometer is used here in the two detections: the one of the primary striking, with a treatment comparable to that of the accelerometer higher, except that the second filtering is not necessary, because a first filtering is already carried out in the AirMouse or the GyroMouse.
  • the AirMouse is more accessible at least for the moment to the general public and is therefore of interest from this point of view even if we do not have the finesse of controlling the bimodality.
  • the Airmouse is between the Wii Music and a sensor providing two modes of motion capture.
  • the mouse buttons provide complementary commands to, for example change a sound, or move to the next song, or to operate the pedal of a sampled piano for example.
  • An alternative embodiment consists in using two sensor modules in each of the player's hands, one of the modules being dedicated to the detection of primary keystrokes and the other to the measurement of velocity.
  • FIG. 7 is a simplified representation of a functional architecture of a device for controlling the running speed of a prerecorded audio file by using the device and method of the invention.
  • the characteristics of the module 720, the input of the signals to be reproduced, the timing control module 730 and the audio output module 740 are described below.
  • the motion sensors of the Motion Pod or Air Mouse type described above are, in the embodiment described here, used to control the scrolling rate of a prerecorded audio file.
  • the gesture analysis and interpretation module 712 provides signals that can be directly exploited by the time control processor 730.
  • the signals along an axis of the accelerometer and the magnetometer of the MotionPod are combined according to the method described above.
  • the treatments firstly advantageously comprise a double low-pass filtering of the outputs of the sensors of the two modalities (accelerometer and magnetometer) which has already been described above in relation with FIG. 4.
  • the processing comprises the detection of a zero of the derivative of the signal at the output of the accelerometer with the measurement of the signal at the output of the magnetometer according to the methods explained above in comments to Figures 3a and 3b.
  • a pre-recorded music file 720 to one of standard formats is taken from a storage unit by a reader.
  • To this file is associated another file with time marks or "tags" at predetermined times; for example, the table below shows nine tags at times in milliseconds that are listed next to the index of the decimal point:
  • the tags can advantageously be placed at beats of the same index in the piece that is played. There is no constraint on the number of tags. Several techniques are possible to place tags in a pre-recorded piece of music:
  • the prerecorded signal input module 720 to be reproduced can process different types of audio files, in MP3, WAV, WMA formats.
  • the file may also include other multimedia content than a simple sound recording. It may be for example video contents, with or without soundtrack, which will be tagged and whose scrolling can be controlled by the input module 710.
  • the time control processor 730 synchronizes the signals received from the input module 710 and the pre-recorded music piece 720, in a manner commented on in FIGS. 9A and 9B.
  • the audio output 740 reproduces the pre-recorded piece of music from the module 720 with the variations of rhythm introduced by the commands of the input module 710 interpreted by the time control processor 730. Any sound reproduction device does the same. case, including headphones, speakers.
  • Figs. 8A and 8B show cases where respectively the typing speed is higher / lower than the running speed of the audio band.
  • the audio player of the module 720 starts playing the pre-recorded piece of music at a given rate. This rhythm can for example be indicated by several small prior strikes.
  • the player accelerates and advances the pre-recorded track: a new keystroke is received by the processor before the audio player has reached the sample of the piece of music where the tag is placed corresponding to this hit.
  • the speed factor SF is 4/3.
  • the time control processor Upon reading this SF value, the time control processor skips the reading of the file 720 to the sample containing the index mark corresponding to the keystroke. Part of the pre-recorded music is lost, but the quality of the musical rendering is not too disturbed because the attention of those who listen to a piece of music usually focuses on the elements of the main rhythm and the tags will normally be placed on these elements of the main rhythm.
  • the listener who is waiting for that item will pay less attention to the absence of the part of the pre recorded song that has been skipped, this jump thus passing almost unnoticed.
  • the quality of listening can be further enhanced by smoothing the transition. This smoothing can for example be operated by interpolating a few samples (about ten) between before and after the tag to which the player is blown up to catch the player's typing speed. Playback of the pre-recorded song continues at the new speed resulting from that jump.
  • FIG. 3B Three positions of the tags at time n + 2 (in the time scale of the audio file) before changing the speed of the reader are indicated in FIG. 3B:
  • the first starting from the left T (n + 2) is that corresponding to the speed of movement prior to the slowdown of the player;
  • the second, NT 1 (n + 2) is the result of the calculation consisting in adjusting the speed of the player's scrolling speed to the player's typing speed by using the speed factor SF; we see that in this case the tags remain ahead of the keystrokes;
  • NT 2 (n + 2) is the result of a calculation using a corrected speed factor CSF; this corrected factor is calculated so that the dates of the following keystroke and tag are identical, which is seen in Figure 3B.
  • DELTAB (n) DELTAB (n) + BF1 (n) - BF2 (n)
  • VEL (n) Max ⁇ DELTAB (n), DELTAB (p) ⁇ - Min ⁇ DELTAB (n), DELTA (p) ⁇ Where p is the index of the sample in which the previous primary keystroke was detected.
  • Velocity is thus the race (difference Max-Min) of the derivative of the signal between two detected primary strikes, characteristics of musical gestures. It is also possible, in this embodiment comprising several motion sensors, to control by other gestures other musical parameters such as the spatial origin of the sound (or panning), the vibrato or the tremolo. For example, a sensor in one hand will detect the striking while another sensor held in the other hand will detect the spatial origin of sound or tremolo. Rotations of the hand can also be taken into account: when the palm of the hand is horizontal, one obtains a value of the spatial origin of the sound or the tremolo; when the palm is vertical, another value of the same parameter is obtained; in both cases, the movements of the hand in space provide the detection of the strikes. In the case where a MIDI keyboard is used, conventionally used controllers can also be used in this embodiment of the invention to control the spatial origin of sounds, tremolo or vibrato.
  • the invention can be advantageously implemented by processing the keystrokes via a MAX / MSP program.
  • Figure 10 shows the general flowchart of the treatments in such a program.
  • the display of the figure shows the waveform associated with the audio piece loaded in the system. There is a classical part to listen to the original piece.
  • Figure 1 At the bottom left is a portion, shown in Figure 1 1, to create a table containing the list of rhythmic control points desired by the person: listening to the song he taps a key at every moment that he wishes to type in the subsequent interpretation. Alternatively these times can be designated by the mouse on the waveform. Finally, they can be edited.
  • Figure 12 details the portion of Figure 10 at the bottom right that represents the time control that is applied.
  • the coefficient of acceleration / deceleration SF is calculated by comparing the duration existing between two consecutive marks on the one hand in the original piece, on the other hand in the current game of the user.
  • the formula for calculating this speed factor is given above in the description.
  • a timeout is set to stop the scrolling of the audio if the user has no longer typed for a time depending on the current musical content.
  • the left column is the heart of the control system. It is based on a temporal compression / expansion algorithm. The difficulty is to transform a "discrete" control thus intervening at consecutive instants, in a regular modulation of the speed. Otherwise, the hearing suffers on the one hand of total interruptions of the sound (when the player slows down), on the other hand of clicks and abrupt jumps when he accelerates. These flaws, which make such an approach unrealistic because of an audio output unusable musically are resolved in the developed implementation. It consists :
  • the "if" object in the left column detects whether it is slowing down or accelerating. In the event of a slowdown, the reading speed of the algorithm is changed, but no jump is made in the audio file.
  • the new reading speed is not necessarily exactly the one calculated in the right column (SF), but can be corrected (CSF speed factor) to take into account that we have already exceeded in the audio the corresponding mark at the last action of the player;
  • control marks correspond to musical moments sufficiently important on the psycho-acoustic level (here there is a parallel to perform with the basis of MP3 compression , which poorly encodes the less significant frequencies, and richly the preponderant frequencies). This is the macroscopic time domain, some moments in the listening of a piece are more significant than others, and it is on these moments that we wish to be able to act.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

L'invention s'applique à un dispositif d'interprétation de gestes musicaux ou gestes agissant sur ou comme des instruments de musique. Des dispositifs de l'art antérieur permettent à un utilisateur de produire de la musique en effectuant des gestes sur un instrument adapté ou en accompagnement d'un contenu musical pré enregistré. Aucun dispositif de l'art antérieur n'est cependant suffisamment fiable et robuste pour assurer un rendu musical satisfaisant. L'invention procure un rendu musical remarquable grâce à l'utilisation de micro capteurs, en particulier des accéléromètres et des magnétomètres ou des gyromètres, et à un traitement adapté des signaux des micro capteurs. En particulier, le traitement utilise une fusion des données en sortie des micro capteurs pour éliminer les fausses alarmes constituées par les mouvements de l'utilisateur sans rapport avec la musique. La vélocité des frappes musicales est également mesurée par le dispositif de l'invention. L'invention permet également le contrôle du défilement de fichiers de musique à reproduire de type mp3 ou wav.

Description

DISPOSITIF ET PROCEDE D'INTERPRETATION DE GESTES MUSICAUX
L'invention concerne le domaine de l'interprétation de gestes musicaux ou gestes agissant sur ou comme des instruments de musique. En particulier elle concerne un dispositif et un procédé de traitement des signaux représentatifs des mouvements d'un joueur de musique utilisant un instrument ou battant un rythme d'accompagnement. Des dispositifs et procédés à vocation ludique ou d'apprentissage ont été développés pour permettre à un joueur d'instrument de musique utilisant un objet qui simule ledit instrument d'en jouer une partition, le cas échéant couplée avec les partitions d'autres instruments. Les instruments dont l'interprétation est simulée peuvent être une guitare, un piano, un saxophone, une batterie.... Dans de tels dispositifs, les notes de la partition sont générées à partir d'actions du joueur. De tels dispositifs et procédés peuvent utiliser des boutons qui permettent de déclencher des notes, le cas échéant par combinaison des dits boutons. Certains dispositifs tels que la Wll™ Music utilisent aussi une reconnaissance de certains gestes du musicien avec les pressions sur les boutons pour jouer la partition. Le capteur de mouvement de la Wll™ Music étant un capteur optique qui nécessite une référence fixe, ses mesures sont à la fois conditionnées par la position du joueur par rapport à la référence et rudimentaires, ce qui limite considérablement les possibilités d'interprétation. Un rendu musical satisfaisant nécessite en effet une précision élevée de la capture des mouvements du joueur qui sont véritablement destinés à actionner l'instrument. Un tel rendu n'est pas à la portée des dispositifs de l'art antérieur, tels que le brevet US 5,663,514.
La présente invention apporte une réponse à ces limitations de l'art antérieur en utilisant les mesures de capteurs de mouvement selon au moins deux axes et un traitement de leurs mesures qui permettent cette précision et autorisent ainsi un rendu musical satisfaisant.
A cet effet, la présente invention divulgue un dispositif d'interprétation de gestes d'un utilisateur comprenant au moins un module d'entrée de mesures comprenant au moins un ensemble de capture de mouvements selon au moins un premier et un deuxième axes, un module de traitement de signaux échantillonnés en sortie du module d'entrée et un module de sortie apte à reproduire la signification musicale des dits gestes, le module de traitement des signaux comprenant un sous module d'analyse et d'interprétation de gestes comprenant une fonction de filtrage, une fonction de détection de geste significatif par comparaison de la variation entre deux valeurs successives dans l'échantillon d'au moins un des signaux en provenance au moins du premier axe de l'ensemble de capteurs avec au moins une première valeur de seuil choisie et une fonction de confirmation de détection de geste significatif, ledit dispositif étant caractérisé en ce que ladite fonction de confirmation de détection de geste significatif est apte à comparer au moins un des signaux en provenance au moins du deuxième axe de l'ensemble de capteurs avec au moins une deuxième valeur de seuil choisie. Avantageusement, la fonction de filtrage est apte à être exécutée par au moins un couple de deux filtres récursifs passe-bas successifs apte à recevoir en entrée au moins un des signaux en sortie du module.
Avantageusement, la fonction de détection de gestes significatifs est apte à identifier des changements de signe entre deux valeurs successives dans l'échantillon de la différence entre au moins une sortie du premier filtre d'au moins un des couples de filtres à la valeur courante et au moins une sortie du deuxième filtre du même couple de filtres pour le même signal à la valeur précédente.
Avantageusement, le sous module d'analyse et d'interprétation de gestes comprend en outre une fonction de mesure de la vélocité du geste détecté en sortie de la fonction de confirmation de détection. Avantageusement, la fonction de mesure de vélocité est apte à calculer la course (Max-Min) entre deux gestes significatifs détectés. Avantageusement, le deuxième filtre est apte à fonctionner à une fréquence de coupure inférieure à celle du premier filtre. Avantageusement, le module d'entrée comprend au moins un premier capteur de type accéléromètre et un deuxième capteur choisi dans le groupe des capteurs de types magnétomètre et gyromètre.
Avantageusement, la fonction de détection de gestes significatifs est apte à recevoir en entrée au moins une sortie du deuxième filtre récursif d'un des couples de filtres appliqué à au moins un des signaux du premier capteur. Avantageusement, la fonction de confirmation de détection de geste significatif est apte à recevoir en entrée au moins une sortie du deuxième filtre récursif d'un des couples de filtres appliqué à au moins un des signaux du deuxième capteur. Avantageusement, le seuil choisi de la fonction de confirmation de détection de geste significatif est de l'ordre de 5/1000 en valeur relative du signal filtré. Avantageusement, le module d'entrée reçoit les signaux d'au moins deux capteurs positionnés sur deux parties indépendantes du corps de l'utilisateur, un premier capteur fournissant via un des couples de filtres récursifs un signal en entrée de la fonction de détection de gestes significatifs et un deuxième capteur fournissant via un des couples de filtres récursifs un signal en entrée de la fonction de mesure de la vélocité du geste détecté en sortie de la fonction de confirmation de détection de geste significatif. Avantageusement, le module de traitement des signaux comprend un sous module d'entrée de contenus multimédia pré enregistrés.
Avantageusement, le sous module d'entrée de contenus multimédia comprend une fonction de partitionnement des dits contenus multimédia en fenêtres temporelles aptes à être utilisées pour effectuer une deuxième confirmation de détection des gestes significatifs détectés. Avantageusement, le module d'entrée est apte à transmettre au module de traitement un signal représentatif de la position de l'utilisateur dans un plan sensiblement orthogonal à la direction du geste significatif détecté pour en effectuer une deuxième confirmation. Avantageusement, le module de sortie comprend un sous-module de reproduction d'un fichier préenregistré de signaux à reproduire et en ce que le module de traitement comprend un sous-module de contrôle temporel des dits signaux préenregistrés, ledit sous-module de reproduction étant apte à être programmé pour déterminer les temps où sont attendues des frappes de contrôle du rythme de défilement du fichier, et en ce que ledit sous-module de contrôle temporel est apte à calculer pour un certain nombre de frappes de contrôle un facteur de vitesse corrigée (CSF) relative de frappes préprogrammées dans le sous-module de reproduction et des frappes effectivement entrées dans le sous-module de contrôle temporel et un facteur d'intensité relative des vélocités desdites frappes effectivement entrées et attendues puis à ajuster le rythme de défilement dudit sous- module de contrôle temporel pour ajuster ledit facteur de vitesse corrigée (CSF) aux frappes suivantes à une valeur choisie et l'intensité des signaux en sortie dudit sous-module de reproduction en fonction dudit facteur d'intensité relative des vélocités. Avantageusement, la vélocité de la frappe entrée est calculée à partir de la déviation du signal en sortie du deuxième capteur.
Avantageusement, le module d'entrée comprend en outre un sous module apte à interpréter des gestes de l'utilisateur dont la sortie est utilisée par le sous-module de contrôle temporel pour contrôler une caractéristique de la sortie audio choisie dans le groupe constitué par le vibrato et le trémolo.
Avantageusement, le sous-module de reproduction comprend une fonction de placement de tags dans le fichier de signaux préenregistrés à reproduire aux temps où sont attendues des frappes de contrôle du rythme de défilement du fichier, les dits tags étant générés de manière automatique en fonction du rythme des signaux préenregistrés et pouvant être déplacés par une interface MIDI.
Avantageusement, la valeur choisie dans le sous-module de contrôle temporel pour ajuster la vitesse de défilement du sous-module de reproduction est égale à une valeur choisie dans un ensemble de valeurs calculées dont une des bornes est calculée par application d'un facteur de vitesse CSF égal au rapport de l'intervalle de temps entre le tag suivant et le tag précédent diminué de l'intervalle de temps entre la frappe courante et la frappe précédente à l'intervalle de temps entre la frappe courante et la frappe précédente et dont les autres valeurs sont calculées par interpolation linéaire entre la valeur courante et la valeur correspondant à celle de la borne utilisée pour l'application du facteur de vitesse CSF.
Avantageusement, la valeur choisie dans le sous-module de contrôle temporel pour ajuster la vitesse de défilement du sous-module de reproduction est égale à la valeur correspondant à celle de la borne utilisée pour l'application du facteur de vitesse CSF.
L'invention divulgue également un procédé d'interprétation de gestes significatifs d'un utilisateur comprenant au moins une étape d'entrée de mesures en provenance d'au moins un ensemble de capture de mouvements selon au moins un premier et un deuxième axes, une étape de traitement de signaux échantillonnés en sortie de l'étape d'entrée et une étape de sortie apte à reproduire la signification musicale des dits gestes, l'étape de traitement de signaux comprenant une sous étape d'analyse et d'interprétation de geste comprenant au moins une étape de filtrage, une fonction de détection de geste significatif par comparaison de la variation entre deux valeurs successives dans l'échantillon d'au moins un des signaux en provenance au moins du premier axe de l'ensemble de capteurs avec au moins une première valeur de seuil choisie et une fonction de confirmation de détection de geste significatif, ledit procédé étant caractérisé en ce que ladite fonction de confirmation de détection de geste significatif est apte à comparer au moins un des signaux en provenance au moins du deuxième axe de l'ensemble de capteurs avec au moins une deuxième valeur de seuil choisie. Avantageusement, l'étape de sortie comprend une sous-étape de reproduction d'un fichier préenregistré de signaux à reproduire et en ce que l'étape de traitement comprend une sous-étape de contrôle temporel des dits signaux préenregistrés, ladite sous-étape de reproduction étant apte à déterminer les temps où sont attendues des frappes de contrôle du rythme de défilement du fichier, et ladite sous-étape de contrôle temporel étant apte à calculer pour un certain nombre de frappes de contrôle un facteur de vitesse corrigée (CSF) relative de frappes préprogrammées dans la sous- étape de reproduction et des frappes effectivement entrées au cours de la sous-étape de contrôle temporel et un facteur d'intensité relative des vélocités desdites frappes effectivement entrées et attendues puis à ajuster le rythme de défilement dudit fichier préenregistré pour ajuster ledit facteur de vitesse corrigée (CSF) aux frappes suivantes à une valeur choisie et l'intensité des signaux en sortie de l'étape de reproduction en fonction dudit facteur d'intensité relative des vélocités.
Un autre avantage de l'invention est qu'elle utilise des micro capteurs (accéléromètres et magnétomètres ou gyromètres) à bas coût. Elle peut être utilisée pour jouer avec les mains et/ou battre la mesure avec les pieds. Elle ne nécessite pas un apprentissage long et peut être utilisée par plusieurs joueurs. Elle peut être utilisée avec un grand nombre de mouvements et d'instruments. Elle peut également être utilisée sans objet simulant un instrument quelconque.
En outre, le dispositif et le procédé de l'invention peuvent être utilisés pour contrôler le rythme de défilement et le volume de reproduction d'un fichier audio mp3 ou wav en assurant un rendu musical satisfaisant. De plus l'invention permet, dans ce mode de réalisation de réaliser le contrôle du défilement des fichiers audio préenregistrés de manière intuitive. De nouveaux algorithmes de contrôle du défilement pourront également être intégrés de manière facile dans le dispositif de l'invention.
L'invention sera mieux comprise, ses différentes caractéristiques et avantages ressortiront de la description qui suit de plusieurs exemples de réalisation et de ses figures annexées dont :
- La figure 1 représente différends contextes d'emploi de l'invention selon plusieurs modes de réalisation ;
- La figure 2 représente de manière simplifiée une architecture fonctionnelle d'un dispositif d'interprétation de gestes musicaux selon un mode de réalisation de l'invention ;
- La figure 3 (3a, 3b) représente un organigramme général des traitements dans un mode de réalisation de l'invention utilisant un accéléromètre et un magnétomètre ou un gyromètre;
- La figure 4 représente un organigramme du filtrage des signaux des capteurs de mouvement dans un mode de réalisation de l'invention ;
- La figure 5 représente un organigramme de la détection de la puissance des signaux des capteurs de mouvement dans un mode de réalisation de l'invention ;
- La figure 6 représente un organigramme général des traitements dans un mode de réalisation de l'invention utilisant seulement un gyromètre ; - La figure 7 représente de manière simplifiée une architecture fonctionnelle d'un dispositif de contrôle de la vitesse de défilement d'un fichier audio préenregistré en utilisant le dispositif et le procédé de l'invention ; - Les figures 8a et 8b représentent deux cas de contrôle du défilement d'un fichier audio où respectivement la vitesse de frappe est plus élevée/moins élevée que celle de défilement de la bande audio ;
- La figure 9 représente un organigramme des traitements de la fonction de mesure de la vélocité de la frappe dans un mode de contrôle du défilement d'un fichier audio;
- La figure 10 représente un organigramme général des traitements permettant le contrôle du défilement d'un fichier audio;
- La figure 1 1 représente un détail de la figure 10 qui montre les points de contrôle rythmiques souhaités par un utilisateur d'un dispositif de contrôle du défilement d'un fichier audio ;
- La figure 12 représente un organigramme développé d'un procédé de contrôle temporel du défilement d'un fichier audio.
La figure 1 représente trois modalités 1 10, 120A et 120B d'entrée 10 de gestes musicaux dans un module de traitement 20 pour reproduction par une module de synthèse musicale 30.
Sur la gauche de la figure 1 sont représentées de haut en bas les trois modalités d'entrée 10 de gestes musicaux: - Un musicien 1 10 joue d'une guitare sur laquelle ont été fixés un ou plusieurs capteurs de mouvements tels que des MotionPod™ de Movea™; ce sont alors les mouvements de la guitare qui sont mesurés par les capteurs de mouvement et fournis à l'unité de traitement 20 ; - Un musicien 120A porte directement des capteurs de mouvements du même type sur une partie du corps (main, avant-bras, bras, pied, jambe, cuisse, etc..) ; il peut jouer la partition d'un instrument ou simplement battre un rythme ;
- Un musicien 120B peut également actionner une une GyroMouse™ ou bien une AirMouse™ de Movea qui est une télécommande en trois dimensions comprenant un gyromètre trois axes permettant de contrôler un point en déplacement sur un plan utilisé, offrant la possibilité d'utiliser soit les déplacements du point soit les mesures d'un ou plusieurs axes gyromètres. Un MotionPod comporte un accéléromètre tri axe, un magnétomètre tri axe, une capacité de prétraitement permettant de préformer des signaux à partir des capteurs, un module de transmission radiofréquence des dits signaux au module de traitement lui-même et une batterie. Ce capteur de mouvement est dit « 3A3M » (trois axes d'accéléromètre et trois axes de magnétomètre). Les accéléromètres et magnétomètres sont des microcapteurs du commerce de faible encombrement, de faible consommation et à bas coût, par exemple un accéléromètre trois voies de la société Kionix™ (KXPA4 3628) et des magnétomètres d'HoneyWell™ de type HMC1041 Z (1 voie verticale) et HMC1042L pour les 2 voies horizontales. D'autres fournisseurs existent : Memsic™ ou Asahi Kasei™ pour les magnétomètres et STM™, Freescale™, Analog Device™ pour les accéléromètres, pour ne citer que ceux là. Dans le MotionPod, pour les 6 voies signal, il n'y a qu'un filtrage analogique et ensuite, après conversion analogique numérique (12 bits), les signaux bruts sont transmis par un protocole radiofréquence dans la bande Bluetooth™ (2,4GHz) optimisé pour la consommation dans ce type d'applications. Les données arrivent donc brutes à un contrôleur qui peut recevoir les données d'un ensemble de capteurs. Elles sont lues par le contrôleur et mises a disposition des logiciels. La cadence d'échantillonnage est réglable. Par défaut, elle est fixée à 200 Hz. Des valeurs plus élevées (jusqu'à 3000 Hz, voire plus) peuvent néanmoins être envisagées, permettant une plus grande précision dans la détection de chocs par exemple. Le protocole radiofréquence du MotionPod permet de garantir la mise a disposition de la donnée au contrôleur avec un retard contrôlé, qui ne doit pas dépasser ici 10ms (à 200 Hz), ce qui est important pour la musique.
Un accéléromètre du type ci-dessus permet de mesurer les déplacements longitudinaux selon ses trois axes et, par transformation, des déplacements angulaires (sauf autour de la direction du champ de gravitation terrestre) et des orientations par rapport à un référentiel cartésien en trois dimensions. Un ensemble de magnétomètres du type ci-dessus permet de mesurer l'orientation du capteur auquel il est fixé par rapport au champ magnétique terrestre et donc des déplacements et des orientations par rapport aux trois axes du référentiel (sauf autour de la direction du champ magnétique terrestre). La combinaison 3A3M fournit des informations de mouvement complémentaires et lissées. En fait, dans l'invention on n'exploite que les informations relatives à un des axes, l'axe Z vertical ou un des deux autres axes. On peut donc se contenter en principe d'un capteur mono axe de chacun des types, lorsque deux types de capteurs (accéléromètre et magnétomètre ou accéléromètre et gyromètre) sont utilisés. Dans la pratique, compte tenu de la disponibilité à faible coût de modules de capteurs 3A3M incorporant la transmission et les traitements des six voies, c'est cette approche qui est privilégiée.
D'autres capteurs de mouvement peuvent être utilisés, par exemple une combinaison d'accéléromètre et de gyromètre (capteurs dits « 3A3G ») ou même un gyromètre trois axes seul, comme expliqué plus bas dans la description en commentaire à d'autres figures.
Lorsque plusieurs ensembles de capteurs de mouvement sont utilisés, le contrôleur distant du MotionPod (en entrée du module de traitement 20, 210) réalise la synthèse des signaux des ensembles de capteurs. Un compromis doit être trouvé entre le nombre de capteurs, la fréquence d'échantillonnage des capteurs et l'autonomie en consommation d'énergie des ensembles de capteurs. Dans la suite de la description, on désigne par signal de sortie de l'accéléromètre ou du magnétomètre au singulier indifféremment les sorties du contrôleur selon que les données d'entrée proviennent d'un seul module capteur 3A3M ou d'un ensemble de modules 3A3M synthétisées dans le contrôleur.
La AirMouse comprend deux capteurs de type gyromètre, chacun à un axe de rotation. Les gyromètres utilisés sont de la marque Epson de référence XV3500. Leurs axes sont orthogonaux et délivrent les angles de tangage (yaw ou rotation autour de l'axe parallèle à l'axe horizontal d'un plan situé face à l'utilisateur de la AirMouse) et de lacet (pitch ou rotation autour d'un axe parallèle à l'axe vertical d'un plan situé face à l'utilisateur de la AirMouse). Les vitesses instantanées de pitch et de yaw mesurées par les deux axes gyromètres sont transmises par protocole radiofréquence à un contrôleur du module d'entrée (10) et converties par ledit contrôleur en mouvement d'un curseur dans un écran situé face à l'utilisateur. Dans l'application de l'invention on peut utiliser soit un des signaux de commande du curseur (en Z ou en Y), voire les deux, soit un signal de mesure directe en sortie d'un des axes gyromètres. Les fonctionnalités et l'architecture du module de traitement 20 seront commentées en liaison avec la figure 2.
Un module de sortie 30 reproduit les sons produits par la combinaison de contenus préenregistrés et la capture des gestes musicaux produits par le joueur par l'intermédiaire du module d'entrée 10. Il peut s'agir d'un simple haut-parleur ou d'un synthétiseur.
L'architecture fonctionnelle du dispositif de l'invention est décrite sur la figure 2. On ne revient pas sur les modules 10 et 30. Le module 20 réalise le traitement des signaux reçus du module d'entrée 10 au sein d'un module d'analyse et d'interprétation de gestes 210 dont les sorties sont fournies à un module de calcul des données de contrôle du contenu musical 230. Un contenu multimédia préenregistré est également fourni par un module 220 au module 230. Pour spécifier correctement l'algorithme d'analyse et d'interprétation de la gestuelle musicale implanté dans le module 210, il est nécessaire de prendre en compte la spécificité de la dite gestuelle. En particulier, jouer un morceau de musique de 5 minutes par exemple en battant un tempo moyennement rapide à 120 bpm (beat per minute) se traduit par 600 battements effectués par l'utilisateur. Or, dans un contexte musical, une seule erreur se traduit par une rupture de sens et une perte d'intérêt du dispositif. En cas de fausse alarme, le système détecte des battements inexistants, en cas de non détection évidemment le jeu du morceau est interrompu. Or, en situation d'interprétation musicale par battement de tempo, l'utilisateur adopte une gestuelle d'une part qui lui est propre, d'autre part admettant une certaine variabilité à l'intérieur de sa gestuelle propre. De plus, des phénomènes physiologiques moteurs propres à l'humain, eux-mêmes dépendant de la vitesse de battement se superposent à cette variabilité (on a un mode quasi sinusoïdal à grande vitesse, mais avec de forts rebonds à vitesse lente). Ces constatations entraînent plusieurs conséquences :
- il faut utiliser des algorithmes atteignant une fidélité de l'ordre de 1 pour 1000, une valeur très élevée dans un contexte de variabilité peu connue (mouvement expressif humain) ;
- les seuls accéléromètres ne permettent pas à ce jour d'atteindre une telle performance, pour au moins deux raisons (rebonds en cas de vitesse moyenne ou lente, difficulté à anticiper et donc à produire une information de puissance du mouvement correcte), d'où le choix effectué d'utiliser des capteurs bimodaux ;
- les algorithmes de traitement doivent être très adaptables. De plus, il semble bien que le comportement de l'utilisateur dépend directement de son interaction avec le contenu qu'il interprète. Il est donc nécessaire de prévoir un procédé en situation, c'est-à-dire en mettant le système humain dans une boucle action/perception incluant tous les aspects mis en jeu (contenu, cerveau et cognitif, gestuelle, actionneurs, capteurs...). Pour répondre à ces spécifications, le principe général de traitement mis en œuvre dans le module 210 a les deux caractéristiques suivantes :
- un traitement adaptatif pour éliminer les composantes des signaux présentant des variations lentes ( de l'ordre de la seconde);
- l'utilisation des sorties d'un capteur (un magnétomètre ou un gyromètre) pour détecter une frappe;
- l'utilisation des sorties de l'autre capteur (l'accéléromètre ou une des mesures du gyromètre si ce capteur est utilisé seul), pour mesurer l'intensité de la frappe.
Le module 220 permet d'insérer des contenus préenregistrés de type MIDI (Musical Instrument Digital Interface) venant d'un instrument de musique électronique, audio venant d'un lecteur (MP3 - MPEG (Moving Picture Expert Group) 1/2 Layer 3, WAV - WAVeform audio format, WMA - Windows Media Audio, etc .), multimédia, images, vidéo, etc.. par l'intermédiaire d'une interface adaptée. Les sorties du module 220 sont fournies concurremment au module 210 (pour permettre une prise en compte des réactions du joueur de musique) et au module 230 pour être ensuite reproduites en sortie du dispositif de traitement.
Le module 230 permet d'effectuer la synthèse des gestes musicaux interprétés par le module 210 et des contenus préenregistrés en sortie du module 220. Le mode le plus simple consiste à jouer un fragment par exmple codé en MP3 ou de fichier midi (voire de fichier vidéo) chaque fois qu'une frappe est détectée par le module 210, qui va alors chercher séquentiellement les fragments dans le module 220. Ce mode permet de nombreuses applications intéressantes. Il est beaucoup plus souple et puissant que 220 intègre un procédé tel que celui que nous avons divulgué dans la demande n° FR07/55244 ayant pour titre « Système d'interprétation de musique assisté par ordinateur » et ayant pour titulaire l'inventeur de la présente demande. Le dispositif divulgué dans cette invention comprend deux mémoires dont l'une comprend les données musicales qui définissent la totalité des événements musicaux constituant le morceau de musique à interpréter et l'autre la séquence des actions nécessaires pour la reproduction des événements musicaux stockés ainsi que des moyens d'établissement desdites informations musicales par comparaison des données stockées dans la première mémoire des données musicales et la mémoire de la séquence des actions. Dans ce cas, l'utilisateur aura un contrôle complet sur ce qu'il veut jouer et quand, et sur ce qui est laissé à l'initiative de la machine (par exemple un accompagnement).
La figure 3 (découpée en 3a et 3b pour des raisons de lisibilité) représente un organigramme général des traitements dans un mode de réalisation de l'invention utilisant un accéléromètre et un magnétomètre ou un gyromètre. Dans la suite de la description relative à cette figure, chaque fois que l'on emploie le mot magnétomètre, on désigne indifféremment un magnétomètre ou un gyromètre. Tous les traitements sont effectués de manière logicielle dans le module 210.
Les traitements comprennent tout d'abord un filtrage passe-bas des sorties des capteurs des deux modalités (accéléromètre et magnétomètre) dont le fonctionnement détaillé est explicité par la figure 4.
Ce filtrage des signaux en sortie du contrôleur des capteurs de mouvement utilise une approche récursive d'ordre 1. Le gain du filtre peut par exemple être fixé à 0,3. Dans ce cas, l'équation du filtre est donnée par la formule suivante :
Output(z(n))=0.3*lnput(z(n-1 )) + 0.7*Output(z(n-1 ))
Où, pour chacune des modalités : z est la lecture de la modalité sur l'axe utilisé ; n est la lecture de l'échantillon courant ; n-1 est la lecture de l'échantillon précédent. Le traitement comporte ensuite un filtrage passe-bas des deux modalités avec une fréquence de coupure inférieure à celle du premier filtre Cette fréquence de coupure inférieur résulte du choix d'un coefficient du deuxième filtre inférieur au gain du premier filtre. Dans le cas choisi dans l'exemple ci- dessus où le coefficient du premier filtre est de 0,3, le coefficient du deuxième filtre peut être fixé à 0,1. L'équation du deuxième filtre est alors (avec les mêmes notations que ci-dessus) : Output(z(n))=0.1 *lnput(z(n-1 )) + 0.9*Output(z(n-1 ))
Ensuite, le traitement comporte une détection d'un zéro de la dérivée du signal en sortie de l'accéléromètre avec la mesure du signal en sortie du magnétomètre.
On pose les notations suivantes : - A(n) le signal en sortie de l'accéléromètre dans l'échantillon n ;
- AF1 (n) le signal de l'accéléromètre en sortie du premier filtre récursif dans l'échantillon n ;
- AF2(n) le signal AF1 filtré à nouveau par le deuxième filtre récursif dans l'échantillon n ; - B(n) le signal du magnétomètre dans l'échantillon n ;.
- BF1 (n) le signal du magnétomètre en sortie du premier filtre récursif dans l'échantillon n ;
- BF2(n) le signal BF1 filtré à nouveau par le deuxième filtre récursif dans l'échantillon n. Alors, l'équation suivante permet de calculer une dérivée filtrée du signal de l'accéléromètre dans l'échantillon n: FDA(n) = AF1 (n) - AF2(n-1 )
Un signe négatif du produit FDA(n) * FDA(n-1 ) indique un zéro de la dérivée du signal filtré de l'accéléromètre et détecte donc une frappe.
Pour chacun de ces zéros du signal filtré de l'accéléromètre, le module de traitement vérifie l'intensité de la déviation de l'autre modalité en sortie filtrée du magnétomètre. Si cette valeur est trop faible, la frappe est considérée non comme une frappe primaire mais comme une frappe secondaire ou ternaire et écartée. Le seuil permettant d'écarter les frappes non primaires dépend de l'amplitude attendue de la déviation du magnétomètre. Typiquement, cette valeur sera de l'ordre de 5/1000 dans les applications envisagées. Cette partie du traitement permet donc d'éliminer les frappes non significatives.
Enfin, pour toutes les frappes primaires détectées, le module de traitement calcule un signal de vélocité (ou volume) de la frappe en utilisant la déviation du signal filtré en sortie du magnétomètre.
On introduit la valeur DELTAB(n) dans l'échantillon n qui peut être considérée comme le signal pré filtré du magnétomètre centré et qui est calculée de la manière suivante : DELTAB(n) = BF1 (n) - BF2(n)
Les valeurs minimum et maximum de DELTAB(n) sont stockées entre deux frappes primaires détectées. Une valeur acceptable VEL(n) de la vélocité d'une frappe primaire détectée dans un échantillon n est alors donnée par l'équation suivante :
VEL(n) = Max {DELTAB(n), DELTAB(p)} - Min {DELTAB(n), DELTA(p)} Où p est l'indice de l'échantillon dans lequel a été détectée la frappe primaire précédente. La vélocité est donc la course (différence Max-Min) de la dérivée du signal entre deux frappes primaires détectées, caractéristiques de gestes significatifs au plan musical.
Cette partie du traitement est illustrée par la figure 5.
On réalise ainsi un traitement adaptatif car le traitement de la modalité magnétique inclut un centrage du signal. Au signal lui-même on soustrait ses propres variations lentes (voir formule plus haut). Ainsi par exemple, si l'utilisateur se tourne de 60° vers sa droite, les signaux magnétiques reçus seront décalés, mais l'offset correspondant sera retiré par la soustraction en question, ne gardant que les variations rapides dues au rythme musical.
Ce traitement selon l'invention permet d'interpréter sans une seule erreur des morceaux de quelques minutes, avec un contrôle fin à la fois de la vitesse et du volume de jeu, aussi bien lorsque les capteurs sont placés sur la main du joueur ou lorsqu'ils sont situés sur le pied d'un joueur qui bat la mesure avec son pied. Le dispositif de l'invention peut être utilisé tel quel, c'est-à-dire sans aucune calibration, même des magnétomètres (on ne travaille en fait que sur des signaux débarrassés des composantes continues). Il peut cependant être avantageux d'effectuer une calibration en début de jeu, calibration qui peut d'ailleurs être reconduite à chaque frappe. Il faut alors mettre en parallèle le filtrage ayant pour objet de s'affranchir des variations lentes, et cette calibration à chaque frappe. Dans ce cas, il n'est plus nécessaire de filtrer par le second filtre. Au contraire, le fait de calibrer va assurer que dans une position « à peu près » connue de l'utilisateur (au moment de la frappe) le magnétomètre fournit une donnée de référence grâce à la calibration. En quelque sorte, les données sont réalignées par ces calibrations, alors qu'elles l'étaient auparavant par le second filtrage. On peut aussi imaginer de cumuler le deuxième filtrage et la calibration.
Par ailleurs, l'ensemble de ces traitements fournit :
- un signal de déclenchement utilisable pour synchroniser le jeu d'un fichier MIDI, ou pour synchroniser le défilement d'un fichier audio de type MP3, WAV ou WMA, qui est décrit plus loin ;
- un signal d'amplitude, qui peut être utilisé pour commander le volume d'une lecture MIDI (plutôt en général, la vélocité des notes jouées) ou le volume de lecture d'un fichier audio.
La figure 6 représente un organigramme général des traitements dans un mode de réalisation de l'invention utilisant seulement un gyromètre. On utilise par exemple comme dispositif d'entrée la AirMouse ou la GyroMouse de Movea (joueur 12OB de la figure 1 ). Le traitement effectué dans le module 210 est comparable au traitement décrit ci-dessus, sauf que nous n'utilisons plus qu'une seule donnée capteur dont on peut en effet considérer de manière approchée qu'elle est physiquement à mi chemin entre la donnée accéléromètre et la donnée magnétomètre qui fournit des angles absolus. Le gyromètre est ici utilisé dans les deux détections : celle de la frappe primaire, avec un traitement comparable à celui de l'accéléromètre plus haut, sauf que le second filtrage n'est pas nécessaire, car un premier filtrage est déjà effectué dans la AirMouse ou la GyroMouse. Les deux filtrages peuvent cependant être cumulés. On détecte ici des croisements entre la dérivée du signal issu de la AirMouse et ce même signal filtré passe bas récursivement. La détection de puissance du geste s'appuie aussi sur une mesure de la course entre deux frappes primaires successives détectées. Ce calcul de vélocité donne des résultats utilisables, mais moins efficace que l'approche à deux modalités. Du fait de la nature intermédiaire entre mesures d'un accéléromètre et mesures d'un magnétomètre des mesures du gyromètre, celui-ci est suffisant pour les deux détections, mais il est moins efficace également que les modalités dédiées. Cette solution réalise un compromis non optimal mais qui peut donner d'autres opportunités. D'une part, la AirMouse est plus accessible au moins pour l'instant au grand public et présente donc un intérêt de ce point de vue même si on n'a pas la finesse de contrôle de la bimodalité. En quelque sorte la Airmouse se situe entre la Wii Music et un capteur fournissant deux modes de capture du mouvement. Par ailleurs, les boutons de la souris fournissent des commandes complémentaires afin, par exemple de changer un son, ou de passer au morceau suivant, ou d'actionner la pédale d'un piano échantillonné par exemple.
Les divers modes de réalisation de l'invention peuvent être améliorés par les variantes exposés ci-dessous.
Une variante de réalisation consiste à utiliser deux modules capteurs dans chacune des mains du joueur, un des modules étant dédié à la détection des frappes primaires et l'autre à la mesure de la vélocité.
Il est également possible d'exploiter les autres axes des capteurs pour déterminer une information de cap qui permette d'introduire un contrôle du panoramique et d'améliorer ainsi le centrage pour rendre les détections complètement indépendantes du positionnement du joueur. Une autre variante de réalisation permettant d'améliorer la robustesse consiste à exploiter la connaissance du contenu musical en cours. On introduit alors des fenêtres temporelles déduites du contenu en cours dans lesquelles une frappe détectée comme primaire n'est pas prise en compte car incohérente avec ledit contenu en cours. En fait, cette cohérence va exploiter une mesure de la vitesse de jeu actuelle de la personne (le temps entre les deux dernières frappes) et la comparer au temps s'écoulant entre les deux fragments contenus dans le module 220. Si ces deux mesures diffèrent trop (par exemple de plus de 25 %) c'est qu'on enregistre une accélération (ou une décélération) qui semble excessive par rapport à ce qui est joué. On en déduit qu'il y a une fausse détection. Quand une telle fausse détection est identifiée, elle correspond en fait toujours à une frappe dénuée de sens musical, ce dont on déduit qu'il s'agit d'une détection intempestive. Elle est donc purement et simplement ignorée (elle ne déclenche aucun fragment multimédia). Inversement, une non détection peut être palliée simplement, les éléments rythmés du morceau étant joués en exploitant les deux dernières frappes détectées.
La figure 7 représente de manière simplifiée une architecture fonctionnelle d'un dispositif de contrôle de la vitesse de défilement d'un fichier audio préenregistré en utilisant le dispositif et le procédé de l'invention .
Les caractéristiques du module 720, d'entrée des signaux à reproduire, du module 730 de contrôle du rythme temporel et du module 740 de sortie audio sont décrites plus loin. Les capteurs de mouvements de type Motion Pod ou Air Mouse décrits plus haut sont, dans le mode de réalisation décrit ici, utilisés pour contrôler le rythme de défilement d'un fichier audio préenregistré.
Le module d'analyse et d'interprétation de gestes 712, adapté à ce mode de réalisation, fournit des signaux directement exploitables par le processeur de contrôle temporel 730. Les signaux selon un axe de l'accéléromètre et du magnétomètre du MotionPod sont combinés selon le procédé décrit plus haut.
Les traitements comprennent tout d'abord avantageusement un double filtrage passe-bas des sorties des capteurs des deux modalités (accéléromètre et magnétomètre) qui a déjà été décrit plus haut en relation avec la figure 4.
Ensuite, le traitement comporte la détection d'un zéro de la dérivée du signal en sortie de l'accéléromètre avec la mesure du signal en sortie du magnétomètre selon les modalités explicitées plus haut en commentaires aux figures 3a et 3b.
On explicite ci-dessous les modalités permettant au dispositif de l'invention de contrôler le défilement d'un fichier de type mp3, wav ou similaire. Un fichier de musique préenregistré 720 à un de formats standards (MP3, WAV, WMA, etc..) est prélevé sur une unité de stockage par un lecteur. A ce fichier est associé un autre fichier comportant des marques temporelles ou « tags » à des instants prédéterminés ; par exemple, la table ci-dessous indique neuf tags aux instants en millisecondes qui sont indiqués à côté de l'indice du tag après la virgule:
1, 0;
2, 335.411194;
3, 649.042419;
4, 904.593811;
5, 1160.145142;
6, 1462.1604;
7, 1740.943726;
8, 2054.574951 ;
9, 2356.59;
Les tags peuvent avantageusement être placés aux battements de même indice dans le morceau qui est joué. Il n'y a cependant pas de contrainte sur le nombre de tags. Plusieurs techniques sont possibles pour placer des tags dans un morceau de musique pré enregistrée :
- De manière manuelle, en cherchant sur l'onde musicale le point correspondant à un rythme où un tag doit être placé ; c'est un processus possible mais fastidieux ;
De manière semi-automatique, en écoutant le morceau de musique pré enregistrée et en pressant une touche de clavier d'ordinateur ou de clavier MIDI quand un rythme où un tag doit être placé est entendu ;
- De manière automatique, en utilisant un algorithme de détection des rythmes qui place les tags au bon endroit ; aujourd'hui, les algorithmes ne sont pas suffisamment fiables pour que le résultat n'ait pas à être retouché en utilisant un des deux premiers processus mais on peut compléter cet automatisme par une phase manuelle de retouche du fichier des tags créés.
Le module 720 d'entrée de signaux préenregistrés à reproduire peut traiter différents types de fichiers audio, aux formats MP3, WAV, WMA. Le fichier peut également comprendre d'autres contenus multimédias qu'un simple enregistrement sonore. Il peut s'agir par exemple de contenus vidéo, avec ou sans bande sonore, qui seront marqués par des tags et dont le défilement pourra être contrôlé par le module d'entrée 710.
Le processeur de contrôle temporel 730 réalise la synchronisation entre les signaux reçus du module d'entrée 710 et le morceau de musique pré enregistrée 720, d'une manière explicitée en commentaires aux figures 9A et 9B.
La sortie audio 740 reproduit le morceau de musique pré enregistrée en provenance du module 720 avec les variations de rythme introduites par les commandes du module d'entrée 710 interprétée par le processeur de contrôle temporel 730. N'importe quel dispositif de reproduction sonore fait l'affaire, notamment des écouteurs, des haut-parleurs.
Les figures 8A et 8B représentent des cas où respectivement la vitesse de frappe est plus élevée/moins élevée que celle de défilement de la bande audio.
Lors de la première frappe repérée par le capteur de mouvement 71 1 , le lecteur audio du module 720 démarre la lecture du morceau de musique pré enregistrée à un rythme donné. Ce rythme peut par exemple être indiqué par plusieurs petites frappes préalables. Chaque fois que le processeur de contrôle temporel reçoit un signal de frappe, la vitesse courante de jeu de l'utilisateur est calculée. Celle-ci peut par exemple être exprimée comme le facteur de vitesse SF(n) calculé comme le rapport de l'intervalle de temps entre deux tags T successifs n et n+1 du morceau pré enregistré à l'intervalle de temps entre deux frappes H successives n et n+1 de l'utilisateur : SF(n) = [T(n+1 ) - T(n)]/[H(n+1 ) - H(n)]
Dans le cas de la figure 8a, le joueur accélère et prend de l'avance sur le morceau pré enregistré : une nouvelle frappe est reçue par le processeur avant que le lecteur audio ait atteint l'échantillon du morceau de musique où est placé le tag correspondant à cette frappe. Par exemple, dans le cas de la figure, le facteur de vitesse SF est de 4/3. A la lecture de cette valeur de SF, le processeur de contrôle temporel fait sauter la lecture du fichier 720 à l'échantillon contenant la marque d'indice correspondant à la frappe. Une partie de la musique pré enregistrée est donc perdue, mais la qualité du rendu musical n'est pas trop perturbée car l'attention de ceux qui écoutent un morceau de musique se concentre généralement sur les éléments du rythme principal et les tags seront normalement placés sur ces éléments du rythme principal. En outre, quand le lecteur saute au tag suivant, qui est un élément du rythme principal, l'auditeur qui attend cet élément, portera moins d'attention à l'absence de la partie du morceau pré enregistrée qui aura été sautée, ce saut passant ainsi quasiment inaperçu. La qualité de l'écoute peut encore être accrue en opérant un lissage de la transition. Ce lissage peut par exemple être opéré en en interpolant quelques échantillons (une dizaine) entre avant et après le tag vers lequel on fait sauter le lecteur pour rattraper la vitesse de frappe du joueur. La lecture du morceau pré enregistrée continue à la nouvelle vitesse résultant de ce saut.
Dans le cas de la figure 8b, le joueur ralentit et prend du retard sur le morceau de musique pré enregistrée : le lecteur audio atteint un point où une frappe est attendue avant que celle-ci ne soit effectuée par le joueur. Dans le contexte d'une écoute musicale, il n'est bien entendu pas possible d'arrêter le lecteur pour attendre la frappe. Donc, la lecture audio continue à la vitesse courante, jusqu'à ce que la frappe attendue soit reçue. C'est à ce moment que la vitesse du lecteur est changée. Une méthode fruste consiste à fixer la vitesse du lecteur en fonction du facteur de vitesse SF calculé au moment où la frappe est reçue. Cette méthode donne déjà des résultats qualitativement satisfaisants. Une méthode plus élaborée consiste à calculer une vitesse de lecture corrigée qui permette de synchroniser à nouveau le tempo de lecture sur le tempo du joueur.
Trois positions des tags à l'instant n+2 (dans l'échelle de temps du fichier audio) avant changement de la vitesse du lecteur sont indiquées sur la figure 3B :
- la première en partant de la gauche T(n+2) est celle correspondant à la vitesse de défilement antérieure au ralentissement du joueur ;
- la deuxième, NT1 (n+2), est le résultat du calcul consistant à ajuster la vitesse de défilement du lecteur à la vitesse de frappe du joueur en utilisant le facteur de vitesse SF ; on voit que dans ce cas les tags restent en avance par rapport aux frappes ;
- la troisième, NT2(n+2), est le résultat d'un calcul où l'on utilise un facteur de vitesse corrigé CSF ; ce facteur corrigé est calculé pour que les dates de la frappe et du tag suivants soient identiques, ce que l'on voit sur la figure 3B.
CSF est le rapport de l'intervalle de temps de la frappe n+1 au tag n+2 rapporté à l'intervalle de temps de la frappe n+1 à la frappe n+2. Sa formule de calcule est la suivante : CSF = {[T(n+2) - T(n)] - [H(n+1 ) - H(n)]} / [H(n+1 ) - H(n)] II est possible d'améliorer le rendu musical en lissant le profil du tempo du joueur. Pour cela, au lieu d'ajuster la vitesse de défilement du lecteur comme indiqué plus haut, on peut calculer une variation linéaire entre la valeur cible et la valeur de départ sur une durée relativement courte, par exemple 50 ms et faire passer la vitesse de défilement par ces différentes valeurs intermédiaires. Plus ce temps d'ajustement est long, plus la transition sera lissée. Cela permet un meilleur rendu, notamment lorsque de nombreuses notes sont jouées par le lecteur entre deux frappes. Mais le lissage se fait évidemment au détriment de la dynamique de la réponse musicale. Une autre amélioration, applicable au mode de réalisation comportant un ou plusieurs capteurs de mouvement, consiste à mesurer l'énergie de frappe du joueur ou vélocité pour contrôler le volume de la sortie audio. La manière dont la vélocité est mesurée indiquée plus haut dans la description. Cette partie du traitement effectuée par le module 712 d'analyse et d'interprétation de gestes est représentée sur la figure 9. Pour toutes les frappes primaires détectées, le module de traitement calcule un signal de vélocité (ou volume) de la frappe en utilisant la déviation du signal filtré en sortie du magnétomètre. En utilisant les mêmes notations que ci-dessus en commentaire des figures 3a et 3b, on introduit la valeur DELTAB(n) dans l'échantillon n qui peut être considérée comme le signal pré filtré du magnétomètre centré et qui est calculée de la manière suivante : DELTAB(n) = BF1 (n) - BF2(n) Les valeurs minimum et maximum de DELTAB(n) sont stockées entre deux frappes primaires détectées. Une valeur acceptable VEL(n) de la vélocité d'une frappe primaire détectée dans un échantillon n est alors donnée par l'équation suivante : VEL(n) = Max {DELTAB(n), DELTAB(p)} - Min {DELTAB(n), DELTA(p)} Où p est l'indice de l'échantillon dans lequel a été détectée la frappe primaire précédente. La vélocité est donc la course (différence Max-Min) de la dérivée du signal entre deux frappes primaires détectées, caractéristiques de gestes significatifs au plan musical. On peut également envisager, dans ce mode de réalisation comprenant plusieurs capteurs de mouvements, de contrôler par d'autres gestes d'autres paramètres musicaux comme l'origine spatiale du son (ou panning), le vibrato ou le trémolo. Par exemple, un capteur dans une main permettra de détecter la frappe alors qu'un autre capteur tenu dans l'autre main permettra de détecter l'origine spatiale du son ou le trémolo. Des rotations de la main peuvent également être prises en compte : quand la paume de la main est horizontale, on obtient une valeur de l'origine spatiale du son ou du trémolo ; quand la paume est verticale, on obtient une autre valeur du même paramètre ; dans les deux cas, les mouvements de la main dans l'espace fournissent la détection des frappes. Dans le cas où un clavier MIDI est utilisé, les contrôleurs classiquement utilisés peuvent l'être également dans ce mode de réalisation de l'invention pour contrôler l'origine spatiale des sons, le trémolo ou le vibrato.
L'invention peut être avantageusement mise en œuvre en traitant les frappes par l'intermédiaire d'un programme MAX/MSP.
La figure 10 représente l'organigramme général des traitements dans un tel programme. Le display de la figure montre la forme d'onde associée au morceau audio chargé dans le système. On trouve une partie classique permettant d'écouter le morceau original.
Se trouve en bas à gauche une partie, représentée sur la figure 1 1 , permettant de créer un tableau contenant la liste des points de contrôle rythmiques souhaités par la personne : à l'écoute du morceau il tape sur une touche à chaque instant qu'il souhaite taper lors de l'interprétation ultérieure. Alternativement ces instants peuvent être désignés par la souris sur la forme d'onde. Enfin, ils peuvent être édités. La figure 12 détaille la partie de la figure 10 se trouvant en bas à droite qui représente le contrôle temporel qui est appliqué.
Dans la colonne de droite, on calcule le coefficient d'accélération/ralentissement SF par comparaison entre la durée existant entre deux repères consécutifs d'une part dans le morceau original, d'autre part dans le jeu actuel de l'utilisateur. La formule de calcul de ce facteur de vitesse est donnée plus haut dans la description.
Dans la colonne centrale, on met en place un timeout permettant d'arrêter le défilement de l'audio si l'utilisateur n'a plus effectué de frappe pendant un temps dépendant du contenu musical en cours. Dans la colonne de gauche, se trouve le cœur du système de contrôle. Il repose sur un algorithme de compression/expansion temporel. La difficulté est de transformer un contrôle « discret » donc intervenant à des instants consécutifs, en une modulation régulière de la vitesse. A défaut, l'audition souffre d'une part d'interruptions totales du son (quand le joueur ralentit), d'autre part de clic et de sauts brusques quand il accélère. Ces défauts, qui rendent une telle approche non réaliste à cause d'une sortie audio inexploitable musicalement sont résolus dans la mise en œuvre développée. Elle consiste :
- à ne jamais stopper le défilement sonore même en cas de ralentissement substantiel de l'utilisateur. L'objet « if » de la colonne de gauche détecte si on est en phase de ralentissement ou d'accélération. En cas de ralentissement, on modifie la vitesse de lecture de l'algorithme, mais on n'effectue aucun saut dans le fichier audio. La nouvelle vitesse de lecture n'est pas nécessairement exactement celle calculée dans la colonne de droite (SF), mais peut être corrigée (facteur de vitesse CSF) pour tenir compte du fait qu'on a déjà dépassé dans l'audio le repère correspondant à la dernière action du joueur ;
- A effectuer un saut dans le fichier audio lors d'une accélération (seconde branche de l'objet « if »). Dans ce cas précis, cela a peu d'incidences subjectives sur l'audition, si les repères de contrôle correspondent à des instants musicaux suffisamment importants sur le plan psycho acoustique (il y a ici un parallèle à effectuer avec la base de la compression MP3, qui code pauvrement les fréquences peu signifiantes, et richement les fréquences prépondérantes). Il s'agit ici du domaine temporel macroscopique, certains instants dans l'écoute d'un morceau sont plus signifiants que d'autres, et c'est sur ces instants qu'on souhaite pouvoir agir.
Les exemples décrits ci-dessus sont donnés à titre d'illustration de modes de réalisation de l'invention. Ils ne limitent en aucune manière le champ de l'invention qui est défini par les revendications qui suivent.

Claims

REVENDICATIONS
1 . Dispositif d'interprétation de gestes d'un utilisateur comprenant au moins un module d'entrée (10) de mesures comprenant au moins un ensemble de capture de mouvements selon au moins un premier et un deuxième axes, un module de traitement (20) de signaux échantillonnés en sortie du module d'entrée et un module de sortie (30) apte à reproduire la signification musicale des dits gestes, le module de traitement des signaux (20) comprenant un sous module d'analyse et d'interprétation de gestes (210) comprenant une fonction de filtrage, une fonction de détection de geste significatif par comparaison de la variation entre deux valeurs successives dans l'échantillon d'au moins un des signaux en provenance au moins du premier axe de l'ensemble de capteurs avec au moins une première valeur de seuil choisie et une fonction de confirmation de détection de geste significatif, ledit dispositif étant caractérisé en ce que ladite fonction de confirmation de détection de geste significatif est apte à comparer au moins un des signaux en provenance au moins du deuxième axe de l'ensemble de capteurs avec au moins une deuxième valeur de seuil choisie.
2. Dispositif d'interprétation de gestes selon la revendication 1 caractérisé en ce que la fonction de filtrage est apte à être exécutée par au moins un couple de deux filtres récursifs passe-bas successifs apte à recevoir en entrée au moins un des signaux en sortie du module (10).
3. Dispositif d'interprétation de gestes selon la revendication 2 caractérisé en ce que la fonction de détection de gestes significatifs est apte à identifier des changements de signe entre deux valeurs successives dans l'échantillon de la différence entre au moins une sortie du premier filtre d'au moins un des couples de filtres à la valeur courante et au moins une sortie du deuxième filtre du même couple de filtres pour le même signal à la valeur précédente.
4. Dispositif d'interprétation de gestes selon l'une des revendications 1 à 3 caractérisé en ce que le sous module d'analyse et d'interprétation de gestes (210) comprend en outre une fonction de mesure de la vélocité du geste détecté en sortie de la fonction de confirmation de détection.
5. Dispositif d'interprétation de gestes selon la revendication 4 caractérisé en ce que la fonction de mesure de vélocité est apte à calculer la course (Max-Min) entre deux gestes significatifs détectés.
6. Dispositif d'interprétation de gestes selon la revendication 2 et l'une des revendications 3 à 5 caractérisé en ce que le deuxième filtre est apte à fonctionner à une fréquence de coupure inférieure à celle du premier filtre.
7. Dispositif d'interprétation de gestes selon la revendication 1 caractérisé en ce que le module d'entrée comprend au moins un premier capteur de type accéléromètre et un deuxième capteur choisi dans le groupe des capteurs de types magnétomètre et gyromètre.
8. Dispositif d'interprétation de gestes selon la revendication 2 et la revendication 7 caractérisé en ce que la fonction de détection de gestes significatifs est apte à recevoir en entrée au moins une sortie du deuxième filtre récursif d'un des couples de filtres appliqué à au moins un des signaux du premier capteur.
9. Dispositif d'interprétation de gestes selon la la revendication 2 et la revendication 7 caractérisé en ce que la fonction de confirmation de détection de geste significatif est apte à recevoir en entrée au moins une sortie du deuxième filtre récursif d'un des couples de filtres appliqué à au moins un des signaux du deuxième capteur.
10. Dispositif d'interprétation de gestes selon la revendication 9 caractérisé en ce que le seuil choisi de la fonction de confirmation de détection de geste significatif est de l'ordre de 5/1000 en valeur relative du signal filtré.
1 1 . Dispositif d'interprétation de gestes selon la revendication 2 et la revendication 4 caractérisé en ce que le module d'entrée (10) reçoit les signaux d'au moins deux capteurs positionnés sur deux parties indépendantes du corps de l'utilisateur, un premier capteur fournissant via un des couples de filtres récursifs un signal en entrée de la fonction de détection de gestes significatifs et un deuxième capteur fournissant via un des couples de filtres récursifs un signal en entrée de la fonction de mesure de la vélocité du geste détecté en sortie de la fonction de confirmation de détection de geste significatif.
12. Dispositif d'interprétation de gestes selon l'une des revendications 1 à 1 1 caractérisé en ce que le module de traitement des signaux (20) comprend un sous module (220) d'entrée de contenus multimédia pré enregistrés.
13. Dispositif d'interprétation de gestes selon la revendication 12 caractérisé en ce que le sous module (220) d'entrée de contenus multimédia comprend une fonction de partitionnement des dits contenus multimédia en fenêtres temporelles aptes à être utilisées pour effectuer une deuxième confirmation de détection des gestes significatifs détectés.
14. Dispositif d'interprétation de gestes selon l'une des revendications 1 à 13 caractérisé en ce que le module d'entrée (10) est apte à transmettre au module de traitement (20) un signal représentatif de la position de l'utilisateur dans un plan sensiblement orthogonal à la direction du geste significatif détecté pour en effectuer une deuxième confirmation.
15. Dispositif d'interprétation de gestes selon l'une des revendications 1 à 13 caractérisé en ce que le module de sortie (30) comprend un sous- module (720) de reproduction d'un fichier préenregistré de signaux à reproduire et en ce que le module de traitement (20) comprend un sous-module (730) de contrôle temporel des dits signaux préenregistrés, ledit sous-module de reproduction (720) étant apte à être programmé pour déterminer les temps où sont attendues des frappes de contrôle du rythme de défilement du fichier, et en ce que ledit sous-module de contrôle temporel (730) est apte à calculer pour un certain nombre de frappes de contrôle un facteur de vitesse corrigée (CSF) relative de frappes préprogrammées dans le sous- module de reproduction (720) et des frappes effectivement entrées dans le sous-module de contrôle temporel (730) et un facteur d'intensité relative des vélocités desdites frappes effectivement entrées et attendues puis à ajuster le rythme de défilement dudit sous- module de contrôle temporel pour ajuster ledit facteur de vitesse corrigée (CSF) aux frappes suivantes à une valeur choisie et l'intensité des signaux en sortie dudit sous-module de reproduction en fonction dudit facteur d'intensité relative des vélocités.
1 6. Dispositif de contrôle selon la revendication 15, caractérisé en ce que la vélocité de la frappe entrée est calculée à partir de la déviation du signal en sortie du deuxième capteur.
17. Dispositif d'interprétation de gestes selon la revendication 1 , caractérisé en ce que le module d'entrée (710) comprend en outre un sous module apte à interpréter des gestes de l'utilisateur dont la sortie est utilisée par le sous-module de contrôle temporel (730) pour contrôler une caractéristique de la sortie audio choisie dans le groupe constitué par le vibrato et le trémolo.
18. Dispositif d'interprétation de gestes selon la revendication 15, caractérisé en ce que le sous-module de reproduction comprend une fonction de placement de tags dans le fichier de signaux préenregistrés à reproduire aux temps où sont attendues des frappes de contrôle du rythme de défilement du fichier, les dits tags étant générés de manière automatique en fonction du rythme des signaux préenregistrés et pouvant être déplacés par une interface MIDI.
19. Dispositif d'interprétation de gestes selon la revendication 15, caractérisé en ce que la valeur choisie dans le sous-module de contrôle temporel pour ajuster la vitesse de défilement du sous- module de reproduction est égale à une valeur choisie dans un ensemble de valeurs calculées dont une des bornes est calculée par application d'un facteur de vitesse CSF égal au rapport de l'intervalle de temps entre le tag suivant et le tag précédent diminué de l'intervalle de temps entre la frappe courante et la frappe précédente à l'intervalle de temps entre la frappe courante et la frappe précédente et dont les autres valeurs sont calculées par interpolation linéaire entre la valeur courante et la valeur correspondant à celle de la borne utilisée pour l'application du facteur de vitesse CSF.
20. Dispositif d'interprétation de gestes selon la revendication 19, caractérisé en ce que la valeur choisie dans le sous-module de contrôle temporel pour ajuster la vitesse de défilement du sous- module de reproduction est égale à la valeur correspondant à celle de la borne utilisée pour l'application du facteur de vitesse CSF.
21 . Procédé d'interprétation de gestes significatifs d'un utilisateur comprenant au moins une étape d'entrée de mesures en provenance d'au moins un ensemble de capture de mouvements selon au moins un premier et un deuxième axes, une étape de traitement de signaux échantillonnés en sortie de l'étape d'entrée et une étape de sortie apte à reproduire la signification musicale des dits gestes, l'étape de traitement de signaux comprenant une sous étape d'analyse et d'interprétation de geste comprenant au moins une étape de filtrage, une fonction de détection de geste significatif par comparaison de la variation entre deux valeurs successives dans l'échantillon d'au moins un des signaux en provenance au moins du premier axe de l'ensemble de capteurs avec au moins une première valeur de seuil choisie et une fonction de confirmation de détection de geste significatif, ledit procédé étant caractérisé en ce que ladite fonction de confirmation de détection de geste significatif est apte à comparer au moins un des signaux en provenance au moins du deuxième axe de l'ensemble de capteurs avec au moins une deuxième valeur de seuil choisie.
22. Procédé d'interprétation de gestes selon la revendication 21 caractérisé en ce que l'étape de sortie comprend une sous-étape de reproduction d'un fichier préenregistré de signaux à reproduire et en ce que l'étape de traitement comprend une sous-étape de contrôle temporel des dits signaux préenregistrés, ladite sous-étape de reproduction étant apte à déterminer les temps où sont attendues des frappes de contrôle du rythme de défilement du fichier, et ladite sous- étape de contrôle temporel étant apte à calculer pour un certain nombre de frappes de contrôle un facteur de vitesse corrigée (CSF) relative de frappes préprogrammées dans la sous-étape de reproduction et des frappes effectivement entrées au cours de la sous-étape de contrôle temporel et un facteur d'intensité relative des vélocités desdites frappes effectivement entrées et attendues puis à ajuster le rythme de défilement dudit fichier préenregistré pour ajuster ledit facteur de vitesse corrigée (CSF) aux frappes suivantes à une valeur choisie et l'intensité des signaux en sortie de l'étape de reproduction en fonction dudit facteur d'intensité relative des vélocités.
PCT/EP2010/051761 2009-02-13 2010-02-12 Dispositif et procede d'interpretation de gestes musicaux WO2010092139A2 (fr)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP10703477A EP2396711A2 (fr) 2009-02-13 2010-02-12 Dispositif et procede d'interpretation de gestes musicaux
US13/201,420 US9171531B2 (en) 2009-02-13 2010-02-12 Device and method for interpreting musical gestures

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
FR0950916A FR2942345A1 (fr) 2009-02-13 2009-02-13 Dispositif et procede d'interpretation de gestes musicaux
FR0950919A FR2942344B1 (fr) 2009-02-13 2009-02-13 Dispositif et procede de controle du defilement d'un fichier de signaux a reproduire
FR0950919 2009-02-13
FR0950916 2009-02-13

Publications (2)

Publication Number Publication Date
WO2010092139A2 true WO2010092139A2 (fr) 2010-08-19
WO2010092139A3 WO2010092139A3 (fr) 2011-01-13

Family

ID=42289805

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2010/051761 WO2010092139A2 (fr) 2009-02-13 2010-02-12 Dispositif et procede d'interpretation de gestes musicaux

Country Status (3)

Country Link
US (1) US9171531B2 (fr)
EP (1) EP2396711A2 (fr)
WO (1) WO2010092139A2 (fr)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3008217A1 (fr) * 2013-07-04 2015-01-09 Lucas Daniel Sharp Module de detection de mouvements pour instruments de musique
US20170168081A1 (en) * 2015-12-14 2017-06-15 Movea Device for Analyzing the Movement of a Moving Element and Associated Method
FR3050540A1 (fr) * 2016-04-26 2017-10-27 Commissariat Energie Atomique Procede d'identification des gestes elementaires d'un mouvement et systeme mettant en œuvre un tel procede
WO2019115945A1 (fr) * 2017-12-15 2019-06-20 Enhancia Bague et module d'interface

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2396711A2 (fr) * 2009-02-13 2011-12-21 Movea S.A Dispositif et procede d'interpretation de gestes musicaux
EP2835769A1 (fr) 2013-08-05 2015-02-11 Movea Procédé, dispositif et système de capture annotée de données de capteurs et de modélisation de la foule d'activités
US9172343B2 (en) 2013-08-06 2015-10-27 Apple Inc. Volume adjustment based on user-defined curve
GB201602436D0 (en) * 2016-02-11 2016-03-30 Univ London Queen Mary Use of human gesture and separation of data (Animation) and process (Model) in he design of generative audio for interactive applications
US10802711B2 (en) 2016-05-10 2020-10-13 Google Llc Volumetric virtual reality keyboard methods, user interface, and interactions
US9847079B2 (en) * 2016-05-10 2017-12-19 Google Llc Methods and apparatus to use predicted actions in virtual reality environments
US9542919B1 (en) * 2016-07-20 2017-01-10 Beamz Interactive, Inc. Cyber reality musical instrument and device
WO2018016639A1 (fr) * 2016-07-22 2018-01-25 ヤマハ株式会社 Procédé de régulation de synchronisation et appareil de régulation de synchronisation
JP6614356B2 (ja) * 2016-07-22 2019-12-04 ヤマハ株式会社 演奏解析方法、自動演奏方法および自動演奏システム
JP6642714B2 (ja) * 2016-07-22 2020-02-12 ヤマハ株式会社 制御方法、及び、制御装置
US10846519B2 (en) * 2016-07-22 2020-11-24 Yamaha Corporation Control system and control method
US10775941B2 (en) * 2016-12-30 2020-09-15 Jason Francesco Heath Sensorized spherical input and output device, systems, and methods
US10319352B2 (en) * 2017-04-28 2019-06-11 Intel Corporation Notation for gesture-based composition
US10991349B2 (en) 2018-07-16 2021-04-27 Samsung Electronics Co., Ltd. Method and system for musical synthesis using hand-drawn patterns/text on digital and non-digital surfaces

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR755244A (fr) 1933-05-06 1933-11-21 Petro Flex Tubing Cy Ltd Tubes perfectionnés et dispositif pour leur fabrication
US5663514A (en) 1995-05-02 1997-09-02 Yamaha Corporation Apparatus and method for controlling performance dynamics and tempo in response to player's gesture

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5170002A (en) * 1987-12-24 1992-12-08 Yamaha Corporation Motion-controlled musical tone control apparatus
US5166463A (en) * 1991-10-21 1992-11-24 Steven Weber Motion orchestration system
US5615132A (en) 1994-01-21 1997-03-25 Crossbow Technology, Inc. Method and apparatus for determining position and orientation of a moveable object using accelerometers
JPH086549A (ja) * 1994-06-17 1996-01-12 Hitachi Ltd 旋律合成方法
US5746640A (en) * 1994-12-05 1998-05-05 Meadows; Michael R. Motion-activated musical device
US5757362A (en) 1995-01-05 1998-05-26 International Business Machines Corporation Recursive digital filter using fixed point arithmetic
US5648627A (en) * 1995-09-27 1997-07-15 Yamaha Corporation Musical performance control apparatus for processing a user's swing motion with fuzzy inference or a neural network
US6011212A (en) * 1995-10-16 2000-01-04 Harmonix Music Systems, Inc. Real-time music creation
US5808219A (en) * 1995-11-02 1998-09-15 Yamaha Corporation Motion discrimination method and device using a hidden markov model
AU1328597A (en) * 1995-11-30 1997-06-19 Virtual Technologies, Inc. Tactile feedback man-machine interface device
USRE37654E1 (en) * 1996-01-22 2002-04-16 Nicholas Longo Gesture synthesizer for electronic sound device
US6066794A (en) * 1997-01-21 2000-05-23 Longo; Nicholas C. Gesture synthesizer for electronic sound device
US6720949B1 (en) * 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6005181A (en) * 1998-04-07 1999-12-21 Interval Research Corporation Electronic musical instrument
US6150947A (en) * 1999-09-08 2000-11-21 Shima; James Michael Programmable motion-sensitive sound effects device
EP1855267B1 (fr) * 2000-01-11 2013-07-10 Yamaha Corporation Dispositif et méthode pour détecter le mouvement d'un artiste et commander une interprétation musicale de manière interactive
US6867361B2 (en) * 2000-09-05 2005-03-15 Yamaha Corporation System and method for generating tone in response to movement of portable terminal
EP1607936B1 (fr) * 2000-09-05 2012-07-25 Yamaha Corporation Système et méthode pour la génération de sons en réponse au mouvement d'un terminal portable
US6388183B1 (en) * 2001-05-07 2002-05-14 Leh Labs, L.L.C. Virtual musical instruments with user selectable and controllable mapping of position input to sound output
JP3873654B2 (ja) * 2001-05-11 2007-01-24 ヤマハ株式会社 オーディオ信号生成装置、オーディオ信号生成システム、オーディオシステム、オーディオ信号生成方法、プログラムおよび記録媒体
US20030188627A1 (en) * 2002-04-05 2003-10-09 Longo Nicholas C. Interactive performance interface for electronic sound device
US20030196542A1 (en) * 2002-04-16 2003-10-23 Harrison Shelton E. Guitar effects control system, method and devices
JP4144269B2 (ja) * 2002-06-28 2008-09-03 ヤマハ株式会社 演奏処理装置
US7854655B2 (en) * 2002-07-27 2010-12-21 Sony Computer Entertainment America Inc. Obtaining input for controlling execution of a game program
KR100668298B1 (ko) * 2004-03-26 2007-01-12 삼성전자주식회사 움직임에 기반한 소리 발생 방법 및 장치
US7535456B2 (en) 2004-04-30 2009-05-19 Hillcrest Laboratories, Inc. Methods and devices for removing unintentional movement in 3D pointing devices
TWI261525B (en) * 2004-12-24 2006-09-11 Giga Byte Tech Co Ltd Motion analyzing device and method for mobile product
US7489979B2 (en) * 2005-01-27 2009-02-10 Outland Research, Llc System, method and computer program product for rejecting or deferring the playing of a media file retrieved by an automated process
US20070118241A1 (en) 2005-12-16 2007-05-24 Outland Research, Llc Shake Jamming Portable Media Player
JP4457983B2 (ja) * 2005-06-27 2010-04-28 ヤマハ株式会社 演奏操作援助装置及びプログラム
US7728214B2 (en) 2005-11-23 2010-06-01 Microsoft Corporation Using music to influence a person's exercise performance
US7569762B2 (en) * 2006-02-02 2009-08-04 Xpresense Llc RF-based dynamic remote control for audio effects devices or the like
JP4757089B2 (ja) 2006-04-25 2011-08-24 任天堂株式会社 音楽演奏プログラムおよび音楽演奏装置
US7622663B2 (en) * 2008-02-14 2009-11-24 Casillas Mark J Kinesthetic musical instrument position trainer, corrector, and up-motion muscle strengthener for fingers, hands, wrists, and arms, and practice device simulator
FR2942344B1 (fr) * 2009-02-13 2018-06-22 Movea Dispositif et procede de controle du defilement d'un fichier de signaux a reproduire
EP2396711A2 (fr) * 2009-02-13 2011-12-21 Movea S.A Dispositif et procede d'interpretation de gestes musicaux
US8222507B1 (en) * 2009-11-04 2012-07-17 Smule, Inc. System and method for capture and rendering of performance on synthetic musical instrument
JP5316818B2 (ja) * 2010-10-28 2013-10-16 カシオ計算機株式会社 入力装置およびプログラム
US8772621B2 (en) * 2010-11-09 2014-07-08 Smule, Inc. System and method for capture and rendering of performance on synthetic string instrument
US8987571B2 (en) * 2011-04-12 2015-03-24 Shmuel Ur Method and apparatus for providing sensory information related to music
US20130032023A1 (en) * 2011-08-04 2013-02-07 Andrew William Pulley Real time control of midi parameters for live performance of midi sequences using a natural interaction device
GB201119447D0 (en) * 2011-11-11 2011-12-21 Fictitious Capital Ltd Computerised percussion instrument

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR755244A (fr) 1933-05-06 1933-11-21 Petro Flex Tubing Cy Ltd Tubes perfectionnés et dispositif pour leur fabrication
US5663514A (en) 1995-05-02 1997-09-02 Yamaha Corporation Apparatus and method for controlling performance dynamics and tempo in response to player's gesture

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3008217A1 (fr) * 2013-07-04 2015-01-09 Lucas Daniel Sharp Module de detection de mouvements pour instruments de musique
US20170168081A1 (en) * 2015-12-14 2017-06-15 Movea Device for Analyzing the Movement of a Moving Element and Associated Method
US10156907B2 (en) * 2015-12-14 2018-12-18 Invensense, Inc. Device for analyzing the movement of a moving element and associated method
FR3050540A1 (fr) * 2016-04-26 2017-10-27 Commissariat Energie Atomique Procede d'identification des gestes elementaires d'un mouvement et systeme mettant en œuvre un tel procede
EP3239901A1 (fr) * 2016-04-26 2017-11-01 Commissariat à l'énergie atomique et aux énergies alternatives Procédé d'identification des gestes élémentaires d'un mouvement et système mettant en oeuvre un tel procédé
WO2019115945A1 (fr) * 2017-12-15 2019-06-20 Enhancia Bague et module d'interface
FR3075428A1 (fr) * 2017-12-15 2019-06-21 Enhancia Bague et module d'interface

Also Published As

Publication number Publication date
EP2396711A2 (fr) 2011-12-21
US9171531B2 (en) 2015-10-27
WO2010092139A3 (fr) 2011-01-13
US20120062718A1 (en) 2012-03-15

Similar Documents

Publication Publication Date Title
WO2010092139A2 (fr) Dispositif et procede d'interpretation de gestes musicaux
EP2396788A2 (fr) Dispositif et procede de controle du defilement d'un fichier de signaux a reproduire
JP4403415B2 (ja) コンテンツ再生方法およびコンテンツ再生装置
WO2020224322A1 (fr) Procédé et dispositif de traitement de fichier de musique, terminal et support d'informations
JP4247626B2 (ja) 再生装置および再生方法
US20130032023A1 (en) Real time control of midi parameters for live performance of midi sequences using a natural interaction device
US20150103019A1 (en) Methods and Devices and Systems for Positioning Input Devices and Creating Control
US20110252951A1 (en) Real time control of midi parameters for live performance of midi sequences
JP4568506B2 (ja) 再生制御装置
JP2023534975A (ja) ユーザーインタラクションに基づく音楽再生方法、装置、機器及び記憶媒体
CN107393556A (zh) 一种实现音频处理的方法及装置
JP7175120B2 (ja) 音楽療法のための歌唱補助装置
FR2942345A1 (fr) Dispositif et procede d'interpretation de gestes musicaux
Tanaka et al. MubuFunkScatShare: gestural energy and shared interactive music
WO2010057537A1 (fr) Systeme d'interpretation de musique pre-enregistree assistee par ordinateur
TWI392983B (zh) 利用音調的自動控制方法及其裝置
JPH03242700A (ja) 音楽評価装置
KR200182151Y1 (ko) 댄스 게임 장치 및 가요반주기 기능을 가지는 댄스 게임장치
JP2011154290A (ja) 部分的に一人二重唱になる楽曲の歌唱を支援するカラオケ装置
JP2017021266A (ja) データ処理装置およびプログラム
TWI328217B (en) Game machine having a function for discriminating music tempo
CN116737994A (zh) 视频、唱谱音频和曲谱同步播放方法、装置、设备和介质
Tindale Advancing the art of electronic percussion
Thelle Making sensors make sense: challenges in the development of digital musical instruments
CN117836854A (zh) 基于视频剪辑生成视听内容

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10703477

Country of ref document: EP

Kind code of ref document: A2

REEP Request for entry into the european phase

Ref document number: 2010703477

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2010703477

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 13201420

Country of ref document: US