WO2010112470A1 - Systeme et procede d' observation d'une activite de nage d'une personne - Google Patents

Systeme et procede d' observation d'une activite de nage d'une personne Download PDF

Info

Publication number
WO2010112470A1
WO2010112470A1 PCT/EP2010/054133 EP2010054133W WO2010112470A1 WO 2010112470 A1 WO2010112470 A1 WO 2010112470A1 EP 2010054133 W EP2010054133 W EP 2010054133W WO 2010112470 A1 WO2010112470 A1 WO 2010112470A1
Authority
WO
WIPO (PCT)
Prior art keywords
swimming
motion sensor
bet
components
state
Prior art date
Application number
PCT/EP2010/054133
Other languages
English (en)
Inventor
Pierre Jallon
Original Assignee
Movea
Commissariat A L'energie Atomique Et Aux Energies Alternatives
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Movea, Commissariat A L'energie Atomique Et Aux Energies Alternatives filed Critical Movea
Priority to EP10718092.9A priority Critical patent/EP2414054B1/fr
Priority to US13/260,510 priority patent/US9643068B2/en
Publication of WO2010112470A1 publication Critical patent/WO2010112470A1/fr

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00—Training appliances or apparatus for special sports
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0021—Tracking a path or terminating locations
    • A63B2024/0056—Tracking a path or terminating locations for statistical or strategic analysis
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0062—Monitoring athletic performances, e.g. for determining the work of a user on an exercise apparatus, the completed jogging or cycling distance
    • A63B2024/0071—Distinction between different activities, movements, or kind of sports performed
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B2071/0647—Visualisation of executed movements
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/40—Acceleration
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/83—Special sensors, transducers or devices therefor characterised by the position of the sensor
    • A63B2220/836—Sensors arranged on the body of the user
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2244/00—Sports without balls
    • A63B2244/20—Swimming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing

Definitions

  • the present invention relates to a system and method for observing a swimming activity of a person.
  • the present invention aims to allow an analysis of a swimming activity of a person, to differentiate the types of swims performed over time, which can be particularly useful for a swimmer anxious to monitor its progress and training, for example for competitions.
  • a system for observing a swimming activity of a person comprising a sealed housing comprising a motion sensor, and provided with fixing means for integrally binding the housing to a body part of a user.
  • the system comprises means for analyzing the signals transmitted by the motion sensor to at least one measurement axis adapted to determine the type of swimming of the user as a function of time by using a hidden Markov model with N respective states respectively N types of swimming.
  • said motion sensor comprises an accelerometer or a gyrometer or a magnetometer.
  • the system further comprises a low-pass filter with a cut-off frequency of between 0.5 Hz and 5 Hz.
  • said fixing means are adapted to bind the housing integrally with the wrist, the ankle, the neck or the head of the user.
  • the system can limit the noise generated by the measured shock such shocks measured when the hand carrying the sealed housing enters the water.
  • the probability density p x ( ⁇ (n)) of correspondence between the signals delivered by the motion sensor and a state of the hidden Markov model representing a swimming type is defined by the following expression: in which: x ⁇ n) represents the column vector of components the axial measurements of the motion sensor to the sample of index n; ⁇ represents a column vector with the number of components the number of measurement axes of the motion sensor, representative of the state of the hidden Markov model corresponding to said swimming; and ⁇
  • the analysis means are adapted to determine the type of swimming of the user among a set of at least two medals among the breaststroke, the crawl, the butterfly, and the back crawl.
  • the invention makes it possible to distinguish any swimming among these conventional swimings.
  • said motion sensor comprising a triaxial accelerometer and the sealed housing being integrally bonded to the wrist of the user, the three axes of said accelerometer, forming a direct oriented trihedron, are such that: the first axis is directed towards the longitudinal axis of the forearm of the wrist to which the casing is attached and is oriented towards the elbow, and
  • the third axis is vertical downward, when the forearm of the wrist to which the casing is attached is in a horizontal plane, the palm of the hand of the wrist to which the casing is bound being directed downwards, and said housing being disposed on the outer face of the wrist.
  • the three components ⁇ 1 , ⁇ 2 , ⁇ 3 of the column vector ⁇ are such that
  • the three components ⁇ ⁇ , ⁇ 2 , ⁇ 3 of the column vector ⁇ are such that / Z 1 G [-0.7, -0.8],
  • the three components ⁇ ⁇ , ⁇ 2 , ⁇ 3 of the column vector ⁇ are such that / Z 1 G [-0.8; 0.l],
  • the three components ⁇ 1 , ⁇ 2 , ⁇ 3 of the column vector ⁇ are such that / Z 1 G [-0.2.0. l],
  • the probabilities P, of said hidden Markov model, of passage between two states respectively representing a swimming type are such that: p (state ⁇ , state ] ) ⁇ [ ⁇ .8; O.9999], when i is different from j; and p (state ⁇ , state ] ) &[0.0001; 0.2], when i is equal to j
  • said analysis means are internal or external to the housing, and the triaxial accelerometer comprises wired or wireless transmission means for transmitting its measurements to said analysis means.
  • the system includes display means attached to the housing and / or remote display means.
  • the analysis results of the swimming activity of the user can be viewed by the swimmer directly, or analyzed and visualized on a larger external screen, for example a laptop which can include the means of 'analysis.
  • a method of observing a swimming activity of a person from measurements transmitted by motion sensor sealingly attached to a body part of the body. user characterized in that the signals transmitted by the motion sensor are analyzed to at least one measurement axis to determine the user's swim type as a function of time using an N-state hidden Markov model. corresponding respectively to N types.
  • FIG. 3 and 4 illustrate two examples of the result of a system according to one aspect of the invention.
  • the motion sensor comprises a triaxial accelerometer, but the invention applies to a motion sensor comprising a gyrometer or a magnetometer.
  • the observation system of a swimming activity of a person comprises a BET waterproof housing comprising a triaxial accelerometer AT.
  • the system includes securing means for integrally bonding the housing to a body part of a user, particularly to the wrist, ankle, neck or head of a user, in this case by means of a BEL elastic bracelet.
  • the system comprises an analysis module AN of the signals transmitted by the triaxial accelerometer AT adapted to determine the type of swimming of the user as a function of time by using a hidden Markov model with N states respectively corresponding to N types of strokes. .
  • the system also includes an optional FPB low-pass filter with a cut-off frequency of between 0.5Hz and 5Hz, making it possible to limit the noise generated by the impacts measured, especially when the hand carrying the sealed case enters the water.
  • An optional AFFB display screen attached to the BET can allow the system user to view the results in a manner appropriate to the small size of the screen.
  • the analysis module AN can also transfer, in real time or deferred, by a wired or wireless link, the results to be displayed to a computer comprising a much larger screen, allowing improved visualization of the results.
  • the analysis module includes a memory for storing the results, especially in order to be able to transmit them later if necessary.
  • the analysis module AN is external to the sealed waterproof housing BET, it is for example embedded on a portable computer OP.
  • the three signals emitted by the triaxial accelerometer AT are acquired at a frequency of 200 Hz, and then cut into successive time intervals of 0.5 s on which an average is calculated.
  • a signal sampled at 2 Hz is obtained at the input of the analysis module AN.
  • x ⁇ n [x 1 ⁇ n), x 2 (n), x 3 (n)] ⁇
  • n represents the index of the sample at the frequency of 2 Hz
  • xi, X 2 , and X 3 represent the values of the signals corresponding to the three measurement axes.
  • the probability density P x of the vector x (n) is approximated by a Gaussian law of dimension 3, whose parameters depend on the type
  • x ( ⁇ ) represents the column vector of components the three axial measurements of the triaxial accelerometer to the sample of index n; ⁇ represents a three-component column vector, representative of the state of the hidden Markov model corresponding to said swim; and ⁇
  • the three axes of the accelerometer AT form a direct oriented trihedron, and are such that:
  • the first axis is for the direction of the longitudinal axis of the forearm of the wrist to which the BET housing is connected and is oriented towards the elbow, and
  • the third axis is vertical downwards, when the forearm of the wrist to which the BET casing is bound is in a horizontal plane, the palm of the wrist hand to which the BET casing is bound facing downwards, and said BET housing being disposed on the outer face of the wrist.
  • transition probability probabilities P (state / state j ) of a state state corresponding to a swimming of the Markov model hidden at another state state j corresponding to a swimming of the hidden Markov model are as follows, chosen so as to ensure good stability to the system:
  • the analysis module AN determines, from the input signals and the hidden Markov model as defined, the sequence of states (swimming) most probable, according to conventional methods, for example by calculating for the whole sequences of possible states the associated probability taking into account the observed signal and keeping the most probable sequence, as described for example in the document "An introduction to hidden Markov models” LR Rabiner and BH Juang, IEEE ASSP Magazine, January 1986, or in the book “Inference in Hidden Markov Models" by Capcher, Moulines and Ryden of Springer, from the series “Springer series in statisctics”.
  • Figure 3 shows an example of a swimming record of a user of the system, on the lower graph, and the result provided by the system which indicates that the swimmer swam the crawl for 30 seconds, then the breaststroke for 33 seconds, then back crawled for 37 seconds.
  • Figure 4 illustrates another example of a swimming record recording of a system user, on the lower graph, and the result provided by the system which indicates that the swimmer swam the crawl for 26 seconds, then the brew for 66 seconds, then back crawl for 38 seconds.
  • the present invention makes it possible, at reduced cost, to enable a swimmer to record and to follow in real time or in swimming, by precisely determining the swimming sequences he made during his session.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

Le système d'observation d'une activité de nage d'une personne, comprenant un boîtier étanche (BET) comprend un capteur de mouvement (CM), et est muni de moyens de fixation (BEL) pour lier solidairement le boîtier (BET) à une partie du corps d'un utilisateur. Le système comprend des moyens d'analyse (AN) des signaux transmis par le capteur de mouvement (CM) à au moins un axe de mesure adaptés pour déterminer le type de nage de l'utilisateur en fonction du temps en utilisant un modèle de Markov caché à N états correspondant respectivement à N types de nages.

Description

SYSTEME ET PROCEDE D'OBSERVATION D'UNE ACTIVITE DE NAGE
D'UNE PERSONNE
La présente invention porte sur un système et un procédé d'observation d'une activité de nage d'une personne.
Il existe des systèmes pour calculer la distance nagée à partir de mesures transmises par un capteur de mouvement lié au nageur, tel que celui divulgué dans le document WO 2004/038336 (Clothing Plus OY). Toutefois de tels systèmes effectuent uniquement une observation ou un suivi quantitatif de l'activité de nage d'une personne, en aucun cas une analyse qualitative des types de nage pratiqués.
La présente invention vise à permettre une analyse d'une activité de nage d'une personne, permettant de différencier les types de nages effectués au cours du temps, ce qui peut être particulièrement utile à un nageur soucieux de surveiller ses progrès et son entraînement, par exemple en vue de compétitions.
Aussi, il est proposé, selon un aspect de l'invention, un système d'observation d'une activité de nage d'une personne, comprenant un boîtier étanche comprenant un capteur de mouvement, et muni de moyens de fixation pour lier solidairement le boîtier à une partie du corps d'un utilisateur.
Le système comprend des moyens d'analyse des signaux transmis par le capteur de mouvement à au moins un axe de mesure adaptés pour déterminer le type de nage de l'utilisateur en fonction du temps en utilisant un modèle de Markov caché à N états correspondant respectivement à N types de nages.
Il est ainsi possible, d'analyser, au cours du temps, les différents types de nage pratiqués par l'utilisateur du système. Ce dernier, ou une autre personne peut ainsi observer les évolutions et progrès du nageur, et faire des statistiques comparatives entre différentes séances de nage, ou au sein d'une même séance.
Dans un mode de réalisation, ledit capteur de mouvement comprend un accéléromètre ou un gyromètre ou un magnétomètre.
Selon un mode de réalisation, le système comprend, en outre, un filtre passe-bas de fréquence de coupure comprise entre 0.5 Hz et 5 Hz. Dans un mode de réalisation, lesdits moyens de fixation sont adaptés pour lier solidairement le boîtier au poignet, à la cheville, au cou ou à la tête de l'utilisateur.
Ainsi le système peut limiter les bruits générés par les chocs mesurés tels les chocs mesurés lorsque la main portant le boîtier étanche entre dans l'eau.
Dans un mode de réalisation, la densité de probabilité px(χ(n)) de correspondance entre les signaux délivrés par le capteur de mouvement et un état du modèle de Markov caché représentant un type de nage est définie par l'expression suivante :
Figure imgf000004_0001
dans laquelle : x{n) représente le vecteur colonne de composantes les mesures axiales du capteur de mouvement à l'échantillon d'indice n ; μ représente un vecteur colonne au nombre de composantes le nombre d'axes de mesure du capteur de mouvement, représentatif de l'état du modèle de Markov caché correspondant à ladite nage ; et ∑| représente la valeur absolue du déterminant d'une matrice diagonale Σ de dimension le nombre d'axes de mesure du capteur de mouvement représentative de l'état du modèle de Markov caché correspondant à ladite nage.
L'utilisation d'un tel modèle de Markov caché, permet de distinguer précisément le type de nage pratiqué.
Selon un mode de réalisation, les moyens d'analyse sont adaptés pour déterminer le type de nage de l'utilisateur parmi un ensemble d'au moins deux nages parmi la brasse, le crawl, le papillon, et le dos crawlé.
Ainsi, l'invention permet de distinguer toute nage parmi ces nages classiques.
Par exemple, ledit capteur de mouvement comprenant un accéléromètre triaxial et le boîtier étanche étant lié solidairement au poignet de l'utilisateur, les trois axes dudit accéléromètre, formant un trièdre orienté direct, sont tels que : - le premier axe a pour direction l'axe longitudinal de l'avant bras du poignet auquel est lié le boîtier et est orienté vers le coude ;et
- le troisième axe est vertical orienté vers le bas, lorsque l'avant-bras du poignet auquel est lié le boîtier est dans un plan horizontal, la paume de la main du poignet auquel est lié le boîtier étant dirigée vers le bas, et ledit boîtier étant disposé sur la face externe du poignet.
Dans un mode de réalisation, pour la brasse, les trois composantes μ1,μ2,μ3 du vecteur colonne μ sont telles que
/Z1 G [-0.45;-0.20], μ2 G [-0.1;0.5], et /Z3 G [-0.8;0.45], et les trois composantes diagonales E15E25E3 de la matrice diagonale E sont telles que E1 G [o.1,0.18], Σ2 e [0.2;0.6], et E3 G [θ.O3;O.2] .
Selon un mode de réalisation, pour le crawl, les trois composantes μλ,μ2,μ3 du vecteur colonne μ sont telles que /Z1 G [-0.7,-0.8] ,
/Z2 G [-0.25,-0.45] , et /Z3 G [-0.4,0.2] , et les trois composantes diagonales E15E25E3 de la matrice diagonale E sont telles que E1 G [θ.2;O.3] , E2 G [θ.l;O.3], et E3 G [0.07;0.5].
Dans un mode de réalisation, pour le papillon, les trois composantes μι,μ2,μ3 du vecteur colonne μ sont telles que /Z1 G [-0.8;0.l] ,
/Z2 G [-0.45,0.5] , et /Z3 G [-0.2,0.4] , et les trois composantes diagonales E15E25E3 de la matrice diagonale E sont telles que E1 G [θ.2;O.4], E2 G [θ.l;O.5], et E3 G [0.2;0.8] .
Selon un mode de réalisation, pour le dos crawlé, les trois composantes μ1,μ2,μ3 du vecteur colonne μ sont telles que /Z1 G [-0.2,0. l] ,
/Z2 G [θ.3;O.7], et /Z3 G [-0.05,0.4] , et les trois composantes diagonales E15E25E3 de la matrice diagonale E sont telles que E1 G [θ.2;O.4], E2 G [θ.l;O.5], et E3 G [0.2;0.8] .
Dans un mode de réalisation, les probabilités P, dudit modèle de Markov caché, de passage entre deux états représentant respectivement un type de nage sont telles que : p(étatι,état])^ [θ.8;O.9999], lorsque i est différent de j; et p(étatι,état] )& [0.0001;0.2], lorsque i est égal à j
Ainsi, la précision du système est améliorée. Selon un mode de réalisation, lesdits moyens d'analyse sont internes ou externes au boîtier, et l'accéléromètre triaxial comprend des moyens de transmission avec ou sans fil pour transmettre ses mesures auxdits moyens d'analyse.
Ainsi, de nombreux modes de réalisation peuvent être envisagés. Dans un mode de réalisation, le système comprend des moyens d'affichage fixés au boîtier et/ou des moyens d'affichages distants.
Ainsi, les résultats d'analyse de l'activité de nage de l'utilisateur peuvent être visualisés par le nageur directement, ou bien analysés et visualisés sur un plus grand écran externe, par exemple d'un ordinateur portable qui peut comprendre les moyens d'analyse. Selon un autre aspect de l'invention, il est également proposé un procédé d'observation d'une activité de nage d'une personne, à partir de mesures transmises par par capteur de mouvement fixé de manière étanche à une partie du corps de l'utilisateur, caractérisé en ce que l'on analyse les signaux transmis par le capteur de mouvement à au moins un axe de mesure pour déterminer le type de nage de l'utilisateur en fonction du temps en utilisant un modèle de Markov caché à N états correspondant respectivement à N types nages.
L'invention sera mieux comprise à l'étude de quelques modes de réalisation décrits à titre d'exemples nullement limitatifs et illustrés par les dessins annexés sur lesquels :
- les figures 1 et 2 illustrent deux modes de réalisation de systèmes selon un aspect de l'invention ; et
- les figures 3 et 4 illustrent deux exemples de résultat d'un système selon un aspect de l'invention.
Dans l'ensemble de figures, les éléments ayants les mêmes références sont similaires. Dans les exemples qui suivent, le capteur de mouvement comprend un accéléromètre triaxial, mais l'invention s'applique à un capteur de mouvement comprenant un gyromètre ou un magnétomètre. Tel qu'illustré sur la figure 1 , le système d'observation d'une activité de nage d'une personne comprend un boîtier étanche BET comprenant un accéléromètre triaxial AT. Le système comprend des moyens de fixation pour lier solidairement le boîtier à une partie du corps d'un utilisateur, en particulier au poignet, à la cheville, au cou ou à la tête d'un utilisateur, en l'occurrence au moyen d'un bracelet élastique BEL. Le système comprend un module d'analyse AN des signaux transmis par l'accéléromètre triaxial AT adaptés pour déterminer le type de nage de l'utilisateur en fonction du temps en utilisant un modèle de Markov caché à N états correspondant respectivement à N types de nages. Le système comprend également un filtre passe-bas FPB optionnel, de fréquence de coupure comprise entre 0.5Hz et 5Hz, permettant de limiter les bruits générés par les chocs mesurés, notamment lorsque la main portant le boîtier étanche entre dans l'eau.
Un écran d'affichage optionnel AFFB fixé au boîtier BET, peut permettre à l'utilisateur du système de visualiser les résultats d'une manière appropriée à la taille réduite de l'écran. Le module d'analyse AN peut également transférer, en temps réel ou en différé, par une liaison filaire ou sans fil, les résultats à afficher à un ordinateur comprenant un écran de taille bien supérieure, permettant une visualisation améliorée des résultats. Bien entendu, le module d'analyse comprend une mémoire pour mémoriser les résultats, notamment afin de pouvoir les transmettre en différé si nécessaire. En variante, tel qu'illustré sur la figure 2, le module d'analyse AN est extérieur au boîtier étanche BET, il est par exemple embarqué sur un ordinateur portable OP. Dans la suite de la description, l'exemple nullement limitatif traité, est un système selon un aspect de l'invention, dans lequel le module d'analyse AN est adapté pour déterminer le type de nage de l'utilisateur en fonction du temps en utilisant un modèle de Markov caché à 3 états (N=3) correspondant respectivement à la brasse (état 1 ), le crawl (état 2) et le dos crawlé (état 3).
Dans cet exemple, les trois signaux émis par l'accéléromètre triaxial AT, correspondant respectivement aux accélérations mesurée sur chacun des trois axes de mesure, sont acquis à une fréquence de 200 Hz, puis découpés en intervalles de temps successifs de 0,5 s sur lesquels une moyenne est calculée. Ainsi on obtient un signal échantillonné à 2 Hz en entrée du module d'analyse AN.
Ces signaux sont notés sous forme d'un vecteur à trois dimensions : x{n) = [x1{n),x2{n),x3 (n)]τ , dans lequel n représente l'indice de l'échantillon à la fréquence de 2 Hz, et x-i, X2, et X3 représentent les valeurs des signaux correspondant aux trois axes de mesure. La densité de probabilité Px du vecteur x(n) est approximée par une loi Gaussienne de dimension 3, dont les paramètres dépendent du type
Figure imgf000008_0001
dans laquelle : x(ή) représente le vecteur colonne de composantes les trois mesures axiales de l'accéléromètre triaxial à l'échantillon d'indice n ; μ représente un vecteur colonne à trois composantes, représentatif de l'état du modèle de Markov caché correspondant à ladite nage ; et ∑| représente la valeur absolue du déterminant d'une matrice diagonale Σ de dimension 3 représentative de l'état du modèle de Markov caché correspondant à ladite nage.
Dans cet exemple, les trois axes de l'accéléromètre AT, forment un trièdre orienté direct, et sont tels que :
- le premier axe a pour direction l'axe longitudinal de l'avant bras du poignet auquel est lié le boîtier BET et est orienté vers le coude ;et
- le troisième axe est vertical orienté vers le bas, lorsque l'avant-bras du poignet auquel est lié le boîtier BET est dans un plan horizontal, la paume de la main du poignet auquel est lié le boîtier BET étant dirigée vers le bas, et ledit boîtier BET étant disposé sur la face externe du poignet.
Les trois nages de l'exemple considéré sont définies avec les paramètres suivants :
- la brasse (état 1 du modèle de Markov caché) :
μ = [-0.3; 0; -0.70f et
Figure imgf000008_0002
- le crawl (état 2 du modèle de Markov caché) :
μ = [- 0.765; - 0335; - 0.4595f et
Figure imgf000008_0003
- le dos crawlé (état 3 du modèle de Markov caché) : 0.20 O O μ = [- 0.10; 0.40; θf et Σ = 0.20 O O 0.50
Les densités de probabilités de passage P(étati / étatj) d'un état étati correspondant à une nage du modèle de Markov caché à un autre état étatj correspondant à une nage du modèle de Markov caché sont les suivantes, choisies de manière à assurer une bonne stabilité au système :
P (étati / étatj) étatι=1 (brasse) étati=2 (crawl) étati=3 (dos crawlé) étatj=1 (brasse) 0 .999 0.0005 0.0005 étatj=2 (crawl) 0. 0005 0.999 0.0005 étatj=3 (dos crawlé) 0. 0005 0.0005 0.999
Le module d'analyse AN détermine, à partir des signaux d'entrée et du modèle de Markov caché tel que défini, la séquence d'états (nages) la plus probable, selon des procédés classiques, par exemple en calculant pour l'ensemble des séquences d'états possibles la probabilité associée compte tenu du signal observé et en gardant la séquence la plus probable, tels que décrits par exemple dans le document "An introduction to hidden Markov models" de L.R. Rabiner et B. H. Juang, IEEE ASSP Magazine, January 1986, ou dans le livre "Inference in Hidden Markov Models" de Cappé, Moulines et Ryden de Springer, de la série "Springer séries in statisctics".
La figure 3 illustre un exemple d'enregistrement d'une séance de nage d'un utilisateur du système, sur le graphique inférieur, et le résultat fourni par le système qui indique que le nageur a nagé le crawl pendant 30 secondes, puis la brasse pendant 33 secondes, puis le dos crawlé pendant 37 secondes.
La figure 4 illustre un autre exemple d'enregistrement d'une séance de nage d'un utilisateur du système, sur le graphique inférieur, et le résultat fourni par le système qui indique que le nageur a nagé le crawl pendant 26 secondes, puis la brasse pendant 66 secondes, puis le dos crawlé pendant 38 secondes.
La présente invention permet, à coût réduit, de permettre à un nageur d'enregistrer et de suivre en temps réel ou en différé sa séance de nage, en déterminant avec précision les enchaînements de nage qu'il a faits pendant sa séance.

Claims

REVENDICATIONS
1. Système d'observation d'une activité de nage d'une personne, comprenant un boîtier étanche (BET) comprenant un capteur de mouvement (CM), et muni de moyens de fixation (BEL) pour lier solidairement le boîtier (BET) à une partie du corps d'un utilisateur, caractérisé en ce qu'il comprend des moyens d'analyse (AN) des signaux transmis par le capteur de mouvement (CM) à au moins un axe de mesure adaptés pour déterminer le type de nage de l'utilisateur en fonction du temps en utilisant un modèle de Markov caché à N états correspondant respectivement à N types de nages.
2. Système selon la revendication 1 , dans lequel ledit capteur de mouvement (CM) comprend un accéléromètre ou un gyromètre ou un magnétomètre.
3. Système selon la revendication 1 ou 2, comprenant, en outre, un filtre passe-bas (FPB) de fréquence de coupure comprise entre 0.5 Hz et 5 Hz.
4. Système selon l'une des revendications 1 à 3, dans lequel lesdits moyens de fixation (BEL) sont adaptés pour lier solidairement le boîtier (BET) au poignet, à la cheville, au cou ou à la tête de l'utilisateur.
5. Système selon la revendication 3 ou 4, dans lequel la densité de probabilité px(χ(n)) de correspondance entre les signaux délivrés par le capteur de mouvement (CM) et un état du modèle de Markov caché représentant un type de nage est définie par l'expression suivante :
Figure imgf000011_0001
dans laquelle : x(n) représente le vecteur colonne de composantes les mesures axiales du capteur de mouvement (CM) à l'échantillon d'indice n ; μ représente un vecteur colonne au nombre de composantes le nombre d'axes de mesure du capteur de mouvement (CM), représentatif de l'état du modèle de Markov caché correspondant à ladite nage ; et
|∑| représente la valeur absolue du déterminant d'une matrice diagonale Σ de dimension le nombre d'axes de mesure du capteur de mouvement (CM) représentative de l'état du modèle de Markov caché correspondant à ladite nage.
6. Système selon l'une des revendications précédentes, dans lequel, dans lequel les moyens d'analyse (AN) sont adaptés pour déterminer le type de nage de l'utilisateur parmi un ensemble d'au moins deux nages parmi la brasse, le crawl, le papillon, et le dos crawlé.
7. Système selon l'une des revendications 1 à 6, dans lequel, ledit capteur de mouvement (CM) comprenant un accéléromètre triaxial (AT) et le boîtier étanche (BET) étant lié solidairement au poignet de l'utilisateur, les trois axes dudit accéléromètre (AT), formant un trièdre orienté direct, sont tels que :
- le premier axe a pour direction l'axe longitudinal de l'avant bras du poignet auquel est lié le boîtier (BET) et est orienté vers le coude ;et
- le troisième axe est vertical orienté vers le bas, lorsque l'avant-bras du poignet auquel est lié le boîtier (BET) est dans un plan horizontal, la paume de la main du poignet auquel est lié le boîtier (BET) étant dirigée vers le bas, et ledit boîtier (BET) étant disposé sur la face externe du poignet.
8. Système selon la revendication 7, dans lequel, pour la brasse, les trois composantes μι,μ2,μi du vecteur colonne μ sont telles que //^ [-0.45,-0.20], μ2 e [-0.1;0.5] , et μ3 e [-0.8;0.45], et les trois composantes diagonales E15E25E3 de la matrice diagonale E sont telles que E1 G [0.1,0.18] , ∑2 e [θ.2;O.6], et E3 G [θ.O3;O.2] .
9. Système selon la revendication 7 ou 8, dans lequel, pour le crawl, les trois composantes μ1,μ2,μ3 du vecteur colonne μ sont telles que /Z1 G [-0.7,-0.8] , μ2 e [-0.25;-0.45] , et μ3 ε [-0.4;0.2] , et les trois composantes diagonales E15E25E3 de la matrice diagonale E sont telles que E1 G [0.2;0.3] , E2 G [θ.l;O.3] , et E3 G [θ.O7;O.5] .
10. Système selon l'une des revendications 7 à 9, dans lequel, pour le papillon, les trois composantes μ1,μ2,μ3 du vecteur colonne μ sont telles que μ^ e. [-0.8;0.l] , μ2 e. [-0.45;0.5] , et //3 G [-0.2,0.4] , et les trois composantes diagonales E15E25E3 de la matrice diagonale E sont telles que E1 G [θ.2;O.4] , E2 G [θ.l;O.5], et E3 G [θ.2;O.8] .
1 1 . Système selon l'une des revendications 7 à 10, dans lequel, pour le dos crawlé, les trois composantes μι,μ2,μ3 du vecteur colonne μ sont telles que μι <≡ [-0.2;0.l] , μ2 G [θ.3;O.7], et μ3 G [-0.05;0.4] , et les trois composantes diagonales E15E2,E3de la matrice diagonale E sont telles que E1 G [θ.2;O.4] , E2 G [θ.l;O.5], et E3 G [θ.2;O.8] .
12. Système selon l'une des revendications 7 à 1 1 , dans lequel les probabilités P, dudit modèle de Markov caché, de passage entre deux états représentant respectivement un type de nage sont telles que : p(étatι,état] )^ [θ.8;O.9999] , lorsque i est différent de j; et p(êtatι,êtat] )& [θ.OOOl;O.2], lorsque i est égal à j.
13. Système selon l'une des revendications 7 à 12, dans lequel lesdits moyens d'analyse (AN) sont internes ou externes au boîtier (BET), et l'accéléromètre triaxial (AT) comprend des moyens de transmission avec ou sans fil pour transmettre ses mesures auxdits moyens d'analyse (AN).
14. Système selon l'une des revendications 7 à 13, comprenant, en outre, des moyens d'affichage (AFFB) fixés au boîtier et/ou des moyens d'affichages distants (AFFD).
15. Procédé d'observation d'une activité de nage d'une personne, à partir de mesures transmises par un par capteur de mouvement (CM) fixé de manière étanche à une partie du corps de l'utilisateur, caractérisé en ce que l'on analyse les signaux transmis par le capteur de mouvement (CM) à au moins un axe de mesure pour déterminer le type de nage de l'utilisateur en fonction du temps en utilisant un modèle de Markov caché à N états correspondant respectivement à N types nages.
PCT/EP2010/054133 2009-03-31 2010-03-29 Systeme et procede d' observation d'une activite de nage d'une personne WO2010112470A1 (fr)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP10718092.9A EP2414054B1 (fr) 2009-03-31 2010-03-29 Systeme et procede d' observation d'une activite de nage d'une personne
US13/260,510 US9643068B2 (en) 2009-03-31 2010-03-29 System and method for observing the swimming activity of a person

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0952017 2009-03-31
FR0952017A FR2943554B1 (fr) 2009-03-31 2009-03-31 Systeme et procede d'observation d'une activite de nage d'une personne

Publications (1)

Publication Number Publication Date
WO2010112470A1 true WO2010112470A1 (fr) 2010-10-07

Family

ID=41227180

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2010/054133 WO2010112470A1 (fr) 2009-03-31 2010-03-29 Systeme et procede d' observation d'une activite de nage d'une personne

Country Status (4)

Country Link
US (1) US9643068B2 (fr)
EP (1) EP2414054B1 (fr)
FR (1) FR2943554B1 (fr)
WO (1) WO2010112470A1 (fr)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012120439A1 (fr) 2011-03-07 2012-09-13 Lape Medical Dispositif de surveillance d'une prothese medicale et du corps humain

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8924248B2 (en) 2006-09-26 2014-12-30 Fitbit, Inc. System and method for activating a device based on a record of physical activity
US8620617B2 (en) 2010-09-30 2013-12-31 Fitbit, Inc. Methods and systems for interactive goal setting and recommender using events having combined activity and location information
US9188460B2 (en) 2010-09-30 2015-11-17 Fitbit, Inc. Methods, systems and devices for generating real-time activity data updates to display devices
US8954291B2 (en) 2010-09-30 2015-02-10 Fitbit, Inc. Alarm setting and interfacing with gesture contact interfacing controls
US10004406B2 (en) 2010-09-30 2018-06-26 Fitbit, Inc. Portable monitoring devices for processing applications and processing analysis of physiological conditions of a user associated with the portable monitoring device
US8775120B2 (en) 2010-09-30 2014-07-08 Fitbit, Inc. Method of data synthesis
US8744804B2 (en) 2010-09-30 2014-06-03 Fitbit, Inc. Methods, systems and devices for automatic linking of activity tracking devices to user devices
US9241635B2 (en) 2010-09-30 2016-01-26 Fitbit, Inc. Portable monitoring devices for processing applications and processing analysis of physiological conditions of a user associated with the portable monitoring device
US8849610B2 (en) 2010-09-30 2014-09-30 Fitbit, Inc. Tracking user physical activity with multiple devices
US9148483B1 (en) 2010-09-30 2015-09-29 Fitbit, Inc. Tracking user physical activity with multiple devices
US8762101B2 (en) 2010-09-30 2014-06-24 Fitbit, Inc. Methods and systems for identification of event data having combined activity and location information of portable monitoring devices
US8762102B2 (en) 2010-09-30 2014-06-24 Fitbit, Inc. Methods and systems for generation and rendering interactive events having combined activity and location information
US8738323B2 (en) 2010-09-30 2014-05-27 Fitbit, Inc. Methods and systems for metrics analysis and interactive rendering, including events having combined activity and location information
US8768648B2 (en) 2010-09-30 2014-07-01 Fitbit, Inc. Selection of display power mode based on sensor data
US9390427B2 (en) 2010-09-30 2016-07-12 Fitbit, Inc. Methods, systems and devices for automatic linking of activity tracking devices to user devices
US8615377B1 (en) 2010-09-30 2013-12-24 Fitbit, Inc. Methods and systems for processing social interactive data and sharing of tracked activity associated with locations
US8694282B2 (en) 2010-09-30 2014-04-08 Fitbit, Inc. Methods and systems for geo-location optimized tracking and updating for events having combined activity and location information
US9253168B2 (en) 2012-04-26 2016-02-02 Fitbit, Inc. Secure pairing of devices via pairing facilitator-intermediary device
US8954290B2 (en) 2010-09-30 2015-02-10 Fitbit, Inc. Motion-activated display of messages on an activity monitoring device
US9310909B2 (en) 2010-09-30 2016-04-12 Fitbit, Inc. Methods, systems and devices for physical contact activated display and navigation
US8738321B2 (en) 2010-09-30 2014-05-27 Fitbit, Inc. Methods and systems for classification of geographic locations for tracked activity
US8712724B2 (en) 2010-09-30 2014-04-29 Fitbit, Inc. Calendar integration methods and systems for presentation of events having combined activity and location information
US9167991B2 (en) 2010-09-30 2015-10-27 Fitbit, Inc. Portable monitoring devices and methods of operating same
US8751194B2 (en) 2010-09-30 2014-06-10 Fitbit, Inc. Power consumption management of display in portable device based on prediction of user input
US8812259B2 (en) 2010-09-30 2014-08-19 Fitbit, Inc. Alarm setting and interfacing with gesture contact interfacing controls
US8744803B2 (en) 2010-09-30 2014-06-03 Fitbit, Inc. Methods, systems and devices for activity tracking device data synchronization with computing devices
US8805646B2 (en) 2010-09-30 2014-08-12 Fitbit, Inc. Methods, systems and devices for linking user devices to activity tracking devices
US8781791B2 (en) 2010-09-30 2014-07-15 Fitbit, Inc. Touchscreen with dynamically-defined areas having different scanning modes
US10983945B2 (en) 2010-09-30 2021-04-20 Fitbit, Inc. Method of data synthesis
US11243093B2 (en) 2010-09-30 2022-02-08 Fitbit, Inc. Methods, systems and devices for generating real-time activity data updates to display devices
US9202111B2 (en) 2011-01-09 2015-12-01 Fitbit, Inc. Fitness monitoring device with user engagement metric functionality
US8475367B1 (en) 2011-01-09 2013-07-02 Fitbit, Inc. Biometric monitoring device having a body weight sensor, and methods of operating same
US8738925B1 (en) 2013-01-07 2014-05-27 Fitbit, Inc. Wireless portable biometric device syncing
FR2988501B1 (fr) 2012-03-20 2015-01-02 Commissariat Energie Atomique Dispositif et procede d'identification d'un mouvement cyclique, programme d'ordinateur correspondant
US9641239B2 (en) 2012-06-22 2017-05-02 Fitbit, Inc. Adaptive data transfer using bluetooth
US9039614B2 (en) 2013-01-15 2015-05-26 Fitbit, Inc. Methods, systems and devices for measuring fingertip heart rate
US8827906B2 (en) 2013-01-15 2014-09-09 Fitbit, Inc. Methods, systems and devices for measuring fingertip heart rate
US9728059B2 (en) 2013-01-15 2017-08-08 Fitbit, Inc. Sedentary period detection utilizing a wearable electronic device
US10486049B2 (en) 2013-03-15 2019-11-26 Amer Sports Digital Services Oy Device and method for monitoring swimming performance
EP2835769A1 (fr) 2013-08-05 2015-02-11 Movea Procédé, dispositif et système de capture annotée de données de capteurs et de modélisation de la foule d'activités
US9031812B2 (en) 2014-02-27 2015-05-12 Fitbit, Inc. Notifications on a user device based on activity detected by an activity monitoring device
US11990019B2 (en) 2014-02-27 2024-05-21 Fitbit, Inc. Notifications on a user device based on activity detected by an activity monitoring device
US9449365B2 (en) 2014-04-11 2016-09-20 Fitbit, Inc. Personalized scaling of graphical indicators
US9449409B2 (en) 2014-04-11 2016-09-20 Fitbit, Inc. Graphical indicators in analog clock format
AU2015252691B2 (en) 2014-04-29 2021-02-04 Tritonwear Inc. Wireless metric calculating and feedback apparatus, system, and method
US9288298B2 (en) 2014-05-06 2016-03-15 Fitbit, Inc. Notifications regarding interesting or unusual activity detected from an activity monitoring device
EP3032455A1 (fr) 2014-12-09 2016-06-15 Movea Dispositif et procédé pour la classification et la reclassification d'activité d'un utilisateur
JP6505614B2 (ja) * 2016-01-15 2019-04-24 株式会社日立製作所 トレーニング分類システム、トレーニング分類方法およびトレーニング分類サーバ
US10080530B2 (en) 2016-02-19 2018-09-25 Fitbit, Inc. Periodic inactivity alerts and achievement messages
US10080922B2 (en) 2017-01-18 2018-09-25 Guy Savaric Scott Davis Swimming paddle
CN107270934A (zh) * 2017-06-08 2017-10-20 海能电子(深圳)有限公司 一种基于穿戴式智能设备的游泳信息监测识别方法
IT201900014436A1 (it) 2019-08-08 2021-02-08 Iesteam Srl Sistema per la rilevazione automatica di prestazioni cronometriche in una piscina
CN114896568B (zh) * 2022-07-13 2022-11-01 杭州光粒科技有限公司 一种游泳数据统计方法、装置、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4654010A (en) * 1985-03-04 1987-03-31 Rod Havriluk Method and apparatus of measuring swimming technique
US5663897A (en) * 1995-06-08 1997-09-02 Strokz Digital Sports, Inc. Method and apparatus for analyzing a swimmer's swim stroke
WO2004038336A1 (fr) 2002-10-28 2004-05-06 Clothing Plus Oy Capteur de la distance parcourue
WO2008032315A1 (fr) * 2006-09-11 2008-03-20 Eldad Shemesh Dispositif de support d'entrainement et d'instruction

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100210975A1 (en) * 2009-01-21 2010-08-19 SwimSense, LLC Multi-state performance monitoring system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4654010A (en) * 1985-03-04 1987-03-31 Rod Havriluk Method and apparatus of measuring swimming technique
US5663897A (en) * 1995-06-08 1997-09-02 Strokz Digital Sports, Inc. Method and apparatus for analyzing a swimmer's swim stroke
WO2004038336A1 (fr) 2002-10-28 2004-05-06 Clothing Plus Oy Capteur de la distance parcourue
WO2008032315A1 (fr) * 2006-09-11 2008-03-20 Eldad Shemesh Dispositif de support d'entrainement et d'instruction

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CAPPÉ, MOULINES; RYDEN DE SPRINGER: "Inference in Hidden Markov Models"
L.R. RABINER; B.H. JUANG: "An introduction to hidden Markov models", IEEE ASSP MAGAZINE, 1070219

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012120439A1 (fr) 2011-03-07 2012-09-13 Lape Medical Dispositif de surveillance d'une prothese medicale et du corps humain
US9629583B2 (en) 2011-03-07 2017-04-25 Lape Medical Device for monitoring a medical prosthesis and the human body

Also Published As

Publication number Publication date
FR2943554B1 (fr) 2012-06-01
US20120072165A1 (en) 2012-03-22
US9643068B2 (en) 2017-05-09
FR2943554A1 (fr) 2010-10-01
EP2414054B1 (fr) 2013-10-16
EP2414054A1 (fr) 2012-02-08

Similar Documents

Publication Publication Date Title
EP2414054B1 (fr) Systeme et procede d&#39; observation d&#39;une activite de nage d&#39;une personne
Stamm et al. Velocity profiling using inertial sensors for freestyle swimming
US20120278023A1 (en) Method of confirming motion parameters apparatus for the same, and motion assisting device
EP2460146B1 (fr) Système de comptage d&#39;un déplacement élémentaire d&#39;une personne
WO2008027685A3 (fr) Procédé et système de positionnement et de présentation d&#39;informations sur une interface utilisateur contextuelles
EP2309920A2 (fr) Dispositif d&#39;acquisition et de traitement de données physiologiques d&#39;un animal ou d&#39;un humain au cours d&#39;une activité physique ou mentale
FR2943527A1 (fr) Systeme et procede d&#39;observation d&#39;une activite de marche d&#39;une personne
EP2350565A1 (fr) Dispositif et procede de determination d&#39;une caracteristique d&#39;une trajectoire formee de positions successives d&#39;un accelerometre triaxial lie de maniere solidaire a un element mobile
US20140149066A1 (en) Swim Stroke Counter
EP2118621A1 (fr) Dispositif et procede pour detecter la trajectoire d&#39;un objet se deplacant en deux dimensions
WO2017177582A1 (fr) Procédé et dispositif permettant de mettre en œuvre une mesure de vitesse d&#39;un appareil de sport
EP1586353B1 (fr) Procédé et dispositif de mesure de l&#39;efficacité d&#39;un geste sportif
EP4013303A1 (fr) Procede et systeme pour l&#39;analyse de l&#39;activite biomecanique et l&#39;exposition a un facteur de risque biomecanique sur un sujet humain dans un contexte d&#39;activite physique
EP3305186A1 (fr) Procédé et système de surveillance de stress d&#39;un utilisateur
CA3012403A1 (fr) Procede d&#39;estimation de l&#39;activite physique d&#39;un membre superieur
WO2010122172A1 (fr) Systeme et procede de determination de l&#39;activite d&#39;un element mobile
EP2467061B1 (fr) Systeme et procede de detection de crise d&#39;epilepsie d&#39;une personne epileptique allongee
CN210078765U (zh) 基于可穿戴传感器的动作捕捉识别与评估装置
FR2885816A1 (fr) Procede et dispositif autonome pour analyser la trajectoire d&#39;une balle et optimiser le geste d&#39;une personne en entrainement ou en apprentissage qui propulse la balle, ou le materiel propulsif utilise
EP2271946B1 (fr) Dispositif de detection d&#39;evenement de percussion, et systeme mobile associe
US11794088B2 (en) Methods and systems for swim analysis
CN114602155A (zh) 游泳信息统计方法、计算机可读存储介质和电子设备
EP2268999A1 (fr) Systeme et procede de determination de parametres representatifs de l&#39;orientation d&#39;un solide en mouvement soumis a deux champs vectoriels
Dimitrakopoulos et al. Tremor quantification through event-based movement trajectory modeling
WO2013131990A1 (fr) Procede d&#39;identification des parametres geometriques d&#39;une structure articulee et d&#39;un ensemble de reperes d&#39;interet disposes sur ladite structure

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10718092

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2010718092

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 13260510

Country of ref document: US