DE102020100366A1 - Procedure for 3D motion analysis and instant feedback for training exercises - Google Patents
Procedure for 3D motion analysis and instant feedback for training exercises Download PDFInfo
- Publication number
- DE102020100366A1 DE102020100366A1 DE102020100366.8A DE102020100366A DE102020100366A1 DE 102020100366 A1 DE102020100366 A1 DE 102020100366A1 DE 102020100366 A DE102020100366 A DE 102020100366A DE 102020100366 A1 DE102020100366 A1 DE 102020100366A1
- Authority
- DE
- Germany
- Prior art keywords
- person
- data
- movement
- exercise
- sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
- A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
- A61B5/743—Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
- G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/32—Normalisation of the pattern dimensions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2505/00—Evaluating, monitoring or diagnosing in the context of a particular type of medical care
- A61B2505/09—Rehabilitation or training
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1116—Determining posture transitions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
- A61B5/1122—Determining geometric values, e.g. centre of rotation or angular range of movement of movement trajectories
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Pathology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Dentistry (AREA)
- Physiology (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
Die Erfindung betrifft ein Verfahren zur 3D-Bewegungsanalyse und Sofortfeedback für Trainingsübungen wobei eine Person mittels eines 3D-Sensors erfasst wird wobei mittels des 3D-Sensors Rohdaten in Form von Bilddaten sowie Tiefendaten der Person erfasst werden und diese Daten an eine Verarbeitungseinheit weitergeleitet und in dieser verarbeitet werden, wobei aus den Rohdaten Gelenkpunkte extrahiert werden und eine Aufteilung in Elementarübungen und deren zeitliche Normierung für eine sich anschließende Bewegungsanalyse erfolgt.The invention relates to a method for 3D movement analysis and immediate feedback for training exercises, whereby a person is captured by means of a 3D sensor, raw data in the form of image data and depth data of the person are captured by means of the 3D sensor and this data is passed on to a processing unit and in it are processed, with articulation points being extracted from the raw data and a division into elementary exercises and their temporal normalization for a subsequent movement analysis.
Description
Die Erfindung betrifft ein Verfahren zur 3D-Bewegungsanalyse und Sofortfeedback für Trainingsübungen und findet insbesondere für den Bereich der medizinischen Trainingstherapie sowie im Fitnessmarkt, zur Prävention, im Heimtraining sowie im Leistungssport Anwendung.The invention relates to a method for 3D movement analysis and instant feedback for training exercises and is used in particular for the field of medical training therapy and in the fitness market, for prevention, in home training and in competitive sports.
In der medizinischen Trainingstherapie (MTT) ist es üblich, dass Patienten nach einer vorherigen Operation (z.B. Implantierung eines künstlichen Hüftgelenkes) ein Aufbauprogramm zur Wiederherstellung der Kraft und Beweglichkeit absolvieren. Dies erfolgt stationär oder ambulant unter Anleitung eines Therapeuten. Die gegenwärtige personelle und finanzielle Situation im Gesundheitswesen macht es erforderlich, dass ein Therapeut bis zu 15 Patienten gleichzeitig betreuen muss. Dies hat zur Folge, dass der Therapeut nicht zu jeder Zeit den Patienten fachgerecht anleiten kann. In der Konsequenz kann eine fehlerhaft ausgeführte Übung dazu führen, dass die Trainingstherapie weniger effektiv ist oder sogar einen schädlichen Effekt bedingt. Es ist essentiell, dass die Trainingsübungen möglichst exakt ausgeführt werden. Um dem vorzubeugen, müssen technische Verfahren zur Unterstützung des Therapeuten entwickelt werden. Diese müssen in der Lage sein die Bewegung im dreidimensionalen Raum zu erfassen und an den Patienten so rück zu koppeln, dass es zu einer Verbesserung der Bewegungsqualität kommt. Eine solche Lösung würde eine erhöhte Kraft und Beweglichkeit zur Folge haben, was die Lebensqualität der Betroffenen signifikant steigert.In medical training therapy (MTT) it is common for patients to complete a program to restore strength and mobility after a previous operation (e.g. implantation of an artificial hip joint). This is done on an inpatient or outpatient basis under the guidance of a therapist. The current personnel and financial situation in the healthcare system makes it necessary for a therapist to care for up to 15 patients at the same time. As a result, the therapist cannot guide the patient professionally at all times. As a consequence, an incorrectly performed exercise can make the training therapy less effective or even cause a harmful effect. It is essential that the training exercises are carried out as precisely as possible. To prevent this, technical procedures to support the therapist must be developed. These must be able to record the movement in three-dimensional space and to couple it back to the patient in such a way that the quality of movement is improved. Such a solution would result in increased strength and mobility, which significantly increases the quality of life of those affected.
Bisher handelsübliche Trainingsgeräte erfassen über Messsensoren Satz- und Wiederholungszahlen sowie Bewegungsamplitude und -geschwindigkeit. Bewegungskorrekturen werden nicht an den Patienten vermittelt. Im Rahmen der Rehabilitation, vor allem beim Gleichgewichts- und Gangtraining von Schlaganfallpatienten, findet häufig ein feedbackgestütztes Training Anwendung. Verschiedene Studien zeigten bereits, dass sich der Einsatz von Feedbacktraining mittels Sofortinformation in der Rehabilitation bewährt hat (
Eine Erkennung von expliziten Fehlerbildern war bisher nicht möglich. Ein Fehlerbild ist dabei eine Bewegung, die nicht der Sollbewegung entspricht und einen negativen Einfluss auf die Qualität der ausgeführten Übung hat. So neigen viele Patienten bei der Hüftabduktion am Seilzug dazu, statt das Bein abzuspreizen den Oberkörper zu beugen. Die Übung wird damit zwar einfacher für den Patienten, erzielt aber nicht den gewünschten Effekt der Kräftigung der Hüftmuskulatur. Zwar beschreibt der Stand der Technik (
Derzeitig existieren auf dem Markt keine Systeme, die für Rehabilitationsübungen spezifische Fehlerbilder an den Patienten vermitteln. Vielmehr sind im Fitnesssportbereich Systeme zu finden, die über in Geräten verbaute Kraft-, Beschleunigungs- und Abstandssensoren Amplituden und Wiederholungen messen und an den Nutzer weitergeben. Es gibt lediglich Geräte, die Fehlerbilder während der Übungsausführung unter Verwendung von 3D-Skelettdaten anhand manuell aufgestellter Regeln erkennen. Diese Regeln orientieren sich meist an Körpergeometrien, wie Winkel oder Höhen, die am Skelett gemessen werden.There are currently no systems on the market that convey specific error patterns to the patient for rehabilitation exercises. Rather, systems can be found in the fitness sport sector that measure amplitudes and repetitions using force, acceleration and distance sensors built into devices and pass them on to the user. There are only devices that recognize error patterns during the execution of the exercise using 3D skeleton data based on manually established rules. These rules are mostly based on body geometries, such as angles or heights, which are measured on the skeleton.
Ein von Sportwissenschaftlern und Ingenieuren gegründetes Unternehmen wirbt mit digitalisiertem Krafttraining. Dabei ist ein Inertialsensor, welcher die Bewegung in einem 3D-Koordinatensystem erfassen kann, am Gerät (beispielsweise einer Hantelstange) angebracht. Zur Trainingssteuerung dient dabei die Dokumentation der Parameter Geschwindigkeit, Stecke und Leistung sowie die Übungsausführung, welche durch die Hantelortskurve ausgegeben wird.A company founded by sports scientists and engineers advertises digitalized strength training. An inertial sensor, which can detect the movement in a 3D coordinate system, is attached to the device (for example a dumbbell). The documentation of the parameters speed, distance and power as well as the execution of the exercise, which is output by the dumbbell locus, are used for training control.
In der Druckschrift
Das Verfahren kann zur Durchführung und Überwachung von Rehabilitationsprozessen genutzt werden. Die Bestimmung der individuellen Parameter, durch manuelle Messung oder auch durch z.B. Computertomographie bzw. Sensorik, kann automatisch erfolgen. Im dargestellten Verfahren können auch individuelle Gangparameter implementiert werden. Es wird keine Normierung des muskuloskelettalen Modells erstellt. Damit ist keine Unabhängigkeit von der Körpergröße gegeben. Es findet keine zeitliche Normierung statt. Damit ist der Effekt der unterschiedlich schnell ausgeführten Trainingsbewegung enthalten. Es existiert kein visuelles Echtzeitfeedback, welches einen Avatar darstellt und schnell auf jeweilig fehlerhafte Übungsausführungen hinweist.The method can be used to carry out and monitor rehabilitation processes. The determination of the individual parameters, by manual measurement or by e.g. computed tomography or sensor technology, can take place automatically. In the method shown, individual gait parameters can also be implemented. No normalization of the musculoskeletal model is created. This means that there is no independence from body size. There is no time normalization. This includes the effect of the training movement carried out at different speeds. There is no visual real-time feedback that represents an avatar and quickly points out incorrect exercises.
Aus der Druckschrift
Es findet lediglich eine mechanische Messung mit Sensoren statt. Es existiert keine kontaktlose Messung. Damit wird nur die Gerätebewegung erfasst, aber nicht, ob die Person an sich die Bewegung korrekt ausführt. Es gibt kein visuelles Echtzeitfeedback. Es wird kein 3D-Skelettmodell bestimmt. Es werden keine spezifischen Fehlerbilder erkannt.There is only a mechanical measurement with sensors. There is no contactless measurement. This means that only the movement of the device is recorded, but not whether the person is performing the movement correctly. There is no real-time visual feedback. No 3D skeleton model is determined. No specific error patterns are recognized.
Die Druckschrift
In der Druckschrift
Aus dem Stand der Technik ergeben sich jedoch einige Nachteile. Bisherige Systeme sind nicht in der Lage, konkrete Fehlerbilder explizit zu erfassen und arbeiten zudem regelbasiert und sind nicht leicht auf neue Trainingsübungen adaptierbar. Zudem existiert kein visuelles Echtzeitfeedback mittels Avatars, welches Fehlerbilder anzeigt. Auch ist die Bewegungserfassung in 3D nicht ausreichend genug. Systeme die Marker basiert arbeiten sind zwar recht genau, aber nicht praxistauglich, da zum Anlegen der Marker sehr viel Zeit vergeht wodurch ein schnelles Wechseln zwischen den Patienten nicht möglich ist.However, the prior art has some disadvantages. Previous systems are not able to explicitly record specific error patterns and also work on a rule-based basis and are not easily adaptable to new training exercises. In addition, there is no visual real-time feedback using avatars, which shows error images. Motion detection in 3D is also insufficient. Systems that work marker-based are quite precise, but not practical, as it takes a lot of time to apply the markers, which means that it is not possible to quickly switch between patients.
Für die orthopädische Rehabilitation ist eine exakte Ausführung der Übungen entscheidend, da es ansonsten zu Verletzungen des Patienten kommen kann. Da Marker basierte Systeme wegen des Aufwandes ausscheiden, ist es notwendig, die Bewegung des Patienten ohne extra Vorbereitung so genau zu erfassen, dass eine Bewegungsanalyse möglich ist. Dafür muss ein Körpermodell der Person mit den wichtigsten Knochen und Gelenken erstellt werden.
Die Bestimmung expliziter Fehlerbilder ist notwendig, da es nur so den Patienten möglich ist, über ein Feedback einen expliziten Korrekturhinweis zu erhalten. Im Falle des zuvor beschriebenen Abkippens des Oberkörpers bei der Hüftabduktion muss die Aufforderung kommen, diesen nicht zu kippen.
Regelbasierte Verfahren müssen von Hand für jede einzelne Übung konfiguriert werden und erfordern technisches Detailwissen. Ein Therapeut ist nicht in der Lage eigene Übungen zu entwickeln.
Das unzureichende Feedback bestehender Systeme bewirkt, dass mögliche Fehler nicht adäquat an den Nutzer weitergeleitet werden. Damit kann keine Korrektur der Bewegung erfolgen. Bisherige Systeme zählen lediglich die Anzahl die Wiederholungen und erkennen ob, eine Bewegung falsch ausgeführt wurde, aber nicht was konkret falsch ist.Exact execution of the exercises is crucial for orthopedic rehabilitation, as otherwise the patient may be injured. Since marker-based systems are ruled out because of the effort involved, it is necessary to record the patient's movement without any additional preparation so precisely that a movement analysis is possible. For this, a body model of the person with the most important bones and joints must be created.
The determination of explicit error patterns is necessary, as this is the only way for the patient to receive an explicit correction note via feedback. In the case of the above-described tilting of the upper body during hip abduction, the request must come not to tilt it.
Rule-based procedures have to be configured manually for each individual exercise and require detailed technical knowledge. A therapist is unable to develop his own exercises.
The inadequate feedback from existing systems means that possible errors are not adequately passed on to the user. This means that the movement cannot be corrected. Previous systems only count the number of repetitions and recognize whether a movement was carried out incorrectly, but not what is specifically wrong.
Aufgabe der Erfindung ist es, ein Verfahren zur 3D-Bewegungsanalyse und Sofortfeedback für Trainingsübungen zu entwickeln, welches die Bewegungen einer Person genau erfassen, daraus automatisch Fehlerbilder ableiten kann und ein echtzeitfähiges, visuelles Feedback an die Person ausgibt.The object of the invention is to develop a method for 3D movement analysis and instant feedback for training exercises, which can precisely record the movements of a person, automatically derive error images from them and output real-time visual feedback to the person.
Diese Aufgabe wird mit den kennzeichnenden Merkmalen des ersten Patentanspruchs gelöst.This object is achieved with the characterizing features of the first claim.
Vorteilhafte Ausgestaltungen ergeben sich aus den Unteransprüchen.Advantageous refinements result from the subclaims.
Das Verfahren dient der 3D-Bewegungsanalyse und dem Sofortfeedback für Trainingsübungen wobei eine Person mittels eines 3D-Sensors erfasst wird derart, dass mittels des 3D-Sensors Rohdaten in Form von Bilddaten sowie Tiefendaten der Person erfasst werden, wobei diese Daten an eine Verarbeitungseinheit weitergeleitet und in dieser verarbeitet werden. Aus den Rohdaten werden Gelenkpunkte extrahiert. Verfahrensgemäß erfolgt eine Aufteilung in Elementarübungen und deren zeitliche Normierung für eine sich anschließende Bewegungsanalyse.The method is used for 3D movement analysis and immediate feedback for training exercises, whereby a person is recorded by means of a 3D sensor in such a way that raw data in the form of image data and depth data of the person are recorded by means of the 3D sensor, these data being forwarded to a processing unit and be processed in this. Articulation points are extracted from the raw data. According to the procedure, there is a division into elementary exercises and their temporal normalization for a subsequent movement analysis.
Bevorzugt werden Fehlerbilder erkannt und über eine Visualisierungseinheit der Person angezeigt. Fehlerbilder umfassen dabei falsche Bewegungen oder Körperhaltungen sowie eine zu schnelle oder langsame Ausführung der Übung. Das bedeutet, dass mittels des Verfahrens auch die Zeit für eine einzelne Bewegung der Übung erfasst wird.Error images are preferably recognized and displayed to the person via a visualization unit. Mistakes include wrong movements or postures as well as too fast or slow execution of the exercise. This means that the method also records the time for a single movement of the exercise.
In einer vorteilhaften Ausgestaltung erfolgt eine Normierung dieser Gelenkpunkte beziehungsweise der Anatomie der Person.In an advantageous embodiment, these articulation points or the anatomy of the person are normalized.
Den Ausgangspunkt für alle Berechnungen stellt der optische 3D Sensor, insbesondere in Form einer Kamera dar. Es wird sichergestellt, dass die Person, deren Bewegung analysiert werden soll, komplett innerhalb des Sichtfeldes des 3D Sensors platziert ist. Je nachdem welchen Öffnungswinkel der Sensor hat, ergibt sich ein unterschiedlicher Abstand zwischen Sensor und Person. Die Ausgabe des Sensors besteht aus einem RGB Bild und den korrespondierenden Tiefenkoordinaten der entsprechenden Pixel.The starting point for all calculations is the optical 3D sensor, especially in the form of a camera. It is ensured that the person whose movement is to be analyzed is placed completely within the field of view of the 3D sensor. Depending on the opening angle of the sensor, there is a different distance between the sensor and the person. The output of the sensor consists of an RGB image and the corresponding depth coordinates of the corresponding pixels.
Das Extrahieren der Gelenkpunkte wird bevorzugt wie nachfolgend beschrieben umgesetzt. Die Person wird mittels des Sensors detektiert, wobei Ihre 3D Position im Raum erfasst wird. Daraus leitet sich die Bestimmung der einzelnen Gelenkpunkte ab, welche für die Bewegungserkennung benötigt werden. Es werden neuronale Faltungsnetze dazu verwendet, jeden Hauptgelenkpunkt des menschlichen Körpers zu detektieren, sodass insgesamt 19 Gelenkpunkte extrahiert werden. Um aus diesen Punkten eine 3D-Position in einem Koordinatensystem mit einer x-, y- und z-Achse in Relation zur Kameraposition zu erhalten, werden die Punkte auf die korrespondierenden Tiefendaten rückprojiziert. Ausgehend von den Informationen der horizontalen und vertikalen Auflösung in Pixeln, des horizontalen und vertikalen Blickfeldes sowie der 2D Position aus dem neuronalen Faltungsnetz wird die 3D Position auf den cm genau bestimmt. Das Ergebnis wird als Skelettmodell bezeichnet. Die genannte Methode ist nur exemplarisch zu sehen, wobei andere Methoden ebenfalls zum Einsatz gelangen können.The extraction of the points of articulation is preferably implemented as described below. The person is detected by means of the sensor, and their 3D position in space is recorded. The determination of the individual articulation points, which are required for motion detection, is derived from this. Neural convolution networks are used to detect every main joint point of the human body, so that a total of 19 joint points are extracted. In order to obtain a 3D position from these points in a coordinate system with an x, y and z axis in relation to the camera position, the points are projected back onto the corresponding depth data. Based on the information of the horizontal and vertical resolution in pixels, the horizontal and vertical field of view and the 2D position from the neural convolution network, the 3D position is determined to the centimeter. The result is called a skeleton model. The method mentioned is only to be seen as an example, although other methods can also be used.
Das entstandene Skelettmodell muss in der Folge normiert werden, um eine Unabhängigkeit vom Sensor beziehungsweise der Anatomie des Probanden zu erreichen. Dies entspricht einer Generalisierung für das spätere maschinelle Lernen. Als erstes wird das Sensorkoordinatensystem/Kamerakoordinatensystem, wobei der 3D-Sensor den Ursprung des Koordinatensystems darstellt, in ein lokales personenabhängiges Koordinatensystem überführt. Den neuen Ursprung stellt die Hüfte der erfassten Person dar. Relativ zu diesem berechnen sich die weiteren Gelenkpunkte. In einem zweiten Schritt wird das lokale in ein hierarchisches Koordinatensystem überführt. Dabei hängt ein Gelenkpunkt nur von seinem nächstfolgendem Gelenkpunkt ab. Der linke Fuß leitet sich beispielsweise aus dem linken Knie ab, welcher sich aus der linken Hüfte ableitet. Das heißt eine Rotationsmatrix beschreibt die Beziehungen zwischen zwei aufeinanderfolgenden Gelenkpunkten. In einem letzten Schritt wird die Distanz zwischen den einzelnen Gelenkpunkten auf eins normiert. Damit ist das finale Modell unabhängig von der Größe der Person und es können allgemeine Parameter aufgestellt werden.The resulting skeleton model must then be standardized in order to achieve independence from the sensor or the anatomy of the test subject. This corresponds to a generalization for later machine learning. First, the sensor coordinate system / camera coordinate system, with the 3D sensor representing the origin of the coordinate system, is converted into a local, person-dependent coordinate system. The hip of the captured person represents the new origin. The other points of articulation are calculated relative to this. In a second step, the local coordinate system is converted into a hierarchical system of coordinates. A point of articulation only depends on its next following point of articulation. For example, the left foot is derived from the left knee, which is derived from the left hip. That is, a rotation matrix describes the relationships between two consecutive points of articulation. In a final step, the distance between the individual points of articulation is normalized to one. This means that the final model is independent of the size of the person and general parameters can be set up.
Für die Bewertung einzelner Übungen werden diese in Elementarübungen aufgeteilt. Dies wird auch als Wiederholung bezeichnet. Dabei bezeichnet einen Elementarübung genau ein einmaliges Ausführen dieser Übung, beispielsweise genau eine Kniebeuge. Da die Bewegungen zyklisch erfolgen, kann dies mit einem sinusförmigen Verlauf für einzelne Gelenkpunkte modelliert werden. Um eine Aufteilung vorzunehmen, wird der Winkel zwischen zwei interagierenden Gelenkpunkten verwendet. Für die Hüftabduktion wird beispielsweise der Winkel zwischen linkem und rechtem Fußgelenk aufgespannt über die Hüfte als Basis genommen. Der Winkel erreicht ein Minimum, wenn die Füße zusammen sind und ein Maximum, wenn die Beine auseinander sind. Dieses lokale Minimum wird nun detektiert und als Start beziehungsweise Ende einer Elementarübung festgelegt. Die Punkte zwischen zwei Minima stellen die eigentlichen Elementarübungen dar. Zudem lässt sich aus aufeinanderfolgenden Minima ermitteln, wie schnell eine Übung ausgeführt wurde und ob sie im Zielbereich liegt.For the evaluation of individual exercises, these are divided into elementary exercises. This is also known as repetition. An elementary exercise describes exactly one execution of this exercise, for example exactly one squat. Since the movements occur cyclically, this can be modeled with a sinusoidal curve for individual joint points. To make a split, the angle between two interacting hinge points is used. For hip abduction, for example, the angle between the left and right ankle spanned across the hip is taken as the basis. The angle reaches a minimum when the feet are together and a maximum when the legs are apart. This local minimum is now detected and defined as the start or end of an elementary exercise. The points between two minima represent the actual elementary exercises. In addition, successive minima can be used to determine how quickly an exercise was carried out and whether it is within the target range.
Nach der Aufteilung in Elementarübungen erfolgt die zeitliche Normierung der Elementarübungen. Für die Bewegungserkennung muss der zeitliche Faktor normalisiert werden, um sie mit einer zuvor aufgenommenen Referenz vergleichen zu können. Damit ist gewährleistet, dass für die Bewertung der Übungsqualität sowie die Detektion von Fehlerbildern die Ausführungsgeschwindigkeit keine Rolle spielt. Generell eignet sich für diese Aufgabe ein Dynamic Time Warping (DTW). Da dieses Verfahren allerdings voraussetzt, dass die Bewegung abgeschlossen ist, kann als Alternative das Incremental Dynamic Time Warping (IDTW) angewendet werden. Für jeden einzelnen Gelenkpunkt wird eine kumulative Kostenmatrix K berechnet, während die DTW-Werte in K die kumulierten euklidischen Differenzen zwischen einer Referenz und einer aktuellen Koordinate sind. Jedes Mal, wenn ein neues Bild aufgenommen wird und neue Gelenkpunkte des Skelettmodells berechnet werden, wird eine neue Spalte an K angehängt. Das Bild aus der Referenzaufnahme, welches am besten zum zuletzt aufgenommen Bild passt wird dadurch bestimmt, dass der minimale DTW-Wert in dieser Spalte ermittelt wird. Auf diese Weise wird der Teil der Referenz ausgewählt, der am besten zu der aktuellen Teilsequenz passt.After the division into elementary exercises, the time standardization of the elementary exercises takes place. The time factor must be normalized for motion detection so that it can be compared with a previously recorded reference. This ensures that the speed of execution does not play a role in the assessment of the quality of the exercise or the detection of error images. Dynamic Time Warping (DTW) is generally suitable for this task. However, since this procedure requires that the movement has been completed, Incremental Dynamic Time Warping (IDTW) can be used as an alternative. A cumulative cost matrix K is calculated for each individual joint point, while the DTW values in K are the cumulative Euclidean differences between a reference and a current coordinate. Every time a new image is taken and new points of articulation of the skeleton model are calculated, a new column is appended to K. The image from the reference recording that best fits the last recorded image is determined by determining the minimum DTW value in this column. In this way, the part of the reference that best fits the current partial sequence is selected.
Ergänzend zu dem genannten Vorgehen wird dieser Ansatz dahingehend erweitert, dass in jedem Bild für jeden Gelenkpunkt die Distanz zwischen der Referenz und dem aktuellen Bild berechnet wird. Dies entspricht dem Distanzvektor D. In Folge dessen wird nicht der minimale DTW Wert ausgewählt, sondern die jeweiligen Distanzvektoren. Um die Kostenmatrix K nach jeder Wiederholung zurückzusetzen, wird die vorherige Erkennung der Elementarübungen genutzt. Die Kostenmatrix K wird zurückgesetzt, wenn das Ende einer Wiederholung erkannt wurde, das heißt alle Elemente werden gelöscht.In addition to the procedure mentioned, this approach is expanded to the effect that the distance between the reference and the current image is calculated in each image for each articulation point. This corresponds to the distance vector D. As a result, it is not the minimum DTW value that is selected, but the respective distance vectors. In order to reset the cost matrix K after each repetition, the previous recognition of the elementary exercises is used. The cost matrix K is reset when the end of a repetition has been recognized, that is, all elements are deleted.
Gemäß dem Verfahren erfolgt eine Bewegungserkennung auf Basis von Fehlerbildern. In einem ersten Schritt der Bewegungsanalyse wird ein Merkmalsvektor M aufgestellt, der eine Teilmenge aller Distanzvektoren enthält. Entscheidend ist dabei, welche Übung und welcher Gelenkpunkt hierbei involviert ist. Dieser Merkmalsvektor repräsentiert die Eingangsdaten für das maschinelle Lernverfahren. In dieser Ausführung handelt es sich um eine Support Vektor Maschine (SVM). Insbesondere handelt es sich um eine Multiklassen SVM mit einem one-vs-all Ansatz. Diese SVM wurde im Vorfeld mit vielen Merkmalsvektoren M angelernt. Dabei ist bekannt, in welchen Sequenz Fehlerbilder auftreten. Diese wurden entsprechend annotiert. Es existieren bei x Fehlerbildern, x+1 Klassen, wobei die zusätzliche Klasse für eine korrekte Bewegungsausführung steht. Es ist zu beachten, dass die Klassifizierung hierarchisch geordnet ist. Das heißt, es kann nur eine Klasse zur selben Zeit auftreten. Wenn keine der Klassen gefunden wird, ist von einer korrekten Bewegungsausführung auszugehen.According to the method, motion is detected on the basis of error images. In a first step of the movement analysis, a feature vector M is set up which contains a subset of all distance vectors. The decisive factor is which exercise and which joint point is involved. This feature vector represents the input data for the machine learning process. This version is a support vector machine (SVM). In particular, it is a multi-class SVM with a one-vs-all approach. This SVM was trained with many feature vectors M in advance. It is known in which sequence error patterns occur. These have been annotated accordingly. If there are x error patterns, x + 1 classes exist, with the additional class standing for correct movement execution. It should be noted that the classification is ordered hierarchically. This means that only one class can occur at a time. If none of the classes is found, correct movement can be assumed.
Die Kommunikation zwischen dem 3D-Sensor und der Visualisierungseinheit erfolgt über ein Standard TCP/IP Protokoll. Übertragen werden Daten über die Person, die Trainingsübung sowie der Verlauf der aktuell ausgeführten Übung. Eine Übertragung findet framebasiert statt. Dadurch ist eine Echtzeitfähigkeit für die Visualisierung garantiert.The communication between the 3D sensor and the visualization unit takes place via a standard TCP / IP protocol. Data about the person, the training exercise and the course of the exercise currently being carried out are transmitted. A transmission takes place on a frame basis. This guarantees real-time capability for the visualization.
In einer vorteilhaften Ausgestaltung ist das Verfahren mit einer Datenbank verknüpft, wobei in der Datenbank alle Informationen beziehungsweise Daten zu der Person oder den Personen sowie die Trainingspläne gespeichert. Dabei ist genau spezifiziert, wie viele Sätze und Wiederholungen in einer einzelnen Trainingsübung zu absolvieren sind. Zudem werden für jedes Bild die Skelettmodellinformationen von allen Gelenkpunkten sowie die erkannten Fehlerbilder gespeichert.In an advantageous embodiment, the method is linked to a database, with all information or data relating to the person or persons as well as the training plans being stored in the database. It specifies exactly how many sets and repetitions are to be completed in a single training exercise. In addition, the skeleton model information from all articulation points as well as the detected error images are saved for each image.
Um die Probanden zur Durchführung der Therapieübungen zu motivieren und ein möglichst genaue Übungsausführung zur garantieren, wird ein echtzeitfähiges, visuelles Feedback realisiert. Das System besteht aus einem visualisierenden Teil und einem Teil für die Datenverwaltung.
Für die im obigen Abschnitt erläuterten personengebundenen Datenbankeintragungen steht eine grafische Nutzerschnittstelle zur Dateneintragung zur Verfügung. Der Therapeut kann die Daten für die einzelnen Trainingsszenarien individuell für jeden Patienten eingeben. Der Start der Trainingsübung kann selbstständig durch den Patienten erfolgen.
Die zuvor im Skelettmodel beschriebenen Gelenkpunkte werden zu einem dreidimensionalen Drahtgittermodell verbunden. Dieses wird im Folgenden als Avatar bezeichnet. Die Animation des Avatars erfolgt in Echtzeit. Der Avatar kann individuell durch den Nutzer gestaltet werden. Wenn Fehlerbilder zuvor durch die Bewegungsanalyse erkannt werden, werden die betroffenen Körperpartien durch realitätsnahe Ampelfarben (rot, gelb, grün) eingefärbt. Rot und gelb stehen dabei für Fehler und grün für eine ordnungsgemäße Ausführung. Zudem wird eine Handlungsanweisung gegeben, wie der Fehler zu berichtigen ist, beispielsweise in Form einer Aufforderung „Oberkörper gerade halten“. Dadurch kann unmittelbar eine Korrektur in der Körperhaltung erfolgen. Die Einzelschritte einer Übung werden in Echtzeit gezählt und angezeigt. Nachdem die für die Übung notwendigen Wiederholungen erfolgt sind, wird eine statistische Auswertung für den Nutzer visualisiert. Diese Statistik gibt einen genauen Überblick über den Trainingsfortschritt und etwaige Probleme. Zudem werden der Amplitudenwinkel während der Ausführung und die aufsummierten Einzelfehler erfasst und visualisiert.In order to motivate the test persons to carry out the therapy exercises and to guarantee that the exercise is carried out as precisely as possible, real-time visual feedback is implemented. The system consists of a visualizing part and a part for data management.
For the personal database entries explained in the above section, there is a graphical user interface for data entry available. The therapist can enter the data for the individual training scenarios individually for each patient. The patient can start the training exercise independently.
The articulation points previously described in the skeleton model are connected to form a three-dimensional wire frame model. This is referred to as the avatar in the following. The avatar is animated in real time. The avatar can be designed individually by the user. If error images are recognized beforehand by the movement analysis, the affected parts of the body are colored using realistic traffic light colors (red, yellow, green). Red and yellow stand for errors and green for correct execution. In addition, instructions are given on how to correct the error, for example in the form of a request to “keep your upper body straight”. Corrections in posture can then be made immediately. The individual steps of an exercise are counted and displayed in real time. After the repetitions necessary for the exercise have taken place, a statistical evaluation is visualized for the user. These statistics give a precise overview of the training progress and any problems. In addition, the amplitude angle during execution and the accumulated individual errors are recorded and visualized.
Um eine Übung erfassen zu können ist es relevant, wann eine Person hierfür bereit ist. Es wird eine zuvor definierte Körperhaltung als Startereignis für die Analyse detektiert. Eine derartige Körperhaltung kann beispielsweise wie folgt aussehen. Für das Auslösen des Ereignisses muss eine Person gerade dastehen, die Knie durchstrecken und die Füße nahe beieinander lassen. Die Parameter lauten dabei wie folgt:
- • Distanz zwischen den Fußgelenken ist kleiner als 250 mm.
- • Der Flexionswinkel des linken Knies ist größer als 160 Grad.
- • Der Flexionswinkel des rechten Knies ist größer als 160 Grad.
- • Der Winkel zwischen linker Schulter und linkem Fußgelenk mit der linken Hüfte als Basis ist größer als 150 Grad.
- • The distance between the ankles is less than 250 mm.
- • The flexion angle of the left knee is greater than 160 degrees.
- • The flexion angle of the right knee is greater than 160 degrees.
- • The angle between the left shoulder and the left ankle with the left hip as the base is greater than 150 degrees.
Wenn diese vier Bedingungen für mehr als 4 Sekunden erfüllt sind, wird in einer beispielhaften Ausgestaltung das Startereignis detektiert. Alternativ oder zusätzlich kann das Startereignis durch eine Körperbewegung ausgelöst werden.If these four conditions are met for more than 4 seconds, the start event is detected in an exemplary embodiment. Alternatively or additionally, the start event can be triggered by a body movement.
Gemäß dem Verfahren erfolgt bevorzugt eine Postfilterung der Rohdaten, die eine zeitliche Glättung garantiert und zu einer höheren Robustheit führt. Die Aufgabe der Postfilterung besteht darin, kurze zeitliche Abweichungen vom Standardverhalten auszuschließen. Insbesondere Rauschen in den Tiefendaten können zu einer Änderung der 3D-Position einer Gelenkverbindung führen, was sich auch auf das Verfahren auswirkt. Außerdem kann sich eine Person an der Grenze der Klassen befinden. Um ein Jittering beziehungsweise eine Bildinstabilität zu vermeiden, ist eine zeitliche Glättung notwendig. Diese wird durch einen Mittelwertfilter realisiert, der auf die Zeitreihen der zuvor erstellten Error Labels angewendet wird. Bevorzugt ist ein mittlerer Filter der Größe 3 oder 5 ausreichend, um Rauschen und Jittering zu entfernen.According to the method, post-filtering of the raw data is preferably carried out, which guarantees temporal smoothing and leads to greater robustness. The task of post-filtering is to exclude short temporal deviations from the standard behavior. In particular, noise in the depth data can lead to a change in the 3D position of an articulated connection, which also affects the method. In addition, a person can be on the boundary of the classes. Temporal smoothing is necessary to avoid jittering or image instability. This is implemented using a mean value filter that is applied to the time series of the previously created error labels. Preferably, a
In einer vorteilhaften Ausgestaltung wird der Verlauf des Fortschrittes der Person mittels Speicherung der personenbezogenen Echtzeitdaten dokumentiert, wobei durch die Speicherung der personengebunden Echtzeitdaten diese jederzeit betrachtet werden können. Im Falle, dass die Person ein Patient ist, ist es dem Therapeuten dadurch möglich, eine statistische Auswertung des Patientenfortschrittes zu erstellen und das Training dementsprechend anzupassen und zu verbessern. Eine zielgerichtete Nachbetrachtung eines Einzeltrainings kann auch zusammen mit dem Probanden erfolgen. Hierfür können aufgezeichnete Bewegungsausführungen aus der Datenbank extrahiert und anschließend visualisiert werden. Es möglich, die Ausführungsgeschwindigkeit der Bewegungen anzupassen oder zu pausieren. Dadurch ist es dem Therapeuten möglich, den Patienten eine detaillierte Hilfestellung zu gewährleisten, welche weitaus gezielter ist und über die bisherige Bewegungsrehabilitation hinausgeht. Zudem kann die Verlaufsdokumentation für Kostenträger relevant sein. Das Verfahren kann für das Training mit dem eigenen Körpergewicht oder für ein Gerätetraining angewendet werden.In an advantageous embodiment, the progress of the person is documented by means of storing the personal real-time data, whereby the storing of the personal real-time data can be viewed at any time. In the event that the person is a patient, it is possible for the therapist to create a statistical evaluation of the patient's progress and to adapt and improve the training accordingly. A targeted review of an individual training session can also take place together with the test person. For this purpose, recorded movements can be extracted from the database and then visualized. It is possible to adjust the speed of execution of the movements or to pause them. This enables the therapist to provide the patient with detailed assistance, which is far more targeted and goes beyond the previous movement rehabilitation. In addition, the progress documentation can be relevant for insurance providers. The method can be used for training with your own body weight or for equipment training.
Für den Ablauf des beschriebenen Verfahrens müssen die folgenden Punkte erledigt werden.
- • Die Person muss mit einem 3D Sensor erfasst werden.
- • Es ist eine exakte Bestimmung des Skelettmodells notwendig.
- • Es müssen Normierungen der Bewegungen stattfinden, damit die Anatomie der Person und die Geschwindigkeit der Bewegungsausführung keinen Einfluss mehr haben.
- • Es muss eine Klassifizierung der Fehlerbilder mittels Methoden des maschinellen Lernens stattfinden. Dabei beruhen die Modellinformationen auf Beispieldaten und nicht auf expliziten Regeln.
- • Es muss ein visuelles Echtzeitfeedback realisiert werden. In diesem muss ein Avatar sichtbar sein, welcher der Bewegung präzise folgt. Fehler müssen anatomisch korrekt angezeigt und Korrekturvorschläge gemacht werden. Es kann eine Statistik zu häufigen Fehlerquellen erfolgen. Zudem werden die Übungen zeitlich und räumlich quantifiziert.
- • Eine Datenback muss implementiert werden, in der die spezifischen Informationen des Patienten beinhaltet sind. Diese garantiert eine individuelle Behandlung.
- • Es muss eine Schnittstelle zwischen 3D-Bewegungsanalyse und visuellem Echtzeitfeedback geschaffen werden.
- • The person must be recorded with a 3D sensor.
- • An exact determination of the skeleton model is necessary.
- • The movements must be normalized so that the anatomy of the person and the speed at which the movement is performed no longer have any influence.
- • The error patterns must be classified using machine learning methods. The model information is based on sample data and not on explicit rules.
- • Visual real-time feedback must be implemented. In this an avatar must be visible, which precisely follows the movement. error must be displayed in an anatomically correct manner and suggestions for correction made. Statistics can be provided on frequent sources of error. In addition, the exercises are quantified in terms of time and space.
- • A data back-up must be implemented, which contains the specific information of the patient. This guarantees an individual treatment.
- • An interface between 3D motion analysis and visual real-time feedback must be created.
Die Erfindung wird nachfolgend an einem Ausführungsbeispiel und zugehörigen Zeichnungen näher erläutert.The invention is explained in more detail below using an exemplary embodiment and associated drawings.
Es zeigen:
-
1 einen Aufbau für das erfindungsgemäße Verfahren, -
2 die Verfahrensschritte für die Bewegungsanalyse, -
3 ein verfahrensgemäßes Skelettmodell.
-
1 a structure for the method according to the invention, -
2 the procedural steps for the motion analysis, -
3 a procedural skeleton model.
Innerhalb der Verarbeitungseinheit
Der 3D Sensor
Within the
The
In
Aus dem erfindungsgemäßen Verfahren ergeben sich gegenüber dem Stand der Technik die folgenden Vorteile:
- • Das verwendete Skelettmodell zur Extraktion der Skelettpunkte ist wesentlich genauer als bisherige Ansätze.
- • Die Normierung des Skelettmodells gewährleistet eine Unabhängigkeit von individuellen Körperproportionen.
- • Die zeitliche Normierung mit der IDTW gewährleistet eine Unabhängigkeit von der Ausführungsgeschwindigkeit einer Übung.
- • Die Bewegungsklassifikation zur Fehlerbilderkennung beruht auf Methoden des maschinellen Lernens und ist nicht regelbasiert. Dies resultiert in einer erhöhten Genauigkeit und einer Zeiteinsparung.
- • Ein visuelles Echtzeitfeedback mit Avatar in Ampelfarben sowie konkreten Korrekturhinweisen. Zudem erfolgt eine statistische Erfassung der Übungsausführung. Es existiert eine einfache und verständliche Bedienbarkeit.
- • Eine Verlaufsdokumentation mittels abgespeicherten Gelenkpunkten bietet enorme Vorteile für Patienten, Therapeuten und Kostenträger.
- • The skeleton model used to extract the skeletal points is much more accurate than previous approaches.
- • The normalization of the skeleton model ensures independence from individual body proportions.
- • The time standardization with the IDTW ensures independence from the execution speed of an exercise.
- • The movement classification for fault pattern recognition is based on machine learning methods and is not rule-based. This results in increased accuracy and time savings.
- • A visual real-time feedback with avatar in traffic light colors as well as specific correction instructions. In addition, there is a statistical recording of the execution of the exercise. There is a simple and understandable usability.
- • Documentation of the progress by means of stored articulation points offers enormous advantages for patients, therapists and payers.
BezugszeichenlisteList of reference symbols
- 11
- Optischer 3D-SensorOptical 3D sensor
- 22
- VerarbeitungseinheitProcessing unit
- 33
- VisualisierungseinheitVisualization unit
- 44th
- SkelettmodellSkeleton model
- 55
- Gelenkjoint
- 66th
- Körperpartie Body part
- PP.
- Personperson
ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.
Zitierte PatentliteraturPatent literature cited
- DE 10331110 A1 [0007]DE 10331110 A1 [0007]
- DE 60023463 T2 [0009]DE 60023463 T2 [0009]
- DE 102016006009 B4 [0011]DE 102016006009 B4 [0011]
- DE 102017116558 A1 [0012]DE 102017116558 A1 [0012]
Zitierte Nicht-PatentliteraturNon-patent literature cited
- Banala, Kim, Agrawal & Scholz, 2009; Hirokawa & Matsumura, 1989; Kim, Ogilvie, Shimabukuro, Stewart & Shin, 2015; Raschner, Lembert, Mildner, Platzer & Patterson, 2008 [0003]Banala, Kim, Agrawal & Scholz, 2009; Hirokawa & Matsumura, 1989; Kim, Ogilvie, Shimabukuro, Stewart & Shin, 2015; Raschner, Lembert, Mildner, Platzer & Patterson, 2008 [0003]
- Huang, Cheng & Chiang, 2013; Khan, Lin, Guan & Guo; Su, Chiang & Huang, 2014 [0004]Huang, Cheng & Chiang, 2013; Khan, Lin, Guan &Guo; Su, Chiang & Huang, 2014 [0004]
Claims (12)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102020100366.8A DE102020100366A1 (en) | 2020-01-09 | 2020-01-09 | Procedure for 3D motion analysis and instant feedback for training exercises |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102020100366.8A DE102020100366A1 (en) | 2020-01-09 | 2020-01-09 | Procedure for 3D motion analysis and instant feedback for training exercises |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102020100366A1 true DE102020100366A1 (en) | 2021-07-15 |
Family
ID=76542628
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102020100366.8A Pending DE102020100366A1 (en) | 2020-01-09 | 2020-01-09 | Procedure for 3D motion analysis and instant feedback for training exercises |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102020100366A1 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113569807A (en) * | 2021-08-18 | 2021-10-29 | 苏州哔蹦智能科技有限公司 | Posture correcting system and method based on human body posture recognition |
DE102021006307A1 (en) | 2021-12-22 | 2023-06-22 | Heero Sports Gmbh | Method and device for optical detection and analysis in a movement environment |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10331110A1 (en) | 2003-04-17 | 2004-11-25 | Duda, Georg N., Prof. Dr. | Simulation method for musculo-skeletal loading of patient for use in surgical intervention and/or rehabilitation using individual musculo-skeletal parameters for determination of musculo-skeletal strains |
DE60023463T2 (en) | 2000-06-06 | 2006-07-13 | Panatta Sport S.R.L. | Device for training posture |
DE102016006009A1 (en) | 2016-05-14 | 2017-11-16 | Wabco Gmbh | relay valve |
DE102017116558A1 (en) | 2017-07-21 | 2019-01-24 | Stecnius UG (haftungsbeschränkt) | Method for guiding movement sequences and training device for guiding movement sequences |
-
2020
- 2020-01-09 DE DE102020100366.8A patent/DE102020100366A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE60023463T2 (en) | 2000-06-06 | 2006-07-13 | Panatta Sport S.R.L. | Device for training posture |
DE10331110A1 (en) | 2003-04-17 | 2004-11-25 | Duda, Georg N., Prof. Dr. | Simulation method for musculo-skeletal loading of patient for use in surgical intervention and/or rehabilitation using individual musculo-skeletal parameters for determination of musculo-skeletal strains |
DE102016006009A1 (en) | 2016-05-14 | 2017-11-16 | Wabco Gmbh | relay valve |
DE102017116558A1 (en) | 2017-07-21 | 2019-01-24 | Stecnius UG (haftungsbeschränkt) | Method for guiding movement sequences and training device for guiding movement sequences |
Non-Patent Citations (2)
Title |
---|
Banala, Kim, Agrawal & Scholz, 2009; Hirokawa & Matsumura, 1989; Kim, Ogilvie, Shimabukuro, Stewart & Shin, 2015; Raschner, Lembert, Mildner, Platzer & Patterson, 2008 |
Huang, Cheng & Chiang, 2013; Khan, Lin, Guan & Guo; Su, Chiang & Huang, 2014 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113569807A (en) * | 2021-08-18 | 2021-10-29 | 苏州哔蹦智能科技有限公司 | Posture correcting system and method based on human body posture recognition |
DE102021006307A1 (en) | 2021-12-22 | 2023-06-22 | Heero Sports Gmbh | Method and device for optical detection and analysis in a movement environment |
WO2023117723A1 (en) * | 2021-12-22 | 2023-06-29 | Heero Sports Gmbh | Method and apparatus for optical recognition and analysis in a movement environment |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE202018006818U1 (en) | System for optimized joint monitoring in physiotherapy | |
DE69738073T2 (en) | SYSTEM FOR THE TRAINING OF PERSONS FOR THE PERFORMANCE OF MINIMALLY INVASIVE SURGICAL PROCEDURES | |
DE102011083876B4 (en) | Method for controlling the movement of an X-ray device and X-ray system | |
EP2593031B1 (en) | Optical method for determining the change of length of a leg | |
EP3501400A1 (en) | Method and device for ensuring a correct positioning for a radiography receiver | |
DE102009002747A1 (en) | Method and device for evaluating a movement of a patient | |
DE112008001625T5 (en) | Training method and apparatus for carrying out the method | |
EP2815341A2 (en) | Fitness device and method for automatically checking for the correct performance of a fitness exercise | |
DE102017116558A1 (en) | Method for guiding movement sequences and training device for guiding movement sequences | |
WO2005033726A1 (en) | Determining patient-related information on the position and orientation of mr images by the individualisation of a body model | |
DE102020100366A1 (en) | Procedure for 3D motion analysis and instant feedback for training exercises | |
EP2455138A1 (en) | Training system, mobile terminal and training method for a person | |
WO1995031933A1 (en) | Measuring arrangement for analysing the human gait | |
WO2020099166A1 (en) | Method and device for constructing a prosthesis | |
DE102012202990A1 (en) | Apparatus and method for measuring and detecting body part and limb mobilities | |
DE10118397C2 (en) | System and method for the subjective assessment of a vehicle construction in a virtual environment with the help of virtual reality | |
EP3819908A1 (en) | Method for the detection, analysis and optimization of movements in the sports field and rehabilitation field | |
EP3226206A1 (en) | Classification by images | |
EP3307159B1 (en) | Method and device for determining a desired movement of a limb | |
DE10253075B4 (en) | Device for the diagnosis and / or treatment of dysfunctions of the cervical spine | |
DE102019122374B4 (en) | Method for producing a prosthesis socket | |
DE112021006633T5 (en) | PERIPHERAL PERFUSION MEASUREMENT | |
EP3190966A1 (en) | System and method for quantitative examining of postural control of persons | |
WO2004095341A2 (en) | Method for simulating musculoskeletal strains on a patient | |
DE102010049498A1 (en) | Physiotherapeutic inspection process for monitoring and correcting body attitudes of person, involves outputting correction information for varying movement or attitude of defined body part based on difference between data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R084 | Declaration of willingness to licence | ||
R163 | Identified publications notified |