-
Die vorliegende Erfindung betrifft ein Verfahren zum Erkennen von Kopfgesten, d.h. Kopfschüttelgesten und Kopfnickgesten, und eine Vorrichtung für ein am Kopf getragenes Gerät, insbesondere für Ohrstöpsel, Ohrhörer, intelligente Brillen oder dergleichen.
-
Stand der Technik
-
Ohrhörer mit zusätzlicher Funktionalität werden als „Hearables“ bezeichnet. Über Berührung, Gesten oder Sprachsteuerung kann der Nutzer mit dem Gerät interagieren bzw. kommunizieren. Etwa kann Kopfnicken oder Kopfschütteln erkannt werden, um dem Gerät eine zustimmende oder ablehnende Nachricht zu übermitteln. Mithilfe derartiger Gesten kann der Nutzer Einstellungen und Funktionen von Hearable-Geräten durch einfache Kopfbewegungen bedienen.
-
Aus der
US 2009/097689 A , der TWM
482914 U , der
US 2013/316679 A , der
US 2015/003651 A und der
US 2015/036835 A sind Ansätze bekannt, um die Daten von mehreren Sensoren zu kombinieren, um Winkeländerungen des Kopfes in zwei oder drei Dimensionen, d. h. eine Rotation um eine x-, y- und z-Achse, zu verfolgen. Bei den Sensoren kann es sich um Beschleunigungssensoren, Drehratensensoren und Drucksensoren handeln.
-
Weiter sind Ansätze bekannt, welche nur die Messdaten eines einzelnen Sensors auswerten. In der
US 2012/020502 A werden die Daten eines Drehratensensors verwendet, in der
CN 107277661 A die Daten eines Drucksensors und in der
US 2006/140422 A die Daten eines Beschleunigungssensors.
-
Inertialsensoren wie Beschleunigungs- und Drehratensensoren sind deutlich sensibler bezüglich Bewegungsänderungen und robuster gegenüber Umwelteinflüssen als andere Sensoren, wie z.B. Drucksensoren, und dadurch am besten zur Analyse von Bewegungen geeignet.
-
Die Orientierungsänderung des Geräts im Raum, d.h. die Änderung der Rotationswinkel um x-, y-, und z-Achse, lässt sich durch die Fusion von Drehraten- und Beschleunigungssensordaten bestimmen. Die geschätzte Orientierung weist über kurze Zeit hinweg eine hohe Genauigkeit auf, was gut zur Erkennung von kurzzeitigen Gesten dienen kann. Insbesondere der Stromverbrauch des Drehratensensors ist jedoch relativ hoch. Die Fusion von Drehraten- und Beschleunigungssensordaten trägt ebenfalls zum hohen Stromverbrauch bei.
-
Falls ausschließlich Drehratensensordaten verwendet werden, können ebenfalls hohe Genauigkeiten in der Erkennung von Kopfgesten erzielt werden, da Kopfnicken und Kopfschütteln Winkeländerungen in verschiedenen Richtungen entsprechen, die durch Integration des Drehratensignals bestimmt werden können. Der Stromverbrauch dieses Ansatzes ist aufgrund der Verwendung des Drehratensensors jedoch ebenfalls deutlich höher im Vergleich zu Methoden, die nur auf Beschleunigungssensordaten beruhen.
-
Wenn das Koordinatensystem des Geräts entsprechend des Kopfkoordinatensystems ausgerichtet ist, wie z.B. im Fall der intelligenten Brille, ist ein 3-Achsen-Beschleunigungssensor ausreichend, um den Neigungswinkel des Kopfes zu bestimmen. Kopfnicken kann in diesem Fall anhand von Änderungen des Neigungswinkels detektiert werden. Bei Kopfhörern und insbesondere bei Ohrstöpseln kann das Koordinatensystem des Geräts jedoch abhängig vom Nutzer und dessen Gewohnheiten stark vom Kopfkoordinatensystem abweichen, sodass der Neigungswinkel des Geräts zur Erkennung von Kopfnicken im Allgemeinen nicht ausreicht. Des Weiteren ist es nicht möglich, anhand des Neigungswinkels Kopfschütteln zu detektieren.
-
Offenbarung der Erfindung
-
Die Erfindung stellt ein Verfahren zum Erkennen von Kopfschüttelgesten und Kopfnickgesten sowie eine Vorrichtung für ein am Kopf getragenes Gerät mit den Merkmalen der unabhängigen Patentansprüche bereit.
-
Bevorzugte Ausführungsformen sind Gegenstand der jeweiligen Unteransprüche.
-
Gemäß einem ersten Aspekt betrifft die Erfindung demnach ein Verfahren zum Erkennen von Kopfschüttelgesten und Kopfnickgesten unter Verwendung einer Beschleunigungssensoreinrichtung eines am Kopf getragenen Geräts, wobei die Beschleunigungssensoreinrichtung Beschleunigungssignale für drei linear unabhängige Raumrichtungen bereitstellt. Eine Norm einer Gesamtbeschleunigung wird anhand der von der Beschleunigungssensoreinrichtung bereitgestellten Beschleunigungssignale gemessen. Kopfschüttelgesten und Kopfnickgesten werden unter Verwendung der berechneten Norm der Gesamtbeschleunigung erkannt. Das Erkennen einer Kopfschüttelgeste erfolgt in Abhängigkeit von einem Vergleich der berechneten Norm der Gesamtbeschleunigung mit einem vorgegebenen Schwellenwert. Das Erkennen einer Kopfnickgeste erfolgt in Abhängigkeit von einem Erkennen eines Oszillierens der berechneten Norm der Gesamtbeschleunigung um einen vorgegebenen Beschleunigungswert.
-
Gemäß einem zweiten Aspekt betrifft die Erfindung demnach eine Vorrichtung für ein am Kopf getragenes Gerät, mit einer Beschleunigungssensoreinrichtung und einer Signalverarbeitungseinrichtung. Die Beschleunigungssensoreinrichtung stellt Beschleunigungssignale für drei linear unabhängige Raumrichtungen bereit. Die Signalverarbeitungseinrichtung berechnet eine Norm einer Gesamtbeschleunigung anhand der von der Beschleunigungssensoreinrichtung bereitgestellten Beschleunigungssignale. Die Signalverarbeitungseinrichtung erkennt unter Verwendung der berechneten Norm der Gesamtbeschleunigung Kopfschüttelgesten und Kopfnickgesten. Die Signalverarbeitungseinrichtung führt das Erkennen einer Kopfschüttelgeste in Abhängigkeit von einem Vergleich der berechneten Norm der Gesamtbeschleunigung mit einem vorgegebenen Schwellenwert durch. Die Signalverarbeitungseinrichtung führt das Erkennen einer Kopfnickgeste in Abhängigkeit von einem Erkennen eines Oszillierens der berechneten Norm der Gesamtbeschleunigung um einen vorgegebenen Beschleunigungswert durch.
-
Vorteile der Erfindung
-
Die Erfindung stellt ein Verfahren zur Erkennung von Kopfgesten bereit, welches nur auf den Daten eines Beschleunigungssensors basiert sein kann. Das Verfahren ist sowohl für Geräte, die im Ohr (z.B. Ohrstöpsel) oder über dem Ohr (z.B. Kopfhörer) getragen werden, als auch für Brillen anwendbar. Das Verfahren ist robust gegenüber der genauen Position, an der das Gerät getragen wird, und wird kaum durch die Orientierung des Sensors während des Tragens beeinträchtigt. Das Verfahren kann unabhängig davon, wie der Nutzer das Gerät trägt, sehr hohe Detektionsgenauigkeiten erzielen. Dadurch ergibt sich ein großer Anwendungsbereich für unterschiedliche Endgeräte, z.B. Ohrstöpsel, Kopfhörer, Brillen oder dergleichen.
-
Das Verfahren beruht nur auf Beschleunigungssensordaten, wodurch der Stromverbrauch im Vergleich zu Methoden, die Drehratensensoren verwenden, deutlich verringert wird, und ermöglicht sowohl die Erkennung von Kopfnicken als auch von Kopfschütteln. Das Verfahren zeichnet sich also durch einen geringen Strom- und Ressourcenverbrauch aus.
-
Im Folgenden wird das dem Verfahren zugrunde liegende Prinzip genauer erläutert. Falls sich die Beschleunigungssensoreinrichtung in einem stationären Zustand befindet, entspricht der Betrag des Beschleunigungssignals dem Betrag der Erdbeschleunigung, d.h. etwa 9,81 m/s2.
-
Die Beschleunigung, welche die Beschleunigungssensoreinrichtung beim Kopfschütteln zusätzlich durch die Bewegung des Kopfes erfährt, befindet sich in der horizontalen Ebene, d. h. senkrecht zur Erdbeschleunigung. Der Betrag des Beschleunigungssignals ist in diesem Fall größer als der Betrag der Erdbeschleunigung.
-
Beim Kopfnicken befindet sich die durch diese Kopfbewegung generierte Beschleunigung in der gleichen Ebene wie die Erdbeschleunigung. Je nachdem, ob der Kopf auf oder ab bewegt wird, stimmt die Richtung der Beschleunigung der Kopfbewegung mit der Richtung der Erdbeschleunigung überein oder ist ihr entgegengesetzt. Daraus ergibt sich, dass der Betrag der von der Beschleunigungssensoreinrichtung gemessenen Beschleunigung um die Erdbeschleunigung herum oszilliert. Die Tatsache, dass die gemessene Beschleunigung beim Kopfschütteln größer als die Erdbeschleunigung ist und beim Kopfnicken um die Erdbeschleunigung herum oszilliert, ermöglicht somit eine Unterscheidung von Kopfschütteln und Kopfnicken.
-
Unter der Bezeichnung „Norm der Gesamtbeschleunigung“ ist eine mathematische Norm zu verstehen. Bevorzugt kann die euklidische Norm bzw. 2-Norm herangezogen werden.
-
Jedoch können auch weitere Normen berechnet werden, etwa eine Summennorm bzw. 1-Norm oder eine p-Norm.
-
Gemäß einer Weiterbildung des Verfahrens zum Erkennen von Kopfschüttelgesten und Kopfnickgesten wird die Kopfschüttelgeste oder Kopfnickgeste nur dann erkannt, wenn eine zeitliche Änderung (etwa eine Zeitableitung) der Beschleunigungssignale (das heißt ein Ruck), welche anhand der von der Beschleunigungssensoreinrichtung bereitgestellten Beschleunigungssignale berechnet wird, einen vorgegebenen Schwellenwert überschreitet. Dadurch können Kopfgesten von anderen Nutzerbewegungen unterschieden werden. Die zugrunde liegende Überlegung ist, dass beim Kopfschütteln und Kopfnicken die Änderungen der Beschleunigungen größer sind als bei der üblichen Verwendung.
-
Gemäß einer Weiterbildung des Verfahrens zum Erkennen von Kopfschüttelgesten und Kopfnickgesten wird zum Erkennen, ob die zeitliche Änderung der Beschleunigungssignale den vorgegebenen Schwellenwert überschreitet, anhand der von der Beschleunigungssensoreinrichtung bereitgestellten Beschleunigungssignale eine Norm der zeitlichen Änderung der Beschleunigungssignale berechnet. Die Norm der zeitlichen Änderung der Beschleunigungssignale wird mittels eines Tiefpassfilters gefiltert, wobei die gefilterte Norm der zeitlichen Änderung der Beschleunigungssignale mit dem vorgegebenen Schwellenwert verglichen wird. Durch Verwendung des Tiefpassfilters kann hochfrequentes Sensorrauschen unterdrückt werden.
-
Gemäß einer Weiterbildung des Verfahrens zum Erkennen von Kopfschüttelgesten und Kopfnickgesten werden zum Berechnen der Norm der zeitlichen Änderung der Beschleunigungssignale die Beträge der zeitlichen Ableitungen der Beschleunigungssignale berechnet und addiert.
-
Gemäß einer Weiterbildung des Verfahrens zum Erkennen von Kopfschüttelgesten und Kopfnickgesten wird die berechnete Norm der Gesamtbeschleunigung mittels eines Tiefpassfilters gefiltert, wobei Kopfschüttelgesten und Kopfnickgesten anhand der gefilterten Norm der Gesamtbeschleunigung erkannt werden. Durch Verwendung des Tiefpassfilters kann hochfrequentes Sensorrauschen unterdrückt werden.
-
Gemäß einer Weiterbildung des Verfahrens zum Erkennen von Kopfschüttelgesten und Kopfnickgesten wird die berechnete Norm der Gesamtbeschleunigung mittels eines Gleitender-Mittelwert (englisch: Moving-Average)-Filters gefiltert, wobei Kopfschüttelgesten und Kopfnickgesten anhand der gefilterten Norm der Gesamtbeschleunigung erkannt werden. Durch Verwendung des Moving-Average-Filters können die für die Berechnung erforderlichen Ressourcen geschont werden.
-
Gemäß einer Weiterbildung des Verfahrens zum Erkennen von Kopfschüttelgesten und Kopfnickgesten wird die berechnete Norm der Gesamtbeschleunigung mittels eines Filters mit reduzierter Abtastrate gefiltert, wobei Kopfschüttelgesten und Kopfnickgesten anhand der gefilterten Norm der Gesamtbeschleunigung erkannt werden. Durch Verwendung des Filters mit reduzierter Abtastrate können die für die Berechnung erforderlichen Ressourcen geschont werden.
-
Gemäß einer Weiterbildung des Verfahrens zum Erkennen von Kopfschüttelgesten und Kopfnickgesten wird eine Kopfschüttelgeste nur dann erkannt, falls die Norm der Gesamtbeschleunigung den vorgegebenen Schwellenwert für mindestens eine vorgegebene Zeitspanne überschreitet. Dadurch können Kopfschüttelgesten von anderen ruckartigen Ereignissen unterschieden werden.
-
Gemäß einer Weiterbildung des Verfahrens zum Erkennen von Kopfschüttelgesten und Kopfnickgesten entspricht der vorgegebene Beschleunigungswert zum Erkennen der Kopfnickgeste einer Erdbeschleunigung.
-
Figurenliste
-
Es zeigen:
- 1 ein schematisches Blockdiagramm einer Vorrichtung für ein am Kopf getragenes Gerät gemäß einer Ausführungsform der Erfindung;
- 2 eine schematische Darstellung des zeitlichen Verlaufs einer Norm einer Gesamtbeschleunigung; und
- 3 ein Flussdiagramm eines Verfahrens zum Erkennen von Kopfschüttelgesten und Kopfnickgesten gemäß einer Ausführungsform der Erfindung.
-
Die Nummerierung von Verfahrensschritten dient der Übersichtlichkeit und soll im Allgemeinen keine bestimmte zeitliche Reihenfolge implizieren. Insbesondere können auch mehrere Verfahrensschritte gleichzeitig durchgeführt werden.
-
Beschreibung der Ausführungsbeispiele
-
1 zeigt ein schematisches Blockdiagramm einer Vorrichtung 1 für ein am Kopf getragenes Gerät, insbesondere für Ohrstöpsel, Ohrhörer, intelligente Brillen oder dergleichen. Die Vorrichtung 1 umfasst eine Beschleunigungssensoreinrichtung 2 mit drei Sensorkomponenten 21, 22, 23, welche jeweils eine Beschleunigung entlang einer Raumrichtung erfassen, wobei die Raumrichtungen linear unabhängig sind. Insbesondere können die Raumrichtungen senkrecht zueinander stehen.
-
Die von den Sensorkomponenten 21, 22, 23 erzeugten Beschleunigungssignale werden an eine Signalverarbeitungseinrichtung 3 der Vorrichtung 1 ausgegeben und von dieser verarbeitet. Die Signalverarbeitungseinrichtung 3 unterscheidet zuerst Kopfgesten von anderen Ereignissen. Hierzu wird eine zeitliche Änderung (Zeitableitung) der Beschleunigungssignale berechnet. Weiter wird eine Norm der zeitlichen Änderung der Beschleunigungssignale berechnet, welche anschließend optional mittels eines Tiefpassfilters gefiltert wird. Die gefilterte Norm der zeitlichen Änderung der Beschleunigungssignale wird mit einem vorgegebenen Schwellenwert verglichen. Falls der Schwellenwert überschritten wird, wird eine Kopfgeste erkannt.
-
Parallel oder anschließend überprüft die Signalverarbeitungseinrichtung 3, ob eine Kopfschüttelgeste oder eine Kopfnickgeste vorliegt. Hierzu berechnet die Signalverarbeitungseinrichtung 3 eine Norm einer Gesamtbeschleunigung anhand der von der Beschleunigungssensoreinrichtung 2 bereitgestellten Beschleunigungssignale. Optional wird die berechnete Norm anschließend mittels eines Tiefpassfilters, eines Moving-Average-Filters und/oder eines Filters mit reduzierter Abtastrate gefiltert. Die berechnete Norm der Gesamtbeschleunigung wird mit einem vorgegebenen Schwellenwert verglichen. Wird der Schwellenwert für eine vorgegebene Zeitspanne überschritten, erkennt die Signalverarbeitungseinrichtung 3 eine Kopfschüttelgeste.
-
Wird der Schwellenwert nicht überschritten, so überprüft die Signalverarbeitungseinrichtung 3, ob ein Oszillieren der berechneten Norm der Gesamtbeschleunigung um einen vorgegebenen Beschleunigungswert vorliegt. Beispielweise kann die Signalverarbeitungseinrichtung 3 überprüfen, ob der vorgegebene Beschleunigungswert in einem vorgegebenen Zeitfenster öfter als eine vorgegebene Anzahl überschritten bzw. unterschritten wird. Wird eine Oszillation erkannt, erkennt die Signalverarbeitungseinrichtung 3 eine Kopfnickgeste.
-
2 zeigt eine schematische Darstellung des zeitlichen Verlaufs einer Norm einer Gesamtbeschleunigung für abwechselndes Kopfschütteln und Kopfnicken. Ein erster Signalverlauf B1 entspricht einer Kopfschüttelgeste. Hierbei tritt eine großer Wert der berechneten Norm A der Gesamtbeschleunigung auf, d. h. der vorgegebenen Schwellenwert wird überschritten. Ein zweiter Signalverlauf B2 entspricht einer Kopfnickgeste. Hierbei oszilliert die berechnete Norm A der Gesamtbeschleunigung um die Erdbeschleunigung g herum.
-
3 zeigt ein Flussdiagramm eines Verfahrens zum Erkennen von Kopfschüttelgesten und Kopfnickgesten.
-
In einem ersten Schritt S1 erzeugen Sensorkomponenten 21, 22, 23 einer Beschleunigungssensoreinrichtung 2 eines am Kopf getragenen Geräts Beschleunigungssignale für drei linear unabhängige Raumrichtungen.
-
Zumindest teilweise parallel oder auch in beliebiger Reihenfolge zeitlich aufeinanderfolgend wird erkannt, ob eine Kopfgeste vorliegt, S2, und ob bei Vorliegen einer Kopfgeste eine Kopfschüttelgeste oder Kopfnickgeste vorliegt, S3.
-
Zum Erkennen, ob eine Kopfgeste vorliegt, S2, werden zuerst zeitliche Ableitungen der Beschleunigungssignale berechnet, S21. Weiter wird eine Norm der zeitlichen Änderung der Beschleunigungssignale berechnet, etwa eine L1-Norm, wozu die Beträge der zeitlichen Änderung der einzelnen Beschleunigungssignale separat berechnet und addiert werden, S22.
-
Die Norm der zeitlichen Änderung der Beschleunigungssignale wird mittels eines Tiefpassfilters gefiltert, S23, und die gefilterte Norm der zeitlichen Änderung der Beschleunigungssignale wird mit einem vorgegebenen Schwellenwert verglichen, S24. Falls der Schwellenwert überschritten wird, wird eine Kopfgeste erkannt, S25. Es ist jedoch noch nicht bekannt, ob es sich um eine Kopfschüttelgeste oder eine Kopfnickgeste handelt. Dies wird in Schritt S3 bestimmt, wobei Merkmale extrahiert werden, anhand derer die detektierte Kopfgeste als Kopfschütteln oder Kopfnicken klassifiziert werden kann.
-
Zum Erkennen, ob bei Vorliegen einer Kopfgeste eine Kopfschüttelgeste oder Kopfnickgeste vorliegt, S3, wird zuerst eine Norm einer Gesamtbeschleunigung anhand der von der Beschleunigungssensoreinrichtung 2 bereitgestellten Beschleunigungssignale berechnet, S31. Im stationären Zustand entspricht dies dem Betrag der Erdbeschleunigung.
-
Die berechnete Norm der Gesamtbeschleunigung wird mittels eines Tiefpassfilters gefiltert, S32. Die gefilterte Norm der Gesamtbeschleunigung wird weiter zusätzlich mittels eines Moving-Average-Filters zum Bestimmen des gleitenden Mittelwertes oder mittels eines Filters mit reduzierter Abtastrate gefiltert, S33.
-
Die gefilterte Norm der Gesamtbeschleunigung wird mit einem vorgegebenen Schwellenwert verglichen. Wird diese für eine vorgegebene Zeitspanne überschritten, wird eine Kopfschüttelgeste erkannt, S34, sofern eine Kopfgeste vorliegt. Falls in Schritt S25 erkannt wird, dass tatsächlich eine Kopfgeste vorliegt, wird eine Kopfschüttelgeste erkannt, S41.
-
Wird erkannt, dass die gefilterte Norm der Gesamtbeschleunigung für eine vorgegebene Zeitspanne um den Betrag der Erdbeschleunigung herum oszilliert, wird eine Kopfnickgeste erkannt, sofern eine Kopfgeste vorliegt. Falls in Schritt S25 erkannt wird, dass tatsächlich eine Kopfgeste vorliegt, wird eine Kopfnickgeste erkannt, S42.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- US 2009097689 A [0003]
- TW 482914 U [0003]
- US 2013316679 A [0003]
- US 2015003651 A [0003]
- US 2015036835 A [0003]
- US 2012020502 A [0004]
- CN 107277661 A [0004]
- US 2006140422 A [0004]
