DE102014222355A1

DE102014222355A1 - Müdigkeitserkennung mit Sensoren einer Datenbrille

Info

Publication number: DE102014222355A1
Application number: DE102014222355.5A
Authority: DE
Inventors: Matthias Kaufmann; Michael Graef; Wolfgang Spießl
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2014-11-03
Filing date: 2014-11-03
Publication date: 2016-05-04

Abstract

Offenbart wird eine Datenbrille, umfassend eine Anzeige sowie einen Sensor zur Messung einer Eigenschaft des Körpers des Trägers der Datenbrille; wobei zumindest ein Teil des Sensors dazu eingerichtet ist, beim bestimmungsgemäßen Tragen der Datenbrille in Kontakt zum Körper des Trägers der Datenbrille zu sein.

Description

Die Erfindung betrifft eine Datenbrille mit einem kontaktbasierten Sensor zur Ermittlung einer Körpereigenschaft des Trägers der Datenbrille. Hieraus wird auf den Fahrerzustand geschlossen.
Heutzutage sind Datenbrillen bekannt, mit deren Hilfe dem Träger der Datenbrille Informationen angezeigt werden können. Die Datenbrille wird dabei wie eine gewöhnliche Brille, die als Sehhilfe verwendet wird, auf dem Kopf getragen. Gegenüber einer gewöhnlichen Brille umfasst die Datenbrille jedoch Sensorik und insbesondere eine Anzeige, die beim Tragen der Datenbrille nahe dem oder den Augen des Benutzers angeordnet ist. Die Anzeige kann dabei zwei Teilanzeigen umfassen, eine für jedes Auge. Auf der Anzeige können dem Benutzer Informationen in Form von Text, graphischen Darstellungen oder Mischungen davon angezeigt werden. Die Anzeige kann insbesondere teildurchlässig sein, also so ausgestaltet sein, dass der Träger auch die Umgebung hinter der Anzeige erkennen kann. Besonders bevorzugt werden dem Träger die Informationen kontaktanalog angezeigt, was manchmal auch als Augmented Reality bezeichnet wird. Dabei wird dem Träger der Datenbrille die Information an einem Ort angezeigt, der an dem Ort eines Objektes in der Umgebung orientiert ist, also beispielsweise an das Objekt angrenzend oder dieses überlagernd. Zur Realisierung der Kontaktanalogie, muss typischerweise die Position des Objektes in der Umgebung, die Pose der Datenbrille in Relation zum Objekt sowie die Pose der Datenbrille zu den Augen des Trägers bekannt sein. Pose beschreibt hier sowohl die Position der Datenbrille als auch die Ausrichtung der Datenbrille. Generell lassen sich Datenbrillen auch beim Führen von Kraftfahrzeugen verwenden. Besonders Datenbrillen mit halb-transparenten Anzeigen eignen sich hierzu, da der Fahrer bei diesen Datenbrillen die Umgebung durch die Anzeige hindurch direkt wahrnehmen kann. Die für die Fahraufgabe nötige Wahrnehmung der Verkehrssituation um das Fahrzeug herum ist somit möglich.
Bekannt sind kontaktlose, kontaktbasierte sowie invasive Sensoren zur Detektion verschiedener Körpereigenschaften (auch Biovitaldaten genannt) wie Puls, Hautleitwert, Atmung, Blutdruck, Sauerstoffsättigung, Augenliedschluss, Pupillengröße, EEG, Muskel Kontraktion. Ein Großteil der Systeme arbeitet dabei kontaktbasiert (nicht kontaktlos oder invasiv) mit einer hohen Qualität, also Messgenauigkeit und Verfügbarkeit.
Im Fahrzeugbereich sind Systeme zum Erkennen des Fahrerzustandes, insbesondere, ob der Fahrer müde ist, bekannt. Ein typisches Beispiel hierfür ist der Lenkwinkel, aber auch Kamerasysteme im Cockpit, die auf die Augen des Fahrer gerichtet sind und den Liedschluss messen oder Systeme im Lenkrad, die bei Auflage beider Hände den Puls detektieren.
In der Verwendung im Fahrzeug scheiden invasive Systeme meist aus. Im Stand der Technik bekannte kontaktbasierte Systeme sind meist nicht ausreichend verfügbar, da ein dauerhaftes Berühren an definierten Positionen (z.B. Lenkrad, Bedienelemente) nicht gewährleistet ist. Insgesamt ist die Qualität der Erkennungssysteme im Wesentlichen abnehmend von invasiv, kontaktbasiert bis hin zu kontaktlosen Systemen.
Zur Erkennung des Fahrerzustandes werden im Stand der Technik in Fahrzeugen im Wesentlichen indirekte Größen (wie Lenkwinkel) oder kontaktlose Systeme eingesetzt mit entsprechend schlechter Qualität zur Aussage der Fitness/Müdigkeit. Die Information des Lenkwinkels (beispielsweise mithilfe der im Stand der Technik bekannten Ackermann Gierrate) gibt eine Information über die Ablenkung des Fahrers, nicht jedoch über dessen Müdigkeit oder Fitness-Zustand und ist daher schlecht zur Ableitung entsprechender Empfehlungen geeignet.
Weiterhin sind aus der Druckschrift WO 2013/066634 A1 eine Datenbrille mit Kamera bekannt, um die Bewegung der Pupille des Trägers der Datenbrille zu bestimmen.
Der Erfindung liegt dementsprechend die Aufgabe zugrunde eine Sensorik und Auswerteeinheit bereitzustellen, mit der Körpereigenschaften des Fahrers eines Fahrzeugs zuverlässig und mit guter Qualität erfasst werden können.
Die Aufgabe wird durch die Datenbrille und das Verfahren gemäß den unabhängigen Ansprüchen gelöst. Vorteilhafte Weiterbildungen sind in den abhängigen Ansprüchen definiert.
Ein erster Aspekt der Erfindung betrifft eine Datenbrille, umfassend eine Anzeige sowie einen Sensor zur Messung einer Eigenschaft des Körpers des Trägers der Datenbrille; wobei zumindest ein Teil des Sensors dazu eingerichtet ist, beim bestimmungsgemäßen Tragen der Datenbrille in Kontakt zum Körper des Trägers der Datenbrille zu sein. Die Anzeige befindet sich beim bestimmungsgemäßen Gebrauch im Sichtfeld des Trägers und ist insbesondere halbtransparent. Bei dem Sensor handelt es sich um einen kontaktbasierten Sensor. Die über den Kontakt durchführbaren Messungen ermöglichen eine Bestimmung der Körpereigenschaft oder -eigenschaften. Es kann vorgesehen sein, dass die Datenbrille auch dazu eingerichtet ist, den Fahrerzustand basierend auf der Messung zu bestimmen bzw. schätzen.
Durch das Einbringen der Sensoren in eine Vorrichtung (die Datenbrille), die am Körper des Fahrers getragen wird, wird eine hohe Verfügbarkeit der Sensormessungen erreicht. Gleichzeitig muss vom Fahrer kein zur Datenbrille zusätzliches Gerät vom Fahrer mitgeführt und getragen werden. Die Datenbrille stellt dem Fahrer über ihre Anzeigen bereits eine Funktion bereit (beispielsweise kontaktanaloge Anzeigen) und bietet dem Fahrer somit einen direkt wahrnehmbaren Vorteil. Die Messung der Vitalwerte des Fahrers ist insbesondere in Ausnahmesituationen zur Erhöhung der Verkehrssicherheit nötig und die Akzeptanz von Fahrern eine reine Messvorrichtung zu tragen kann niedrig sein. Gemäß der vorgeschlagenen Erfindung wird die Messeinrichtung in die Datenbrille integriert, von der erwartet wird, dass sie akzeptiert und zuverlässig getragen wird aufgrund der direkt wahrnehmbaren Funktion (Anzeige) für den Fahrer. Somit kann von einer höheren Verfügbarkeit des Messungen der Datenbrille gegenüber Messungen beispielsweise am Lenkrad oder Bedienelementen des Fahrzeugs ausgegangen werden. Ferner werden die Körpereigenschaften direkt gemessen und nicht beispielsweise über Beobachtungen des Lenkwinkels indirekt eruiert bzw. nur grob geschätzt.
Somit können durch die Integration zusätzlicher Biosensorik in eine Datenbrille kontaktbasierte Systeme zum Einsatz kommen und die Qualität der gemessenen Biovitaldaten deutlich erhöht werden. Gleichzeitig kann die aufwändige und teurer Integration von Messsensorik für Vitaldaten in Fahrzeuge vermieden werden.
Der Sensor ist vorteilhafterweise ein im Stand der Technik bekannter hochwertiger Sensor. Er ist typischerweise zur Messung einer oder mehrerer der folgenden Eigenschaften des Körpers eingerichtet: Puls, Hautleitwert, Atemfrequenz, Atemtiefe, Blutdruck, Sauerstoffsättigung des Blutes, Augenliedschluss, Pupillengröße, Spannungsschwankungen an der Kopfoberfläche, Muskelkontraktion.
In einer bevorzugten Weiterbildung umfasst die Datenbrille ferner einen zweiten Sensor zur Messung einer Eigenschaft des Körpers des Trägers der Datenbrille; wobei der Sensors dazu eingerichtet ist, beim bestimmungsgemäßen Tragen der Datenbrille ohne Kontakt zum Körper des Trägers der Datenbrille zu sein. Es handelt sich somit um die Integration eines kontaktlosen Sensors, beispielsweise um eine Kamera, die dazu eingerichtet ist, Aufnahmen eines Auges des Trägers der Datenbrille zu machen. Diese im Stand der Technik bekannte Kamera wird manchmal auch Eye-Tracker genannt und mithilfe ihrer Aufnahmen kann beispielsweise der Lidschluss bestimmt werden. Durch den Einsatz eines kontaktlosen Sensors in der Datenbrille anstatt der Verwendung eines im Fahrzeug installierten Kamerasystems wird der Abstand zum Messobjekt (dem Fahrer) reduziert und somit weitere Messmethoden ermöglicht bzw. die Qualität existierender, kontaktloser Methoden verbessert.
In einem erweiterten Ausführungsbeispiel umfasst die Datenbrille ferner ein Kommunikationsmodul, wobei die Datenbrille dazu eingerichtet ist, Messdaten des Sensors an ein Fahrzeug zu übertragen. Die Übertragung der Messdaten ermöglicht eine Reaktion des Fahrzeugs, in Form der Aktivierung von Funktionen. Hierdurch kann bei kritischen Fahrerzuständen, beispielsweise starke Müdigkeit, versucht werden, den Fahrer in einen sicheren Zustand zu überführen, beispielsweise die Aufmerksamkeit und Vitalität des Fahrers erhöht werden.
Ein anderer Aspekt der Erfindung betrifft ein Verfahren zur Erkennung des Zustandes eines Fahrers eines Fahrzeugs, wobei der Fahrer eine der oben erläuterten Datenbrillen bestimmungsgemäß trägt, wobei die Datenbrille eine Anzeige umfasst; wobei das Verfahren umfasst: Messen einer Eigenschaft des Körpers des Fahrers mithilfe des Sensors der Datenbrille; Erkennen des Zustandes des Fahrers unter Verwendung der Messung. Unter einem bestimmungsgemäßen Tragen der Datenbrille wird hierin das Aufsetzen der Datenbrille entsprechend einer gewöhnlichen Brille mit einem Aufliegen der Datenbrille (insbesondere der Bügel und des Nasenaufliegers) im Gesicht (umfassend die Ohren) des Benutzers verstanden. Die oben vorgestellte Datenbrille wird gemäß dem Verfahren also zur Messung von Körpereigenschaften verwendet.
In einer vorteilhaften Weiterbildung werden die Messdaten von der Datenbrille an das Fahrzeug übertragen. Insbesondere wird dabei der Zustand des Fahrers durch das Fahrzeug erkannt, das dabei auch Messdaten des Fahrzeugs, insbesondere zum Fahrverhalten des Fahrers (beispielsweise kann der Lenkwinkel als Messdaten bestimmt werden), berücksichtigen kann. Die Messungen der Datenbrille und des Fahrzeugs werden also kombiniert bzw. fusioniert und darauf basierend der Fahrerzustand bestimmt. Diese Kombination bietet den Vorteil einer möglichst ganzheitlichen Bestimmung und damit einer verbesserten Qualität der Fahrerzustandsbestimmung.
Es kann vorgesehen sein, dass beim Erkennen eines vorbestimmten Zustandes des Fahrers eine oder mehrere vorbestimmte Funktionen des Fahrzeugs und/oder der Datenbrille aktiviert werden. Der vorbestimmte Zustand kann beispielsweise die Müdigkeit des Fahrers repräsentieren. Die vorbestimmte Funktion kann die Ausgabe einer optischen und/oder akustischen Warnung, die Änderung der Fahrzeugklimatisierung und/oder das Einleiten von Gerüchen in den Fahrzeuginnenraum umfassen. Diese Maßnahmen haben den Zweck, den Fahrer in einen sichereren Zustand zu überführen, beispielsweise seine Müdigkeit zu vertreiben, Sekundenschlaf zu vermeiden und die Fahrtüchtigkeit wieder herzustellen.
KURZE BESCHREIBUNG DER ZEICHNUNG
1 zeigt schematisch eine Datenbrille gemäß einem Ausführungsbeispiel.
DETAILLIERTE BESCHREIBUNG DES AUSFÜHRUNGSBEISPIELS
1 zeigt schematisch eine Datenbrille 1 gemäß einem Ausführungsbeispiel. Die Datenbrille umfasst eine halbtransparente Anzeige mit den Teilanzeigen 2 und 3, jeweils für das linke bzw. rechte Auge. Weiterhin umfasst die Datenbrille 1 zwei Kameras 4 und 5, jeweils für das linke und rechte Auge, sowie eine Verarbeitungseinheit 6, die über eine Signalleitung 7 mit den beiden Anzeigen 2 und 3 sowie den Kameras 4 und 5 verbunden ist. Die Kamera 4 nimmt im Betrieb fortlaufend das linke Auge und die Kamera 5 nimmt im Betrieb fortlaufend das rechte Auge des Trägers des Anzeigensystems auf. Beide Kameras 4 und 5 übertagen ihre Aufnahmen an die Verarbeitungseinheit 6. In manchen Implementierungen ist die Verarbeitungseinheit 6 separat von der Datenbrille und die Übertragung findet über eine längere Signalleitung oder drahtlos statt. Die Datenbrille umfasst ferner die Kamera 20, die in Richtung der zentralen Blickrichtung Aufnahmen bereitstellt, wenn der Träger der Datenbrille bestimmungsgemäß trägt. Auch die Kamera 20 ist mit der Verarbeitungseinheit 6 verbunden. Die Kamera 20 ist entsprechend der Symmetrieachse der Datenbrille ausgerichtet. Die Verarbeitungseinheit 6 empfängt im Betrieb fortlaufend die Aufnahmen der Kameras 4, 5 und 20. Die Kamera 20 dient zur Bestimmung der Pose (also der Position und Orientierung der Datenbrille 1 im Fahrzeug). Die Pose der Datenbrille wird für die ortskorrekte Anzeige von kontaktanalogen Darstellungen benötigt. Die Datenbrille 1 ist dazu ausgelegt dem Träger der Datenbrille und Fahrer eines Fahrzeugs Darstellungen kontaktanalog anzuzeigen, beispielsweise Navigationshinweise, wie im Stand der Technik beschrieben.
Die Datenbrille umfasst ferner zwei metallische Kontaktpads 8 und 9, jeweils am linken und rechten Brillenbügel. Die Kontaktpads 8 und 9 umfassen im Stand der Technik bekannte Messelektronik mit der der Hautleitwert und der Puls des Trägers der Datenbrille festgestellt werden kann. Kontaktpads 8 und 9 sowie die Messelektronik bilden zusammen einen Sensor. Die Kontaktpads 8 und 9 liegen beim bestimmungsgemäßen Tragen der Datenbrille auf der Haut hinter den Ohren des Trägers auf. Im Betrieb misst die Datenbrille 1 regelmäßig sowohl Hautleitwert als auch den Puls des Fahrers.
Ferner ermittelt die Datenbrille mithilfe der Kameras 4 und 5 sowie der Verarbeitungseinheit 6 den Lidschluss des Trägers. Hiermit wird festgestellt, ob der Träger der Datenbrille die Augen offen oder geschlossen hat, sowie die Lidschlussfrequenz.
Die Datenbrille 1 übermittelt den gemessenen Puls, den Hautleitwert und die Lidschlussfrequenz über eine drahtlose Verbindung (beispielsweise Bluetooth oder WiFi) an das Fahrzeug (in 1 nicht dargestellt), das der Träger der Datenbrille führt. Das Fahrzeug selbst verfügt über Messsensoren für den Lenkwinkel. Im Betrieb empfängt das Fahrzeug von der Datenbrille 1 die Messungen zum Puls und Hautleitwert sowie die Lidschlussfrequenz. Diese Messungen kombiniert das Fahrzeug mit den Messungen des Lenkwinkels um den Fahrerzustand zu bestimmen (bzw. zu schätzen). Beispielsweise kann ein niedriger Puls und eine größere Zeitspanne ohne Lenkbewegung sowie eine niedrige Lidschlussfrequenz als ein Fahrerzustand der Müdigkeit interpretiert werden.
Wenn ein derartiger Zustand erkannt wird, gibt das Fahrzeug über die Lautsprecher einen merklich hörbaren Warnton aus und erhöht die Frischluftzufuhr durch die Klimaanlage des Fahrzeugs. Hierdurch wird der Fahrer aufgeweckt bzw. seine Konzentration wieder erhöht und die Verkehrssicherheit gesteigert.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

WO 2013/066634 A1 [0007]

Claims

Datenbrille, umfassend einen Sensor zur Messung einer Eigenschaft des Körpers des Trägers der Datenbrille sowie insbesondere eine Anzeige; wobei zumindest ein Teil des Sensors dazu eingerichtet ist, beim bestimmungsgemäßen Tragen der Datenbrille in Kontakt zum Körper des Trägers der Datenbrille zu sein.
Datenbrille nach Anspruch 1, wobei der Sensor zur Messung einer oder mehrerer der folgenden Eigenschaften des Körpers eingerichtet ist: Puls, Hautleitwert, Atemfrequenz, Atemtiefe, Blutdruck, Sauerstoffsättigung des Blutes, Augenliedschluss, Pupillengröße, Spannungsschwankungen an der Kopfoberfläche, Muskelkontraktion.
Datenbrille nach einem der vorhergehenden Ansprüche, ferner umfassend einen zweiten Sensor zur Messung einer Eigenschaft des Körpers des Trägers der Datenbrille; wobei der Sensors dazu eingerichtet ist, beim bestimmungsgemäßen Tragen der Datenbrille ohne Kontakt zum Körper des Trägers der Datenbrille zu sein.
Datenbrille nach Anspruch 3, wobei der zweite Sensor eine Kamera ist, die dazu eingerichtet ist, Aufnahmen eines Auges des Trägers der Datenbrille zu machen.
Datenbrille nach einem der vorhergehenden Ansprüche, ferner umfassend ein Kommunikationsmodul, wobei die Datenbrille dazu eingerichtet ist, Messdaten des Sensors an ein Fahrzeug zu übertragen.
Verfahren zur Erkennung des Zustandes eines Fahrers eines Fahrzeugs, wobei der Fahrer eine Datenbrille nach einem der vorhergehenden Ansprüche bestimmungsgemäß trägt, wobei die Datenbrille eine Anzeige umfasst; wobei das Verfahren umfasst: Messen einer Eigenschaft des Körpers des Fahrers mithilfe des Sensors der Datenbrille; Erkennen des Zustandes des Fahrers unter Verwendung der Messung.
Verfahren nach Anspruch 6, ferner umfassend: Übertragen der Messung von der Datenbrille an das Fahrzeug; Wobei das Erkennen des Zustandes des Fahrers durch das Fahrzeug durchgeführt wird.
Verfahren nach Anspruch 7, wobei das Erkennen des Zustandes auch Messdaten des Fahrzeugs, insbesondere zum Fahrverhalten des Fahrers, berücksichtigt.
Verfahren nach Anspruch 8, wobei bei Erkennen eines vorbestimmten Zustandes des Fahrers eine oder mehrere vorbestimmte Funktionen des Fahrzeugs und/oder der Datenbrille aktiviert werden.
Verfahren nach Anspruch 9, wobei der vorbestimmte Zustand die Müdigkeit des Fahrers repräsentiert und wobei die vorbestimmte Funktion die Ausgabe einer optischen und/oder akustischen Warnung, die Änderung der Fahrzeugklimatisierung und/oder das Einleiten von Gerüchen in den Fahrzeuginnenraum umfasst.