DE102010045678A1

DE102010045678A1 - Verfahren zur Überwachung eines Fahrerzustands

Info

Publication number: DE102010045678A1
Application number: DE102010045678A
Authority: DE
Inventors: Werner Dr.-Ing. Bernzen; Frauke Dr.-Ing. Driewer; Fabian Dipl.-Ing. Friedrichs; Wiebke Dipl.-Ing. Müller
Original assignee: Daimler AG
Current assignee: Conti Temic Microelectronic GmbH
Priority date: 2010-09-17
Filing date: 2010-09-17
Publication date: 2011-05-12

Abstract

Die Erfindung betrifft ein Verfahren zur Überwachung eines Fahrerzustands, bei dem der Fahrerzustand anhand von mit dem Fahrerzustand korrelierenden Spurinformationen ermittelt wird, wobei zur Ermittlung des Fahrerzustands die Spurinformationen mit hinterlegten Mustern von Spurinformationen verglichen werden. Erfindungsgemäß werden die Spurinformationen aus odometrischen Fahrzeugdaten ermittelt, welche aus mittels zumindest eines Inertialsensors erfassten Sensordaten ermittelt werden.

Description

Die Erfindung betrifft ein Verfahren zur Überwachung eines Fahrerzustands, bei dem der Fahrerzustand anhand von mit dem Fahrerzustand korrelierenden Spurinformationen ermittelt wird, wobei zur Ermittlung des Fahrerzustand die Spurinformationen mit hinterlegten Mustern von Spurinformationen verglichen werden.
Es ist allgemein bekannt, dass die Mehrzahl an Straßenunfällen primär auf ein Fehlverhalten des Fahrers des Fahrzeugs zurückzuführen ist. Bei vorhandener Schläfrigkeit des Fahrers wird das Risiko eines Zusammenstoßes oder eines Beinahe-Zusammenstoßes um ein Vielfaches erhöht.
Aus dem Stand der Technik sind deshalb verschiedene Verfahren zur Überwachung eines Fahrerzustands bekannt, bei welchen die Schläfrigkeit bzw. Müdigkeit des Fahrers erfasst werden. Die Schläfrigkeit wird dabei anhand einer Analyse des aktuellen Fahrstils des Fahrers erfasst. Zur Bewertung von Maßen der Schläfrigkeit werden Spurinformationen ermittelt, welche mit dem durch die Schläfrigkeit beeinträchtigten Fahren besonders korrelieren.
Derartige Verfahren zur Bewertung von Maßen der Schläfrigkeit anhand von Spurinformationen, welche mit dem durch die Schläfrigkeit beeinträchtigten Fahren besonders korrelieren, sind aus „F. Friedrichs und B. Yang: Camera-based drowsiness reference for driver state classification under real driving conditions; In: Proceedings of the IEEE Intelligent Vehicles Symposium, 2010" und „F. Friedrichs und B. Yang: Drowsiness Monitoring by steering and lane data based features under real driving conditions; In: EUSIPCO, 2010" bekannt. Hierbei wird eine Fahrerüberwachung basierend auf einem Lenkverhalten, einer Spurhaltung und einem Lidschlagverhalten durchgeführt.
Aus „C. Hasberg und S. Hensel: Online-estimation of road map elements using spline curves; In: 12th International Conference on Information Fusion, 2009" werden Spline und ein Kalman-Filter für eine Online-Bewertung von Zuggleisen verwendet. In „M. Bühren: Simulation und Verarbeitung von Radarziellisten im Automobil; Ph. D. dissertation, In: Chair of System Theory and Signal Processing, 2008" wird eine Verfolgung von Fahrzeugziellisten mittels eines Radars beschrieben. Ferner beschreibt „M. Miksch, B. Yang und K. Zimmermann: Motion compensation for obstacle detection based on homography and odometric data with virtual camera perspectives; In: Proceedings of the IEEE Conference on Intelligent Vehicles, 2010" die Nutzung eines Fahrzeugbewegungs-Modells, um die Fahrzeugtrajektorie zur Bewegungskompensation in Videodaten zu bestimmen.
Der Erfindung liegt die Aufgabe zugrunde, ein gegenüber dem Stand der Technik verbessertes Verfahren zur Überwachung eines Fahrerzustands anzugeben.
Die Aufgabe wird erfindungsgemäß mit einem Verfahren gelöst, welches die in Anspruch 1 angegebenen Merkmale aufweist.
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
In einem Verfahren zur Überwachung eines Fahrerzustands wird der Fahrerzustand anhand von mit dem Fahrerzustand korrelierenden Spurinformationen ermittelt, wobei zur Ermittlung des Fahrerzustands die Spurinformationen mit hinterlegten Mustern von Spurinformationen verglichen werden.
Erfindungsgemäß werden die Spurinformationen aus odometrischen Fahrzeugdaten ermittelt, welche aus mittels zumindest eines Inertialsensors erfassten Sensordaten ermittelt werden. Allgemein soll der Begriff „Spurinformation” den Bewegungsverlauf des Fahrzeugs bezüglich der Fahrbahn mit umfassen.
Unter Intertialsensoren werden dabei Sensoren verstanden, mittels welchen translatorische und rotatorische Beschleunigungskräfte oder Bewegungsabläufe messbar sind. So sind Beschleunigungssensoren denkbar aber auch die Auswertung von Raddrehzahlen. Es können auch mehrere Inertialsensoren zu einer so genannten inertialen Messeinheit kombiniert werden, so dass die Beschleunigungen bis zu sechs Freiheitsgraden gemessen werden können. Unter der Annahme einer planaren Bewegung auf einer Fahrbahn, kann man weniger Freiheitsgrade annehmen, weil das Fahrzeug nur gieren kann und sich nicht nach unten oder oben bewegen kann.
Daraus resultiert in besonders vorteilhafter Weise, dass eine Verwendung von optischen Sensoren, insbesondere von kostenintensiven Spurkameras oder Laserscanner (LIDAR), zur Ermittlung der Spurinformationen (Spurmarkierungen) nicht erforderlich ist. Vielmehr werden als Inertialsensoren insbesondere bereits im Fahrzeug 1 vorhandene Sensoren von Fahrerassistenzvorrichtungen, vorzugsweise Sensoren, welche zum Betrieb eines Elektronischen Stabilitätsprogramms (kurz: ESP) vorgesehen sind, verwendet. Somit werden zum einen die Kosten zur Realisierung des Verfahrens zur Überwachung des Fahrerzustands verringert und zum anderen ist die erfindungsgemäße Ermittlung der Spurinformationen aus den odometrischen Fahrzeugdaten im Gegensatz zu der Ermittlung aus mittels einer Spurkamera erfassten Daten auch bei fehlenden und unvollständigen Fahrbahnmarkierungen, geringem Lichteinfall und bei schlechten Sichtverhältnissen möglich. Auch zeichnen sich Inertialsensoren im Allgemeinen gegenüber Spurkameras durch eine größere Robustheit bezüglich Fehlkalibrierungen aus, so dass aus Fehlkalibrierungen resultierende Fehler bei der Ermittlung der Spurinformationen minimiert werden.
Somit werden mittels des erfindungsgemäßen Verfahrens die Verfügbarkeit und die Erkennungsrate von Spurinformationen ohne die Verwendung von Spurkameras zur Verbesserung der Überwachung des Fahrerzustands verbessert.
Es könnten die Signale der Inertialsensoren aber auch ergänzend dazu verwendet werden, vorhandene Spursignale aus einer Kamera aufzubereiten, um die Spurwarnung zu verbessern. Spurwechsel könnten auch bei schlechter Spurqualität zuverlässig erkannt werden. Insgesamt können die Spurdaten verbessert werden.
Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.
Dabei zeigen:
1 schematisch ein Bewegungsmodell eines Fahrzeugs,
2 schematisch zwei Schritte zur Bewertung einer linearen Kalman-Filter-Lage,
3 schematisch zwei Schritte zur erweiterten Bewertung mittels Kalman-Filter,
4 schematisch mittels spurbasierten Sensoren und Inertialsensoren erfasste laterale Positionen und
5 schematisch einen Verlauf eines Korrelationskoeffizienten zwischen den mittels spurbasierten Sensoren und Inertialsensoren erfassten lateralen Positionen gemäß 4.
Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
In 1 ist schematisch ein Bewegungsmodell eines Fahrzeugs 1 dargestellt.
Die Fahrzeugtrajektorie umfasst ein Schlingern zwischen Spurmarkierungen und einen Störeinfluss der Spur- oder Straßenkrümmung. Daher werden diese Krümmungen durch ein Tiefpass-Filter entfernt, dessen Grenzfrequenz zwischen der Frequenz des Schlingerns und über der Frequenz der stärksten Kurvenkrümmung liegt. Die stärkste Kurvenkrümmung ist abhängig von der zulässigen Geschwindigkeit. Weiterhin wird die Korrelation zwischen spurbasierten und auf odometrischen Daten basierten Merkmalen sowie deren Verbindung zu Schläfrigkeit verglichen. Hierzu wurde ein Auszug einer Attention Assist Datenbank mit 294 Fahrern und über 76 000 km genutzt. Viele spurbasierte Merkmale lassen sich gut angleichen. Die odometrie-basierte Nulldurchgang-Rate liefert bessere Ergebnisse als eine kamerabasierte Ermittlung der Daten.

Mit den ermittelten Daten sind Fahrerüberwachungssysteme ansteuerbar. Diese Systeme zielen mittels Standardsensoren auf die Reduzierung von schläfrigkeitsbedingten Straßenunfällen ab, welche durch ermüdete und abgelenkte Fahrer verursacht wurden. Um derartige Systeme zu entwickeln und optimieren, ist eine verlässliche und akkurate Referenz für Müdigkeit oder Schläfrigkeit erforderlich. Ein bekanntes Referenzmaß für die Schläfrigkeit ist die subjektive Selbsteinschätzung eines Fahrers gemäß Karolinska Sleepiness Scale (= KSS), wie in Tabelle 1 und „T. Akerstedt, M. Gillberg: Subjective and objective sleepiness in the active individual: In: International Journal of Neuroscience, vol. 52, Seite 2937, 1980" dargestellt.

Karolinska Sleepiness Scale:	Beschreibung:
1	Extrem aufmerksam
2	Sehr aufmerksam
3	aufmerksam
4	Ziemlich aufmerksam
5	Weder aufmerksam noch schläfrig
6	Anzeichen von Schläfrigkeit
7	Schläfrig – geringe Anstrengung, um wach zu bleiben
8	Schläfrig – einige Anstrengung, um wach zu bleiben
9	Schläfrig – hohe Anstrengung, um wach zu bleiben, bekämpft die Schläfrigkeit

Tabelle 1: Karolinska Sleepiness Scale

Aus „F. Friedrichs und B. Yang: Camera-based drowsiness reference for driver state classification under real driving conditions; In: Proceedings of the IEEE Intelligent Vehicles Symposium, 2010" und „F. Friedrichs und B. Yang: Drowsiness Monitoring by steering and lane data based features under real driving conditions; In: EUSIPCO, 2010" ist eine Bewertung von Merkmalen von Spurendaten bekannt, welche Spurdaten ergibt, die besonders mit beeinträchtigtem Fahren korrelieren.
Im Gegensatz zu diesen bekannten Ansätzen, welche eine Spurkamera zur Ermittlung der Spurdaten verwenden, werden beim erfindungsgemäßen Verfahren und dessen Weiterbildungen odometrische Fahrzeugdaten mittels Inertialsensoren ermittelt, so dass die klassischen spurbasierten Merkmale ohne den Bedarf einer Spurkamera kalkulierbar sind. Die Hauptannahme hinter diesem Ansatz ist, dass die Straßenkrümmungen durch die odometrischen Daten bewertet werden können. Wie in „Clayton: Klothoide, 2006, Verfügbar unter: http://ww3.cad.de/foren/ubb/uploads/Clayton/Klothoide-Formeln.pdf" beschrieben, gibt es für jedes Tempolimit einen Mindestkrümmungsradius. Beispielsweise beträgt der Mindestkrümmungsradius bei 120 km/h 750 Meter. Im Allgemeinen wird dies beim Straßenbaus beachtet, indem sich die Straßenkrümmung nur langsam ändert, wenn die Straße mit hoher Geschwindigkeit befahren wird.
Es ist beobachtbar, dass das Schlingern in der Spur bei viel höheren Frequenzen stattfindet, so dass sie durch Hochpassfilter extrahiert werden kann. Für die Bewertung der Fahrzeugtrajektorie werden ein Kalman-Filter, ein erweiterter Kalman-Filter und/oder ein Partikelfilter sowie optional ein Fahrzeugbewegungs-Modell verwendet. Die Verwendung eines Kalman-Filters ist nicht notwendig und es gibt noch viele andere Möglichkeiten zur Ausführung einer Filterfunktion.
Zusätzlich zur gemessenen Gierrate (psi_Punkt) und Fahrzeuggeschwindigkeit wird auch die GPS-Position des Fahrzeugs 1 einbezogen. GPS wurde in UTM konvertiert, um dasselbe metrische Koordinatensystem zu verwenden wie die gekoppelte odometrische Position. Dies ist für die Visualisierung sowie für die Bewertung der Systemleistung wertvoll, wird jedoch nicht im Onlinesystem benötigt.
Somit sind die Spurdatensignale auch bei fehlenden Spurmarkierungen, schlechten Wetterbedingungen und Lichtbedingungen sicher erfassbar. Manche spurbasierte Merkmale; wie LANEDEV, ZIGZAGS und andere, verlangen keine absolute Position gegenüber der Spurmarkierungen. Es ist deshalb hinreichend, den Verlauf oder das Schlingern (Pendeln) innerhalb der Spur zu kennen.
Viele weitere Aspekte bezüglich der Erkennung von Schläfrigkeit profitieren von dieser verbesserten Fahrzeugposition. Kurze Fehler bei der Spurverkennung mittels Kamera können ausgefüllt werden und Straßenbedingungsanalysen profitieren von dieser verbesserten Auflösung.
Zur Ermittlung der erforderlichen Informationen wurden, wie bereits erläutert, Testfahrten durchgeführt und mit den erfassten Daten eine Datenbank erstellt, welche über 17 800 reale Straßenfahrten mit einer gefahrenen Strecke von über 1,67 Mio. km abdeckt. Nach einer Filterung dieser Datenbank für Fahrten über 30 km, bei vorliegender und plausibler Schläfrigkeits-Selbsteinschätzung nach der Karolinska Sleepiness Scale, gültigen Spurverfolgungsdaten und ohne Messfehler, verblieben 76 215 km reale Fahrten.
Die Durchführung dieser Fahrten, welche insbesondere auch Nachtexperimente umfassten, erfolgte insbesondere gemäß der in „F. Friedrichs und B. Yang: Drowsiness Monitoring by steering and lane data based features under real driving conditions; In: EUSIPCO, 2010" und „E. Schmidt: Drivers misjudgement of vigilance state during prolonged monotonous daytime driving; In: Accident Analysis & Prevention, vol. 41, Seiten 1087–1093, 2009" beschriebenen Verfahren.
Um das laterale Spurpositionssignal von den odometrischen Daten zu erhalten, werden die Durchführungsschritte im Folgenden präsentiert. Der zur Ermittlung erforderliche Gierratensensor hat eine Musterfrequenz von z. B. F_S = 1/T ≈ 50 Hz. Die GPS-Signale waren mit einer Abtastrate von z. B. F_S = 1/T ≈ 1 Hz verfügbar. Wenn neue GPS-Daten verfügbar waren, wird jede Sekunde eine zusätzliche modifizierte Kalman-Iteration abgerufen, um die Position gemäß den GPS-Daten zu aktualisieren. Somit übernimmt der Kalman-Filter das Gewichten zwischen intertialsensorbasierten Daten und GPS-Daten.
Die im dargestellten Modell gezeigte Fahrzeugbewegung x wird gemäß „M. Bühren: Simulation und Verarbeitung von Radarziellisten im Automobil; In: Ph. D. dissertation; Chair of System Theory and Signal Processing, 2008" und „M. Miksch, B. Yang, and K. Zimmermann: Motion compensation for obstacle detection based on homography and odometric data with virtual camera perspectives; In: Proceedings of the IEEE Conference on Intelligent Vehicles, 2010" ermittelt und als Model dargestellt.
Dabei weist das Systemmodell einen Lagewechselausgleich gemäß x(k + 1) = Ax(k) [1] mit dem Lagevektor x(k) im Moment k und einer Zustands-Übergangs-Matrix A auf.
Ein zweiter Teil des Systemmodels stellt einen Messausgleich gemäß z(k + 1) = Hx(k) [2] mit dem Messvektor z(k) im Moment k dar. Die Bewegung des Fahrzeugs 1 kann dann beschrieben werden als
Dabei ist v⁺ wie folgt definiert:
mit der Durchlaufzeit T und dem Lagevektor x(k + 1) gemäß
Die Gierrate psi_Punkt, d. h. die zeitliche Ableitung von Ψ, wird gemessen und ist von zentraler Bedeutung.
Letztendlich ergibt sich der folgende Ausgleich, der den Lagewechsel beschreibt:
Da das System noch nicht-linear ist, wird ein erweiterter Kalman-Filter benötigt. Für den erweiterten Kalman-Filter wird eine nicht-lineare differenzierbare Funktion f in jedem Arbeitsschritt linearisiert, woraus eine aktuelle Systemlage x(k) resultiert. Für die Linearisierung wird die so genannte Jacobi-Matrix der differenzierbaren Funktion
verwendet und durch
definiert. Somit ist
Dann sind die Messmatrix H und der Vektor z(k)
Für den Fall, dass ein neues GPS-Muster verfügbar ist, wird die Messmatrix H und der Vektor z(k) erweitert gemäß
wobei U_e und U_n ostwärts und nordwärts gerichtete UTM-Koordinaten sind. Die Kovarianz-Matrizen Q und R wurden durch den Gebrauch von Hochpass-Maßen ausgewählt.
Um eine optimale Lagebewertung zu realisieren, wird ein Kalman-Filter verwendet. Der Kalman-Filter für lineare Systeme ist ein Werkzeug für die Bewertung des Lagevektors, der durch indirekte Messungen, die durch eine Störung unterbrochen werden, wie folgt beobachtet werden kann: x(k + 1) = Ax(k) + Bu(k) + w(k), [11] z(k + 1) = Hx(k) + v(k). [12]
Die Modelstörung w(k) und die Messstörung v(k) wurden als zusätzliche normal verteilte weiße Verzerrung ermittelt gemäß: E⌊w(n)w^T(k)⌋ = Wδ_nk E[v(n)v^T(k)] = Vδ_nk p(w) ∝ N(o, Q) p(w) ∝ N(o, R) [13] mit einem Durchschnitt mit dem Wert Null. E[w(n)] = 0 E[v(n)] = 0 [14]
Modelstörungen, Messstörungen und anfängliche Lagen sind unkorreliert: E[w(n)v^T(n)] = 0 E[w(n)z^T(n)] = 0 E[v(n)z^T(n)] = 0. [15]
Die Gültigkeit von Anforderungen für die Kalman-Filter der Gierrate, Fahrzeuggeschwindigkeit und Beschleunigungssensoren bestimmt sich gemäß „M. Bühren: Simulation und Verarbeitung von Radarziellisten im Automobil; In: Ph. D. dissertation; Chair of System Theory and Signal Processing, 2008".
Die Bewertung der linearen Kalman-Filter-Lage wird in zwei Schritten errechnet, wie in 2 dargestellt. Die Berechung erfolgt gemäß der Beschreibung in „M. Bühren: Simulation und Verarbeitung von Radarziellisten im Automobil; In: Ph. D. dissertation; Chair of System Theory and Signal Processing, 2008" und „G. Welch, G. Bishop: An introduction to the kalman filter; University of North Carolina at Chapel Hill, Department of Computer Science, 2006". Die Schritte umfassen eine Prognose und Korrektur.
Der erweiterte Kalman-Filter wird verwendet, wenn der Lagewechsel nicht-linear ist, wie im vorliegenden Fall. Dabei wird das System von den nicht-linearen, differenzierbaren Funktionen f und h beschrieben gemäß: x(k + 1) = f(x(k), u(k), w(k) = Jx(k) + w(k), [16] z(k + 1) = h(x(k + 1), v(k + 1)). [17]
In vorliegenden Fall bleibt der Messausgleich wie in Gleichung [12]. Die erweiterte Kalman-Filter-Lagebewertung wird wiederum, wie in 3 dargestellt, in den zwei Schritten „Prognose” und „Korrektur” berechnet, jedoch mit der linearisierten Funktion.
Für die aufgezeichneten Fahrten war ein Standard-GPS-Sensor verfügbar. Die zeitliche Auflösung mit 1 Hz ist nicht sehr hoch. Auch die absolute Position ist nicht sehr akkurat. Die in „C. Hasberg, S. Hensel: Online-estimation of road map elements using spline curves; In: 12th International Conference on Information Fusion, 2009" und „LVGB: Abbildung und UTM-Koordinaten; Landesamt für Vermessung und Geoinformation Bayern, 2009" beschriebene UTM-Darstellung von GPS-Daten hat den Vorteil, dass die Einheiten ein metrisches Welt-Koordinatensystem nutzen, was den Informationen, die durch die Fahrzeugdaten erhalten werden, ähnelt.
Wie im Bewegungsmodell dargestellt, muss der Gierwinkel φ(k) zwischen dem Fahrzeug 1 und der Spur bekannt sein, um den lateralen Abstand l(k) zu kalkulieren. Die Spur wird von einer niedrigpass-gefilterten Fahrzeugtrajektorie bewertet, indem ein so genannter 2nd-order Butterworth Filter mit einer Grenzfrequenz von 0,05 Hz genutzt wird. Der relative laterale Abstand Δl zur Spur wird für jeden Abtastzeitpunkt T kalkuliert. Man erhält dann den lateralen Abstand, indem man die bewertete laterale Position zu jedem Abtastzeitpunkt aktualisiert: l(k + 1) = l(k) + Δl, [18] mit der anfänglichen Bedingung l(0) = 0. Das vom Fahrzeugmodell erhaltene Lateralabstandssignal wird wieder hochpass-gefiltert, um akkumulierende Fehler zu beheben. Weiterhin wird es niedrigpass-gefiltert, um Störungen und Straßeneinwirkungen mit einem 2nd-order Butterworth Filter mit einer Abschaltungsfrequenz von 0,1 Hz zu beheben.
Die Extrahierung von Merkmalen aus dem ermittelten spurbasierten Daten erfolgt insbesondere gemäß „F. Friedrichs und B. Yang: Drowsiness Monitoring by steering and lane data based features under real driving conditions; In: EUSIPCO, 2010".

In der folgenden Tabelle 2 sind die ausgewählten Merkmale für das Ausführungsbeispiel aufgelistet. Die Auswahl ist nur beispielhaft, es gibt noch mehr Merkmale. Spurdatenbasierte und odometrische Merkmale sind mit denselben Algorithmen errechnet worden.

Nummer:	Merkmalsname:	Beschreibung:
15	LANEDEV	Spurabweichung
17	ZIGZAGS	Anzahl von Zick-Zack Ereignissen beim Fahrzeugschlingern
29	LNMNSQ	Quadratischer Fahrspurmittelwert
34	ORA	Überschrittener Bereich
16	LATPOSZCR	Längsposition ZCR
30	LNIQR	IRQ der Längsposition
37	DELTADUR	Laufzeit zwischen den Beugungspunkten
38	DELTALATPOS	Mittlere Längsamplitude
39	DELTALATVELMAX	Maximale Längsgeschwindigkeit

Tabelle 2: Auswahl spurbasierter Merkmale

Da Spurwechsel nicht von der Spurkamera, sondern von den Inertialsensoren ermittelt werden, wurde das Blinkerbetätigungssignal genutzt, um gewollte Spurwechsel auszublenden. Drei Sekunden vor und zehn Sekunden nach der Hebeloperation wurden ausgeblendet. Gierraten von mehr als 3°/s wurden ebenfalls verworfen. Weiterhin wurde das System so definiert, dass es nur bei Geschwindigkeiten von über 80 km/h aktiv ist.
In 4 wird ein Vergleich von auf spurdatenbasierenden Daten basierenden Signalen S1 und auf Inertialdaten basierenden Signalen S2 auf physikalischer Basis näher erläutert. Das Signale S1 ist die laterale Spurposition aus der Spuererkennungskamera oder alternative Sensoren und Signal S2 ist das laterale Spurpositionssignal, welches aus Inertialdaten (Gierrate und Geschwindigkeit) geschätzt wurde, wobei die als Inertialdaten grundsätzlich auch die Signale anderer geeigneter Sensoren z. B. Querbeschleunigung, Raddrehzahlen oder Correvit sein können.
Die Korrelation von spurbasierten und odometrischen Merkmalen wird gezeigt, ebenso wie die Korrelation zwischen den odometrischen Merkmalen und der Karolinska Sleepiness Scale, der Bezug zur Schläfrigkeit, indem die Pearson und Spearman Korrelationkoeffizienten genutzt werden.

Dargestellt ist das laterale Differenz-(„Abstands-”)Signal, das man nach dem Entfernen des Offsets erhalten hat. Die Spearman-Korrelationskoeffizienten ρ_s zwischen den gierratenverzweigten Merkmalen und den ursprünglichen spurbasierten Merkmalen werden in Tabelle 3 gezeigt.

Nummer:	Merkmalsname:	ρ_p	ρ_s
15	LANEDEV	0,006	0,323
17	ZIGZAGS	1,000	0,515
29	LNMNSQ	0,064	0,670
34	ORA	0,443	0,416
16	LATPOSZCR	1,000	0,770
30	LNIQR	0,359	0,693
37	DELTADUR	0,573	0,389
38	DELTALATPOS	0,198	0,429
39	DELTALATVELMAX	0,593	0,536

Tabelle 3: Spearman-Korrelationskoeffizienten und Bravais-Pearson Korrelationskoeffizient

Die Merkmale wurden mit mehreren Methoden berechnet und optimiert. Neben statistischen Tests wurden als Metriken der Bravais-Pearson Korrelationskoeffizient ρ_p, der Spearman Korrelationskoeffizient ρ_s und die Fisher-Metrik MDA gemäß „M. Welling: Fisher linear discriminant analysis; University of Toronto, Department of Computer Science, Tech. Rep., 2005" genutzt. Der Bravais-Pearson Korrelationskoeffizient wird kalkuliert, um die lineare Korrelation zwischen dem Merkmal F_i und der interpolierten gefilterten Karolinska Sleepiness Scale gemäß folgender Gleichung zu bewerten,

wobei cov die Kovarianz und var die Varianz darstellen. Hohe positive oder negative Werte bedeuten eine starke positive oder negative Korrelation, während ein Wert nahe Null ein Zufallsverhältnis anzeigt. Die Spearman Korrelationskoeffizienten arbeiten auf ähnliche Weise, nur mit dem Unterschied, dass eine nicht-lineare Korrelation auch zu hohen Korrelationseffizienten führt. Die Spearman Korrelationskoeffizienten zwischen den gierratenverzweigten Merkmalen und den ursprünglichen spurbasierten Merkmalen werden in Tabelle 4 gezeigt.

Nummer:	Merkmalsname:	ρ_s Lane vs. KSS	ρ_s Odometrie vs. KSS
15	LANEDEV	0,211	0,046
17	ZIGZAGS	0,318	0,080
29	LNMNSQ	0,177	0,080
34	ORA	0,325	0,105
16	LATPOSZCR	0,223	0,300
30	LNIQR	0,187	0,100
37	DELTADUR	0,220	0,117
38	DELTALATPOS	0,239	0,079
39	DELTALATVELMAX	0,214	0,106

Tabelle 4: Spearman-Korrelationskoeffizienten

5 zeigt das Merkmal der Spurabweichung LANEDEV für eine Fahrt. Die Hauptkorrelation zwischen diesen Merkmalen kann man grob in der 5 sehen.
Einige der Merkmale, wie z. B. ZIGZAGS, LATPOSZCR und/oder die Nulldurchgangsrate, korrelieren besonders mit dem spurbasierten Pendant. Insbesondere das Merkmal LATPOSZCR funktioniert sehr gut zur Schläfrigkeitserkennung.
Die Hauptmotivation des vorliegenden Verfahrens besteht darin, klassische spurbasierte Merkmale von inertialsensorbasierten Daten anstelle von kamerabasierten Spurdaten zu bewerten. Dies hat den Vorteil, dass odometrische Daten, als ein Beispiel für inertialbasierte Daten, heutzutage in fast jedem Fahrzeug 1 gefunden werden. Im Gegensatz dazu sind Spurverfolgungskameras Sonderausstattungen und sind somit immer noch selten im heutigen Fuhrpark verfügbar. Ein weiterer großer Vorteil der Verwendung von innertialsensorbasierten Daten ist ihre Unabhängigkeit von Wetter, Kamerakalibrierung und der Qualität der Spurmarkierung. Dieses Objekt erhöht die Funktionsfähigkeit des Systems enorm.
Das Bewegungsmodell ist für inertialbasierte Sensorsignale vorgesehen, wobei das Bewegungsmodell einen erweiterten Kalman-Filter nutzt, um die laterale Spurdifferenz mit den odometrischen Daten zu schätzen. GPS-Daten können zusätzlich verwendet werden, um die Spurdaten und die von Inertialsensor geschätzten Daten zu vergleichen und zu visualisieren. Da das GPS-Signal nur jede Sekunde verfügbar ist, während die CAN-Daten eine Durchlaufzeit von mehreren ms aufweisen, wird eine Methode zum Einbeziehen von GPS-Messungen in das Bewegungsmodel aufgestellt. Inertialbasierte und GPS-Daten werden in ein UTM-Koordinatensystem konvertiert, um dieselbe metrische Darstellung zu erzielen. Das Verfahren zeigt, dass die aus odometrischen Daten extrahierten Merkmale besonders mit den spurbasierten Merkmalen korrelieren, wobei zur Ermittlung eine große Datenmenge verglichen wurde. Allgemein gesprochen können sich einige spurbasierte Merkmale sehr gut an odometrische Daten annähern, andere können dies jedoch nicht. Insbesondere LATPOSZCR, d. h. die Nulldurchgangsrate der lateralen Position funktioniert aufgrund der kontinuierlichen Systemverfügbarkeit der inerstialsensorbasierten Daten sehr gut.
Zusammenfassend ermöglicht das erfindungsgemäße Verfahren und dessen Weiterbildungen eine Bewertung oder Schätzung der relativen lateralen Spurposition (Differenz innerhalb der Spur) durch Nutzung odometrischer CAN-Daten wie der Gierrate und der Geschwindigkeit der Umsetzung der Räder. Weiterhin umfasst das Verfahren mathematische Grundlagen für die Bewertung der Fahrzeugtrajektorie. Wichtige spurbasierte Merkmale können ohne den Bedarf einer Spurkamera ermittelt werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Nicht-Patentliteratur

„F. Friedrichs und B. Yang: Camera-based drowsiness reference for driver state classification under real driving conditions; In: Proceedings of the IEEE Intelligent Vehicles Symposium, 2010” [0004]
„F. Friedrichs und B. Yang: Drowsiness Monitoring by steering and lane data based features under real driving conditions; In: EUSIPCO, 2010” [0004]
„C. Hasberg und S. Hensel: Online-estimation of road map elements using spline curves; In: 12th International Conference on Information Fusion, 2009” [0005]
„M. Bühren: Simulation und Verarbeitung von Radarziellisten im Automobil; Ph. D. dissertation, In: Chair of System Theory and Signal Processing, 2008” [0005]
„M. Miksch, B. Yang und K. Zimmermann: Motion compensation for obstacle detection based on homography and odometric data with virtual camera perspectives; In: Proceedings of the IEEE Conference on Intelligent Vehicles, 2010” [0005]
„T. Akerstedt, M. Gillberg: Subjective and objective sleepiness in the active individual: In: International Journal of Neuroscience, vol. 52, Seite 2937, 1980” [0025]
„F. Friedrichs und B. Yang: Camera-based drowsiness reference for driver state classification under real driving conditions; In: Proceedings of the IEEE Intelligent Vehicles Symposium, 2010” [0026]
„F. Friedrichs und B. Yang: Drowsiness Monitoring by steering and lane data based features under real driving conditions; In: EUSIPCO, 2010” [0026]
„Clayton: Klothoide, 2006, Verfügbar unter: http://ww3.cad.de/foren/ubb/uploads/Clayton/Klothoide-Formeln.pdf” [0027]
„F. Friedrichs und B. Yang: Drowsiness Monitoring by steering and lane data based features under real driving conditions; In: EUSIPCO, 2010” [0033]
„E. Schmidt: Drivers misjudgement of vigilance state during prolonged monotonous daytime driving; In: Accident Analysis & Prevention, vol. 41, Seiten 1087–1093, 2009” [0033]
„M. Bühren: Simulation und Verarbeitung von Radarziellisten im Automobil; In: Ph. D. dissertation; Chair of System Theory and Signal Processing, 2008” [0035]
„M. Miksch, B. Yang, and K. Zimmermann: Motion compensation for obstacle detection based on homography and odometric data with virtual camera perspectives; In: Proceedings of the IEEE Conference on Intelligent Vehicles, 2010” [0035]
„M. Bühren: Simulation und Verarbeitung von Radarziellisten im Automobil; In: Ph. D. dissertation; Chair of System Theory and Signal Processing, 2008” [0047]
M. Bühren: Simulation und Verarbeitung von Radarziellisten im Automobil; In: Ph. D. dissertation; Chair of System Theory and Signal Processing, 2008” [0048]
„G. Welch, G. Bishop: An introduction to the kalman filter; University of North Carolina at Chapel Hill, Department of Computer Science, 2006” [0048]
„C. Hasberg, S. Hensel: Online-estimation of road map elements using spline curves; In: 12th International Conference on Information Fusion, 2009” [0051]
„LVGB: Abbildung und UTM-Koordinaten; Landesamt für Vermessung und Geoinformation Bayern, 2009” [0051]
„F. Friedrichs und B. Yang: Drowsiness Monitoring by steering and lane data based features under real driving conditions; In: EUSIPCO, 2010” [0053]
„M. Welling: Fisher linear discriminant analysis; University of Toronto, Department of Computer Science, Tech. Rep., 2005” [0059]

Claims

Verfahren zur Überwachung eines Fahrerzustands, bei dem der Fahrerzustand anhand von mit dem Fahrerzustand korrelierenden Spurinformationen ermittelt wird, wobei zur Ermittlung des Fahrerzustands die Spurinformationen mit hinterlegten Mustern von Spurinformationen verglichen werden, dadurch gekennzeichnet, dass die Spurinformationen aus odometrischen Fahrzeugdaten ermittelt werden, welche aus mittels zumindest eines Inertialsensors erfassten Sensordaten ermittelt werden.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass mittels des zumindest einen Inertialsensors als Sensordaten eine Giergeschwindigkeit, eine Gierbeschleunigung, ein Gierwinkel (φ(k), Ψ), eine Längsbeschleunigung, eine Querbeschleunigung, ein Lenkradwinkel und/oder eine Raddrehzahl zumindest eines Rades des Fahrzeugs erfasst werden.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass als Spurinformationen eine Spurabweichung des Fahrzeugs, ein Pendeln des Fahrzeugs in einer Fahrspur, eine Spurhaltefrequenz und/oder Zick-Zack-Fahrten ermittelt werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die odometrischen Fahrzeugdaten aus den Sensordaten anhand von Berechnungen von Klothoiden, Kreisbögen und/oder Splines ermittelt werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bei der Ermittlung der odometrischen Fahrzeugdaten aus den Sensordaten ein oder mehrere Filter verwendet werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bei der Überwachung des Fahrerzustands aus den Spurinformationen ein Wachheitsgrad des Fahrers ermittelt wird.