DE102020202231A1

DE102020202231A1 - Verfahren und Vorrichtung zum Bereitstellen eines Trainingsdatensatzes zum Trainieren eines Maschinenlernverfahrens zum Schätzen einer Fahreraufmerksamkeit

Info

Publication number: DE102020202231A1
Application number: DE102020202231.3A
Authority: DE
Inventors: Matthias Waldhauer; Dang Ngoc Khang Dinh
Original assignee: Volkswagen AG
Current assignee: Volkswagen AG
Priority date: 2020-02-21
Filing date: 2020-02-21
Publication date: 2021-08-26

Abstract

Die Erfindung betrifft ein Verfahren zum Bereitstellen eines Trainingsdatensatzes (20) zum Trainieren eines Maschinenlernverfahrens (62) zum Schätzen einer Fahreraufmerksamkeit (25), wobei mittels mindestens eines Umfeldsensors (30) erfasste Umfelddaten (10) mindestens eines Fahrzeugs (50) und/oder mittels mindestens eines Sensors (31) erfasste und/oder abgefragte Fahrzeugdaten (11) des mindestens einen Fahrzeugs (50) empfangen werden, wobei auf Grundlage der erfassten Umfelddaten (10) und/oder der erfassten und/oder abgefragten Fahrzeugdaten (11) eine Situationskritikalität (15) mittels eines Situationskritikalitätsmaßes bestimmt wird, wobei ein Labeling zumindest einer Teilmenge der erfassten Umfelddaten (10) und/oder der erfassten und/oder abgefragten Fahrzeugdaten (11) mit einer Fahreraufmerksamkeit (21) ausgehend von der bestimmten Situationskritikalität (15) durchgeführt wird, und wobei ein zumindest die Teilmenge umfassender Trainingsdatensatz (20) zum Trainieren eines Maschinenlernverfahrens (62) bereitgestellt wird. Ferner betrifft die Erfindung eine zugehörige Vorrichtung (1) sowie ein Verfahren und eine Vorrichtung (60) zum Schätzen einer Fahreraufmerksamkeit (25) in einem Fahrzeug (50).

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum Bereitstellen eines Trainingsdatensatzes zum Trainieren eines Maschinenlernverfahrens zum Schätzen einer Fahreraufmerksamkeit. Ferner betrifft die Erfindung ein Verfahren und eine Vorrichtung zum Schätzen einer Fahreraufmerksamkeit in einem Fahrzeug.
Es sind Fahrerassistenzsysteme bekannt, die als Eingangsgröße eine Fahreraufmerksamkeit eines Fahrers eines Fahrzeugs auswerten. Ausgehend von einer geschätzten Fahreraufmerksamkeit kann der Fahrer beispielsweise in Situationen gewarnt werden, in denen er unaufmerksam ist. Eine Robustheit, das heißt eine geringe Falschauslöserate, und ein Nutzen, d.h. eine große Rate korrekter Auslösungen, hängen hierbei stark von der Zuverlässigkeit der geschätzten Fahreraufmerksamkeit ab.
Um eine Fahreraufmerksamkeit zu erfassen, kann beispielsweise ein von dem Fahrer fortlaufend erfasstes Kamerabild ausgewertet werden, beispielsweise um eine Blickrichtung, eine Mimik und/oder eine Müdigkeit zu erkennen und hieraus eine gerichtete Aufmerksamkeit auf das Verkehrsgeschehen zu ermitteln. Hierzu ist jedoch ein zusätzlicher Sensor notwendig.
Ferner sind heuristische Verfahren bekannt, die das Vorliegen von bestimmten Bedingungen überprüfen, um aus erfassten Fahrzeugdaten eine Fahreraktivität abzuleiten.
Der Erfindung liegt die Aufgabe zu Grunde, ein Verfahren und eine Vorrichtung anzugeben, mit denen eine Erkennung einer Fahreraufmerksamkeit verbessert werden kann.
Die Aufgabe wird erfindungsgemäß durch ein Verfahren mit den Merkmalen des Patentanspruchs 1 und eine Vorrichtung mit den Merkmalen des Patentanspruchs 7 gelöst. Ferner wird die Aufgabe durch ein Verfahren mit den Merkmalen des Patentanspruchs 8 und eine Vorrichtung mit den Merkmalen des Patentanspruchs 10 gelöst. Vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen.
Insbesondere wird ein Verfahren zum Bereitstellen eines Trainingsdatensatzes zum Trainieren eines Maschinenlernverfahrens zum Schätzen einer Fahreraufmerksamkeit zur Verfügung gestellt, wobei mittels mindestens eines Umfeldsensors erfasste Umfelddaten mindestens eines Fahrzeugs und/oder mittels mindestens eines Sensors erfasste und/oder abgefragte Fahrzeugdaten des mindestens einen Fahrzeugs empfangen werden, wobei auf Grundlage der erfassten Umfelddaten und/oder der erfassten und/oder abgefragten Fahrzeugdaten eine Situationskritikalität mittels eines Situationskritikalitätsmaßes bestimmt wird, wobei ein Labeling zumindest einer Teilmenge der erfassten Umfelddaten und/oder der erfassten und/oder abgefragten Fahrzeugdaten mit einer Fahreraufmerksamkeit ausgehend von der bestimmten Situationskritikalität durchgeführt wird, und wobei ein zumindest die Teilmenge umfassender Trainingsdatensatz zum Trainieren eines Maschinenlernverfahrens bereitgestellt wird.
Ferner wird insbesondere eine Vorrichtung zum Bereitstellen eines Trainingsdatensatzes zum Trainieren eines Maschinenlernverfahrens zum Schätzen einer Fahreraufmerksamkeit geschaffen, umfassend eine Datenverarbeitungseinrichtung, wobei die Datenverarbeitungseinrichtung dazu eingerichtet ist, mittels mindestens eines Umfeldsensors erfasste Umfelddaten mindestens eines Fahrzeugs zu empfangen und/oder mittels mindestens eines Sensors erfasste und/oder abgefragte Fahrzeugdaten des mindestens einen Fahrzeugs zu empfangen, auf Grundlage der erfassten Umfelddaten und/oder der erfassten und/oder abgefragten Fahrzeugdaten eine Situationskritikalität mittels eines Situationskritikalitätsmaßes zu bestimmen, ein Labeling zumindest einer Teilmenge der erfassten Umfelddaten und/oder der erfassten und/oder abgefragten Fahrzeugdaten mit einer Fahreraufmerksamkeit ausgehend von der bestimmten Situationskritikalität durchzuführen, und einen zumindest die Teilmenge umfassenden Trainingsdatensatz zum Trainieren eines Maschinenlernverfahrens bereitzustellen.
Weiter wird insbesondere ein Verfahren zum Schätzen einer Fahreraufmerksamkeit in einem Fahrzeug zur Verfügung gestellt, wobei Umfelddaten mittels mindestens eines Umfeldsensors erfasst werden und/oder Fahrzeugdaten des Fahrzeugs mittels mindestens eines Sensors erfasst und/oder vom Fahrzeug abgefragt und/oder empfangen werden, wobei die Fahreraufmerksamkeit in Abhängigkeit der erfassten Umfelddaten und/oder der erfassten und/oder empfangenen Fahrzeugdaten mittels eines trainierten Maschinenlernverfahrens geschätzt und bereitgestellt wird.
Insbesondere wird auch eine Vorrichtung zum Schätzen einer Fahreraufmerksamkeit in einem Fahrzeug geschaffen, umfassend eine Steuereinrichtung, wobei die Steuereinrichtung dazu eingerichtet ist, ein trainiertes Maschinenlernverfahren bereitzustellen, mittels mindestens eines Umfeldsensors erfasste Umfelddaten zu empfangen und/oder mittels mindestens eines Sensors erfasste Fahrzeugdaten des Fahrzeugs zu empfangen und/oder Fahrzeugdaten vom Fahrzeug abzufragen und/oder zu empfangen, und die Fahreraufmerksamkeit in Abhängigkeit der erhaltenen Umfelddaten und/oder der empfangenen und/oder abgefragten Fahrzeugdaten mittels des trainierten Maschinenlernverfahrens zu schätzen und bereitzustellen.
Das Verfahren und die Vorrichtung zum Bereitstellen des Trainingsdatensatzes ermöglichen es, erfasste Umfelddaten und/oder Fahrzeugdaten automatisiert mit Labeln zu versehen und hierdurch für das Training eines Maschinenlernverfahrens nutzbar zu machen. Hierzu werden im Rahmen von Testfahrten oder regulären Fahrten mindestens eines Fahrzeugs gewonnene Umfelddaten und/oder Fahrzeugdaten ausgewertet und für diese Daten eine Situationskritikalität mittels eines Situationskritikalitätsmaßes bestimmt. Die Situationskritikalität gibt insbesondere an, wie kritisch eine jeweils in den Daten abgebildete Situation ist. In einem einfachen Beispiel kann hierbei eine Zeit bis zu einer Kollision (time-to-collision, TTC) des Fahrzeugs mit einem Objekt im Umfeld abgeschätzt und als Situationskritikalitätsmaß verwendet werden, beispielsweise indem die TTC mit mindestens einem Schwellenwert verglichen wird, um kritische von unkritischen Situationen zu unterscheiden.
Ein Labeling zumindest einer Teilmenge der erfassten Umfelddaten und/oder der erfassten und/oder abgefragten Fahrzeugdaten mit einer Fahreraufmerksamkeit wird ausgehend von der bestimmten Situationskritikalität durchgeführt. Insbesondere werden hierbei diejenigen Situationen bzw. Zeitpunkte in den Umfelddaten und/oder Fahrzeugdaten betrachtet und zum Bestimmen einer Fahreraufmerksamkeit ausgewertet, in denen die Situationskritikalität von einem Referenzwert (z.B. unkritische oder normalkritische Situationen) abweicht bzw. einen Schwellenwert überschreitet, das heißt in denen eine Situation für das Fahrzeug kritisch ist.
Sind die Umfelddaten und/oder die Fahrzeugdaten in der Teilmenge auf diese Weise gelabelt, so wird zumindest die gelabelte Teilmenge als Trainingsdatensatz bereitgestellt, beispielsweise in Form eines digitalen Datenpakets über eine Schnittstelle ausgeben und/oder in einem Datenspeicher hinterlegt.
Anschließend kann ein Training des Maschinenlernverfahrens mit Hilfe des bereitgestellten Trainingsdatensatzes in an sich bekannter Weise erfolgen.
Ein Vorteil des Verfahrens und der Vorrichtung ist, dass das Labeln insbesondere automatisiert durchgeführt werden kann, sodass Kosten für das Bereitstellen des Trainingsdatensatzes reduziert werden können, da insbesondere ein Labeling durch menschliche Experten entfallen kann. Auch kann hierdurch ein Umfang der Trainingsdaten erhöht werden. Ferner ermöglicht der bereitgestellte Trainingsdatensatz das Trainieren eines Maschinenlernverfahrens, welches nach dem Training in der Lage ist, ohne einen zusätzlichen Sensor, das heißt kostensparend, eine Fahreraufmerksamkeit auf Grundlage von erfassten Umfelddaten und/oder erfassten und/oder abgefragten Fahrzeugdaten zu schätzen.
Ein Situationskritikalitätsmaß dient insbesondere dazu, kritische Situationen von unkritischen Situationen zu unterscheiden. Dies erfolgt, indem mittels des Situationskritikalitätsmaßes eine Situationskritikalität bestimmt wird und beispielsweise mit einem Schwellenwert verglichen wird. Der Trainingsdatensatz soll insbesondere auf Grundlage von Umfelddaten und/oder Fahrzeugdaten, die während kritischer Situationen erfasst oder abgefragt wurden, erzeugt werden. Eine kritische Situation kann hierbei insbesondere mehrere Zeitschritte innerhalb der Umfelddaten und/oder Fahrzeugdaten umfassen. Dem Situationskritikalitätsmaß liegt insbesondere eine Metrik zugrunde. Eine solche Metrik kann beispielsweise eine Abschätzung sein, wie wahrscheinlich eine Kollision mit einem Objekt im Umfeld des Fahrzeugs ist und/oder wie groß eine Zeit bis zur Kollision (time-to-collision, TTC) ist. Beispielhaft ausgedrückt, ist eine Situationskritikalität umso größer, je kürzer die Zeit bis zur Kollision ist. Ein anderes Beispiel für eine Metrik für die Situationskritikalität ist eine Existenz und/oder eine Größe eines kollisionsfreien Bereichs vor dem Fahrzeug, welcher beispielsweise über das Erzeugen von möglichen Trajektorien, z.B. in Form von möglichen Ausweichtrajektorien, und einer Anzahl von diesen Trajektorien, die kollisionsfrei sind, abgeschätzt werden kann.
Ferner können insbesondere mögliche Reaktionsweisen eines Fahrers in bestimmten kritischen Situationen ausgewertet werden, um eine Situationskritikalität zu bestimmen. Anders ausgedrückt, ist eine Situationskritikalität umso größer, je stärker der Fahrer in einer gegebenen (kritischen) Situation reagieren müsste, um eine Kollision mit einem Objekt im Umfeld zu verhindern. Hieraus kann ein Maß einer Abweichung von einem Normalverhalten (z.B. komfortable Fahrt im Gegensatz zu einem abrupten Abbremsen, Weglenken etc.) und einer notwendigen Reaktionszeit (rückblickend im Zeitverlauf) bestimmt werden, welches eine Situationskritikalität der Situation widerspiegelt. Zur Beurteilung der möglichen Reaktionsweisen können hierbei insbesondere Trajektorienscharen für mögliche (Ausweich-)Manöver erzeugt werden. Für die Trajektorien kann dann z.B. eine mindestens notwendige Ausweichbeschleunigung, eine mindestens notwendige Bremsverzögerung, eine notwendige Reaktionszeit (z.B. in Form einer „Schrecksekunde“ von 700 Millisekunden) oder Kombinationen hiervon berücksichtigt werden, um eine Situationskritikalität zu bestimmen. Bei der Berücksichtigung der notwendigen Reaktionszeit erfolgt insbesondere jeweils eine Rückwärtsbetrachtung in der Zeit, das heißt die Situationskritikalität wird um die Reaktionszeit in die Vergangenheit verschoben, sodass die zu beurteilenden notwendigen Aktionen des Fahrers (bzw. eine Fahreraktivität) in Bezug auf eine solche hinsichtlich der Zeit korrigierte Situationskritikalität beurteilt werden.
Fahrzeugdaten können beispielsweise eine oder mehrere der folgenden Größen umfassen: odometrische Fahrzeugdaten, eine Längsbeschleunigung, eine Querbeschleunigung, eine Geschwindigkeit, ein Bremsverhalten, eine Fahrpedalbetätigung (Absolutwert und/oder Gradient), Gierwinkel, Lenkradwinkel, Lenkradwinkelgeschwindigkeit etc.
Als Maschinenlernverfahren können insbesondere ein Bayessches Netz, ein Neuronales Netz und/oder regelbasierte Maschinenlernverfahren eingesetzt werden.
Teile der Vorrichtungen, insbesondere die Datenverarbeitungseinrichtung und/oder die Steuereinrichtung, können einzeln oder zusammengefasst als eine Kombination von Hardware und Software ausgebildet sein, beispielsweise als Programmcode, der auf einem Mikrocontroller oder Mikroprozessor ausgeführt wird.
Es kann vorgesehen sein, dass das Verfahren zum Bereitstellen eines Trainingsdatensatzes zum Trainieren eines Maschinenlernverfahrens zum Schätzen einer Fahreraufmerksamkeit das Erfassen der Umfelddaten und/oder das Erfassen und/oder Abfragen der Fahrzeugdaten umfasst.
In einer Ausführungsform ist vorgesehen, dass zum Bestimmen einer Fahreraufmerksamkeit vor und/oder während kritischer Situationen, die mittels der bestimmten Situationskritikalität identifiziert werden oder wurden, eine Fahreraktivität bewertet und/oder klassifiziert wird. Hierbei wird davon ausgegangen, dass sich eine jeweils unterschiedlich ausgeprägte Fahreraufmerksamkeit insbesondere kurz vor und während kritischer Situationen im Hinblick auf unterschiedliche Ausprägungen am besten auswerten und bestimmen lässt. Daher werden insbesondere die Zeiträume kurz vor und während der kritischen Situationen betrachtet.
Beispielsweise kann eine Reaktionszeit des Fahrers mit einer zum Einhalten einer bestimmten Trajektorie notwendigen Reaktionszeit verglichen werden. Je nachdem, wie ein Vergleichsergebnis ausfällt, wird der Fahrer beispielsweise als aufmerksam, weniger aufmerksam oder unaufmerksam klassifiziert. Ein entsprechendes Label wird dann für die betrachtete bzw. zu bewertende Situation bereitgestellt.
In einer Weiterbildung ist vorgesehen, dass die Fahreraktivität zumindest in Abhängigkeit von den erfassten und/oder abgefragten Fahrzeugdaten bestimmt wird. Hierbei können beispielsweise die folgenden Fahrzeugdaten verwendet werden: eine Längsbeschleunigung, eine Querbeschleunigung, eine Geschwindigkeit, ein Bremsverhalten, eine Fahrpedalbetätigung (Absolutwert und/oder Gradient), ein Gierwinkel, ein Lenkradwinkel, ein Lenkradwinkelgeschwindigkeit etc. Ferner können die Fahrzeugdaten auch Signale von Bedienhandlungen des Fahrers umfassen, z.B. eine Hebel-, Schalter- oder Tasterbetätigung, eine Radio- oder Navigationsbenutzung etc.
Ferner kann beispielsweise auch ein Bremsdruck und/oder eine Querbeschleunigung mit einem bei rechtzeitiger bzw. normaler Reaktion aufgebrachten Bremsdruck und/oder einer im Normalfall aufzubringenden Querbeschleunigung verglichen werden.
In einer Ausführungsform ist vorgesehen, dass eine Fahreraufmerksamkeit als gering klassifiziert wird, wenn über zumindest einen vorgegebenen Zeitraum in den erfassten und/oder abgefragten Fahrzeugdaten keine Fahreraktivität erkannt wird, das heißt ein Mindestmaß an Fahreraktivität unterschritten ist. Hierbei wird davon ausgegangen, dass ein Fahrer, sofern dieser aufmerksam ist, fortlaufend Aktionen ausführt. Ist der Fahrer hingegen unaufmerksam, so lässt sich keinerlei Fahreraktivität in den Fahrzeugdaten erkennen. Die Unterscheidung zwischen „aktiven“ und „inaktiven“ Zuständen kann beispielsweise mittels empirisch bestimmter Schwellenwerte für die einzelnen Größen in den Fahrzeugdaten bestimmt werden.
In einer Ausführungsform ist vorgesehen, dass in Abhängigkeit der bewerteten und/oder klassifizierten Fahreraktivität mindestens ein Schwellenwert für erfasste Umfelddaten und/oder erfasste und/oder abgefragte Fahrzeugdaten bestimmt wird, wobei der mindestens eine Schwellenwert beim Labeln verwendet wird. Hierdurch können die erfassten Umfelddaten und/oder die erfassten und/oder abgefragten Fahrzeugdaten auf einfache Weise einzelnen Labels für die Fahreraufmerksamkeit zugeordnet werden. Eine mittels der Schwellenwerte vorgenommene Zuordnung erfolgt insbesondere nur für eine Teilmenge der Umfelddaten und/oder Fahrzeugdaten, beispielsweise können nur bestimmte Messsignale in den Fahrzeugdaten berücksichtigt werden, wie beispielsweise eine Bremspedalbetätigung und eine Änderung der Bremspedalbewegung, ein Lenkwinkel und eine Änderung des Lenkwinkels etc. Beispielsweise kann vorgesehen sein, die Labels für die Fahreraufmerksamkeit (z.B. in den Abstufungen: aufmerksam, weniger aufmerksam und unaufmerksam) in Abhängigkeit einer Bremspedalbetätigung, ausgedrückt beispielsweise in Form eines ausgeübten Bremsdrucks, zu vergeben. Für die drei Labels würden dann jeweils Schwellenwerte für den ausgeübten Bremsdruck bestimmt werden. Anschließend können sämtliche erfassten Umfelddaten und/oder erfassten und/oder abgefragten Fahrzeugdaten automatisiert mit Labels markiert werden, wobei lediglich die Bremspedalbetätigung ausgewertet wird.
In einer Ausführungsform ist vorgesehen, dass beim Labeln Sensordaten mindestens eines eine Fahreraufmerksamkeit des Fahrers erfassenden Sensors berücksichtigt werden. Hierdurch kann das Vergeben der Labels noch zuverlässiger erfolgen. Beispielsweise kann vorgesehen sein, die Fahreraufmerksamkeit direkt mittels einer Kamera im Innenraum des Fahrzeugs zu erfassen. Nach Auswerten zeitgleich mit den Umfelddaten bzw. Fahrzeugdaten erfassten Kamerabildern kann eine direkt bestimmte Fahreraufmerksamkeit beim Labeln berücksichtigt werden, beispielsweise indem diese zusammen mit der mittels des voranstehend beschriebenen Verfahrens bestimmte Fahreraufmerksamkeit gewichtet berücksichtigt wird. Hierbei kann auch vorgesehen sein, dass nur für eine Teilmenge der Umfelddaten und/oder der Fahrzeugdaten Daten für eine parallel hierzu direkt erfasste Fahreraufmerksamkeit vorliegen. Dies ermöglicht zumindest eine Überprüfung bzw. eine Plausibilisierung der mittels des Verfahrens bestimmten Fahreraufmerksamkeit durch die direkt erfassten Werte.
In einer Ausführungsform des Verfahrens zum Schätzen einer Fahreraufmerksamkeit in einem Fahrzeug ist vorgesehen, dass das Maschinenlernverfahren mittels eines Trainingsdatensatzes trainiert wird oder trainiert ist, der mittels des Verfahrens zum Bereitstellen eines Trainingsdatensatzes zum Trainieren eines Maschinenlernverfahrens zum Schätzen einer Fahreraufmerksamkeit gemäß einer beliebigen der beschriebenen Ausführungsformen erzeugt und bereitgestellt wird oder wurde.
Weitere Merkmale zur Ausgestaltung der Vorrichtungen ergeben sich aus der Beschreibung von Ausgestaltungen der jeweiligen Verfahren. Die Vorteile der Vorrichtungen sind hierbei jeweils die gleichen wie bei den Ausgestaltungen der Verfahren.
Nachfolgend wird die Erfindung anhand bevorzugter Ausführungsbeispiele unter Bezugnahme auf die Figuren näher erläutert. Hierbei zeigen:

1 eine schematische Darstellung einer Ausführungsform der Vorrichtung zum Bereitstellen eines Trainingsdatensatzes zum Trainieren eines Maschinenlernverfahrens zum Schätzen einer Fahreraufmerksamkeit;
2 eine beispielhafte Betrachtung für eine Trajektorienschar aus möglichen Ausweichtrajektorien zur Verdeutlichung einer Metrik für das Situationskritikalitätsmaß;
3 S-Schlag-Manöver als beispielhafte Erweiterung der in der 2 gezeigten Ausweichtrajektorien;
4a, 4b eine alternative oder zusätzliche Metrik für das Situationskritikalitätsmaß;
5a, 5b beispielhafte Situationen zur Verdeutlichung des Bestimmens einer Fahreraufmerksamkeit in kritischen Situationen;
6 ein schematisches Ablaufdiagramm einer Ausführungsform des Verfahrens zum Bereitstellen eines Trainingsdatensatzes zum Trainieren eines Maschinenlernverfahrens zum Schätzen einer Fahreraufmerksamkeit;
7 eine schematische Darstellung einer Ausführungsform der Vorrichtung zum Schätzen einer Fahreraufmerksamkeit in einem Fahrzeug.

In 1 ist eine schematische Darstellung einer Ausführungsform der Vorrichtung 1 zum Bereitstellen eines Trainingsdatensatzes 20 zum Trainieren eines Maschinenlernverfahrens zum Schätzen einer Fahreraufmerksamkeit gezeigt. Die Vorrichtung 1 umfasst eine Datenverarbeitungseinrichtung 2, die eine Recheneinrichtung 3 und eine Speichereinrichtung 4 umfasst. Die Recheneinrichtung 3 kann auf in der Speichereinrichtung 4 hinterlegte Daten zugreifen und Rechenoperationen auf diesen ausführen. Insbesondere führt die Datenverarbeitungseinrichtung 2 das Verfahren zum Bereitstellen eines Trainingsdatensatzes 20 zum Trainieren eines Maschinenlernverfahrens zum Schätzen einer Fahreraufmerksamkeit aus.
Hierzu empfängt die Datenverarbeitungseinrichtung 2 mittels mindestens eines Umfeldsensors 30 erfasste Umfelddaten 10 mindestens eines Fahrzeugs und/oder mittels mindestens eines Sensors 31 erfasste und/oder beim Fahrzeug abgefragte Fahrzeugdaten 11 des mindestens einen Fahrzeugs. Es kann hierbei auch vorgesehen sein, Umfelddaten und/oder Fahrzeugdaten mehrerer Fahrzeuge, beispielsweise einer Fahrzeugflotte, zu verwenden. Insbesondere wird eine große Menge an Daten verwendet, beispielsweise auf Grundlage von einigen 10.000 bis 100.000 gefahrenen Kilometern.
Die Datenverarbeitungseinrichtung 2 bestimmt auf Grundlage der erfassten Umfelddaten 10 und/oder der erfassten und/oder abgefragten Fahrzeugdaten 11 eine Situationskritikalität 15 mittels eines Situationskritikalitätsmaßes. Insbesondere sollen hierdurch kritische Situationen von unkritischen Situationen unterschieden werden können. Kritische Situationen sind hierbei insbesondere solche, in denen es ohne Eingriff des Fahrers zu einer Kollision mit einem Objekt im Umfeld kommt. Beim Bestimmen der Situationskritikalität 15 können verschiedene Metriken im Situationskritikalitätsmaß zum Einsatz kommen. Eine Metrik kann beispielsweise eine Abschätzung sein, wie wahrscheinlich eine Kollision mit einem Objekt im Umfeld des Fahrzeugs ist und/oder wie groß eine Zeit bis zur Kollision (time-to-collision, TTC) ist. Beispielhaft ausgedrückt, ist eine Situationskritikalität umso größer, je kürzer die Zeit bis zur Kollision ist.
Ein weiteres Beispiel für eine Metrik für das Situationskritikalitätsmaß sind eine Existenz und/oder eine Anzahl von möglichen kollisionsfreien Ausweichtrajektorien. Es kann auch eine geschätzte bzw. prädizierte Dauer und/oder Länge einer kollisionsfreien Fahrt auf den Ausweichtrajektorien betrachtet werden und beispielsweise anteilig gewertet werden. Ferner kann auch ein Verhalten des Fahrers in einer kritischen Situation mit einem Normalverhalten verglichen werden. Beispielsweise kann ein Bremsverhalten in einer kritischen Situation mit einem normalen Bremsverhalten verglichen werden, um hieraus eine Information zur Situationskritikalität zu erhalten.
In 2 ist eine beispielhafte Betrachtung für eine Trajektorienschar 40 aus möglichen Ausweichtrajektorien 41 zur Verdeutlichung einer Metrik für das Situationskritikalitätsmaß gezeigt. Die Ausweichtrajektorien 41 weisen hierbei jeweils einen unterschiedlich großen Lenkwinkel und in der Folge eine unterschiedliche große Querbeschleunigung auf. Bis auf die Ausweichtrajektorien 41 auf der rechten Seite, die mit Objekten 42 (beispielsweise Straßenschilder oder eine Leitplanke etc.; der Übersichtlichkeit halber sind nicht alle Objekte 42 mit einem eigenen Bezugszeichen versehen) im Umfeld kollidieren, sind alle Ausweichtrajektorien 41 kollisionsfrei. Eine solche Betrachtung wird insbesondere für jeden Zeitschritt der erfassten Umfelddaten und/oder der erfassten und/oder abgefragten Fahrzeugdaten durchgeführt. Über eine als Metrik verwendete Anzahl und/oder ein Verhältnis zwischen kollisionsfreien und kollidierenden Ausweichtrajektorien 41 kann dann für jeden Zeitschritt die Situationskritikalität bestimmt werden. Auf diese Weise können kritische Situationen von unkritischen Situationen unterschieden werden. In einem einfachen Beispiel, bei dem immer eine gleiche Anzahl von möglichen Ausweichtrajektorien 41 betrachtet wird, wäre die Situationskritikalität am geringsten, wenn alle Ausweichtrajektorien 41 kollisionsfrei sind, hingegen wäre die Situationskritikalität am höchsten, wenn keine der Ausweichtrajektorien 41 kollisionsfrei wäre.
Zusätzlich können noch andere Einflussgrößen berücksichtigt werden, beispielsweise ein Bremsverhalten etc. Auf diese Weise könnte beispielsweise selbst bei den rechten Ausweichtrajektorien 41 eine Kollision noch vermieden werden, wenn sehr stark gebremst würde. Das starke Abbremsen, das heißt eine starke Längsbeschleunigung bzw. -verzögerung würde dann ebenfalls in der Metrik für das Situationskritikalitätsmaß berücksichtigt werden, das heißt einen Wert für die Situationskritikalität beeinflussen.
3 zeigt beispielhaft eine Erweiterung der in der 2 gezeigten Ausweichtrajektorien 41. Hierbei werden S-Schlag-Manöver 43 betrachtet, wie diese in der Regel auftreten, wenn ein Fahrzeug von einem Fahrer um ein Hindernis herumgelenkt wird. Das S-Schlag-Manöver 43 umfasst hierbei zuerst eine Lenkbewegung in eine Richtung, um dem Hindernis auszuweichen, anschließend eine Lenkbewegung in die jeweils andere Richtung, um das Fahrzeug wieder parallel zur ursprünglichen Fahrtrichtung zu stellen. Das Bestimmen der Situationskritikalität erfolgt ansonsten analog zu dem anhand der 2 beschriebenen Beispiel. Beispielsweise kann als Situationskritikalitätsmaß eine Anzahl und/oder ein Verhältnis von kollisionsfreien S-Schlag-Manövern 43 zu kollidierenden S-Schlagmanövern 43 bestimmt werden.
In einer Alternative kann als Metrik für das Situationskritikalitätsmaß eine Existenz und zugleich eine Größe eines durch die S-Schlag-Manöver 43 definierten kollisionsfreien Bereichs bzw. einer hierdurch definierten kollisionsfreien Fläche zwischen den S-Schlag-Manövern 43 dienen. Dies ist beispielhaft in den 4a und 4b gezeigt. Gezeigt ist eine Auswahl von S-Schlag-Manövern 43 in einer aus den Umfelddaten erzeugten Umfelddarstellung. In dem Umfeld befinden sich Objekte 42. Um die Situationskritikalität abzuschätzen, wird bestimmt, wie groß Bereiche bzw. eine Fläche der kollisionsfreien S-Schlag-Manöver 43 ist. In der 4a ist zu erkennen, dass ein aus Sicht des Fahrzeugs 50 rechts liegender Bereich mehrere Objekte 42 umfasst, sodass dort keine S-Schlag-Manöver 43 ohne Kollision möglich sind. Hingegen sind im links vor dem Fahrzeug 50 liegenden Bereich mehrere S-Schlag-Manöver 43 ohne Kollision möglich, lediglich ein kleines Objekt 42 begrenzt diesen Bereich bzw. eine zugehörige Fläche.
In dem in der 4b gezeigten Umfeld, sind hingegen sowohl im rechts als auch im links vor dem Fahrzeug 50 liegenden Bereich eine Vielzahl von S-Schlag-Manövern 43 ohne Kollision möglich. Über eine Anzahl und/oder ein Verhältnis der kollisionsfreien und kollidierenden S-Schlag-Manöver 43 (vgl. 3) zueinander bzw. die kollisionsfreien Bereiche oder Flächen lässt sich für ein Umfeld zu jedem Zeitschritt eine Situationskritikalität abschätzen. Insbesondere die für eine Kollisionsfreiheit mindestens aufzubringenden Querbeschleunigungen oder Bremsverzögerungen lassen Rückschlüsse auf die Situationskritikalität auf Grund einer Handhabbarkeit durch einen Fahrer oder eine System zu.
Die Situationskritikalität 15 (1) wird insbesondere für jeden Zeitschritt (z.B. jede 20 ms oder jede 50 ms etc.) bestimmt, sodass kritische Situationen in den gesamten Umfelddaten 10 und/oder den gesamten Fahrzeugdaten 11 identifiziert werden können.
Ausgehend von der für die Umfelddaten 10 und/oder die Fahrzeugdaten 11 bestimmten Situationskritikalität 15 wird ein Labeling zumindest einer Teilmenge der erfassten Umfelddaten 10 und/oder der erfassten und/oder abgefragten Fahrzeugdaten 11 mit einer Fahreraufmerksamkeit 21 durchgeführt. Hierbei ist insbesondere vorgesehen, dass die Datenverarbeitungseinrichtung 2 eine Fahreraufmerksamkeit 21 in kritischen Situationen bewertet und klassifiziert.
Es kann vorgesehen sein, dass zum Bestimmen der Fahreraufmerksamkeit 21 vor und/oder während kritischer Situationen, die mittels der bestimmten Situationskritikalität 15 identifiziert werden oder wurden, eine Fahreraktivität bewertet und/oder klassifiziert wird.
Dies wird beispielhaft anhand der in den 5a und 5b gezeigten Darstellungen erläutert. Ein Fahrer des Fahrzeugs befindet sich in einer kritischen Situation, wenn das Fahrzeug ohne eingeleitete Gegenmaßnahmen mit einem Objekt kollidieren würde. Um Bewegungs- und Handlungsmuster, wie beispielsweise Brems- oder Ausweichmanöver, zu gewinnen, werden die erfassten und/oder abgefragten Fahrzeugdaten 11 ausgewertet. Das Erkennen einer kritischen Situation dient als Markierung für das Bestimmen der Fahreraufmerksamkeit, wie nachfolgend verdeutlicht wird. Für die Fahreraufmerksamkeit ist ein Fahrverhalten in Form einer Fahreraktivität 22 unmittelbar vor und während einer bevorstehenden Kollision besonders interessant.

Nachfolgend sind beispielhaft Schwellenwerte gezeigt, mit denen mittels einer Auswahl von erfassten und/oder abgefragten Fahrzeugdaten und/oder einer auf Grundlage der erfassten Umfelddaten geschätzten Zeit bis zur Kollision (TTC) in jedem Zeitpunkt eine kritische Situation erkannt werden kann:

Erkennungskriterium	Schwellenwerte
TTC	$TTC \leq 1,5 s$
Bremsen	$(α_{t} < - 0,11 g) \lor (b_{p} > 103)$
Ausweichen	$\begin{array}{l} (\| a_{n} \|>0,1g) \land [(α_{t} < 0 g) \lor (α_{s w} > 100^{°})] \lor [(α_{s w} > 10 °) \land \\ (v_{s w} > 100 ° 1 /s) \land (α_{t} < 0 g)] \end{array}$

Hierbei sind b_p ein Bremsdruck, α_sw ein Lenkradwinkel, V_sw eine Lenkradwinkelgeschwindigkeit, a_t eine Längsbeschleunigung und a_n eine Querbeschleunigung.
5a zeigt beispielhaft eine Situation, in der der Fahrer aufmerksam ist und eine rechtzeitig eingeleitete Handlung zur Vermeidung einer Kollision mit einem Objekt vornimmt. Gezeigt sind eine auf Grundlage der erfassten Umfelddaten und/oder erfassten und/oder abgefragten Fahrzeugdaten bestimmte Situationskritikalität 15, sowie ein Bremsdruck 17, jeweils im Zeitverlauf über der Zeit t. Um kritische Situationen von unkritischen Situationen zu unterscheiden, ist ein Schwellenwert 18 vorgesehen. Ist der Schwellenwert 18 durch die bestimmte Situationskritikalität 15 erreicht oder überschritten, so wird eine Situation als kritisch, unterhalb davon als unkritisch bewertet bzw. klassifiziert. Aus den erfassten Umfelddaten und/oder den erfassten und/oder abgefragten Fahrzeugdaten ergibt sich, dass ab dem Zeitpunkt t_Krit eine kritische Situation vorliegt, da der Schwellenwert 18 dort überschritten wird.
Die Handlung wird im gezeigten Beispiel durch das Betätigen des Bremspedales zum Zeitpunkt t_Aktion repräsentiert. Hierbei wird zum letztmöglichen Zeitpunkt die Bremsung eingeleitet, sodass t_Krit = t_Aktion ist. Der Fahrer benötigt eine Reaktionszeit t_RZ , um die Situation zu erfassen und die Handlung einleiten zu können (eine solche Reaktionszeit t_RZ beträgt einige 100 Millisekunden bis zu einer Sekunde, beispielsweise 700 Millisekunden). Unter Berücksichtigung der Reaktionszeit t_RZ muss die Situationskritikalität 15 auf die korrigierte Situationskritikalität 19 verschoben werden, sodass der Schwellenwert 18 bereits zum Zeitpunkt t'_Krit überschritten wird. Der Bereich der Fahreraufmerksamkeit unmittelbar vor t'_Krit ist für eine Kollisionsvermeidung daher entscheidend. Je weiter ein aktueller Zeitpunkt von t'_Krit entfernt ist, desto schwieriger wird es, eine korrekte Aussage über die Fahreraufmerksamkeit zu treffen, denn selbst wenn der Fahrer ein Objekt aus der Ferne bereits erkannt hat, muss er noch keine aktiven Handlungen durchführen, da es (noch) nicht notwendig war. Insbesondere der vorgenannte Bereich wird daher zum Bestimmen der Fahreraktivität 22 herangezogen und ausgewertet.
5b zeigt eine Situation, in der der Fahrer unaufmerksam ist, weshalb ein Bremsmanöver verspätet eingeleitet wird. Der Zeitpunkt t_Aktion des Bremsmanövers liegt weit nach dem Zeitpunkt t_Krit , zu dem die Situation kritisch geworden ist, sodass er in diesem Szenario wesentlich intensiver und stärker handeln muss, um eine Kollision zu vermeiden (z.B. stärker Bremsen und gegebenenfalls zusätzlich mittels einer Lenkbewegung ausweichen). Die Reaktionszeit t_RZ muss auch in diesem Beispiel berücksichtigt werden, sodass sich ebenfalls eine korrigierte Situationskritikalität 19 ergibt. Der Zeitbereich Δt stellt dann den zum Bestimmen der Fahreraufmerksamkeit aus einer Fahreraktivität 22 relevanten Bereich dar. Dieser Zeitbereich Δt ist in diesem Beispiel hinter t'_Krit, sodass der Fahrer ausgehend von dieser Information als „unaufmerksam“ klassifiziert werden kann. Anhand von Aktionen, wie z.B. Bremsen, Beschleunigen, Lenken etc. können dann Rückschlüsse auf die Fahreraufmerksamkeit gezogen werden.
In den in den 5a und 5b gezeigten Beispielen wurde lediglich ein Bremsdruck 17 betrachtet. Es kann jedoch vorgesehen sein, dass in analoger Weise weitere Fahrzeugdaten und/oder Umfelddaten ausgewertet und berücksichtigt werden.
Insbesondere kann vorgesehen sein, dass die Fahreraktivität 22 zumindest in Abhängigkeit von den erfassten und/oder abgefragten Fahrzeugdaten 10 bestimmt wird.
Es kann ferner vorgesehen sein, dass eine Fahreraufmerksamkeit 21 (1) als gering klassifiziert wird, wenn über zumindest einen vorgegebenen Zeitraum in den erfassten und/oder abgefragten Fahrzeugdaten 11 keine Fahreraktivität 22 erkannt wird.
Es kann vorgesehen sein, dass in Abhängigkeit der bewerteten und/oder klassifizierten Fahreraktivität 22 mindestens ein Schwellenwert 16 (1) für erfasste Umfelddaten 10 und/oder erfasste und/oder abgefragte Fahrzeugdaten 11 bestimmt wird, wobei der mindestens eine Schwellenwert 16 beim Labeln verwendet wird.
Lediglich beispielhaft sei nachfolgend eine Funktion angegeben, mit der eine Fahreraufmerksamkeit 21 aus erfassten und oder abgefragten Fahrzeugdaten 11 geschätzt werden kann. Eine solche Funktion wird durch Auswerten der nachfolgend in der Funktion beispielhaft berücksichtigten Fahrzeugdaten 11 in kritischen Situationen gewonnen. $F a h r e r a u f m e r k s a m k e i t = {\begin{array}{l} 2 & (b_{p} > 103) \lor (α_{s w} > 10) \lor \\ (V_{s w} > 35) \lor (α_{t < - 0,11 g}) \lor \\ (| α_{n} |>0,11 g) \lor (g_{p} > 30) \\ 1 & (t_{i n a k t i v} \leq 3 s) \land sonst \\ 0 & (t_{i n a k t i v} > 3 s) \land sonst \end{array}}$
Hierbei sind b_p ein Bremsdruck, α_sw ein Lenkradwinkel, V_sw eine Lenkradwinkelgeschwindigkeit, a_t eine Längsbeschleunigung, a_n eine Querbeschleunigung und g_p ein Fahrpedalwert (Gaspedalwert). Da die Funktion lediglich beispielhaft ist, wurde auf die Angabe von konkreten Einheiten in der Funktion verzichtet, da lediglich das Prinzip verdeutlicht werden sollte. Die Zeit t_inaktiv bezeichnet eine Zeit, in der keine Fahreraktivität erkannt werden konnte, das heißt eine Zeit, in der der Fahrer inaktiv war.
Mittels einer solchen Funktion können die erfassten und/oder abgefragten Fahrzeugdaten 11 ausgewertet werden und diesen jeweils ein Wert für die Fahreraufmerksamkeit 21 zugeordnet werden, das heißt diese können hiermit gelabelt werden.
Es kann vorgesehen sein, dass beim Labeln Sensordaten 12 mindestens eines eine Fahreraufmerksamkeit des Fahrers erfassenden Sensors 32 berücksichtigt werden. Eine aus den Sensordaten 12 direkt geschätzte Fahreraufmerksamkeit kann dann beim Labeln beispielsweise gewichtet berücksichtigt werden.
Nach Abschluss des Labeln stellt die Datenverarbeitungseinrichtung 2 (1) einen zumindest die Teilmenge umfassenden Trainingsdatensatz 20 zum Trainieren eines Maschinenlernverfahrens bereit. Insbesondere wird der Trainingsdatensatz 20 ausgegeben, beispielsweise in Form eines digitalen Datensatzes. Anschließend kann ein Maschinenlernverfahren hiermit trainiert werden.
In 6 ist ein schematischer Ablauf des Verfahrens zum Bereitstellen eines Trainingsdatensatzes zum Trainieren eines Maschinenlernverfahrens zum Schätzen einer Fahreraufmerksamkeit gezeigt.
In einem Verfahrensschritt 100 werden mittels mindestens eines Umfeldsensors erfasste Umfelddaten mindestens eines Fahrzeugs empfangen und/oder Fahrzeugdaten des mindestens einen Fahrzeugs mittels mindestens eines Sensors erfasst und/oder bei dem mindestens einen Fahrzeug abgefragt bzw. solche Fahrzeugdaten empfangen. Insbesondere handelt es sich bei den Umfelddaten und den Fahrzeugdaten um während normaler Fahrten und/oder während Testfahrten in bestimmten Zeitintervallen (z.B. alle 20 bis 50 Millisekunden) gesammelte Daten, die in Form eines Datensatzes bereitgestellt und empfangen werden.
In Verfahrensschritt 101 wird ein Zeitschritt in den Umfelddaten und/oder Fahrdaten ausgewählt. Hierbei ist insbesondere vorgesehen, dass sämtliche Zeitschritte nacheinander durchlaufen werden.
In Verfahrensschritt 102 wird eine Situationskritikalität mittels einer Metrik bestimmt. Anders ausgedrückt wird bestimmt, ob in einem jeweils betrachteten Zeitschritt eine kritische Situation vorliegt oder nicht. Als Metrik für das Situationskritikalitätsmaß können beispielsweise eine Zeit bis zur Kollision mit einem Objekt (time-to-collision, TTC) und/oder mögliche Handlungen in Form von Ausweichtrajektorien (vgl. 2) oder S-Schlag-Manöver (vgl. 3) betrachtet und bewertet werden.
In Verfahrensschritt 103 wird überprüft, ob bereits alle Zeitschritte hinsichtlich der Situationskritikalität ausgewertet wurden. Ist dies nicht der Fall, so werden die Verfahrensschritte 101 bis 103 für den jeweils nächsten Zeitschritt wiederholt.
Sind alle Zeitschritte hinsichtlich der Situationskritikalität ausgewertet, so wird in einem Verfahrensschritt 104 in den über die Situationskritikalität als kritisch identifizierten Situationen jeweils eine Fahreraufmerksamkeit bestimmt. Dies erfolgt beispielsweise indem ein Vergleich von Handlungen erfolgt, bei denen der Fahrer aufmerksam bzw. nicht aufmerksam war, wie dies beispielsweise für die 5a und 5b beschrieben ist.
In einem Verfahrensschritt 105 werden Schwellenwerte für zumindest eine Auswahl der erfassten und/oder abgefragten Fahrdaten und/oder erfassten Umfelddaten für eine Zuordnung (Labeling) einer Fahreraufmerksamkeit zu diesen Daten bestimmt. Dies erfolgt beispielsweise mittels einer entsprechend (abschnittsweise) definierten Funktion, wie diese voranstehend beschrieben wurde.
In einem Verfahrensschritt 106 werden die Fahrdaten und/oder die Umfelddaten mittels der Schwellenwerte, insbesondere mittels der Funktion, ausgewertet und zumindest einer Teilmenge der Fahrdaten und/oder der Umfelddaten mit einem jeweiligen Label für die Fahreraufmerksamkeit verknüpft (gelabelt).
In Verfahrensschritt 107 wird aus den gelabelten Fahrdaten und/oder Umfelddaten ein Trainingsdatensatz erzeugt und bereitgestellt. Insbesondere wird der Trainingsdatensatz in Form eines digitalen Datenpakets ausgegeben. Hierbei kann vorgesehen sein, dass nur eine beschränkte Auswahl an Umfelddaten und/oder Fahrdaten verwendet wird, um eine Rechenleistung beim Trainieren und beim Anwenden des Maschinenlernverfahrens zu verringern.
Anschließend kann in einem Verfahrensschritt 108 ein Maschinenlernverfahren, beispielsweise ein Neuronales Netz, mittels des bereitgestellten Trainingsdatensatzes trainiert werden. Das trainierte Maschinenlernverfahren kann in einem nachfolgenden Verfahrensschritt 109 dann, beispielsweise in einer Vorrichtung zum Schätzen einer Fahreraufmerksamkeit verwendet werden. Eine Ausführungsform einer solchen Vorrichtung ist schematisch in der 7 gezeigt.
In 7 ist eine schematische Darstellung einer Vorrichtung 60 zum Schätzen einer Fahreraufmerksamkeit 25 in einem Fahrzeug 50 gezeigt. Die Vorrichtung 60 umfasst eine Steuereinrichtung 61. Die Steuereinrichtung 61 ist dazu eingerichtet, ein trainiertes Maschinenlernverfahren 62, insbesondere in Form eines trainierten Neuronalen Netzes 63 bereitzustellen. Das trainierte Maschinenlernverfahren 62 wird bzw. wurde insbesondere mittels eines Trainingsdatensatzes trainiert, der mittels eines Verfahrens gemäß einer der beschriebenen Ausführungsformen erzeugt und bereitgestellt wird oder wurde.
Die Steuereinrichtung 61 erhält bzw. empfängt mittels mindestens eines Sensors 51 des Fahrzeugs 50 erfasste Fahrzeugdaten 11 des Fahrzeugs 50 und/oder fragt Fahrzeugdaten 11 vom Fahrzeug 50 ab, beispielsweise über einen CAN-Bus. Es kann zusätzlich vorgesehen sein, dass auch erfasste Umfelddaten empfangen und berücksichtigt werden.
Die Steuereinrichtung 61 schätzt die Fahreraufmerksamkeit 25 in Abhängigkeit der empfangenen und/oder abgefragten Fahrzeugdaten 11 mittels des trainierten Maschinenlernverfahrens 62, insbesondere mittels des trainierten Neuronalen Netzes 63.
Die Steuereinrichtung 61 stellt die geschätzte Fahreraufmerksamkeit 25 anschließend bereit, beispielsweise indem ein zugehöriges Signal ausgegeben wird, beispielsweise in Form eines digitalen Datenpakets, beispielsweise über einen CAN-Bus.
Auf Grundlage der bereitgestellten Fahreraufmerksamkeit 25 kann anschließend beispielsweise eine Warneinrichtung 52 gesteuert werden, die bei absinkender Fahreraufmerksamkeit 25 ein Warnsignal ausgibt, um den Fahrer des Fahrzeugs 50 zu warnen. Auch kann eine Warnung entsprechend zu früheren Zeitpunkten oder zu späteren Zeitpunkten erfolgen. Auch ein als aufmerksam eingeschätzter Fahrer kann zu einem späteren Zeitpunkt noch gewarnt werden, um im Falle einer Fehlklassifikation einen Nutzen der Warnfunktion nicht zu verlieren.
Bezugszeichenliste

1: Vorrichtung
2: Datenverarbeitungseinrichtung
3: Recheneinrichtung
4: Speichereinrichtung
10: Umfelddaten
11: Fahrzeugdaten
12: Sensordaten
15: Situationskritikalität
16: Schwellenwert
17: Bremsdruck
18: Schwellenwert (Situationskritikalität)
19: korrigierte Situationskritikalität
20: Trainingsdatensatz
21: Fahreraufmerksamkeit
22: Fahreraktivität
25: Fahreraufmerksamkeit
30: Umfeldsensor
31: Sensor
32: Sensor (Fahreraufmerksamkeit)
40: Trajektorienschar
41: Ausweichtrajektorie
42: Objekt
43: S-Schlag-Manöver
50: Fahrzeug
51: Sensor
52: Warneinrichtung
60: Vorrichtung
61: Steuereinrichtung
62: Maschinenlernverfahren
63: Neuronales Netz
100-109: Verfahrensschritte
t: Zeit
tAktion: Zeitpunkt (Handlung)
tKrit: Zeitpunkt (Überschreitung Schwellenwert)
tRZ: Reaktionszeit
t'Krit: korrigierte Situationskritikalität
Δt: Zeitbereich

Claims

Verfahren zum Bereitstellen eines Trainingsdatensatzes (20) zum Trainieren eines Maschinenlernverfahrens (62) zum Schätzen einer Fahreraufmerksamkeit (25), wobei mittels mindestens eines Umfeldsensors (30) erfasste Umfelddaten (10) mindestens eines Fahrzeugs (50) und/oder mittels mindestens eines Sensors (31) erfasste und/oder abgefragte Fahrzeugdaten (11) des mindestens einen Fahrzeugs (50) empfangen werden, wobei auf Grundlage der erfassten Umfelddaten (10) und/oder der erfassten und/oder abgefragten Fahrzeugdaten (11) eine Situationskritikalität (15) mittels eines Situationskritikalitätsmaßes bestimmt wird, wobei ein Labeling zumindest einer Teilmenge der erfassten Umfelddaten (10) und/oder der erfassten und/oder abgefragten Fahrzeugdaten (11) mit einer Fahreraufmerksamkeit (21) ausgehend von der bestimmten Situationskritikalität (15) durchgeführt wird, und wobei ein zumindest die Teilmenge umfassender Trainingsdatensatz (20) zum Trainieren eines Maschinenlernverfahrens (62) bereitgestellt wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass zum Bestimmen einer Fahreraufmerksamkeit (21) vor und/oder während kritischer Situationen, die mittels der bestimmten Situationskritikalität (15) identifiziert werden oder wurden, eine Fahreraktivität (22) bewertet und/oder klassifiziert wird.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die Fahreraktivität (22) zumindest in Abhängigkeit von den erfassten und/oder abgefragten Fahrzeugdaten (11) bestimmt wird.
Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass eine Fahreraufmerksamkeit (21) als gering klassifiziert wird, wenn über zumindest einen vorgegebenen Zeitraum (t_inaktiv) in den erfassten und/oder abgefragten Fahrzeugdaten (11) keine Fahreraktivität (22) erkannt wird.
Verfahren nach einem der Ansprüche 2 bis 4, dadurch gekennzeichnet, dass in Abhängigkeit der bewerteten und/oder klassifizierten Fahreraktivität (22) mindestens ein Schwellenwert (16) für erfasste Umfelddaten (10) und/oder erfasste und/oder abgefragte Fahrzeugdaten (11) bestimmt wird, wobei der mindestens eine Schwellenwert (16) beim Labeln verwendet wird.
Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass beim Labeln Sensordaten (12) mindestens eines eine Fahreraufmerksamkeit des Fahrers erfassenden Sensors (32) berücksichtigt werden.
Vorrichtung (1) zum Bereitstellen eines Trainingsdatensatzes (20) zum Trainieren eines Maschinenlernverfahrens (62) zum Schätzen einer Fahreraufmerksamkeit (25), umfassend: eine Datenverarbeitungseinrichtung (2), wobei die Datenverarbeitungseinrichtung (2) dazu eingerichtet ist, mittels mindestens eines Umfeldsensors (30) erfasste Umfelddaten (10) mindestens eines Fahrzeugs (50) zu empfangen und/oder mittels mindestens eines Sensors (31) erfasste und/oder abgefragte Fahrzeugdaten (11) des mindestens einen Fahrzeugs (50) zu empfangen, auf Grundlage der erfassten Umfelddaten (10) und/oder der erfassten und/oder abgefragten Fahrzeugdaten (11) eine Situationskritikalität (15) mittels eines Situationskritikalitätsmaßes zu bestimmen, ein Labeling zumindest einer Teilmenge der erfassten Umfelddaten (10) und/oder der erfassten und/oder abgefragten Fahrzeugdaten (11) mit einer Fahreraufmerksamkeit (21) ausgehend von der bestimmten Situationskritikalität (15) durchzuführen, und einen zumindest die Teilmenge umfassenden Trainingsdatensatz (20) zum Trainieren eines Maschinenlernverfahrens (62) bereitzustellen.
Verfahren zum Schätzen einer Fahreraufmerksamkeit (25) in einem Fahrzeug (50), wobei Umfelddaten (10) mittels mindestens eines Umfeldsensors (30) erfasst werden und/oder Fahrzeugdaten (11) des Fahrzeugs (50) mittels mindestens eines Sensors (31) erfasst und/oder vom Fahrzeug (50) abgefragt und/oder empfangen werden, wobei die Fahreraufmerksamkeit (25) in Abhängigkeit der erfassten Umfelddaten (10) und/oder der erfassten und/oder abgefragten und/oder empfangenen Fahrzeugdaten (11) mittels eines trainierten Maschinenlernverfahrens (62) geschätzt und bereitgestellt wird.
Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass das Maschinenlernverfahren (62) mittels eines Trainingsdatensatzes (20) trainiert wird oder trainiert ist, der mittels eines Verfahrens gemäß einem der Ansprüche 1 bis 6 erzeugt und bereitgestellt wird oder wurde.
Vorrichtung (60) zum Schätzen einer Fahreraufmerksamkeit (25) in einem Fahrzeug (50), umfassend: eine Steuereinrichtung (61), wobei die Steuereinrichtung (61) dazu eingerichtet ist, ein trainiertes Maschinenlernverfahren (62) bereitzustellen, mittels mindestens eines Umfeldsensors (30) erfasste Umfelddaten (10) zu empfangen und/oder mittels mindestens eines Sensors (31) erfasste Fahrzeugdaten (11) des Fahrzeugs (50) zu empfangen und/oder Fahrzeugdaten (50) vom Fahrzeug (50) abzufragen und/oder zu empfangen, und die Fahreraufmerksamkeit (25) in Abhängigkeit der erhaltenen Umfelddaten (10) und/oder der empfangenen und/oder abgefragten Fahrzeugdaten (11) mittels des trainierten Maschinenlernverfahrens (62) zu schätzen und bereitzustellen.