DE102022131651A1

DE102022131651A1 - Computerimplementiertes Verfahren zur Auswertung einer Interaktion zwischen einem Nutzer und einem Fahrzeug, computerlesbares Speichermedium und System

Info

Publication number: DE102022131651A1
Application number: DE102022131651.3A
Authority: DE
Inventors: Simone CAMBERG; Fabian Franke; Eric Reum
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2022-11-30
Filing date: 2022-11-30
Publication date: 2024-06-06

Abstract

Die Erfindung betrifft ein computerimplementiertes Verfahren zur Auswertung einer Interaktion zwischen einem Nutzer und einem Fahrzeug, ein computerlesbares Speichermedium, sowie ein System zur Ausführung des Verfahrens. Das Verfahren umfasst die folgenden Schritte:- Aufnehmen einer Bilddaten-Zeitreihe (B), die ein Gesicht des Nutzers zeigt, durch eine Kamera (11) im Fahrzeug;- Auswerten der Bilddaten-Zeitreihe (B) zum Erzeugen von Mimikdaten (M);- Erkennen eines Ereignisses (E) im Fahrzeug;- Erfassen von Kontextdaten (K), beispielsweise einer Kontextdaten-Zeitreihe;- Erzeugen eines Ereignisdatensatzes (D), der das Ereignis (E), zumindest einen Teil der Mimikdaten (M) und zumindest einen Teil der Kontextdaten (K) enthält;- Hinzufügen des Ereignisdatensatzes (E) zu einer Datenbank (15), welche eine Vielzahl von Ereignisdatensätzen (D) enthält;- Ermitteln einer Gruppe von Referenz-Ereignisdatensätzen (R) aus der Datenbank (15).

Description

Die Erfindung betrifft ein computerimplementiertes Verfahren zur Auswertung einer Interaktion zwischen einem Fahrer und einem Fahrzeug. Ferner betrifft die Erfindung ein computerlesbares Speichermedium sowie ein System zur Implementierung des Verfahrens.
Moderne Fahrzeuge verfügen über eine Vielzahl von Fahrzeugfunktionen, die häufig darauf abzielen, die Sicherheit und den Fahrkomfort für den Fahrer und die Fahrzeuginsassen zu erhöhen. Insbesondere sind verschiedene Fahrassistenzsysteme (engl. „advanced driver assistance systems“, ADAS) bekannt, die Unfälle verhindern oder den Fahrer in bestimmten Situationen unterstützen sollen.
Es sind Fahrassistenzsysteme zur Verkehrszeichenerkennung bekannt, mit denen Verkehrszeichen in der Umgebung des Fahrzeugs erfasst werden. Hierbei werden die Verkehrszeichen von einer Videokamera erfasst, die in Fahrtrichtung ausgerichtet ist und typischerweise im Innenspiegel des Fahrzeugs angebracht ist. Bei erfolgreicher Erfassung eines Verkehrszeichens kann das System den Fahrer über einen optischen Hinweis, beispielsweise im Instrumenten-Display oder auf einem Head-Up-Display, und/oder über einen akustischen Hinweis aufmerksam machen. Auf diese Weise kann der Fahrer z.B. auf Geschwindigkeitsbegrenzungen, Baustellen oder sonstige Gefahrstellen hingewiesen werden, damit er sein Fahrverhalten entsprechend anpassen kann.
Für die Sicherheit des Fahrzeugs sowie für die Akzeptanz des Systems beim Fahrer ist die fehlerfreie Funktionsweise solcher Fahrzeugsysteme und -funktionalitäten von entscheidender Bedeutung. So können wiederholte Fehlwarnungen, beispielsweise auf Grund von fehlerhaft erkannten Verkehrsschildern, oder fehlerhaften Anzeigen dazu führen, dass der Fahrer grundsätzlich Warnungen des entsprechenden Assistenzsystems ignoriert oder das Assistenzsystem nicht mehr nutzt. Insgesamt stellen solche Fehler aber nicht zuletzt mit Blick auf die Entwicklung im Bereich des autonomen Fahrens eine Gefahr für das Fahrzeug und die Insassen dar.
Es besteht somit das Bedürfnis, Fehler in dem System frühzeitig und zumindest teilautomatisiert zu erkennen.
Ausgehend vom Stand der Technik besteht eine Aufgabe der vorliegenden Erfindung darin, ein Verfahren anzugeben, welches das oben beschriebene Problem löst. Insbesondere soll das Verfahren in der Lage sein, (mögliche) Fehler und andere relevante Vorkommnisse im Fahrzeug zu erfassen und ggf. zur weiteren Auswertung bereitzustellen. Darüber hinaus ist es Aufgabe der vorliegenden Erfindung, ein entsprechendes computerlesbares Speichermedium sowie ein System zur Ausführung des Verfahrens anzugeben.
Diese Aufgabe wird durch ein Verfahren gemäß Anspruch 1 gelöst.
Insbesondere wird die Aufgabe gelöst durch ein computerimplementiertes Verfahren zur Auswertung einer Interaktion zwischen einem Nutzer und einem Fahrzeug, wobei das Verfahren die folgenden Schritte umfasst:

- Aufnehmen einer Bilddaten-Zeitreihe, die ein Gesicht des Nutzers zeigt, durch eine Kamera im Fahrzeug;
- Auswerten der Bilddaten-Zeitreihe zum Erzeugen von Mimikdaten, beispielsweise einer Mimik-Zeitreihe;
- Erkennen eines Ereignisses im Fahrzeug, insbesondere einer Warn- oder Fehlermeldung oder eines Bedienvorgangs des Nutzers;
- Erfassen von Kontextdaten, beispielsweise einer Kontextdaten-Zeitreihe, insbesondere mittels Sensoren des Fahrzeugs;
- Erzeugen eines Ereignisdatensatzes, der das Ereignis, zumindest einen Teil der Mimikdaten und zumindest einen Teil der Kontextdaten enthält;
- Hinzufügen des Ereignisdatensatzes zu einer Datenbank, welche eine Vielzahl von Ereignisdatensätzen enthält;
- Ermitteln einer Gruppe von Referenz-Ereignisdatensätzen aus der Datenbank, insbesondere zur weiteren Auswertung.

Unter einem Ereignis kann im Zusammenhang mit der vorliegenden Erfindung ein beliebiges Ereignis verstanden werden, das im Zusammenhang mit einer Interaktion des Nutzers mit dem Fahrzeug steht. Ein solches Ereignis kann beispielsweise die Anzeige einer Warn-, Fehler-, oder Hinweismeldung auf einem Anzeigegerät des Fahrzeugs oder das Abspielen eines Hinweissignals sein. Ferner kann auch ein vom Nutzer vorgenommener Bedienvorgang, beispielsweise das Betätigen des Gas- oder Bremspedals oder das Drücken einer Bedientaste ein solches Ereignis darstellen. Das Eintreten des Ereignisses im Fahrzeug kann insbesondere dadurch erkannt werden, dass ein entsprechendes Signal über ein Bussystem des Fahrzeugs gesendet wird.
Ein Gedanke der Erfindung besteht darin, die Reaktion des Nutzers zu erfassen und hierüber Rückschlüsse über die Funktion des Systems zu schließen. Dafür wird eine Bilddaten-Zeitreihe aufgenommen, deren Bilder ein Gesicht des Nutzers zeigen. Durch Auswerten der Bilddaten-Zeitreihe werden Mimikdaten erzeugt, welche einen Gesichtsausdruck des Nutzers beschreiben können. Auf diese Weise kann insbesondere eine Reaktion (z.B. Erstaunen, Erschrecken) des Nutzers auf das Ereignis erfasst werden.
Die Mimikdaten können beispielsweise in Form einer Mimik-Zeitreihe erzeugt werden, die zu der Bilddaten-Zeitreihe korrespondiert, d.h. dass jedem Element der Bilddaten-Zeitreihe eine entsprechende Mimikinformation zugeordnet wird und die Mimik-Zeitreihe aus der Sequenz der Mimikinformationen erzeugt wird. Alternativ können mehrere Elemente der Bilddaten-Zeitreihe zu einem Bild zusammengefasst oder ein neues Bild aus Bildern der Zeitreihe erstellt werden und eine entsprechende Mimikinformation daraus erzeugt werden.
Neben der Bilddaten-Zeitreihe werden in dem beschriebenen Verfahren ferner Kontextdaten erfasst, welche weitere Informationen über die Bedingungen enthalten, unter denen das Ereignis eingetreten ist. Die Kontextdaten können insbesondere den internen Zustand des Fahrzeugs (z.B. Geschwindigkeit, aktivierte Assistenzsysteme) und/oder allgemeine Kontextdaten (z.B. Zeit, Ort) betreffen. Hierzu können die Kontextdaten ebenfalls als Kontextdaten-Zeitreihe erfasst werden. Die in den Kontextdaten bzw. der Kontextdaten-Zeitreihe enthaltenen Daten können insbesondere von Steuergeräten des Fahrzeugs, einem internen Bordcomputer oder Sensoren des Fahrzeugs erfasst werden und insbesondere über einen oder mehrere Fahrzeugbusse übertragen werden.
Das beschriebene Verfahren erzeugt einen Ereignisdatensatz, welcher mindestens die folgenden Elemente enthält: das erfasste Ereignis; die Mimikdaten (zumindest teilweise); und die Kontextdaten (zumindest teilweise). Ein Ereignisdatensatz kann somit für ein erfasstes Ereignis einen relevanten Teil des Kontexts, in dem das Ereignis eingetreten ist, sowie der Interaktion/Reaktion des Nutzers beschreiben.
Ferner sieht das Verfahren vor, den Ereignisdatensatz zu einer Datenbank hinzuzufügen, die bereits eine Vielzahl von Ereignisdatensätzen (ggf. anderer Struktur) enthält. Schließlich wird gemäß dem beschriebenen Verfahren eine Gruppe von Referenz-Ereignisdatensätzen aus der Datenbank ermittelt, die Gegenstand einer weiteren Auswertung sein kann. Insbesondere kann die Gruppe von Referenz-Ereignisdatensätzen eine Gruppe von Ereignisdatensätzen sein, die Situationen beschreiben, in denen Nutzer auf ein bestimmtes Ereignis in ähnlichen Kontexten auffällig reagiert haben. Eine solche Gruppe von Referenz-Ereignisdatensätzen kann einen Hinweis auf eine Fehlfunktion des Fahrzeugs in spezifischen Situationen darstellen.
Insgesamt ermöglicht das beschriebene Verfahren, die Interaktion des Nutzers mit dem Fahrzeug, die im Zusammenhang mit einem Ereignis stattfindet, in Form eines Ereignisdatensatzes zu erfassen und einer Datenbank bereitzustellen. Durch das Erfassen und Klassifizieren von Mimikdaten können dabei relevante Vorkommnisse in der Interaktion (z.B. Überraschung oder Verwirrung des Nutzers über ein Ereignis) erfasst werden, ohne, dass die Relevanz des Vorkommnisses separat bewertet werden muss.
Basierend auf den gesammelten und ausgewerteten Ereignisdatensätzen kann eine Erkennung und Behebung von Fehlfunktionen im Fahrzeug stattfinden. Dies erhöht die Sicherheit des Fahrzeugs. Darüber hinaus kann auf der Grundlage der erfassten und ausgewerteten Ereignisdatensätze die Fahrzeugkonfiguration angepasst werden, insbesondere hinsichtlich der Benachrichtigung des Nutzers über das Eintreten eines Ereignisses. Dies verbessert die Bedienbarkeit des Fahrzeugs und die Interaktion zwischen Nutzer und Fahrzeug.
In einer Ausführungsform umfasst das Auswerten der Bilddaten-Zeitreihe zum Erzeugen der Mimikdaten mindestens einen der folgenden Schritte:

- Detektieren von Markierungspunkten im Gesicht des Nutzers;
- Klassifizieren von Elementen der Bilddaten-Zeitreihe mittels eines künstlichen neuronalen Netzes.

Durch das Detektieren von Markierungspunkten (engl. „landmarks“ oder „facial action units“) können die Positionen von markanten Elementen des Gesichts, beispielsweise Augen, Mund, Nase und Augenbrauen erfasst werden, die in einem nachfolgenden Verarbeitungsschritt einer Mimikinformation bzw. einem Gesichtsausdruck zugeordnet werden. Dies kann beispielsweise unter Verwendung der Softwarebibliothek Dlib 68 erfolgen, welche 68 verschiedene Markierungspunkte im Gesicht detektiert und unter Verwendung eines trainierten Klassifikators klassifiziert.
Alternativ kann ein künstliches neuronales Netz verwendet werden, um einem Bild der Bilddaten-Zeitreihe Mimikdaten, beispielsweise einen Gesichtsausdruck bzw. eine Emotion, zuzuordnen.
Allgemein ist der Einsatz von Techniken aus dem Bereich der künstlichen Intelligenz hierbei besonders vorteilhaft, da in diesem Bereich zuverlässige und robuste Lösungen für unterschiedliche Probleme der Bilderkennung, darunter die Erkennung von Gesichtsausdrücken, existieren.
In einer Ausführungsform besitzen die Mimikdaten, insbesondere die Elemente der Mimik-Zeitreihe, einen von drei Typen. Die drei Typen können dabei jeweils mit einer positiven, einer negativen oder einer neutralen Emotion des Nutzers assoziiert sein. Eine positive Emotion kann beispielsweise Freude sein. Negative Emotionen können beispielsweise Trauer, Angst, Überraschung oder Wut sein.
Zusätzlich können die Mimikdaten mit einem Zeitstempel versehen sein, der beispielsweise mit einem Aufnahmezeitpunkt eines assoziierten Bildes aus der Bilddaten-Zeitreihe übereinstimmt.
In einer Ausführungsform umfasst das Erkennen des Ereignisses ein Überwachen von mindestens einem Fahrzeugbus und/oder ein Filtern von auf dem Fahrzeugbus übertragenen Signalen. Bei dem Fahrzeugbus kann es sich beispielsweise um einen CAN-Bus oder einen Ethernet-Bus des Fahrzeugs handeln. Insbesondere können in dieser Ausführungsform mehrere relevante Fahrzeugbusse simultan und kontinuierlich überwacht werden. Wird auf einem der Fahrzeugbusse ein Signal übertragen, das zu einer Warn- oder Fehlermeldung korrespondiert, kann dies als Ereignis erfasst werden.
Diese Ausführungsform bietet den Vorteil, dass das Verfahren nahezu beliebige Ereignisse im Fahrzeug effizient detektieren kann.
In einer Ausführungsform enthalten die Kontextdaten, insbesondere die Elemente der Kontextdaten-Zeitreihe, mindestens eine der folgenden Angaben: Zeitpunkt, GPS-Position, Geschwindigkeit, Beschleunigung, Kurvenradius, aktivierte Assistenzsysteme, Außentemperatur, Fahrzeugtyp, Identifikator des Nutzers, Warnmeldung.
Die angegebenen Attribute stellen relevante Parameter über die allgemeine Situation, in der ein Ereignis auftreten kann, sowie über den internen Zustand des Fahrzeugs dar. Über die Angabe eines Identifikators des Nutzers können die Kontextdaten zudem personalisiert werden. Der Nutzeridentifikator kann in pseudonymisierter Form angegeben sein.
Bevorzugt sind die Kontextdaten Tupel aus mehreren der oben angegebenen Attributen. Beispielsweise kann ein Kontextdaten-Tupel die nachfolgende Form haben: $K 1 = (Zeitpunkt, GPS-Position, Geschwindigkeit, Fehrzeugtyp)$
Dabei können auch die Kontextdaten in Form einer Zeitreihe erfasst werden, d.h. die Kontextdaten bilden eine zeitlich geordnete Sequenz $K = (K 1, K 2, \dots, Kn)$
wobei jedes Element K1, K2, ..., Kn ein Kontextdaten-Tupel der oben angegebenen Form sein kann.
In einer Ausführungsform umfasst der Ereignisdatensatz einen Teil der Mimikdaten, insbesondere Elemente der Mimik-Zeitreihe, und einen Teil der Kontextdaten, insbesondere Elemente der Kontextdaten-Zeitreihe. Dabei können jeweils solche Teile der Mimikdaten und der Kontextdaten gewählt werden, die in zeitlicher Nähe zu dem Ereignis erfasst worden sind. Das heißt, die jeweiligen Teile der Mimikdaten und der Kontextdaten wurden in einem Zeitintervall erfasst, in welchem auch der Eintrittszeitpunkt des Ereignisses liegt. Das Zeitintervall kann beispielsweise so gewählt werden, dass es 20 Sekunden vor und nach dem Eintrittszeitpunkt des Ereignisses umfasst.
Die beschriebene Ausführungsform erlaubt es, nur einen relevanten Teil der Mimik- und Kontextdaten in den Ereignisdatensatz zu übernehmen. Der relevante Teil enthält die Vorkommnisse unmittelbar vor und nach dem Eintritt des Ereignisses. Auf diese Weise kann die Menge der zu verarbeitenden Daten, insbesondere bei einer späteren Auswertung der Ereignisdatensätze, reduziert werden. Das Verfahren kann somit effizienter arbeiten.
In einer Ausführungsform umfasst das Ermitteln der Gruppe von Referenz-Ereignisdatensätzen ein Ermitteln von Referenz-Ereignisdatensätzen, die eine Ähnlichkeitseigenschaft in Bezug auf den Ereignisdatensatz erfüllen. Dabei kann die Ähnlichkeitseigenschaft insbesondere eine Übereinstimmung und/oder Ähnlichkeit in mindestens einem Attribut sein. Das mindestens eine Attribut kann beispielsweise eines der folgenden Attribute sein: Ereignis, Mimikdaten, Identifikator des Nutzers, GPS-Position.
Die beschriebene Ausführungsform ermöglicht es, einen Filter zu realisieren, der zu einem vorgegebenen Ereignisdatensatz eine Gruppe bzw. Menge von Referenz-Ereignisdatensätzen aus der Datenbank ermittelt, die eine ähnliche Interaktion wie der vorgegebene Ereignisdatensatz beschreiben. Beispielsweise können durch ein Filtern auf Gleichheit in den Attributen „Fahrzeugtyp“ und „Ereignis“ alle Referenz-Ereignisdatensätze bereitgestellt werden, die beim selben Fahrzeugtyp aufgetreten sind und sich auf das selbe Ereignis beziehen, in Bezug auf den vorgegebenen Ereignisdatensatz. In anderen Fällen kann ein Filtern auf Ähnlichkeit in den Attributen sinnvoll sein, wobei zur Bestimmung der Ähnlichkeit eine Metrik definiert werden kann und zwei Attribute als ähnlich betrachtet werden, wenn der Wert der Metrik einen Schwellenwert unter- oder überschreitet. Beispielsweise können zwei GPS-Positionen als ähnlich aufgefasst werden, wenn sie dem gleichen Straßenabschnitt zugeordnet werden können und/oder in einem Abstand von maximal 1km zueinander liegen. Zwei Zeitpunkte können als ähnlich aufgefasst werden, wenn sie im selben Tagesabschnitt liegen (z.B. morgens, tagsüber, abends, nachts).
In einer Ausführungsform umfasst das Ermitteln der Gruppe der Referenz-Ereignisdatensätze die Ausführung eines Clusteringverfahrens und/oder die Auswertung einer Häufigkeitsverteilung.
In einer Ausführungsform umfasst das Verfahren ferner den folgenden Schritt:

- Anpassen einer Konfiguration im Fahrzeug, welche die Benachrichtigung des Nutzers über das Ereignis betrifft, insbesondere basierend auf einem Ergebnis einer Auswertung der Gruppe von Referenz-Ereignisdatensätzen.

Bei der Konfiguration kann es sich beispielsweise um einen Schwellenwert handeln, sodass bei Erreichen oder Übersteigen des Schwellenwertes der Nutzer über eine Warn- oder Hinweismeldung des Fahrassistenzsystems informiert wird. Der Schwellenwert kann in einem individuellen Profil des Nutzers hinterlegt sein.
Beispielsweise kann der Schwellenwert in Bezug auf ein Konfidenzniveau eines Fahrassistenzsystems definiert sein. Ein niedriger Schwellenwert kann also zu häufigen Benachrichtigungen führen, da ein Erkennungsereignis des Fahrassistenzsystems nur ein geringes Konfidenzniveau aufweisen muss, um eine Benachrichtigung auszulösen.
Alternativ oder zusätzlich kann der Schwellenwert in Bezug auf eine Kritikalität oder Dringlichkeit einer Hinweis- oder Warnmeldung festgelegt sein. Beispielsweise können bloßen Hinweismeldungen eine niedrigere Kritikalität als Warnmeldungen zugeordnet werden.
Die beschriebene Ausführungsform ermöglicht es, die Konfiguration basierend auf einem Auswertungsergebnis der Gruppe von Referenz-Ereignisdatensätzen anzupassen. Beispielsweise kann die Auswertung der Referenz-Ereignisdatensätze ergeben, dass ein Nutzer häufig verärgert auf eine Meldung der Verkehrszeichenerkennung reagiert. Daraufhin kann der Schwellenwert für die Benachrichtigung der Verkehrszeichenerkennung angepasst werden, sodass nur bei hoher Konfidenz eine Benachrichtigung erfolgt. Alternativ oder zusätzlich kann die Benachrichtigung an weitere Bedingungen geknüpft werden. Bei der Erkennung einer Geschwindigkeitsbegrenzung kann eine Benachrichtigung beispielsweise nur dann erfolgen, wenn die momentane Fahrzeuggeschwindigkeit (deutlich) höher als die zulässige Höchstgeschwindigkeit ist.
Die Aufgabe wird ferner durch ein computerlesbares Speichermedium nach Anspruch 11 gelöst. Das Speichermedium enthält Instruktionen, die mindestens einen Prozessor dazu veranlassen, ein Verfahren nach einem der vorhergehenden Ansprüche zu implementieren, wenn die Instruktionen durch den mindestens einen Prozessor ausgeführt werden.
Für das computerlesbare Speichermedium ergeben sich ähnliche vorteilhafte Wirkungen, wie sie bereits in Verbindung mit dem Verfahren beschrieben wurden.
Ferner wird die Aufgabe durch ein System nach Anspruch 12 gelöst.
Insbesondere wird die Aufgabe durch ein System zur Auswertung einer Interaktion zwischen einem Nutzer und einem Fahrzeug gelöst, wobei das System das Folgende aufweist:

- eine Kamera, welche im Fahrzeug angeordnet ist und dazu ausgebildet ist, eine Bilddaten-Zeitreihe vom Gesicht des Nutzers aufzunehmen;
- eine Mimik-Auswertungseinheit, die dazu ausgebildet ist, die Bilddaten-Zeitreihe von der Kamera zu empfangen und auf der Grundlage der Bilddaten-Zeitreihe Mimikdaten zu erzeugen;
- eine Kontextdaten-Erfassungseinheit, welche dazu ausgebildet ist, Kontextdaten zu erfassen, insbesondere durch Abrufen von Daten mindestens eines Steuergeräts und/oder Kommunikationsbusses des Fahrzeugs;
- eine Ereignis-Detektionseinheit, welche dazu ausgebildet ist, ein Ereignis im Fahrzeug zu detektieren und einen Ereignisdatensatz zu erstellen, der das Ereignis sowie zumindest einen Teil der Mimikdaten und zumindest einen Teil der Kontextdaten enthält;
- eine Datenbank, welche eine Vielzahl von Referenz-Ereignisdatensätzen enthält;
- eine Auswertungseinheit, die dazu ausgebildet ist, den Ereignisdatensatz der Datenbank hinzuzufügen und eine Gruppe von Referenz-Ereignisdatensätzen aus der Datenbank zu ermitteln, insbesondere zur weiteren Auswertung.

Für das System ergeben sich ähnliche vorteilhafte Wirkungen, wie sie bereits in Verbindung mit dem Verfahren beschrieben wurden.
In einer Ausführungsform des Systems sind die Mimik-Auswertungseinheit, die Kontextdaten-Erfassungseinheit und die Ereignis-Detektionseinheit im Fahrzeug integriert. Dabei weist das Fahrzeug ferner eine Kommunikationseinheit auf, die dazu ausgebildet ist, einen oder mehrere Ereignisdatensätze an einen Server des Systems zu senden, insbesondere mittels einer Mobilfunkverbindung. Der Server stellt die Auswertungseinheit und/oder die Datenbank bereit.
In dieser Ausführungsform wird das beschriebene Verfahren durch ein verteiltes System realisiert, wobei die Datenerfassung und die Erzeugung des Ereignisdatensatzes im Fahrzeug stattfinden, während die Auswertung und Speicherung der Ereignisdatensätze auf einem Server stattfinden. Auf diese Weise können die Speicher- und Rechenkapazitäten eines externen Servers genutzt werden, wodurch das System effizienter arbeiten kann.
Die Kommunikationseinheit kann ferner dazu ausgebildet sein, eine Konfigurationsanweisung, welche die Benachrichtigung des Nutzers über ein Ereignis im Fahrzeug betrifft, vom Server zu empfangen und zur Verarbeitung (d.h. Anpassen der Konfiguration) im Fahrzeug weiterzuleiten. Hierbei ergeben sich die vorteilhaften Wirkungen der entsprechenden Ausführungsform des Verfahrens, wie es oben beschrieben wurde.
Es versteht sich von selbst, dass die Merkmale und die damit jeweils erzielbaren Vorteile, die in Bezug auf das erfindungsgemäße Verfahren beschrieben wurden, auf die erfindungsgemäßen Vorrichtungen anwendbar bzw. übertragbar sind und umgekehrt. Konkret sind die Komponenten der Vorrichtungen im Kontext der vorliegenden Beschreibung der Erfindung dazu ausgebildet, die erfindungsgemäßen Verfahrensschritte durchzuführen. Ebenso sind die Funktionen der oben beschriebenen Komponenten der erfindungsgemäßen Vorrichtungen als Verfahrensschritte des erfindungsgemäßen Verfahrens anwendbar.
Nachfolgend wird die Erfindung anhand von Ausführungsbeispielen beschrieben, die anhand der Figuren näher erläutert werden. Hierbei zeigen:

1: ein Erzeugen eines Ereignisdatensatzes gemäß einem Ausführungsbeispiel;
2: eine Menge von Ereignisdatensätzen und eine Gruppe von Referenz-Ereignisdatensätzen gemäß einem Ausführungsbeispiel;
3: eine Innenansicht eines Fahrzeugs;
4: eine schematische Darstellung des erfindungsgemäßen Systems gemäß einem Ausführungsbeispiel;
5: eine schematische Darstellung des erfindungsgemäßen Systems gemäß einem weiteren Ausführungsbeispiel.

In der nachfolgenden Beschreibung werden für gleiche und gleich wirkende Teile dieselben Bezugsziffern verwendet.
1 zeigt schematisch das Erzeugen eines Ereignisdatensatzes D. In dem gezeigten Ausführungsbeispiel ist der Ereignisdatensatz D ein Tupel $D = (E, M, K)$
welches das Ereignis E, die Mimikdaten M, und die Kontextdaten K enthält. Die Komponenten des Ereignisdatensatzes D können ihrerseits eine beliebige Datenstruktur aufweisen, beispielsweise eine Liste oder ein Array von Zeitreihendaten.
Das Ereignis E entspricht hierbei der Anzeige einer Hinweismeldung auf einem Bildschirm eines Fahrzeugs, beispielsweise über die Erkennung eines Verkehrszeichens durch ein entsprechendes Fahrassistenzsystem.
Die Grundlage für die Mimikdaten M bildet die Bilddaten-Zeitreihe B, welche das Gesicht des Nutzers zeigt. In dem gezeigten Ausführungsbeispiel enthält die Bilddaten-Zeitreihe drei Aufnahmen des Gesichts des Nutzers. Diesen Aufnahmen werden durch eine Auswertung, beispielsweise durch Erkennung von Markierungspunkten im Gesicht, entsprechende Mimikinformationen zugeordnet. In 1 werden den drei Aufnahmen der Bilddaten-Zeitreihe B die Mimikinformationen „fröhlich“, „überrascht“ und „neutral“ zugeordnet. Somit sind die Mimikdaten M als Mimik-Zeitreihe angegeben, deren Elemente zu den Elementen der Bilddaten-Zeitreihe korrespondieren.
Die Kontextdaten K, in 1 als Tabelle angedeutet, können ebenfalls als Zeitreihe angegeben sein, wobei jedes Element der Zeitreihe beispielsweise Angaben zu dem Zeitpunkt, Ereignisparametern, die momentane GPS-Position des Fahrzeugs, aktivierte Fahrassistenzsysteme usw. enthält.
2 zeigt eine Menge von Ereignisdatensätzen gemäß einem Ausführungsbeispiel. Dabei repräsentieren alle durch „x“ oder „o“ markierten Punkte jeweils einen mehrdimensionalen Ereignisdatensatz zu einem vorgegebenen Ereignis E, beispielsweise einer bestimmten Hinweismeldung eines Fahrassistenzsystems zur Verkehrszeichenerkennung. Insbesondere kann die dargestellte Menge von Ereignisdatensätzen durch eine Datenbankabfrage erhalten worden sein, bei der die gespeicherten Ereignisdatensätze eine vorgegebene Eigenschaft erfüllen (z.B. indem sie sich auf ein bestimmtes Fahrzeug oder einen bestimmten Nutzer beziehen). Zur einfacheren Darstellbarkeit sind die Ereignisdatensätze in 2 auf die beiden Kontextdaten-Attribute „GPS-Position“ (horizontale Achse) und „Tageszeit“ (vertikale Achse) projiziert.
Die dargestellten Ereignisdatensätze lassen sich in zwei Klassen unterteilen. Die durch „x“ markierten Ereignisdatensätze enthalten Mimikdaten, die einer negative Reaktion/Emotion des Nutzers entsprechen (z.B. Angst, Überraschung). Die durch „o“ markierten Ereignisdatensätze enthalten Mimikdaten, die einer positiven oder neutralen Reaktion/Emotion des Nutzers entsprechen.
Ferner ist in 2 eine Gruppe von Referenz-Ereignisdatensätzen R in Bezug auf den Ereignisdatensatz D dargestellt. Wie in 2 erkennbar, enthalten die Elemente der Gruppe von Referenz-Ereignisdatensätzen R solche Ereignisdatensätze, die einer ähnlichen Tageszeit und einer ähnlichen GPS-Position wie der Ereignisdatensatz E zugeordnet sind. Die Gruppe von Referenz-Ereignisdatensätzen R kann insbesondere durch Anwendung eines Clusteringverfahrens erhalten werden, bei dem nur die durch „x“ markierten Ereignisdatensätze betrachtet werden.
Die Häufung der x-Ereignisdatensätze in dem durch R angegebenen Bereich deutet darauf hin, dass es in dem entsprechenden GPS-Bereich und in dem entsprechenden Zeitfenster vermehrt zu Unzufriedenheiten der Nutzer mit dem Fahrassistenzsystem kommt. Beispielsweise könnte eine Fehlfunktion des Fahrassistenzsystems vorliegen, die durch spezielle Lichtverhältnisse hervorgerufen wird, wobei die speziellen Lichtverhältnisse nur in dem entsprechenden Gebiet zu der entsprechenden Tageszeit auftreten. Diese Erkenntnis kann zur Fehlerbehebung genutzt werden.
3 zeigt eine Innenansicht eines Fahrzeugs, in welches das erfindungsgemäße System gemäß einem Ausführungsbeispiel integriert ist.
Das Fahrzeug weist eine Innenraumkamera 11 auf, die auf den Fahrersitz gerichtet ist und so eingestellt ist, dass sie das Gesicht des Fahrers erfassen kann.
Darüber hinaus ist das Fahrzeug mit einem integrierten Fahrassistenzsystem zur Verkehrszeichenerkennung (in 3 nicht dargestellt) ausgerüstet. Hierzu weist das Fahrzeug eine Frontkamera 31 auf, die im Innenspiegel angeordnet und in Fahrtrichtung ausgerichtet ist. Über die Frontkamera können Verkehrszeichen am Straßenrand erfasst werden, beispielsweise das Verkehrsschild 50. Das Fahrassistenzsystem ist dazu ausgebildet, ein Verfahren zur Bilderkennung auf den Bildern der Frontkamera 31 auszuführen. Wird im Rahmen der Bilderkennung ein Verkehrszeichen erkannt, so wird dem Fahrer ein entsprechender Hinweis auf dem Bildschirm 22 in der Mittelkonsole des Fahrzeugs angezeigt.
4 zeigt schematisch den Aufbau des erfindungsgemäßen Systems 10 gemäß einem Ausführungsbeispiel. Das System kann insbesondere in dem Fahrzeug aus 3 eingesetzt werden, um die Reaktionen des Fahrers auf Meldungen des Fahrassistenzsystems zur Verkehrszeichenerkennung auszuwerten.
Das System 10 weist die Innenraumkamera 11 auf, welche die Bilddaten-Zeitreihe B mit Aufnahmen vom Gesicht des Fahrers erzeugt und der Mimik-Auswertungseinheit 12 bereitstellt.
Die Mimik-Auswertungseinheit 12 ist dazu ausgebildet, die Bilddaten-Zeitreihe B auszuwerten und Mimikdaten M zu erzeugen, welche Gesichtsausdrücke/Emotionen für die jeweiligen Bilder der Bilddaten-Zeitreihe B angeben.
Ferner weist das System die Kontextdaten-Erfassungseinheit 13 auf, welche dazu ausgebildet ist, Kontextinformationen von den Sensoren 41, 42, 43 des Fahrzeugs abzufragen. Hierzu ist die Kontextdaten-Erfassungseinheit 13 an den ersten Datenbus 40 angeschlossen, über den die Werte der Sensoren 41, 42, 43 gesendet werden. Somit ist die Kontextdaten-Erfassungseinheit 13 dazu ausgebildet, beispielsweise die Zeit, die GPS-Position des Fahrzeugs, die momentane Geschwindigkeit etc. von den Sensoren 41, 42, 43 abzufragen und einen entsprechenden Datensatz von Kontextdaten K zu erzeugen.
Darüber hinaus weist das gezeigte System 10 die Ereignis-Detektionseinheit 14 auf. Diese ist dazu ausgebildet, den zweiten Datenbus 30 zu überwachen. Über den zweiten Datenbus 30 kommuniziert die Frontkamera 31 mit dem Steuergerät 32 der Verkehrszeichenerkennung. Bei Erfassen eines Verkehrszeichens kann das Steuergerät 32 ein Signal über den zweiten Datenbus 30 senden, welches bewirkt, dass ein Warnhinweis auf dem Bildschirm 22 angezeigt wird (=Ereignis E).
Die Ereignis-Detektionseinheit 14 ist ferner dazu ausgebildet, die Mimikdaten M und die Kontextdaten K von der Mimik-Auswertungseinheit 12 bzw. der Kontextdaten-Erfassungseinheit 13 zu empfangen. Aus diesen Daten sowie aus dem Ereignis E erstellt die Ereignis-Detektionseinheit den Ereignis-Datensatz D. Dies kann insbesondere derart erfolgen, wie es oben im Zusammenhang mit 1 beschrieben ist.
Darüber hinaus ist die Ereignis-Detektionseinheit 14 dazu ausgebildet, den erstellten Ereignisdatensatz D an die Auswertungseinheit 16 zu senden.
Die Auswertungseinheit 16 ist dazu konfiguriert, den erhaltenen Ereignisdatensatz D der Datenbank 15 hinzuzufügen und eine Gruppe von Referenz-Ereignisdatensätzen aus der Datenbank 15 zur weiteren Auswertung zu ermitteln. Dies kann beispielsweise so erfolgen, wie es im Zusammenhang mit 2 beschrieben wurde.
5 zeigt ein weiteres Ausführungsbeispiel des erfindungsgemäßen Systems. In diesem Ausführungsbeispiel sind die Mimik-Auswertungseinheit 12, die Kontextdaten-Erfassungseinheit 13 und die Ereignis-Detektionseinheit 14 im Fahrzeug integriert und mit entsprechenden Fahrzeugkomponenten verbunden, so, wie es im Zusammenhang mit dem Ausführungsbeispiel der 4 beschrieben ist.
Im Gegensatz zum Ausführungsbeispiel der 4 werden jedoch die Auswertungseinheit 16 und die Datenbank 15 von einem Server 60 bereitgestellt.
Zur Verbindung zwischen dem Fahrzeug und dem Server 60 ist das Fahrzeug mit der Kommunikationseinheit 23 versehen, welche eine Datenverbindung, beispielsweise über ein Mobilfunknetz, mit einer Kommunikationsschnittstelle des Servers 60 aufbauen kann.
Die Kommunikationseinheit 23 ist dazu ausgebildet, einen oder mehrere Ereignisdatensätze an den Server 60 zum Speichern und zur Auswertung zu senden. Darüber hinaus ist die Kommunikationseinheit 23 dazu ausgebildet, eine Konfiguration vom Server 60 zu empfangen und an ein entsprechendes Fahrzeug-Steuergerät weiterzuleiten, wobei die Konfiguration insbesondere die Benachrichtigung des Nutzers über ein Ereignis betrifft.
Die vorstehend beschriebenen Ausführungsbeispiele sind in jederlei Hinsicht nur beispielhaft zu verstehen und diverse Modifikationen sind ohne Weiteres denkbar.
Auch wenn die Erfindung in den vorangegangenen Ausführungsbeispielen anhand der Hinweismeldung eines Fahrassistenzsystems als Ereignisse beschrieben wurde, so können beispielsweise auch Nutzeraktionen, z.B. Bedienvorgänge, solche Ereignisse darstellen.
In 2 wird exemplarisch eine Gruppe von Referenz-Ereignisdatensätzen zu einem bestimmten Ereignisdatensatz E ermittelt. Allgemein kann die gesamte Menge (oder eine Teilmenge) der Ereignisdatensätze aus der Datenbank benutzt werden, um eine oder mehrere Gruppen (Cluster) von Ereignisdatensätzen zu ermitteln, die ggf. separat ausgewertet werden können. Das Ermitteln von Referenz-Ereignisdatensätzen bzw. Gruppieren von Ereignisdatensätzen zur weiteren Auswertung kann insofern unabhängig von dem Hinzufügen eines einzelnen Ereignisdatensatzes in die Datenbank erfolgen.
In 4 sind zwei getrennte Datenbusse 30, 40 zur Erfassung der Kontextdaten über Sensoren 41, 42, 43 und zur Kommunikation mit dem Fahrassistenzsystem dargestellt. Selbstverständlich können die jeweiligen Systeme auf einem gemeinsamen Bus kommunizieren oder auf mehrere unterschiedliche Busse aufgeteilt sein. Darüber hinaus müssen die Kontextdaten nicht zwangsläufig von Sensoren 41, 42, 43 erfasst werden, sondern können alternativ oder zusätzlich von beliebigen anderen Quellen, z.B. Steuergeräten oder Bordcomputern, abgefragt werden.
In 5 muss der Server 60 nicht zwangsläufig die Auswertungseinheit 16 und die Datenbank 15 bereitstellen, es ist ebenfalls denkbar, dass diese Komponenten von unterschiedlichen Servern bereitgestellt werden.
Die in dieser Beschreibung durch die Begriffe „Modul“, „Einheit“, „Komponente“ etc. beschriebenen Einheiten können grundsätzlich wahlweise in Hardware oder Software implementiert werden, unabhängig davon, wie es in dieser Beschreibung ausgeführt ist. Ebenso können die beschriebenen Einheiten beliebig zusammengefasst oder voneinander getrennt implementiert werden, ohne vom Wesen der Erfindung abzuweichen.
An dieser Stelle sei darauf hingewiesen, dass alle oben beschriebenen Teile jeweils für sich - auch ohne im jeweiligen Zusammenhang zusätzlich beschriebene Merkmale, selbst wenn diese nicht explizit als optionale Merkmale im jeweiligen Zusammenhang individuell kenntlich gemacht worden sind, z. B. durch Verwendung von: insbesondere, vorzugsweise, beispielsweise, z. B., ggf. , runden Klammern, etc. - und in Kombination oder jeglicher Unterkombination als eigenständige Ausgestaltungen bzw. Weiterbildungen der Erfindung, wie sie insbesondere in der Beschreibungseinleitung sowie den Ansprüchen definiert ist, anzusehen sind. Abweichungen hiervon sind möglich. Konkret sei darauf hingewiesen, dass das Wort insbesondere oder runde Klammern keine im jeweiligen Kontext zwingende Merkmale kennzeichnen.
Bezugszeichenliste

10: System
11: Innenraumkamera
12: Mimikdaten-Auswertungseinheit
13: Kontextdaten-Erfassungseinheit
14: Ereignis-Detektionseinheit
15: Datenbank
16: Auswertungseinheit
22: Bildschirm
23: Kommunikationseinheit
30: zweiter Datenbus
31: Frontkamera
32: Steuergerät
40: erster Datenbus
41, 42, 43: Sensoren
50: Verkehrsschild
60: Server
B: Bilddaten-Zeitreihe
D: Ereignisdatensatz
E: Ereignis
K: Kontextdaten
M: Mimikdaten
R: Gruppe von Referenz-Ereignisdatensätzen

Claims

Computerimplementiertes Verfahren zur Auswertung einer Interaktion zwischen einem Nutzer und einem Fahrzeug, wobei das Verfahren die folgenden Schritte umfasst: - Aufnehmen einer Bilddaten-Zeitreihe (B), die ein Gesicht des Nutzers zeigt, durch eine Kamera (11) im Fahrzeug; - Auswerten der Bilddaten-Zeitreihe (B) zum Erzeugen von Mimikdaten (M), beispielsweise einer Mimik-Zeitreihe; - Erkennen eines Ereignisses (E) im Fahrzeug, insbesondere einer Warn- oder Fehlermeldung oder eines Bedienvorgangs des Nutzers; - Erfassen von Kontextdaten (K), beispielsweise einer Kontextdaten-Zeitreihe, insbesondere mittels Sensoren (41, 42, 43) des Fahrzeugs; - Erzeugen eines Ereignisdatensatzes (D), der das Ereignis (E), zumindest einen Teil der Mimikdaten (M) und zumindest einen Teil der Kontextdaten (K) enthält; - Hinzufügen des Ereignisdatensatzes (D) zu einer Datenbank (15), welche eine Vielzahl von Ereignisdatensätzen (D) enthält; - Ermitteln einer Gruppe von Referenz-Ereignisdatensätzen (R) aus der Datenbank (15), insbesondere zur weiteren Auswertung.
Verfahren nach Anspruch 1, wobei das Auswerten der Bilddaten-Zeitreihe (B) zum Erzeugen der Mimikdaten (M) mindestens einen der folgenden Schritte umfasst: - Detektieren von Markierungspunkten im Gesicht des Nutzers; - Klassifizieren von Elementen der Bilddaten-Zeitreihe (B) mittels eines künstlichen neuronalen Netzes.
Verfahren nach einem der vorherigen Ansprüche, wobei die Mimikdaten (M), insbesondere die Elemente der Mimik-Zeitreihe, einen von drei Typen besitzen, wobei die drei Typen jeweils mit einer positiven, einer negativen oder einer neutralen Emotion des Nutzers assoziiert sind.
Verfahren nach einem der vorherigen Ansprüche, wobei das Erkennen des Ereignisses (E) ein Überwachen von mindestens einem Fahrzeugbus (30, 40) und/oder ein Filtern von auf dem Fahrzeugbus (30, 40) übertragenen Signalen umfasst.
Verfahren nach einem der vorherigen Ansprüche, wobei die Kontextdaten (K), insbesondere die Elemente der Kontextdaten-Zeitreihe, mindestens eine der folgenden Angaben enthalten: Zeitpunkt, GPS-Position, Geschwindigkeit, Beschleunigung, Kurvenradius, aktivierte Assistenzsysteme, Außentemperatur, Fahrzeugtyp, Identifikator des Nutzers, Warnmeldung.
Verfahren nach einem der vorherigen Ansprüche, wobei der Ereignisdatensatz (D) einen Teil der Mimikdaten (M), insbesondere Elemente der Mimik-Zeitreihe, und einen Teil der Kontextdaten (K), insbesondere Elemente der Kontextdaten-Zeitreihe, umfasst, die jeweils in einer zeitlichen Umgebung des Eintrittszeitpunkts des Ereignisses (E) erfasst worden sind, insbesondere bis zu 20 Sekunden vor oder nach dem Eintrittszeitpunkt des Ereignisses (E).
Verfahren nach einem der vorherigen Ansprüche, wobei das Ermitteln der Gruppe von Referenz-Ereignisdatensätzen (R) ein Ermitteln von Referenz-Ereignisdatensätzen umfasst, die eine Ähnlichkeitseigenschaft in Bezug auf den Ereignisdatensatz (E) erfüllen.
Verfahren nach einem der vorherigen Ansprüche, insbesondere nach Anspruch 7, wobei die Ähnlichkeitseigenschaft eine Übereinstimmung und/oder Ähnlichkeit in mindestens einem Attribut ist, wobei das mindestens eine Attribut beispielsweise eines der folgenden Attribute ist: Ereignis (E), Mimikdaten (M), Identifikator des Nutzers, GPS-Position.
Verfahren nach einem der vorherigen Ansprüche, insbesondere nach Anspruch 7 oder 8, wobei das Ermitteln der Gruppe der Referenz-Ereignisdatensätze (R) die Ausführung eines Clusteringverfahrens und/oder die Auswertung einer Häufigkeitsverteilung umfasst.
Verfahren nach einem der vorherigen Ansprüche, ferner umfassend: - Anpassen einer Konfiguration im Fahrzeug, welche die Benachrichtigung des Nutzers über das Ereignis (E) betrifft, insbesondere basierend auf einem Ergebnis einer Auswertung der Gruppe von Referenz-Ereignisdatensätzen (R).
Computerlesbares Speichermedium, welches Instruktionen enthält, die mindestens einen Prozessor dazu veranlassen, ein Verfahren nach einem der vorhergehenden Ansprüche zu implementieren, wenn die Instruktionen durch den mindestens einen Prozessor ausgeführt werden.
System (10) zur Auswertung einer Interaktion zwischen einem Nutzer und einem Fahrzeug, wobei das System (10) das Folgende aufweist: - eine Kamera (11), welche im Fahrzeug angeordnet ist und dazu ausgebildet ist, eine Bilddaten-Zeitreihe (B) vom Gesicht des Nutzers aufzunehmen; - eine Mimik-Auswertungseinheit (12), die dazu ausgebildet ist, die Bilddaten-Zeitreihe (B) von der Kamera (11) zu empfangen und auf der Grundlage der Bilddaten-Zeitreihe (B) Mimikdaten (M) zu erzeugen; - eine Kontextdaten-Erfassungseinheit (13), welche dazu ausgebildet ist, Kontextdaten (K) zu erfassen, insbesondere durch Abrufen von Daten mindestens eines Steuergeräts und/oder Kommunikationsbusses (30, 40) des Fahrzeugs; - eine Ereignis-Detektionseinheit (14), welche dazu ausgebildet ist, ein Ereignis (E) im Fahrzeug zu detektieren und einen Ereignisdatensatz (D) zu erstellen, der das Ereignis (E) sowie zumindest einen Teil der Mimikdaten (M) und zumindest einen Teil der Kontextdaten (K) enthält; - eine Datenbank (15), welche eine Vielzahl von Referenz-Ereignisdatensätzen enthält; - eine Auswertungseinheit (16), die dazu ausgebildet ist, den Ereignisdatensatz (D) der Datenbank (15) hinzuzufügen und eine Gruppe von Referenz-Ereignisdatensätzen (R) aus der Datenbank (15) zu ermitteln, insbesondere zur weiteren Auswertung.
System (10) nach Anspruch 12, wobei die Mimik-Auswertungseinheit (12), die Kontextdaten-Erfassungseinheit (13) und die Ereignis-Detektionseinheit (14) im Fahrzeug integriert sind, wobei das Fahrzeug ferner eine Kommunikationseinheit (23) aufweist, die dazu ausgebildet ist, einen oder mehrere Ereignisdatensätze (D) an einen Server (60) des Systems (10) zu senden, insbesondere mittels einer Mobilfunkverbindung, wobei der Server (60) die Auswertungseinheit (16) und/oder die Datenbank (15) bereitstellt.