-
Die vorliegende Erfindung betrifft ein Fahrzeugsystem eines Fahrzeug für wenigstens einen Fahrzeugnutzer mit den oberbegrifflichen Merkmalen nach Anspruch 1 und ein Verfahren zur Aktivierung einer Selbstfahreinheit zum autonomen Fahren mit den oberbegrifflichen Merkmalen nach Anspruch 12.
-
Autonom fahrende Fahrzeuge können einen Fahrzeugnutzer in bestimmten Situationen sicherer ans Ziel bringen als es der selbst fahrende Fahrzeugnutzer könnte. Üblicherweise wird das autonome Fahren von dem Fahrzeugnutzer vor Fahrtantritt oder während der Fahrt aktiviert. Ist der Fahrer aber nicht in der Lage das Autonome Fahren zu aktivieren oder realisiert er nicht, dass es sicherer wäre, autonom zu fahren, besteht ein erhöhtes Unfallrisiko.
-
Aus
DE 102013021816 A1 ist ein Verfahren zum Bereitstellen einer Funktion für ein Kraftfahrzeug bekannt. Die Funktion ist auf mindestens einem Kontrollmodul des Kraftfahrzeugs installiert und wird freigeschaltet, so dass die Funktion in einen Betrieb des Kraftfahrzeugs in Abhängigkeit einer aktuellen Situation automatisch und selbsttätig eingreifen kann. Für den Fall, dass von der Funktion in den Betrieb des Kraftfahrzeugs situationsbedingt selbsttätig und automatisch eingegriffen wird, wird ein Nutzer des Kraftfahrzeugs automatisch darüber informiert, und dazu aufgefordert, den Eingriff der Funktion zu bewerten.
-
Aus
DE 102013021869 A1 ist ein Verfahren zum Bereitstellen einer Funktion für ein Kraftfahrzeug bekannt. Die Funktion ist in einem Kontrollmodul des einen Kraftfahrzeugs installiert. Die Funktion wird für einen ersten Nutzer freigeschaltet, wobei eine Freischaltung der Funktion einem zweiten Nutzer von dem ersten Nutzer für mindestens eine Nutzung mit dem Kraftfahrzeug über einen Fernzugriff bereitgestellt wird.
-
Aus
DE 102014204980 A1 ist ein Verfahren zur automatischen Einschränkung oder Zwangsaktivierung von bestimmten Funktionen eines Kraftfahrzeugs in Abhängigkeit von personenbezogenen Daten bekannt, die einem persönlichen elektronischen Fahrzeugschlüssel, der seinen Inhaber gegenüber der Fahrzeugelektronik als einen zum Führen des Kraftfahrzeugs befugten Fahrer ausweist, eindeutig zugeordnet sind.
-
Aus
WO 14121182 A1 ist bekannt einen Gefühlszustand eines Fahrers eines Fahrzeugs zu detektieren. Es wird mittels Sensoren festgestellt, ob der Fahrer z. B. unter Stress steht, wobei das Fahrzeug auf die speziellen Gefühlszustände des Fahrers reagiert.
-
Aus
EP 2711227 A1 ist ein Verfahren, ein System und ein Fahrzeug mit diesem System zum Messen einer physiologischen Eigenschaft eines Fahrers und zum Anpassen der Steuerung eines Getriebes bekannt. Hierbei wird der der Stresszustand des Fahrers festgestellt. Bei erhöhtem Stress werden Maßnahmen zur Beruhigung des Fahrers ergriffen.
-
Aus
DE 102012111253 A1 ist ein Verfahren zum Betreiben einer landwirtschaftlichen Maschine bekannt. Der emotionale Zustand der Bedienperson während der Interaktion mit der Maschine wird über zumindest eine Schnittstelle mit der Arbeitsmaschine erkannt wird. Die Betriebsweise der Arbeitsmaschine wird an den emotionalen Zustand der Bedienperson angepasst.
-
Aus
US 2008284615 AA ist ein Anzeigesystem für ein Fahrzeug bekannt, über welches ein Fahrer unterhalten werden kann, falls das Fahrzeug im Verkehr feststeckt. Die anzuzeigenden Informationen richten sich nach dem Gefühlszustand des Fahrers, welcher über einen Gesichtsausdruck bestimmt werden kann.
-
-
Zudem ist aus einer Veröffentlichung der École Polytechnique Fédérale de Lausanne ein Verfahren bekannt mittels einer Gesichtserkennung Stress bei einem Fahrer eines Fahrzeugs festzustellen.
-
Der vorliegenden Erfindung liegt ausgehend vom Stand der Technik die Aufgabe zu Grunde, ein Fahrzeugsystem für ein Fahrzeug für wenigstens einen Fahrzeugnutzer vorzuschlagen, welches einen emotionalen Zustand des Fahrzeugnutzers ermitteln kann und ausgehend von diesem emotionalen Zustand Empfehlungen für den Fahrzeugnutzer ausgeben kann. Das Erkennen des emotionalen Zustands des Fahrzeugnutzers soll derart erfolgen, dass es von dem Fahrzeugnutzer nicht als störend wahrgenommen wird. Bei kritischen emotionalen Zuständen, soll der Fahrer vom Fahren abgehalten werden, um die Verkehrssicherheit zu erhöhen. Zudem soll mit jeder feststellbaren Emotion eine bestimmte Fahrzeugfunktion angesteuert werden, um den emotionalen Zustand des Fahrzeugnutzers positiv zu beeinflussen um die Verkehrssicherheit zu erhöhen.
-
Die vorliegende Erfindung schlägt ausgehend von der vorgenannten Aufgabe ein Fahrzeugsystem eines Fahrzeugs für wenigstens einen Fahrzeugnutzer mit den Merkmalen nach Patentanspruch 1 und ein Verfahren zur Aktivierung einer Selbstfahreinheit zum autonomen Fahren eines Fahrzeugs mit einem Fahrzeugsystem nach Patentanspruch 11 vor. Weitere vorteilhafte Ausgestaltungen und Weiterbildungen gehen aus den Unteransprüchen hervor.
-
Ein Fahrzeugsystem eines Fahrzeugs für wenigstens einen Fahrzeugnutzer umfasst eine Kamera, welche im Innenraum des Fahrzeugs angeordnet ist, eine Auswertevorrichtung, welche eine Speichervorrichtung aufweist und mit der Kamera gekoppelt ist, eine Kommunikationsvorrichtung, welche mit der Auswertevorrichtung gekoppelt ist, und eine Selbstfahreinheit, die mit der Auswertevorrichtung gekoppelt ist und durch welche das Fahrzeug autonom fahrbar ist. Die Kamera ist auf den Fahrzeugnutzer ausgerichtet, nimmt das Gesicht des Fahrzeugnutzers auf und leitet diese Daten an die Auswertevorrichtung weiter. Die Auswertevorrichtung wertet mittels einer künstlichen Intelligenz die Daten der Kamera in Bezug auf Aufmerksamkeit und Emotionen des Fahrzeugnutzers aus. Die ausgewerteten Daten werden in der Speichervorrichtung der Auswertevorrichtung gespeichert. Ausgehend von einer mittels der künstlichen Intelligenz erkannten vorbestimmten Emotion oder von mittels der künstlichen Intelligenz erkannter mangelnder Aufmerksamkeit des Fahrzeugnutzers wird der Fahrzeugnutzer über die erkannte Emotion oder über die mangelnde Aufmerksamkeit informiert und die Selbstfahreinheit ist aktivierbar.
-
Die Kamera ist hierbei derart im Innenraum des Fahrzeugs angeordnet, dass diese das Gesicht des Fahrzeugnutzers ständig aufnehmen kann. Das Gesicht des Fahrzeugnutzers wird also während eines Fahrbetriebs ununterbrochen aufgezeichnet. Die Kamera gleicht Helligkeitsschwankungen im Fahrzeuginnenraum aus, um fehlerbehaftete Ergebnisse der Datenauswertung zu vermeiden. Die Kamera ist mit der Auswertevorrichtung gekoppelt. Dies heißt, dass zwischen der Kamera und der Auswertevorrichtung ein Datenaustausch stattfinden kann. Die Kopplung kann entweder kabelgebunden oder drahtlos sein. Beispielsweise kann die Kopplung mittels eines Funkstandards, Bluetooth, Infrarot, ZigBee, W-Lan etc. erfolgen.
-
Die Auswertevorrichtung weist eine Speichervorrichtung auf. Auf dieser Speichervorrichtung können die Kameradaten zwischengespeichert werden. Die Kameradaten werden von der Auswertevorrichtung mittels einer künstlichen Intelligenz ausgewertet. Diese künstliche Intelligenz ist Teil der Auswertevorrichtung. Die ausgewerteten Kameradaten werden auf der Speichervorrichtung gespeichert. Die Auswertevorrichtung weist selbstverständlich ausreichend Rechenkapazität auf, so dass die künstliche Intelligenz die Kameradaten in Echtzeit auswerten kann. Auf der Speichervorrichtung sind zudem Beurteilungsdaten hinterlegt, welche mit den ausgewerteten Daten verglichen werden.
-
Das Fahrzeugsystem weist zudem eine Kommunikationsvorrichtung auf. Mit dieser Kommunikationsvorrichtung kann das Fahrzeug, welches das Fahrzeugsystem aufweist, mit weiteren Fahrzeugen kommunizieren, die ebenfalls Fahrzeugsysteme aufweisen können. Die Kommunikation erfolgt drahtlos, z. B. mittels eines Funkstandards, Bluetooth, Infrarot, ZigBee, W-Lan etc. oder kabelgebunden. Des Weiteren kann das Fahrzeugsystem mittels der Kommunikationsvorrichtung mit einem mobilen Endgerät kommunizieren, z. B. mit einem Smartphone, einem Tablet oder einem vergleichbaren mobilen Endgerät. Die Kommunikationsvorrichtung ist mit der Auswertevorrichtung gekoppelt. Diese Kopplung kann entweder kabelgebunden oder drahtlos erfolgen. Über diese Kopplung findet ein Datenaustausch zwischen der Kommunikationsvorrichtung und der Auswertevorrichtung statt.
-
Weiterhin weist das Fahrzeugsystem die Selbstfahreinheit auf. Durch diese Selbstfahreinheit kann das Fahrzeug, welches das Fahrzeugsystem aufweist, bei Bedarf selbsttätig, d. h. autonom fahren. Die Selbstfahreinheit ist hierbei nicht permanent aktiv, d. h. der Fahrzeugnutzer kann das Fahrzeug wahlweise selbst steuern oder das Fahrzeug autonom fahren lassen. Um einen passenden Zeitpunkt zur Übernahme der Kontrolle über das Fahrzeug durch die Selbstfahreinheit oder zur Übergabe der Kontrolle von der Selbstfahreinheit zurück an den Fahrzeugnutzer feststellen zu können, wird die künstliche Intelligenz der Auswertevorrichtung eingesetzt. Die Selbstfahreinheit ist drahtlos oder kabelgebunden mit der Auswertevorrichtung gekoppelt.
-
Die Auswertevorrichtung wertet mittels der künstlichen Intelligenz die Daten der Kamera in Bezug auf Aufmerksamkeit und Emotionen des Fahrzeugnutzers aus. Dies heißt, dass die Kameradaten, die das aufgezeichnete Gesicht des Fahrzeugnutzers beinhalten, mit Hilfe der künstlichen Intelligenz ausgewertet werden. Die künstliche Intelligenz führt eine Gesichtserkennung durch, stellt die Identität des Fahrzeugnutzers fest und ermittelt aus den Gesichtszügen des Fahrzeugnutzers seinen vorherrschenden emotionalen Zustand. Die künstliche Intelligenz kann beispielsweise Wut, Fröhlichkeit, Überraschung, Angst, Langeweile, Trauer, Ekel, Stress, Müdigkeit und einen neutralen Gesichtsausdruck unterscheiden.
-
Die künstliche Intelligenz kann zudem einen Grad der Aufmerksamkeit des Fahrers ausgehend von seiner Augenbewegung und seiner Blickrichtung ermitteln. Der Grad der Aufmerksamkeit wird mittels einer Datenbank, die in der Speichervorrichtung der Auswertevorrichtung gespeichert ist, und mittels der aktuellen Kameradaten bestimmt. Die Daten der Datenbank und die aktuellen ausgewerteten Kameradaten werden miteinander abgeglichen, so dass ein vorbestimmter Aufmerksamkeitsbereich als mangelnde Aufmerksamkeit identifiziert werden kann. Die ausgewerteten Daten werden in der Speichervorrichtung der Auswertevorrichtung gespeichert. Somit kann ein Aufmerksamkeitsverlauf oder ein Emotionsverlauf festgestellt werden.
-
Beispielsweise kann der Fahrzeugnutzer nur kurzzeitig unaufmerksam sein oder nur kurzzeitig sein Gesicht verziehen, was noch nicht zu einer Reaktion des Fahrzeugsystems führen soll. Hält die mangelnde Aufmerksamkeit oder eine bestimmte Emotion jedoch über einen vorbestimmten und in dem Speichervorrichtung der Auswertevorrichtung hinterlegten Zeitraum an, wird eine Reaktion des Fahrzeugsystems ausgelöst.
-
Ausgehend von einer mittels der künstlichen Intelligenz erkannten vorbestimmten Emotion oder von mittels der künstlichen Intelligenz erkannter mangelnder Aufmerksamkeit des Fahrzeugnutzers kann die Selbstfahreinheit aktiviert werden. Die Aktivierung der Selbstfahreinheit erfolgt automatisiert mittels der Auswertevorrichtung, die die Selbstfahreinheit ansteuert, oder indem der Fahrzeugnutzer die Selbstfahreinheit aktiviert. Die Selbstfahreinheit wird hierbei nur dann aktiviert, wenn eine vorbestimmte Emotion des Fahrzeugnutzers oder mangelnde Aufmerksamkeit des Fahrzeugnutzers über einen bestimmten Zeitraum hinweg auftreten. Ist der Fahrzeugnutzer für den vorbestimmten Zeitraum beispielsweise wütend, müde oder gestresst oder für den vorbestimmten Zeitraum unaufmerksam, wird der Fahrzeugnutzer über seinen emotionalen Zustand oder seine mangelnde Aufmerksamkeit informiert. Diese Information erfolgt beispielsweise durch Anzeige in einem Display oder durch ein akustisches oder haptisches Signal. Anschließend übernimmt die Selbstfahreinheit die Kontrolle über das Fahrzeug entweder automatisch oder nach Aktivierung durch den Fahrzeugnutzer. Der Fahrzeugnutzer kann das Fahrzeug anschließend nicht mehr selbst steuern, sondern wird von der Selbstfahreinheit gefahren. Dies ist von Vorteil, da der Fahrzeugnutzer sicher mit dem Fahrzeug unterwegs ist, auch wenn er selbst nicht mehr in der Lage ist, das Fahrzeug sicher zu führen. Dadurch wird vermieden, dass fahruntüchtige Fahrzeugnutzer das Fahrzeug führen und Unfälle verursachen.
-
Nach einer Ausführungsform ist die Auswertevorrichtung des Fahrzeugsystems mit einem Unterhaltungselektroniksystem gekoppelt, wobei das Fahrzeug das Unterhaltungselektroniksystem aufweist, wobei dieses Unterhaltungselektroniksystem aktiviert wird ausgehend von einer vorbestimmten mittels der künstlichen Intelligenz erkannten Emotion oder von mittels der künstlichen Intelligenz erkannter mangelnder Aufmerksamkeit des Fahrzeugnutzers. Das Unterhaltungselektroniksystem kann fest in dem Fahrzeug verbaut sein oder mobil sein, beispielsweise ein mobiles Endgerät, welches mit dem Fahrzeug kabelgebunden oder drahtlos gekoppelt werden kann. Wird mittels der künstlichen Intelligenz der Auswertevorrichtung eine vorbestimmte Emotion oder mangelnde Aufmerksamkeit erkannt, wird die Unterhaltungselektronik durch die Auswertevorrichtung aktiviert.
-
Bestimmte Emotionen sind hierbei mit bestimmten Unterhaltungsmöglichkeiten verknüpft. Wird mittels der künstlichen Intelligenz beispielsweise festgestellt, dass der Fahrzeugnutzer über einen vorbestimmten Zeitraum nicht fröhlich, traurig oder ängstlich war, wird das Unterhaltungselektroniksystem aktiviert und es wird z. B. die vom Fahrzeugnutzer bevorzugte Musik eingespielt, um diesen fröhlich zu stimmen. Wird mittels der künstlichen Intelligenz beispielsweise festgestellt, dass der Fahrzeugnutzer über einen vorbestimmten Zeitraum wütend war, kann beispielsweise beruhigende Musik eingespielt werden. Wird mittels der künstlichen Intelligenz beispielsweise festgestellt, dass der Fahrzeugnutzer über einen vorbestimmten Zeitraum müde war, kann beispielsweise Musik eingespielt werden, um den Fahrzeugnutzer zu wecken oder es kann eine Pausenempfehlung an den Fahrzeugnutzer ausgegeben werden. Wird mittels der künstlichen Intelligenz beispielsweise festgestellt, dass dem Fahrzeugnutzer für einen vorbestimmten Zeitraum langweilig war, werden dem Fahrzeugnutzer mittels des Unterhaltungselektroniksystems Unterhaltungsempfehlungen oder Unterhaltungsmöglichkeiten angegeben. Ist die Kontrolle über das Fahrzeug bei der Selbstfahreinheit, kann beispielsweise ein Film eingespielt werden. Zudem kann die Auswertevorrichtung ein „Emotionsbarometer“ mittels des Unterhaltungselektroniksystems widergeben, wobei der jeweilige emotionale Zustand des Fahrzeugnutzers grafisch dargestellt werden kann.
-
Nach einer weiteren Ausführungsform wird ausgehend von mittels der künstlichen Intelligenz erkannter mangelnder Aufmerksamkeit, oder erkanntem Stress oder erkannter Müdigkeit des Fahrzeugnutzers eine Warnung an den Fahrzeugnutzer ausgegeben. Die Warnung erfolgt mittels eines optischen und/ oder akustischen und/oder haptischen Signals, z. B. mittels einer Ansage, einer Anzeige oder einer Vibration. Diese Warnung erfolgt vor der Kontrollübernahme durch die Selbstfahreinheit. Vorzugsweise erfolgt erst die Warnung an den Fahrzeugnutzer. Wird daraufhin in einer vorbestimmten Zeitspanne keine Erhöhung der Aufmerksamkeit oder Senkung des Stresses oder Senkung der Müdigkeit mittels der künstlichen Intelligenz aus den Kameradaten ermittelt, wird die Selbstfahreinheit aktivierbar. Alternativ dazu kann eine weitere Warnung erfolgen und daraufhin erst die Selbstfahreinheit aktiviert werden. Zusätzlich dazu kann die Warnung an den Fahrzeugnutzer erfolgen, wenn ein weiteres Fahrerassistenzsystem, z. B. ein Totwinkelassistent oder Abstandssensoren, eine problematische Situation festgestellt hat.
-
Nach einer weiteren Ausführungsform ist die Selbstfahreinheit ausgehend von mittels der künstlichen Intelligenz erkannter Aufmerksamkeit des Fahrzeugnutzers deaktivierbar. Fährt das Fahrzeug autonom, da die Selbstfahreinheit aktiviert ist, kann die Kontrolle über das Fahrzeug zurück an den Fahrzeugnutzer gegeben werden, wenn dieser einen ausreichenden Aufmerksamkeitsgrad zeigt. Der Fahrzeugnutzer kann in anderen Worten die Kontrolle über das Fahrzeug von der Selbstfahreinheit erst übernehmen, wenn die künstliche Intelligenz der Auswertevorrichtung auf Grund der Kameradaten feststellt, dass der Fahrzeugnutzer über einen vorbestimmten Zeitraum hinweg aufmerksam war. Dem Fahrzeugnutzer wird daraufhin die Möglichkeit gegeben, die Kontrolle über das Fahrzeug selbst zu übernehmen und die Selbstfahreinheit eigenhändig zu deaktivieren. Hierbei ist vorteilhaft, dass der Fahrzeugnutzer nicht plötzlich die Kontrolle über das Fahrzeug übernehmen muss, ohne dies zu realisieren. Weiterhin ist Vorteilhaft, dass die Selbstfahreinheit nur dann die Kontrolle über das Fahrzeug an den Fahrzeugnutzer zurückgibt, wenn dies sicher ist und den Fahrzeugnutzer nicht überfordert.
-
Nach einer weiteren Ausführungsform ist ausgehend von einer mittels der künstlichen Intelligenz erkannten vorbestimmten Emotion oder von mittels der künstlichen Intelligenz erkannter mangelnder Aufmerksamkeit des Fahrzeugnutzers ein Nothalt aktivierbar. Der Nothalt wird hierbei vorzugsweise dann eingeleitet, wenn die Aktivierung der Selbstfahreinheit ausgehend von einer mittels der künstlichen Intelligenz erkannten vorbestimmten Emotion oder ausgehend von mittels der künstlichen Intelligenz erkannter mangelnder Aufmerksamkeit des Fahrzeugnutzers fehlschlägt, beispielsweise auf Grund eines Fehlers der Selbstfahreinheit. Hierbei ist vorteilhaft, dass das Fahrzeug selbst bei einem Fehler der Selbstfahreinheit eine hohe Sicherheit für den Fahrzeugnutzer gewährleistet.
-
Nach einer weiteren Ausführungsform wird der Fahrzeugnutzer mittels der künstlichen Intelligenz identifiziert, wobei ausgehend von dieser Identifikation Fahrzeugfunktionen auf den identifizierten Fahrzeugnutzer angepasst werden. Diese Fahrzeugfunktionen können beispielsweise eine Klimasteuerung, das Unterhaltungselektroniksystem, eine Sitzeinstellung, eine Spiegeleinstellung oder eine Beleuchtungseinstellung sein. In der Speichervorrichtung der Auswertevorrichtung sind Werte bezüglich der jeweiligen Fahrzeugfunktionen hinterlegt und mit dem Fahrzeugnutzer verknüpft. Identifiziert die künstliche Intelligenz der Auswertevorrichtung den Fahrzeugnutzer mittels der Gesichtserkennung, stellen sich sämtliche Fahrzeugfunktionen auf diesen Fahrzeugnutzer ein. Die Auswertevorrichtung ist zu diesem Zweck kabelgebunden oder drahtlos mit den Fahrzeugfunktionsvorrichtungen verbunden und kann diese ansteuern. Nutzt eine andere Person das Fahrzeug, können selbstverständlich die mit dieser Person verknüpften Einstellungen der Fahrzeugfunktionen vorgenommen werden. Vorteilhaft ist hierbei, dass der Fahrzeugnutzer diese Anpassungen nicht mehr von Hand durchführen muss, oder die Anpassung initiieren muss.
-
Nach einer weiteren Ausführungsform weist das Fahrzeug wenigstens ein weiteres Fahrerassistenzsystem auf, welches ausgehend von einer mittels der künstlichen Intelligenz erkannten vorbestimmten Emotion oder von mittels der künstlichen Intelligenz erkannter mangelnder Aufmerksamkeit des Fahrzeugnutzers aktiviert wird, wobei das wenigstens eine weitere Fahrerassistenzsystem ein Spurhalteassistent und/ oder eine Geschwindigkeitsregelanlage und/ oder ein Totwinkelassistent ist. Hierbei ist das wenigstens eine weitere Fahrerassistenzsystem mit der Auswertevorrichtung des Fahrzeugsystems gekoppelt. Diese Kopplung erfolgt beispielsweise kabelgebunden oder drahtlos. Das wenigstens eine weitere Fahrerassistenzsystem wird somit von der Auswertevorrichtung angesteuert und von dieser automatisch aktiviert. Im Falle eines Aufmerksamkeitsverlustes oder erkannter Müdigkeit oder erkannter Wut wird das wenigstens eine Fahrerassistenzsystem automatisch aktiviert, so dass dieses in einer Gefahrensituation schnell reagieren kann. Dies erhöht die Verkehrssicherheit. Selbstverständlich kann das Fahrzeug mehrere Fahrerassistenzsysteme aufweisen.
-
Der Spurhalteassistent wird z. B. automatisch aktiviert, wenn von der künstlichen Intelligenz der Auswertevorrichtung über einen vorbestimmten Zeitraum mangelnde Aufmerksamkeit oder Müdigkeit festgestellt wird. Die Geschwindigkeitsregelanlage wird z. B. automatisch aktiviert, wenn von der künstlichen Intelligenz der Auswertevorrichtung über einen vorbestimmten Zeitraum mangelnde Aufmerksamkeit oder Müdigkeit oder Wut festgestellt wird. Im Falle von mangelnder Aufmerksamkeit oder Müdigkeit wird die Geschwindigkeitsregelanlage genutzt, um eine Fahrzeuggeschwindigkeit beizubehalten. Im Falle von Wut wird die Geschwindigkeitsregelanlage genutzt, um ab einer gewissen Fahrzeuggeschwindigkeit abzuriegeln. Dies kann gleichzeitig mit der Aktivierung des Spurhalteassistenten erfolgen. Der Totwinkelassistent wird z. B. automatisch aktiviert, wenn von der künstlichen Intelligenz der Auswertevorrichtung über einen vorbestimmten Zeitraum mangelnde Aufmerksamkeit oder Müdigkeit festgestellt wird. Dies kann zusätzlich mit einer Abfrage an das Fahrzeug verknüpft sein, ob der Fahrzeugnutzer einen Abbiege- oder Spurwechselwunsch mittels der Fahrzeugsignalanlage angibt.
-
Nach einer weiteren Ausführungsform kommuniziert das Fahrzeugsystem mittels der Kommunikationsvorrichtung mit wenigstens einem weiteren Fahrzeug, welches eine weitere Kommunikationsvorrichtung aufweist, und gibt an dieses ausgehend von einer mittels der künstlichen Intelligenz erkannten vorbestimmten Emotion oder von mittels der künstlichen Intelligenz erkannten mangelnden Aufmerksamkeit des Fahrzeugnutzers eine Warnmeldung aus. Die Kommunikation zwischen dem Fahrzeugsystem des Fahrzeugs und dem wenigstens einen weiteren Fahrzeug erfolgt drahtlos.
-
Wenn der Fahrzeugnutzer des Fahrzeugs über einen vorbestimmten Zeitraum unaufmerksam ist oder über einen vorbestimmten Zeitraum beispielsweise wütend, müde oder gestresst ist, wird die Warnmeldung an das wenigstens eine weitere Fahrzeug ausgegeben. Diese Warnmeldung kann einem Fahrzeugnutzer des wenigstens einen weiteren Fahrzeugs beispielsweise optisch, haptisch oder akustisch ausgegeben werden. Die Warnmeldung kann zum Beispiel weitere Informationen zu dem Fahrzeugnutzer des Fahrzeugs und/ oder zu dem Fahrzeug enthalten, z. B. eine aktuelle Geschwindigkeit des Fahrzeugs, den emotionalen Zustand des Fahrzeugnutzers oder eine von dem Fahrzeugnutzer geplante Route. Hierbei ist vorteilhaft, dass der Fahrzeugnutzer des wenigstens einen weiteren Fahrzeugs sein Verhalten an das des Fahrzeugnutzers des Fahrzeugs angleichen kann und beispielsweise besonders aufmerksam fahren kann, wenn der Fahrzeugnutzer des Fahrzeugs unaufmerksam ist. Dies erhöht die Verkehrssicherheit.
-
Nach einer weiteren Ausführungsform ist die Kamera an einem Lenkrad des Fahrzeugs angeordnet. Der Blickwinkel der Kamera ändert sich, je nach eingeschlagenem Winkel des Lenkrads. Die künstliche Intelligenz der Auswertevorrichtung rechnet beispielsweise die aufgezeichneten Kameradaten mit Hilfe des eingeschlagenen Winkels um, so dass die Bildorientierung nicht zu Fehlern bei der Auswertung der Kameradaten führt. Vorteilhaft hierbei ist, dass die Kamera das Gesicht des Fahrzeugnutzers permanent aufzeichnen kann.
-
Nach einer weiteren Ausführungsform die Kamera an einem Rückspiegel, an einer A-Säule oder an einem Armaturenbrett des Fahrzeugs angeordnet. Hierbei ist es notwendig, dass die Kamera stets das Gesicht des Fahrzeugnutzers aufzeichnet. Die Kamera ist derart angeordnet, dass diese nicht abgeschattet werden kann.
-
Bei einem Verfahren zur Aktivierung einer Selbstfahreinheit zum autonomen Fahren eines Fahrzeugs mit einem Fahrzeugsystem, welches bereits in der vorangehenden Beschreibung beschrieben wurde, nimmt die Kamera des Fahrzeugsystems das Gesicht des Fahrzeugnutzers auf und ermittelt Daten. Die Kamera ist hierbei innerhalb des Fahrzeugs derart angeordnet, dass diese auf den Fahrzeugnutzer ausgerichtet ist und das Gesicht des Fahrzeugnutzers permanent aufzeichnen kann. Die Kamera kann hierbei an einem Lenkrad des Fahrzeugs oder an einer A-Säule, einem Rückspiegel oder an einem Armaturenbrett angeordnet sein. Selbstverständlich kann die Kamera an einem anderen geeigneten Ort des Fahrzeugs angeordnet sein, an welchem sie den Fahrer im Blickfeld hat.
-
Die so ermittelten Daten werden an die Auswertevorrichtung weitergeleitet. Die Auswertevorrichtung und die Kamera sind daher miteinander gekoppelt. Diese Koppelung kann entweder kabelgebunden oder drahtlos erfolgen. Diese Daten werden mittels der künstlichen Intelligenz der Auswertevorrichtung in Bezug auf Aufmerksamkeit und Emotionen des Fahrzeugnutzers ausgewertet. Hierbei kann die künstliche Intelligenz anhand der Blickrichtung und der Augenbewegungen des Fahrzeugnutzers einen Aufmerksamkeitsgrad des Fahrzeugnutzers ermitteln. Zudem führt die künstliche Intelligenz eine Gesichtserkennung durch und kann aus den Gesichtszügen des Fahrzeugnutzers dessen Emotionen ermitteln. Die Auswertevorrichtung unterscheidet beispielsweise zwischen Wut, Fröhlichkeit, Überraschung, Angst, Langeweile, Trauer, Ekel, Stress, Müdigkeit und einem neutralen Gesichtsausdruck.
-
Die ausgewerteten Daten werden in der Speichervorrichtung, welche Teil der Auswertevorrichtung ist, gespeichert. Bei von der künstlichen Intelligenz der Auswertevorrichtung erkannter mangelnder Aufmerksamkeit des Fahrzeugnutzers oder bei einer von der künstlichen Intelligenz erkannten vorbestimmten Emotion des Fahrzeugnutzers, wird eine Warnung an den Fahrzeugnutzer ausgegeben. Beispielsweise kann bei Wut, Langeweile, Müdigkeit oder Angst eine Warnung erfolgen. Die Ausgabe der Warnung erfolgt haptisch und/oder akustisch und/oder optisch. Die Warnung kann beispielsweise von einem Unterhaltungselektroniksystem des Fahrzeugs ausgegeben werden, wobei das Unterhaltungselektroniksystem mit der Auswertevorrichtung drahtlos oder kabelgebunden gekoppelt ist und von dieser angesteuert werden kann. Das Ausgeben der Warnung erfolgt, wenn die mangelnde Aufmerksamkeit oder die vorbestimmte Emotion für einen vorbestimmten Zeitraum andauert.
-
Anschließend wird bei von der künstlichen Intelligenz der Auswertevorrichtung erkanntem Fortdauern der mangelnden Aufmerksamkeit des Fahrzeugnutzers oder bei von der künstlichen Intelligenz erkanntem Fortdauern der vorbestimmten Emotion des Fahrzeugnutzers die Selbstfahreinheit zum autonomen Fahren aktiviert. Ab diesem Zeitpunkt hat die Selbstfahreinheit die Kontrolle über das Fahrzeug. Die Aktivierung kann vorzugsweise automatisiert erfolgen oder nach der erfolgten Warnung von dem Fahrzeugnutzer initiiert werden. Die Selbstfahreinheit ist mit der Auswertevorrichtung kabelgebunden oder drahtlos gekoppelt.
-
Nach einer Ausführungsvariante erstellt die Auswertevorrichtung mittels der in der Speichervorrichtung gespeicherten und ausgewerteten Daten eine Sicherheitsklassifizierung des Fahrzeugnutzers, wobei ein momentaner Zustand des Fahrzeugnutzers in die Sicherheitsklassifizierung eingeordnet wird. Diese Sicherheitsklassifizierung nimmt somit Bezug auf in der Speichervorrichtung gespeicherte und ausgewertete Daten. Aus diesen ausgewerteten und gespeicherten Daten wird eine Vergleichsdatenbank generiert. Diese Datenbank kann beispielsweise auch externe Daten abfragen. Ausgehend von dieser Datenbank wird der Fahrzeugnutzer klassifiziert, d. h. es wird festgestellt, wie sicher dieser ausgehend von seiner Aufmerksamkeit oder seiner Emotion selbst fahren kann.
-
Anhand der im Folgenden erläuterten Figuren werden verschiedene Ausführungsbeispiele und Details der Erfindung näher beschrieben. Es zeigen:
-
1 eine schematische Übersicht eines Fahrzeugs mit einem Fahrzeugsystem nach einem Ausführungsbeispiel, und
-
2 ein Verfahrensschema nach einem Ausführungsbeispiel.
-
1 zeigt eine schematische Übersicht eines Fahrzeugs 2 mit einem Fahrzeugsystem 1 nach einem Ausführungsbeispiel. Das Fahrzeugsystem 1 weist eine Kamera 4, eine Auswertevorrichtung 7 mit einer Speichervorrichtung 9, eine Selbstfahreinheit 8 und eine Kommunikationsvorrichtung 10 sowie Kopplungen zwischen der Auswertevorrichtung 7 und den weiteren Systemen auf. Die Kamera 4 ist im Innenraum des Fahrzeugs 2 angeordnet, an dem Lenkrad 5 des Fahrzeugs 2. Die Kamera 4 ist hierbei derart ausgerichtet, dass ihre Blickrichtung 6 auf das Gesicht eines Fahrzeugnutzers 3 ausgerichtet ist. Während eines Fahrbetriebs des Fahrzeugs 2 zeichnet die Kamera 4 das Gesicht des Fahrzeugnutzers 3 permanent auf. Die so generierten Kameradaten werden über eine Kopplung 11 an die Auswertevorrichtung 7 weitergeleitet. Diese Kopplung 11 kann hierbei entweder drahtlos oder kabelgebunden sein.
-
Weiterhin ist die Auswertevorrichtung 7 mit der Selbstfahreinheit 8 über eine Kopplung 11 gekoppelt. Diese Kopplung 11 kann entweder drahtlos oder kabelgebunden sein. Außerdem ist die Auswertevorrichtung 7 über eine Kopplung 11 mit der Kommunikationsvorrichtung 10 gekoppelt. Diese Kopplung 11 kann ebenfalls kabelgebunden oder drahtlos sein.
-
Das Fahrzeug weist ein Unterhaltungselektroniksystem 20 auf. Dieses Unterhaltungselektroniksystem 20 ist über eine Kopplung 11 mit der Auswertevorrichtung 7 gekoppelt.
-
Nutzt der Fahrzeugnutzer 3 das Fahrzeug 2 in einem Fahrbetrieb, zeichnet die Kamera 4 das Gesicht des Fahrzeugnutzers 3 auf und übermittelt die so erhaltenen Daten an die Auswertevorrichtung 7. Mithilfe einer künstlichen Intelligenz wertet die Auswertevorrichtung 7 diese Kameradaten bezüglich Emotionen und Aufmerksamkeit des Fahrzeugnutzers 3 aus. Die Auswertung bezüglich Aufmerksamkeit und Emotionen mittels der Auswertevorrichtung 7 nutzt eine Gesichtserkennung. Anhand der Gesichtszüge des Fahrzeugnutzers 3 können bestimmte Emotionen des Fahrzeugnutzers 3 und ein Aufmerksamkeitsgrad des Fahrzeugnutzers 3 bestimmt werden. Feststellbare Emotionen sind beispielsweise Fröhlichkeit, Wut, Langeweile, Müdigkeit, Stress oder auch eine neutrale Einstellung. Erkennt die Auswertevorrichtung 7 eine bestimmte Emotion oder einen bestimmten Aufmerksamkeitsgrad, wird dies in der Speichervorrichtung 9, die Teil der Auswertevorrichtung 7 ist, gespeichert. In der Speichervorrichtung 9 sind bestimmte Emotionen und bestimmte Aufmerksamkeitsgrade mit Reaktionen des Fahrzeugsystems 1 verknüpft.
-
Ist der Fahrzeugnutzer 3 über einen vorbestimmten längeren Zeitraum unaufmerksam, müde, gestresst oder wütend, steuert die Auswertevorrichtung 7 beispielsweise das Unterhaltungselektroniksystem 20 an und gibt dem Fahrzeugnutzer 3 ein akustisches Signal 13, welches ihn über seinen aktuellen Zustand in Kenntnis setzt. Diese Information ist für den Fahrzeugnutzer 3 gleichzeitig eine Ermahnung, so dass dieser aufmerksamer fahren kann. Stellt die künstliche Intelligenz der Auswertevorrichtung 7 nach Ausgabe des akustischen Signals 13 keine Änderung des Verhaltens des Fahrzeugnutzers 3 fest, so steuert die Auswertevorrichtung 7 die Selbstfahreinheit 8 über die drahtlose oder kabelgebundene Kopplung 11 an. Diese Selbstfahreinheit 8 wird daraufhin aktivierbar. Entweder kann der Fahrzeugnutzer 3 die Selbstfahreinheit 8 selbständig aktivieren oder die Selbstfahreinheit 8 wird von der Auswertevorrichtung 7 automatisiert aktiviert. Ist die Selbstfahreinheit 8 aktiv, hat diese die Kontrolle über das Fahrzeug 2 und das Fahrzeug 2 fährt autonom. Wenn das Fahrzeug 2 autonom fährt, wird das Gesicht des Fahrzeugnutzers 3 weiterhin permanent von der Kamera 4 aufgezeichnet.
-
Ändert sich der emotionale Zustand oder der Aufmerksamkeitsgrad des Fahrzeugnutzers 3 positiv, und wird dies mittels der künstlichen Intelligenz der Auswertevorrichtung 7 festgestellt, wird dem Fahrer signalisiert, dass dieser ab diesem Zeitpunkt die Selbstfahreinheit 8 deaktivieren kann. Somit wird die Verkehrssicherheit deutlich gesteigert. Der Fahrzeugnutzer 3 gibt also in Situationen in welchen er emotional oder aufgrund seiner Aufmerksamkeit nicht in der Lage ist das Fahrzeug 2 zu führen, die Kontrolle an die Selbstfahreinheit 8 ab, welche das Fahrzeug 2 sicherer steuern kann. Erst wenn der Fahrzeugnutzer 3 wieder aufmerksam genug ist, um das Fahrzeug 2 zu führen oder einen emotionalen Zustand erreicht hat, in dem er das Fahrzeug 2 sicher führen kann, wird dem Fahrzeugnutzer 3 angeboten, die Kontrolle über das Fahrzeug 2 von der Selbstfahreinheit 8 wieder zu übernehmen. Der Fahrzeugnutzer 3 muss die Kontrolle über das Fahrzeug 2 selbständig übernehmen. So wird verhindert, dass das Fahrzeug 2 plötzlich von dem Fahrzeugnutzer 3 übernommen werden muss, ohne dass dieser darauf vorbereitet ist.
-
Wird von der künstlichen Intelligenz der Auswertevorrichtung 7 also festgestellt, dass der Fahrzeugnutzer 3 sich in einem emotionalen Zustand befindet, in welchem er das Fahrzeug 2 nicht mehr sicher führen kann oder, dass der Fahrzeugnutzer 3 unaufmerksam ist, so dass er das Fahrzeug 2 nicht mehr sicher führen kann, wird von der Kommunikationsvorrichtung 10 ein Signal 12 an weitere Fahrzeuge, die weitere Kommunikationsvorrichtungen aufweisen, gesendet. Die mittels der Signale 12 zu übermittelnden Informationen werden von der Auswertevorrichtung 7 an die Kommunikationsvorrichtung 10 über eine Kopplung 11 weitergeleitet. Diese Informationsweitergabe an weitere Fahrzeuge hat den Vorteil, dass die anderen Fahrzeugnutzer der weiteren Fahrzeuge sich auf das Verhalten des Fahrzeugnutzers 3 einstellen können und beispielsweise besonders aufmerksam fahren können.
-
Über das Unterhaltungselektroniksystem 20 können dem Fahrzeugnutzer 3 zudem Unterhaltungsempfehlungen gegeben werden, die seinen momentanen emotionalen Zustand verbessern oder unterstützen. Ist dem Fahrzeugnutzer 3 beispielsweise langweilig, kann über das Unterhaltungselektroniksystem 20 Musik abgespielt werden, so dass dem Fahrzeugnutzer 3 weniger langweilig ist.
-
2 zeigt ein Verfahrensschema nach einem Ausführungsbeispiel. Dargestellt ist ein Verfahren 21 zur Aktivierung der Selbstfahreinheit 8 zum autonomen Fahren des Fahrzeugs mit dem Fahrzeugsystem. Gezeigt sind sechs Verfahrensschritte 14, 15, 16, 17, 18 und 19. Im ersten Verfahrensschritt 14 zeichnet die Kamera des Fahrzeugsystems das Gesicht des Fahrzeugnutzers permanent auf und ermittelt so Kameradaten. Im zweiten Verfahrensschritt 15 werden die ermittelten Kameradaten an die Auswertevorrichtung des Fahrzeugsystems weitergeleitet. Diese Weiterleitung kann entweder auf drahtlosem oder auf kabelgebundenem Weg erfolgen.
-
Im dritten Verfahrensschritt 16 werden die Kameradaten von der Auswertevorrichtung mithilfe der künstlichen Intelligenz in Bezug auf Aufmerksamkeit und Emotionen des Fahrzeugnutzers ausgewertet. Je nach Anordnung der Kamera im Fahrzeuginnenraum des Fahrzeugs kann es notwendig sein, dass vorher die Bilddaten der Kamera neu orientiert werden. Wenn die Kamera zum Beispiel in einem Lenkrad des Fahrzeugs angeordnet ist, muss die Bildorientierung der Kamera umgerechnet werden, so dass eine Fehlerwahrscheinlichkeit in Bezug auf die Auswertung durch die Auswertevorrichtung verringert wird. Die künstliche Intelligenz der Auswertevorrichtung kann einen Grad der Aufmerksamkeit des Fahrzeugnutzers zum Beispiel aus einer Blickrichtung oder aus der Augenbewegung des Fahrzeugnutzers ermitteln. Außerdem führt die künstliche Intelligenz eine Gesichtserkennung durch und ermittelt aus den Gesichtszügen des Fahrzeugnutzers dessen momentane Emotionen.
-
Die ausgewerteten Daten werden in einem vierten Verfahrensschritt 17 in der Speichervorrichtung der Auswertevorrichtung abgelegt. So kann die Auswertevorrichtung auch einen Emotionsverlauf oder Aufmerksamkeitsverlauf des Fahrzeugnutzers bestimmen. In einem fünften Verfahrensschritt stellt die künstliche Intelligenz der Auswertevorrichtung fest, ob der Fahrzeugnutzer über einen vorbestimmten Zeitraum unaufmerksam war oder eine vorbestimmte Emotion wie beispielsweise Wut, Stress oder Müdigkeit aufgewiesen hat. Weist der Fahrzeugnutzer eine ausreichende Aufmerksamkeit und/oder keinen Stress und/oder keine Müdigkeit und/oder keine Wut auf, wird das Verfahren 21 ab dem ersten Verfahrensschritt 14 wiederholt durchlaufen. Erkennt die künstliche Intelligenz der Auswertevorrichtung jedoch, dass der Fahrzeugnutzer mangelnde Aufmerksamkeit aufweist oder gestresst, müde oder wütend ist, und dies über einen vorbestimmten Zeitraum anhält, wird eine Warnung an den Fahrzeugnutzer ausgegeben. Ändern sich der Aufmerksamkeitsgrad und/oder die Emotionen des Fahrzeugnutzers nach erfolgter Warnung nicht oder verschlimmern sich diese, wird von der Auswertevorrichtung des Fahrzeugsystems die Selbstfahreinheit des Fahrzeugsystems aktiviert. Dies ist der sechste und letzte Verfahrensschritt 19. Ist die Selbstfahreinheit aktiv, hat diese die Kontrolle über das Fahrzeug. Somit hat der Fahrzeugnutzer keinen Einfluss mehr auf das Fahrzeug. Das Fahrzeug fährt somit autonom.
-
Ist die Selbstfahreinheit aktiv, nimmt die Kamera des Fahrzeugsystems weiterhin permanent das Gesicht des Fahrzugnutzers auf und leitet die so gewonnenen Kameradaten an die Auswertevorrichtung weiter. Das heißt, dass das Verfahrensschema 21 ab dem ersten Verfahrensschritt 14 wiederholt durchlaufen wird. Wird festgestellt, dass sich die Aufmerksamkeit des Fahrzeugnutzers verbessert hat und/oder dass sich der emotionale Zustand des Fahrzeugnutzers geändert hat, so dass der Fahrzeugnutzer das Fahrzeug wieder sicher führen kann, wird dem Fahrzeugnutzer angeboten, die Selbstfahreinheit zu deaktivieren und selbst wieder die Kontrolle über das Fahrzeug zu übernehmen.
-
Die hier dargestellten Beispiele sind nur beispielhaft gewählt. Beispielsweise kann die Kamera des Fahrzeugsystems statt im Lenkrad des Fahrzeugs an dem Rückspiegel, an der A-Säule oder im Armaturenbrett des Fahrzeugs angeordnet sein, hierbei ist die Kamera stets auf das Gesicht des Fahrzeugnutzers ausgerichtet. Außerdem kann das Fahrzeugsystem beispielsweise mit einem Totwinkelassistenten oder einem Spurhalteassistenten gekoppelt sein und diese weiteren Fahrerassistenzsysteme ansteuern, wenn bestimmte emotionale Zustände oder ein bestimmter Aufmerksamkeitsgrad durch die künstliche Intelligenz bei dem Fahrzeugnutzer festgestellt wird. Weiterhin kann auch auf den emotionalen Zustand weiterer Fahrzeugnutzer, die sich im selben Fahrzeug aufhalten, reagiert werden. Die Kamera zeichnet dazu die Gesichter der weiteren Fahrzeugnutzer auf und sendet diese Daten an die Auswertevorrichtung. Dort werden diese mittels der künstlichen Intelligenz ausgewertet. Wird beispielsweise festgestellt, dass ein weiterer Fahrzeugnutzer nicht fröhlich ist, kann die Auswertevorrichtung das Unterhaltungselektroniksystem ansteuern und beispielsweise Musik abspielen. Die weiteren Fahrzeugnutzer, die nicht Fahrzeugführer sind, haben jedoch keinen Einfluss auf die Aktivierung der Selbstfahreinheit.
-
Bezugszeichenliste
-
- 1
- Fahrzeugsystem
- 2
- Fahrzeug
- 3
- Fahrzeugnutzer
- 4
- Kamera
- 5
- Lenkrad
- 6
- Blickrichtung der Kamera
- 7
- Auswertevorrichtung
- 8
- Selbstfahreinheit
- 9
- Speichervorrichtung
- 10
- Kommunikationsvorrichtung
- 11
- Koppelung
- 12
- Signale
- 13
- akustische Signale
- 14
- erster Verfahrensschritt
- 15
- zweiter Verfahrensschritt
- 16
- dritter Verfahrensschritt
- 17
- vierter Verfahrensschritt
- 18
- fünfter Verfahrensschritt
- 19
- sechster Verfahrensschritt
- 20
- Unterhaltungselektroniksystem
- 21
- Verfahren
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102013021816 A1 [0003]
- DE 102013021869 A1 [0004]
- DE 102014204980 A1 [0005]
- WO 14121182 A1 [0006]
- EP 2711227 A1 [0007]
- DE 102012111253 A1 [0008]
- US 2008284615 A [0009]
- DE 102005058227 A1 [0010]
