-
Die Erfindung betrifft eine Vorrichtung und ein entsprechendes Verfahren zur Erhöhung der Verfügbarkeit und/oder der Zuverlässigkeit einer automatisierten Fahrfunktion und/oder eines Fahrerassistenzsystems eines Fahrzeugs.
-
Ein zumindest teilweise automatisiert fahrendes Fahrzeug und/oder ein Fahrerassistenzsystem können eingerichtet sein, Sensordaten von ein oder mehreren Umfeldsensoren des Fahrzeugs (z.B. eine Bildkamera, ein Lidarsensor, ein Radarsensor, etc.) auszuwerten, z.B. um ein oder mehrere Objekte im Umfeld des Fahrzeugs zu detektieren. Das Fahrzeug kann dann im Rahmen einer automatisierten Fahrfunktion in Abhängigkeit von den ein oder mehreren detektieren Objekten zumindest teilweise automatisiert längs- und/oder quergeführt werden. Alternativ oder ergänzend können im Rahmen eines Fahrerassistenzsystems in Abhängigkeit von den ein oder mehreren detektierten Objekten Fahrhinweise an den Fahrer des Fahrzeugs ausgegeben werden. Dabei hängen die Güte und/oder die Verfügbarkeit der automatisierten Fahrfunktion und/oder des Fahrerassistenzsystems typischerweise von der Güte der Objekterkennung ab.
-
Das vorliegende Dokument befasst sich mit der technischen Aufgabe, die Verfügbarkeit und/oder die Güte einer automatisierten Fahrfunktion und/oder eines Fahrerassistenzsystems eines Fahrzeugs zu erhöhen.
-
Die Aufgabe wird jeweils durch die unabhängigen Ansprüche gelöst. Vorteilhafte Ausführungsformen werden u.a. in den abhängigen Ansprüchen beschrieben. Es wird darauf hingewiesen, dass zusätzliche Merkmale eines von einem unabhängigen Patentanspruch abhängigen Patentanspruchs ohne die Merkmale des unabhängigen Patentanspruchs oder nur in Kombination mit einer Teilmenge der Merkmale des unabhängigen Patentanspruchs eine eigene und von der Kombination sämtlicher Merkmale des unabhängigen Patentanspruchs unabhängige Erfindung bilden können, die zum Gegenstand eines unabhängigen Anspruchs, einer Teilungsanmeldung oder einer Nachanmeldung gemacht werden kann. Dies gilt in gleicher Weise für in der Beschreibung beschriebene technische Lehren, die eine von den Merkmalen der unabhängigen Patentansprüche unabhängige Erfindung bilden können.
-
Gemäß einem Aspekt wird eine Vorrichtung zum Betrieb einer automatisierten Fahrfunktion und/oder eines Fahrerassistenzsystems eines (Kraft-) Fahrzeugs auf Basis von Umfelddaten von ein oder mehreren Umfeldsensoren des Fahrzeugs beschrieben. Beispielhafte Umfeldsensoren sind: eine Kamera, ein Radarsensor, ein Lidarsensor, ein Ultraschallsensor, etc. Die Umfelddaten können Information in Bezug auf das Umfeld des Fahrzeugs umfassen. Die automatisierte Fahrfunktion kann ausgebildet sein, das Fahrzeug zumindest teilweise automatisiert längs- und/oder querzuführen. Das Fahrerassistenzsystem kann eingerichtet sein, den Fahrer (z.B. durch Ausgabe von Hinweisen und/oder durch automatische Eingriffe in die Fahrzeugführung) bei der manuellen Längs- und/oder Querführung des Fahrzeugs zu unterstützen.
-
Die Vorrichtung ist eingerichtet, Kontextinformation in Bezug auf den Kontext zu ermitteln, in dem die Umfelddaten (aktuell) erfasst werden und/oder in dem das Fahrzeug (aktuell) betrieben wird. Die Kontextinformation kann z.B. anzeigen, ob die Umfelddaten bei Niederschlag oder bei Trockenheit erfasst werden. Alternativ oder ergänzend kann die Kontextinformation eine Region, insbesondere ein Land, anzeigen, in dem die Umfelddaten erfasst werden. Alternativ oder ergänzend kann die Kontextinformation anzeigen, ob die Umfelddaten bei Tag oder bei Nacht erfasst werden. Alternativ oder ergänzend kann die Kontextinformation anzeigen, ob die Umfelddaten bei Nebel oder bei klarer Sicht erfasst werden. Alternativ oder ergänzend kann die Kontextinformation anzeigen, ob ein oder mehrere Umfeldsensoren des Fahrzeugs beeinträchtigt oder defekt sind.
-
Die Vorrichtung kann eingerichtet sein, die Kontextinformation auf Basis von Sensordaten von ein oder mehreren Sensoren des Fahrzeugs zu ermitteln. Beispielhafte Sensoren sind: ein Regensensor des Fahrzeugs, der eingerichtet ist, Sensordaten in Bezug auf Niederschlag auf einer Scheibe des Fahrzeugs zu erfassen; ein Lichtsensor des Fahrzeugs, der eingerichtet ist, Sensordaten in Bezug auf eine Beleuchtungssituation in dem Umfeld des Fahrzeugs zu erfassen; ein Positionssensor (z.B. ein GPS Empfänger), der eingerichtet ist, Sensordaten in Bezug auf eine aktuelle Position des Fahrzeugs zu erfassen (z.B. relativ zu einer digitalen Karte für das von dem Fahrzeug befahrene Straßennetz); ein Sensor, der eingerichtet ist, zu erkennen, ob ein Scheibenwischer des Fahrzeugs aktiviert oder deaktiviert ist; und/oder ein Sensor, der eingerichtet ist, zu erkennen, ob ein Umfeldsensor beeinträchtigt oder defekt ist.
-
Des Weiteren ist die Vorrichtung eingerichtet, eine Auswerteeinheit zum Auswerten der Umfelddaten in Abhängigkeit von der Kontextinformation aus einer Mehrzahl von unterschiedlichen Auswerteeinheiten auszuwählen. Die Mehrzahl von Auswerteeinheiten kann unterschiedliche Auswerteeinheiten für eine entsprechende Mehrzahl von unterschiedlichen, möglichen Kontexten aufweisen, in denen die Umfelddaten der ein oder mehreren Umfeldsensoren des Fahrzeugs erfassbar sind und/oder in denen das Fahrzeug betreibbar ist. Mit anderen Worten, es können für unterschiedliche, mögliche Kontexte jeweils spezifische Auswerteeinheiten bereitgestellt werden, die für den jeweiligen möglichen Kontext bereitgestellt, insbesondere angelernt, wurden.
-
Die Vorrichtung kann dann die Auswerteeinheit aus der Mehrzahl von Auswerteeinheiten auswählen, die für den aktuellen Kontext vorgesehen und/oder die an den aktuellen Kontext angepasst ist. Insbesondere kann die Vorrichtung eingerichtet sein, auf Basis der Kontextinformation einen bestimmten (aktuellen) Kontext aus der Mehrzahl von möglichen Kontexten auszuwählen, und basierend darauf die dem ausgewählten (aktuellen) Kontext entsprechende Auswerteeinheit zur Auswertung der Umfelddaten auszuwählen.
-
Die Auswerteeinheiten können jeweils ein oder mehrere neuronale Netze umfassen, die jeweils für einen möglichen Kontext, in dem die Umfelddaten der ein oder mehreren Umfeldsensoren des Fahrzeugs erfassbar sind und/oder in dem das Fahrzeug betreibbar ist, angelernt wurden. Durch die Verwendung von kontextspezifisch angelernten neuronalen Netzen können die Auswerteeinheiten in besonders präziser Weise an unterschiedliche Kontexte angepasst werden.
-
Die Vorrichtung ist ferner eingerichtet, unter Verwendung der ausgewählten Auswerteeinheit auf Basis der Umfelddaten ein Auswerteergebnis zu ermitteln. Es kann somit eine kontextspezifische Auswertung der Umfelddaten durch eine speziell für den aktuellen Kontext vorgesehene Auswerteeinheit durchgeführt werden. So kann die Güte des ermittelten Auswerteergebnisses erhöht werden.
-
Die Umfelddaten können Bilddaten zumindest einer Umfeldkamera des Fahrzeugs umfassen. Die Kamera kann z.B. hinter einer Windschutzscheibe des Fahrzeugs angeordnet sein (die ggf. bei Regen oder Schnee zumindest teilweise durch Niederschlag bedeckt sein kann). Die Auswerteeinheiten können jeweils eingerichtet sein, auf Basis der Umfelddaten als Auswerteergebnis ein oder mehrere Objekte in dem Umfeld des Fahrzeugs zu erkennen und/oder zu klassifizieren. Die Auswerteeinheiten können somit ausgebildet sein, eine Objekterkennung und/oder eine Objektklassifikation durchzuführen.
-
Außerdem ist die Vorrichtung ausgebildet, die automatisierte Fahrfunktion und/oder das Fahrerassistenzsystem in Abhängigkeit von dem Auswerteergebnis zu betreiben. Insbesondere kann die Vorrichtung eingerichtet sein, das Fahrzeug zumindest teilweise automatisiert in Abhängigkeit von dem Auswerteergebnis längs- und/oder querzuführen. Alternativ oder ergänzend kann die Vorrichtung eingerichtet sein, in Abhängigkeit von dem Auswerteergebnis ein oder mehrere Hinweise zur Unterstützung des Fahrers des Fahrzeugs bei dem Fahrbetrieb des Fahrzeugs auszugeben.
-
Durch die erhöhte Güte der Auswertung der Umfelddaten können die Güte und/oder die Verfügbarkeit der automatisierten Fahrfunktion und/oder des Fahrerassistenzsystems erhöht werden. Insbesondere kann so bewirkt werden, dass die automatisierte Fahrfunktion und/oder das Fahrerassistenzsystem auch bei Regen, Schnee, bei Nacht und/oder in unterschiedlichen Ländern zuverlässig betrieben werden können. Ferner kann eine Redundanz als Plausibilisierung der Umfelddaten bereitgestellt werden.
-
Die Vorrichtung kann eingerichtet sein, auf Basis der Kontextinformation ein oder mehrere Maßnahmen zu ermitteln, um die Güte der von den ein oder mehreren Umfeldsensoren im Rahmen des vorliegenden Kontextes erfassten Umfelddaten zu erhöhen. Beispielhafte Maßnahmen sind: die Aktivierung einer Reinigung einer Komponente, insbesondere einer Scheibe, des Fahrzeugs; die Aktivierung eines Wischers; die Aktivierung einer Umgebungsbeleuchtung; etc. Des Weiteren kann die Vorrichtung eingerichtet sein, zu veranlassen, dass die ein oder mehreren Maßnahmen automatisch und/oder durch einen Nutzer, insbesondere durch den Fahrer, des Fahrzeugs umgesetzt werden. So können die Güte und/oder die Verfügbarkeit der automatisierten Fahrfunktion und/oder des Fahrerassistenzsystems weiter erhöht werden.
-
Die Vorrichtung kann eingerichtet sein (während des Betriebs des Fahrzeugs), Verfügbarkeitsinformation in Bezug auf die Verfügbarkeit und/oder die Zuverlässigkeit der automatisierten Fahrfunktion und/oder des Fahrerassistenzsystems zu ermitteln. Die Verfügbarkeitsinformation und die (zeitlich entsprechende) Kontextinformation kann dann in einer Speichereinheit gespeichert werden. Durch die Speicherung und Auswertung von Verfügbarkeitsinformation und Kontextinformation kann die Vorrichtung angepasst werden, um die Güte und/oder die Verfügbarkeit der automatisierten Fahrfunktion und/oder des Fahrerassistenzsystems weiter zu erhöhen.
-
Gemäß einem weiteren Aspekt wird ein (Straßen-) Kraftfahrzeug (insbesondere ein Personenkraftwagen oder ein Lastkraftwagen oder ein Bus oder ein Motorrad) beschrieben, das die in diesem Dokument beschriebene Vorrichtung umfasst.
-
Gemäß einem weiteren Aspekt wird ein Verfahren zum Betrieb einer automatisierten Fahrfunktion und/oder eines Fahrerassistenzsystems eines Fahrzeugs auf Basis von Umfelddaten von ein oder mehreren Umfeldsensoren des Fahrzeugs beschrieben. Das Verfahren umfasst das Ermitteln von Kontextinformation in Bezug auf den (äußeren und/oder Umfeld-) Kontext, in dem die Umfelddaten erfasst werden und/oder in dem das Fahrzeug betrieben wird. Das Verfahren umfasst ferner das Auswählen, in Abhängigkeit von der Kontextinformation, einer Auswerteeinheit zum Auswerten der Umfelddaten aus einer Mehrzahl von unterschiedlichen Auswerteeinheiten. Außerdem umfasst das Verfahren das Ermitteln, unter Verwendung der ausgewählten Auswerteeinheit und auf Basis der Umfelddaten, eines Auswerteergebnisses, sowie das Betreiben der automatisierten Fahrfunktion und/oder des Fahrerassistenzsystems in Abhängigkeit von dem Auswerteergebnis.
-
Gemäß einem weiteren Aspekt wird ein Software (SW) Programm beschrieben. Das SW Programm kann eingerichtet werden, um auf einem Prozessor (z.B. auf einem Steuergerät eines Fahrzeugs) ausgeführt zu werden, und um dadurch das in diesem Dokument beschriebene Verfahren auszuführen.
-
Gemäß einem weiteren Aspekt wird ein Speichermedium beschrieben. Das Speichermedium kann ein SW Programm umfassen, welches eingerichtet ist, um auf einem Prozessor ausgeführt zu werden, und um dadurch das in diesem Dokument beschriebene Verfahren auszuführen.
-
Unter dem Begriff „automatisiertes Fahren“ kann im Rahmen des Dokuments ein Fahren mit automatisierter Längs- oder Querführung oder ein autonomes Fahren mit automatisierter Längs- und Querführung verstanden werden. Bei dem automatisierten Fahren kann es sich beispielsweise um ein zeitlich längeres Fahren auf der Autobahn oder um ein zeitlich begrenztes Fahren im Rahmen des Einparkens oder Rangierens handeln. Der Begriff „automatisiertes Fahren“ umfasst ein automatisiertes Fahren mit einem beliebigen Automatisierungsgrad. Beispielhafte Automatisierungsgrade sind ein assistiertes, teilautomatisiertes, hochautomatisiertes oder vollautomatisiertes Fahren. Diese Automatisierungsgrade wurden von der Bundesanstalt für Straßenwesen (BASt) definiert (siehe BASt-Publikation „Forschung kompakt“, Ausgabe 11/2012). Beim assistierten Fahren führt der Fahrer dauerhaft die Längs- oder Querführung aus, während das System die jeweils andere Funktion in gewissen Grenzen übernimmt. Beim teilautomatisierten Fahren (TAF) übernimmt das System die Längs- und Querführung für einen gewissen Zeitraum und/oder in spezifischen Situationen, wobei der Fahrer das System wie beim assistierten Fahren dauerhaft überwachen muss. Beim hochautomatisierten Fahren (HAF) übernimmt das System die Längs- und Querführung für einen gewissen Zeitraum, ohne dass der Fahrer das System dauerhaft überwachen muss; der Fahrer muss aber in einer gewissen Zeit in der Lage sein, die Fahrzeugführung zu übernehmen. Beim vollautomatisierten Fahren (VAF) kann das System für einen spezifischen Anwendungsfall das Fahren in allen Situationen automatisch bewältigen; für diesen Anwendungsfall ist kein Fahrer mehr erforderlich. Die vorstehend genannten vier Automatisierungsgrade entsprechen den SAE-Level 1 bis 4 der Norm SAE J3016 (SAE - Society of Automotive Engineering). Beispielsweise entspricht das hochautomatisierte Fahren (HAF) Level 3 der Norm SAE J3016. Ferner ist in der SAE J3016 noch der SAE-Level 5 als höchster Automatisierungsgrad vorgesehen, der in der Definition der BASt nicht enthalten ist. Der SAE-Level 5 entspricht einem fahrerlosen Fahren, bei dem das System während der ganzen Fahrt alle Situationen wie ein menschlicher Fahrer automatisch bewältigen kann; ein Fahrer ist generell nicht mehr erforderlich.
-
Es ist zu beachten, dass die in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systeme sowohl alleine, als auch in Kombination mit anderen in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systemen verwendet werden können. Des Weiteren können jegliche Aspekte der in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systemen in vielfältiger Weise miteinander kombiniert werden. Insbesondere können die Merkmale der Ansprüche in vielfältiger Weise miteinander kombiniert werden.
-
Im Weiteren wird die Erfindung anhand von Ausführungsbeispielen näher beschrieben. Dabei zeigen
- 1 beispielhafte Komponenten eines Fahrzeugs;
- 2a ein beispielhaftes neuronales Netz;
- 2b ein beispielhaftes Neuron;
- 3 eine beispielhafte Vorrichtung zur Auswertung von Sensordaten; und
- 4 ein Ablaufdiagramm eines beispielhaften Verfahrens zum Betreiben einer automatisierten Fahrfunktion und/oder eines Fahrerassistenzsystems eines Fahrzeugs.
-
Wie eingangs dargelegt, befasst sich das vorliegende Dokument mit der Erhöhung der Verfügbarkeit und/oder der Zuverlässigkeit einer automatisierten Fahrfunktion eines Fahrzeugs. In diesem Zusammenhang zeigt 1 beispielhafte Komponenten eines Fahrzeugs 100. Das Fahrzeug 100 umfasst ein oder mehrere Umfeldsensoren 102, die eingerichtet sind, Umfelddaten (d.h. Sensordaten) in Bezug auf das Umfeld des Fahrzeugs 100 zu erfassen. Beispielhafte Umfeldsensoren 102 sind eine Bildkamera, ein Radarsensor, ein Lidarsensor und/oder ein Ultraschallsensor.
-
Des Weiteren umfasst das Fahrzeug 100 typischerweise ein oder mehrere Fahrzeugsensoren 103, die eingerichtet sind, Zustandsdaten (d.h. Sensordaten) in Bezug auf eine Zustandsgröße des Fahrzeugs 100 zu erfassen. Beispielhafte Zustandsgrößen sind die Fahrgeschwindigkeit und/oder die (Längs-) Beschleunigung des Fahrzeugs 100.
-
Ferner umfasst das Fahrzeug 100 ein oder mehrere Aktoren 104 zur automatischen Längs- und/oder Querführung des Fahrzeugs 100. Beispielhafte Aktoren 104 sind ein Antriebsmotor, eine Bremsvorrichtung und/oder eine Lenkvorrichtung.
-
Eine Steuereinheit 101 des Fahrzeugs 100 kann eingerichtet sein, ein oder mehrere Aktoren 104 automatisch auf Basis der Umfelddaten und/oder auf Basis der Zustandsdaten zu betreiben. Insbesondere kann die Steuereinheit 101 eingerichtet sein, auf Basis der Sensordaten der ein oder mehreren Umfeldsensoren 102 ein Objekt im Umfeld des Fahrzeugs 100 zu detektieren. Die ein oder mehreren Aktoren 104 können dann in Abhängigkeit von dem detektieren Objekt betrieben werden, insbesondere um das Fahrzeug 100 zumindest teilweise automatisiert zu führen. Die Objekterkennung kann dabei anhand des in diesem Dokument beschriebenen Auswerteeinheiten erfolgen.
-
Zur Erkennung eines Objekts auf Basis der Sensordaten von ein oder mehreren Umfeldsensoren 102 kann zumindest ein neuronales Netz verwendet werden, das auf Basis von Trainingsdaten für die Aufgabe der Objekterkennung angelernt wurde. 2a und 2b zeigen beispielhafte Komponenten eines neuronalen Netzes 200, insbesondere eines Feedforward-Netzes. Ein weiteres beispielhaftes neuronales Netz 200 ist ein Convolutional Neural Network (CNN). Das Netz 200 umfasst in dem dargestellten Beispiel zwei Eingangs-Neuronen bzw. Eingabe-Knoten 202, die zu einem bestimmten Zeitpunkt t jeweils einen aktuellen Wert einer Eingangsgröße als Eingangswert 201 aufnehmen. Die ein oder mehrere Eingangs-Knoten 202 sind Teil einer Eingangs-Schicht 211. Allgemein kann das Netz 200 ausgebildet sein, einen Eingangs-Datensatz mit ein oder mehreren Eingangswerten 201, z.B. ein Bild einer Kamera, aufzunehmen.
-
Das neuronale Netz 200 umfasst ferner Neuronen 220 in ein oder mehreren verdeckten Schichten 212 des neuronalen Netzes 200. Jedes der Neuronen 220 kann als Eingangswerte die einzelnen Ausgangswerte der Neuronen der vorhergehenden Schicht 212, 211 aufweisen (oder zumindest einen Teil davon). In jedem der Neuronen 220 erfolgt eine Verarbeitung, um in Abhängigkeit von den Eingangswerten einen Ausgangswert des Neurons 220 zu ermitteln. Die Ausgangswerte der Neuronen 220 der letzten verdeckten Schicht 212 können in einem Ausgangs-Neuron bzw. Ausgabe-Knoten 220 einer Ausgangs-Schicht 213 verarbeitet werden, um die ein oder mehreren Ausgangswerte 203 des neuronalen Netzes 200 zu ermitteln. Allgemein kann das Netz 200 ausgebildet sein, Ausgangsdaten mit ein oder mehreren Ausgangswerten 203, z.B. in Bezug auf ein oder mehrere erkannte Objekte, bereitzustellen.
-
2b veranschaulicht die beispielhafte Signalverarbeitung innerhalb eines Neurons 220, insbesondere innerhalb der Neuronen 202 der ein oder mehreren verdeckten Schichten 212 und/oder der Ausgangs-Schicht 213. Die Eingangswerte 221 des Neurons 220 werden mit individuellen Gewichten 222 gewichtet, um in einer Summeneinheit 223 eine gewichtete Summe 224 der Eingangswerte 221 zu ermitteln (ggf. unter Berücksichtigung eines Bias bzw. Offsets 227). Durch eine Aktivierungsfunktion 225 kann die gewichtete Summe 224 auf einen Ausgangswert 226 des Neurons 220 abgebildet werden. Dabei kann durch die Aktivierungsfunktion 225 z.B. eine Begrenzung des Wertebereichs erfolgen. Für ein Neuron 220 kann z.B. eine Sigmoid-Funktion oder eine Tangens hyperbolicus (tanh)-Funktion oder eine Rectified Linear Unit (ReLU), z.B. f(x) = max(0, x) als Aktivierungsfunktion 225 verwendet werden. Ggf. kann der Wert der gewichteten Summe 224 mit einem Offset 227 verschoben werden.
-
Ein Neuron 220 weist somit Gewichte 222 und/oder ggf. einen Offset 227 als Neuron-Parameter auf. Die Neuron-Parameter der Neuronen 220 eines neuronalen Netzes 200 können in einer Trainingsphase angelernt werden, um zu bewirken, dass das neuronale Netz 200 eine bestimmte Funktion approximiert und/oder ein bestimmtes Verhalten modelliert.
-
Das Anlernen eines neuronalen Netzes 200 kann z.B. anhand des Backpropagation-Algorithmus erfolgen. Zu diesem Zweck können in einer ersten Phase einer qten Epoche eines Lernalgorithmus für die Eingangswerte 201 an den ein oder mehreren Eingangs-Knoten 202 des neuronalen Netzes 200 entsprechende Ausgangswerte 203 an dem Ausgang der ein oder mehreren Ausgangs-Neuronen 220 ermittelt werden. Auf Basis der Ausgangswerte 203 kann der Fehlerwert einer Optimierungs- bzw. Fehlerfunktion ermittelt werden.
-
In einer zweiten Phase der qten Epoche des Lernalgorithmus erfolgt eine Rückpropagation des Fehlers bzw. des Fehlerwertes von dem Ausgang zum Eingang des neuronalen Netzes, um schichtweise die Neuron-Parameter der Neuronen 220 zu verändern. Dabei kann die ermittelte Fehlerfunktion am Ausgang partiell nach jedem einzelnen Neuron-Parameter des neuronalen Netzes 200 abgeleitet werden, um ein Ausmaß und/oder eine Richtung zur Anpassung der einzelnen Neuron-Parameter zu ermitteln. Dieser Lernalgorithmus kann iterativ für eine Vielzahl von Epochen wiederholt werden, bis ein vordefiniertes Konvergenz- und/oder Abbruchkriterium erreicht wird.
-
Die Objekterkennung auf Basis der Sensordaten von ein oder mehreren Umfeldsensoren 102 des Fahrzeugs 100 kann insbesondere bei relativ schlechten Witterungsbedingungen oder bei Nacht beeinträchtigt sein. Die Beeinträchtigung der Objekterkennung kann sich negativ auf die Verfügbarkeit und/oder die Zuverlässigkeit einer automatisierten Fahrfunktion und/oder eines Fahrerassistenzsystems des Fahrzeugs 100 auswirken.
-
Das Fahrzeug 100 kann ein oder mehrere Situationssensoren 105 umfassen, die eingerichtet sind, Sensordaten in Bezug auf die aktuelle Umfeldsituation im Umfeld des Fahrzeugs 100 zu erfassen. Beispielhafte Situationssensoren 105 sind ein Niederschlagssensor und/oder ein Lichtsensor des Fahrzeugs 100.
-
Die Steuereinheit 101 kann eingerichtet sein, aus Basis der Sensordaten der Umfeldsensoren 102, der Fahrzeugsensoren 103 und/oder der Situationssensoren 105 Kontextinformation in Bezug auf einen Kontext zu ermitteln, in dem das Fahrzeug 100 betrieben wird. Die Kontextinformation kann z.B. anzeigen,
- • ob das Fahrzeug 100 bei Tageslicht oder bei Nacht oder in einem Tunnel betrieben wird;
- • ob das Fahrzeug 100 bei Regen oder bei trockenem Wetter betrieben wird; und/oder
- • ob das Fahrzeug 100 bei Nebel oder bei klaren Sichtverhältnissen betrieben wird.
-
Es kann dann in Abhängigkeit von der ermittelten Kontextinformation eine Auswerteeinheit, insbesondere ein neuronales Netz, zur Auswertung der Sensordaten der ein oder mehreren Umfeldsensoren 102 ausgewählt werden, die spezifisch an den aktuellen Kontext angepasst ist, in dem das Fahrzeug 100 betrieben wird. Beispielsweise kann bei erkanntem Regen eine Auswerteeinheit verwendet werden, die spezifisch für Regensituationen angelernt wurde. Alternativ oder ergänzend kann bei Nacht eine Auswerteeinheit verwendet werden, die spezifisch für Nachtsituationen angelernt wurde.
-
Durch die Nutzung von kontextspezifischen Auswerteeinheiten je nach Betriebskontext des Fahrzeugs können die Güte der Objekterkennung und damit die Verfügbarkeit von automatisierten Fahrfunktionen eines Fahrzeugs 100 erhöht werden.
-
3 zeigt eine beispielhafte Vorrichtung 300 zur Auswertung der Umfelddaten 301 von ein oder mehreren Umfeldsensoren 102 des Fahrzeugs 100. Die Vorrichtung 300 umfasst eine Auswahleinheit 302, die eingerichtet ist, eine Auswerteeinheit 303 aus einer Mehrzahl von Auswahleinheiten 303 auszuwählen, mit der die Umfelddaten 301 ausgewertet werden. Die Auswerteeinheit 303 zur Auswertung der Umfelddaten 301 kann insbesondere auf Basis von Kontextinformation 304 in Bezug auf den aktuellen Betriebskontext des Fahrzeugs 100 ausgewählt werden (wobei die Kontextinformation 304 auf Basis der Sensordaten von ein oder mehreren Fahrzeugsensoren 102, 103, 105 ermittelt werden kann). Es kann ggf. ein Entscheidungsbaum verwendet werden, um eine geeignete Auswerteeinheit 303 auszuwählen. Die Umfelddaten 301 können dann anhand der ausgewählten Auswerteeinheit 303 ausgewertet werden, um ein oder mehrere Objekte im Umfeld des Fahrzeugs 100 zu detektieren. So kann die Güte der Objekterkennung erhöht werden.
-
Es wird somit eine Verknüpfung von Fahrzeugsensoren 102, 103, 105 und/oder Aktoren 104 zu einem physikalischen Modell (z.B. als Teil der Auswahleinheit 302) beschrieben, mit dem insbesondere der aktuelle Kontext ermittelt werden kann, in dem das Fahrzeug 100 betrieben wird. Das physikalische Modell kann mit der Mustererkennung von Kamerabildern auf Grundlage neuronaler Netze 200 kombiniert werden (z.B. mit ein oder mehreren Auswerteeinheiten 303). So kann die Verfügbarkeit einer Auswerte-Vorrichtung 300 messbar gemacht werden, es können ggf. Einschränkungen erfasst werden und/oder es können ggf. Maßnahmen ergriffen bzw. Handlungsempfehlungen an einen Nutzer des Fahrzeugs 100 ausgegeben werden, um Einschränkungen bei der Objekterkennung zu reduzieren.
-
Insbesondere kann die Auswahl eines geeigneten Klassifikators 303 für den Betrieb einer automatisierten Fahrfunktion und/oder eines Fahrerassistenzsystems auf Grundlage des physikalischen Modells bzw. des Kontextes erfolgen. Durch Verknüpfung bestehender Sensoren 102, 103, 105 in einem Fahrzeug 100 mit den Ergebnissen einer künstlichen Intelligenz (z.B. innerhalb der neuronalen Netz 200 der Auswerteeinheiten 303) kann eine Redundanz ermöglicht werden.
-
Als Beispiel für das physikalische Modell kann die Scheibenwischerbewegung und/oder die Auswertung eines Regensensors als Indikator für Niederschlag verwendet werden. Mit dieser Kontextinformation 304 kann eine Auswahleinheit 302 (z.B. eine Zustandsmaschine) entscheiden, ob eine Auswerteeinheit 303 (insbesondere ein Klassifikator) für trockenes Wetter oder für nasses Wetter zur Auswertung der Umfelddaten einer Umfeldkamera 102 verwendet wird. Durch die Vorqualifikation auf Grundlage der Sensordaten bestehender Sensoren 102, 103, 105 kann die Erkennungsrate der anschließenden Bildklassifikation verbessert und/oder beschleunigt werden.
-
In Abhängigkeit von dem erkannten Kontext können Aktuatoren, wie die Wischwasserzufuhr und/oder die Scheibenwischer, automatisch angesteuert werden und/oder es kann eine Handlungsempfehlung an den Nutzer ausgegeben werden, um die ein oder mehreren Aktuatoren zu betreiben. Information in Bezug auf den Betrieb der Aktuatoren kann in einem Systemspeicher hinterlegt werden. Des Weiteren können die Sensoren 102, 103, 105 des Fahrzeugs 100 als Redundanzstufe zur Überprüfung der Auswahl des jeweiligen Klassifikators 303 verwendet werden.
-
Weitere Beispiele für unterschiedliche Kontexte sind Tag/Nacht mit einer Auswahl eines geeigneten Klassifikators 303, oder eine regionsabhängige Klassifikatorauswahl (z.B. weiße oder gelbe Fahrspurmarkierungen, etc.)
-
4 zeigt ein Ablaufdiagramm eines beispielhaften (ggf. Computerimplementierten) Verfahrens 400 zum Betrieb einer automatisierten Fahrfunktion und/oder eines Fahrerassistenzsystems eines Fahrzeugs 100 auf Basis von Umfelddaten 301 von ein oder mehreren Umfeldsensoren 102 des Fahrzeugs 100. Die ein oder mehreren Umfeldsensoren 102 können eingerichtet sein, als Umfelddaten 301 Sensordaten in Bezug auf das Umfeld (z.B. in Bezug auf die von dem Fahrzeug 100 befahrene Fahrbahn) zu erfassen.
-
Das Verfahren 400 umfasst das Ermitteln 401 von Kontextinformation 304 in Bezug auf den Kontext, in dem die Umfelddaten erfasst werden und/oder in dem das Fahrzeug 100 betrieben wird. Beispielhafte Kontexte sind: eine Fahrt bei Tag; eine Fahrt bei Nacht bzw. im Dunkeln; eine Fahrt bei Regen; eine Fahrt bei Schnee; eine Fahrt bei Trockenheit; eine Fahrt in einem bestimmten Land; etc. Die Kontextinformation 304 kann auf Basis der Sensordaten von ein oder mehreren Sensoren 102, 103, 105 des Fahrzeugs 100 ermittelt werden.
-
Das Verfahren 400 umfasst ferner das Auswählen 402, in Abhängigkeit von der Kontextinformation 304, einer Auswerteeinheit 303 zum Auswerten der Umfelddaten 301 aus einer Mehrzahl von unterschiedlichen Auswerteeinheiten 303. Dabei können unterschiedliche Auswerteeinheit 303 für unterschiedliche mögliche Kontexte bereitgestellt werden. Es kann dann die Auswerteeinheit 303 ausgewählt werden, die möglichst gut zu dem aktuellen Kontext passt. Die unterschiedlichen Auswerteeinheiten 303 können spezifisch für die unterschiedlichen möglichen Kontext angelernt worden sein. Die Auswerteeinheiten 303 können jeweils einen Klassifikator und/oder ein neuronales Netz 200 umfassen.
-
Des Weiteren umfasst das Verfahren 400 das Ermitteln 403, unter Verwendung der ausgewählten Auswerteeinheit 303 und auf Basis der Umfelddaten 301, eines Auswerteergebnisses. Insbesondere können die Umfelddaten 301 mit der für den aktuellen Kontext ausgewählten Auswerteeinheit 303 ausgewertet und/oder analysiert werden, um ein Auswerteergebnis zu ermitteln. Das Auswerteergebnis kann z.B. ein oder mehrere detektierte Objekte im Umfeld des Fahrzeugs 100 umfassen. Durch die Verwendung einer kontextspezifischen Auswerteeinheit 303 kann die Güte des Auswerteergebnisses erhöht werden.
-
Außerdem umfasst das Verfahren 400 das Betreiben 404 der automatisierten Fahrfunktion und/oder des Fahrerassistenzsystems in Abhängigkeit von dem Auswerteergebnis. Insbesondere kann das Fahrzeug 100 dabei zumindest teilweise automatisiert längs- und/oder quergeführt werden. Alternativ oder ergänzend kann ein Fahrhinweis an den Fahrer des Fahrzeugs 100 ausgegeben werden, um den Fahrer des Fahrzeugs 100 bei der Fahraufgabe zu unterstützen.
-
Durch die in diesem Dokument beschriebenen Maßnahmen können die Güte und/oder die Verfügbarkeit einer automatisierten Fahrfunktion und/oder eines Fahrerassistenzsystems in zuverlässiger Weise erhöht werden. Insbesondere können dabei Abbrüche einer automatisierten Fahrfunktion und/oder eines Fahrerassistenzsystems aufgrund einer unzureichenden Güte der erfassten Umfelddaten 301 und/oder einer unzureichenden Güte der Auswerteergebnisse vermieden werden.
-
Die vorliegende Erfindung ist nicht auf die gezeigten Ausführungsbeispiele beschränkt. Insbesondere ist zu beachten, dass die Beschreibung und die Figuren nur beispielhaft das Prinzip der vorgeschlagenen Verfahren, Vorrichtungen und Systeme veranschaulichen sollen.
