-
Die vorliegende Erfindung betrifft ein Verfahren zum Vorhersagen eines Versagens einer automatisierten Fahrzeugführung eines Kraftfahrzeugs. Die Erfindung betrifft weiter ein dafür eingerichtetes Assistenzsystem sowie ein damit ausgestattetes Kraftfahrzeug.
-
In einem autonomen Betrieb eines Kraftfahrzeugs müssen eine oder mehrere Trajektorien bestimmt werden, die eine Bewegung des Kraftfahrzeugs ausgehend von seiner jeweils aktuellen Position beschreiben. Dabei müssen derartige Trajektorien jeweilige lokale Gegebenheiten berücksichtigen, um eine verkehrsregelkonforme Bewegung des Kraftfahrzeugs sicherzustellen und Hindernisse oder gar Unfälle zu vermeiden. Mit heutzutage verfügbaren Systemen ist dies jedoch nicht immer in allen Situationen vollständig zuverlässig möglich, obwohl es bereits eine Vielzahl von Ansätzen und Verbesserungsvorschlägen gibt.
-
So ist beispielsweise in der
US 10,133,275 B1 eine Generierung von Trajektorien für ein autonomes Fahrzeug unter Verwendung temporale Logik und einer Baumsuche beschrieben. Darin kann ein Suchalgorithmus wie etwa MCTS (Monte Carlo Tree Search) verwendet werden, um nach möglichen Trajektorien zu suchen, während Formeln der temporalen Logik wie etwa LTL (Linear Temporal Logic) verwendet werden können, um die möglichen Trajektorien zu validieren oder zu verwerfen. Die Trajektorien können basierend auf verschiedenen leistungsoptimierten Kosten und Randbedingungen optimiert werden. Das Bestimmen einer Trajektorie kann ein Bestimmen eines aktuellen Zustands des Fahrzeugs einschließlich statischer und dynamischer Symbole in einer Umgebung umfassen. Ein Kontext der Umgebung kann dann mit entsprechenden Symbolen, Merkmalen, Vorhersagen und LTL-Formeln bevölkert werden. Zum Evaluieren der Trajektorienkandidaten können beispielsweise auf einer LTL-Formel basierende Rabin-Automaten verwendet werden. Das Generieren von Knoten der MCTS und das Explorieren möglicher Aktionen kann basierend auf maschinellem Lernen erfolgen, beispielsweise unter Verwendung eines neuronalen Netzwerks.
-
Als weiterer Ansatz ist in der
US 8,706,394 B2 ein Steuersystem für ein Fahrzeug beschrieben. Dieses umfasst einen Objektsensor und einen Prozessor, der zum Empfangen und Verarbeiten von Objektsignalen des Objektsensors eingerichtet ist. Mittels des Prozessors soll ein Objekt in der Nähe des Fahrzeugs identifiziert und dessen relative Position unter Berücksichtigung einer Bewegung des Objekts, einem geplanten Bewegungspfad und einer Geschwindigkeit des Fahrzeugs vorhergesagt werden. Darauf basierend soll dann ein Ausgleichpfad berechnet werden, um eine Kollision mit dem identifizierten Objekt zu vermeiden. Mittels des Prozessors soll dann die Steuerung des Fahrzeugs übernommen werden, um dem berechneten Ausgleichpfad zu folgen, wenn die vorhergesagte Position des Objekts auf dem geplanten Bewegungspfad liegt. Falls dann das Objekt durch nachfolgende Veränderungen der Geschwindigkeit des Fahrzeugs nicht vermieden werden kann, soll ein Abweichen des Fahrzeugs von dem Ausweichpfad berechnet und das Fahrzeug entsprechend abweichend geführt werden.
-
Weiter ist in der
US 9,690,293 B2 ein System zum autonomen Navigieren eines autonomen Fahrzeugs entlang eines Straßensegments beschrieben. Damit sollen eine Umgebung des Fahrzeugs repräsentierende Bilder analysiert werden, um eine von dem Fahrzeug entlang des Straßensegments befahrene Trajektorie zu bestimmen. Ebenfalls basierend auf den Bildern soll eine aktuelle Position des Fahrzeugs entlang einer vorbestimmten Straßenmodelltrajektorie bestimmt werden. Basierend auf der bestimmten befahrenen Trajektorie soll eine Fahrtrichtung für das autonome Fahrzeug bestimmt werden. Relativ zu dieser Fahrtrichtung wird dann eine Lenkeinrichtung für das Fahrzeug bestimmt, indem die befahrene Trajektorie mit der vorbestimmten Straßenmodelltrajektorie an der aktuellen Position des Fahrzeugs verglichen wird.
-
Aufgabe der vorliegenden Erfindung ist es, einen sicheren Betrieb eines im autonomen Betrieb nicht allen Fahrsituationen gewachsenen Fahrzeugs zu ermöglichen.
-
Diese Aufgabe wird erfindungsgemäß durch die Gegenstände der unabhängigen Patentansprüche gelöst. Mögliche Ausgestaltungen und Weiterbildungen der vorliegenden Erfindung sind in den abhängigen Patentansprüchen, in der Beschreibung und in der Zeichnung offenbart.
-
Das erfindungsgemäße Verfahren dient zum Vorhersagen eines Versagens, also eines Fehlerfalls oder eines sogenannten Disengagements, einer automatisierten Fahrzeugführung eines Kraftfahrzeugs. Dies kann insbesondere eine Quer- und/oder Längsführung in einem bedingt automatisierten oder hochautomatisierten Fahrbetrieb des Kraftfahrzeugs, also etwa in einem Fahrbetrieb gemäß SAE J3016 Level 3 oder 4, betreffen. In einem Verfahrensschritt des erfindungsgemäßen Verfahrens werden während eines durch ein Fahrzeugführungssystem zur Quer- und/oder Längsführung gesteuerten Fahrbetriebs des Kraftfahrzeugs fortlaufend geplante Trajektorien bzw. Trajektorienabschnitte für das Kraftfahrzeug bestimmt bzw. erfasst. Bei dem Fahrzeugführungssystem kann es sich insbesondere um ein onboard-System des Kraftfahrzeugs selbst handeln, um eine möglichst geringe Latenz zu ermöglichen. Das Fahrzeugführungssystem kann dabei eine oder mehrere Einrichtungen, wie beispielsweise einen oder mehrere Sensoren, eine Datenverarbeitungseinrichtung, ein Steuergerät und/oder dergleichen mehr umfassen.
-
Die geplanten Trajektorien können sich von einer jeweils aktuellen Position des Kraftfahrzeugs in dessen jeweils aktueller Fahrtrichtung erstrecken bzw. eine geplante Bewegung des Kraftfahrzeugs während der jeweils nächsten Sekunden beschreiben. Mit einer Bewegung des Kraftfahrzeugs und/oder einer Veränderung einer Umgebungssituation des Kraftfahrzeugs kann jeweils eine aktualisierte oder neue aktuelle Trajektorie geplant werden. Dies kann in einer vorgegebenen Frequenz oder Taktgeschwindigkeit je nach Implementierung oder verfügbarer Rechenkapazität erfolgen. Im Gegensatz zu einer herkömmlichen Navigationsroute, die sich über viele Kilometer bzw. Stunden erstrecken kann und beispielsweise lediglich zu befahrende Straßen, nicht jedoch eine feiner aufgelöste konkrete Bewegung auf der jeweiligen Straße beschreibt, können sich die hier bestimmten Trajektorien beispielsweise über einige Meter bis zu einigen hundert Metern erstrecken bzw. etwa bis zu 30 Sekunden in die Zukunft erreichen. Die geplanten Traktoren beschreiben also im Vergleich zu einer herkömmlichen Navigationsroute eines satelliten- oder kartendatengestützten Navigationssystems eine relativ kurzfristige, detaillierte Bewegungsplanung, insbesondere eine geplante Bewegung des Kraftfahrzeugs innerhalb der jeweils von einer Umgebungssensorik des Kraftfahrzeugs erfassbaren Umgebung des Kraftfahrzeugs.
-
In einem weiteren Verfahrensschritt des erfindungsgemäßen Verfahrens werden während des jeweiligen Fahrbetriebs fortlaufend entsprechend aktualisierte Sequenzen von derartigen geplanten Trajektorien erfasst bzw. bereitgestellt. Diese Sequenzen können dabei eine vorgegebene Länge aufweisen, also eine vorgegebene Anzahl geplanter Trajektorien umfassen oder beispielsweise sämtliche geplant Trajektorien umfassen, die innerhalb eines gleitenden Zeitfensters vorgegebener Länge bestimmt wurden. Die jeweils aktuelle Sequenz von Trajektorien umfasst dabei bis zum jeweils aktuellen Zeitpunkt während des aktuellen Fahrbetriebs bestimmte geplante Trajektorien, also beispielsweise die letzten N Trajektorien, wobei N ein vorgegebener bzw. anpassbare Parameter sein kann. Für eine praktische Anwendung kann beispielsweise N = 10 vorgegeben sein.
-
Während des jeweils aktuellen Fahrbetriebs wird fortlaufend die jeweils aktuelle dieser Sequenzen von Trajektorien hinsichtlich eines Varianzmusters der Trajektorien der jeweiligen aktuellen Sequenz analysiert. Die Sequenzen bzw. deren Trajektorien werden also etwa hinsichtlich im Laufe der jeweiligen Sequenz zwischen den jeweiligen Trajektorien aufgetretenen bzw. sich entwickelnden Veränderungen oder Unterschieden, also Abweichungen voneinander, hinsichtlich eines Wechsels oder Umschlagens einer vorgesehenen Fahrtrichtung über mehrere nacheinander bestimmte Trajektorien hinweg, hinsichtlich Mustern von mehrfach geplanten, aber nicht ausgeführten gleichen Fahrmanövern und/oder dergleichen mehr analysiert oder ausgewertet.
-
Basierend darauf wird dann auch in einem weiteren Verfahrensschritt des erfindungsgemäßen Verfahrens vorhergesagt, ob ein Versagen der automatisierten Fahrzeugführung des Kraftfahrzeugs durch das Fahrzeugführungssystem bevorsteht oder nicht. Dies kann beispielsweise durch eine binäre Ausgabe oder einen jeweiligen Wahrscheinlichkeitswert für das Bevorstehen des Versagens erfolgen.
-
Bisherige Ansätze beruhen beispielsweise auf aufgezeichneten Zustandsdaten, die angeben, wie sich das jeweilige Fahrzeug in den jeweils zurückliegenden Sekunden tatsächlich bewegt hat. Dies ist zwar ein legitimer Ansatz, da einem Versagen der automatisierten Fahrzeugführung oftmals bestimmte Bewegungsmuster des Kraftfahrzeugs vorausgehen. Dies ist zum einen jedoch nicht immer der Fall und ermöglicht zum anderen oftmals nur eine relativ kurze Zeitspanne zwischen dem Vorhersagen eines Versagens und dessen tatsächlichem Eintreten. Es ist jedoch bekannt, dass eine menschliche Bedienperson die sichere Kontrolle über ein bis dahin autonom fahrendes Kraftfahrzeug nicht instantan übernehmen kann, sondern dafür eine gewisse Zeit benötigt. Um in solchen Fällen eine verbesserte Sicherheit zu erreichen, ist es also wünschenswert, einer jeweiligen Bedienperson so viel Zeit wie möglich zur Übernahme der Kontrolle über das Kraftfahrzeug einzuräumen. Dazu muss ein bevorstehendes Versagen der automatisierten Fahrzeugführung idealerweise so früh wie möglich vorhergesagt werden. Gerade dies wird durch die vorliegende Erfindung ermöglicht, da die Muster oder Veränderungen der für die Zukunft geplanten Trajektorien gemäß einer der vorliegenden Erfindung zugrunde liegenden Erkenntnis ebenfalls vor einem tatsächlichen Versagen typische Muster oder ein bestimmtes Varianzverhalten aufweisen können. Basierend auf den geplanten Trajektorien ist somit das Vorhersagen des Versagens möglich, bevor das jeweilige Kraftfahrzeug eine entsprechende Wegstrecke tatsächlich befahren hat, also bevor es entsprechende Fahrmanöver gemäß den geplanten Trajektorien tatsächlich ausgeführt hat. Mit anderen Worten ermöglicht es die vorliegende Erfindung, ein bevorstehendes Versagen der automatisierten Fahrzeugführung basierend auf einem antizipierten zukünftigen Verhalten des Kraftfahrzeugs vorherzusagen, bevor dieses Verhalten tatsächlich realisiert wurde.
-
In der vorliegenden Erfindung können dabei insbesondere jeweils mehrere in den Sequenzen von Trajektorien zusammengefasste Trajektorien betrachtet werden, die durch ein und dasselbe Modell oder Fahrzeugführungssystem nacheinander, also zu unterschiedlichen Zeitpunkten geplant wurden. Dies ermöglicht eine verbesserte Sicherheit und Robustheit bei reduziertem Aufwand, da beispielsweise nicht wie in bekannten Ansätzen die Ausgaben zweier unterschiedlicher Modelle miteinander verglichen werden müssen, sodass auch entsprechend keine impliziten Annahmen bezüglich des jeweils verwendeten Modells oder Systems getroffen werden müssen.
-
Die vorliegende Erfindung basiert auf der Idee, dass die geplanten Trajektorien ein jeweiliges Verständnis der aktuellen Verkehrssituation oder Verkehrsszene bzw. von deren Komplexität aus Sicht des Kraftfahrzeugs bzw. dessen Fahrzeugführungssystems widerspiegeln. Wenn eine bestimmte Situation korrekt von dem Fahrzeugführungssystem wahrgenommen bzw. verstanden wird und eine entsprechende Lösung für die automatisierte Fahrzeugführung in dieser Situation gefunden wird, wird die jeweils neueste, also aktuelle geplante Trajektorie signifikant, insbesondere größtenteils, mit einer oder mehreren vorangegangenen geplanten Trajektorien überlappen. In diesem Fall gibt es also keine oder nur relativ geringe Abweichungen zwischen diesen zu aufeinanderfolgenden Zeitpunkten geplanten Trajektorien. Ist die Situation hingegen komplex bzw. für das Fahrzeugführungssystem anspruchsvoll, kann eine zuvor geplante Trajektorie gegebenenfalls nicht mehr als sicher gelten, sodass die nächste bzw. aktuelle Trajektorie mit einer signifikanten Abweichung oder Veränderung geplant wird. Wenn das Fahrzeugführungssystem derart wechselnde, also signifikant von voneinander abweichende Trajektorien nacheinander plant, ist dies ein Indiz dafür, dass die jeweilige Verkehrs- oder Fahrsituation dynamisch oder allgemein anspruchsvoll, insbesondere zu anspruchsvoll, für das Fahrzeugführungssystem ist, sodass mit einem Versagen der automatisierten Fahrzeugführung bei weiterer Annäherung an die jeweilige Situation, ein jeweiliges Hindernis, andere Verkehrsteilnehmer, ein bestimmtes Streckenmerkmal und/oder dergleichen mehr zu rechnen ist.
-
In einer möglichen Ausgestaltung der vorliegenden Erfindung wird die jeweils aktuelle Sequenz aus zwischen 10 und 50 Trajektorien, insbesondere aus zumindest ungefähr 30 Trajektorien, zusammengesetzt. Dies kann bei einer Berechnung/oder Aktualisierungsfrequenz der geplanten Trajektorien beispielsweise in der Größenordnung von 10 Hz eine Berücksichtigung oder Abdeckung eines Zeitraums von mehreren Sekunden, beispielsweise der zurückliegenden 3 s, ermöglichen. Dies kann mit praktikabel handhabbarem Datenverarbeitungsaufwand eine robuste und zuverlässige Vorhersage des Versagens der automatisierten Fahrzeugführung ermöglichen.
-
Ebenso kann die vorgegebene Länge der jeweils analysierten Sequenz von Trajektorien dynamisch vorgegeben sein, beispielsweise in Abhängigkeit von einer aktuellen Geschwindigkeit des Kraftfahrzeugs. So können beispielsweise bei größerer Geschwindigkeit des Kraftfahrzeugs weniger geplante Trajektorien je Sequenz analysiert werden als bei geringerer Geschwindigkeit. Dadurch kann berücksichtigt werden, dass das Kraftfahrzeug bei unterschiedlichen Geschwindigkeiten je Zeiteinheit unterschiedliche Wegstrecken zurücklegt und somit bei unveränderter Sensorreichweite unterschiedlich viel Zeit bis zu einem möglichen Versagen an einer gerade in die Sensorreichweite gelangenden Stelle vergehen kann.
-
In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung wird bei dem Analysieren der Trajektorien für die Vorhersage nur oder überwiegend deren Varianzmuster in einem sich von der jeweils aktuellen Position des Kraftfahrzeugs in dessen Fahrtrichtung erstreckenden Überlappungsbereich, der von mehreren der Trajektorien der jeweils aktuellen Sequenz durchgegriffen wird, berücksichtigt. Mit anderen Worten kann also ein jeweils bei der aktuellen Trajektorie im Vergleich zur vorherigen Trajektorie dazukommendes Teilstück in maximaler Entfernung von dem Kraftfahrzeug unberücksichtigt bleiben oder untergewichtet werden. Dadurch kann berücksichtigt werden, dass in dem jeweils neu dazugekommenen Teilstück mit höherer Wahrscheinlichkeit auch in fehler- oder versagensfreien Fahrsituationen signifikante Richtungsänderungen auftreten können als in dem Überlappungsbereich. Der Überlappungsbereich bildet also einen sich vor dem Kraftfahrzeug erstreckenden Raumbereich, für den bereits mehrere Trajektorien geplant wurden. Die innerhalb dieses Überlappungsbereich liegenden Teile oder Abschnitte dieser geplanten Trajektorien können dann ausschließlich oder übergewichtet als Grundlage für das Vorhersagen des Versagens verwendet werden. Dies ermöglicht eine besonders robuste und zuverlässige Vorhersage des Versagens basierend auf der Erkenntnis, dass bei einem korrekten Verständnis der jeweiligen Situation innerhalb des Überlappungsbereich durch das Fahrzeugführungssystem dieses konsistent zum gleichen Ergebnis bzw. zur gleichen Lösung der Fahraufgabe kommen, also zumindest im Wesentlichen dieselbe Trajektorie bzw. denselben Trajektorienverlauf planen wird.
-
In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung ist das Fehlervorhersagemodell als Einrichtung des maschinellen Lernens ausgebildet und auf das Analysieren von Sequenzen von Trajektorien und das Vorhersagen, ob ein Versagen der automatisierten Fahrzeugführung bevorsteht, trainiert. Mit anderen Worten kann das Fehlervorhersagemodell ein, insbesondere tiefes, also mehrschichtiges, künstliches neuronales Netz sein oder umfassen, das im Rahmen seines Trainings Muster von Veränderungen oder Abweichungen in den Sequenzen von Trajektorien lernt bzw. gelernt hat, die voraussichtlich zu einem Versagen der automatisierten Fahrzeugführung führen, also einem solchen Versagen vorausgehen. Das Fehlervorhersagemodell kann dabei insbesondere introspektiv bezüglich des jeweiligen Fahrzeugführungssystems trainiert sein. Mit anderen Worten kann das Fehlervorhersagemodell anhand von tatsächlichen von dem jeweiligen Fahrzeugführungssystem erzeugten Sequenzen von geplanten Trajektorien trainiert sein, die jeweils als einem Versagen vorausgehend oder als einem fehlerfreien Durchfahren der jeweiligen Verkehrssituation, also einem erfolgreichen Fahrmanöver vorausgehend gekennzeichnet, also gelabelt oder annotiert, sein können. Dies ermöglicht eine besonders robuste und zuverlässige Vorhersage bevorstehender Disengagements des jeweiligen Fahrzeugführungssystems. Die Verwendung des maschinellen Lernens erlaubt dabei auf relativ einfache Weise ein in einer Vielzahl unterschiedlicher Situationen zuverlässiges Vorhersagen eines bevorstehenden Versagens. Dies ist der Fall, da das Fehlervorhersagemodell selbstständig Verallgemeinerungen konkreter Trainingsszenarien lernen kann und somit nicht manuell explizit auf jedwede potenziell mögliche Situation hin programmiert werden muss, was wenig praktikabel erscheint.
-
In einer möglichen Weiterbildung der vorliegenden Erfindung ist das Fehlervorhersagemodell sowohl mit entsprechend annotierten Sequenzen von geplanten Trajektorien, die in ein Versagen des Fahrzeugführungssystems gemündet haben, als auch mit entsprechend annotierten Sequenzen von Trajektorien, die in ein fehlerfreies Fahrmanöver gemündet haben, trainiert. Durch dieses Training mit Negativbeispielen und Positivbeispielen wird ein besonders effektives Training bzw. Lernen ermöglicht. Dies kann wiederum zu besonders zuverlässigen und robusten Vorhersagen des Fehlervorhersagemodells führen. Das Trainieren des Fehlervorhersagemodells kann vor dem erfindungsgemäßen Verfahren, also separat von diesem durchgeführt werden bzw. durchgeführt worden sein oder als Teil des erfindungsgemäßen Verfahrens durchgeführt werden. So kann es beispielsweise möglich sein, das Fehlervorhersagemodell auch nach oder während seines Einsatzes in dem Kraftfahrzeug weiter zu trainieren, beispielsweise anhand von im Betrieb des jeweiligen Kraftfahrzeugs aufgenommenen Sequenzen von geplanten Trajektorien. Dies kann eine Individualisierung oder individuelle Anpassung des Fehlervorhersagemodells an das jeweilige Kraftfahrzeug bzw. dessen Fahrverhalten oder typische Umgebung ermöglichen.
-
In einer möglichen Weiterbildung des erfindungsgemäßen Verfahrens wird als das Fehlervorhersagemodell oder als Teil davon ein rekurrentes künstliches neuronales Netz (RNN) verwendet. Dieses rekurrente neuronale Netz kann dabei insbesondere wenigstens ein LSTM-Modul (englisch: Long Short-Term Memory) umfassen. Dies ermöglicht es besonders einfach und effektiv, die jeweilige Vorhersage basierend auf zeitlichen Mustern oder dynamischen Entwicklungen in den Sequenzen von Trajektorien zu treffen. Dies kann eine zuverlässigere Vorhersage ermöglichen, als dies beispielsweise basierend auf einer einzelnen geplanten Trajektorie möglich wäre.
-
In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung wird in dem Fall, dass ein Versagen des Fahrzeugführungssystems vorhergesagt wird bzw. vorhergesagt wurde, automatisch eine Aufforderung dazu, eine manuelle Kontrolle über das Kraftfahrzeug zu übernehmen, ausgegeben. Mit anderen Worten kann also in einem solchen Fall veranlasst werden, dass eine menschliche Bedienperson die Kontrolle oder Steuerung über das Kraftfahrzeug übernimmt, insbesondere bevor das Versagen des Fahrzeugführungssystems tatsächlich eingetreten ist. Dadurch kann ein sicherer kontinuierlicher Betrieb des Kraftfahrzeugs ermöglicht werden. Die Aufforderung zur manuellen Kontrollübernahme kann dabei an einen Fahrzeuginsassen bzw. Fahrer des Kraftfahrzeugs und/oder an eine fahrzeugexterne Bedienperson, also einen Teleoperator, ausgegeben werden. Auf diese Weise kann das Fahrzeugführungssystem trotz einer nicht in sämtlichen möglichen Verkehrssituationen gegebenen absoluten Zuverlässigkeit bereits in der Praxis eingesetzt werden, wodurch beispielsweise ein Komfortgewinn oder sogar ein Sicherheitsgewinn gegenüber einer dauerhaft vollständig manuellen Führung des Kraftfahrzeugs erreicht werden kann.
-
In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung wird in dem Fall, dass ein Versagen des Fahrzeugführungssystems vorhergesagt wird bzw. vorhergesagt wurde, automatisch ein Steuersignal zum Einleiten eines Sicherheitsmanövers, durch welches das Kraftfahrzeug in einen sicheren Zustand, insbesondere zum Stillstand, gebracht wird, ausgegeben. Da dies basierend auf der Vorhersage, also basierend auf den geplanten, noch nicht notwendigerweise vollständig abgefahrenen Trajektorien beruht, kann das Sicherheitsmanöver auch dann bzw. bereits dann eingeleitet werden, wenn das Fahrzeugführungssystem zum Zeitpunkt der Vorhersage des Versagens noch aus seiner Sicht zulässige Trajektorien, also vorgegebenen Anforderungen entsprechende Lösungen der Trajektorienplanung liefert oder findet. Dadurch kann ein Zeitgewinn für eine Reaktion des Kraftfahrzeugs erzielt werden, sodass das Sicherheitsmanöver beispielsweise weniger abrupt oder heftig ausfallen kann. Dies kann zu einer weiter verbesserten Sicherheit beitragen, da nicht nur das Kraftfahrzeug selbst möglichst frühzeitig in einen sicheren Zustand versetzt wird, sondern auch andere Verkehrsteilnehmer einfacher und sicherer auf das Sicherheitsmanöver des Kraftfahrzeugs reagieren können. Das Sicherheitsmanöver kann beispielsweise eine Reduktion der Geschwindigkeit des Kraftfahrzeugs, ein Brems- oder Anhaltemanöver, ein Ausweichen auf einen Seitenstreifen und/oder dergleichen mehr umfassen. Durch ein derartiges Sicherheitsmanöver kann berücksichtigt werden, dass beispielsweise eine manuelle Kontrollübernahme über das Kraftfahrzeug durch eine Bedienperson eine signifikante Zeit, nach Studien beispielsweise bis zu 30 s, in Anspruch nehmen kann, das bevorstehende Versagen der automatisierten Fahrzeugführung gemäß der Vorhersage jedoch bereits in einer kürzeren zeitlichen Entfernung eintreten kann. Damit kann also sichergestellt werden, dass das Kraftfahrzeug nicht in eine Situation gerät, in der das Fahrzeugführungssystem versagt und gleichzeitig noch keine Bedienperson die manuelle Kontrolle über das Kraftfahrzeug übernommen hat.
-
Ein weiterer Aspekt der vorliegenden Erfindung ist ein Assistenzsystem für ein Kraftfahrzeug. Das erfindungsgemäße Assistenzsystem weist eine Eingangsschnittstelle zum Erfassen von durch ein automatisiertes Fahrzeugführungssystem geplanten Trajektorien des Kraftfahrzeugs, einen computerlesbaren Datenspeicher, eine damit verbundene Prozessoreinrichtung und eine Ausgangsschnittstelle auf. In dem Datenspeicher ist dabei einen Fehlervorhersagemodell zum auf Sequenzen von erfassten geplanten Trajektorien basierenden Vorhersagen, ob ein Versagen des Fahrzeugführungssystems bevorsteht, abgelegt. Die Prozessoreinrichtung kann beispielsweise ein Mikrochip, ein Mikroprozessor, ein Mikrocontroller oder dergleichen sein oder einen solchen umfassen. Über die Ausgangsschnittstelle kann beispielsweise ein die jeweilige Vorhersage oder ein darauf basierend erzeugtes Steuer- oder Hinweissignals ausgegeben werden. Das erfindungsgemäße Assistenzsystem ist dabei zum, insbesondere automatischen, Ausführen zumindest einer Variante des erfindungsgemäßen Verfahrens eingerichtet. Dementsprechend kann das erfindungsgemäße Assistenzsystem insbesondere das im Zusammenhang mit dem erfindungsgemäßen Verfahren genannte Assistenzsystem sein. Entsprechendes gilt auch für die übrigen genannten Komponenten des erfindungsgemäße Assistenzsystems, wie beispielsweise das genannte Fehlervorhersagemodell und das genannte Fahrzeugführungssystem. Beispielsweise kann in dem Datenspeicher ein entsprechendes Betriebs- oder Computerprogramm gespeichert sein, dass die Verfahrensschritte oder Abläufe des erfindungsgemäßen Verfahrens repräsentiert, also codiert oder implementiert, und durch die Prozessoreinrichtung ausführbar ist, um das entsprechende Verfahren auszuführen bzw. dessen Ausführung zu veranlassen.
-
Ein weiterer Aspekt der vorliegenden Erfindung ist ein Kraftfahrzeug, das eine Sensorik zum Aufnehmen von Umgebungsdaten, die eine jeweilige Umgebung des Kraftfahrzeugs abbilden oder charakterisieren, ein damit verbundenes Fahrzeugführungssystem zur automatisierten Quer- und/oder Längsführung des Kraftfahrzeugs und das erfindungsgemäße Assistenzsystem aufweist. Dementsprechend ist das erfindungsgemäße Kraftfahrzeug zur Ausführung oder Anwendung des erfindungsgemäßen Verfahrens eingerichtet Das erfindungsgemäße Kraftfahrzeug kann also insbesondere das im Zusammenhang mit dem erfindungsgemäßen Verfahren und/oder im Zusammenhang mit dem erfindungsgemäßen Assistenzsystem genannte Kraftfahrzeug sein. Dementsprechend kann das erfindungsgemäße Kraftfahrzeug einige oder alle der in diesen Zusammenhängen genannten Eigenschaften und/oder Merkmale aufweisen.
-
Weitere Merkmale der Erfindung können sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung ergeben. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung und/oder in den Figuren allein gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen.
-
Die Zeichnung zeigt in 1 eine schematische Darstellung einer Verkehrssituation, in der sich ein Kraftfahrzeug autonom auf ein Hindernis zubewegt.
-
In 1 ist in einer schematischen Draufsicht eine Verkehrssituation dargestellt, in der auf einer Straße 10 ein Kraftfahrzeug 12 in einem autonomen bzw. bedingt automatisierten Fahrbetrieb auf eine Gefahrenstelle 14 zu fährt. Die Gefahrenstelle 14 kann beispielsweise durch eine unklare Verkehrssituation, einen Unfall, eine Baustelle, einen sich nicht regelkonform verhaltenden anderen Verkehrsteilnehmer und/oder dergleichen mehr gebildet sein.
-
Das Kraftfahrzeug 12 umfasst eine Umgebungssensorik 16, die einen Umgebungsbereich des Kraftfahrzeugs 12, vorliegend einschließlich der Gefahrenstelle 14, erfasst. Das Kraftfahrzeug 12 weist weiter ein Assistenzsystem 18 auf, welches mittels der Umgebungssensorik 16 aufgenommene Umgebungsdaten empfängt und verarbeitet. Diese Umgebungsdaten können je nach Ausgestaltung der Umgebungssensorik 16 beispielsweise Kamerabilder, Radarechos, Lidarechos und/oder dergleichen mehr sein oder umfassen. Das Assistenzsystem 18 kann beispielsweise dazu eingerichtet sein, basierend auf den Umgebungsdaten bzw. einem daraus erzeugten Verarbeitungsergebnis eine Fahrzeugkomponente 20 oder das Kraftfahrzeug 12 insgesamt zumindest zeitweise autonom zu steuern.
-
Dazu weist das Assistenzsystem 18 hier einen Datenspeicher 22 auf, in dem ein vorgegebenes Fahrzeugführungsmodell 24 und ein vorgegebenes Fehlervorhersagemodell 26 hinterlegt sind. Das Fehlervorhersagemodell 26 umfasst dabei ein hier schematisch angedeutetes künstliches neuronales Netz 28, das darauf trainiert ist, vorherzusagen, ob ein Versagen des Fahrzeugführungsmodells 24, also der automatisierten Fahrzeugführung oder Fahrzeugsteuerung des Kraftfahrzeugs 12, bevorsteht. Weiter umfasst das Assistenzsystem 18 einen Prozessor 30 zum Ausführen der in dem Datenspeicher 22 hinterlegten Inhalte.
-
Das Assistenzsystem 18 bzw. das Fahrzeugführungsmodell 24 ist dazu eingerichtet, während des Fahrbetriebs fortlaufend Trajektorien für das Kraftfahrzeug 12 zu planen. Diese Trajektorien erstrecken sich dabei jeweils von einer aktuellen Position x des Kraftfahrzeugs 12 in dessen Fahrtrichtung. Beispielsweise wird hier zu einem aktuellen Zeitpunkt t ausgehend von der aktuellen Position x eine erste Trajektorie 32 geplant. Diese erste Trajektorie 32 erstreckt sich dabei von der aktuellen Position x bis zu einer zu voraussichtlichen oder geplanten zukünftigen Position y des Kraftfahrzeugs 12 geradlinig und biegt dann in Fahrtrichtung nach rechts ab, um die Gefahrenstelle 14 zu umgehen. Bewegt sich das Kraftfahrzeug 12 nun entlang der ersten Trajektorie 32, so wird zu einem späteren Zeitpunkt t+1 eine zweite Trajektorie 34 geplant. Diese zweite Trajektorie führt bis zu der zukünftigen Position y ebenfalls geradeaus, biegt dann jedoch in Fahrtrichtung nach links ab, um die Gefahrenstelle 14 zu umgehen. Entsprechend werden während der Fahrt des Kraftfahrzeugs 12 fortlaufend weitere Trajektorien, beispielsweise zum nochmals späteren Zeitpunkt t+2 eine dritte Trajektorie 36 und zum nochmals späteren Zeitpunkt t+3 eine vierte Trajektorie 38 geplant. Die dritte Trajektorie 36 biegt hier wie die davor geplante zweite Trajektorie 34 ebenfalls nach links ab, weist jedoch eine deutlich stärkere Krümmung auf, während die danach geplante vierte Trajektorie 38 zum Umgehen der Gefahrenstelle 14 wieder wie die erste Trajektorie 32 nach rechts ablegt.
-
Die hier beispielhaft angedeuteten Trajektorien 32 bis 36 sind dabei nur der Übersichtlichkeit halber quer zur Fahrtrichtung des Kraftfahrzeugs 12 versetzt dargestellt, können also in ihren zwischen der aktuellen Position x und der zukünftigen Position y liegenden Abschnitten, also in einem entsprechenden Überlappungsbereich, zumindest im Wesentlichen identisch sein, also tatsächlich aufeinander liegen.
-
Entsprechende Trajektorien können beispielsweise mehrfach pro Sekunde neu bestimmt bzw. geplant oder aktualisiert werden. Bei typischen Fahrgeschwindigkeit des Kraftfahrzeugs 12 können sich mehrere geplante Trajektorien dementsprechend zumindest bereichsweise drastisch voneinander unterscheiden, obwohl das Kraftfahrzeug 12 sich während eines Zeitraums, in dem diese Trajektorien geplant wurden, zumindest anscheinend stringent oder konstant, also konsistent mit einer einzigen dauerhaft gleichbleibenden Trajektorie bewegt. Trotz der hier sich nach der zukünftigen Position y signifikant voneinander unterscheidenden Trajektorien 32 bis 36 kann das Kraftfahrzeug 12 also bis zu der zukünftigen Position y konstant Geradeausfahren, sodass nach außen hin oder anhand der bis dahin zurückgelegten Wegstrecke keinerlei Hinweis auf ein bevorstehendes Versagen der automatisierten Fahrzeugführung, also des Fahrzeugführungsmodells 24, erkennbar ist.
-
Anhand der Unterschiede und wechselnden geplanten Fahrtrichtungen gemäß den Trajektorien 32 bis 36 nach der zukünftigen Position y ist jedoch erkennbar, dass das Fahrzeugführungsmodell 24 offenbar unsicher ist, wie das Kraftfahrzeug 12 angesichts der vorausliegenden Gefahrenstelle 14 sicher oder optimal zu führen ist oder geführt werden kann. Dies wird vorliegend ausgenutzt, indem eine jeweils aktuelle Sequenz geplanter Trajektorien, vorliegend also beispielsweise die Trajektorien 32 bis 36, als Input dem Fehlervorhersagemodell 26 zugeführt werden. Dieses sagt anhand der Variation der Trajektorien 32 bis 36 vorher, ob ein Versagen des Fahrzeugführungsmodells 24 bevorsteht oder nicht oder mit welcher Wahrscheinlichkeit mit einem solchen Versagen zu rechnen ist.
-
Vorliegend kann aufgrund der Unterschiede bzw. des Umschlagens der Richtungen der geplanten Trajektorien 32 bis 36 abgeleitet werden, dass eine bevorstehende Verkehrssituation um Bereich der Gefahrenstelle 14 komplex und anspruchsvoll ist und daher gegebenenfalls mit einer gewissen Wahrscheinlichkeit mit einem Versagen des Fahrzeugführungsmodells 24 zu rechnen ist. Die geplanten Trajektorien 32 bis 36 erstrecken sich dabei jeweils mehrere Sekunden in die Zukunft, sodass sie also eine Möglichkeit darstellen, das zukünftige Verhalten des Kraftfahrzeugs 12 zu antizipieren, bevor die geplanten Trajektorien 32 bis 36 tatsächlich befahren wurden.
-
Es sei darauf hingewiesen, dass es vorliegend nicht darum geht, vorherzusagen, wie sich die tatsächliche Bewegungstrajektorie des Kraftfahrzeugs 12 oder die geplanten Trajektorien 32 bis 36 zukünftig entwickeln werden. Vielmehr wird hier durch das Fehlervorhersagemodell 26 analysiert, wie sich die in der unmittelbaren Vergangenheit bis zum jeweils aktuellen Zeitpunkt geplanten Trajektorien entwickelt haben. Es wird also dem Fehlervorhersagemodell 26 jeweils eine aktuelle Sequenz von bis dahin geplanten Trajektorien als Input bereitgestellt. Diese aktuelle Sequenz kann zum Zeitpunkt t+2 beispielsweise die erste Trajektorie 32, die zweite Trajektorie 34 und die dritte Trajektorie 36 umfassen. Zum Zeitpunkt t+3 kann die dann aktuelle Sequenz hingegen beispielsweise die zweite Trajektorie 34, die dritte Trajektorie 36 und die vierte Trajektorie 38 umfassen. Dies ist hier jedoch rein schematisch und beispielhaft zu verstehen, da in einer praktischen Anwendung ebenso andere Anzahlen von Trajektorien, beispielsweise die jeweils 10 zuletzt geplanten Trajektorien, für die jeweils aktuelle Sequenz von Trajektorien verwendet oder berücksichtigt werden können.
-
Das entsprechend trainierten Fehlervorhersagemodell 26 kann jedem Input, also jeder Sequenz von Trajektorien eine Wahrscheinlichkeit dafür zuweisen, dass diese Sequenz zu einem Versagen, also einem sogenannten Disengagement, des Fahrzeugführungsmodells 24 führt. Diese Wahrscheinlichkeit kann dann mit einem vorgegebenen Wahrscheinlichkeitsschwellenwert verglichen werden. Erreicht oder überschreitet die vorhergesagte Wahrscheinlichkeit diesen Wahrscheinlichkeitsschwellenwert, so kann das Assistenzsystem 18 darauf in vorgegebener Weise reagieren. Beispielsweise kann ein Anforderungssignal 40 ausgegeben werden, durch welches eine manuelle Kontrolle oder Steuerung des Kraftfahrzeugs 12 durch eine Bedienperson, beispielsweise einen Fahrer 42 des Kraftfahrzeugs 12 oder einen fahrzeugexternen Teleoperator 44, angefordert wird. Der Teleoperator 44 kann daraufhin beispielsweise ein Steuersignal 46 an das Kraftfahrzeug 12 übermitteln, um dieses in manuelle Fernsteuerung um die Gefahrenstelle 14 herum zu nehmen. Anschließend kann der Teleoperator 44 bzw. der Fahrer 42 die Kontrolle über das Kraftfahrzeug 12 wieder an das Assistenzsystem 18 bzw. an das Fahrzeugführungsmodell 24 übergeben.
-
Dadurch, dass das Anforderungssignal 40 hier basierend auf einer Vorhersage und nicht einem tatsächlich bereits eingetretenen Versagen des Fahrzeugführungsmodells 24 erfolgt, kann die jeweilige Bedienperson ausreichend Zeit haben, um die manuelle Steuerung des Kraftfahrzeugs 12 zu übernehmen. Ebenso kann das Assistenzsystem 18 bei einem vorhergesagten Versagen des Fahrzeugführungsmodells 24 automatisch ein Sicherheitsmanöver des Kraftfahrzeugs 12 einleiten, um der jeweiligen Bedienperson die manuelle Kontrollübernahme noch sicherer zu ermöglichen. Die Vorhersage des Versagens ist hier typischerweise mehrere Sekunden im Voraus möglich, da die jeweils aktuelle Sequenz der geplanten Trajektorien typischerweise bereits mehrere Sekunden vor einem tatsächlichen Versagen des Fahrzeugführungsmodells 24 dies anzeigende Varianzmuster, also Veränderungen der geplanten Trajektorien zeigt.
-
Insgesamt zeigen die beschriebenen Beispiele wie basierend auf einer Analyse geplanter Trajektorien eine des Disengagementvorhersage realisiert werden kann, um einen besonders sicheren Betrieb eines Fahrzeugs in einem bedingt autonomen Fahrbetrieb zu ermöglichen.
-
Bezugszeichenliste
-
- 10
- Straße
- 12
- Kraftfahrzeug
- 14
- Gefahrenstelle
- 16
- Umgebungssensorik
- 18
- Assistenzsystem
- 20
- Fahrzeugkomponente
- 22
- Datenspeicher
- 24
- Fahrzeugführungsmodell
- 26
- Fehlervorhersagemodell
- 28
- neuronales Netz
- 30
- Prozessor
- 32
- erste Trajektorie
- 34
- zweite Trajektorie
- 36
- dritte Trajektorie
- 38
- vierte Trajektorie
- 40
- Anforderungssignal
- 42
- Fahrer
- 44
- Teleoperator
- 46
- Steuersignal
- x
- aktuelle Position
- y
- zukünftige Position
- t, t+1, t+2, t+3
- Zeitpunkte
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- US 10133275 B1 [0003]
- US 8706394 B2 [0004]
- US 9690293 B2 [0005]
