-
Stand der Technik
-
Die Erfindung betrifft ein Verfahren, eine Vorrichtung und ein Computerprogramm zum Betreiben eines hoch- oder vollautomatisierten Fahrzeugs.
-
Typischerweise erhält ein KI-Modul (künstliches Intelligenz Modul) eine Vielzahl von Eingangsgrößen, die in eine Vielzahl von Ausgangsgrößen übersetzt wird. Die Übersetzung findet in einer stark vermaschten und massiv parallelen internen Verarbeitungskette statt. Hierin sind beispielsweise Verbindungen zwischen den Knoten eines neuronalen Netzes freie Parameter. In der Lernphase werden diejenigen Werte für die freien Parameter ermittelt, mit denen vorgegebene Lern-Werte für die Eingangsgrößen in die zugehörigen Lern-Werte für die Ausgangsgrößen übersetzt werden, also beispielsweise ein Bild, das eine Szenerie mit einem Stoppschild enthält, als Bild klassifiziert wird, das ein Stoppschild enthält. Anschließend wird davon ausgegangen, dass im Wirkbetrieb (Deployment-Phase) reale Werte für die Eingangsgrößen richtig übersetzt, also etwa reale Bilder von Verkehrssituationen dahingehend richtig klassifiziert werden, welche Objekte sie enthalten. Die
US 8,468,109 B2 offenbart beispielhaft parallele neuronale Netze.
-
Offenbarung der Erfindung
-
Die Erfindung beschreibt ein Verfahren zum Betreiben eines hoch- oder vollautomatisierten Fahrzeugs, mit den Schritten: Detektieren eines Deadlocks während eines automatisieren Betriebs des Fahrzeugs; Aussenden von Umfeld- und/oder Fahr- und/oder Fahrzeugdaten an einen Assistenzserver, abhängig von der Detektion des Deadlocks; Empfangen von Steuersignalen des Assistenzservers; Automatisiertes Betreiben des Fahrzeugs basierend auf den empfangenen Steuersignalen.
-
Unter einem hochautomatisierten bzw. hochautomatisiert betrieben Fahrzeug wird ein Fahrzeug verstanden, welches wenigstens vordefinierte Fahrfunktionen eigenständig ohne den Eingriff eines Fahrers durchführen kann. Beispielhafte Fahrfunktionen sind Systeme mit automatisierter Quer- und/oder Längsführung, beispielsweise Einparkassistenten, Stauassistenten, Autobahnpiloten und dergleichen.
-
Vollautomatisierte bzw. vollautomatisiert betriebene Fahrzeuge sind dazu in der Lage mehrere dieser Fahrfunktionen durchzuführen, sodass ggf. auch komplexe Strecken eigenständig von dem Fahrzeug zurückgelegt werden können, ohne dass ein Eingriff eines Fahrers benötigt wird. Ggf. können vollautomatisierte Fahrzeuge nahezu alle typischen Fahrsituationen beherrschen, sodass diese eigenständig ohne Eingriffe eines Fahrers am Straßenverkehr teilnehmen können.
-
Unter Fahrzeugen werden hierbei Land-, Luft- und Raum- und Wasserfahrzeuge, insbesondere PKWs, LKWs, Busse, Shuttle, Zweiräder, Boote, Flugzeuge, Helikopter und Drohnen verstanden. Das Verfahren eignet sich für den Betrieb jeglicher Fahrzeuge, die automatisiert betrieben werden und in einen Deadlock geraten können. Folglich können beispielsweise auch automatisierte Roboter und Gabelstapler mittels dieses Verfahrens betrieben werden.
-
Unter einem während eines automatisieren Betriebs des Fahrzeugs auftretenden Deadlocks werden insbesondere Fahrsituationen verstanden, aus welchem sich das automatisiert betriebene Fahrzeug nicht selbstständig befreien kann und externe Hilfe zur geplanten und/oder sicheren Weiterfahrt benötigt wird. Beispiele für derartige Fahrsituationen können ein Verhaken eines automatisiert betriebenen Fahrzeugs an weiteren Fahrzeugen oder Infrastruktureinrichtungen, wie einer Mauer oder einer Straßenlaterne sein. Unter verhaken wird hierbei insbesondere verstanden, dass sich das Fahrzeug nicht selbstständig durch eine automatisierte Steuerung des Fahrzeugs befreien kann. Beispielsweise fährt das Fahrzeug wiederholt die gleiche Trajektorie ab um sich aus einer engen Parklücke zu befreien, erzielt hierbei jedoch keine Fortschritte, sodass das Fahrzeug die Parklücke nicht ohne externen Eingriff verlassen kann. Weitere Situationen, in denen ein Deadlock auftreten kann, sind beispielsweise eine ins Stocken geraten oder Steckenbleiben des Fahrzeugs auf einer Straße mit schlechten Fahreigenschaften oder einer Glatteis aufweisenden Straße.
-
Ein Deadlock kann auch ohne das tatsächliche Ausführen einer Bewegung stattfinden, beispielsweise wenn unterschiedliche Algorithmen sich nicht auf einen automatisierten Ansteuerungsvorgang einigen können und jeweils entgegengesetzte Ansteuerungen bevorzugen würden.
-
Das Detektieren eines Deadlocks kann entweder im Fahrzeug selbst oder auf einem externen Server stattfinden, der Fahrdaten und/oder Umfelddaten des Fahrzeugs empfängt. Eine Erkennung ist beispielsweise anhand wiederholt abgefahrener Trajektorien, einer Verzögerung eines geplanten Routenverlaufs, eines ungeplant langen Aufhaltens an einer Position oder in einem kleinen Bereich, anhand eines Ausbleibens einer Ansteuerung und weiteren Merkmalen möglichen. Auch eine Software zur Ansteuerung des Fahrzeugs kann derart programmiert sein, dass Widersprüchlichkeiten bzgl. der Ansteuerung zu einem Verharren an der aktuellen Position führen und folglich ein Deadlock detektiert wird.
-
Das automatisiert betriebene Fahrzeug kann mittels eines im Fahrzeug implementierten maschinellen Lernsystems ausgestattet sein, welches beispielsweise eines ohne mehrere künstliche neuronale Netze aufweist. Die neuronalen Netze können beispielsweise für unterschiedliche Aufgaben, wie der Detektion von Objekten, Fahrsituationen, Umfelddaten und der Ansteuerung des Fahrzeugs vorgesehen sein. Es kann jedoch ein vollständig vernetztes künstliches Neuronales Netzwerk im Fahrzeug implementiert sein, welches alle zum Betreiben des Fahrzeugs notwendigen Aufgaben berechnet bzw. kontrolliert. Im Fahrzeug verbaute neuronale Netze können entweder fixierte Einstellungen bzw. Gewichte aufweisen oder auch während des Betriebs veränderbare Eigenschaften aufweisen. Beispielsweise kann sich ein neuronales Fahrzeug während des Betriebs des Fahrzeugs verändern bzw. anpassen und hierdurch während des Fahrens „dazulernen“.
-
Sind im Fahrzeug maschinelle Lernverfahren implementiert, können diese auf unterschiedlichste Weise eingelernt worden sein und/oder während des Betriebs eingelernt werden. Hierfür können überwachte und unüberwachte Ansätze gewählt werden.
-
Unter Fahrdaten können in der vorliegenden Anmeldung Daten bezüglich der vom Fahrzeug abgefahrenen Trajektorien, Positionen des Fahrzeugs zu unterschiedlichen Zeitpunkten, geplante Trajektorien, Geschwindigkeits- und/oder Beschleunigungsverläufe, Ansteuerungssignale an Aktoren des Fahrzeugs und vergleichbare Daten verstanden werden.
-
Unter Fahrzeugdaten werden fahrzeugspezifische Daten, wie auf dem Fahrzeug aufgespielte Software, beispielsweise in Form von maschinellen Lernsystemen, eine verbleibende Reichweite, Daten über die Fahrzeugsteuerung, die im Fahrzeug verbauten Aktoren, die im Fahrzeug verbauten Sensoren und derer Positionen und Ausrichtungen und vergleichbare Details über das Fahrzeug verstanden. Es können ebenfalls eingestellte Lenkwinkel, anliegende Steuersignale und weitere Details über ansteuerbare Aktoren oder Fahrzeugsysteme in den Fahrzeuginformationen enthalten sein.
-
Unter Umfelddaten können Daten verstanden werden, welche mittels Umfeldsensoren erfasst wurden, deren Daten dem Fahrzeug zur Verfügung gestellt wurden. Bei den Umfelddaten kann es sich insbesondere um Daten von im Fahrzeug verbauten Sensoren wie Radar-, Lidar-, Ultraschall- und/oder Videosensoren handeln. Zudem können die Umfelddaten auch mittels nicht im Fahrzeug verbauter Sensoren ermittelt werden, beispielsweise von an weiteren Fahrzeugen, insbesondere PKWs und LKWs, oder Infrastruktureinrichtungen oder aus an Flugzeugen oder Drohnen oder Satelliten angebrachten Sensoren.
-
Unter dem von der Detektion des Deadlock abhängigen Aussenden von Umfeld- und/oder Fahrdaten an einen Assistenzserver kann verstanden werden, dass entweder nur dann Umfeld- und/oder Fahr- und/oder Fahrzeugdaten an den Assistenzserver gesendet werden, wenn ein Deadlock detektiert wurde. Es können jedoch auch in Abhängigkeit der Detektion spezielle Daten an den Assistenzserver gesendet werden, beispielsweise Informationen über die Deadlock-Situation, wie exakte Trajektorien, Standorte und/oder detaillierte Umfelddaten. Folglich können auch vor einer Detektion Daten an den Assistenzserver gesendet werden und lediglich die Auswahl und/oder Menge der Daten / Informationen wird abhängig von der Detektion verändert / angepasst.
-
Auf dem Assistenzserver kann beispielsweise eine hocheffiziente und Leistungsstarke Software zur automatisierten Steuerung von Fahrzeugen implementiert sein, welche basierend auf den vom Fahrzeug ausgesendete Daten und ggf. Zusatzinformationen von weiteren Informationsquellen eine eigenständige Berechnung zur Weiterfahrt des Fahrzeugs durchführt. Aufgrund der größeren zur Verführung stehenden Rechenleistung und ggf. zusätzlicher ggf. aktuellerer Informationen (als die dem Fahrzeug vorliegenden Informationen) kann die auf dem Assistenzserver durchgeführte Berechnung zu einer Befreiung des automatisiert betriebenen Fahrzeugs führen. Der Assistenzserver kann dazu in der Lage sein, direkte Steuerungssignale an das Fahrzeug auszusenden, um dieses aus der Ferne zu steuern. Er kann jedoch auch lediglich eine vorausberechnete Trajektorie an das Fahrzeug senden, welche automatisiert von diesem abgefahren wird. Anstelle der vom Fahrzeug ermittelten Trajektorie, welche zu einem Deadlock führt, kann nur alternativ die vom Assistenzserver ermittelte Trajektorie abgefahren werden. Der Assistenzserver kann zudem intelligente Algorithmen enthalten, die optimierte Objekterkennungen ermöglichen. Dies kann insbesondere dann notwendig sein, wenn sich das automatisiert betriebene Fahrzeug aufgrund einer Unschlüssigkeit über die Art/Klasse eines Objekts in einem Deadlock befindet. In diesem Fall kann auf dem Assistenzserver diese Unschlüssigkeit beseitigt werden und die gewonnen Informationen über das Objekt an das Fahrzeug gesendet werden. Das Fahrzeug sollte sich basieren auf dieser Information aus dem Deadlock befreien können.
-
Auf dem Assistenzserver können insbesondere maschinelle Lernverfahren und künstliche Intelligenzen implementiert sein. Insbesondere können diese in Form von neuronalen Netzwerken implementiert sein, die auf Basis von realen und ggf. simulierten Fahrsituationen eingelernt wurden und die Steuerung eines Fahrzeugs in nahezu jeder erdenklichen Fahrsituation beherrschen. Aufgrund der im Vergleich zu in Fahrzeugen verbauten Systemen sehr großen zur Verfügung stehenden Rechenleistung, und sehr großer Speicherplatzoptionen und der Anbindung zu beliebigen Bibliotheken und Hintergrundinformationen, sind derartige Systeme den in Fahrzeug implementierbaren Funktionen überlegen.
-
Bei den empfangenen Steuersignalen, welche insbesondere von dem Assistenzserver ausgesendet werden, kann es sich um direkte Ansteuerungsbefehle für einzelne Fahrzeugkomponenten, beispielweise aus dem Antriebsstrang oder der Lenkung handeln. Die Steuersignale können jedoch auch lediglich Informationen über eine abzufahrende Trajektorie beinhalten oder ggf. lediglich Zusatzinformationen enthalten, die das Fahrzeug benötigt, um sich aus dem Deadlock zu befreien.
-
Unter dem automatisierten Betreiben des Fahrzeugs kann beispielsweise eine Ansteuerung von Aktoren zur Fortbewegung des Fahrzeugs verstanden werden. Je nach Steuersignal, kann dieses direkt zur Ansteuerung von Aktoren verwendet werden oder zunächst im Fahrzeug verarbeitet werden, sodass basieren auf dem Steuersignal eine Ansteuerung von Aktoren des Fahrzeugs erfolgt. Die Steuersignale können beispielsweise dazu genutzt werden, um vor dem Empfangen der Steuersignale von dem Fahrzeug berechnete Trajektorien anhand der Steuersignale zu aktualisieren / anzupassen. Die Steuerung / das Betreiben des Fahrzeugs erfolgt anschließend anhand der aktualisierten / angepassten Trajektorie. Unter Aktoren werden insbesondere Aktoren im Antriebsstrang und Lenksystem des Fahrzeugs verstanden. Es können jedoch auch weitere ansteuerbare Teile des Fahrzeugs darunter verstanden werden, wie beispielweise Scheinwerfer des Fahrzeugs.
-
Das dieser Erfindung zugrunde liegende Verfahren bietet den Vorteil, dass entstehende Deadlocks beim automatisierten Fahren auf einfache Weise aufgelöst werden können. Dies ist insbesondere auch dann möglich, wenn das Fahrzeug mittels einer künstlichen Intelligenz betrieben wird. Durch die Auflösung eines Deadlocks bei einem verhakten Fahrzeug wird der Fahrkomfort für die Insassen erhöht, und diese können ihre Fahrt unmittelbar fortsetzen. Durch die Auflösung eines Deadlocks während einer autonomen Fahrt wird die Sicherheit im Straßenverkehr erhöht, da das Fahrzeug in einen sicheren Zustand versetzt wird bzw. unmittelbar durch eine externe Quelle, beispielsweise den Assistenzserver gesteuert wird.
-
In einer weiteren Ausführungsform des Verfahrens erfolgt das Detektieren des Deadlocks basierend auf einer Auswertung von Umfeld- und/oder Fahrdaten im Fahrzeug.
-
Diese Ausführungsform der Erfindung bietet den Vorteil, dass keine zusätzlichen Quellen oder externen Mittel notwendig sind, um eine Problemsituation im Fahrzeug zu detektieren. Auf diese Weise müssen auch nur dann Daten ausgesendet werden, wenn tatsächlich ein Deadlock vorliegt, wodurch der Datenfluss und folglich Anforderungen an das Fahrzeug und entsprechende Kommunikationsmittel gesenkt werden können.
-
Eine Ermittlung von Deadlocks kann beispielsweise basierend auf vom Fahrzeug detektierten sich wiederholenden Fahrmanöver oder geplanten aber nicht stattfindenden Positionsänderungen des Fahrzeugs erfolgen.
-
In einer weiteren Ausführungsform des Verfahrens erfolgt das Detektieren des Deadlocks basierend auf von einem Überwachungsserver empfangenen Informationen, wobei das Verfahren den zusätzlichen Schritt des Aussendens von Umfeld- und/oder Fahr- und/oder Fahrzeugdaten an den Überwachungsserver und den zusätzlichen Schritt des Empfangens einer Information von dem Überwachungsserver bezüglich eines vorliegenden Deadlocks aufweist.
-
Das Ermitteln, ob tatsächlich ein Deadlock vorliegt kann hierbei auf dem Überwachungsserver erfolgen. Alternativ kann dieser die Information auch an einen weiteren Server weiterleiten, auf welchem die Feststellung durchgeführt wird. Bei dem Überwachungsserver kann es sich auch um den Assistenzserver handeln, welcher in diesem Fall sowohl die Detektion als auch die Ermittlung von Steuerungssignalen übernimmt.
-
Diese Ausführungsform des Verfahrens bietet den Vorteil, dass eine zuverlässige Detektion von einem fahrzeugunabhängigen System erfolgt. Ggf. ist das Fahrzeug selbst nicht dazu in der Lage, festzustellen, dass es sich in einem Deadlock befindet, beispielsweise wenn dieser basierend auf einem Softwarefehler vorliegt. In diesem Fall ist eine Detektion mittels des defekten Systems ggf. nicht möglich. Um in derartigen Situationen ein Liegenbleiben des Fahrzeugs zu verhindern, wird dieses extern über den Überwachungsserver überwacht und ggf. durch den Assistenzserver gesteuert.
-
In einer weiteren Ausführungsform des Verfahrens werden die Steuersignale auf dem Assistenzserver mittels eines KI-Moduls (künstlichen Intelligenz Moduls) ermittelt.
-
Diese Ausführungsform der Erfindung bietet den Vorteil, dass ein hochleistungsfähiges System zur automatisierten Steuerung des Fahrzeugs vorliegt, welches insbesondere ohne menschlichen Eingriff auskommt. Anhand des KI-Moduls kann eine Situationsanalyse und eine situationsspezifische Lösung zur Befreiung des Fahrzeugs aus dem Deadlock ermittelt werden.
-
Bei dem KI-Modul (künstliche Intelligenz Modul) kann es sich insbesondere um ein maschinelles Lernsystem handeln, welches speziell zur Fahrzeuganalyse und/oder Fahrzeugsteuerung trainiert wurde. Insbesondere umfasst das KI-Modul eine oder mehrere künstliche neuronale Netzwerke, welche die wesentlichen Fähigkeiten zur sicheren Steuerung eines Fahrzeugs aufweisen.
-
In einer weiteren Ausführungsform des Verfahrens kommt zum automatisierten Betreiben des Fahrzeugs ein im Fahrzeug implementiertes KI-Modul zum Einsatz. Beim Aussenden der Fahrzeugdaten wird dieses KI-Modul an den Assistenzserver übertragen. Das Verfahren weist zudem den zusätzlichen Schritt des Empfangens eines modifizierten KI-Moduls vom Assistenzserver und den zusätzlichen Schritt des automatisierten Betreibens des Fahrzeugs mittels des modifizierten KI-Moduls auf.
-
Diese Ausführungsform der Erfindung bietet den Vorteil, dass ein fehlerhaftes oder nicht für alle Fahrfunktionen geeignetes KI-Modul aktualisiert und/oder modifiziert wird und hierdurch ein zuverlässiger und sicherer Betrieb des Fahrzeugs ermöglicht wird.
-
Die Schritte des Empfangens und des automatisierten Betreibens müssen hierbei nicht zwangsweise neue Verfahrensschritte darstellen. Beispielsweise kann das modifizierte KI-Modul im Schritt des Empfangens der Steuersignale empfangen werden. Genauso kann im Schritt des automatisierten Betreibens des Fahrzeugs basierend auf den empfangenen Steuersignalen ein Betreiben basierend auf den empfangenen Steuersignalen und dem empfangenen modifizierten KI-Modul erfolgen. Es ist jedoch auch möglich, dass das Fahrzeug zunächst anhand der Steuersignale aus dem Deadlock befreit wird und zur anschließenden Weiterfahrt ein automatisiertes Betreiben des Fahrzeugs mittels des modifizierten KI-Moduls erfolgt.
-
Diese Aktualisierung oder Modifizierung kann auf dem Assistenzserver oder einem mit dem Assistenzserver verbundenen Server erfolgen. Es ist auch denkbar, dass das KI-Modul auf einen vorherigen Stand zurückgesetzt wird, welcher eine bessere Performance bietet. Es ist des Weiteren denkbar, dass das KI-Modul durch ein anderes KI-Modul ersetzt wird, welche in diesem Fall das modifizierte KI-Modul darstellt. Da es sich um das gleich Fahrzeug handelt, kann auch bei einem Austausch des KI-Moduls von einer Modifizierung gesprochen werden, da die Funktionalität im Wesentlichen gleich bzw. sehr ähnlich sein sollten. Bei dem neuen oder modifizierten KI-Modul kann es sich auch um ein KI-Modul eines weiteren Fahrzeugs handeln, welches in einer entsprechenden Situation besser performt. Da die Möglichkeit besteht, dass das in dem Fahrzeug verbaute KI-Modul sich mit der Zeit verändert, indem es im Fahrbetrieb „lernt“, kann eine Zurücksetzung durchaus häufiger notwendig sein, da auch das Einlernen eines unvorteilhaften Fahrverhaltens ggf. nicht immer ausgeschlossen / vermieden werden kann.
-
In einer weiteren Ausführungsform des Verfahrens wird das Fahrzeug ebenfalls automatisiert mittels eines sich im Fahrzeug befindlichen KI-Moduls betrieben. Das Verfahren weist den zusätzlichen Schritt des Modifizierens, insbesondere Einlernens, des KI-Moduls basierend auf den empfangenen Steuersignalen und den zusätzlichen Schritt des automatisierten Betreibens des Fahrzeugs mittels des modifizierten KI-Moduls auf.
-
Diese Ausführungsform der Erfindung bietet den Vorteil, dass eine kontrollierte Verbesserung bzw. Aktualisierung des KI-Moduls im Fahrzeug ermöglicht wird, welche zu einem sicheren und zuverlässigeren automatisierten Fahrbetrieb beiträgt. Durch die Steuersignale wird das KI-Modul verbessert und kann folglich in vergleichbaren Situationen eigenständig handeln. Hierdurch wird das automatisierte Fahren noch effizienter.
-
Das KI-Modul kann anhand der spezifischen Fahrsituation und den auf diese Fahrsituation angepassten Steuersignalen des Assistenzservers lernen. Zudem ist es denkbar, dass die Steuersignale umfassendere Lerndaten enthalten, sodass ein Lernvorgang des KI-Moduls beschleunigt und verbessert werden kann.
-
In einer weiteren Ausführungsform des Verfahrens enthält das Verfahren den zusätzlichen Schritt des Ermittelns der den Deadlock verursachenden Fahrsituation und der Anpassung des automatisierten Betriebs des Fahrzeugs derart, dass eine automatisierte Steuerung des Fahrzeugs in entsprechenden Fahrsituationen eingeschränkt wird.
-
Diese Ausführungsform der Erfindung bietet den Vorteil, dass die Sicherheit beim automatisierten Fahren erhöht wird und dass Deadlock-Situationen vermieden werden können.
-
Der Betrieb kann in einer weiteren Ausführungsform des Verfahrens derart eingeschränkt werden, dass eine Deaktivierung des automatisierten Betriebs in den entsprechenden Fahrsituationen erfolgt.
-
Auch hierdurch wird die Sicherheit beim automatisierten Fahren verbessert.
-
Zusätzlich zum Verfahren wird eine Vorrichtung beansprucht, die eingerichtet ist, um Schritte gemäß eines dieser Erfindung zugrunde liegenden Verfahrens in entsprechenden Einheiten auszuführen. Bei der Vorrichtung kann es sich insbesondere um ein im Fahrzeug installierbares Steuergerät handeln, welches zur Überwachung und Unterstützung des automatisierten Fahrbetriebs ausgelegt ist.
-
Zudem wird ein Computerprogramm beansprucht, das dazu eingerichtet ist, wenigstens eines der dieser Erfindung zugrunde liegenden Verfahren auszuführen.
-
Darüber hinaus wird ein maschinenlesbares Speichermedium beansprucht, auf welchem dieses Computerprogramm gespeichert ist.
-
Figurenliste
-
- 1 zeigt ein schematisches Verfahrensdiagramm.
- 2 zeigt ein weiteres schematisches Verfahrensdiagramm.
- 3 zeigt ein weiteres schematisches Verfahrensdiagramm.
-
Ausführungsbeispiele
-
In 1 ist ein schematischer Ablauf eines Verfahrens zum automatisierten Betrieb eines Fahrzeugs dargestellt, welches in diesem Ausführungsbeispiel auf einem Steuergerät eines vollautomatisierten PKW abläuft. Das Fahrzeug weist mehrere Umfeldsensoren auf, welche zur automatisierten Steuerung des Fahrzeugs von einem im Fahrzeug implementierten KI-Modul ausgewertet werden. Das KI-Modul ermöglicht zudem die automatisierte Quer- und Längsführung des Fahrzeugs, sodass ein eigenständiges Fahren ohne den Eingriff eines Fahrers möglich ist. Zudem sind in dem Fahrzeug weitere Software-Module implementiert, welche die automatisierte Steuerung des Fahrzeugs kontrollieren und Fahrfunktionen umsetzen.
-
In diesem Ausführungsbeispiel wurde das Fahrzeug derart von einem weiteren Fahrzeug eingeparkt, dass basierend auf den im Fahrzeug eingestellten Sicherheitsabständen nicht ausreichend Platz zur Verfügung steht, um das Fahrzeug automatisiert aus der Parklücke heraus zu bewegen. Das im Fahrzeug verbaute KI-Modul schätzt die Situation allerdings fehlerhaft ein, weshalb das Fahrzeug mehrfach vor und zurück gesteuert wird, ohne sich aus der Parklücke herauszubewegen. In dieser Situation greift das in 1 dargestellte Verfahren, welches in Schritt 101 startet.
-
Anhand einer im Fahrzeug implementierten Überwachungssoftware wird in Schritt 102 ein Deadlock des Fahrzeugs während des automatisierten Betriebs detektiert. Das Überwachungsmodul detektiert den Deadlock in diesem Ausführungsbeispiel aufgrund des widerholten Abfahrens derselben Trajektorie innerhalb eine kleinen zeitlichen Abstands. Zudem verändert sich die Position des Fahrzeugs nicht merklich, sodass von einem Fehler oder einer Blockade des Fahrzeugs ausgegangen wird.
-
In Schritt 103 werden basierend auf der Detektion des Deadlocks Umfeld-, Fahr- und Fahrzeugdaten an einen Assistenzserver gesendet. Die Daten umfassen hierbei die in den letzten 10 Minuten aufgefahrenen Trajektorien, welche anhand exakter Lokalisierungsverfahren ermittelt werden, für welche GPS-Sensoren, Odometrie und eine Lokalisierung anhand von mittels am Fahrzeug verbauter Umfeldsensorik zum Einsatz kommt, Daten von am Fahrzeug verbauten Kameras, Lidar-, Radar-, Ultraschall- und, GNSS-Sensoren welche das Umfeld des Fahrzeugs beschreiben. Zudem werden die Berechnungsergebnisse des KI-Moduls und Daten über die exakten Außenmaße und die Anbringung der Umfeldsensoren am Fahrzeug an den Assistenzserver übertragen.
-
In Schritt 104 werden vom Fahrzeug Steuersignale des Assistenzservers empfangen, welche in diesem Ausführungsbeispiel eine von dem Fahrzeug abzufahrende Trajektorie enthält. Basierend auf einer hochpräzisen Auswertung der Umfelddaten und der Fahrzeugdaten wurde im Assistenzserver eine hochpräzise Abstandsbestimmung zwischen Fahrzeug und den das Fahrzeug umgebenden Objekten durchgeführt. Aufgrund dieser Bestimmung steht dem Fahrzeug etwas mehr Bewegungsraum zur Verfügung, sodass eine Trajektorie ermittelt werden kann, anhand welcher das Fahrzeug aus der Parklücke manövriert werden kann.
-
In Schritt 105 erfolgt das automatisierte Betreiben des Fahrzeugs basierend auf den empfangenen Steuerungssignalen.
-
Das Verfahren endet in Schritt 106.
-
In einem weiteren Ausführungsbeispiel ist gleiche automatisiert betriebene Fahrzeug wieder von einem weiteren Fahrzeug eingeparkt, welches hinter dem Fahrzeug positioniert ist. Vor dem Fahrzeug befindet sich ein Hindernis, welches von dem KI-Modul im Fahrzeug nicht mit ausreichender Sicherheit klassifiziert werden kann. Folglich kann im Fahrzeug nicht entschieden werden, ob es sich bei dem vor dem Fahrzeug detektierten Hindernis um ein festes oder bewegliches Hindernis, wie beispielsweise einer Hecke oder einem herausragende Ast eines Busches handelt. Da es ohne diese Information nicht aus der Parklücke herauskommt, sendet das Fahrzeug in Schritt 103 Umfelddaten an den Assistenzserver. Auf dem Assistenzserver ist eine Software implementiert, welche anhand einer Kombination von Ultraschall und Videodaten ermittelt, ob es sich bei dem detektierten Objekt um eine bewegliche Pflanze oder ein festes Hindernis handelt. Das auf dem Assistenzserver ermittelte Ergebnis wird zurück an das Fahrzeug gesendet und von diesem in Schritt 104 empfangen. Basierend auf diesen Informationen, die ebenfalls indirekte Steuersignale darstellen, kann die Trajektorienplanung des automatisierten Fahrzeugs angepasst werden und dieses kann basierend auf den Steuersignalen in Schritt 105 derart angesteuert / betrieben werden, dass es sich selbstständig aus dem Deadlock befreit.
-
In einem weiteren Ausführungsbeispiel erfolgt die Ermittlung, ob ein Deadlock vorliegt, nicht im Fahrzeug selbst, sondern auf einem Überwachungsserver. Der Vorgang des Detektierens eines Deadlocks, welcher ebenfalls in die weiteren in dieser Erfindung beschriebenen Ausführungsbeispiele integrierbar ist und ggf. eine Ermittlung im Fahrzeug ersetzt oder ergänzt, ist in 2 dargestellt.
-
In Schritt 201 werden von einem automatisiert Betriebenen Fahrzeug Umfeld- und Fahr- und Fahrzeugdaten an einen Überwachungsserver gesendet, welcher die Fahrt den Zustand des Fahrzeugs und dessen Aktivitäten und Trajektorien überwacht.
-
In Schritt 202 werden vom Fahrzeug Informationen von dem Überwachungsserver bezüglich eines vorliegenden Deadlocks empfangen.
-
Diese Informationen werden in Schritt 203 zur Detektion eines Deadlocks verwendet. Basierend auf dieser Detektion können im Folgenden die in den weiteren Ausführungsbeispielen dargestellten Verfahrensschritte durchgeführt werden.
-
In einem weiteren Ausführungsbeispiel läuft im Fahrzeug das in 3 skizzierte Verfahren ab, welches in Schritt 301 startet.
-
In Schritt 302 wird vom Fahrzeug ein Deadlocks detektiert.
-
In Schritt 303 werden vom Fahrzeug in Abhängigkeit des detektierten Deadlocks Umfeld- und/oder Fahr- und/oder Fahrzeugdaten an einen Assistenzserver gesendet.
-
In diesem Ausführungsbeispiel enthalten die Fahrzeugdaten ein im Fahrzeug implementiertes KI-Modul.
-
In Schritt 304 werden vom Fahrzeug Steuerungssignale des Assistenzservers empfangen. Zudem empfängt das Fahrzeug eine modifizierte Version des ausgesendeten KI-Moduls, bzw. ein Update, welches das im Fahrzeug implementierte KI-Modul verändert.
-
In Schritt 305 erfolgt eine Ansteuerung des Fahrzeugs basierend auf den empfangenen Steuersignalen zur Befreiung des Fahrzeugs aus dem Deadlock.
-
Befindet sich das Fahrzeug nicht mehr im Deadlock, erfolgt in Schritt 306 ein automatisiertes Betreiben des Fahrzeugs mittels des modifizierten KI-Moduls.
-
Das Verfahren endet in Schritt 307.
-
Im Folgenden werden weitere Ausführungsbeispiele beschrieben, welche teilweise eine vom Anspruchswortlaut abweichende Terminologie aufweisen.
-
In einem weiteren Ausführungsbeispiel befindet sich ein vollautomatisiert betriebener Kleinbus in einem Deadlock. Ein in dem Kleinbus implementiertes Fahrsystem zur automatisierten Steuerung des Kleinbusses erkennt von sich aus, dass es nicht in der Lage ist seine Position zu ändern bzw. eine geplante Trajektorie fortzuführen. In diesem Ausführungsbeispiel sendet das Fahrzeug über eine Car-to-X Kommunikationsverbindung eine Nachricht an einen Cloud bzw. einen externen Assistenzserver, zusammen mit der Fahrzeugposition und Fahrzeuglage, sowie der geplanten Trajektorie und den bereits erfolglos durchgeführten Fahrmanövern. Aus der Cloud heraus erfolgt mithilfe einer in der Cloud implementierten künstlichen Intelligenz eine Fernsteuerung des Kleinbusses, indem bestimmte Aktoren des Busses über die Car-to-X Kommunikationsverbindung aus der Cloud heraus angesteuert werden. In diesem Fall befindet sich auf der Cloud eine KI, welche in der Lage ist, die Aktoren von genau diesem Fahrzeug gezielt anzusteuern. Die Cloud ist hierbei dazu in der Lage die Aktoren aus der Lenkeinrichtung, Bremseinrichtung und Beschleunigungseinrichtung, sowie die Beleuchtung, insbesondere die Scheinwerfer des Buses anzusteuern. Während der Steuerung des Buses durch die Cloud erfolgt eine zyklische Positionsübertragung vom Bus an die Cloud (Car-to-X). Auf diese Weise erkennt die Cloud, ob der Bus aus der kritischen Fahrsituationen befreit wurde, welche den Deadlock verursacht hat. In diesem Ausführungsbeispiel übergibt die Cloud die Steuerung wieder an das Fahrsystem des autonomen Fahrzeugs, sodass der Kleinbus seine Fahrt mithilfe einer weiteren neu geplanten Trajektorie automatisiert fortsetzen kann.
-
In einem weiteren Ausführungsbeispiel erfolgt innerhalb des Kleinbusses selbst und in der Cloud eine Überwachung der geplanten Trajektorien des automatisiert betriebenen Busses darauf, ob ein Deadlock vorliegt. Hierbei wird die Trajektorie dahingehend untersucht, ob ungewöhnliche Fahrmanöver durchgeführt werden oder wurden, welche einen Hinweis für einen Deadlock sein können. Ungewöhnliche Fahrmanöver sind beispielsweise sich wiederholende Fahrmanöver innerhalb kurzer Abstände, wie zum Beispiel Beschleunigen Bremsen, Beschleunigen, Bremsen, Rückwärtsfahren, Beschleunigen Bremsen, Rückwärtsfahren, usw. Weitere hier nicht näher beschriebene ungewöhnliche Fahrmanöver sind ebenfalls denkbar.
-
In einem weiteren Ausführungsbeispiel tritt bei einem automatisiert betriebenen Fahrzeug ein Deadlock während der Durchführung eines gewöhnlichen Fahrmanövers auf. In diesem Fall führt der Deadlock dazu, dass das Fahrzeug nicht weiter automatisiert betrieben werden kann. In diesem Ausführungsbeispiel wird die Trajektorienberechnung und die Ansteuerung des Fahrzeugs basierend auf einer berechneten Trajektorie unterbrochen bzw. blockiert. Folglich entsteht ein Fehler innerhalb des Systems des automatisiert betrieben Fahrzeugs, welches in diesem Ausführungsbeispiels durch eine KI gebildet wird. Die KI gerät folglich während des automatisierten Betriebs in einen Deadlock und ist folglich nicht mehr ausführbar. In diesem Fall wird das Fahrzeug wie im vorherigen Beispiel beschrieben durch eine Cloud ferngesteuert oder aber in einen sicheren Zustand versetzt (zum Beispiel am Fahrbahnrand geparkt). Hierbei wird die künstliche Intelligenz des Fahrzeugs kurzzeitig außer Kraft gesetzt bzw. deaktiviert.
-
Optional kann in diesem Ausführungsbeispiel ein Neustart des Fahrsystems des Fahrzeugs notwendig sein bzw. die KI für das automatisierte Fahren neu zu starten bzw. neu zu laden. In dieser Zeit kann das Fahrzeug ggf. manuell betrieben werden oder verbleibt im beschriebenen sicheren Zustand.
-
In einem weiteren Ausführungsbeispiel wird eine KI, welche auf einem autonomen Fahrzeug ausgeführt wird und in einen Deadlock geraten ist, in eine Cloud hochgeladen und dort auf Fehler analysiert. Eventuell erfolgt auf der Cloud auch ein Update der KI mithilfe einer Simulationsumgebung und eine Rückübertragung der aktualisierten KI in das autonome Fahrzeug (Car-to-X Kommunikationsverbindung). Erst wenn sich auf dem Fahrzeug eine fehlerfreie KI befindet kann dieses Fahrzeug autonom betrieben werden. Solange dies nicht der Fall ist, wird das Fahrzeug manuell durch einen Fahrer gesteuert oder verbleibt in einem sicheren Zustand, bis das Problem behoben wurde.
-
In einem weiteren Ausführungsbeispiel wird eine KI zur automatisierten Steuerung eines Fahrzeugs, welche in einer bestimmten Fahrsituationen in einen Deadlock geraten ist, für vergleichbare Fahrsituationen deaktiviert. Hierdurch kann eine bereits auf dem Fahrzeug befindliche KI noch für bestimmte Fahrmanöver verwendet werden, wobei weitere Fahrmanöver die einen Deadlock verursachen könnten manuell von einem Fahrer durchgeführt werden müssen. Dies ist solange der Fall bis eine neue Version der KI auf das Fahrzeug geladen wird, welche auch das genannte Deadlock Problem behebt. Diese Implementierung bietet den Vorteil, dass die KI für das automatisierte Fahren nicht komplett abgeschaltet wird, sondern zunächst lediglich die Manöver abgeschaltet werden welche zu einem Deadlock führen könnten.
-
In einem weiteren Ausführungsbeispiel beobachtet eine in einem Fahrzeug implementierte KI das Verhalten eines Fahrers bzw. eine Steuerung des Fahrzeugs aus einer Cloud heraus und lernt daraus das richtige Verhalten, um aus dem Deadlock herauszukommen. In diesem Fall erfolgt ein Update der KI in dem Fahrzeug selbst, nachdem das Fahrzeug aus dem Deadlock befreit wurde mithilfe der Eingangssignale der manuellen Steuerung bzw. der Steuersignale aus der Cloud. D.h. die KI wird fortan nach dem Lernen des neuen Fahrmanövers nicht mehr in diesen Deadlock geraten. Eventuell erfolgt eine Übertragung des neu gelernten Verhaltens auf weitere automatisiert betriebene Fahrzeuge mit einer ähnlichen oder identischen KI.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
