-
Die Erfindung betrifft ein Verfahren zum Steuern eines automatisierten Fahrzeugs. Ferner betrifft die Erfindung eine Steuereinrichtung zum Durchführen des Verfahrens sowie ein Computerprogramm und eine Speichereinrichtung mit einem solchen Computerprogramm.
-
Hochauflösende (HD) Planungs- und Lokalisierungskarten sind für hochautomatisiertes Fahren ab Level 2+ unerlässlich, wobei die dafür erforderliche Systemleistung und -zuverlässigkeit im Vergleich zu einfacheren Assistenzsystemen drastisch steigt. Zur Lokalisierung verwendet das automatisierte Fahrzeug eine geeignete Lokalisierungskarte, wobei ein fahrzeuginternes Lokalisierungsmodul anhand dieser als Wissensbasis dienenden Lokalisierungskarte die aktuelle Lage und Position des automatisierten Fahrzeugs durch einen Abgleich bestimmter mittels bordeigener Umfeldsensoren erfasster Merkmale mit der Karte ermitteln kann. Die Daten für Lokalisierungskarten werden dabei durch mehrere Fahrten auf derselben Strecke mit einem bestimmten Sensor, z.B. Radar, Lidar oder Kamera, gesammelt. Im Anschluss an das Lokalisierungsmodul trifft ein fahrzeuginternes Planungsmodul bestimmte Verhaltens- und Bewegungsentscheidungen auf der Grundlage einer Planungskarte, die ebenfalls vorab gesammelt wurde. Im Gegensatz zur Lokalisierungskarte enthält die Planungskarte zusätzlich auch die Straßentopologie und Geometrieinformationen auf Fahrspurebene sowie semantischen Kontext, wie Verkehrszeichen und Ampelpositionen. Die Informationsgenauigkeit und -fülle dieser beiden Kartentypen übertrifft zweifellos die heutige Sensorleistung. Die Extraktion umfassender semantischer Informationen direkt aus rohen Sensordaten in Echtzeit stellt dabei eine große Herausforderung dar, insbesondere in komplexen Verkehrsszenarien. Daher sind vorbereitete HD-Karten für ein sicheres und intelligentes Manövrieren von Punkt A nach B unverzichtbar.
-
Doch selbst mithilfe von Konnektivitätsdiensten und Cloud-Sourcing kommen Situationen vor, in denen die HD-Karten nicht mehr aktuell sind oder das Lokalisierungsmodul keine ausreichende Genauigkeit mehr liefert. Da eine Navigation auf Grundlage solcher mit der realen physischen Welt nicht mehr übereinstimmender Daten fatale Folgen haben kann, schalten sich die meisten aktuellen HD-Karten-basierten Planungssysteme entweder einfach ab oder führen gefährliche Manöver durch, so dass der Sicherheitsfahrer die Kontrolle übernehmen muss.
-
Die der Erfindung zugrunde liegende Aufgabe kann daher darin gesehen werden, die Sicherheit der automatisierten Fahrfunktion von Fahrzeugen auch in solchen Situationen zu gewährleisten, in denen eine Lokalisierung auf Basis einer HD-Karte nicht mit ausreichender Genauigkeit möglich ist. Diese Aufgabe wird mittels des jeweiligen Gegenstands der unabhängigen Ansprüche gelöst. Vorteilhafte Ausgestaltungen der Erfindung sind jeweils Gegenstand der abhängigen Unteransprüche.
-
Gemäß der Erfindung ist ein Verfahren zum Steuern eines automatisierten Fahrzeugs vorgesehen, wobei in einem ersten Verfahrensteil die aktuelle Umgebung des automatisierten Fahrzeugs mittels einer bordeigenen Umfeldsensorik erfasst und eine Lokalisierung des automatisierten Fahrzeugs anhand eines Abgleichs der Daten der Umfeldsensorik mit einer zuvor bereitgestellten HD-Lokalisierungskarte erfolgt. Dabei wird in einem einen Normalmodus repräsentierenden zweiten Verfahrensteil ein kartenbasiertes Umgebungsmodell der aktuellen Umgebung des automatisierten Fahrzeugs anhand einer bei der Lokalisierung ermittelten globalen Pose des automatisierten Fahrzeugs und einer zuvor bereitgestellten HD-Planungskarte erzeugt und zur Planung einer aktuellen Trajektorie des automatisierten Fahrzeugs verwendet. Ferner wird in einem einen Sicherheitsmodus repräsentierenden dritten Verfahrensteil, der parallel oder alternativ zum ersten Verfahrensteil durchgeführt wird, die Umgebung des automatisierten Fahrzeugs mittels der bordeignen Umfeldsensorik erfasst wird und anhand der dabei ermittelten Daten ein kartenloses Umgebungsmodell der aktuellen Umgebung des automatisierten Fahrzeugs erzeugt und zur Planung einer aktuellen Trajektorie des automatisierten Fahrzeugs verwendet. Schließlich wird die im Normalmodus oder im Sicherheitsmodus berechnete aktuelle Trajektorie zur Steuerung der Bewegung des automatisierten Fahrzeugs entlang der jeweiligen Trajektorie ausgegeben. Durch den zusätzlichen Sicherheitsmodus (Fallback-Modus) wird eine Ausweichfunktion geschaffen, die es einem automatisierten Fahrzeug ermöglicht, seine Fahrt auch dann fortzusetzen, wenn keine HD-Karten bereitstehen oder wenn anhand der bereitgestellten HD-Karten keine ausreichend genaue Lokalisierung möglich ist. Während der Normalmodus dank der HD-Karten eine intelligente Fahrfunktion bietet, konzentriert sich der Sicherheitsmodus dabei auf die Handhabung wesentlicher physikalischer Zustände. Durch den Sicherheitsmodus ist das automatisierte Fahrzeug in der Lage, sicher zu manövrieren, bevor es zu einem sicheren Halt kommt, statt einer unbedachten Notbremsung bei veränderter Straßenstruktur oder einer Fehlfunktion der Lokalisierung durchzuführen. Insgesamt wird durch den zusätzlichen Sicherheitsmodus die Fahrsicherheit bei Verwendung der hochautomatisierten Fahrfunktion erhöht.
-
In einer Ausführungsform ist vorgesehen, dass in einem vierten Verfahrensteil die Genauigkeit der Lokalisierung aus dem ersten Verfahrensteil geprüft wird. Dabei werden in dem Fall, dass bei der Lokalisierung eine genaue globale Pose des automatisierten Fahrzeugs ermittelt wurde, die im zweiten Verfahrensteil berechnete aktuelle Trajektorie zur Steuerung der Bewegung des automatisierten Fahrzeugs ausgegeben wird. Dabei wird in dem Fall, dass bei der Lokalisierung keine oder eine lediglich ungenaue globale Pose des automatisierten Fahrzeugs ermittelt wurde, die im dritten Verfahrensteil berechnete aktuelle Trajektorie zur Steuerung der Bewegung des automatisierten Fahrzeugs ausgebgeben. Durch die wiederholte Überprüfung der Lokalisierungsergebnisse wird sichergestellt, dass im Falle eines Fehlers eine Umschaltung von dem Normalmodus in den Sicherheitsmodus besonders schnell und nahtlos erfolgen kann.
-
In einer weiteren Ausführungsform ist vorgesehen, dass die vom Fahrzeug zurückgelegte Wegstrecke mithilfe einer bordeigenen Odometrie-Einrichtung erfasst wird. Dabei wird in dem Fall, dass die Lokalisierung in einem aktuellen Verfahrenszyklus keine genaue globale Pose des automatisierten Fahrzeugs liefert, die aktuelle globale Pose des automatisierten Fahrzeugs anhand der bei der letzten akkuraten Lokalisierung ermittelten globalen Pose des automatisierten Fahrzeugs und der seitdem mittels der Odometrie-Einrichtung erfassten Wegstrecke des automatisierten Fahrzeugs ermittelt. Dieses Vorgehen ermöglicht es, das im Sicherheitsmodus lokal erzeugte Kartensegment mit der zur Verfügung stehenden Planungskarte in Übereinstimmung zu bringen. Damit wird ein besonders nahtloses Umschalten in den Normalmodus ermöglicht.
-
In einer weiteren Ausführungsform ist vorgesehen, dass das im dritten Verfahrensteil ermittelte kartenlose Umgebungsmodell zur Validierung der Richtigkeit wenigstens einer bereitgestellten HD-Karte und/oder zur Überprüfung der Ergebnisse der Lokalisierung aus dem ersten Verfahrensteil verwendet wird. Durch die Überprüfung der Richtigkeit der bereitgestellten HD-Karten und die Überprüfung der Ergebnisse der Lokalisierung kann schneller entschieden werden, ob eine Umschaltung in den Sicherheitsmodus notwendig ist. In beiden Fällen wird die Fahrsicherheit des automatisierten Fahrzeugs erhöht.
-
In einer weiteren Ausführungsform ist vorgesehen, dass die Planung des Verhaltens des automatisierten Fahrzeugs im zweiten Verfahrensteil mit einem sowohl auf die Fahrsicherheit als auch auf eine intelligente und komfortable Fahrweise gerichteten Fokus erfolgt, während die Planung des Verhaltens des automatisierten Fahrzeugs im dritten Verfahrensteil mit einem im Wesentlichen auf die Fahrsicherheit gerichteten Fokus erfolgt. Durch die Degradierung der Planung des Verhaltens des automatisierten Fahrzeugs im Sicherheitsmodus steht mehr Rechenkapazität für die zur Gewährleistung der Fahrsicherheit notwendigen Rechenoperationen zur Verfügung. Somit kann mithilfe dieses Vorgehens die Fahrsicherheit des automatisierten Fahrzeugs erhöht werden.
-
In einer weiteren Ausführungsform ist vorgesehen, dass ein Fahrspurmodell anhand von mithilfe der bordeigenen Umfeldsensorik detektierten Fahrbahnbegrenzungen einer aktuell befahrenen Straße erzeugt wird, wobei das Fahrspurmodell im dritten Verfahrensteil zum Erzeugen eines entsprechenden Segments einer lokalen Planungskarte verwendet wird, und wobei anschließend mithilfe der bordeigenen Umfeldsensorik in der Umgebung des automatisierten Fahrzeugs detektierte dynamische Objekte und Hindernisse zu dem neu erzeugten Segment der lokalen Planungskarte hinzugefügt werden, um das kartenlose Umgebungsmodell zu erzeugen. Hierdurch lässt sich im Sicherheitsmodus eine lokale Planungskarte auf eine besonders effektive Weise erzeugen.
-
In einer weiteren Ausführungsform ist vorgesehen, dass das kartenlose Umgebungsmodell im dritten Verfahrensteil in einem fahrzeuggebundenen lokalen Koordinatensystem generiert wird. Dabei werden die in dem kartenlosen Umgebungsmodell enthaltenen Objekte aus dem fahrzeuggebundenen lokalen Koordinatensystem in ein der HD-Planungskarte zugrundeliegendes globales Koordinatensystem transformiert, um eine nahtlose Überleitung aus dem Normalmodus in den Sicherheitsmodus zu gewährleisten. Dieses Vorgehen ermöglicht ein besonders schnelles umschalten zwischen dem Normalmodus und dem Sicherheitsmodus, wodurch die Fahrsicherheit erhöht wird.
-
In einer weiteren Ausführungsform ist vorgesehen, dass die im zweiten Verfahrensteil auf Grundlage des kartenbasierten Umgebungsmodells durchgeführte Planung des Verhaltens und der Trajektorie des automatisierten Fahrzeugs pausiert wird, wenn die Lokalisierung in einem aktuellen Verfahrenszyklus keine genaue globale Pose des automatisierten Fahrzeugs liefert. Hierdurch kann die für den Sicherheitsmodus zur Verfügung stehende Rechenkapazität erhöht werden. Damit lässt sich ein besonders genaues kartenloses Umgebungsmodell generieren und die darauf basierende Berechnung der Fahrtrajektorie optimieren. Hierdurch wird die Fahrsicherheit des automatisierten Fahrzeugs erhöht.
-
Gemäß einem weiteren Aspekt ist eine Steuereinrichtung für ein automatisiertes Fahrzeug, die eingerichtet ist, wenigstens einen Teil der Schritte des oben genannten Verfahrens durchzuführen vorgesehen. Die Steuereinrichtung umfasst dabei ein Lokalisierungsmodul ausgebildet zum Ermitteln einer globalen Pose des automatisierten Fahrzeugs anhand eines Abgleichs einer digitalen HD-Lokalisierungskarte mit Daten einer bordeigenen Umfeldsensorik sowie eine primäre Planungseinrichtung und eine sekundäre Planungseinrichtung. Die primäre Planungseinrichtung umfasst dabei ein primäres Umgebungsmodellierungsmodul ausgebildet zum Erzeugen eines kartenbasierten digitalen Models der Umgebung des automatisierten Fahrzeugs unter Verwendung einer bereitgestellten HD-Planungskarte, Daten der bordeigenen Umfeldsensorik und Daten einer bordeigenen Odometrie-Einrichtung sowie ein primäres Planungsmodul ausgebildet zum Planen eines Verhaltens und einer Trajektorie des automatisierten Fahrzeugs auf Grundlage der von dem Lokalisierungsmodul ermittelten globalen Pose des automatisierten Fahrzeugs und einer bereitgestellten HD-Planungskarte. Die sekundäre Planungseinrichtung umfasst dabei ein karteloses Umgebungsmodellierungsmodul ausgebildet zum Erzeugen eines kartenlosen Umgebungsmodels der Umgebung des automatisierten Fahrzeugs anhand der von der Umfeldsensorik und der Odometrie-Einrichtung bereitgestellten Daten sowie ein sekundäres Planungsmodul ausgebildet zum Planen des Verhaltens und der Trajektorie des automatisierten Fahrzeugs auf Grundlage des kartenlosen Umgebungsmodels. Durch die Steuereinrichtung ergeben sich die im Zusammenhang mit dem erfindungsgemäßen Verfahren beschriebenen Vorteile.
-
In einer Ausführungsform ist vorgesehen, dass die Steuereinrichtung ferner ein Umschaltmodul ausgebildet zum Prüfen der Genauigkeit der von dem Lokalisierungsmodul ermittelten globalen Pose des automatisierten Fahrzeugs umfasst. Dabei ist das Aktivierungsmodul ferner ausgebildet, den Betrieb des automatisierten Fahrzeugs von einem Normalmodus, in dem die Steuerung des automatisierten Fahrzeugs auf Grundlage der mittels des primären Planungsmoduls bereitgestellten Trajektorie durchgeführt wird, auf einen Sicherheitsmodus umzuschalten, in dem die Steuerung des automatisierten Fahrzeugs auf Grundlage der mittels des sekundären Planungsmoduls bereitgestellten Trajektorie durchgeführt wird, sofern die Prüfung ergibt, dass vom Lokalisierungsmodul keine genaue globale Pose des automatisierten Fahrzeugs ermittelt wurde. Für eine solche Steuereinrichtung ergeben sich die im Zusammenhang mit dem Verfahren beschriebenen Vorteile.
-
Gemäß einem weiteren Aspekt ist ferner ein Computerprogramm umfassend Befehle, die bei der Ausführung des Computerprogramms durch einen Computer diesen veranlassen, das oben beschriebene Verfahren auszuführen. Auch für das Computerprogramm ergeben sich die im Zusammenhang mit dem Verfahren beschriebenen Vorteile.
-
Schließlich ist auch ein computerlesbares Speichermedium vorgesehen, auf dem das oben genannte Computerprogramm gespeichert ist. Insofern ergeben sich auch für das computerlesbares Speichermedium den Zusammenhang mit dem Verfahren beschriebenen Vorteile.
-
Die Erfindung wird im Folgenden anhand von Figuren näher beschrieben. Dabei zeigen:
- 1 zeigt schematisch ein System umfassend ein automatisiertes Fahrzeug sowie einen externen Server;
- 2 zeigt ein Blockschaltbild der fahrzeuginternen Steuereinrichtung umfassend eine Normalmodus-Pipeline, eine Sicherheitsmodus-Pipeline sowie ein Umschaltmodul;
- 3 zeigt ein detaillierteres Bockschaltbild der fahrzeuginternen Steuereinrichtung aus 2;
- 4 zeigt ein Ablaufdiagramm verschiedener Verfahrensteile des Verfahrens;
- 5 zeigt ein kartenloses digitales Umgebungsmodell in Überlagerung mit einem kartenbasierten Umgebungsmodell derselben Umgebung;
- 6 zeigt ein digitales Umgebungsmodell mit den durch die beiden Planungsmodule erzeugten Trajektorien; und
- 7 zeigt ein Diagramm zur Verdeutlichung der Transformationen zwischen den verschiedenen Koordinatensystemen.
-
Die 1 zeigt schematisch ein auf einer Straße 310 fahrendes automatisiertes Fahrzeug 100. Das automatisierte Fahrzeug 100 weist eine Umfeldsensorik 110 zum Erfassen von Objekten und Strukturen in seiner Umgebung 300 sowie eine Steuervorrichtung 120 zum Steuern des automatisierten Fahrzeugs 100 auf. Im vorliegenden Beispiel umfasst die Umfeldsensorik 110 mehrere Umfeldsensoren, wie z.B. einen Radar-Sensor 111, einen LiDAR-Sensor 112 und eine Videokamera 113. Ferner umfasst das automatisierte Fahrzeug 100 auch Sensoren zum Erfassen verschiedener Messgrößen und Parameter auf, wie z.B. Inertialsensoren 114 zum Erfassen des aktuellen Bewegungszustands des automatisierten Fahrzeugs 100, einen Lenkwinkelsensor 115, eine GNSS-Einrichtung 116 zum satellitengestützten Ermitteln der globalen Position des automatisierten Fahrzeugs 100 sowie eine Odometrie-Einrichtung 117 zum Ermitteln der zurückgelegten Wegstrecke z.B. anhand der Rotationsbewegung der Fahrzeugräder. Das automatisierte Fahrzeug 100 umfasst ferner eine drahtlose Kommunikationsvorrichtung 190 zum Aufbau einer drahtlosen Kommunikationsverbindung 201 zu einem externen Server 210. Wie in der 1 gezeigt ist, sind das automatisierte Fahrzeug 100 und der externe Server Teil eines Systems 200, das weitere Fahrzeuge und Server umfassen kann und bestimmte Dienstleistungen (Cloud-Services) anbietet. Im vorliegenden Beispiel weist der Server 210 eine Speichereinrichtung 211 auf, in der verschiedene digitale HD-Karten 400, 410 gespeichert sind. Im Betrieb empfängt das automatisierte Fahrzeug 100 von dem Server 210 die HD-Karten 400, 410 der jeweiligen Umgebung 300, in denen sich das automatisierte Fahrzeug 100 aktuell befindet. Diese digital vorliegenden HD-Karten 400, 410 werden dann in einer Speichereinrichtung 122 der Steuervorrichtung 120 abgelegt.
-
Wie aus 1 ferner ersichtlich ist, umfasst die Steuervorrichtung 120 wenigstens eine Speichereinrichtung 122 zum Speichern der digitalen HD-Karten 400, 410, eine Steuereinrichtung 121 zum Ermitteln einer optimalen Trajektorie 412, 422 sowie eine Bewegungssteuerungseinrichtung 170 zum Steuern der Bewegung des automatisierten Fahrzeugs 100 entlang der ermittelten Trajektorie 412, 422.
-
Die 2 zeigt schematisch weitere Details der Steuereinrichtung 121 aus 1. Demnach umfasst die Steuereinrichtung 121 ein Lokalisierungsmodul 130, das auf Grundlage der bereitgestellten digitalen HD-Lokalisierungskarte 400 und der von der Umfeldsensorik 110 bereitgestellten Daten die aktuelle globale Pose des automatisierten Fahrzeugs 100 ermittelt. Die Steuereinrichtung 121 umfasst ferner eine einem Normalmodus zugeordnete primäre Planungseinrichtung 140, die anhand der ermittelten globalen Pose und der bereitgestellten digitalen Planungskarte 410 eine geeignete Trajektorie 412 für das automatisierte Fahrzeug 100 ermittelt. Ferner umfasst die Steuereinrichtung 121 auch eine einem Sicherheitsmodus zugeordnete sekundäre Planungseinrichtung 150, die lediglich anhand der von der Umfeldsensorik 110 bereitgestellten Daten eine geeignete Trajektorie 422 für das automatisierte Fahrzeug 100 ermittelt. Zusätzlich umfasst die Steuereinrichtung 121 ein Umschaltmodul 160, das zwischen dem Normalmodus und dem Sicherheitsmodus umschaltet. Hierzu prüft das Umschaltmodul 160 die Genauigkeit der Lokalisierung des Lokalisierungsmoduls 130. Wenn ein geeignetes Lokalisierungsergebnis zur Verfügung steht, schaltet das Umschaltmodul 160 auf den Normalmodus um, wobei in diesem Fall die von der primären Planungseinrichtung 140 kartenbasiert ermittelte Trajektorie 412 an die Bewegungsteuerungseinrichtung 170 übergeben wird. Sofern kein geeignetes Lokalisierungsergebnis zur Verfügung steht, schaltet das Umschaltmodul 160 hingegen auf den Sicherheitsmodus um, wobei in diesem Fall die von der sekundären Planungseinrichtung 150 kartenlos ermittelte Trajektorie 422 an die Bewegungsteuerungseinrichtung 170 übergeben wird. Die Bewegungssteuerungseinrichtung 170 führt anschließend eine entsprechende Längs- und Quersteuerung des automatisierten Fahrzeugs 100 durch, um das automatisierte Fahrzeug 100 entlang der von der jeweils ausgewählten Planungseinrichtung 140, 150 aktuell bereitgestellten Trajektorie 412, 422 zu führen.
-
Die 3 zeigt schematisch weitere Details der beiden Planungseinrichtungen 140, 150 aus 2, welche jeweils ein Umgebungsmodellierungsmodul 141, 151 sowie ein diesem nachgeschaltetes Planungsmodul 142, 152 umfassen. Das primäre Umgebungsmodellierungsmodul 141 der primären Planungseinrichtung 140 erhält von einer Speichereinrichtung 122 die vom externen Server 210 bereitgestellte digitale HD-Planungskarte 410, von dem Lokalisierungsmodul 130 das anhand der digitalen HD-Lokalisierungskarte 400 aktuell ermittelte Lokalisierungsergebnis, von der Umfeldsensorik 110 entsprechende Sensordaten und von der Odometrie-Einrichtung 117 entsprechende Odometrie-Daten. Anhand dieser Daten erstellt das Umgebungsmodellierungsmodul 141 zyklisch ein kartenbasiertes Umgebungsmodell 411 von der aktuellen Umgebung 300 des automatisierten Fahrzeugs 100. Anhand dieses kartenlosen Umgebungsmodells 411 erzeugt das primäre Planungsmodul 142 zyklisch geeignete Trajektorien 412, wobei jeweils eine dieser Trajektorien 412 zur Übergabe an die Bewegungssteuerungseinrichtung 170 ausgewählt wird. Hierzu umfasst das primäre Planungsmodul 142 einen Verhaltensplaner 143, einen diesem nachgeschalteten Referenzliniengenerator 144 sowie einen diesem nachgeschalteten Trajektorienplaner 145.
-
Im Unterschied hierzu erzeugt das sekundäre Umgebungsmodellierungsmodul 151 der sekundären Planungseinrichtung 150 ein entsprechendes kartenloses Umgebungsmodell 421 lediglich anhand der Daten der Umfeldsensorik 110 sowie der Odometrie-Einrichtung 117. Wie aus 3 ersichtlich ist, wird hierzu anhand eines aus den Sensordaten gewonnen Fahrspurmodells 156 ein Segment 420 einer lokalen Planungskarte erzeugt, aus dem durch Anreicherung mit weiteren Sensordaten, wie z.B. den im Fahrzeugumfeld erkannten dynamischen Agenten, schließlich ein kartenloses Umgebungsmodell 421 generiert wird. Anhand dieses kartenbasierten Umgebungsmodells 421 erzeugt auch das sekundäre Planungsmodul 152 zyklisch geeignete Trajektorien 422, wobei jeweils eine dieser Trajektorien 422 zur Übergabe an die Bewegungssteuerungseinrichtung 170 ausgewählt wird. Auch das primäre Planungsmodul 142 umfasst dazu einen entsprechenden Verhaltensplaner 153, einen diesem nachgeschalteten Referenzliniengenerator 154 sowie einen diesem nachgeschalteten Trajektorienplaner 155.
-
Das Konzept sieht eine zusätzliche sekundäre Planungseinrichtung 150 mit einem sekundären Planungsmodul 152 vor, das die Kontrolle übernimmt, falls das primäre Planungsmodul 142 aufgrund der oben genannten Situationen keine bzw. keine sinnvollen Ergebnisse liefern kann. Das automatisierte Fahrzeug 100 verwendet hierzu bordeigene Umfeldsensoren 111, 112, 113 zur Erkennung der Fahrbahnmarkierungen 314 -317 und erstellt daraus ein Segment 420 einer lokalen Planungskarte. Anschließend werden die mittels der Umfeldsensoren 111, 112, 113 erkannten dynamischen Agenten 330 - 335 mit dem neu erstellten Segment 420 der lokalen Planungskarte assoziiert, um ein kartenloses Umgebungsmodell 421 der unmittelbaren Umgebung des automatisierten Fahrzeugs 100 zu generieren. Wenn das Lokalisierungsmodul 130 kein genaues Lokalisierungsergebnis liefert, werden die seit der letzten genauen Lokalisierung durch die Odometrie-Einrichtung 117 gesammelten Odometrie-Daten zur Schätzung der aktuellen globalen Pose des automatisierten Fahrzeugs 100 verwendet. Im Anschluss daran wird der Verhaltensplaner 153 innerhalb des sekundären Planungsmoduls 152 in einen speziellen Modus degradiert, der das automatisierte Fahrzeug 100 zwingt, in dem aktuellen befahrbaren Korridor zu bleiben. Im Gegensatz zu dem im Normalmodus verwendeten Verhaltensplaner 143 des primären Planungsmoduls 142 liefert der Verhaltensplaner 153 keine semantischen, sondern lediglich physikalische Informationen für den ihm nachgeschalteten Trajektorienplaner 155, um eine sichere Trajektorie 422 zu planen. Das sekundäre Planungsmodul 152 läuft vorzugsweise immer neben dem primären Planungsmodul 142 und fungiert somit auch als Supervisor, um die Korrektheit der Daten der bereitgestellten HD-Karten 400, 410 zu überprüfen. Sobald der Wechsel zwischen Normalmodus und Sicherheitsmodus ausgelöst wird, kann das sekundäre Planungsmodul 152 seine Trajektorie 422 an die vorherige anheften, wodurch eine reibungslose Bewegungssteuerung des automatisierten Fahrzeugs 100 gewährleistet ist.
-
Der Normalmodus, der sich auf vorab gesammelte digitale HD-Karten 400, 410 stützt, konzentriert sich vorzugsweise auf Komfort und Intelligenz. Hingegen konzentriert sich der Sicherheitsmodus vorzugsweise auf die Sicherheit und die von den bordeigenen Sensoren erfassbare physische Welt im Nahbereich. Diese beiden Systeme widersprechen sich nicht, sondern arbeiten zusammen im Sinne von „auf das Schlimmste vorbereitet sein, aber komfortabel und intelligent fahren, wenn es die Situation erlaubt“.
-
Die 2 und 3 zeigen einen funktionalen Überblick über die vorgeschlagene Architektur. In der den Planungspipeline für den Normalmodus repräsentierenden primären Planungseinrichtung 140 werden die Daten aus Lokalisierung, Odometrie 117 und Umfeldsensorik 110 zusammen mit der zuvor gesammelten HD-Planungskarte 410 in ein kartenbasiertes primäres Umgebungsmodellierungsmodul 141 eingespeist. Für den Sicherheitsmodus wird ein weiteres Umgebungsmodell 421 um das automatisierte Fahrzeug 100 herum erstellt, das die von den Sensoren 111, 112, 113 erfassten Informationen nutzt, um in jedem Planungszyklus ein Segment 420 der lokalen Planungskarte zu erstellen. Das Umgebungsmodell 421 für den Sicherheitsmodus wird hier als „kartenlos“ bezeichnet, um zu verdeutlichen, dass dazu keine vorab gesammelte Karte verwendet wird. Diese beiden Umgebungsmodellierungsmodule 141, 152 werden in zwei parallelen Prozesssträngen gestartet. Wenn der kartenbasierte Normalmodus einen Fehlerzustand erreicht, sendet das sekundäre Planungsmodul 152 die seine aktuell berechnete Trajektorie 422 an die Bewegungssteuerungseinrichtung 170.
-
Die hier beschriebenen Vorrichtungen, Einrichtungen und Module können sowohl in Form von Software oder Hardware oder einer Kombination aus Software und Hardware realisiert werden.
-
Die 4 zeigt ein vereinfachtes Ablaufdiagramm des hier beschriebenen Verfahrens. Das Verfahren gliedert sich dabei in drei verschiedene Verfahrensstränge 601, 602, 603, die unabhängig voneinander und wenigstens teilweise zeitlich überlagert durchgeführt werden. Zur besseren Veranschaulichung sind die verschiedenen Verfahrensstränge 601, 602, 603 nebeneinander dargestellt. Dabei repräsentiert der erste Verfahrensstrang 601 den Normalmodus, in dem die Trajektorienplanung regulär, d.h. auf HD-Karten basiert erfolgt. In einem ersten Verfahrensteil 610 erfolgt ein Verfahrensschritt 611, bei dem eine HD-Lokalisierungskarte 400 bereitgestellt wird. Ferner erfolgt im Verfahrensschritt 612 die Detektion des Umfelds des automatisierten Fahrzeugs 300 mittels der Umfeldsensorik 110. Anschließend wird im Verfahrensschritt 613 anhand eines Abgleichs der Daten der Umfeldsensorik 110 mit Merkmalen der HD-Lokalisierungsgrad 611 eine Lokalisierung des automatisierten Fahrzeugs 100 durchgeführt. In dem darauffolgenden zweiten Verfahrensteil 620 wird anhand des Lokalisierungsergebnisses aus dem ersten Verfahrensteil 610 eine geeignete Trajektorie für das automatisierte Fahrzeug 100 berechnet. Hierzu findet im Verfahrensschritt 621 eine kartenbasierte Umgebungsmodellierung durchgeführt, bei der ein kartenbasiertes Umgebungsmodell 411 generiert wird. Im nachfolgenden Verfahrensschritt 623 erfolgt eine kartenbasierte Generierung einer Referenzlinie. Schließlich wird im Verfahrensschritt 624 eine kartenbasierte Trajektorienplanung durchgeführt, bei der eine für den aktuellen Planungszyklus optimale Trajektorie 422 ermittelt wird.
-
Der zweite Verfahrensstrang 602 repräsentiert hingegen den zusätzlichen Sicherheitsmodus, in dem die Trajektorienplanung ohne die HD-Karten erfolgt. Hierbei wird aus dem ersten Verfahrensteil 610 lediglich der Verfahrensschritt 612 verwendet, der die Detektion des Fahrzeugumfelds mittels der Umfeldsensorik 110 repräsentiert. Im Anschluss daran erfolgt im Verfahrensschritt 631 eine kartenlose Umgebungsmodellierung. Hierbei wird zunächst anhand der von der Umfeldsensorik 110 bereitgestellten Daten ein Segment 420 der lokalen Planungskarte erzeugt, aus dem durch Anreicherung mit weiteren Daten der Umfeldsensorik 110 ein kartenloses Umgebungsmodell 421 generiert wird. Ferner findet im Verfahrensschritt 635 eine kartenlose Lokalisierung statt, bei der die Position bzw. Pose des automatisierten Fahrzeugs 100 in dem Segment 420 der lokalen Planungskarte bzw. dem kartenlosen Umgebungsmodell 421 bestimmt wird. Im anschließenden Verfahrensschritt 632 erfolgt eine kartenlose Verhaltensplanung. Anschließend erfolgt im Verfahrensschritt 633 eine kartenlose Generierung einer geeigneten Referenzlinie. Schließlich findet im Verfahrensschritt 634 eine kartenlose Trajektorienplanung statt, bei der eine für den aktuellen Planungszyklus optimale Trajektorie 422 berechnet wird.
-
Im dritten Verfahrensstrang 603, der einen vierten Verfahrensteil 640 umfasst, wird entschieden, welche der beiden in den verschiedenen Modi ermittelten Trajektorien 412, 442 zur Steuerung des automatisierten Fahrzeugs 100 verwendet werden soll. Hierzu erfolgt in dem Verfahrensschritt 641 zunächst eine Prüfung des aktuellen Ergebnisses der in dem Verfahrensschritt 613 anhand der HD-Lokalisierungskarte 400 durchgeführten Lokalisierung. Abhängig von dem Ergebnis dieser Prüfung erfolgt im anschließenden Verfahrensschritt 642 eine Auswahl des jeweiligen Betriebsmodus. Dabei wird entschieden, ob der Normalmodus aktiviert wird und die mittels der primären Planungseinrichtung 140 ermittelten Trajektorie 412 zur Steuerung des automatisierten Fahrzeugs 100 verwendet wird oder ob der Sicherheitsmodus aktiviert wird und die mittels der sekundären Planungseinrichtung 150 ermittelte Trajektorie 422 zur Steuerung des automatisierten Fahrzeugs 100 verwendet werden soll. Schließlich erfolgt im Verfahrensschritt 650 eine Ausgabe der in dem jeweils ausgewählten Betriebsmodus berechneten Trajektorie 412, 422 an die Bewegungssteuerungseinrichtung 170 des automatisierten Fahrzeugs 100.
-
Die 5 veranschaulicht die lokale Generierung des lokalen Planungskarten-Segments 420 anhand der von der Umfeldsensorik 110 bereitgestellten Daten. So kann in das System beispielsweise eine Videokamera 113 integriert werden, die bereits in der Lage ist, die Fahrbahnmarkierungen 314 -317 zu erkennen und qualitativ hochwertige Fahrbahnmodelle in Klothoiden bereitzustellen. In der 5 stellen die mittleren Linien 315, 316 die Begrenzungslinien der aktuellen Fahrspur 312 des automatisierten Fahrzeugs 100 und die äußeren Linien 314, 317 die Begrenzungslinien der angrenzenden Fahrspuren 311, 313 dar. Darüber hinaus ist die Videokamera 113 in der Lage, freien befahrbaren Raum zu erkennen, was dem sekundären Planungsmodul 152 in der nächsten Phase zusätzliche Vorgaben macht. Im Anschluss an die Erzeugung des Fahrspurmodells auf der Basis von Klothoiden werden die Daten in ein internes Kartenformat umgewandelt, damit das sekundäre Planungsmodul 152 darauf zugreifen kann. Das so erzeugte Segment 420 der lokalen Planungskarte liegt zunächst im fahrzeuggebundenen Koordinatensystem 520 vor und bewegt sich in jedem Planungszyklus mit dem Fahrzeug 100 mit. Mit Hilfe der im Zusammenhang mit der 7 erläuterten Transformationsformeln kann die lokale Planungskarte 420 jedoch immer in das globale Koordinatensystem 510 transformiert werden, unabhängig davon, ob das Lokalisierungsmodul 130 versagt oder nicht.
-
In der 5 markiert der schraffierte Bereich ein vom Fahrzeug 100 aktuell erzeugtes Segment 420 der lokalen Planungskarte, das mit der bereitgestellten HD-Planungskarte 410 überlagert wird. Wenn das Lokalisierungsmodul 130 voll funktionsfähig ist, sollte das aktuell erzeugte Segment 420 der lokalen Planungskarte an der vorerfassten HD-Planungskarte 410 in der darunter liegenden Kartenebene ausgerichtet und gut auf diese projiziert werden.
-
Aus dem lokal generierten Planungskartensegment 420 können sogenannte „befahrbare Korridore“ abgeleitet werden, die kontinuierliche Trajektorien zeigen, auf denen sich das automatisierte Fahrzeug 100 in der aktuellen Situation bewegen kann. Der befahrbare Korridor wird typischerweise durch eine Folge von Vector3D-Punkten und eine Folge von an den jeweiligen Punkten gemessenen Breiten dargestellt. Anhand dieser Informationen kann dann ein Optimierungsprozess durchgeführt werden, um eine dichtere und glattere Kurve zu erhalten, die diesen befahrbaren Korridor beschreibt. Da sich der befahrbare Korridor im Nahbereich des automatisierten Fahrzeugs 100 von einem zum anderen Planungszyklus in der Regel nur geringfügig ändert, ist ein neuer Optimierungsprozess nicht für jeden Planungszyklus notwendig. Daher kann ein Algorithmus vorgesehen werden, der den Optimierungsprozess nur dann auslöst, wenn das automatisierte Fahrzeug 100 eine signifikante Bewegung nach vorne macht, die parametrisierbar ist.
-
Wie bereits im Zusammenhang mit 2 beschrieben, wird im Normalmodus die vom primären Planungsmodul 142 für den Normalmodus erstellte Trajektorie 412 an die Bewegungssteuerungseinrichtung 170 des automatisierten Fahrzeugs 100 übermittelt, um die Fahrzeugbewegung zu steuern. Diese Trajektorie 412 wird auch für beide Planungsmodule 142, 152 für den nächsten Planungszyklus zwischengespeichert, so dass die Planungsmodule 142, 152 ihre jeweils neu ermittelte Trajektorien 412, 422 an die vorherige anfügen können. Wenn der Übergang vom Normalmodus zum Sicherheitsmodus ausgelöst wird, kann der Prozessstrang für die Umgebungsmodellierung im Normalmodus angehalten und die Trajektoriengenerierung im Normalmodus wird übersprungen werden, während die Umgebungsmodellierung und die Trajektoriengenerierung für den Sicherheitsmodus weiterlaufen. In diesem Übergangszyklus zwischen Normalmodus und Sicherheitsmodus verwendet das sekundäre Planungsmodul 152 weiterhin die im Normalmodus ermittelte Trajektorie 412 des primären Planungsmoduls 142 aus dem vorherigen Planungszyklus, um seine aktuelle Trajektorie 422 zu erstellen. Nach dem Übergangszyklus verwendet das sekundäre Planungsmodul 152 die zuvor von ihm selbst erzeugte Trajektorie 422, um seine aktuelle Trajektorie 422 zu erstellen. Zur Veranschaulichung des Übergangs vom Normalmodus zum Sicherheitsmodus zeigt die 6 ein kartenbasierte Umgebungsmodel 411 mit einem auf einer mehrspurigen Straße 310 fahrenden Fahrzeug 100. Das Umgebungsmodell 411 umfasst auch ein weiteres Fahrzeug 330, dessen Fahrtrichtung und Geschwindigkeit mittels eines Pfeils visualisiert ist. Für den Normalmodus wird vom primären Planungsmodul 142 in der Regel ein Bündel verschiedener Trajektorien erzeugt, wobei der vertikale Abstand der Trajektorien zur Fahrbahnebene typischerweise die jeweilige Fahrzeuggeschwindigkeit anzeigt. Die in 6 dargestellte einzelne Trajektorie 412 ist diejenige, die vom primären Planungsmodul 142 als beste aus dem Bündel an berechneten Trajektorien ermittelt wurde und der die Bewegungsteuerung des automatisierten Fahrzeugs 100 bis zu diesem Zeitpunkt folgte. Die zweite Linie stellt die vom sekundären Planungsmodul 152 aktuell berechnete Trajektorie 422 dar, die an die bisherige Trajektorie 412 angeheftet wird und der die Bewegungsteuerung des automatisierten Fahrzeugs 100 nach dem Übergang vom Normalmodus zum Sicherheitsmodus nun folgt.
-
Die
7 verdeutlicht die im Verfahren verwendeten verschiedenen Koordinatensysteme sowie die fundamentalen Koordinatentransformationen. Demnach liefert die HD-Planungskarte 410 im Normalmodus Informationen, wie z. B. Punkte auf Fahrbahnmarkierungen 314 - 317, in einem globalen Koordinatensystem 510, das als map_enu frame bezeichnet wird. Hingegen liefert das Sensorsystem 110 die Zustände der umgebenden Agenten (Objekte in der Umgebung des automatisierten Fahrzeugs) in einem dem Fahrzeug 100 fest zugeordneten lokalen Koordinatensystem 520, das als vehicle_origin frame bezeichnet wird. Um die Daten aus den verschiedenen Koordinatensystemen 510, 520 zu fusionieren, muss das primäre Planungsmodul 142 in jedem Planungszyklus die folgende Transformation zwischen den beiden Koordinatensystemen 510, 520 berechnen:
-
Dabei entspricht map- T_ecef der statischen Transformation 501 von einem erdzentrierten und erdgebundenen Koordinatensystem 500, das als ECEF-frame (Earth Centered Erath Fixed) bezeichnet wird, zum globalen Koordinatensystem 510 der HD-Karte 410. Ferner bezeichnet ecef_T_vehicle_origin eine Transformation 502 von dem erdzentrierten und erdfixierten Koordinatensystem 500 zum fahrzeuggebundenen Koordinatensystem 520, die dem aktuellen Lokalisierungsergebnis entspricht bzw. sich daraus ableiten lässt.
-
Wenn das Lokalisierungsmodul 130 keine oder nur eine ungenaue globale Fahrzeugposition liefert, muss das Ergebnis auf der Grundlage der letzten bekannten genauen globalen Lokalisierung des automatisierten Fahrzeugs 100 ermittelt werden. Das erfolgt ebenfalls mittels der ecef_ T_vehicle_origin Transformation 502, die in diesem Falls jedoch wie folgt berechnet wird:
-
Dabei entspricht las_map_T_odom der letzten bekannten genauen Transformation 504 vom globalen Koordinatensystem 510 in ein odom-Koordinatensystem 530, das dem Ort der letzten akkuraten Position des automatisierten Fahrzeugs 100 zugeordnet ist. Diese Transformation 505 wird im Normalmodus standardmäßig immer aufgezeichnet und ändert sich nicht, solange kein neues genaues Lokalisierungsergebnis vorliegt. Hingegen bezeichnet odom_T_vehicle_origin eine Transformation 503 von dem odom-Koordinatensystem 530 in das fahrzeuggebundene Koordinatensystem 520. Diese Transformation 503 ergibt sich anhand der in jedem Planungszyklus aktualisierten Odometriedaten. Die Odometriedaten entsprechen dem seit der letzten genauen Lokalisierung vom Fahrzeug 100 zurückgelegten Wegstrecke 440, die mithilfe einer bordeigenen Odometrie-Einrichtung 117 erfasst wird. Aus der obengenannten Formel ergibt sich für die Transformation von globalen Koordinatensystem 510 in das fahrzeuggebundene Koordinatensystem 520 ferner die folgende Umrechnung:
-
So ist das automatisierte Fahrzeug 100 auch nach einer Fehlfunktion des Lokalisierungsmoduls noch in der Lage, in seiner Umgebung 300 wahrgenommene Agenten (z.B. andere Verkehrsteilnehmer), Fahrbahnmarkierungen und Hindernisse aus dem fahrzeuggebundenen Koordinatensystem 520 (vehilce_origin) in das der globalen Karte zugeordnete globale Koordinatensystem 510 zu transformieren, was einen reibungslosen Übergang vom Normalmodus zum Sicherheitsmodus ermöglicht.
-
Das hier vorgestellte Konzept sieht neben einem Normalmodus, in dem die hochautomatisierte Fahrfunktion auf Basis von HD-Karten erfolgt, auch einen zusätzlichen Sicherheitsmodus vor, welcher die hochautomatisierte Fahrfunktion (HAD, Highly Autonomous Driving) auch in solchen Situationen sicher für die Benutzer macht, in denen keine ausreichende Lokalisierung mittels einer HD-Karte gewährleistet ist. Während der Normalmodus bei funktionierender kartenbasierter Lokalisierung dank der HD-Karten weiterhin intelligente Fahrfunktionen ermöglicht, konzentriert sich der Sicherheitsmodus dabei vorzugsweise auf essenzielle physikalische Zustände, die zur Gewährleistung der Fahrsicherheit notwendig sind.
-
Das neue Konzept kann in HAD-Systemen oberhalb von Level 3 zum Einsatz kommen, bei denen eine ständige Überwachung durch den Fahrer nicht erforderlich ist. Dies betrifft beispielsweise Funktionen, wie den Staupilot (Traffic Jam Pilot), den Autobahnpilot (Highway Pilot) oder das urbane Robotertaxi. Das Konzept kann ferner auch verwendet werden, um die Leistung in L2+ ADAS-Systemen zu verbessern, die auf HD-Karten basieren, wie z.B. die Hands-Free Funktion.
-
Obwohl die Erfindung im Detail durch die bevorzugten Ausführungsbeispiele näher illustriert und beschrieben wurde, ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt. Vielmehr können hieraus auch andere Variationen vom Fachmann abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen.