DE102020127205A1

DE102020127205A1 - Verfahren und vorrichtung zur ampelpositionierung und -kartierung unter verwendung von durch menschenmengen (crowd-sensed) erfassten daten

Info

Publication number: DE102020127205A1
Application number: DE102020127205.7A
Authority: DE
Inventors: Bo Yu; Ashok Yendluri; Donald K. Grimm; Fan Bai; Jonathan Wilson; Quan Zhang
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2019-11-26
Filing date: 2020-10-15
Publication date: 2021-05-27
Also published as: CN112950927A; US20210158062A1; CN112950927B; US11521398B2

Abstract

Ein System und Verfahren zur Lokalisierung einer Ampel bei einem Träger-Fahrzeug. Ein Sonden-Fahrzeug erhält Bilddaten über eine Kreuzung, die die Ampel einschließt, wenn sich das Sonden-Fahrzeug an der Kreuzung befindet, und identifiziert die Ampel in der Kreuzung aus den Daten. Ein Fernprozessor erzeugt einen beobachteten Knoten in einer digitalen Karte, der der Ampel entspricht, und aktualisiert eine kartierte Position eines kartierten Knotens innerhalb der digitalen Karte auf der Grundlage einer beobachteten Position des beobachteten Knotens. Das Träger-Fahrzeug verwendet den kartierten Knoten der digitalen Karte, um die Ampel zu lokalisieren, wenn sich das Träger-Fahrzeug an der Kreuzung befindet.

Description

EINLEITUNG
Die Offenbarung des Gegenstands bezieht sich auf die Bestimmung des Standorts oder der Position einer Ampel unter Verwendung von Sensoren eines Fahrzeugs und insbesondere auf die Verwendung von Daten aus der Menge der Daten bezüglich des Standorts der Ampel, um den Berechnungsaufwand am Fahrzeug für die Lokalisierung der Ampel zu verringern.
Wenn ein autonomes oder halbautonomes Fahrzeug an eine Kreuzung kommt, wird erwartet, dass es die Verkehrsregeln der Kreuzung beachtet, wie z.B. Anhalten bei roter Ampel, Abbremsen bei gelber Ampel usw. Bei einem Verfahren der Ampelerkennung erhält das Fahrzeug zunächst ein Bild der Kreuzung und lokalisiert die Ampel innerhalb des Bildes mit Hilfe verschiedener Rechenverfahren. Diese Rechenverfahren können sehr zeitaufwändig und rechenintensiv sein. Gleichzeitig ist es notwendig, eine Ampel und ihren Zustand in der Zeit zu erkennen, die das Fahrzeug benötigt, um die Kreuzung zu erreichen. Dementsprechend ist es wünschenswert, ein System bereitzustellen, das den Zeit- und Rechenaufwand am autonomen Fahrzeug reduziert, um den Standort einer Ampel und ihren aktuellen Zustand zu identifizieren.
BESCHREIBUNG
In einer beispielhaften Ausführungsform wird ein Verfahren zur Lokalisierung einer Ampel an einem Träger-Fahrzeug offenbart. Die Bilddaten werden an einer Kreuzung, die die Ampel enthält, gewonnen, die Bilddaten an einem Sonden-Fahrzeug, wenn sich das Sonden-Fahrzeug an der Kreuzung befindet. Die Ampel wird in der Kreuzung aus den Bilddaten identifiziert. An einem entfernten Prozessor wird ein beobachteter Knoten in einer digitalen Karte erstellt, der der Ampel entspricht, und eine kartierte Position eines kartierten Knotens wird innerhalb der digitalen Karte auf der Grundlage einer beobachteten Position des beobachteten Knotens aktualisiert. Die Ampel wird beim Träger-Fahrzeug unter Verwendung des kartierten Knotens der digitalen Karte lokalisiert, wenn sich das Träger-Fahrzeug an der Kreuzung befindet.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale umfasst das Verfahren ferner die Verwendung des kartierten Knotens der digitalen Karte zur Lokalisierung der Ampel innerhalb der Bilddaten der Kreuzung, die am Träger-Fahrzeug gewonnen wurden. Das Verfahren umfasst ferner die Aktualisierung der digitalen Karte auf der Grundlage eines Vertrauenskoeffizienten, der mit dem beobachteten Knoten verknüpft ist. Das Verfahren umfasst ferner die Zuweisung eines Nutzwertes des kartierten Knotens in der digitalen Karte, wobei der Nutzwert mit einer Anzahl von Beobachtungen innerhalb einer ausgewählten Zeitperiode zunimmt. Das Verfahren umfasst ferner das Entfernen des kartierten Knotens aus der digitalen Karte, wenn der Nutzwert des kartierten Knotens unter einem Entfernungsschwellenwert liegt. Das Verfahren umfasst ferner die Bestimmung eines Standorts des autonomen Fahrzeugs aus einer Beobachtung der Ampel am Träger-Fahrzeug und der kartierten Position des kartierten Knotens innerhalb der digitalen Karte. Das Verfahren umfasst ferner das Hinzufügen eines neuen kartographierten Knotens zur digitalen Karte, um die Ampel darzustellen, wenn der beobachtete Knoten, der der Ampel zugeordnet ist, sich nicht mit dem kartographierten Knoten koppelt. Die kartierte Position des kartierten Knotens und die beobachtete Position des beobachteten Knotens werden durch dreidimensionale Koordinaten innerhalb der digitalen Karte angezeigt. Das Sonden-Fahrzeug überträgt eine lokale Position der Ampel an den Fernprozessor, und der Fernprozessor bestimmt aus der lokalen Position die beobachtete Position des beobachteten Knotens. Das Sonden-Fahrzeug überträgt an den Fernprozessor außerdem mindestens einen Ampelstatus, eine Ampel-Signalphase und -zeit, die GPS-Koordinaten des Sonden-Fahrzeugs, die Fahrzeug-Sensordaten und eine Erfassungssicherheit.
In einer weiteren beispielhaften Ausführungsform wird ein System zur Lokalisierung einer Ampel an einem Träger-Fahrzeug offenbart. Das System umfasst mindestens ein Sonden-Fahrzeug und einen Fernprozessor. Das mindestens eine Sonden-Fahrzeug ist so eingerichtet, dass es Bilddaten über eine Kreuzung erhält, die die Ampel einschließt, wenn sich das Sonden-Fahrzeug an der Kreuzung befindet, und dass es die Ampel in der Kreuzung aus den Bilddaten identifiziert. Der Fernprozessor ist so eingerichtet, dass er einen beobachteten Knoten in einer digitalen Karte erzeugt, der der Ampel entspricht, und eine kartierte Position eines kartierten Knotens innerhalb der digitalen Karte auf der Grundlage einer beobachteten Position des beobachteten Knotens aktualisiert. Das Träger-Fahrzeug verwendet den kartierten Knoten der digitalen Karte, um die Ampel zu lokalisieren, wenn sich das Träger-Fahrzeug an der Kreuzung befindet.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale verwendet das Träger-Fahrzeug den kartierten Knoten der digitalen Karte, um die Ampel innerhalb der Bilddaten der Kreuzung, die am Träger-Fahrzeug erhalten wurden, zu lokalisieren. Der Fernprozessor ist ferner so eingerichtet, dass er die digitale Karte auf der Grundlage eines dem beobachteten Knoten zugeordneten Vertrauenskoeffizienten aktualisiert. Der Fernprozessor ist ferner so eingerichtet, dass er einen Nutzwert des kartierten Knotens in der digitalen Karte zuweist, wobei der Nutzwert mit einer Anzahl von Beobachtungen innerhalb einer ausgewählten Zeitperiode zunimmt. Der Fernprozessor ist ferner so eingerichtet, dass er den kartierten Knoten aus der digitalen Karte entfernt, wenn der Nutzwert des kartierten Knotens unter einem Entfernungsschwellenwert liegt. Das Träger-Fahrzeug ist so eingerichtet, dass es seinen Standort aus einer Beobachtung der Ampel am Träger-Fahrzeug und der kartierten Position des kartierten Knotens innerhalb der digitalen Karte bestimmt. Der Fernprozessor ist ferner so eingerichtet, dass er der digitalen Karte einen neuen kartierten Knoten hinzufügt, um die Ampel darzustellen, wenn der beobachtete Knoten, der der Ampel zugeordnet ist, sich nicht mit dem kartierten Knoten koppelt. Die kartierte Position des kartierten Knotens und die beobachtete Position des beobachteten Knotens werden durch dreidimensionale Koordinaten innerhalb der digitalen Karte angezeigt. Das Sonden-Fahrzeug ist ferner so eingerichtet, dass es eine lokale Position der Ampel an den Fernprozessor übermittelt, und der Fernprozessor ist ferner so eingerichtet, dass er die beobachtete Position des beobachteten Knotens aus der lokalen Position bestimmt. Das Sonden-Fahrzeug ist ferner so eingerichtet, dass es an den Fernprozessor mindestens einen Ampelstatus, eine Ampelsignalphase und -zeit, die GPS-Koordinaten des Sonden-Fahrzeugs, die Fahrzeugsensordaten und eine Erfassungszuverlässigkeit überträgt.
Die oben genannten Merkmale und Vorteile sowie andere Merkmale und Vorteile der Offenbarung sind aus der folgenden detaillierten Beschreibung leicht ersichtlich, wenn sie in Verbindung mit den beigefügten Figuren aufgenommen werden.
Figurenliste
Weitere Merkmale, Vorteile und Details erscheinen nur beispielhaft in der folgenden ausführlichen Beschreibung, wobei sich die ausführliche Beschreibung auf die Figuren bezieht, in denen:

1 zeigt ein halbautonomes oder autonomes Fahrzeug nach einer beispielhaften Ausführungsform;
2 zeigt ein System zur Bestimmung des Standorts einer Ampel und zur Erstellung einer Ampelstandortkarte;
3 zeigt ein Flussdiagramm, das ein an einem Sonden-Fahrzeug durchgeführtes Verfahren zeigt, um einem entfernten Prozessor eine lokale Position einer Ampel zu liefern;
4 zeigt eine Draufsicht auf die digitale Karte;
5 zeigt ein Flussdiagramm eines zweiteiligen Matching-Prozesses für die Zuordnung von beobachteten Knoten zu kartierten Knoten innerhalb der digitalen Karte von 4;
6 illustriert eine mögliche Kandidatenpaarung für einen Matching-Algorithmus auf der Grundlage der beobachteten Knoten und der kartierten Knoten von 4;
7 zeigt ein Diagramm, das die Entwicklung eines Nutzwertes für einen illustrativ kartierten Knoten veranschaulicht; und
8 zeigt eine illustrative Grafik einer durchschnittlichen Lichtposition auf der Grundlage einer ausgewählten Anzahl von Beobachtungen oder Durchgängen durch einen Schnittpunkt.

DETAILLIERTE BESCHREIBUNG
Die folgende Beschreibung hat lediglich beispielhaften Charakter und soll die vorliegende Offenbarung, ihre Anwendung oder ihren Gebrauch nicht einschränken. Es ist zu verstehen, dass in den Figuren durchgehend entsprechende Referenzziffern auf gleiche oder entsprechende Teile und Merkmale hinweisen.
1 zeigt gemäß einer beispielhaften Ausführungsform ein Fahrzeug 10. In einer beispielhaften Ausführungsform ist das Fahrzeug 10 ein teilautonomes oder autonomes Fahrzeug. In verschiedenen Ausführungsformen enthält das Fahrzeug 10 mindestens ein Fahrerassistenzsystem sowohl für die Lenkung als auch für die Beschleunigung/Verzögerung unter Verwendung von Informationen über die Fahrumgebung, wie z.B. Tempomat und Spurführung. Während der Fahrer von der physischen Bedienung des Fahrzeugs 10 abgekoppelt werden kann, indem er gleichzeitig die Hände vom Lenkrad und den Fuß vom Pedal nimmt, muss der Fahrer bereit sein, die Kontrolle über das Fahrzeug zu übernehmen.
Im Allgemeinen bestimmt ein Trajektorienplanungssystem 100 einen Trajektorienplan für das automatisierte Fahren des Fahrzeugs 10. Das Fahrzeug 10 besteht im Allgemeinen aus einem Fahrgestell 12, einer Karosserie 14, Vorderrädern 16 und Hinterrädern 18. Die Karosserie 14 ist auf dem Fahrgestell 12 angeordnet und umschließt im Wesentlichen Komponenten des Fahrzeugs 10. Die Karosserie 14 und das Fahrgestell 12 können gemeinsam einen Rahmen bilden. Die Räder 16 und 18 sind jeweils in der Nähe der jeweiligen Ecken der Karosserie 14 mit dem Fahrgestell 12 drehgekoppelt.
Wie gezeigt, umfasst das Fahrzeug 10 im Allgemeinen ein Antriebssystem 20, ein Übertragungssystem 22, ein Lenksystem 24, ein Bremssystem 26, ein Sensorsystem 28, ein Aktuatorsystem 30, mindestens eine Datenspeichervorrichtung 32, mindestens eine Steuerung 34 und ein Kommunikationssystem 36. Das Antriebssystem 20 kann in verschiedenen Ausführungsformen einen Verbrennungsmotor, eine elektrische Maschine, wie z.B. einen Fahrmotor, und/oder ein Brennstoffzellen-Antriebssystem umfassen. Das Getriebesystem 22 ist so eingerichtet, dass es die Leistung vom Antriebssystem 20 auf die Fahrzeugräder 16 und 18 entsprechend wählbarer Geschwindigkeitsverhältnisse überträgt. Nach verschiedenen Ausführungsformen kann das Getriebesystem 22 ein stufenloses Automatikgetriebe, ein stufenloses Getriebe oder ein anderes geeignetes Getriebe umfassen. Das Bremssystem 26 ist so eingerichtet, dass es Bremsmoment an die Fahrzeugräder 16 und 18 abgibt. Das Bremssystem 26 kann in verschiedenen Ausführungsformen Reibungsbremsen, Drahtbremse, ein regeneratives Bremssystem, wie z.B. eine elektrische Maschine, und/oder andere geeignete Bremssysteme umfassen. Das Lenksystem 24 beeinflusst die Stellung der Fahrzeugräder 16 und 18. Obwohl das Lenksystem 24 zur Veranschaulichung mit einem Lenkrad dargestellt wird, kann es in einigen Ausführungsformen, die im Rahmen dieser Offenbarung in Betracht gezogen werden, kein Lenkrad enthalten.
Das Sensorsystem 28 umfasst eine oder mehrere Sensorvorrichtungen 40a-40n, die beobachtbare Bedingungen der äußeren Umgebung und/oder der inneren Umgebung des Fahrzeugs erfassen 10. Die Sensorvorrichtungen 40a-40n können unter anderem Radare, Lidare, globale Positionierungssysteme, optische Kameras, Digitalkameras, Wärmebildkameras, Ultraschallsensoren, digitale Videorekorder und/oder andere Sensoren zur Beobachtung und Messung von Parametern der äußeren Umgebung umfassen. Die Sensorvorrichtungen 40a-40n können ferner Bremssensoren, Lenkwinkelsensoren, Radgeschwindigkeitssensoren usw. zur Beobachtung und Messung fahrzeuginterner Parameter des Fahrzeugs umfassen. Die Kameras können zwei oder mehr Digitalkameras umfassen, die in einem ausgewählten Abstand voneinander angeordnet sind, wobei die zwei oder mehr Digitalkameras dazu verwendet werden, stereoskopische Bilder der Umgebung zu erhalten, um ein dreidimensionales Bild zu erhalten. Das Aktuatorsystem 30 umfasst eine oder mehrere Aktuatorvorrichtungen 42a-42n, die ein oder mehrere Fahrzeugmerkmale steuern, wie z.B., aber nicht beschränkt auf, das Antriebssystem 20, das Übertragungssystem 22, das Lenksystem 24 und das Bremssystem 26. In verschiedenen Ausführungsformen können die Fahrzeugmerkmale darüber hinaus innere und/oder äußere Fahrzeugmerkmale umfassen, wie z.B., aber nicht beschränkt auf, Türen, einen Kofferraum und Kabinenmerkmale wie Luft, Musik, Beleuchtung usw. (nicht nummeriert).
Die mindestens ein Steuerung 34 umfasst mindestens einen Prozessor 44 und ein computerlesbares Speichergerät oder -medium 46. Bei dem mindestens einen Prozessor 44 kann es sich um einen beliebigen kundenspezifischen oder handelsüblichen Prozessor, eine Zentraleinheit (CPU), eine Graphikverarbeitungseinheit (GPU), einen Hilfsprozessor unter mehreren Prozessoren, der mit der mindestens einen Steuerung 34 verbunden ist, einen Mikroprozessor auf Halbleiterbasis (in Form eines Mikrochips oder Chipsatzes), einen Makroprozessor, eine beliebige Kombination davon oder allgemein eine beliebige Vorrichtung zur Ausführung von Befehlen handeln. Das computerlesbare Speichergerät oder die computerlesbaren Speichermedien 46 können z.B. flüchtige und nichtflüchtige Speicherung in Festwertspeicher (ROM), Direktzugriffsspeicher (RAM) und Keepalive-Speicher (KAM) umfassen. KAM ist ein persistenter oder nichtflüchtiger Speicher, der zur Speicherung verschiedener Betriebsvariablen verwendet werden kann, während der mindestens eine Prozessor 44 abgeschaltet ist. Das computerlesbare Speichergerät oder -medium 46 kann unter Verwendung eines beliebigen aus einer Reihe bekannter Speichergeräte wie PROMs (programmierbarer Festwertspeicher), EPROMs (elektrisch PROM), EEPROMs (elektrisch löschbares PROM), Flash-Speicher oder jedes anderen elektrischen, magnetischen, optischen oder kombinierten Speichergeräts implementiert werden, das in der Lage ist, Daten zu speichern, von denen einige ausführbare Befehle darstellen, die von dem mindestens einen Steuergerät 34 bei der Steuerung des Fahrzeugs 10 verwendet werden.
Die Anweisungen können ein oder mehrere separate Programme umfassen, von denen jedes eine geordnete Auflistung ausführbarer Anweisungen zur Implementierung logischer Funktionen enthält. Wenn die Befehle von dem mindestens einen Prozessor 44 ausgeführt werden, empfangen und verarbeiten sie Signale vom Sensorsystem 28, führen Logik, Berechnungen, Verfahren und/oder Algorithmen zur automatischen Steuerung der Komponenten des Fahrzeugs 10 aus und erzeugen Steuersignale für das Aktuatorsystem 30, um die Komponenten des Fahrzeugs 10 auf der Grundlage der Logik, Berechnungen, Verfahren und/oder Algorithmen automatisch zu steuern. Obwohl in 1 nur ein Steuergerät dargestellt ist, können Ausführungsformen des Fahrzeugs 10 eine beliebige Anzahl von Steuergeräten enthalten, die über ein beliebiges geeignetes Kommunikationsmedium oder eine Kombination von Kommunikationsmedien kommunizieren und die zusammenarbeiten, um die Sensorsignale zu verarbeiten, Logik, Berechnungen, Verfahren und/oder Algorithmen durchzuführen und Steuersignale zur automatischen Steuerung von Merkmalen des Fahrzeugs 10 zu erzeugen.
Das Kommunikationssystem 36 ist so eingerichtet, dass es drahtlos Informationen zu und von anderen Entitäten 48 übermittelt, wie z.B., aber nicht beschränkt auf, andere Fahrzeuge („V2V“-Kommunikation), Infrastruktur („V2I“-Kommunikation), entfernte Systeme und/oder persönliche Geräte. In einer beispielhaften Ausführungsform ist das Kommunikationssystem 36 ein drahtloses Kommunikationssystem, das so eingerichtet ist, dass es über ein drahtloses lokales Netzwerk (WLAN) unter Verwendung des IEEE 802.11-Standards oder unter Verwendung zellularer Datenkommunikation kommuniziert. Zusätzliche oder alternative Kommunikationsverfahren, wie z.B. ein dedizierter Nahbereichskommunikationskanal (DSRC-Kanal), werden jedoch auch im Rahmen dieser Offenbarung in Betracht gezogen. DSRC-Kanäle beziehen sich auf einseitige oder zweiseitige drahtlose Kommunikationskanäle mit kurzer bis mittlerer Reichweite, die speziell für den Einsatz in Kraftfahrzeugen entwickelt wurden, sowie auf einen entsprechenden Satz von Protokollen und Standards.
2 zeigt ein System 200 zur Bestimmung des Standorts einer Ampel 202 und zur Erstellung einer Ampelstandortkarte. Das System 200 umfasst ein Sonden-Fahrzeug 204, einen Fernprozessor 206 und eine Kommunikationsverbindung 208 zwischen dem Sonden-Fahrzeug 204 und dem Fernprozessor 206. In verschiedenen Ausführungsformen kann das Sonden-Fahrzeug 204 ein autonomes Fahrzeug sein, wie in Bezug auf 1 diskutiert. Das Sonden-Fahrzeug 204 enthält mindestens einen Bildsensor 210, wie z.B. eine Digitalkamera oder einen digitalen Videorekorder. Der mindestens eine Bildsensor 210 wird verwendet, um ein oder mehrere Bilder einer Kreuzung zu erfassen oder zu sammeln, wenn sich das Sonden-Fahrzeug 204 der Kreuzung nähert. Das Sonden-Fahrzeug 204 kann ferner verschiedene Sensoren zur Bestimmung der Position, der Ausrichtung und/oder des Zustands des Sonden-Fahrzeugs 204 enthalten. Solche Sensoren können einen GPS-Empfänger (Global Positioning Satellite) zur Bestimmung der Position des Sonden-Fahrzeugs 204, zusätzliche Sensoren zur Bestimmung der Orientierung des Sonden-Fahrzeugs 204, wie z.B. Nicken, Rollen und Gieren des Sonden-Fahrzeugs 204, usw. umfassen. Geschwindigkeitssensoren können verwendet werden, um die Geschwindigkeit des Sonden-Fahrzeugs 204 zu bestimmen. Diese Sensoren können über ein Controller Area Network (CAN) mit einem Prozessor des Fahrzeugs verbunden werden.
Der Fernprozessor 206 kann ein Cloud-Prozessor oder jeder andere geeignete Prozessor sein. Der Fernprozessor 206 sendet und empfängt Daten von dem Sonden-Fahrzeug 204. Der Fernprozessor 206 steht auch in Zwei-Wege-Kommunikation mit anderen Sonden-Fahrzeugen 212.
Wenn sich das Sonden-Fahrzeug 204 einer Kreuzung nähert, nimmt der mindestens eine Bildsensor 210 ein oder mehrere Bilder der Kreuzung auf. Das Sonden-Fahrzeug 204 wendet verschiedene Algorithmen auf das eine oder die mehreren Bilder an, um eine Ampel 202 innerhalb des einen oder der mehreren Bilder zu identifizieren und eine lokale Position der Ampel 202 zu bestimmen (d.h. eine Position der Ampel 202 innerhalb des aktuellen Bezugsrahmens des Sonden-Fahrzeugs 204). In verschiedenen Ausführungsformen umfasst die lokale Position dreidimensionale Koordinaten. Im Allgemeinen nimmt die Ampel 202 innerhalb eines oder mehrerer Bilder einen kleinen Raum ein. Daher ist das Verfahren zur Identifizierung der Ampel 202 aus einem Bild des mindestens einen Bildsensors 210 rechenintensiv und zeitaufwendig. Sobald das Sonden-Fahrzeug 204 die lokale Position der Ampel 202 identifiziert hat, werden die lokale Position sowie andere Daten (d.h. Geschwindigkeit des Fahrzeugs, GPS-Koordinaten usw.) über die Kommunikationsverbindung 208 in den entfernten Prozessor 206 hochgeladen.
Der Fernprozessor 206 speichert eine digitale Karte 220 einschließlich der Datenstrukturen, die zu jeder Ampel gehören. Eine Datenstruktur umfasst einen Knoten, der eine Ampel repräsentiert, sowie die Positionen des Knotens innerhalb der digitalen Karte. Der Bezugsrahmen der digitalen Karte 220 kann ein geozentrischer Standardbezugsrahmen sein. Die digitale Karte 220 enthält kartierte Knoten, die auf Daten von mindestens einem anderen Sonden-Fahrzeug und häufig auf Daten aus der Masse der anderen Sonden-Fahrzeuge 212 basieren. Wenn der Fernprozessor 206 eine lokale Position für die Ampel 202 von einem Sonden-Fahrzeug 204 empfängt, fügt der Fernprozessor 206 einen Knoten, hier als „beobachteter Knoten“ bezeichnet, an einer beobachteten Position des beobachteten Knotens in die digitale Karte 220 ein. Der Fernprozessor 206 bestimmt ferner die Koordinaten des beobachteten Knotens aus der vom Sonden-Fahrzeug 212 gelieferten lokalen Position. Der beobachtete Knoten kann dann einem kartierten Knoten zugeordnet oder mit ihm assoziiert werden, basierend auf der Nähe zwischen ihnen. Der kartographierte Knoten hat eine kartographierte Position innerhalb der digitalen Karte. Die kartographierte Position und die beobachtete Position werden durch dreidimensionale Koordinaten innerhalb der digitalen Karte angezeigt. Die Paarung des beobachteten Knotens mit dem kartographierten Knoten wird durch Berechnung eines Maßes oder eines Abstands zwischen ihnen bestimmt (d.h. zwischen der beobachteten Position des beobachteten Knotens und einer kartographierten Position des kartographierten Knotens). Der Fernprozessor 206 führt einen Algorithmus zur Positionsaktualisierung aus, um die kartierte Position des kartierten Knotens innerhalb der digitalen Karte 220 unter Verwendung der beobachteten Position des beobachteten Knotens zu aktualisieren. Der Fernprozessor 206 arbeitet ferner mit einem Algorithmus zur Kartenpflege, um das Vertrauen des kartierten Knotens zu aktualisieren und den kartierten Knoten aus der digitalen Karte zu entfernen, wenn er von den Beobachtungen der Sonden-Fahrzeuge nicht mehr unterstützt wird.
Wie in 2 dargestellt, kann der Fernprozessor 206 die digitale Karte 220 oder einen Teil davon auf ein Träger-Fahrzeug (d.h. Fahrzeug 10) herunterladen. Das Fahrzeug 10 nimmt ein oder mehrere Bilder der Kreuzung und der Ampel 202 mit seiner Digitalkamera oder einem geeigneten Sensor auf, wenn es sich der Kreuzung nähert. Unter Verwendung von Informationen aus der digitalen Karte 220 sowie ihrer Lage und Orientierung in Bezug auf die Kreuzung ist das Fahrzeug 10 in der Lage, die lokale Position der Ampel 202 innerhalb seines einen oder seiner mehreren Bilder in einer kürzeren Zeit zu bestimmen oder anzunähern, als dies bei der Sonden-Fahrzeug 204 (die ohne Verwendung der digitalen Karte 220 durchgeführt wird) der Fall ist. Sobald sich die Ampel innerhalb des einen oder der mehreren Bilder befindet, kann das Träger-Fahrzeug den Zustand der Ampel bestimmen und geeignete Aktionen durchführen, um die durch den Zustand der Ampel angezeigten Verkehrsregeln zu befolgen.
3 zeigt ein Flussdiagramm 300, das eine Verfahren zeigt, die am Sonden-Fahrzeug 204 durchgeführt wurde, um eine lokale Position einer Ampel 202 und zusätzliche Daten an den entfernten Prozessor 206 zu liefern.
In Kasten 302 werden die Sensordaten an der Sonden-Fahrzeug 204 erfasst. Die Sensordaten umfassen ein oder mehrere Bilder, die von dem mindestens einen Bildsensor 210, wie z.B. der Digitalkamera, erfasst wurden, aber auch verschiedene Lidar- und Radardaten sowie Daten über den Zustand oder die Position des Sonden-Fahrzeugs. Zu diesen Zustandsdaten gehören GPS-Daten, eine Geschwindigkeit des Fahrzeugs, eine Neigung des Fahrzeugs, eine Drehung des Fahrzeugs, eine Drehung des Fahrzeugs und eine Gier des Fahrzeugs sowie alle anderen geeigneten Daten, die zur Bestimmung der Koordinaten der Ampel nützlich sind.
In Kasten 304 werden die Sensordaten am Sonden-Fahrzeug 204 vorverarbeitet. Die Vorverarbeitung der Sensordaten umfasst die Durchführung von Prozessen wie die Datensynchronisation und die Entfernung von Rauschen aus den Daten, z.B. durch Dateninterpolation, Kurvenanpassung und andere geeignete Verfahren.
In Kasten 306 wird die Ampel 202 aus den Sensordaten ermittelt. Ein Objekterkennungsverfahren verwendet Algorithmen zur Sensorfusion, die Daten von mehreren Sensoren wie Kameras, Lidar, Radar usw. zusammenführen, um die Ampel 202 zu erkennen. In verschiedenen Ausführungsformen wird die Ampel 202 über eine Vielzahl von Zeitrahmen der Sensordaten identifiziert oder detektiert.
In Kasten 308 wird die Ampel 202 mit Hilfe eines oder mehrerer Objektverfolgungsalgorithmen über mehrere Zeitrahmen von Sensordaten verfolgt. Bei der Objektverfolgung wird die in einem ersten Rahmen erkannte Ampel mit der in einem zweiten oder nachfolgenden Rahmen erkannten Ampel verknüpft.
In Kasten 310 wird eine lokale dreidimensionale Position der Ampel am Sonden-Fahrzeug 204 bestimmt. Aus der GPS-Position des Sonden-Fahrzeugs 204 sowie aus den Ergebnissen der Objekterfassung und Objektverfolgung wird die lokale dreidimensionale Position der Ampel abgeleitet. Die Schätzung der lokalen dreidimensionalen Position kann einen oder mehrere Bayes'sche Schätzalgorithmen verwenden, wie z.B. Partikelfilter, Kalman-Filter usw.
In Kasten 312 werden verschiedene Filter verwendet, um falsch-positive Erkennungen von Ampeln zu entfernen. Falsch-positive Erkennungen umfassen Objekte wie Rücklichter von Fahrzeugen, Lichter an einem Gebäude usw. Zu den illustrativen Filterbedingungen gehören u.a. die folgenden: die Höhe einer Ampel liegt mehr als 5 Meter über dem Boden, die Position der Ampel liegt nahe der Mitte einer Kreuzung usw.
In Kasten 314 werden die verbleibenden lokalen dreidimensionalen Positionen auf den Fernprozessor 206 hochgeladen. Die hochgeladenen Daten können z.B. Ampelpositionen (Breitengrad, Längengrad, Höhe), Ampelstatus, Ampelsignalphase und -zeit, Fahrzeug-GPS-Spur, Fahrzeugsensordaten, Detektionsvertrauen usw. unter Verwendung einer geeigneten drahtlosen Verbindung, wie z.B. Celllular (4G/5G), DSRC V2I, WiFi usw., enthalten.
4 zeigt eine Draufsicht 400 der digitalen Karte 220, die verschiedene illustrativ kartierte Knotenpunkte zeigt, die von Menschenhand erzeugte Ampeln und beobachtete Knotenpunkte, die vom Sonden-Fahrzeug 204 bereitgestellte beobachtete Ampeln darstellen. Die kartographierten Knoten 402, 404, 406 und 408 sind an verschiedenen Schnittpunkten der digitalen Karte 220 dargestellt. Die beobachteten Knoten 412, 414, 416 sind an ihren jeweiligen Standorten auf der digitalen Karte 220 dargestellt. Wie nachstehend erläutert, wird zwischen einem kartierten Knoten und einem beobachteten Knoten auf der Grundlage der relativen Position und/oder Nähe ein höchstwahrscheinliches Paar gebildet, und dann wird die kartierte Position des kartierten Knotens innerhalb der digitalen Karte 220 auf der Grundlage der beobachteten Position des beobachteten Knotens, mit dem er gepaart ist, aktualisiert.
5 zeigt ein Flussdiagramm 500 eines zweiteiligen Matching-Prozesses für die Zuordnung von beobachteten Knoten zu kartierten Knoten innerhalb der digitalen Karte 220.
In Kasten 502 werden alle möglichen Kandidaten-Paarungen bestimmt. Eine Kandidatenpaarung kann durch ein systematisches Paarungsverfahren bestimmt werden. Eine mögliche Kandidatenpaarung hat keine Übereinstimmungen zwischen beobachteten Knoten und kartierten Knoten. Diese Kandidatenpaarung wird in Gl. (1) dargestellt: $K e i n e Ü b e r e i n s t i m m u n g (V_{1}, V_{2}, V_{3}, M_{1}, M_{2}, M_{3}, M_{4})$
wobei V_j ein beobachteter Knoten in Verbindung mit einer Ampel ist, die vom Sonden-Fahrzeug 204 beobachtet wird, und M_i ein kartierter Knoten ist, der in der digitalen Karte 220 gespeichert ist. Ein weiterer Satz von Kandidaten-Paarungen umfasst solche, in denen nur eine Paarung zwischen beobachteten Knoten und kartierten Knoten gefunden werden kann. Mehrere mögliche Ein-Match-Paarungen sind in Gl. (2) und (3) dargestellt: $V_{1} \leftrightarrow M_{1} : (V_{2}, V_{3}, M_{2}, M_{3}, M_{4})$
$V_{1} \leftrightarrow M_{2} : (V_{2}, V_{3}, M_{1}, M_{3}, M_{4})$
Bei einem weiteren möglichen Kandidaten können zwei Übereinstimmungen zwischen beobachteten Knoten und kartierten Knoten gefunden werden, wie in Gl. (4) gezeigt: $V_{1} \leftrightarrow M_{1}, V_{2} \leftrightarrow M_{2} : (V_{3}, M_{3}, M_{4})$
Dieser Prozess wird fortgesetzt, bis alle Kandidatenpaare bestimmt sind.
6 zeigt eine mögliche Kandidatenpaarung 600, die für den Matching-Algorithmus von Kasten 502 auf der Grundlage der in 4 gezeigten beobachteten Knoten und kartierten Knoten. Wie in der möglichen Kandidatenpaarung gezeigt, ist der erste beobachtete Knoten 412 mit dem zweiten kartierten Knoten 404, der zweite beobachtete Knoten 414 mit dem vierten kartierten Knoten 408 und der dritte beobachtete Knoten 416 mit dem ersten kartierten Knoten 402 gepaart. Kein beobachteter Knoten scheint mit dem dritten kartierten Knoten 406 gepaart zu sein.
Zurück zu 5, in Kasten 504, wird für jede Kandidatenpaarung eine Kostenfunktion berechnet, wie in Gl: $f (m_{1}, m_{2}, \dots, m_{n}) = \frac{\sum {(E n t f e r n u n g (m_{i}))}^{2}}{n^{α}}$
wobei m_i eine Paarung eines kartierten Knotens und eines beobachteten Knotens darstellt und Entfernung (m_i) eine Distanzfunktion zwischen dem kartierten Knoten und dem beobachteten Knoten des Paares (m_i) ist. Der Parameter n ist eine Anzahl von Paarungen und α ist ein Skalierungsfaktor.
In Kasten 506 wird die Kandidatenpaarung mit dem geringsten Kostenwert als beste Lösung für die Paarung von beobachteten Ampeln mit kartierten Ampeln zurückgegeben.
Sobald eine optimale oder gewünschte Lösung in Feld 506 gefunden wurde, wird für jedes übereinstimmende Paar der Lösung ein Konfidenzkoeffizient β berechnet. Der Vertrauenskoeffizient β ist eine Schätzung des Vertrauens des beobachteten Knotens auf der Grundlage verschiedener Fahrzeugparameter während der Erfassung der lokalen Position durch das Sonden-Fahrzeug 204, wie z.B. ein Abstand zwischen dem Sonden-Fahrzeug und der Ampel, das Modell des Sonden-Fahrzeugs 204, eine Qualität des Sensors 210 und eine Historie früherer Beobachtungen durch das Sonden-Fahrzeug. Zum Beispiel kann der Vertrauenskoeffizient für ein Sonden-Fahrzeug 204 reduziert werden, das in der Vergangenheit falsch positive Ergebnisse geliefert hat. In Bezug auf einen Abstand zwischen dem Sonden-Fahrzeug und der Ampel gilt: je näher das Sonden-Fahrzeug im Allgemeinen ist, desto genauer sind die lokalen Positionsdaten. Wenn sich die Kamera jedoch zu nahe an der Ampel befindet (z.B. direkt unter der Ampel), kann das Vertrauen in die Daten gering sein.
Der Vertrauenskoeffizient β basiert ebenfalls auf Informationen des Fernprozessors 206. Ein Wolkenvertrauen bewertet ein Vertrauen in den aktuellen Zustand der digitalen Karte.
In Feld 508 wird die digitale Karte aktualisiert und enthält einen aktualisierten kartierten Knoten für die Ampel.
Der Vertrauenskoeffizient β wird zur Aktualisierung der kartierten Positionen der kartierten Knoten innerhalb der digitalen Karte 220 verwendet. Ein mögliches Aktualisierungsverfahren ist in Gl. (6) dargestellt: $M_{i} = (1 - β) \cdot M_{i} + β \cdot V_{i}$
Auch wenn ein beobachteter Knoten nicht mit einem kartierten Knoten in der digitalen Karte 220 gepaart ist, kann ein neuer kartierter Knoten innerhalb der digitalen Karte 220 erstellt werden.
Der Fernprozessor 206 verwaltet oder verfolgt einen Nutzwert für jeden kartierten Knoten in der digitalen Karte 220. Wenn der Fernprozessor 206 eine neue Beobachtung von einem Sonden-Fahrzeug empfängt, das sich mit dem kartierten Knoten paart, wird der Nutzwert des kartierten Knotens um ein ausgewähltes Nutzwertinkrement 8 erhöht. Das Nutzwertinkrement δ ist eine Funktion mehrerer Parameter, darunter das Modell des Fahrzeugs und das Modell des Sensors bzw. der Sensoren am Fahrzeug, ein Beobachtungsabstand zwischen dem Sonden-Fahrzeug und der Ampel, die Beobachtungsqualität des Sonden-Fahrzeugs und historische Daten von diesem Fahrzeug (d.h. hat das Sonden-Fahrzeug eine Vorgeschichte der Erkennung falsch positiver Ergebnisse?
zeigt ein Diagramm 700, das die Entwicklung eines Nutzwertes für einen illustrativ kartierten Knoten veranschaulicht. Die Zeit wird entlang der x-Achse und der Nutzwert entlang der y-Achse dargestellt. Der Nutzwert nimmt zum Zeitpunkt t₁ zu, da eine erste Beobachtung am entfernten Prozessor 206 aufgezeichnet wird, der den kartierten Knoten verifiziert. Zum Zeitpunkt t₂ steigt der Nutzwert wieder an, da eine zweite Beobachtung aufgezeichnet wird, die die erste Beobachtung bestätigt. Während Zeitintervallen, in denen keine Beobachtung am Fernprozessor 206 empfangen wird, nimmt der Nutzwert monoton ab. Diagramm 700 zeigt mehrere Schwellenwerte, d.h. einen gültigen Schwellenwert γ₁, einen ungültigen Schwellenwert γ₂ und einen Entfernungsschwellenwert γ₃. Wenn der Nutzwert 8 größer als der gültige Schwellenwert γ₁ ist, wird der kartierte Knoten als gültig betrachtet und kann dem Träger-Fahrzeug für spätere Anwendungen zur Verfügung gestellt werden. Wenn der Nutzwert unter den ungültigen Schwellenwert γ₂ fällt, wird der kartierte Knoten als ungültig betrachtet. Wenn der Nutzwert unter dem Entfernungsschwellenwert γ₃ liegt, wird der kartographierte Knoten vollständig aus der digitalen Karte entfernt.
8 zeigt eine illustrative Grafik 800 einer durchschnittlichen Lichtposition auf der Grundlage einer ausgewählten Anzahl von Beobachtungen oder Durchgängen durch den Schnittpunkt. Mit zunehmender Anzahl der Beobachtungen der Ampel nähert sich der Mittelwert der Entfernung der Ampel über dem Boden einem ausgewählten Wert an.
Während die hier offenbarten Verfahren im Hinblick auf die Bestimmung eines Standorts oder einer Position einer Ampel innerhalb eines an einem Fahrzeug aufgenommenen Bildes diskutiert werden, um die Rechenzeit bei der Bestimmung des Zustands der Ampel zu reduzieren, können die Verfahren in Bezug auf jedes ausgewählte Objekt verwendet werden, insbesondere im Hinblick auf die Reduzierung der Suchzeit für das Objekt innerhalb eines an einem Fahrzeug aufgenommenen Bildes.
Während die obige Offenbarung unter Bezugnahme auf beispielhafte Ausführungsformen beschrieben wurde, wird es von den Fachleuten verstanden werden, dass verschiedene Änderungen vorgenommen werden können und Elemente davon durch Äquivalente ersetzt werden können, ohne von ihrem Anwendungsbereich abzuweichen. Darüber hinaus können viele Änderungen vorgenommen werden, um eine bestimmte Situation oder ein bestimmtes Material an die Lehren der Offenbarung anzupassen, ohne von ihrem wesentlichen Anwendungsbereich abzuweichen. Es ist daher beabsichtigt, dass die vorliegende Offenbarung nicht auf die einzelnen offenbarten Ausführungsformen beschränkt ist, sondern alle Ausführungsformen einschließt, die in ihren Anwendungsbereich fallen.

Claims

Ein Verfahren zur Lokalisierung einer Ampel bei einem Träger-Fahrzeug, umfassend: Gewinnen von Bilddaten an einer Kreuzung, die die Ampel an einem Sonden-Fahrzeug einschließt, wenn sich das Sonden-Fahrzeug an der Kreuzung befindet; Identifizieren der Ampel in der Kreuzung aus den Bilddaten; Erstellen, an einem entfernten Prozessor, eines beobachteten Knotens in einer digitalen Karte, der der Ampel entspricht; Aktualisieren, am entfernten Prozessor, einer kartierten Position eines kartierten Knotens innerhalb der digitalen Karte auf der Grundlage einer beobachteten Position des beobachteten Knotens; und Lokalisieren der Ampel bei dem Träger-Fahrzeug unter Verwendung des kartierten Knotens der digitalen Karte, wenn sich das Träger-Fahrzeug an der Kreuzung befindet.
Das Verfahren nach Anspruch 1, ferner umfassend die Verwendung des kartierten Knotens der digitalen Karte zur Lokalisierung der Ampel innerhalb von Bilddaten der Kreuzung, die beim Träger-Fahrzeug erhalten wurden.
Das Verfahren nach Anspruch 1, ferner umfassend das Zuweisen eines Nutzwertes des kartierten Knotens in der digitalen Karte, wobei der Nutzwert mit einer Anzahl von Beobachtungen innerhalb einer ausgewählten Zeitperiode zunimmt.
Das Verfahren nach Anspruch 1, das ferner die Bestimmung eines Standorts des autonomen Fahrzeugs aus einer Beobachtung der Ampel bei dem Träger-Fahrzeug und der kartierten Position des kartierten Knotens innerhalb der digitalen Karte umfasst.
Das Verfahren nach Anspruch 1, das ferner das Hinzufügen eines neuen kartierten Knotens zur digitalen Karte umfasst, um die Ampel darzustellen, wenn der beobachtete Knoten, der der Ampel zugeordnet ist, sich nicht mit dem kartierten Knoten paart.
Ein System zur Lokalisierung einer Ampel bei einem Träger-Fahrzeug, umfassend: mindestens ein Sonden-Fahrzeug, das so eingerichtet ist, dass es Bilddaten über eine Kreuzung erhält, die die Ampel einschließt, wenn sich das Sonden-Fahrzeug an der Kreuzung befindet, und dass es die Ampel in der Kreuzung aus den Bilddaten identifiziert; und einen entfernten Prozessor, der eingerichtet ist zum: Erstellen eines beobachteten Knoten in einer digitalen Karte , der der Ampel entspricht; und Aktualisieren einer kartierten Position eines kartierten Knotens innerhalb der digitalen Karte auf der Grundlage einer beobachteten Position des beobachteten Knotens; und wobei das Träger-Fahrzeug den kartierten Knoten der digitalen Karte verwendet, um die Ampel zu lokalisieren, wenn sich das Träger-Fahrzeug an der Kreuzung befindet.
Das System nach Anspruch 6, wobei das Träger-Fahrzeug den kartierten Knoten der digitalen Karte verwendet, um die Ampel innerhalb der Bilddaten der Kreuzung zu lokalisieren, die beim Träger-Fahrzeug erhalten wurden.
Das System nach Anspruch 6, wobei der entfernte Prozessor ferner so eingerichtet ist, dass er einen Nutzwert des kartierten Knotens in der digitalen Karte zuweist, wobei der Nutzwert mit einer Anzahl von Beobachtungen innerhalb einer ausgewählten Zeitspanne zunimmt.
Das System nach Anspruch 6, wobei das Träger-Fahrzeug so eingerichtet ist, dass es seinen Standort aus einer Beobachtung der Ampel am Träger-Fahrzeug und der kartierten Position des kartierten Knotens innerhalb der digitalen Karte bestimmt.
Das System nach Anspruch 6, wobei der entfernte Prozessor ferner so eingerichtet ist, dass er einen neuen kartierten Knoten zur digitalen Karte hinzufügt, um die Ampel darzustellen, wenn der beobachtete Knoten, der der Ampel zugeordnet ist, sich nicht mit dem kartierten Knoten paart.