DE102021100583A1

DE102021100583A1 - System und verfahren zur fahrzeugnavigation mit geländetexterkennung

Info

Publication number: DE102021100583A1
Application number: DE102021100583.3A
Authority: DE
Inventors: Farui Peng; Kai-Han Chang; Wei Tong
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2020-02-05
Filing date: 2021-01-13
Publication date: 2021-08-05
Also published as: CN113218410A; US20210239485A1

Abstract

Ein Verfahren zur Fahrzeugnavigation unter Verwendung von Geländetexterkennung umfasst den Empfang einer Navigationsroute durch das Gelände über eine elektronische Steuerung, die an einem Fahrzeug angeordnet ist und Zugriff auf eine Karte des Geländes hat. Das Verfahren umfasst auch den Empfang eines Signals von einem globalen Positionierungssystem (GPS) über die Steuerung, um eine aktuelle Position des Fahrzeugs relativ zum Gelände zu bestimmen. Das Verfahren umfasst zusätzlich die Bestimmung einer Position eines nächsten Wegpunktes auf der Navigationsroute und relativ zur aktuellen Fahrzeugposition über die Steuerung. Das Verfahren umfasst auch das Erfassen und Übermitteln eines Einzelbilds, das einen Text anzeigt, der den nächsten Wegpunkt angibt, über einen Fahrzeugsensor an das Steuergerät und das Korrelieren des erfassten Textes mit dem nächsten Wegpunkt auf der Karte über das Steuergerät. Darüber hinaus umfasst das Verfahren das Setzen eines fahrzeuginternen Warnsignals über die Steuerung, das anzeigt, dass der erfasste Text mit dem nächsten Wegpunkt korreliert worden ist.

Description

EINLEITUNG
Die vorliegende Offenbarung bezieht sich auf ein System und ein Verfahren zur Navigation eines Kraftfahrzeugs unter Verwendung von Geländetexterkennung.
Ein Fahrzeugnavigationssystem kann Teil der integrierten Fahrzeugsteuerung oder ein Zusatzgerät sein, das zum Finden eines Weges im Fahrzeug verwendet wird. Fahrzeugnavigationssysteme sind entscheidend für die Entwicklung der Fahrzeugautomatisierung, d. h. für selbstfahrende Autos. Typischerweise verwendet ein Fahrzeugnavigationssystem ein Satellitennavigationsgerät, um seine Positionsdaten zu erhalten, die dann mit der Position des Fahrzeugs relativ zu einem umgebenden geografischen Gebiet korreliert werden. Basierend auf diesen Informationen kann, wenn eine Wegbeschreibung zu einem bestimmten Wegpunkt benötigt wird, eine Routenführung zu einem solchen Ziel berechnet werden. On-the-fly-Verkehrsinformationen können verwendet werden, um die Route anzupassen.
Die aktuelle Position eines Fahrzeugs kann per Koppelnavigation berechnet werden, indem eine zuvor ermittelte Position verwendet wird und diese Position anhand bekannter oder geschätzter Geschwindigkeiten über die verstrichene Zeit und den Kurs fortgeschrieben wird. Entfernungsdaten von Sensoren, die am Antriebsstrang des Fahrzeugs angebracht sind, z. B. Gyroskop und Beschleunigungsmesser, sowie fahrzeugmontierte Radar- und optische Geräte können für eine höhere Zuverlässigkeit und zum Ausgleich von GPS-Satellitensignalverlusten und/oder Mehrwege-Interferenzen aufgrund von Straßenschluchten oder Tunneln verwendet werden. In städtischen und vorstädtischen Umgebungen werden die Standorte von Wahrzeichen, Sehenswürdigkeiten und verschiedenen Attraktionen häufig durch Schilder mit einer textlichen Beschreibung oder einem formalen Namen der Sehenswürdigkeit gekennzeichnet.
KURZFASSUNG
Ein Verfahren zur Fahrzeugnavigation unter Verwendung von Geländetexterkennung umfasst das Empfangen einer Navigationsroute durch das Gelände durch eine elektronische Steuerung, die an einem Fahrzeug angeordnet ist und Zugriff auf eine Karte des Geländes hat. Das Verfahren umfasst auch den Empfang eines Signals von einem globalen Positionierungssystem (GPS) über die Steuerung und die Verwendung des Signals zur Bestimmung einer aktuellen Position des Fahrzeugs relativ zum Gelände. Das Verfahren umfasst zusätzlich die Bestimmung einer Position eines nächsten Wegpunktes auf der Navigationsroute und relativ zur aktuellen Position des Fahrzeugs über die elektronische Steuerung. Das Verfahren umfasst auch das Erfassen und Übermitteln eines Einzelbilds, das einen Text anzeigt, der den nächsten Wegpunkt angibt, über einen am Fahrzeug angeordneten Sensor an die elektronische Steuerung. Das Verfahren umfasst zusätzlich das Korrelieren des erkannten Textes mit dem nächsten Wegpunkt auf der Geländekarte über die elektronische Steuerung. Außerdem umfasst das Verfahren das Setzen eines fahrzeuginternen Warnsignals über die elektronische Steuerung, die anzeigt, dass der erfasste Text mit dem nächsten Wegpunkt korreliert worden ist.
Das Verfahren kann auch das Bestimmen einer Entfernung von der aktuellen Position zur ermittelten Position des nächsten Wegpunkts umfassen.
Zusätzlich kann das Verfahren die Bestimmung umfassen, ob der Abstand von der aktuellen Position zur ermittelten Position des nächsten Wegpunkts innerhalb eines Schwellenabstands liegt.
Das Verfahren sieht vor, dass das fahrzeuginterne Warnsignal ausgelöst werden kann, wenn die Entfernung zwischen der aktuellen Position und der ermittelten Position des nächsten Wegpunkts innerhalb der Schwellenentfernung liegt.
Gemäß der Methode kann das Korrelieren des erkannten Textes mit dem nächsten Wegpunkt auf der Geländekarte die Verwendung einer trainierten Neuronalen Netzwerkarchitektur umfassen.
Die Architektur des neuronalen Netzwerks kann eine vereinheitlichte neuronale Netzwerkstruktur sein, die für die Erkennung des Einzelbildes konfiguriert ist. Die vereinheitlichte neuronale Netzwerkstruktur kann ein voll konvolutionelles erstes neuronales Netzwerk mit einem Bildeingang und mindestens einer Schicht enthalten, das für die Texterkennung konfiguriert ist. Die vereinheitlichte neuronale Netzwerkstruktur kann auch ein zweites neuronales Netzwerk mit einer Texteingabe und mindestens einer Schicht enthalten. In einer solchen Struktur kann eine Ausgabe von der mindestens einen Schicht des zweiten neuronalen Netzwerks mit der mindestens einen Schicht des ersten neuronalen Netzwerks zusammengeführt werden. Das erste und das zweite Neuronale Netz können zusammen trainiert werden, um eine Maskenbewertung auszugeben.
Gemäß dem Verfahren kann das Setzen der fahrzeuginternen Warnmeldung, die anzeigt, dass der erkannte Text mit dem nächsten Wegpunkt auf der Geländekarte korreliert wurde, das Projizieren eines Hervorhebungssymbols, das die Maskenbewertung darstellt, über ein Head-up-Display (HUD) auf eine Ansicht des nächsten Wegpunkts umfassen.
Das Verfahren kann auch das Bestimmen eines Sichtfelds eines Fahrzeuginsassen und das Setzen der fahrzeuginternen Warnmeldung in Reaktion auf das bestimmte Sichtfeld umfassen.
Gemäß dem Verfahren kann das Bestimmen des Sichtfeldes das Erfassen einer Ausrichtung der Augen eines Fahrzeuginsassen umfassen. In einer solchen Ausführungsform kann die fahrzeuginterne Warnmeldung die Projektion des Hervorhebungssymbols in Reaktion auf die erkannte Ausrichtung der Augen des Fahrzeuginsassen umfassen.
Gemäß dem Verfahren kann das Setzen der fahrzeuginternen Warnmeldung die Auslösung eines akustischen Signals umfassen, wenn der nächste Wegpunkt im festgelegten Sichtfeld erscheint.
Ein System zur Fahrzeugnavigation mit Geländetexterkennung, welches das oben beschriebene Verfahren verwendet, wird ebenfalls offenbart.
Die obigen Merkmale und Vorteile sowie andere Merkmale und Vorteile der vorliegenden Offenbarung werden aus der folgenden detaillierten Beschreibung der Ausführungsform(en) und der besten Art(en) zur Ausführung der beschriebenen Offenbarung leicht ersichtlich sein, wenn sie in Verbindung mit den beigefügten Zeichnungen und den beigefügten Ansprüchen betrachtet werden.
Figurenliste

1 ist eine Draufsicht auf ein Kraftfahrzeug, das ein geographisches Gebiet durchfährt; das Fahrzeug verwendet ein System zur Fahrzeugnavigation mit Geländetexterkennung gemäß der vorliegenden Offenbarung.
2 ist eine schematische Darstellung eines Blicks aus dem in 1 gezeigten Kraftfahrzeug heraus, das sich einem Einzelbild nähert das einen Text anzeigt, der auf einen angetroffenen Wegpunkt hinweist und dieses über einen am Fahrzeug angeordneten Sensor erfasst, gemäß der vorliegenden Offenbarung.
3 ist eine Darstellung der Architektur eines trainierten neuronalen Netzwerks, das vom System für die Fahrzeugnavigation unter Verwendung der Geländetexterkennung verwendet wird.
4 ist eine schematische Darstellung des Systems für die Fahrzeugnavigation, das in der Kabine des Kraftfahrzeugs arbeitet, um eine Warnmeldung zu setzen, die auf den erkannten Text hinweist, der mit dem angetroffenen Wegpunkt korreliert ist, gemäß der vorliegenden Offenbarung.
5 ist ein Flussdiagramm eines Verfahrens zur Fahrzeugnavigation unter Verwendung des in 1-4 dargestellten Systems zur Fahrzeugnavigation gemäß der vorliegenden Offenbarung.

DETAILLIERTE BESCHREIBUNG
Unter Bezugnahme auf die Zeichnungen, in denen sich gleiche Referenznummern auf gleiche Komponenten beziehen, zeigt 1 eine schematische Ansicht eines Kraftfahrzeugs 10. Wie dargestellt, hat das autonome Kraftfahrzeug 10 eine Fahrzeugkarosserie 12. Die Fahrzeugkarosserie 12 kann eine vordere Seite oder ein vorderes Ende 12-1, eine linke Karosserieseite 12-2, eine rechte Karosserieseite 12-3, eine hintere Seite oder ein hinteres Ende 12-4, eine Oberseite oder einen Abschnitt, wie z. B. ein Dach, 12-5 und eine Unterseite oder ein Fahrgestell 12-6 aufweisen. Die Fahrzeugkarosserie 12 definiert im Allgemeinen eine Kabine 12A für einen Bediener und Passagiere des Fahrzeugs 10. Das Fahrzeug 10 kann verwendet werden, um ein geografisches Gebiet zu durchqueren, das eine bestimmte Landschaft oder ein bestimmtes Gelände 14 mit zugehörigen Straßen und physischen Objekten, wie z. B. Wohnkomplexen, Geschäftsorten, Wahrzeichen, Sehenswürdigkeiten und Attraktionen, umfasst.
Wie in 1 dargestellt, kann das Fahrzeug 10 eine Vielzahl von Straßenrädern 16 aufweisen. Obwohl vier Räder 16 dargestellt sind, ist auch ein Fahrzeug mit einer geringeren oder größeren Anzahl von Rädern oder mit anderen Mitteln, wie z. B. Ketten (nicht dargestellt), zum Überqueren der Straßenoberfläche 14A oder anderer Teile des geografischen Gebiets denkbar. Beispielsweise kann das Fahrzeug 10, wie in 1 gezeigt, ein Datenerfassungs- und -verarbeitungssystem 18 verwenden, das ein Wahrnehmungs- und Leitsystem sein kann, das Mechatronik, künstliche Intelligenz und ein Multiagentensystem zur Unterstützung des Fahrzeugführers einsetzt. Das Datenerfassungs- und -verarbeitungssystem 18 kann verwendet werden, um verschiedene Objekte oder Hindernisse auf dem Weg des Fahrzeugs 10 zu erkennen. Das System 18 kann solche Merkmale und verschiedene Datenquellen für komplexe Aufgaben, insbesondere die Navigation, nutzen, um die Führung des Fahrzeugs 10 zu erleichtern, z. B. beim Durchqueren des geografischen Gebiets und des Geländes 14.
Wie in 1 dargestellt, sind als Teil des Datenerfassungs- und -verarbeitungssystems 18 ein erster Fahrzeugsensor 20 und ein zweiter Fahrzeugsensor 22 an der Fahrzeugkarosserie 12 angeordnet und werden als Datenquellen verwendet, um eine erweiterte Fahrerassistenz oder einen autonomen Betrieb des Fahrzeugs 10 zu ermöglichen. Solche Fahrzeugsensoren 20 und 22 können beispielsweise akustische oder optische Vorrichtungen umfassen, die an der Fahrzeugkarosserie 12 angebracht sind, wie in 1 gezeigt. Insbesondere können solche optischen Vorrichtungen entweder Sender oder Kollektoren/Empfänger von Licht sein, die an einer der Fahrzeugkarosserieseiten 12-1, 12-2, 12-3, 12-4, 12-5 und 12-6 angebracht sind. Die ersten und zweiten Fahrzeugsensoren 20, 22 sind als Teil des Systems 18 dargestellt und können Teil anderer Systeme sein, die vom Fahrzeug 10 verwendet werden, z. B. zur Anzeige einer 360-Grad-Ansicht der unmittelbaren Umgebung im Gelände 14. Obwohl der erste und der zweite Sensor 20, 22 hier ausdrücklich genannt werden, schließt nichts aus, dass das Datenerfassungs- und - verarbeitungssystem 18 eine größere Anzahl von Einzelsensoren einsetzt.
Insbesondere kann eine optische Vorrichtung eine Laserstrahlquelle für ein Light Detection and Ranging (LIDAR)-System oder ein Laserlichtsensor für ein adaptives Geschwindigkeitsregelsystem oder eine Kamera sein, die Videodateien erzeugen kann. In einer beispielhaften Ausführungsform des Systems 18 kann der erste Fahrzeugsensor 20 eine Kamera und der zweite Fahrzeugsensor 22 ein LIDAR sein. Im Allgemeinen ist jeder der ersten und zweiten Fahrzeugsensoren 20, 22 so konfiguriert, dass er die unmittelbare Umgebung des Geländes 14 erfasst, einschließlich beispielsweise eines Objekts 24, das sich außerhalb des Fahrzeugs 10 befindet. Bei dem Objekt 24 kann es sich um einen bestimmten Punkt von Interesse handeln, z. B. eine Landmarke, eine Gebäudestruktur, in der ein bestimmtes Geschäft untergebracht ist, eine Straße oder eine Kreuzung, die jeweils durch ein entsprechendes Schild mit einer textlichen Beschreibung oder einem formalen Namen des betreffenden Punkts von Interesse gekennzeichnet sind.
Das Datenerfassungs- und -verarbeitungssystem 18 umfasst auch eine programmierbare elektronische Steuerung 26, die mit dem ersten und zweiten Sensor 20, 22 kommuniziert. Wie in 1 dargestellt, ist das Steuergerät 26 auf dem autonomen Fahrzeug 10 angeordnet und kann in eine zentrale Verarbeitungseinheit (CPU) 28 integriert sein. Die Steuerung 26 kann so konfiguriert sein, dass sie die erfassten Rohdaten für verschiedene Zwecke verwendet, z.B. um eine 360-Grad-Ansicht des Geländes 14 zu erstellen, um Wahrnehmungsalgorithmen auszuführen usw. Die Steuerung 26 umfasst einen Speicher, der materiell und nichtflüchtig ist. Der Speicher kann ein beschreibbares Medium sein, das an der Bereitstellung von computerlesbaren Daten oder Prozessanweisungen beteiligt ist. Ein solches Medium kann viele Formen annehmen, einschließlich, aber nicht beschränkt auf nichtflüchtige Medien und flüchtige Medien. Nichtflüchtige Medien, die von der Steuerung 26 verwendet werden, können z. B. optische oder magnetische Festplatten und andere dauerhafte Speicher sein. Die Steuerung 26 enthält einen Algorithmus, der als elektronische Schaltung, z. B. FPGA, oder als in einem nichtflüchtigen Speicher gespeicherter Algorithmus implementiert sein kann. Zu den flüchtigen Medien des Speichers der Steuerung 26 kann z. B. ein dynamischer Direktzugriffsspeicher (DRAM) gehören, der einen Hauptspeicher darstellen kann.
Die Steuerung 26 kann mit dem jeweiligen ersten und zweiten Sensor 20, 22 über ein Übertragungsmedium kommunizieren, einschließlich Koaxialkabel, Kupferdraht und Lichtwellenleiter, einschließlich der Drähte in einem Systembus, der eine bestimmte Steuerung mit einem einzelnen Prozessor verbindet. Der Speicher der Steuerung 26 kann auch eine flexible Platte, eine Festplatte, ein Magnetband, ein anderes magnetisches Medium, eine CD-ROM, eine DVD, ein anderes optisches Medium usw. umfassen. Die Steuerung 26 kann mit einem Hochgeschwindigkeits-Primärtaktgeber, erforderlichen Analog-zu-Digital- (A/D) und/oder Digitalzu-Analog- (D/A) Schaltungen, Eingangs-/Ausgangsschaltungen und -geräten (E/A) sowie geeigneten Signalaufbereitungs- und/oder Pufferschaltungen ausgestattet sein. Algorithmen, die von der Steuerung 26 benötigt werden oder auf die dieser zugreifen kann, können im Speicher der Steuerung gespeichert und automatisch ausgeführt werden, um die erforderliche Funktionalität bereitzustellen. Die Steuerung 26 kann so konfiguriert, d. h. strukturiert und programmiert sein, dass er erfasste Rohdatensignale empfängt und verarbeitet, die von den jeweiligen ersten und zweiten Sensoren 20, 22 gesammelt wurden.
Wie dargestellt, enthält die elektronische Steuerung 26 ein Navigationsmodul 30. Physisch kann das Navigationsmodul 30 getrennt vom Steuergerät 26 angeordnet sein oder darin untergebracht sein. Das Navigationsmodul 30 umfasst eine in seinem Speicher gespeicherte Karte 32 des geografischen Gebiets mit dem Gelände 14 und ist im Allgemeinen so konfiguriert, dass es Navigationsrouten zur Führung des Fahrzeugs 10 durch das Gelände 14 erstellt. Das Navigationsmodul 30 ist so konfiguriert, dass es eine Navigationsroute 34 zu einem bestimmten Ziel 36 durch das Gelände 14 bestimmt, beispielsweise nach einer Aufforderung zur Bestimmung der betreffenden Route durch einen Bediener des Fahrzeugs 10. Die Steuerung 26 ist speziell konfiguriert, um auf die Navigationsroute 34 im Navigationsmodul 30 zuzugreifen oder die Navigationsroute von dort zu empfangen. Das Navigationsmodul 30 ist im Allgemeinen so konfiguriert, dass es die ermittelte Navigationsroute 34 ausgibt und die Route auf einem in der Fahrzeugkabine 12A angeordneten Navigationsbildschirm 39 (in 4 dargestellt) anzeigt.
Wie hierin definiert, umfasst das Datenerfassungs- und -verarbeitungssystem 18 auch ein globales Positionierungssystem (GPS) 38 mit erdumlaufenden Satelliten in Kommunikation mit dem Navigationsmodul 30. Die Steuerung 26 ist so konfiguriert, dass sie vom GPS 38, beispielsweise über das Navigationsmodul 30, Signal(e) 38A empfängt, die eine aktuelle Position des/der GPS-Satelliten relativ zum Fahrzeug 10 angeben. Die Steuerung 26 ist außerdem so konfiguriert, dass sie das/die Signal(e) 38A verwendet, um eine aktuelle Position 40 des Fahrzeugs 10 relativ zum Gelände 14 zu bestimmen. Im Allgemeinen sendet jeder GPS-Satellit kontinuierlich ein Funksignal aus, das die aktuelle Zeit und die Position des Satelliten angibt. Da die Geschwindigkeit der Funkwellen konstant und unabhängig von der Geschwindigkeit des GPS-Satelliten ist, ist die Zeitverzögerung zwischen dem Zeitpunkt, an dem der Satellit ein Signal sendet und der Empfänger es empfängt, proportional zur Entfernung des Satelliten zum Empfänger. Das Navigationsmodul 30 überwacht typischerweise mehrere Satelliten und löst Gleichungen, um die genaue Position des Fahrzeugs 10 und deren Abweichung von der wahren Zeit zu bestimmen. Das Navigationsmodul 30 benötigt im Allgemeinen mindestens vier GPS-Satelliten in Sichtweite, damit das Modul drei Positionskoordinaten und die Abweichung der Uhr von der Satellitenzeit berechnen kann.
Die Steuerung 26 ist zusätzlich konfiguriert, um eine Position 42 eines nächsten Wegpunkts 44, beispielsweise des externen Objekts 24, auf der Navigationsroute 34 und relativ zur aktuellen Position 40 des Fahrzeugs 10 zu bestimmen. Die Steuerung 26 ist außerdem so konfiguriert, dass sie eine Testabfrage an den Sensor 20 stellt und von diesem ein Einzelbild 46 empfängt, das einen Text 48 anzeigt, der den nächsten Wegpunkt 42 angibt. Der Text 48 auf dem Einzelbild 46 kann z.B. ein oder mehrere Wörter auf einem Verkehrs-, Straßen- oder Geschäftsschild sein. Die Steuerung 26 ist zusätzlich konfiguriert, um den erkannten Text 48 zu erkennen und mit dem nächsten Wegpunkt 44 auf der Karte 32 des Geländes 14 zu korrelieren. Darüber hinaus ist die Steuerung 26 so konfiguriert, dass es eine fahrzeuginternen Warnmeldung 50 auslöst, die anzeigt, dass der erkannte Text 48 mit dem nächsten Wegpunkt 44 korreliert wurde.
Die elektronische Steuerung 26 kann zusätzlich konfiguriert sein, um einen Abstand 52 von der aktuellen Position 40 des Fahrzeugs 10 zu der ermittelten Position 42 des nächsten Wegpunkts 44 zu bestimmen. Die elektronische Steuerung 26 kann zusätzlich konfiguriert sein, um zu bestimmen, ob der Abstand 52 von der aktuellen Position 40 zu der ermittelten Position 42 innerhalb eines Schwellenabstands 54 liegt. Die Steuerung 26 kann ferner so konfiguriert sein, dass es die Warnmeldung 50 setzt, wenn die aktuelle Position 40 des Fahrzeugs 10 innerhalb des Schwellenabstands 54 zum nächsten Wegpunkt 44 liegt und der Text 48 mit dem nächsten Wegpunkt korreliert ist. Die Warnung 50 kann auf verschiedene Weise akustisch und/oder visuell gesetzt werden, die jeweils so konfiguriert sind, dass sie dem Fahrzeugführer anzeigen, dass sich das Fahrzeug 10 dem nächsten Wegpunkt 44 nähert.
Mit fortgesetztem Bezug auf 1 kann die elektronische Steuerung 26 eine trainierte neuronale Netzwerkarchitektur 55 verwenden, um Text- und Bilddaten zu erkennen, die vom ersten Sensor 20 erfasst werden, während sich das Fahrzeug 10 entlang der Navigationsroute 34 durch das Gelände 14 bewegt. Insbesondere kann die elektronische Steuerung 26 so konfiguriert sein, dass sie den erkannten Text 48 über eine trainierte Neuronale Netzwerkarchitektur 55 mit dem nächsten Wegpunkt 44 korreliert. Wie in 3 gezeigt, kann die Architektur des Neuronalen Netzes 55 eine vereinheitlichte Struktur des Neuronalen Netzes sein, die so konfiguriert ist, dass sie das Einzelbild 46 rekonstruiert. Gemäß der vorliegenden Offenbarung kann die vereinheitlichte neuronale Netzwerkstruktur ein zweidimensionales, voll-konvolutionelles erstes neuronales Netzwerk 56 mit einer ersten (Bild-)Eingabe 56-1, das so konfiguriert ist, dass es den Text 48 erkennt, und ein eindimensionales, konvolutionelles zweites neuronales Netzwerk 58 mit einer zweiten (TextEingabe 58-1 umfassen.
Im Allgemeinen werden konvolutionelle Neuronale Netze für die Bilderkennung verwendet. Konvolutionelle Neuronale Netze verwenden vollständig verbundene konvolutionelle Schichten, die durch Lernen eines kleinen Satzes von Gewichtungen arbeiten, die nacheinander als Filter auf kleine Teile des Bildes angewendet werden. Die Gewichtungen werden (in den konvolutionellen Schichten) in einer kleinen Matrix (oft 3x3) gespeichert, die mit jedem Pixel punktproduziert wird, d.h. die skalaren Größen werden multipliziert, um einen neuen Pixel zu erzeugen, und fungieren somit als Bildfilter. Die von jedem Neuron/Filter in einer konvolutionellen Schicht erzeugten neuen Bilder werden dann kombiniert und als Eingaben an jedes Neuron in der nächsten Schicht weitergegeben, und so weiter, bis das Ende des neuronalen Netzes erreicht ist. Am Ende eines konvolutionellen neuronalen Netzwerks befindet sich oft eine einzelne dichte Schicht, um die Bildausgabe der letzten konvolutionellen Schicht in die numerische Klassenvorhersage umzuwandeln, für die das neuronale Netzwerk trainiert wird. Ein voll-konvolutionelles neuronales Netzwerk ist ähnlich wie ein konvolutionelles neuronales Netzwerk, aber ohne voll-verbundene Schichten, d. h. es besteht nur aus konvolutionellen Schichten und möglicherweise einigen Max-Pooling-Schichten. Die Ausgabeschicht eines vollfunktionsfähigen neuronalen Netzes ist eine konvolutionelle Schicht, und die Ausgabe eines solchen neuronalen Netzes ist daher ein Bild.
Wie dargestellt, enthält das erste neuronale Netzwerk 56 mehrere Schichten 56-2, während das zweite neuronale Netzwerk 58 mehrere Schichten 58-2 enthält. Die Ausgänge von mehreren Schichten 58-2 werden mit den entsprechenden Schichten 56-2 im ersten neuronalen Netzwerk 56 unter Verwendung von mindestens einer vollständig verbundenen Schicht 58-2A zusammengeführt. Die von den Schichten 58-2 erzeugten diskreten Werte können elementweise zu den entsprechenden Schichten 56-2 hinzugefügt werden, d. h. einzeln, Element für Element. Das erste neuronale Netzwerk 56 und das zweite neuronale Netzwerk 58 werden zusammen trainiert, um einen Maskenwert 60 auszugeben, bei dem der erkannte Text 48 auf dem erkannten Einzelbild 46 liegt. Obwohl das zweite neuronale Netzwerk 58 hier speziell als ein eindimensionales konvolutionelles Modell offenbart wird, kann auch ein bidirektionales rekurrentes neuronales Netzwerk oder ein anderes Wortdarstellungsmodell verwendet werden.
Wie in 4 gezeigt, kann die elektronische Steuerung 26 zusätzlich so konfiguriert sein, dass sie ein Sichtfeld 62 aus dem Blickwinkel des Bedieners oder eines anderen vorbestimmten Insassen des Fahrzeugs 10 bestimmt und die fahrzeuginterne Warnmeldung 50 in Abhängigkeit von dem bestimmten Sichtfeld setzt. Das Sichtfeld 62 kann über die Erkennung der Ausrichtung 64 der Augen des Fahrzeuginsassen bestimmt werden, z. B. durch Punktabtastung über einen MEMS-Spiegel 66 und Laser-LEDs 68, die z. B. in das Armaturenbrett 12B oder die A-Säule 12C des Fahrzeugs eingebettet sind. Alternativ kann die Erkennung der Ausrichtung 64 der Augen des Fahrzeuginsassen über eine fahrzeuginterne Kamera eines Fahrerüberwachungssystems erfolgen, die z. B. im Armaturenbrett 12B, der A-Säule 12C oder an einer Lenkradsäule 12D positioniert ist.
Das Datenerfassungs- und -verarbeitungssystem 18 kann ein Head-up-Display (HUD) 70 umfassen, das im Allgemeinen dazu dient, ausgewählte Fahrzeugdaten in die Kabine 12A zu projizieren, um den Fahrzeugführer darüber zu informieren. Insbesondere kann die elektronische Steuerung 26 die fahrzeuginterne Warnmeldung 50 mit Hilfe des HUD 70 so einstellen, dass ein visuelles Signal, wie z. B. ein für den Maskenwert 60 repräsentatives Markierungssymbol 60A, auf eine Ansicht des nächsten Wegpunkts 44 projiziert wird. Ein solches visuelles Signal kann z. B. auf eine Ansicht des nächsten Wegpunkts 44 in einer Fahrzeugwindschutzscheibe 72 oder einem der Seitenfenster 74 projiziert werden, und zwar in Abhängigkeit von der erkannten Ausrichtung der Augen des Fahrzeuginsassen, d. h. wenn der nächste Wegpunkt 44 in das Sichtfeld 62 kommt. Zusätzlich zum HUD 70 kann das Hervorhebungssymbol 60A über einen MEMS-Spiegel 66 und Leuchtdioden (LEDs) 68 projiziert werden, die in das Armaturenbrett 12B oder die A-Säule 12C des Fahrzeugs eingelassen sind und von der Windschutzscheibe 72 in das Sichtfeld 62 des Fahrzeuginsassen reflektiert werden.
Um die Projektion des Symbols 60A auf die Ansicht des nächsten Wegpunkts 44 zu beeinflussen und dadurch das entsprechende externe Objekt 24 hervorzuheben, kann das Fahrzeug 10 in einem bestimmten Beispiel eine fluoreszierende Folie 76 mit Laseranregung enthalten, die an der Windschutzscheibe 72 des Fahrzeugs angebracht ist (dargestellt in 4). In einer anderen Ausführungsform kann die fahrzeuginterne Warnmeldung 50 durch Auslösen eines akustischen Signals, z. B. über die Audiolautsprecher 78 des Fahrzeugs, erfolgen, um anzuzeigen, dass sich das Fahrzeug 10 dem nächsten Wegpunkt 44 nähert, entweder als eigenständige Maßnahme oder begleitend zu dem oben beschriebenen visuellen Signal. Zusätzlich kann die elektronische Steuerung 26 so konfiguriert sein, dass die fahrzeuginterne Warnmeldung 50 durch Hervorheben des nächsten Wegpunkts auf der Navigationsroute 34, die auf dem Navigationsbildschirm 39 angezeigt wird, ausgelöst wird, wenn der nächste Wegpunkt 44 im ermittelten Sichtfeld 62 erscheint.
5 zeigt ein Verfahren 100 zur Fahrzeugnavigation unter Verwendung von Geländetexterkennung, das von dem Fahrzeugdatenerfassungs- und -verarbeitungssystem 18 verwendet wird, wie oben in Bezug auf die 1-4 beschrieben. Das Verfahren 100 kann über das System 18 unter Verwendung der elektronischen Steuerung 26, die mit entsprechenden Algorithmen programmiert ist, durchgeführt werden. Das Verfahren 100 beginnt im Feld 102 mit dem Empfang der Navigationsroute 34 durch das Gelände 14 über die elektronische Steuerung 26. Nach Rahmen 102 geht das Verfahren zu Feld 104 über, wo das Verfahren den Empfang eines Signals 38A vom GPS 38 über die elektronische Steuerung 26 und die Verwendung des Signals 38A zur Bestimmung der aktuellen Position 40 des Fahrzeugs 10 relativ zum Gelände 14 umfasst. Nach dem Feld 104 schreitet das Verfahren zum Feld 106 fort. In Feld 106 umfasst das Verfahren die Bestimmung der Position 42 des nächsten Wegpunkts 44 auf der Navigationsroute 34 über die elektronische Steuerung 26.
Nach dem Feld 106 kann das Verfahren zum Feld 108 oder zum Feld 112 übergehen. In Feld 108 kann das Verfahren die Bestimmung des Abstands 52 von der aktuellen Position zur bestimmten Position 42 des nächsten Wegpunkts 44 umfassen und dann zu Feld 110 übergehen, um zu bestimmen, ob der Abstand 52 zur Position 42 innerhalb des Schwellenabstands 54 liegt. Wenn festgestellt wird, dass der Abstand 52 zur ermittelten Position 42 des nächsten Wegpunkts 44 außerhalb des Schwellenabstands 54 liegt, kann das Verfahren zum Feld 106 zurückkehren. Wenn andererseits festgestellt wird, dass der Abstand 52 von der aktuellen Position zur Position 42 des nächsten Wegpunkts 44 innerhalb des Schwellenabstands 54 liegt, kann das Verfahren zum Feld 112 weitergehen. In Feld 112 umfasst das Verfahren das Erfassen und Übermitteln des Einzelbilds 46, der den Text 48 anzeigt, der den nächsten Wegpunkt 44 angibt, über den Sensor 20 an die elektronische Steuerung 26.
Nach Feld 112 geht das Verfahren zu Feld 114 über. In Feld 114 umfasst das Verfahren das Korrelieren des erkannten Textes 48 mit dem nächsten Wegpunkt 44 auf der Karte 32 des Geländes 14 über die elektronische Steuerung 26. Gemäß dem Verfahren kann das Korrelieren des erkannten Textes 48 mit dem nächsten Wegpunkt 44 die Verwendung der trainierten Architektur des Neuronalen Netzes 55 umfassen. Wie oben in Bezug auf 3 beschrieben, kann die Architektur des neuronalen Netzes 55 eine vereinheitlichte Struktur des neuronalen Netzes sein, die so konfiguriert ist, dass sie das Einzelbild 46 erkennt, und ein voll-konvolutionelles erstes neuronales Netz 56, das einen Bildeingang 56-1 hat und so konfiguriert ist, dass es den erkannten Text 48 erkennt, und ein konvolutionelles zweites neuronales Netz 58, das einen Texteingang 58-1 hat, umfasst. Sowohl das erste neuronale Netzwerk als auch das zweite neuronale Netzwerk können jeweils mehrere Schichten 56-2, 58-2 umfassen. Die Ausgänge von mehreren Schichten 58-2 können mit den entsprechenden mehreren Schichten 56-2 unter Verwendung der vollständig verbundenen Schicht(en) 58-2A zusammengeführt werden. Wie oben beschrieben, sollen das erste und das zweite Neuronale Netz 56, 58 zusammen trainiert werden, um die Maskenbewertung 60 auszugeben, bei der sich der erkannte Text 48 auf dem erkannten Einzelbild 46 befindet. Nach Bild 114 geht das Verfahren zu Bild 116 über.
Im Feld 116 umfasst das Verfahren das Setzen der fahrzeuginterne Warnmeldung 50 über die elektronische Steuerung 26, die anzeigt, dass der erkannte Text 48 mit dem nächsten Wegpunkt 44 korreliert wurde. Dementsprechend kann das Setzen der fahrzeuginternen Warnmeldung 50 erfolgen, wenn der Abstand 52 von der aktuellen Position zur ermittelten Position 42 des nächsten Wegpunkts 44 innerhalb des Schwellenabstands 54 liegt. Darüber hinaus kann das Setzen der fahrzeuginternen Warnmeldung 50 das Projizieren des Hervorhebungssymbols 60A, das den Maskenwert 60 darstellt, über das HUD 70 auf die Ansicht des nächsten Wegpunkts 44 umfassen. Zusätzlich kann das Verfahren in Feld 116 die Bestimmung des Sichtfelds 62 eines Fahrzeuginsassen und das Setzen der fahrzeuginternen Warnmeldung 50 in Reaktion auf das bestimmte Sichtfeld umfassen.
Wie oben in Bezug auf 4 beschrieben, kann die Bestimmung des Sichtfelds 62 die Erkennung der Ausrichtung 64 der Augen des Fahrzeuginsassen umfassen, und das Setzen der fahrzeuginternen Warnmeldung 50 kann dann die Projektion des Hervorhebungssymbols 60A in Reaktion auf die erkannte Augenausrichtung umfassen. Alternativ kann das Setzen der fahrzeuginternen Warnmeldung 50 z. B. die Auslösung eines akustischen Signals umfassen, wenn der nächste Wegpunkt 44 im ermittelten Sichtfeld 62 erscheint. Nach Abschluss des Setzens der fahrzeuginternen Warnmeldung 50 in Feld 116 kann das Verfahren zum Feld 104 zurückkehren, um die Bestimmung der Position des Fahrzeugs 10 entlang der Route 34 fortzusetzen und anschließend die Position eines neuen Wegpunkts und eine weitere Textabfrage zu bestimmen. Alternativ kann das Verfahren, wenn z. B. das Fahrzeug sein gewähltes Ziel erreicht hat, nach Feld 116 in Feld 118 abgeschlossen werden.
Die ausführliche Beschreibung und die Zeichnungen oder Figuren sind unterstützend und beschreibend für die Offenbarung, aber der Umfang der Offenbarung wird ausschließlich durch die Ansprüche definiert. Während einige der besten Modi und andere Ausführungsformen zur Ausführung der beanspruchten Offenbarung im Detail beschrieben wurden, gibt es verschiedene alternative Ausführungen und Ausführungsformen zum Ausführen der in den beigefügten Ansprüchen definierten Offenbarung. Darüber hinaus sind die in den Zeichnungen dargestellten Ausführungsformen oder die in der vorliegenden Beschreibung erwähnten Merkmale verschiedener Ausführungsformen nicht unbedingt als voneinander unabhängige Ausführungsformen zu verstehen.
Vielmehr ist es möglich, dass jedes der in einem der Ausführungsbeispiele beschriebenen Merkmale mit einem oder mehreren anderen gewünschten Merkmalen anderer Ausführungsformen kombiniert werden kann, was zu anderen Ausführungsformen führt, die nicht in Worten oder durch Bezugnahme auf die Zeichnungen beschrieben sind. Dementsprechend fallen solche anderen Ausführungsformen in den Umfang des Anwendungsbereichs der beigefügten Ansprüche.

Claims

Verfahren zur Fahrzeugnavigation unter Verwendung von Geländetexterkennung, wobei das Verfahren umfasst: Empfangen einer Navigationsroute durch das Gelände über eine elektronische Steuerung, die an einem Fahrzeug angeordnet ist und Zugriff auf eine Karte des Geländes hat; Empfangen eines Signals von einem globalen Positionierungssystem (GPS) über die elektronische Steuerung und Verwenden des Signals zur Bestimmung einer aktuellen Position des Fahrzeugs relativ zum Gelände; Bestimmen einer Position eines nächsten Wegpunktes auf der Navigationsroute und relativ zur aktuellen Position des Fahrzeugs durch die elektronische Steuerung; Erfassen und Übermitteln eines Einzelbildes, das einen Text zeigt, der den nächsten Wegpunkt angibt, über einen am Fahrzeug angeordneten Sensor an die elektronische Steuerung; Korrelieren des erkannten Textes mit dem nächsten Wegpunkt auf der Karte des Geländes durch die elektronische Steuerung; und Einstellung einer fahrzeuginternen Warnmeldung, die anzeigt, dass der erkannte Text mit dem nächsten Wegpunkt korreliert wurde durch die elektronische Steuerung.
Verfahren nach Anspruch 1, ferner umfassend das Bestimmen einer Entfernung von der aktuellen Position zu der bestimmten Position des nächsten Wegpunkts durch die elektronische Steuerung.
Verfahren nach Anspruch 2, ferner umfassend das Bestimmen ob die Entfernung von der aktuellen Position zu der bestimmten Position des nächsten Wegpunkts innerhalb einer Schwellenentfernung liegt durch die elektronische Steuerung.
Verfahren nach Anspruch 3, wobei das Setzen der fahrzeuginternen Warnmeldung durchgeführt wird, wenn die Entfernung von der aktuellen Position zu der ermittelten Position des nächsten Wegpunkts innerhalb der Schwellenentfernung liegt.
Verfahren nach Anspruch 1, wobei das Korrelieren des erfassten Textes mit dem nächsten Wegpunkt auf der Karte des Geländes die Verwendung einer trainierten Neuronalen Netzwerkarchitektur umfasst.
Verfahren nach Anspruch 5, wobei die Architektur des Neuronalen Netzwerks eine vereinheitlichte Struktur des Neuronalen Netzes ist, die so konfiguriert ist, dass sie das Einzelbild erkennt und Folgendes umfasst: ein voll-konvolutionelles erstes neuronales Netzwerk mit einem Bildeingang und mindestens einer Schicht, das zum Erkennen des Textes konfiguriert ist; und ein konvolutionelles zweites neuronales Netzwerk mit einer Texteingang und mindestens einer Schicht; und wobei eine Ausgabe von der mindestens einen Schicht des zweiten neuronalen Netzes mit der mindestens einen Schicht des ersten neuronalen Netzes zusammengeführt wird und das erste und das zweite neuronale Netz zusammen trainiert werden, um eine Maskenbewertung auszugeben.
Verfahren nach Anspruch 6, wobei das Setzen der fahrzeuginternen Warnmeldung, die anzeigt, dass der erkannte Text mit dem nächsten Wegpunkt auf der Geländekarte korreliert wurde, das Projizieren eines Hervorhebungssymbols, das den Maskenwert repräsentiert, über ein Head-up-Display (HUD) auf eine Ansicht des nächsten Wegpunkts umfasst.
Verfahren nach Anspruch 7, ferner umfassend das Bestimmen eines Sichtfeldes eines Insassen des Fahrzeugs und das Setzen der fahrzeuginternen Warnmeldung in Reaktion auf das bestimmte Sichtfeld.
Verfahren nach Anspruch 8, wobei das Bestimmen des Sichtfeldes das Erfassen einer Ausrichtung der Augen des Insassen umfasst und das Setzen der fahrzeuginternen Warnmeldung das Projizieren des Hervorhebungssymbols in Reaktion auf die erfasste Ausrichtung der Augen des Fahrzeuginsassen umfasst.
Verfahren nach Anspruch 8, wobei das Setzen der Fahrzeuginternen Warnmeldung das Auslösen eines akustischen Signals umfasst, wenn der nächste Wegpunkt im ermittelten Sichtfeld erscheint.