DE112019007451T5

DE112019007451T5 - Hochpräzises Verfahren sowie Gerät zur Fahrzeugpositionierung in mehreren Szenen, und fahrzeugmontiertes Terminal

Info

Publication number: DE112019007451T5
Application number: DE112019007451.2T
Authority: DE
Inventors: Zenan Shi; Xiubao Jiang; Guofu XIE
Original assignee: Momenta Suzhou Technology Co Ltd
Current assignee: Momenta Suzhou Technology Co Ltd
Priority date: 2019-07-26
Filing date: 2019-10-26
Publication date: 2022-03-10
Also published as: CN112304302B; CN112304302A; WO2021017212A1

Abstract

Die vorliegende Erfindung offenbart ein hochpräzises Verfahren zur Fahrzeugpositionierung in mehreren Szenen und ein fahrzeugmontiertes Terminal. Das Verfahren umfasst: (S110) Bestimmen einer Fahrzeugstellung abhängig von MU-Daten und Satellitendaten, wenn ein Fahrzeug im Freien fährt; (S120) Bestimmen, abhängig von einem Straßenmerkmal in einem ersten Parkplatzbild, das in einem ersten Initialisierungsbereich erfasst ist, einer ersten Startstellung zum Starten einer visuellen Positionierung, wenn das Fahrzeug vom Freien in den ersten Initialisierungsbereich am Eingang eines Parkplatzes einfährt; (S130) Bestimmen einer Fahrzeugstellung des Fahrzeugs basierend auf den IMU-Daten, der ersten Startstellung und einem Abgleichergebnis zwischen dem Straßenmerkmal in dem ersten Parkplatzbild und einem Straßenmerkmal in einer voreingestellten Karte; (S140) Erhalten, wenn bestimmt wird, dass sich die visuelle Positionierung in einem Startzustand befindet, und wenn abhängig von der Fahrzeugstellung bestimmt wird, dass das Fahrzeug auf dem Parkplatz fährt, eines durch die Kameravorrichtung erfassten Parkplatzbilds, Erhalten der letzten Fahrzeugstellung, und Bestimmen einer Fahrzeugstellung des Fahrzeugs basierend auf den IMU-Daten, der letzten Fahrzeugstellung und einem Abgleichergebnis zwischen einem Straßenmerkmal in dem Parkplatzbild und einem Straßenmerkmal in der voreingestellten Karte; (S150) Bestimmen einer Fahrzeugstellung des Fahrzeugs basierend auf den IMU-Daten und den Satellitendaten, wenn bestimmt wird, dass das Fahrzeug vom Parkplatz ins Freie fährt. Durch Anwenden der von den Ausführungsbeispielen der vorliegenden Erfindung bereitgestellten Ausgestaltungen kann eine genaue Positionierung von Fahrzeugen in verschiedenen Szenen und beim Umschalten zwischen verschiedenen Szenen realisiert werden.

Description

TECHNISCHES GEBIET
Die vorliegende Erfindung bezieht sich auf das technische Gebiet des intelligenten Fahrens, insbesondere auf ein hochpräzises Verfahren sowie ein Gerät zur Fahrzeugpositionierung in mehreren Szenen, und ein fahrzeugmontiertes Terminal.
STAND DER TECHNIK
Im technischen Gebiet des intelligenten Fahrens stellt die Positionierung von Fahrzeugen einen wichtigen Bestandteil des intelligenten Fahrens dar. Im Allgemeinen kann beim Fahren eines Fahrzeugs die Fahrzeugstellung basierend auf Daten bestimmt werden, die vom Globalen Satellitennavigationssystem (GNSS, En: Global Navigation Satellite System) erfasst werden. Bei tatsächlichen Anwendungen kann das Fahrzeug jedoch in verschiedenen Szenen fahren. Beispielsweise kann das Fahrzeug im Freien, auf einem oberirdischen Parkplatz oder einem Tiefgaragenparkplatz usw. fahren. Bei verschiedenen Szenen ist es offensichtlich, dass ein einzelnes Positionierungsverfahren die Positionierungsanforderungen der Fahrzeugstellung beim intelligenten Fahren nicht erfüllen kann. Daher besteht ein dringender Bedarf an einem hochpräzisen Positionierungsverfahren, das an mehreren Szenarien angepasst werden kann.
INHALT DER VORLIEGENDEN ERFINDUNG
Die vorliegende Erfindung stellt ein hochpräzises Verfahren zur Fahrzeugpositionierung in mehreren Szenen und ein fahrzeugmontiertes Terminal bereit, um eine genaue Positionierung des Fahrzeugs in verschiedenen Szenen und beim Umschalten zwischen verschiedenen Szenen zu realisieren. Die konkreten technischen Ausgestaltungen sind im Folgenden beschrieben.
Gemäß einem ersten Aspekt wird in einem Ausführungsbeispiel der vorliegenden Anmeldung ein Hochpräzises Verfahren zur Fahrzeugpositionierung in mehreren Szenen offenbart, das umfasst:

Erhalten, wenn ein Fahrzeug im Freien fährt, von IMU-Daten, die durch eine Trägheitsmesseinheit IMU erfasst sind, und von Satellitendaten, die durch eine Satellitenpositionierungseinheit GNSS erfasst sind, und Bestimmen einer Fahrzeugstellung abhängig von den IMU-Daten und den Satellitendaten;
Erhalten, wenn abhängig von der Fahrzeugstellung bestimmt wird, dass das Fahrzeug vom Freien in einen an einem Eingang eines Parkplatzes voreingestellten ersten Initialisierungsbereich einfährt, eines ersten Parkplatzbildes, das durch eine Kameravorrichtung in dem ersten Initialisierungsbereich erfasst ist, und Bestimmen, abhängig von einem Straßenmerkmal im ersten Parkplatzbild, einer ersten Startstellung zum Starten einer visuellen Positionierung;
Bestimmen einer Fahrzeugstellung des Fahrzeugs basierend auf den IMU-Daten, der ersten Startstellung und einem Abgleichergebnis zwischen dem Straßenmerkmal in dem ersten Parkplatzbild und einem Straßenmerkmal in einer voreingestellten Karte;
Erhalten, wenn bestimmt wird, dass sich die visuelle Positionierung in einem Startzustand befindet, und wenn abhängig von der Fahrzeugstellung bestimmt wird, dass das Fahrzeug auf dem Parkplatz fährt, eines durch die Kameravorrichtung erfassten Parkplatzbilds, Erhalten der letzten Fahrzeugstellung, und Bestimmen einer Fahrzeugstellung des Fahrzeugs basierend auf den IMU-Daten, der letzten Fahrzeugstellung und einem Abgleichergebnis zwischen einem Straßenmerkmal in dem Parkplatzbild und einem Straßenmerkmal in der voreingestellten Karte;

Zurückkehren zum Schritt des „Erhaltens von IMU-Daten, die durch eine Trägheitsmesseinheit IMU erfasst sind, und von Satellitendaten, die durch eine Satellitenpositionierungseinheit GNSS erfasst sind“, wenn abhängig von der Fahrzeugstellung bestimmt wird, dass das Fahrzeug vom Parkplatz ins Freie fährt.
Gemäß einem zweiten Aspekt wird in einem Ausführungsbeispiel der vorliegenden Anmeldung ein fahrzeugmontiertes Terminal offenbart, das einen Prozessor, eine Kameravorrichtung, eine IMU und eine GNSS umfasst, wobei der Prozessor ein Outdoor-Positionierungsmodul, ein Bestimmungsmodul zum Starten, ein erstes visuelles Positionierungsmodul, ein zweites visuelles Positionierungsmodul und ein Szenenumschaltmodul umfasst;
wobei das Outdoor-Positionierungsmodul zum Erhalten, wenn ein Fahrzeug im Freien fährt, von IMU-Daten, die durch eine Trägheitsmesseinheit IMU erfasst sind, und von Satellitendaten, die durch eine Satellitenpositionierungseinheit GNSS erfasst sind, und zum Bestimmen einer Fahrzeugstellung abhängig von den IMU-Daten und den Satellitendaten dient;
wobei das Aktivierbestimmungsmodul zum Erhalten, wenn abhängig von der Fahrzeugstellung bestimmt wird, dass das Fahrzeug vom Freien in einen an einem Eingang eines Parkplatzes voreingestellten ersten Initialisierungsbereich einfährt, eines ersten Parkplatzbildes, das durch die Kameravorrichtung in dem ersten Initialisierungsbereich erfasst ist, und zum Bestimmen, abhängig von einem Straßenmerkmal im ersten Parkplatzbild, einer ersten Startstellung zum Starten einer visuellen Positionierung dient;
wobei das erste visuelle Positionierungsmodul zum Bestimmen einer Fahrzeugstellung des Fahrzeugs basierend auf den IMU-Daten, der ersten Startstellung und einem Abgleichergebnis zwischen dem Straßenmerkmal in dem ersten Parkplatzbild und einem Straßenmerkmal in einer voreingestellten Karte dient;
wobei das zweite visuelle Positionierungsmodul zum Erhalten, wenn bestimmt wird, dass sich die visuelle Positionierung in einem Startzustand befindet, und wenn abhängig von der Fahrzeugstellung bestimmt wird, dass das Fahrzeug auf dem Parkplatz fährt, eines durch die Kameravorrichtung erfassten Parkplatzbilds, zum Erhalten der letzten Fahrzeugstellung, und zum Bestimmen einer Fahrzeugstellung des Fahrzeugs basierend auf den IMU-Daten, der letzten Fahrzeugstellung und einem Abgleichergebnis zwischen einem Straßenmerkmal in dem Parkplatzbild und einem Straßenmerkmal in der voreingestellten Karte dient;
wobei das Szenenumschaltmodul zum Zurückkehren zum Vorgang des „Erhaltens von IMU-Daten, die durch eine Trägheitsmesseinheit IMU erfasst sind, und von Satellitendaten, die durch eine Satellitenpositionierungseinheit GNSS erfasst sind“ dient, wenn abhängig von der Fahrzeugstellung bestimmt wird, dass das Fahrzeug vom Parkplatz ins Freie fährt.
Aus dem obigen Inhalt ist ersichtlich, dass das hochpräzise Verfahren zur Fahrzeugpositionierung in mehreren Szenen und das fahrzeugmontierte Terminal, die durch Ausführungsbeispiele der vorliegenden Erfindung bereitgestellt sind, die Fahrzeugstellung des Fahrzeugs abhängig von MU-Daten und Satellitendaten bestimmen kann, wenn das Fahrzeug im Freien fährt oder vom Parkplatz ins Freie fährt. Wenn das Fahrzeug vom Freien in den Eingang des Parkplatzes einfährt, wird die visuelle Positionierung im ersten Initialisierungsbereich gestartet. Wenn das Fahrzeug auf einem Parkplatz fährt, wird die Fahrzeugstellung des Fahrzeugs basierend auf den IMU-Daten, der letzten Fahrzeugstellung und dem Abgleichergebnis zwischen dem Straßenmerkmal in dem ersten Parkplatzbild und dem Straßenmerkmal in einer voreingestellten Karte bestimmt wird. In den Ausführungsbeispielen der vorliegenden Erfindung wird beim Umschalten zwischen das Fahren im Freien und das Fahren auf dem Parkplatz die Fahrzeugstellung gemäß einem entsprechenden Fahrzeugpositionierungsmodus bestimmt wird, wobei auf Parkplätzen ohne Satellitensignale die Fahrzeugpositionierung basierend auf IMU und visueller Positionsbestimmung erfolgen kann, um die Positionsgenauigkeit zu verbessern. Daher können die Ausführungsbeispiele der vorliegenden Erfindung eine genaue Positionierung von Fahrzeugen in verschiedenen Szenen und beim Umschalten zwischen verschiedenen Szenen realisieren. Selbstverständlich muss die Implementierung irgendeines Produkts oder Verfahrens der vorliegenden Erfindung nicht notwendigerweise alle oben beschriebenen Vorteile gleichzeitig erzielen.
Die erfinderischen Punkte der Ausführungsbeispiele der vorliegenden Erfindung liegen darin:

1. Wenn sich das Fahrzeug im Freien befindet, erfolgt die Positionierung abhängig von IMU-Daten und Satellitendaten. Wenn sich das Fahrzeug auf einem Parkplatz befindet, erfolgt die Positionierung basierend auf einem Abgleichen zwischen IMU und visuellen Merkmalen. Am Eingang des Parkplatzes wird die visuelle Positionierung basierend auf IMU-Daten, Satellitendaten und dem Initialisierungsbereich gestartet. Damit kann die Positionierung in verschiedenen Szenen erfolgen, und es kann auch in verschiedenen Szenen reibungslos zwischen verschiedenen Positionierungsmodi gewechselt werden.
2. Auf einem Parkplatz ohne Satellitensignal wird die Fahrzeugstellung basierend auf einer Fusion von IMU-Trajektorienberechnung und visueller Positionierung bestimmt. Die Kombination der beiden Positionierungsmodi kann die Fehler in einem einzelnen Positionierungsmodus korrigieren und das Positionierungsergebnis genauer machen.
3. Nach dem Bestimmen der visuellen Stellung wird die Genauigkeit der visuellen Stellung abhängig von dem Abbildungsfehler zwischen Straßenmerkmalen und von der vorab hergestellten Entsprechung zwischen dem Abbildungsfehler und dem Positionierungsfehler bestimmt, so dass eine Bewertung des Positionierungseffekts der visuellen Stellung ermöglicht werden kann.

Figurenliste
Um die technischen Ausgestaltungen der Ausführungsbeispiele in der vorliegenden Erfindung oder im Stand der Technik klarer zu anzugeben, werden im Folgenden die Zeichnungen kurz vorgestellt, die bei der Beschreibung der Ausführungsbeispiele oder des Stands der Technik verwendet werden müssen. Offensichtlich stellen die im Folgenden beschriebenen Zeichnungen nur einige Ausführungsbeispiele der vorliegenden Offenbarung dar. Der Durchschnittsfachmann kann auch weitere Zeichnungen auf der Grundlage dieser Zeichnungen erhalten, ohne erfinderische Arbeit zu leisten.

1 zeigt ein schematisches Ablaufdiagramm eines hochpräzisen Verfahrens zur Fahrzeugpositionierung in mehreren Szenen gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
2 zeigt eine schematische Ansicht eines Kartenbereichs im Freien und eines Kartenbereichs des Parkplatzes in einer voreingestellten Karte;
3 zeigt eine schematische Ansicht eines ersten Initialisierungsbereichs am Eingang des Parkplatzes;
4 zeigt ein schematisches Ablaufdiagramm von Schritt S140 aus 1;
5 zeigt eine schematische Ansicht verschiedener Positionspunkte in einer ersten Trajektorie und einer zweiten Trajektorie;
6 zeigt eine schematische Strukturansicht eines fahrzeugmontierten Terminals gemäß einem Ausführungsbeispiel der vorliegenden Erfindung.

AUSFÜHRLICHE BESCHREIBUNG
Die technischen Ausgestaltungen in Ausführungsbeispielen der vorliegenden Erfindung werden im Folgenden unter Bezugnahme auf die beigefügten Zeichnungen der Ausführungsbeispiele der vorliegenden Erfindung klar und vollständig beschrieben. Offensichtlich sind die beschriebenen Ausführungsbeispiele nur ein Teil der Ausführungsbeispiele der vorliegenden Erfindung und umfassen nicht alle Ausführungsbeispiele. Alle anderen Ausführungsbeispiele, die vom Durchschnittsfachmann auf der Grundlage der Ausführungsbeispiele in der vorliegenden Erfindung ohne schöpferischen Aufwand erzielt werden, sollten in den Schutzumfang der vorliegenden Erfindung fallen.
Es ist anzugeben, dass die Begriffe „umfassen“ und „aufweisen“ in den Ausführungsformen der vorliegenden Erfindung und den Zeichnungen und jegliche Variationen davon nicht ausschließliche Einschlüsse abdecken sollen. Der Prozess, das Verfahren, das System, das Produkt oder die Vorrichtung, das/die eine Reihe von Schritten oder Einheiten enthält, ist beispielsweise nicht auf die aufgeführten Schritte oder Einheiten beschränkt, sondern umfasst optional auch weitere Schritte oder Einheiten, die nicht aufgeführt sind, oder umfasst optional andere Schritte oder Einheiten, die diesem Prozess, Verfahren, Produkt oder dieser Vorrichtung innewohnen.
In den Ausführungsbeispielen der vorliegenden Erfindung sind ein hochpräzises Verfahren zur Fahrzeugpositionierung in mehreren Szenen und ein fahrzeugmontiertes Terminal offenbart, um eine genaue Positionierung des Fahrzeugs in verschiedenen Szenen und beim Umschalten zwischen verschiedenen Szenen zu realisieren. Nachfolgend werden die Ausführungsbeispiele der vorliegenden Erfindung detailliert beschrieben.
1 zeigt ein schematisches Ablaufdiagramm eines hochpräzisen Verfahrens zur Fahrzeugpositionierung in mehreren Szenen gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Dieses Verfahren ist auf eine elektronische Vorrichtung angewendet. Diese elektronische Vorrichtung kann ein gewöhnlicher Computer, ein Server oder ein intelligentes Endgerät oder ein fahrzeuginternes Terminal, wie beispielsweise ein fahrzeuginterner Computer oder ein fahrzeuginterner industrieller Steuercomputer (Industrial Personal Computer, IPC) sein. Im vorliegenden Ausführungsbeispiel umfassen Sensoren, die im Fahrzeug vorgesehen sind, eine Trägheitsmesseinheit (Inertial Measurement Unit, IMU), GNSS (Globales Navigationssatellitensystem, Global Navigation Satellite System), eine Kameravorrichtung und dergleichen. Das Verfahren kann insbesondere die folgenden Schritte umfassen.
S110: Erhalten, wenn ein Fahrzeug im Freien fährt, von IMU-Daten, die durch eine Trägheitsmesseinheit IMU erfasst sind, und von Satellitendaten, die durch eine Satellitenpositionierungseinheit GNSS erfasst sind, und Bestimmen einer Fahrzeugstellung des Fahrzeugs abhängig von den IMU-Daten und den Satellitendaten.
Die im vorliegenden Ausführungsbeispiel bestimmte Fahrzeugstellung ist eine Fahrzeugstellung in einer voreingestellten Karte. Die Fahrzeugstellung umfasst eine Fahrzeugposition und eine Fahrzeugpose. Die voreingestellte Karte kann eine im Voraus erstellte hochpräzise Karte sein. IMU und GNSS können in bestimmten Frequenzintervallen Daten erfassen.
Das Bestimmen der Fahrzeugstellung des Fahrzeugs abhängig von den IMU-Daten und Satellitendaten kann insbesondere umfassen: eine grobe Stellung des Fahrzeugs kann direkt abhängig von den Satellitendaten bestimmt werden, wobei basierend auf den IMU-Daten und der letzten Fahrzeugstellung eine Trajektorie vorhergesagt wird, wobei die IMU-Stellung zum aktuellen Zeitpunkt bestimmt wird, wobei abhängig von der IMU-Stellung die grobe Stellung korrigiert wird, so dass die Fahrzeugstellung des Fahrzeugs bestimmt werden kann, wenn sich das Fahrzeug im Freien befindet.
Im vorliegenden Ausführungsbeispiel kann abhängig von der Fahrzeugstellung beurteilt werden, ob sich das Fahrzeug in einem Kartenbereich im Freien oder einem Kartenbereich auf einem Parkplatz befindet. 2 zeigt eine schematische Ansicht eines Kartenbereichs im Freien und eines Kartenbereichs des Parkplatzes in einer voreingestellten Karte. Der kreisförmige Bereich ist Teil der voreingestellten Karte. Der Kartenbereich des Parkplatzes wird durch einen rechteckigen Rahmen dargestellt. Der Bereich außerhalb des rechteckigen Rahmens ist der Kartenbereich im Freien.
Die im vorliegenden Ausführungsbeispiel erwähnten Szenen können eine Szene im Freien und eine Szene auf einem Parkplatz usw. umfassen. Zu den Parkplätzen zählen ein Tiefgaragenparkplatz und ein Indoor-Parkplatz. Im Freien ist das GNSS-Signal relativ stark, wobei die Fahrzeugstellung abhängig von IMU-Signalen und GNSS-Signalen positioniert werden kann.
S120: Erhalten, wenn abhängig von der Fahrzeugstellung bestimmt wird, dass das Fahrzeug vom Freien in einen an einem Eingang eines Parkplatzes voreingestellten ersten Initialisierungsbereich einfährt, eines ersten Parkplatzbildes, das durch eine Kameravorrichtung in dem ersten Initialisierungsbereich erfasst ist, und Bestimmen, abhängig von einem Straßenmerkmal im ersten Parkplatzbild, einer ersten Startstellung zum Starten einer visuellen Positionierung;
Im vorliegenden Ausführungsbeispiel kann abhängig von der Fahrzeugstellung die Position des Fahrzeugs auf der voreingestellten Karte in Echtzeit bestimmt werden. Wenn detektiert wird, dass die Fahrzeugstellung angibt, dass das das Fahrzeug von Freien in den Eingang des Parkplatzes einfährt, wird beurteilt, ob sich die durch die Fahrzeugstellung angegebene Position im ersten Initialisierungsbereich befindet. Wenn ja, wird das durch die Kameravorrichtung erfasste erste Parkplatzbild im ersten Initialisierungsbereich erhalten. Wenn das Fahrzeug vom Eingang des Parkplatzes in den Parkplatz einfährt, kann das durch die Kameravorrichtung erfasste erste Parkplatzbild ein Bild sein, das die interne Umgebung des Parkplatzes enthält.
Der oben erwähnte erste Initialisierungsbereich stellt einen voreingestellten Koordinatenbereich in der voreingestellten Karte dar. Im ersten Initialisierungsbereich unterscheiden sich Beobachtungen an zwei beliebigen Positionen oder Beobachtungen aus unterschiedlichen Winkeln an derselben Position voneinander erheblich. Im ersten Initialisierungsbereich kann die Fahrzeugstellung abhängig von einem Wahrzeichen dieses Bereichs genau bestimmt werden. Dann wird die visuelle Positionierung gestartet. Der erste Initialisierungsbereich kann ein kreisförmiger Bereich mit einem voreingestellten Positionspunkt am Eingang des Parkplatzes als Mittelpunkt und einer voreingestellten Entfernung als Radius sein. Die voreingestellte Entfernung kann beispielsweise 15 m oder andere Werte betragen.
Unter Bezugnahme auf 3 ist eine schematische Ansicht einer Markierungslinie am Boden des Parkplatz und eines ersten Initialisierungsbereichs am Eingang des Parkplatzes gezeigt. Dabei sind Markierungslinien am Boden des Parkplatzes und Wände (durch dicke Linien gezeigt) eines Eingangskanals des Parkplatzes dargestellt, wobei der erste Initialisierungsbereich am Eingang des Parkplatzes durch einen größeren kreisförmigen Bereich dargestellt ist. Wenn sich das Fahrzeug am Punkt A befindet, kann die Fahrzeugstellung abhängig von den IMU-Daten und den Satellitendaten in dem größeren kreisförmigen Bereich positioniert werden. Der kleinere kreisförmige Bereich in 3 stellt einen Bereich für Startstellungen zum normalen Starten eines visuellen Positionierungssystems dar.
In vorliegenden Schritt dienen Signale wie ein IMU-Signal und ein GNSS-Signal zum Bestimmen, dass das Fahrzeug in den ersten Initialisierungsbereich eingefahren ist. Auf dieser Weise können Fehlerkennungen in Bereichen mit ähnlichem Gelände vermieden werden.
Das oben erwähnte Straßenbild umfasst umgebende Straßenmerkmale und Hintergrundteile während der Fahrt des Fahrzeugs. Straßenmerkmale umfassen, sind aber nicht beschränkt auf, Fahrbahnlinien, Straßenlaternen, Verkehrsschilder, Randlinien, Haltelinien, Ampeln und andere Schilder auf der Straße. Die Randlinie umfasst die Randlinie der Fahrbahn und die Randlinie der Parklücke, ist aber nicht darauf beschränkt.
Die erste Startstellung ist eine Stellung des Fahrzeugs. Wenn die Genauigkeit der ersten Startstellung die Anforderungen erfüllt, kann sie zum Starten der visuellen Positionierung verwendet werden. Wenn beispielsweise die erste Startstellung innerhalb des kleinen Kreises in 3 liegt, kann sie zum Starten der visuellen Positionierung verwendet werden.
S130: Bestimmen einer Fahrzeugstellung des Fahrzeugs basierend auf den IMU-Daten, der ersten Startstellung und einem Abgleichergebnis zwischen dem Straßenmerkmal in dem ersten Parkplatzbild und einem Straßenmerkmal in einer voreingestellten Karte;
Im vorliegenden Ausführungsbeispiel kann die voreingestellte Karte die Straßenmerkmale jedes Positionspunkts umfassen. Ein Positionspunkt in der voreingestellten Karte kann durch zweidimensionale Koordinatenpunkte oder dreidimensionale Koordinatenpunkte dargestellt werden.
Unter das „Positionieren der Fahrzeugstellung“ im vorliegenden Schritt ist das erstmalige Positionieren der Fahrzeugstellung, das nach dem Bestimmen der ersten Startstellung und beim Starten der visuellen Positionierung erfolgt.
Der vorliegende Schritt „Bestimmen einer Fahrzeugstellung des Fahrzeugs basierend auf den IMU-Daten, der ersten Startstellung und einem Abgleichergebnis zwischen dem Straßenmerkmal in dem ersten Parkplatzbild und einem Straßenmerkmal in einer voreingestellten Karte“ kann insbesondere die folgenden Schritte 1a bis 4a umfassen.
Schritt 1a: Bestimmen einer geschätzten Stellung des Fahrzeugs abhängig von der ersten Startstellung. Im vorliegenden Schritt kann die erste Startstellung direkt als geschätzte Stellung des Fahrzeugs verwendet werden. Alternativ kann die geschätzte Stellung des Fahrzeugs dadurch erhalten werden, dass die erste Startstellung in gewissen Maßen geändert wird.
Schritt 2a: Bestimmen, abhängig von der geschätzten Stellung des Fahrzeugs, eines Referenzabbildungsfehlers zwischen einem ersten Straßenmerkmal und einem zweiten Straßenmerkmal.
Im vorliegenden Ausführungsbeispiel ist das erste Straßenmerkmal ein Straßenmerkmal im ersten Parkplatzbild und wird durch eine Position im Straßenbild dargestellt. Das zweite Straßenmerkmal ist ein Straßenmerkmal, das erfolgreich mit dem ersten Straßenmerkmal in der voreingestellten Karte abgeglichen wird, und ist auch ein Straßenmerkmal in der voreingestellten Karte, das durch Koordinaten in einem Koordinatensystem dargestellt wird, in dem sich die voreingestellte Karte befindet.
Beim Bestimmen des Abbildungsfehlers können das erste Straßenmerkmal und das zweite Straßenmerkmal auf dasselbe Koordinatensystem abgebildet werden, um den Abbildungsfehler zu bestimmen. Der vorliegende Schritt kann insbesondere die folgenden Ausführungsformen umfassen:

In einer ersten Ausführungsform wird abhängig von der geschätzten Stellung des Fahrzeugs und von der Position des ersten Straßenmerkmals in dem ersten Parkplatzbild eine erste Abbildungsposition, an der das erste Straßenmerkmal auf die voreingestellte Karte abgebildet ist, berechnet; wobei ein Fehler zwischen der ersten Abbildungsposition und der Position des zweiten Straßenmerkmals in der voreingestellten Karte berechnet wird, um einen Referenzabbildungsfehler zu erhalten.
In der vorliegenden Ausführungsform werden dadurch, dass das erste Straßenmerkmal auf das Koordinatensystem, in dem sich die voreingestellte Karte befindet, die Positionen des ersten Straßenmerkmals und des zweiten Straßenmerkmals verglichen, um den Referenzabbildungsfehler zu erhalten.

Beim Berechnen der ersten Abbildungsposition, an der das erste Straßenmerkmal auf die voreingestellte Karte abgebildet ist, abhängig von der geschätzten Stellung und von der Position des ersten Straßenmerkmals in dem ersten Parkplatzbild kann spezifisch abhängig von der Umwandlungsbeziehung zwischen einem Bildkoordinatensystem und einem Weltkoordinatensystem und von der geschätzten Stellung die Position des ersten Straßenmerkmals im ersten Parkplatzbild in eine Position in dem Weltkoordinatensystem umgewandelt werden, um eine zweite Abbildungsposition zu erhalten. Dabei ist das Bildkoordinatensystem ein Koordinatensystem, in dem sich das erste Parkplatzbild befindet, wobei das Weltkoordinatensystem ein Koordinatensystem ist, in dem sich die voreingestellte Karte befindet. Die Umwandlungsbeziehung zwischen dem Bildkoordinatensystem und dem Weltkoordinatensystem kann durch eine interne Parametermatrix zwischen dem Bildkoordinatensystem und dem Kamerakoordinatensystem, eine Rotationsmatrix und eine Translationsmatrix zwischen einem Kamerakoordinatensystem und dem Weltkoordinatensystem erhalten werden.
In einer zweiten Ausführungsform wird abhängig von der geschätzten Stellung des Fahrzeugs und von der Position des zweiten Straßenmerkmals in der voreingestellten Karte eine zweite Abbildungsposition, an der das zweite Straßenmerkmal auf ein Koordinatensystem, in dem sich das erste Parkplatzbild befindet, abgebildet ist, berechnet; wobei ein Fehler zwischen der Position des ersten Straßenmerkmals im ersten Parkplatzbild und der zweiten Abbildungsposition berechnet wird, um einen Referenzabbildungsfehler zu erhalten.
In der vorliegenden Ausführungsform werden dadurch, dass das zweite Straßenmerkmal auf das Koordinatensystem, in dem sich das erste Parkplatzbild befindet, die Positionen des ersten Straßenmerkmals und des zweiten Straßenmerkmals verglichen, um den Referenzabbildungsfehler zu erhalten.
Beim Berechnen der zweiten Abbildungsposition, an der das zweite Straßenmerkmal auf ein Koordinatensystem, in dem sich das erste Parkplatzbild befindet, abgebildet ist, abhängig von der geschätzten Stellung des Fahrzeugs und von der Position des zweiten Straßenmerkmals in der voreingestellten Karte kann abhängig von der Umwandlungsbeziehung zwischen dem Bildkoordinatensystem und dem Weltkoordinatensystem und von der geschätzten Stellung des Fahrzeugs die Position des zweiten Straßenmerkmals in der voreingestellten Karte in eine Position in dem Weltkoordinatensystem umgewandelt werden, um eine zweite Abbildungsposition zu erhalten.
Die vorstehenden beiden Ausführungsformen entsprechen zwei unterschiedlichen Abbildungsmodi, die bei praktischen Anwendungen alternativ verwendet werden können.
Schritt 3a: Einstellen der geschätzten Stellung des Fahrzeugs und Durchführen des Schritts 2a „Bestimmen, abhängig von der geschätzten Stellung des Fahrzeugs, eines Referenzabbildungsfehlers zwischen einem ersten Straßenmerkmal und einem zweiten Straßenmerkmal“, wenn der Referenzabbildungsfehler größer als ein voreingestellter Fehlerschwellenwert ist.
Wenn der Referenzabbildungsfehler größer als der voreingestellte Fehlerschwellenwert ist, wird davon ausgegangen, dass es immer noch eine große Lücke zwischen der geschätzten Stellung und der tatsächlichen Positionierungsstellung des Fahrzeugs besteht, wobei die Iteration fortgesetzt werden kann.
Schritt 4a: Bestimmen, abhängig von der aktuellen geschätzten Stellung des Fahrzeugs, einer ersten visuellen Stellung des Fahrzeugs zum ersten Zeitpunkt, wenn der der Referenzabbildungsfehler nicht größer als der voreingestellte Fehlerschwellenwert ist.
Wenn der Referenzabbildungsfehler nicht größer als der voreingestellte Fehlerschwellenwert ist, wird davon ausgegangen, dass die geschätzte Stellung der tatsächlichen Positionierungsstellung des Fahrzeugs sehr nahe ist, wobei die Positionierungsgenauigkeit die Anforderungen erfüllt hat.
In der vorstehenden Ausführungsform kann basierend auf dem Abgleichergebnis zwischen dem Straßenmerkmal in dem ersten Parkplatzbild und dem Straßenmerkmal in einer voreingestellten Karte die Fahrzeugstellung auf iterative Weise genauer bestimmt werden.
S140: Erhalten, wenn bestimmt wird, dass sich die visuelle Positionierung in einem Startzustand befindet, und wenn abhängig von der Fahrzeugstellung bestimmt wird, dass das Fahrzeug auf dem Parkplatz fährt, eines durch die Kameravorrichtung erfassten Parkplatzbilds, Erhalten der letzten Fahrzeugstellung, und Bestimmen einer Fahrzeugstellung des Fahrzeugs basierend auf den IMU-Daten, der letzten Fahrzeugstellung und einem Abgleichergebnis zwischen einem Straßenmerkmal in dem Parkplatzbild und einem Straßenmerkmal in der voreingestellten Karte.
Bezüglich der konkreten Ausführungsformen für den vorliegenden Schritt „Bestimmen einer Fahrzeugstellung des Fahrzeugs basierend auf den IMU-Daten, der letzten Startstellung und einem Abgleichergebnis zwischen dem Straßenmerkmal im Parkplatzbild und dem Straßenmerkmal in der voreingestellten Karte“ kann auf die Beschreibung in Schritt S130 verwiesen werden, die hier nicht wiederholt wird.
Eine Anwendungsszene des vorliegenden Ausführungsbeispiels besteht darin, dass ein Fahrzeug vom Freien in den Eingang eines Parkplatzes einfährt. Da auf dem Parkplatz das GNSS-Signal schwach ist oder kein GNSS-Signal vorhanden ist, kann ein IMU- und Vision-basierter Positionierungsmodus, der anders als der Positionierungsmodus im Freien ist, verwendet werden, um die Fahrzeugstellung zu bestimmen. Wenn der IMU- und Vision-basierte Positionierungsmodus verwendet wird, kann der IMU- und Vision-basierte Positionierungsmodus (genauer gesagt, die visuelle Positionierung) gestartet werden, indem eine Fahrzeugstellung mit der erforderlichen Genauigkeit bestimmt wird, insbesondere wird die Sichtpositionierung aktiviert. Wenn sich die visuelle Positionierung im Startzustand befindet und das Fahrzeug auf dem Parkplatz fährt, kann die Fahrzeugstellung basierend auf den IMU-Daten, der letzten Fahrzeugstellung und einem Abgleichergebnis zwischen dem Straßenmerkmal in dem Parkplatzbild und dem Straßenmerkmal in einer voreingestellten Karte bestimmt werden.
Das erfasste Parkplatzbild kann ein Bild sein, das an einer beliebigen Position auf dem Parkplatz nach Starten der visuellen Positionierung erfasst wird. Die letzte Fahrzeugstellung kann als eine Fahrzeugstellung, die zum letzten Zeitpunkt des ersten Zeitpunkts bestimmt wird, verstanden werden. Der erste Zeitpunkt ist ein Zeitpunkt zum Erfassen des Parkplatzbilds.
S150: Zurückkehren zum Schritt S110 „Erhalten von IMU-Daten, die durch IMU erfasst sind, und von Satellitendaten, die durch GNSS erfasst sind“, wenn abhängig von der Fahrzeugstellung bestimmt wird, dass das Fahrzeug vom Parkplatz ins Freie fährt.
Wenn abhängig von der Fahrzeugstellung bestimmt wird, dass das Fahrzeug vom Parkplatz ins Freie fährt, wird die Fahrzeugstellung abhängig von den IMU-Daten und den Satellitendaten bestimmt.
Aus dem obigen Inhalt ist ersichtlich, dass im vorliegenden Ausführungsbeispiel die Fahrzeugstellung des Fahrzeugs abhängig von MU-Daten und Satellitendaten bestimmt werden kann, wenn das Fahrzeug im Freien fährt oder vom Parkplatz ins Freie fährt. Wenn das Fahrzeug vom Freien in den Eingang des Parkplatzes einfährt, wird die visuelle Positionierung im ersten Initialisierungsbereich gestartet. Wenn das Fahrzeug auf einem Parkplatz fährt, wird die Fahrzeugstellung des Fahrzeugs basierend auf den IMU-Daten, der letzten Fahrzeugstellung und dem Abgleichergebnis zwischen dem Straßenmerkmal in dem ersten Parkplatzbild und dem Straßenmerkmal in einer voreingestellten Karte bestimmt wird. Im vorliegenden Ausführungsbeispiel wird beim Umschalten zwischen das Fahren im Freien und das Fahren auf dem Parkplatz die Fahrzeugstellung gemäß einem entsprechenden Fahrzeugpositionierungsmodus bestimmt wird, wobei auf Parkplätzen ohne Satellitensignale die Fahrzeugpositionierung basierend auf IMU und visueller Positionsbestimmung erfolgen kann, um die Positionsgenauigkeit zu verbessern. Daher kann das vorliegende Ausführungsbeispiel eine genaue Positionierung von Fahrzeugen in verschiedenen Szenen und beim Umschalten zwischen verschiedenen Szenen realisieren.
In einem weiteren Ausführungsbeispiel der vorliegenden Erfindung ist vorgesehen, dass basierend auf der in 1 gezeigten Ausführungsbeispiel der Schritt S120 „Bestimmen, abhängig von einem Straßenmerkmal im ersten Parkplatzbild, einer ersten Startstellung zum Starten einer visuellen Positionierung“ insbesondere folgende Schritte 1b und 2b umfassen kann.
Schritt 1b: Bestimmen, basierend auf dem Straßenmerkmal im ersten Parkplatzbild und der Fahrzeugstellung, einer ersten Fahrzeugstellung des Fahrzeugs durch ein erstes Stellung-Regressionsmodell.
Dabei wird das erste Stellung-Regressionsmodell durch ein Vortrainieren basierend auf mehreren im ersten Initialisierungsbereich erfassten Muster-Parkplatzbildern und entsprechenden Muster-Fahrzeugstellungen sowie markierten Fahrzeugstellungen erhalten. Das erste Stellung-Regressionsmodell kann das Straßenmerkmal und die Fahrzeugstellung im ersten Parkplatzbild mit der ersten Fahrzeugstellung abhängig von den trainierten Modellparametern korrelieren.
Der vorliegende Schritt kann insbesondere umfassen: Eingeben des Straßenmerkmals und der Fahrzeugstellung im ersten Parkplatzbild als Eingabeinformationen in das erste Stellung-Regressionsmodell, und Erhalten der ersten Fahrzeugstellung des Fahrzeugs, die durch das erste Stellung-Regressionsmodell ausgegeben wird. Dabei ist die erste Fahrzeugstellung eine Fahrzeugstellung, die eine höhere Genauigkeit als die eingegebene Fahrzeugstellung aufweist. Abhängig von den trainierten Modellparametern kann das erste Stellung-Regressionsmodell basierend auf der eingegebenen Fahrzeugstellung und einem Merkmalsvektor, der aus den Straßenmerkmalen im ersten Parkplatzbild extrahiert wurde, eine Regression durchführen, um die erste Fahrzeugstellung zu erhalten.
Das Stellung-Regressionsmodell kann eine mehrstufige Stellungregression (Cascaded Pose Regression, CPR) sein. Die mehrstufige Stellungregression verwendet die folgende Prinzipformel, um die erste Fahrzeugstellung zu bestimmen: $P_{reg} = CPR (P_{GPS}, I_{seg})$
wobei P_GPS für eine eingegebene Fahrzeugstellung steht und I_seg für ein semantisches Beobachtungsbild, und zwar das Straßenmerkmal im ersten Parkplatzbild, steht. P_GPS und I_seg sind die Eingabeinformationen von CPR, und P_reg ist die von CPR ausgegebene erste Fahrzeugstellung.
Im vorliegenden Schritt kann durch die mehrstufige Stellungregression basierend auf dem Straßenmerkmal und der Fahrzeugstellung eine genauere Stellung des Fahrzeugs bestimmt werden. Auf der Grundlage der Bestimmung, dass das Fahrzeug in den ersten Initialisierungsbereich einfährt, wird die positionierte Stellung genauer. Der vorliegende Schritt kann als ein Identifizieren der Position des Straßenmerkmals des ersten Parkplatzbilds im ersten Initialisierungsbereich verstanden werden.
Das vorstehende erste Stellung-Regressionsmodell kann auf folgende Weise trainiert werden:

Mehrere Muster-Parkplatzbilder, die im ersten Initialisierungsbereich erfasst sind, sowie eine Muster-Fahrzeugstellung und eine markierte Fahrzeugstellung, die jedem Muster-Parkplatzbild entsprechen, werden erfassen. Die Straßenmerkmale jedes Muster-Parkplatzbildes werden detektiert. Basierend auf den Straßenmerkmalen jedes Muster-Parkplatzbildes und der entsprechenden Muster-Fahrzeugstellung wird eine Referenzfahrzeugstellung durch die Modellparameter im ersten Stellung-Regressionsmodell bestimmt. Eine Differenz zwischen der Referenzfahrzeugstellung und der markierten Fahrzeugstellung wird bestimmt. Wenn die Differenz größer als der voreingestellte Differenzschwellenwert ist, werden die Modellparameter korrigiert, wobei es zum Schritt des „Bestimmen, basierend auf den Straßenmerkmalen jedes Muster-Parkplatzbildes und der entsprechenden Muster-Fahrzeugstellung, einer Referenzfahrzeugstellung durch die Modellparameter im Stellung-Regressionsmodell“ zurückgekehrt wird. Wenn die Differenz nicht größer als der voreingestellte Differenzschwellenwert ist, wird bestimmt, dass das Training des Stellung-Regressionsmodells abgeschlossen ist.

Dabei kann die markierte Fahrzeugstellung als ein wahrer Wert bzw. Standardwert der Fahrzeugstellung, die dem Muster-Parkplatzbild entspricht, verstanden werden. Die Muster-Fahrzeugstellung kann eine Fahrzeugstellung sein, die abhängig von IMU-Daten und Satellitendaten beim Erfassen jedes Muster-Parkplatzbildes bestimmt wird. Alternativ kann es eine Fahrzeugstellung sein, die durch Hinzufügen einer voreingestellten Störung zu einer markierten Fahrzeugstellung erhalten wird. Die voreingestellte Störung kann als voreingestellte Modifikation verstanden werden. Die Muster-Fahrzeugstellung kann als ein Anfangswert der Fahrzeugstellung verstanden werden, der in das erste Stellung-Regressionsmodell eingegeben wird. Und das Stellung-Regressionsmodell regressiert das Muster-Parkplatzbild auf der Grundlage des Anfangswerts der Fahrzeugstellung.
In einem Ausführungsform kann eine große Anzahl von Muster-Parkplatzbildern im Voraus durch die Kameravorrichtung im ersten Initialisierungsbereich erfasst werden, wobei die Muster-Fahrzeugstellung basierend auf IMU-Daten und Satellitendaten bestimmt werden kann. Beim Erfassen jedes Muster-Parkplatzbildes kann die markierte Fahrzeugstellung, die dem Muster-Parkplatzbild entspricht, durch eine Offline-Positionierung bestimmt werden.
Wenn das Stellung-Regressionsmodell eine mehrstufige Stellungregression ist, können die Modellparameter, die in anderen Aspekten der mehrstufigen Stellungregression trainiert wurden, im vorliegenden Schritt direkt als Anfangswerte der Modellparameter verwendet werden. Durch eine Vielzahl von Trainingsprozessen werden die Modellparameter ständig überarbeitet, damit sie sich sukzessive dem wahren Wert annähern.
Beim Bestimmen der Differenz kann eine Restfunktion verwendet werden, um die Differenz zwischen der Referenzfahrzeugstellung und der markierten Fahrzeugstellung zu bestimmen.
Schritt 2b: Abgleichen des Straßenmerkmals im ersten Parkplatzbild mit dem Straßenmerkmal in der voreingestellten Karte abhängig von der ersten Fahrzeugstellung, und Bestimmen, abhängig von dem Abgleichergebnis, einer zweiten Fahrzeugstellung des Fahrzeugs als die erste Startstellung zum Starten der visuellen Positionierung.
Die Straßenmerkmale im ersten Parkplatzbild könnten durch externe Faktoren beeinflusst werden, beispielsweise abgedeckt werden, was eine Abweichung zwischen der ersten Fahrzeugstellung und der realen Fahrzeugstellung oder eine Fehlerkennung verursachen kann. Daher kann durch den vorliegenden Schritt die Genauigkeit der Fahrzeugstellung weiter verbessert werden.
Im vorliegenden Schritt wird abhängig von der ersten Fahrzeugstellung das Straßenmerkmal im ersten Parkplatzbild mit dem Straßenmerkmal in der voreingestellten Karte abgeglichen. Bezüglich der konkreten Ausführungsformen für das Bestimmen, abhängig von dem Abgleichergebnis, einer zweiten Fahrzeugstellung des Fahrzeugs kann auf die Beschreibung in Schritt S130 verwiesen werden, die hier nicht wiederholt wird.
Die oben erwähnte erste Fahrzeugstellung und die zweite Fahrzeugstellung stellen die Fahrzeugstellungen zum gleichen Zeitpunkt dar.
Zusammenfassend wird beim vorliegenden Ausführungsbeispiel durch das erste Stellung-Regressionsmodell die erste Fahrzeugstellung bestimmt wird, die eine höhere Genauigkeit als die eingegebene Fahrzeugstellung aufweist, wobei durch Abgleichen mit den Straßenmerkmalen in der voreingestellten Karte der positionierten Bereich auf Grundlage der ersten Fahrzeugstellung weitere verkleinert werden kann, so dass die Genauigkeit der ersten Startstellung verbessert werden kann.
In einem weiteren Ausführungsbeispiel der vorliegenden Erfindung ist vorgesehen, dass basierend auf dem in 1 gezeigten Ausführungsbeispiel der Schritt S140 „Bestimmen einer Fahrzeugstellung des Fahrzeugs basierend auf den IMU-Daten, der letzten Fahrzeugstellung und einem Abgleichergebnis zwischen dem Straßenmerkmal im Parkplatzbild und dem Straßenmerkmal in der voreingestellten Karte“ anhand vom Ablaufdiagramm gemäß 4 durchgeführt werden kann, das folgende Schritte umfasst.
Schritt S141: Bestimmen, basierend auf der letzten Fahrzeugstellung und dem Abgleichergebnis zwischen dem Straßenmerkmal im Parkplatzbild und dem Straßenmerkmal in der voreingestellten Karte, einer ersten visuellen Stellung des Fahrzeugs zu einem ersten Zeitpunkt.
Dabei ist der erste Zeitpunkt ein Erfassungszeitpunkt des Parkplatzbildes und der IMU-Daten.
Bezüglich der spezifischen Ausführungsformen für den vorliegenden Schritt kann auf die Beschreibung in Schritt S130 verwiesen werden, die hier nicht wiederholt wird.
Schritt S142: Berechnen, basierend auf der letzten Fahrzeugstellung und den IMU-Daten, einer ersten IMU-Stellung des Fahrzeugs zum ersten Zeitpunkt.
Dabei die IMU-Daten Daten wie Winkelgeschwindigkeit und Beschleunigung umfassen.
In der Regel ist die Frequenz, mit der die IMU Daten erfasst, häufiger als die Frequenz, mit der die Kameravorrichtung Bilder erfasst. Wenn der erste Zeitpunkt bestimmt wird und die von der IMU zum ersten Zeitpunkt erfassten IMU-Daten erhalten werden, können aus der großen Menge der von der IMU erfassten IMU-Daten die IMU-Daten, deren Zeitstempel der erste Zeitpunkt ist, bestimmt werden.
Bei praktischen Anwendungen kann die erste IMU-Stellung des Fahrzeugs entsprechend einer voreingestellten Frequenz berechnet werden. Spezifisch kann die erste IMU-Stellung des Fahrzeugs mit der Häufigkeit berechnet werden, die gleich wie die Häufigkeit zum Bestimmen der visuellen Stellung ist.
Schritt S143: Erhalten von mehreren zweiten visuellen Stellungen und mehreren zweiten IMU-Stellungen, die zu mehreren zweiten Zeitpunkten bestimmt sind.
Dabei liegen die mehreren zweiten Zeitpunkte vor dem ersten Zeitpunkt. Jeder zweiter Zeitpunkt ist früher als der erste Zeitpunkt. Wenn mehrere zweite visuelle Stellungen und mehrere zweite IMU-Stellungen erhalten werden, kann dies aus gespeicherten visuellen Stellungen zu mehreren Zeitpunkten und IMU-Stellungen zu mehreren Zeitpunkten bestimmt werden.
Schritt S144: Erstellen einer ähnlichkeitsbeschränkten Optimierungsfunktion abhängig von einem Fusionstransformationskoeffizienten zwischen jedem Positionspunkt in einer ersten Trajektorie und jedem Positionspunkt in einer zweiten Trajektorie und von einer Ähnlichkeitsbeziehung zwischen jedem Positionspunkt in der ersten und zweiten Trajektorie und einer geschätzten Fusionsstellung, iteratives Lösen der ähnlichkeitsbeschränkten Optimierungsfunktion durch das Ändern eines Wertes der geschätzten Fusionsstellung, Bestimmen einer geschätzten Fusionsstellung, die bei einer optimalen Lösung der ähnlichkeitsbeschränkten Optimierungsfunktion ermittelt wird, als die Fahrzeugstellung nach einer Fusion des Fahrzeugs zum ersten Zeitpunkt.
Dabei ist die erste Trajektorie eine Trajektorie, die der ersten visuellen Stellung und den mehreren zweiten visuellen Stellungen entspricht, wobei die zweite Trajektorie eine Trajektorie ist, die der ersten IMU-Stellung und den mehreren zweiten IMU-Stellungen entspricht. Es gibt mehrere geschätzte Fusionsstellungen, einschließlich der geschätzten Fusionsstellung zum ersten Zeitpunkt und zu den einzelnen zweiten Zeitpunkten.
Die einzelnen Positionspunkte in der ersten Trajektorie sind Positionspunkte, die der ersten visuellen Stellung und den einzelnen zweiten visuellen Stellungen entsprechen, wobei die einzelnen Positionspunkte in der zweiten Trajektorie Positionspunkte sind, die der ersten IMU-Stellung und den einzelnen zweiten IMU-Stellungen entsprechen. Unter Bezugnahme auf 5 überlappen sich die erste Trajektorie und die zweite Trajektorie innerhalb einer Zeitspanne, die aus dem ersten Zeitpunkt t1 und den einzelnen zweiten Zeitpunkt tn besteht, nicht. Dabei werden die einzelnen Positionspunkte in der ersten Trajektorie jeweils durch einen hohlen Kreis dargestellt, wobei die einzelnen Positionspunkte in der weiten Trajektorie jeweils durch einen ausgefüllten Kreis dargestellt, wobei die annähernde Fahrtrichtung des Fahrzeugs von links nach rechts ist.
Da bei verschiedenen Positionierungsmodi bestimmte Positionierungsfehler vorhanden sind, fallen die erste Trajektorie und die zweite Trajektorie nicht zusammen, wobei es einen kleinen Unterschied zwischen jedem Positionspunkt gibt. Jeder Positionspunkt in der ersten Trajektorie liegt relativ nahe an der entsprechenden geschätzten Fusionsstellung. Die Merkmale zwischen benachbarten Positionspunkten in der zweiten Trajektorie ähneln den Merkmalen zwischen den entsprechenden benachbarten geschätzten Fusionsstellungen.
Im vorliegenden Ausführungsbeispiel erfüllen die entsprechenden Positionspunkte in der ersten Trajektorie und der zweiten Trajektorie die ähnliche Transformation, wobei ein entsprechender Fusionstransformationskoeffizient zwischen entsprechenden Positionspunkten existiert. Beispielsweise gibt es einen entsprechenden Fusionstransformationskoeffizienten zwischen der ersten visuellen Stellung und der ersten IMU-Stellung zum ersten Zeitpunkt. In ähnlicher Weise gibt es zu anderen Zeitpunkten auch einen entsprechenden Fusionstransformationskoeffizienten zwischen der zweiten visuellen Stellung und der zweiten IMU-Stellung.
Zusammenfassend wird auf einem Parkplatz ohne Satellitensignal die Fahrzeugstellung basierend auf einer Fusion von IMU-Trajektorienberechnung und visueller Positionierung bestimmt. Die Kombination der beiden Positionierungsmodi kann die Fehler in einem einzelnen Positionierungsmodus korrigieren und das Positionierungsergebnis genauer machen. Gleichzeitig werden im vorliegenden Ausführungsbeispiel beim Bestimmen der fusionierten Positionierungsstellung des Fahrzeugs die fahrzeugeigene Kameravorrichtung und IMU-Vorrichtung verwendet, ohne weitere Hardwareausrüstung zusätzlich vorzusehen, wobei die Positionierung der Fahrzeugstellung in einer Szene ohne GNSS-Signal realisiert werden kann. Darüber hinaus wird beim vorliegenden Ausführungsbeispiel eine ähnlichkeitsbeschränkten Optimierungsfunktion abhängig von der Ähnlichkeitsbeziehung zwischen der ersten Trajektorie bzw. der zweiten Trajektorie und der geschätzten Fusionsstellung und von den Fusionstransformationskoeffizienten zwischen den einzelnen Positionspunkten in der ersten Trajektorie und der zweiten Trajektorie erstellt, wobei während eines Fusionsprozesses verschiedene Beschränkungsbeziehungen berücksichtigt werden, so dass die bestimmten fusionierten Fahrzeugstellung genauer werden und näher am wahren Wert liegen kann.
In einem weiteren Ausführungsbeispiel der vorliegenden Erfindung ist vorgesehen, dass basierend auf dem in 4 gezeigten Ausführungsbeispiel der Schritt S144 „Erstellen einer ähnlichkeitsbeschränkten Optimierungsfunktion abhängig von einem Fusionstransformationskoeffizienten zwischen jedem Positionspunkt in einer ersten Trajektorie und jedem Positionspunkt in einer zweiten Trajektorie und von einer Ähnlichkeitsbeziehung zwischen jedem Positionspunkt in der ersten und zweiten Trajektorie und einer geschätzten Fusionsstellung, iteratives Lösen der ähnlichkeitsbeschränkten Optimierungsfunktion durch das Ändern eines Wertes der geschätzten Fusionsstellung, Bestimmen einer geschätzten Fusionsstellung, die bei einer optimalen Lösung der ähnlichkeitsbeschränkten Optimierungsfunktion ermittelt wird, als die Fahrzeugstellung nach einer Fusion des Fahrzeugs zum ersten Zeitpunkt“ folgende Schritte 1c bis 6c umfasst.
Schritt 1c: Erstellen der folgenden ähnlichkeitsbeschränkten Optimierungsfunktion E abhängig von dem Fusionstransformationskoeffizienten zwischen jedem Positionspunkt in der ersten Trajektorie und jedem Positionspunkt in der zweiten Trajektorie und von einer Ähnlichkeitsbeziehung zwischen jedem Positionspunkt in der ersten und zweiten Trajektorie und einer geschätzten Fusionsstellung: $\begin{array}{l} min_{R_{f}, P_{f}, S, R_{s}} E = \sum_{i = 1}^{n} {‖ P_{f} (t_{i}) - P_{v} (t_{i}) ‖}^{2} + \sum_{i = 1}^{n} {‖ R_{f} (t_{i}) - R_{v} (t_{i}) ‖}^{2} \\ \begin{array}{l} + \sum_{i = 1}^{n - 1} {[P_{f} (t_{i + 1}) - P_{f} (t_{i})] - S (t_{i}) \cdot R_{s} (t_{i}) \cdot [P_{o} (t_{i + 1}) - P_{o} (t_{i})]}^{2} \\ + \sum_{i = 1}^{n - 1} {[R_{f} (t_{i + 1}) / R_{f} (t_{i})] - R_{s} (t_{i}) \cdot [R_{o} (t_{i + 1}) / R_{o} (t_{i})]}^{2} \\ + \sum_{i = 1}^{n - 1} {[S (t_{i + 1}) - S (t_{i})]}^{2} + \sum_{i = 1}^{n - 1} {[R_{s} (t_{i + 1}) - R_{s} (t_{i})]}^{2} \end{array} \end{array}$
wobei S(t_i) und R_s(t_i) jeweils für ein Skalierungsverhältnis und eine Rotationsmatrix in den Fusionstransformationskoeffizienten zwischen Positionspunkten zu einem Zeitpunkt t_i in der ersten Trajektorie und der zweiten Trajektorie stehen, wobei P_f(t_i) und R_f(t_i) jeweils für eine Position und eine Pose in der geschätzten Fusionsstellung zu einem Zeitpunkt t_i stehen, wobei P_v(t_i) und R_v(t_i) jeweils für eine Position und eine Pose des Positionspunktes zu einem Zeitpunkt t_i in der ersten Trajektorie stehen, wobei P_o(t_i) und R_o(t_i) jeweils für eine Position und eine Pose des Positionspunktes zu einem Zeitpunkt t_i in der zweiten Trajektorie stehen, wobei t₁ der erste Zeitpunkt ist, und t_n der früheste Zeitpunkt unter den mehreren zweiten Zeitpunkt ist, und wobei n die Gesamtzahl des ersten Zeitpunkts und der mehreren zweiten Zeitpunkt darstellt;
Vorstehend steht P für Position und R für Stellung, wobei die Größe mit einem tiefgestellten v eine Größe in der visuellen Stellung ist, die Größe mit einem tiefgestellten o eine Größe in der IMU-Stellung ist, und die Größe mit einem tiefgestellten s eine Größe im Fusionstransformationskoeffizienten ist. S steht für das Skalierungsverhältnis zwischen dem Positionspunkt in der ersten Trajektorie und dem entsprechenden Positionspunkt in der zweiten Trajektorie. R_s steht für die Rotationsmatrix zwischen dem Positionspunkt in der ersten Trajektorie und dem entsprechenden Positionspunkt in der zweiten Trajektorie.
Da die Vision-basierte visuelle Stellung für jeden Zeitpunkt erhalten wird und die IMUbasierte Berechnung der Stellung basierend auf einem relativen Betrag zwischen benachbarten Zeitpunkten erhalten wird, werden die visuelle Stellung und die geschätzte Fusionsstellung durch einen einzigen Zeitpunkt beschränkt, während die IMU-Stellung und die geschätzte Fusionsstellung den Einschränkungen vom letzten Zeitpunkt zum aktuellen Moment unterliegen.
Bei der ähnlichkeitsbeschränkten Optimierungsfunktion E gibt der erste Term an, dass die Position in jeder visuellen Stellung relativ nahe an der entsprechenden Position in der geschätzten Fusionsstellung liegen soll, wobei der zweite Term angibt, dass die Pose in jeder visuellen Stellung relativ nahe an der entsprechenden Pose in der geschätzten Fusionsstellung liegen soll, wobei der dritte Term angibt, dass die Verschiebung zwischen benachbarten IMU-Stellungen relativ nahe an der entsprechenden Verschiebung zwischen benachbarten geschätzten Fusionsstellungen liegen soll, wobei der vierte Term angibt, dass der Transformationswinkel zwischen benachbarten IMU-Stellungen relativ nahe am entsprechenden Transformationswinkel zwischen den benachbarten geschätzten Fusionsstellungen liegen soll, wobei der fünfte Term angibt, dass die Skalierungsverhältnisse zwischen benachbarten Positionspunkten relativ nahe beieinander liegen sollen, und wobei der sechste Term angibt, dass die Rotationsmatrixen zwischen benachbarten Punkten relativ nahe beieinander liegen sollen. Abhängig von den obigen Beschränkungsbeziehungen kann eine ähnlichkeitsbeschränkte Optimierungsfunktion erstellt werden. Wenn E den Mindestwert erreichen kann, sind die geschätzte Fusionsstellung und R_f, P_f, S, R_s die optimalen Lösungen.
Schritt 2c: Bestimmen eines Anfangswerts der geschätzten Fusionsstellung, und Bestimmen eines Anfangswerts von R_f, P_f, S, R_s.
Der Anfangswert der geschätzten Fusionsstellung kann erhalten werden, indem der entsprechenden visuellen Stellung oder IMU-Stellung ein gewisses Maß an Störung überlagert wird. Der Anfangswert von R_f, P_f, S, R_s kann abhängig von Erfahrungswerten bestimmt werden.
Alternativ können die Anfangswerte von R_f, P_f, S, R_s wie folgt angegeben werden:
Der Anfangswert von R_f(t) ist gleich R_v(t), der Anfangswert von P_f(t) ist gleich P_v(t), der Anfangswert von S(t) ist 1, und der Anfangswert von R_s(t) ist gleich $\frac{R_{v} (t + 1) / R_{v} (t)}{R_{o} (t + 1) / R_{o} (t)}$
Schritt 3c: Bestimmen, abhängig von einem aktuellen Wert der geschätzten Fusionsstellung und einem aktuellen Wert von R_f, P_f, S, R_s, eines aktuellen Funktionswerts der ähnlichkeitsbeschränkten Optimierungsfunktion.
Spezifisch werden der aktuelle Wert der geschätzten Fusionsstellung und der aktuelle Wert von R_f, P_f, S, R_s in den Ausdruck der ähnlichkeitsbeschränkten Optimierungsfunktion eingesetzt, um den aktuellen Funktionswert zu erhalten.
Schritt 4c: Erhalten des letzten Funktionswertes der ähnlichkeitsbeschränkten Optimierungsfunktion, Beurteilen, ob ein Absolutwert der Differenz zwischen dem letzten Funktionswert und dem aktuellen Funktionswert größer als ein voreingestellter Differenzschwellenwert ist; wenn ja, wird mit dem Schritt 5c fortgefahren; wenn nein, wird mit dem Schritt 6c fortgefahren.
Dabei kann der voreingestellte Differenzschwellenwert ein Wert sein, der basierend auf einem empirischen Wert vorbestimmt wird. Durch das Einstellen des voreingestellten Differenzschwellenwerts kann die Genauigkeit der Fusionsstellung eingestellt werden. Wenn ein Absolutwert der Differenz zwischen dem letzten Funktionswert und dem aktuellen Funktionswert größer als der voreingestellte Differenzschwellenwert ist, wird davon ausgegangen, dass der Funktionswert der ähnlichkeitsbeschränkten Optimierungsfunktion kleiner sein kann. Wenn der Absolutwert der Differenz zwischen dem letzten Funktionswert und dem aktuellen Funktionswert nicht größer als der voreingestellte Differenzschwellenwert ist, wird davon ausgegangen, dass der Funktionswert der ähnlichkeitsbeschränkten Optimierungsfunktion sehr nahe am Minimalwert liegt.
Schritt 5c: Einstellen des Wertes der geschätzten Fusionsstellung und des Wertes von R_f, P_f, S, R_s, Zurückkehren zum Schritt 3c „Bestimmen, abhängig von abhängig von einem aktuellen Wert der geschätzten Fusionsstellung und einem aktuellen Wert von R_f, P_f, S, R_s, eines aktuellen Funktionswerts der ähnlichkeitsbeschränkten Optimierungsfunktion“.
Das Einstellen des Wertes der geschätzten Fusionsstellung und des Wertes von R_f, P_f, S, R_s kann abhängig von dem letzten Wert der geschätzten Fusionsstellung und den letzten Wert von R_f, P_f, S, R_s sowie dem Trend des aktuellen Funktionswerts erfolgen.
Schritt 6c: Bestimmen des aktuellen Werts der geschätzten Fusionsstellung als die Fahrzeugstellung nach der Fusion des Fahrzeugs zum ersten Zeitpunkt.
Zusammenfassend stellt das vorliegende Ausführungsbeispiel eine spezifische Form der erstellten ähnlichkeitsbeschränkten Optimierungsfunktion und eine spezifische Ausführungsform zum iterativen Lösen der ähnlichkeitsbeschränkten Optimierungsfunktion bereit und kann die Fahrzeugstellung, die durch Fusion von zwei Stellungen erhalten ist, genauer bestimmen.
In einem weiteren Ausführungsbeispiel ist vorgesehen, dass basierend auf dem in 4 gezeigten Ausführungsbeispiel nach dem Schritt S 141 „Bestimmen, basierend auf der letzten Fahrzeugstellung und dem Abgleichergebnis zwischen dem Straßenmerkmal im Parkplatzbild und dem Straßenmerkmal in der voreingestellten Karte, einer ersten visuellen Stellung des Fahrzeugs zu einem ersten Zeitpunkt“ folgende Schritte 1d bis 3d vorgesehen sind, die einen Prozess zur Genauigkeitsbestimmung darstellen.
Schritt 1d: Bestimmen, abhängig von der ersten visuellen Stellung, eines Abbildungsfehlers zwischen einem ersten Straßenmerkmal und einem zweiten Straßenmerkmal.
Im vorliegenden Ausführungsbeispiel ist vorgesehen, dass das erste Straßenmerkmal ein Straßenmerkmal im Parkplatzbild ist und das zweite Straßenmerkmal ein Straßenmerkmal in der voreingestellten Karte ist, das erfolgreich mit dem ersten Straßenmerkmal abgeglichen ist.
Bezüglich der spezifischen Ausführungsform des vorliegenden Schritts kann auf die Beschreibung im Schritt 2a verwiesen. Eins von den zwei Abbildungsmodi wird verwendet, um den Abbildungsfehler zu bestimmen.
Schritt 2d: Bestimmen eines Zielkartenbereichs, in dem sich die erste visuelle Stellung befindet, aus mehreren verschiedenen Kartenbereichen in der voreingestellten Karte.
Im vorliegenden Ausführungsbeispiel kann die voreingestellte Karte abhängig den Straßenmerkmalen in der voreingestellten Karte im Voraus in mehrere verschiedene Kartenbereiche unterteilt werden, wobei die Straßenmerkmale in jedem Kartenbereich Relevanz oder Ortsähnlichkeit aufweisen. Der Kartenbereich kann ein kreisförmiger Bereich, ein rechteckiger Bereich sein oder andere Formen aufweisen.
Beim Bestimmen des Zielkartenbereichs kann der Kartenbereich, in dem sich die Positionskoordinaten in der ersten visuellen Stellung befinden, spezifisch als der Zielkartenbereich bestimmt werden.
Schritt 3d: Bestimmen, abhängig von einer vorab hergestellten Entsprechung zwischen dem Abbildungsfehler und dem Positionierungsfehler im Zielkartenbereich, eines dem vorstehenden Abbildungsfehler entsprechenden Positionierungsfehlers, und Bestimmen, abhängig von dem Positionierungsfehler, einer Positionierungsgenauigkeit der ersten visuellen Stellung.
Im vorliegenden Ausführungsbeispiel können Entsprechungen zwischen dem Abbildungsfehler und dem Positionierungsfehler in verschiedenen Kartenbereichen vorab hergestellt werden, wobei aus den Entsprechungen zwischen dem Abbildungsfehler und dem Positionierungsfehler in verschiedenen Kartenbereichen eine Entsprechung zwischen dem Abbildungsfehler und dem Positionierungsfehler im dem Zielkartenbereich bestimmt wird.
Dabei kann die Entsprechung zwischen dem Abbildungsfehler und dem Positionierungsfehler durch eine Abbildungsfehlerfunktion mit dem Positionierungsfehler als Variable ausgedrückt werden. Beim Bestimmen des dem Abbildungsfehler entsprechenden Positionierungsfehlers kann der Abbildungsfehler in die Abbildungsfehlerfunktion eingesetzt werden, um den entsprechenden Positionierungsfehler zu erhalten.
Der Positionierungsfehler kann als eine Differenz zwischen der aktuellen Positionierungsstellung und der realen Positionierungsstellung verstanden werden. Der Positionierungsfehler kann beispielsweise 5 cm, 10 cm usw. betragen. Wenn die Positionierungsgenauigkeit der ersten visuellen Stellung abhängig von dem Positionierungsfehler bestimmt wird, kann der Kehrwert des Positionierungsfehlers als die Positionierungsgenauigkeit der ersten visuellen Stellung bestimmt werden, wobei es auch möglich ist, eine andere voreingestellte Verarbeitung des Kehrwerts durchzuführen, um die Positionierungsgenauigkeit der ersten visuellen Stellung zu erhalten.
Der Zusammenhang zwischen Positionierungsgenauigkeit und Positionierungsfehler ist, dass je größer der Positionierungsfehler, desto kleiner die Positionierungsgenauigkeit, und je kleiner der Positionierungsfehler, desto größer die Positionierungsgenauigkeit.
Der beim Bestimmen des Abbildungsfehlers in Schritt 1d verwendete Abbildungsmodus soll gleich wie der Abbildungsmodus sein, der beim Herstellen der Entsprechung zwischen dem Abbildungsfehler und dem Positionierungsfehler verwendet wird.
Zusammenfassend ist beim vorliegenden Ausführungsbeispiel vorgesehen, dass nach dem Bestimmen der ersten visuellen Stellung die Genauigkeit der ersten visuellen Stellung abhängig von dem Abbildungsfehler zwischen Straßenmerkmalen und von der vorab hergestellten Entsprechung zwischen dem Abbildungsfehler und dem Positionierungsfehler bestimmt wird, so dass eine Bewertung des Positionierungseffekts der visuellen Stellung ermöglicht werden kann.
In einem weiteren Ausführungsbeispiel kann nach dem Bestimmen der Positionierungsgenauigkeit der ersten visuellen Stellung ein Gewicht der ersten visuellen Stellung abhängig von der Entsprechung zwischen der voreingestellten Positionierungsgenauigkeit und dem Gewicht bestimmt werden, wobei das Gewicht der einzelnen zweiten visuellen Stellungen erhalten wird. Beim Erstellen der ähnlichkeitsbeschränkten Optimierungsfunktion E in Schritt 1c kann die Gewichte der ersten visuellen Stellung und der einzelnen zweiten visuellen Stellungen überlagert werden, d.h., dass der erste und der zweite Term auf der rechten Seite der Funktion E mit Gewichten multipliziert werden, was die Genauigkeit der fusionierten Fahrzeugstellung verbessern kann.
In einem weiteren Ausführungsbeispiel ist vorgesehen, dass basierend auf dem vorhergehenden Ausführungsbeispiel die folgende Schritte 1e bis 4e verwendet werden können, um die Entsprechung zwischen dem Abbildungsfehler und dem Positionierungsfehler im Zielkartenbereich herzustellen.
Schritt 1e: Erhalten eines im Zielkartenbereich erfassten Muster-Straßenbilds und eines entsprechenden Muster-Straßenmerkmals sowie einer Standardpositionierungsstellung des Fahrzeugs, die dem Muster-Straßenbild entspricht, und Erhalten eines dritten Straßenmerkmals in der voreingestellten Karte, das erfolgreich mit dem Muster-Straßenmerkmal abgeglichen ist;
Dabei ist die oben erwähnte Standardpositionierungsstellung eine Positionierungsstellung des Fahrzeugs, die beim Erfassen der Muster-Straßenbilder durch ein Kameramodul bestimmt wird. Die Standardpositionierungsstellung kann als Positionierungsstellung ohne Positionierungsfehler verstanden werden.
Schritt 2e: Erhalten, durch Hinzufügen mehrerer verschiedener Störgrößen zur Standardpositionierungsstellung, von mehreren gestörten Positionierungsstellungen. Die gestörte Positionierungsstellung kann als eine virtuelle Positionierungsstellung des Fahrzeugs verstanden werden, die unter Verwendung der Standardpositionierungsstellung als Referenz erhalten ist.
Schritt 3e: Bestimmen, abhängig von dem Muster-Straßenmerkmal und dem dritten Straßenmerkmal, eines gestörten Abbildungsfehlers, das den mehreren gestörten Positionierungsstellungen entspricht.
Für verschiedene gestörte Positionierungsstellungen kann der gestörte Abbildungsfehler bestimmt werden, nachdem das Muster-Straßenmerkmal und das dritte Straßenmerkmal gemäß dem in Schritt 2a erwähnten Abbildungsmodus auf dasselbe Koordinatensystem abgebildet wurden.
Wenn das Straßenmerkmal im Muster-Straßenbild und das erfolgreich abgeglichene Straßenmerkmal in der voreingestellten Karte sowie die entsprechende Positionierungsstellung bekannt sind, kann der Abbildungsfehler match_err durch die folgende Funktion ausgedrückt werden: $match_err = MapMatching (p_{p o s e}, I_{s e g}, I_{m a p})$
Dabei steht p_pose für die Positionierungsstellung, I_seg, für das Straßenmerkmal im Muster-Straßenbild, und I_map für das erfolgreich abgeglichene Straßenmerkmal in der voreingestellten Karte.
Schritt 4e: Lösen, basierend auf einer voreingestellten Abbildungsfehlerfunktion in Bezug auf den Positionierungsfehler im Zielkartenbereich, der Abbildungsfehlerfunktion, wenn der Restfehler zwischen der Abbildungsfehlerfunktion und dem den mehreren gestörten Positionierungsstellungen entsprechenden gestörten Abbildungsfehler den minimalen Wert annimmt, so dass eine funktionale Beziehung zwischen dem Abbildungsfehler und dem Positionierungsfehler im Zielkartenbereich erhalten wird.
Dabei kann unter der „voreingestellten Abbildungsfehlerfunktion in Bezug auf den Positionierungsfehler im Zielkartenbereich“ eine voreingestellte Abbildungsfehlerfunktion verstanden werden, die unbekannte Größen enthält. Die Abbildungsfehlerfunktion kann beispielsweise auf die folgende quadratische Form vorgesehen werden: $g (Δ x, Δ y) = a Δ x^{2} + b Δ x Δ y + c Δ y^{2} + d Δ x + e Δ y + f$
Der gestörte Abbildungsfehler, der mehreren gestörten Positionierungsstellungen entspricht, kann durch die folgende Funktion ausgedrückt werden: $match_err = MapMatching (p_{g t} + Δ p, I_{s e g}, I_{m a p})$
Der vorliegende Schritt kann beim spezifischen Ausführen Folgendes umfassen:
Lösen der folgenden Minimalwertfunktion: $min_{a, b, c, d, e, ƒ} \sum_{Δ x, Δ y \in Ω} ‖ g (Δ x, Δ y) - MapMatching (p_{g t} + Δ p, I_{s e g}, I_{m a p}) ‖$
um a₀, b₀, c₀, d₀, e₀ und f₀ zu erhalten, wobei a₀, b₀, c₀, d₀, e₀ und f₀, die nach dem Lösen erhalten sind, in g eingesetzt werden, um eine Funktion als Abbildungsfehlerfunktion zu erhalten; wobei im Fall, dass die Standardpositionierungsstellung ausreichend genau ist, die Lösung von g₀ ein Paraboloid sein soll.
wobei die Abbildungsfehlerfunktion g (Δx, Δy),
g(Δx,Δy) = aΔx² + bΔxΔy + cΔy² + dΔx + eΔy + f ist, wobei p_qt für die Standardpositionierungsstellung steht, wobei die Störgröße Δp={Δx,Δy,0}, Δx,Δy ∈ Ω ist, wobei Ω,
fg(Δx,Δy) - MapMatching(p_gt + Δp,I_segI_map ür den Zielkartenbereich steht, wobei I_seg für das Muster-Straßenmerkmal steht, wobei I_map für das dritte Straßenmerkmal steht, wobei MapMatching (p_gt + Δp, I_seg, I_map) für den gestörten Abbildungsfehler steht, der den mehreren gestörten Positionierungsstellungen p_gt + Δp entspricht. g(Δx,Δy) - MapMatching(p_gt + Δp,I_seg,I_map) steht für den Restfehler zwischen der Abbildungsfehlerfunktion und dem den mehreren gestörten Positionierungsstellungen entsprechenden gestörten Abbildungsfehler.
$min_{a, b, c, d, e, ƒ}$
stellt eine Minimalwertfunktion mit zu lösenden Größen a, b, c, d, e,f. ||·|| ist ein Normsymbol.
Für jeden Kartenbereich in der voreingestellten Karte kann eine entsprechende Abbildungsfehlerfunktion g auf die oben erwähnte Weise erhalten werden.
Zusammenfassend ist beim vorliegenden Ausführungsbeispiel vorgesehen, dass beim Herstellen der Entsprechung zwischen dem Abbildungsfehler und dem Positionierungsfehler zunächst ein Muster-Straßenmerkmal, das einem Bildrahmen entspricht, und ein erfolgreich abgeglichenes Straßenmerkmal in der voreingestellten Karte sowie eine Standardpositionierungsstellung, die dem Bildrahmen entspricht, erhalten werden, wobei auf der Grundlage der Standardpositionierungsstellung mehrere Störgrößen addiert werden, wobei basierend auf der erstellten Restfunktion die Entsprechung im Kartenbereich gelöst wird. Auf diese Weise kann die Entsprechung zwischen verschiedenen Kartenbereichen schneller hergestellt werden. Es wird auch eine umsetzbare Möglichkeit zur Bestimmung des Positionierungsfehlers des Fahrzeugs bereitgestellt.
In einem weiteren Ausführungsbeispiel ist vorgesehen, dass basierend auf dem vorhergehenden Ausführungsbeispiel der Schritt 3d „Bestimmen, abhängig von einer vorab hergestellten Entsprechung zwischen dem Abbildungsfehler und dem Positionierungsfehler im Zielkartenbereich, eines dem vorstehenden Abbildungsfehler entsprechenden Positionierungsfehlers“ Folgendes umfassen:
Der Abbildungsfehler cost wird in die folgende vorab hergestellte Abbildungsfehlerfunktion g₀ im Zielkartenbereich eingesetzt, um mehrere Positionierungsfehler (Δx, Δy) zu lösen: $g (Δ x, Δ y) = a_{0} Δ x^{2} + b_{0} Δ x Δ y + c_{0} Δ y^{2} + d_{0} Δ x + e_{0} Δ y + f_{0}$
Dabei sind a₀, b₀, c₀, d₀, e₀, f₀ vorbestimmte Funktionskoeffizienten; wobei der maximale Wert von durch die Lösung erhaltenen mehreren Positionierungsfehlern als der dem Abbildungsfehler entsprechende Positionierungsfehler r bestimmt: $r = \sqrt{x_{e r r}^{2} + y_{e r r}^{2}}$
wobei $x_{e r r} = \sqrt{C / A}, y_{e r r} = \sqrt{C / B},$
und $A = (b_{0}^{2} - a_{0} c_{0}) (\sqrt{{(a_{0} - c_{0})}^{2} + 4 b_{0}^{2}} - (a_{0} + c_{0}))$
$B = (b_{0}^{2} - a_{0} c_{0}) (- \sqrt{{(a_{0} - c_{0})}^{2} + 4 b_{0}^{2}} - (a_{0} + c_{0}))$
$C = 2 (a_{0} e_{0}^{2} + c_{0} d_{0}^{2} + (f_{0} - cost) b_{0}^{2} - 2 b_{0} d_{0} e_{0} - a_{0} c_{0} (f_{0} - cost)) .$
Im vorliegenden Ausführungsbeispiel sind die Ausdrucksformen der Abbildungsfehlerfunktion entsprechend unterschiedlichen Abbildungsbereichen unterschiedlich, wobei insbesondere die Funktionskoeffizienten unterschiedlich sein können. Die oben erwähnte Abbildungsfehlerfunktion g₀(Δx,Δy) = a₀Δx² + b₀ΔxΔy + c₀Δy² + d₀Δx + e₀Δy + f₀ ist ein Paraboloid, wobei unter dem Abbildungsfehler cost eine Ebene verstanden werden kann. Durch das Einsetzen des Abbildungsfehlers cost in die Abbildungsfehlerfunktion g₀ wird der Schnittpunkt des Paraboloids und der Ebene ermittelt. Nach mathematischen Erkenntnissen ist der Schnittpunkt ein Punkt auf einer Ellipse. D.h., alle Punkte auf der Ellipse sind die durch die Lösung erhaltenen Positionierungsfehler (Δx, Δy). Der maximale Wert von den durch die Lösung erhaltenen mehreren Positionierungsfehlern ist die Haupt- und Nebenachse der Ellipse (x_err und y_err).
Zusammenfassend stellt das vorliegende Ausführungsbeispiel eine spezifische Ausführungsform zum Bestimmen, abhängig von einer Abbildungsfehlerfunktion, eines einem Abbildungsfehler entsprechenden Positionierungsfehlers bereit, wobei diese Ausführungsform bei praktischen Anwendungen einfacher zu implementieren ist.
In einem weiteren Ausführungsbeispiel der vorliegenden Erfindung ist vorgesehen, dass basierend auf dem vorhergehenden Ausführungsbeispiel das Verfahren nach dem Schritt 3d, d.h. nach dem Bestimmen, abhängig von dem Positionierungsfehler, einer Positionierungsgenauigkeit der ersten visuellen Stellung, ferner Schritte 1f bis 4f umfasst.
Schritt 1f: Berechnen, wenn abhängig von der Positionierungsgenauigkeit bestimmt wird, dass die visuelle Positionierung des Fahrzeugs auf dem Parkplatz versagt, einer dritten IMU-Stellung des Fahrzeugs, basierend auf einer Fahrzeugstellung vor dem Versagen der visuellen Positionierung und den IMU-Daten.
Dabei kann die Fahrzeugstellung vor dem Versagen der visuellen Positionierung die letzte Fahrzeugstellung vor dem Versagen der visuellen Positionierung sein. Die dritte IMU-Stellung, die basierend auf der letzten Fahrzeugstellung berechnet wird, ist genauer.
Beim Bestimmen der Fahrzeugstellung können die Straßenmerkmale im von einer Bilderfassungsvorrichtung erfassten Straßenbild mit den Straßenmerkmalen in der voreingestellten Karte abgeglichen werden, um die Fahrzeugstellung zu bestimmen. Dies kann als visuelle Positionierung bezeichnet werden. Wenn das von der Bilderfassungsvorrichtung erfasste Bild wenige Straßenmerkmale enthält oder die visuelle Positionierung aufgrund eines Gerätefehlers oder aus anderen Gründen nicht durchgeführt werden kann, wird bestimmt, dass die visuelle Positionierung versagt.
Wenn die Positionierungsgenauigkeit der ersten visuellen Stellung kleiner als der voreingestellte Genauigkeitsschwellenwert ist, kann bestimmt werden, dass die visuelle Positionierung des Fahrzeugs auf dem Parkplatz versagt.
In einem weiteren Ausführungsbeispiel der vorliegenden Erfindung ist vorgesehen, dass zur genaueren Bestimmung, ob der visuelle Positionierungsprozess versagt, eine voreingestellten Anzahl von Positionierungsgenauigkeiten, die den kontinuierlichen Parkplatzbildern entsprechen, erhalten werden kann, wobei im Fall, dass die voreingestellte Anzahl von Positionierungsgenauigkeiten größer als der voreingestellte Genauigkeitsschwellenwert ist, bestimmt werden kann, dass die visuelle Positionierung versagt.
Schritt 2f: Erhalten, wenn bestimmt wird, dass sich eine durch die dritte IMU-Stellung angegeben Position in einem auf dem Parkplatz voreingestellten zweiten Initialisierungsbereich befindet, eines zweiten Parkplatzbildes, das durch die Kameravorrichtung 620 im zweiten Initialisierungsbereich erfasst wird, und Bestimmen, basierend auf dem Straßenmerkmal im zweiten Parkplatzbild und der dritten IMU-Stellung, einer dritten Fahrzeugstellung des Fahrzeugs durch ein zweites Stellung-Regressionsmodell.
Dabei wird das zweite Stellung-Regressionsmodell durch ein Vortrainieren basierend auf mehreren im zweiten Initialisierungsbereich erfassten Muster-Parkplatzbildern und entsprechenden Muster-Fahrzeugstellungen sowie markierten Fahrzeugstellungen erhalten. Das zweite Stellung-Regressionsmodell kann das Straßenmerkmal im zweiten Parkplatzbild und die dritte IMU-Stellung mit der dritten Fahrzeugstellung abhängig von den trainierten Modellparametern korrelieren.
Das zweite Stellung-Regressionsmodell kann auf die gleiche Weise wie das erste Stellung-Regressionsmodell trainiert werden. Das zweite Stellung-Regressionsmodell und das erste Stellung-Regressionsmodell können auch unter Verwendung desselben Stellung-Regressionsmodells implementiert werden.
Schritt 3f: Abgleichen des Straßenmerkmals im zweiten Parkplatzbild mit dem Straßenmerkmal in der voreingestellten Karte abhängig von der dritten Fahrzeugstellung, und Bestimmen, abhängig von dem Abgleichergebnis, einer vierten Fahrzeugstellung des Fahrzeugs als eine zweite Startstellung zum erneuten Starten der visuellen Positionierung.
Bezüglich des vorliegenden Schritts kann auf die Beschreibung in Schritt S130 verwiesen werden, die hier nicht wiederholt wird.
Schritt 4f: Bestimmen einer Fahrzeugstellung des Fahrzeugs basierend auf den IMU-Daten, der zweiten Startstellung und einem Abgleichergebnis zwischen dem Straßenmerkmal in dem zweiten Parkplatzbild und einem Straßenmerkmal in der voreingestellten Karte.
Zusammenfassend kann im vorliegenden Ausführungsbeispiel abhängig von der durch die IMU berechneten IMU-Stellung bestimmt werden, dass sich das Fahrzeug im zweiten Initialisierungsbereich befindet, wobei im zweiten Initialisierungsbereich eine zweite Startstellung zum erneuten Starten der visuellen Positionierung bestimmt wird, wodurch die Startstellung genauer bestimmt werden kann und ein Neustart der visuellen Positionierung realisiert werden kann.
6 zeigt eine schematische Strukturansicht eines fahrzeugmontierten Terminals gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Dieses Ausführungsbeispiel entspricht dem in 1 gezeigten Verfahrensausführungsbeispiel. Das fahrzeugmontierte Terminal umfasst einen Prozessor 610, eine Kameravorrichtung 620, eine IMU 630 und eine GNSS 640. Der Prozessor 610 umfasst ein Outdoor-Positionierungsmodul, ein Bestimmungsmodul zum Starten, ein erstes visuelles Positionierungsmodul, ein zweites visuelles Positionierungsmodul und ein Szenenumschaltmodul (in der Figur nicht gezeigt).
Das Outdoor-Positionierungsmodul dient zum Erhalten, wenn ein Fahrzeug im Freien fährt, von IMU-Daten, die durch die IMU 630 erfasst sind, und von Satellitendaten, die durch die GNSS 640 erfasst sind, und zum Bestimmen einer Fahrzeugstellung abhängig von den IMU-Daten und den Satellitendaten dient;
das Aktivierbestimmungsmodul dient zum Erhalten, wenn abhängig von der Fahrzeugstellung bestimmt wird, dass das Fahrzeug vom Freien in einen an einem Eingang eines Parkplatzes voreingestellten ersten Initialisierungsbereich einfährt, eines ersten Parkplatzbildes, das durch die Kameravorrichtung 620 in dem ersten Initialisierungsbereich erfasst ist, und zum Bestimmen, abhängig von einem Straßenmerkmal im ersten Parkplatzbild, einer ersten Startstellung zum Starten einer visuellen Positionierung;
das erste visuelle Positionierungsmodul dient zum Bestimmen einer Fahrzeugstellung des Fahrzeugs basierend auf den IMU-Daten, der ersten Startstellung und einem Abgleichergebnis zwischen dem Straßenmerkmal in dem ersten Parkplatzbild und einem Straßenmerkmal in einer voreingestellten Karte;
das zweite visuelle Positionierungsmodul dient zum Erhalten, wenn bestimmt wird, dass sich die visuelle Positionierung in einem Startzustand befindet, und wenn abhängig von der Fahrzeugstellung bestimmt wird, dass das Fahrzeug auf dem Parkplatz fährt, eines durch die Kameravorrichtung 620 erfassten Parkplatzbilds, zum Erhalten der letzten Fahrzeugstellung, und zum Bestimmen einer Fahrzeugstellung des Fahrzeugs basierend auf den IMU-Daten, der letzten Fahrzeugstellung und einem Abgleichergebnis zwischen einem Straßenmerkmal in dem Parkplatzbild und einem Straßenmerkmal in der voreingestellten Karte;
das Szenenumschaltmodul dient zum Zurückkehren zum Vorgang des „Erhaltens von IMU-Daten, die durch eine Trägheitsmesseinheit IMU erfasst sind, und von Satellitendaten, die durch eine Satellitenpositionierungseinheit GNSS erfasst sind“, wenn abhängig von der Fahrzeugstellung bestimmt wird, dass das Fahrzeug vom Parkplatz ins Freie fährt.
In einem weiteren Ausführungsbeispiel der vorliegenden Erfindung ist vorgesehen, dass basierend auf der in 6 gezeigten Ausführungsbeispiel das Bestimmungsmodul zum Starten beim Durchführen von dem „Bestimmen der ersten Startstellung zum Starten der visuellen Positionierung abhängig von dem Straßenmerkmal im ersten Parkplatzbild“ folgende Vorgänge durchführt:
Bestimmen, basierend auf dem Straßenmerkmal im ersten Parkplatzbild und der Fahrzeugstellung, einer ersten Fahrzeugstellung des Fahrzeugs durch ein erstes Stellung-Regressionsmodell; wobei das erste Stellung-Regressionsmodell durch ein Vortrainieren basierend auf mehreren im ersten Initialisierungsbereich erfassten Muster-Parkplatzbildern und entsprechenden Muster-Fahrzeugstellungen sowie markierten Fahrzeugstellungen erhalten wird;
Abgleichen des Straßenmerkmals im ersten Parkplatzbild mit dem Straßenmerkmal in der voreingestellten Karte abhängig von der ersten Fahrzeugstellung, und Bestimmen, abhängig von dem Abgleichergebnis, einer zweiten Fahrzeugstellung des Fahrzeugs als die erste Startstellung zum Starten der visuellen Positionierung.
In einem weiteren Ausführungsbeispiel der vorliegenden Erfindung ist vorgesehen, dass basierend auf dem in 6 gezeigten Ausführungsbeispiel das zweite visuelle Positionierungsmodul beim Durchführen von dem „Bestimmen einer Fahrzeugstellung des Fahrzeugs basierend auf den IMU-Daten, der letzten Fahrzeugstellung und einem Abgleichergebnis zwischen dem Straßenmerkmal im Parkplatzbild und dem Straßenmerkmal in der voreingestellten Karte“ folgende Vorgänge durchführt:
Bestimmen, basierend auf der letzten Fahrzeugstellung und dem Abgleichergebnis zwischen dem Straßenmerkmal im Parkplatzbild und dem Straßenmerkmal in der voreingestellten Karte, einer ersten visuellen Stellung des Fahrzeugs zu einem ersten Zeitpunkt; wobei der erste Zeitpunkt ein Erfassungszeitpunkt des Parkplatzbildes und der IMU-Daten ist;
Berechnen, basierend auf der letzten Fahrzeugstellung und den IMU-Daten, einer ersten IMU-Stellung des Fahrzeugs zum ersten Zeitpunkt;
Erhalten von mehreren zweiten visuellen Stellungen und mehreren zweiten IMU-Stellungen, die zu mehreren zweiten Zeitpunkten bestimmt sind, wobei die mehreren zweiten Zeitpunkte vor dem ersten Zeitpunkt liegen;
Erstellen einer ähnlichkeitsbeschränkten Optimierungsfunktion abhängig von einem Fusionstransformationskoeffizienten zwischen jedem Positionspunkt in einer ersten Trajektorie und jedem Positionspunkt in einer zweiten Trajektorie und von einer Ähnlichkeitsbeziehung zwischen jedem Positionspunkt in der ersten und zweiten Trajektorie und einer geschätzten Fusionsstellung, iteratives Lösen der ähnlichkeitsbeschränkten Optimierungsfunktion durch das Ändern eines Wertes der geschätzten Fusionsstellung, Bestimmen einer geschätzten Fusionsstellung, die bei einer optimalen Lösung der ähnlichkeitsbeschränkten Optimierungsfunktion ermittelt wird, als die Fahrzeugstellung nach einer Fusion des Fahrzeugs zum ersten Zeitpunkt;
wobei die erste Trajektorie eine Trajektorie ist, die der ersten visuellen Stellung und den mehreren zweiten visuellen Stellungen entspricht, und wobei die zweite Trajektorie eine Trajektorie ist, die der ersten IMU-Stellung und den mehreren zweiten IMU-Stellungen entspricht.
In einem weiteren Ausführungsbeispiel der vorliegenden Erfindung ist vorgesehen, dass basierend auf dem in 6 gezeigten Ausführungsbeispiel das zweite visuelle Positionierungsmodul beim Durchführen von dem „Erstellen einer ähnlichkeitsbeschränkten Optimierungsfunktion abhängig von einem Fusionstransformationskoeffizienten zwischen jedem Positionspunkt in einer ersten Trajektorie und jedem Positionspunkt in einer zweiten Trajektorie und von einer Ähnlichkeitsbeziehung zwischen jedem Positionspunkt in der ersten und zweiten Trajektorie und einer geschätzten Fusionsstellung, iteratives Lösen der ähnlichkeitsbeschränkten Optimierungsfunktion durch das Ändern eines Wertes der geschätzten Fusionsstellung, Bestimmen einer geschätzten Fusionsstellung, die bei einer optimalen Lösung der ähnlichkeitsbeschränkten Optimierungsfunktion ermittelt wird, als die Fahrzeugstellung nach einer Fusion des Fahrzeugs zum ersten Zeitpunkt“ folgende Vorgänge durchführt:
Erstellen der folgenden ähnlichkeitsbeschränkten Optimierungsfunktion E abhängig von dem Fusionstransformationskoeffizienten zwischen jedem Positionspunkt in der ersten Trajektorie und jedem Positionspunkt in der zweiten Trajektorie und von einer Ähnlichkeitsbeziehung zwischen jedem Positionspunkt in der ersten und zweiten Trajektorie und einer geschätzten Fusionsstellung: $\begin{array}{l} min_{R_{f}, P_{f}, S, R_{s}} E = \sum_{i = 1}^{n} {‖ P_{f} (t_{i}) - P_{v} (t_{i}) ‖}^{2} + \sum_{i = 1}^{n} {‖ R_{f} (t_{i}) - R_{v} (t_{i}) ‖}^{2} \\ \begin{array}{l} + \sum_{i = 1}^{n - 1} {[P_{f} (t_{i + 1}) - P_{f} (t_{i})] - S (t_{i}) \cdot R_{s} (t_{i}) \cdot [P_{o} (t_{i + 1}) - P_{o} (t_{i})]}^{2} \\ + \sum_{i = 1}^{n - 1} {[R_{f} (t_{i + 1}) / R_{f} (t_{i})] - R_{s} (t_{i}) \cdot [R_{o} (t_{i + 1}) / R_{o} (t_{i})]}^{2} \\ + \sum_{i = 1}^{n - 1} {[S (t_{i + 1}) - S (t_{i})]}^{2} + \sum_{i = 1}^{n - 1} {[R_{s} (t_{i + 1}) - R_{s} (t_{i})]}^{2} \end{array} \end{array}$
wobei S(t_i) und R_s (t_i) jeweils für ein Skalierungsverhältnis und eine Rotationsmatrix in den Fusionstransformationskoeffizienten zwischen Positionspunkten zu einem Zeitpunkt t_i in der ersten Trajektorie und der zweiten Trajektorie stehen, wobei P_f(t_i) und R_f(t_j) jeweils für eine Position und eine Pose in der geschätzten Fusionsstellung zu einem Zeitpunkt t_i stehen, wobei P_v(t_i) und R_v(t_i) jeweils für eine Position und eine Pose des Positionspunktes zu einem Zeitpunkt t_i in der ersten Trajektorie stehen, wobei P_o(t_i) und R_o(t_i) jeweils für eine Position und eine Pose des Positionspunktes zu einem Zeitpunkt t_i in der zweiten Trajektorie stehen, wobei t₁ der erste Zeitpunkt ist, und t_n der früheste Zeitpunkt unter den mehreren zweiten Zeitpunkt ist, und wobei n die Gesamtzahl des ersten Zeitpunkts und der mehreren zweiten Zeitpunkt darstellt;
Bestimmen eines Anfangswerts der geschätzten Fusionsstellung, und Bestimmen eines Anfangswerts von R_f, P_f, S, R_s;
Bestimmen, abhängig von einem aktuellen Wert der geschätzten Fusionsstellung und einem aktuellen Wert von R_f, P_f, S, R_s, eines aktuellen Funktionswerts der ähnlichkeitsbeschränkten Optimierungsfunktion;
Erhalten des letzten Funktionswertes der ähnlichkeitsbeschränkten Optimierungsfunktion, Beurteilen, ob ein Absolutwert der Differenz zwischen dem letzten Funktionswert und dem aktuellen Funktionswert größer als ein voreingestellter Differenzschwellenwert ist;
wenn ja, Einstellen des Wertes der geschätzten Fusionsstellung und des Wertes von R_f, P_f, S, R_s, Zurückkehren zum Schritt des „Bestimmens, abhängig von abhängig von einem aktuellen Wert der geschätzten Fusionsstellung und einem aktuellen Wert von R_f, P_f, S, R_s, eines aktuellen Funktionswerts der ähnlichkeitsbeschränkten Optimierungsfunktion“;
wenn nein, Bestimmen des aktuellen Werts der geschätzten Fusionsstellung als die Fahrzeugstellung nach der Fusion des Fahrzeugs zum ersten Zeitpunkt.
In einem weiteren Ausführungsbeispiel der vorliegenden Erfindung ist vorgesehen, dass basierend auf dem in 6 gezeigten Ausführungsbeispiel der Prozessor 610 ferner ein Genauigkeitsbestimmungsmodul umfasst, der durch folgende Vorgänge die Positionierungsgenauigkeit der ersten visuellen Stellung bestimmt:
Bestimmen, abhängig von der ersten visuellen Stellung, eines Abbildungsfehlers zwischen einem ersten Straßenmerkmal und einem zweiten Straßenmerkmal, nachdem basierend auf der letzten Fahrzeugstellung und dem Abgleichergebnis zwischen dem Straßenmerkmal im Parkplatzbild und dem Straßenmerkmal in der voreingestellten Karte die erste visuelle Stellung des Fahrzeugs zu einem ersten Zeitpunkt bestimmt wurde; wobei der erste Zeitpunkt ein Erfassungszeitpunkt des Parkplatzbildes und der IMU-Daten ist;
Bestimmen eines Zielkartenbereichs, in dem sich die erste visuelle Stellung befindet, aus mehreren verschiedenen Kartenbereichen in der voreingestellten Karte;
Bestimmen, abhängig von einer vorab hergestellten Entsprechung zwischen dem Abbildungsfehler und dem Positionierungsfehler im Zielkartenbereich, eines dem Abbildungsfehler entsprechenden Positionierungsfehlers, und Bestimmen, abhängig von dem Positionierungsfehler, einer Positionierungsgenauigkeit der ersten visuellen Stellung.
In einem weiteren Ausführungsbeispiel der vorliegenden Erfindung ist vorgesehen, dass basierend auf dem in 6 gezeigten Ausführungsbeispiel der Prozessor 610 ferner umfasst:

ein Beziehungsherstellungsmodul (in der Figur nicht gezeigt), das verwendet wird, um eine Entsprechung zwischen dem Abbildungsfehler und dem Positionierungsfehler im Zielkartenbereich unter Verwendung der folgenden Vorgänge herzustellen:

Erhalten eines im Zielkartenbereich erfassten Muster-Straßenbilds und eines entsprechenden Muster-Straßenmerkmals sowie einer Standardpositionierungsstellung des Fahrzeugs, die dem Muster-Straßenbild entspricht, und Erhalten eines dritten Straßenmerkmals in der voreingestellten Karte, das erfolgreich mit dem Muster-Straßenmerkmal abgeglichen ist;
Erhalten, durch Hinzufügen mehrerer verschiedener Störgrößen zur Standardpositionierungsstellung, von mehreren gestörten Positionierungsstellungen;
Bestimmen, abhängig von dem Muster-Straßenmerkmal und dem dritten Straßenmerkmal, eines gestörten Abbildungsfehlers, das den mehreren gestörten Positionierungsstellungen entspricht,
Lösen, basierend auf einer voreingestellten Abbildungsfehlerfunktion in Bezug auf den Positionierungsfehler im Zielkartenbereich, der Abbildungsfehlerfunktion, wenn der Restfehler zwischen der Abbildungsfehlerfunktion und dem den mehreren gestörten Positionierungsstellungen entsprechenden gestörten Abbildungsfehler den minimalen Wert annimmt, so dass eine funktionale Beziehung zwischen dem Abbildungsfehler und dem Positionierungsfehler im Zielkartenbereich erhalten wird.
In einem weiteren Ausführungsbeispiel der vorliegenden Erfindung ist vorgesehen, dass basierend auf dem in 6 gezeigten Ausführungsbeispiel das Beziehungsherstellungsmodul beim Durchführen von dem „Lösen der Abbildungsfehlerfunktion im Fall, dass der Restfehler zwischen der Abbildungsfehlerfunktion und dem den mehreren gestörten Positionierungsstellungen entsprechenden gestörten Abbildungsfehler den minimalen Wert annimmt“ folgende Vorgänge durchführt:
Lösen der folgenden Minimalwertfunktion: $min_{a, b, c, d, e, ƒ} \sum_{Δ x, Δ y \in Ω} ‖ g (Δ x, Δ y) - MapMatching (p_{g t} + Δ p, I_{s e g}, I_{m a p}) ‖$
um a₀, b₀, c₀, d₀, e₀ und f₀ zu erhalten, wobei a₀, b₀, c₀, d₀, e₀ und f₀, die nach dem Lösen erhalten sind, in g eingesetzt werden, um eine Funktion als Abbildungsfehlerfunktion zu erhalten;
wobei die Abbildungsfehlerfunktion g(Δx, Δy), g(Δx,Δy) = aΔx² + bΔxΔy + cΔy² + dΔx + eΔy + f ist, wobei p_gt für die Standardpositionierungsstellung steht, wobei die Störgröße Δp = {Δx,Δy,0}, Δx, Δy ∈ Ω ist, wobei Ω für den Zielkartenbereich steht, wobei I_seg für das Muster-Straßenmerkmal steht, wobei I_map für das dritte Straßenmerkmal steht, wobei MapMatching(p_gt + Δp, I_seg, I_map) für den gestörten Abbildungsfehler steht, der den mehreren gestörten Positionierungsstellungen p_gt + Δp entspricht.
In einem weiteren Ausführungsbeispiel der vorliegenden Erfindung umfasst basierend auf dem in 6 gezeigten Ausführungsbeispiel der Prozessor 610 ferner:

ein Neustartmodul (in der Figur nicht gezeigt), das verwendet ist, um nach dem Bestimmen der Positionierungsgenauigkeit der ersten visuellen Stellung abhängig von dem Positionierungsfehler die visuelle Positionierung durch die folgende Vorgänge erneut zu starten:

Berechnen, wenn abhängig von der Positionierungsgenauigkeit bestimmt wird, dass die visuelle Positionierung des Fahrzeugs auf dem Parkplatz versagt, einer dritten IMU-Stellung des Fahrzeugs, basierend auf einer Fahrzeugstellung vor dem Versagen der visuellen Positionierung und den IMU-Daten;
Erhalten, wenn bestimmt wird, dass sich eine durch die dritte IMU-Stellung angegeben Position in einem auf dem Parkplatz voreingestellten zweiten Initialisierungsbereich befindet, eines zweiten Parkplatzbildes, das durch die Kameravorrichtung 620 im zweiten Initialisierungsbereich erfasst wird, und Bestimmen, basierend auf dem Straßenmerkmal im zweiten Parkplatzbild und der dritten IMU-Stellung, einer dritten Fahrzeugstellung des Fahrzeugs durch ein zweites Stellung-Regressionsmodell; wobei das zweite Stellung-Regressionsmodell durch ein Vortrainieren basierend auf mehreren im zweiten Initialisierungsbereich erfassten Muster-Parkplatzbildern und entsprechenden Muster-Fahrzeugstellungen sowie markierten Fahrzeugstellungen erhalten wird;
Abgleichen des Straßenmerkmals im zweiten Parkplatzbild mit dem Straßenmerkmal in der voreingestellten Karte abhängig von der dritten Fahrzeugstellung, und Bestimmen, abhängig von dem Abgleichergebnis, einer vierten Fahrzeugstellung des Fahrzeugs als eine zweite Startstellung zum erneuten Starten der visuellen Positionierung.
Bestimmen einer Fahrzeugstellung des Fahrzeugs basierend auf den IMU-Daten, der zweiten Startstellung und einem Abgleichergebnis zwischen dem Straßenmerkmal in dem zweiten Parkplatzbild und einem Straßenmerkmal in der voreingestellten Karte.
Die Ausführungsbeispiele des Terminals und die Ausführungsbeispiele des in 1 gezeigten Verfahrens basieren auf demselben erfinderischen Konzept. Dabei können verwandte Teile aufeinander bezogen werden. Die vorstehenden Ausführungsbeispiele des Terminals entsprechen Ausführungsbeispielen des Verfahrens und weisen die gleiche technische Wirkung wie die Ausführungsbeispiele des Verfahrens auf. Bezüglich spezifischer Beschreibungen ist es auf die Ausführungsbeispiele des Verfahrens zu verweisen.
Der Durchschnittsfachmann kann verstehen, dass die Figur nur eine schematische Ansicht eines Ausführungsbeispiels darstellt, wobei die Module oder Prozesse in der Figur nicht unbedingt notwendig sind, um die vorliegende Erfindung zu implementieren.
Der Durchschnittsfachmann kann verstehen, dass die Module in der Vorrichtung gemäß dem Ausführungsbeispiel in einer Vorrichtung gemäß der Beschreibung des Ausführungsbeispiels verteilt sein können, oder entsprechend geändert und somit in einer oder mehreren Vorrichtungen angeordnet werden können, die sich von der Vorrichtung im vorliegenden Ausführungsbeispiel unterscheiden. Die Module des vorstehenden Ausführungsbeispiels können zu einem Modul zusammengefasst oder weiter in mehrere Untermodule unterteilt werden.
Schließlich ist anzugeben, dass die vorstehenden Ausführungsbeispiele nur zur Erläuterung anstelle Einschränkung der technischen Ausgestaltungen der vorliegenden Erfindung dienen. Obwohl die vorliegende Erfindung unter Bezugnahme auf die vorstehenden Ausführungsbeispiele ausführlich beschrieben wurde, sollte der Durchschnittsfachmann versehen, dass er die technischen Ausgestaltungen der vorstehenden Ausführungsbeispiele immer noch modifizieren oder gleichwertige Ersetzungen für deren einige oder alle technischen Merkmale vornehmen kann. Diese Modifikationen oder Ersetzungen führen jedoch nicht dazu, dass das Wesen der entsprechenden technischen Ausgestaltungen vom Geist Umfang der technischen Ausgestaltungen der Ausführungsformen der vorliegenden Erfindung abweicht.

Claims

Hochpräzises Verfahren zur Fahrzeugpositionierung in mehreren Szenen, dadurch gekennzeichnet, dass es umfasst: Erhalten, wenn ein Fahrzeug im Freien fährt, von IMU-Daten, die durch eine Trägheitsmesseinheit IMU erfasst sind, und von Satellitendaten, die durch eine Satellitenpositionierungseinheit GNSS erfasst sind, und Bestimmen einer Fahrzeugstellung abhängig von den IMU-Daten und den Satellitendaten; Erhalten, wenn abhängig von der Fahrzeugstellung bestimmt wird, dass das Fahrzeug vom Freien in einen an einem Eingang eines Parkplatzes voreingestellten ersten Initialisierungsbereich einfährt, eines ersten Parkplatzbildes, das durch eine Kameravorrichtung in dem ersten Initialisierungsbereich erfasst ist, und Bestimmen, abhängig von einem Straßenmerkmal im ersten Parkplatzbild, einer ersten Startstellung zum Starten einer visuellen Positionierung; Bestimmen einer Fahrzeugstellung des Fahrzeugs basierend auf den IMU-Daten, der ersten Startstellung und einem Abgleichergebnis zwischen dem Straßenmerkmal in dem ersten Parkplatzbild und einem Straßenmerkmal in einer voreingestellten Karte; Erhalten, wenn bestimmt wird, dass sich die visuelle Positionierung in einem Startzustand befindet, und wenn abhängig von der Fahrzeugstellung bestimmt wird, dass das Fahrzeug auf dem Parkplatz fährt, eines durch die Kameravorrichtung erfassten Parkplatzbilds, Erhalten der letzten Fahrzeugstellung, und Bestimmen einer Fahrzeugstellung des Fahrzeugs basierend auf den IMU-Daten, der letzten Fahrzeugstellung und einem Abgleichergebnis zwischen einem Straßenmerkmal in dem Parkplatzbild und einem Straßenmerkmal in der voreingestellten Karte; Zurückkehren zum Schritt des „Erhaltens von IMU-Daten, die durch eine Trägheitsmesseinheit IMU erfasst sind, und von Satellitendaten, die durch eine Satellitenpositionierungseinheit GNSS erfasst sind“, wenn abhängig von der Fahrzeugstellung bestimmt wird, dass das Fahrzeug vom Parkplatz ins Freie fährt.
Hochpräzises Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der Schritt „Bestimmen, abhängig von einem Straßenmerkmal im ersten Parkplatzbild, einer ersten Startstellung zum Starten einer visuellen Positionierung“ umfasst: Bestimmen, basierend auf dem Straßenmerkmal im ersten Parkplatzbild und der Fahrzeugstellung, einer ersten Fahrzeugstellung des Fahrzeugs durch ein erstes Stellung-Regressionsmodell; wobei das erste Stellung-Regressionsmodell durch ein Vortrainieren basierend auf mehreren im ersten Initialisierungsbereich erfassten Muster-Parkplatzbildern und entsprechenden Muster-Fahrzeugstellungen sowie markierten Fahrzeugstellungen erhalten wird; Abgleichen des Straßenmerkmals im ersten Parkplatzbild mit dem Straßenmerkmal in der voreingestellten Karte abhängig von der ersten Fahrzeugstellung, und Bestimmen, abhängig von dem Abgleichergebnis, einer zweiten Fahrzeugstellung des Fahrzeugs als die erste Startstellung zum Starten der visuellen Positionierung.
Hochpräzises Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass der Schritt „Bestimmen einer Fahrzeugstellung des Fahrzeugs basierend auf den IMU-Daten, der letzten Fahrzeugstellung und einem Abgleichergebnis zwischen einem Straßenmerkmal in dem Parkplatzbild und einem Straßenmerkmal in der voreingestellten Karte“ umfasst: Bestimmen, basierend auf der letzten Fahrzeugstellung und dem Abgleichergebnis zwischen dem Straßenmerkmal im Parkplatzbild und dem Straßenmerkmal in der voreingestellten Karte, einer ersten visuellen Stellung des Fahrzeugs zu einem ersten Zeitpunkt; wobei der erste Zeitpunkt ein Erfassungszeitpunkt des Parkplatzbildes und der IMU-Daten ist; Berechnen, basierend auf der letzten Fahrzeugstellung und den IMU-Daten, einer ersten IMU-Stellung des Fahrzeugs zum ersten Zeitpunkt; Erhalten von mehreren zweiten visuellen Stellungen und mehreren zweiten IMU-Stellungen, die zu mehreren zweiten Zeitpunkten bestimmt sind, wobei die mehreren zweiten Zeitpunkte vor dem ersten Zeitpunkt liegen; Erstellen einer ähnlichkeitsbeschränkten Optimierungsfunktion abhängig von einem Fusionstransformationskoeffizienten zwischen jedem Positionspunkt in einer ersten Trajektorie und jedem Positionspunkt in einer zweiten Trajektorie und von einer Ähnlichkeitsbeziehung zwischen jedem Positionspunkt in der ersten und zweiten Trajektorie und einer geschätzten Fusionsstellung, iteratives Lösen der ähnlichkeitsbeschränkten Optimierungsfunktion durch das Ändern eines Wertes der geschätzten Fusionsstellung, Bestimmen einer geschätzten Fusionsstellung, die bei einer optimalen Lösung der ähnlichkeitsbeschränkten Optimierungsfunktion ermittelt wird, als die Fahrzeugstellung nach einer Fusion des Fahrzeugs zum ersten Zeitpunkt; wobei die erste Trajektorie eine Trajektorie ist, die der ersten visuellen Stellung und den mehreren zweiten visuellen Stellungen entspricht, und wobei die zweite Trajektorie eine Trajektorie ist, die der ersten IMU-Stellung und den mehreren zweiten IMU-Stellungen entspricht.
Hochpräzises Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass der Schritt „Erstellen einer ähnlichkeitsbeschränkten Optimierungsfunktion abhängig von einem Fusionstransformationskoeffizienten zwischen jedem Positionspunkt in einer ersten Trajektorie und jedem Positionspunkt in einer zweiten Trajektorie und von einer Ähnlichkeitsbeziehung zwischen jedem Positionspunkt in der ersten und zweiten Trajektorie und einer geschätzten Fusionsstellung, iteratives Lösen der ähnlichkeitsbeschränkten Optimierungsfunktion durch das Ändern eines Wertes der geschätzten Fusionsstellung, Bestimmen einer geschätzten Fusionsstellung, die bei einer optimalen Lösung der ähnlichkeitsbeschränkten Optimierungsfunktion ermittelt wird, als die Fahrzeugstellung nach einer Fusion des Fahrzeugs zum ersten Zeitpunkt“ umfasst: Erstellen der folgenden ähnlichkeitsbeschränkten Optimierungsfunktion E abhängig von dem Fusionstransformationskoeffizienten zwischen jedem Positionspunkt in der ersten Trajektorie und jedem Positionspunkt in der zweiten Trajektorie und von einer Ähnlichkeitsbeziehung zwischen jedem Positionspunkt in der ersten und zweiten Trajektorie und einer geschätzten Fusionsstellung: $\begin{array}{l} min_{R_{f}, P_{f}, S, R_{s}} E = \sum_{i = 1}^{n} {‖ P_{f} (t_{i}) - P_{v} (t_{i}) ‖}^{2} + \sum_{i = 1}^{n} {‖ R_{f} (t_{i}) - R_{v} (t_{i}) ‖}^{2} \\ \begin{array}{l} + \sum_{i = 1}^{n - 1} {[P_{f} (t_{i + 1}) - P_{f} (t_{i})] - S (t_{i}) \cdot R_{s} (t_{i}) \cdot [P_{o} (t_{i + 1}) - P_{o} (t_{i})]}^{2} \\ + \sum_{i = 1}^{n - 1} {[R_{f} (t_{i + 1}) / R_{f} (t_{i})] - R_{s} (t_{i}) \cdot [R_{o} (t_{i + 1}) / R_{o} (t_{i})]}^{2} \\ + \sum_{i = 1}^{n - 1} {[S (t_{i + 1}) - S (t_{i})]}^{2} + \sum_{i = 1}^{n - 1} {[R_{s} (t_{i + 1}) - R_{s} (t_{i})]}^{2} \end{array} \end{array}$
wobei S(t_i) und R_s(t_i) jeweils für ein Skalierungsverhältnis und eine Rotationsmatrix in den Fusionstransformationskoeffizienten zwischen Positionspunkten zu einem Zeitpunkt t_i in der ersten Trajektorie und der zweiten Trajektorie stehen, wobei P_f(t_i) und R_f(t_i) jeweils für eine Position und eine Pose in der geschätzten Fusionsstellung zu einem Zeitpunkt t_i stehen, wobei P_v(t_i) und R_v(t_i) jeweils für eine Position und eine Pose des Positionspunktes zu einem Zeitpunkt t_i in der ersten Trajektorie stehen, wobei P_o(t_i) und R_o(t_i) jeweils für eine Position und eine Pose des Positionspunktes zu einem Zeitpunkt t_i in der zweiten Trajektorie stehen, wobei t₁ der erste Zeitpunkt ist, und t_n der früheste Zeitpunkt unter den mehreren zweiten Zeitpunkt ist, und wobei n die Gesamtzahl des ersten Zeitpunkts und der mehreren zweiten Zeitpunkt darstellt; Bestimmen eines Anfangswerts der geschätzten Fusionsstellung, und Bestimmen eines Anfangswerts von R_f, P_f, S, R_s; Bestimmen, abhängig von einem aktuellen Wert der geschätzten Fusionsstellung und einem aktuellen Wert von R_f, P_f, S, R_s, eines aktuellen Funktionswerts der ähnlichkeitsbeschränkten Optimierungsfunktion; Erhalten des letzten Funktionswertes der ähnlichkeitsbeschränkten Optimierungsfunktion, Beurteilen, ob ein Absolutwert der Differenz zwischen dem letzten Funktionswert und dem aktuellen Funktionswert größer als ein voreingestellter Differenzschwellenwert ist; wenn ja, Einstellen des Wertes der geschätzten Fusionsstellung und des Wertes von R_f, P_f, S, R_s, Zurückkehren zum Schritt des „Bestimmens, abhängig von abhängig von einem aktuellen Wert der geschätzten Fusionsstellung und einem aktuellen Wert von R_f, P_f, S, R_s, eines aktuellen Funktionswerts der ähnlichkeitsbeschränkten Optimierungsfunktion“; wenn nein, Bestimmen des aktuellen Werts der geschätzten Fusionsstellung als die Fahrzeugstellung nach der Fusion des Fahrzeugs zum ersten Zeitpunkt.
Hochpräzises Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass es nach dem Schritt „Bestimmen, basierend auf der letzten Fahrzeugstellung und dem Abgleichergebnis zwischen dem Straßenmerkmal im Parkplatzbild und dem Straßenmerkmal in der voreingestellten Karte, einer ersten visuellen Stellung des Fahrzeugs zu einem ersten Zeitpunkt“ ferner umfasst: Bestimmen, abhängig von der ersten visuellen Stellung, eines Abbildungsfehlers zwischen einem ersten Straßenmerkmal und einem zweiten Straßenmerkmal; wobei das erste Straßenmerkmal ein Straßenmerkmal im Parkplatzbild ist und das zweite Straßenmerkmal ein Straßenmerkmal in der voreingestellten Karte ist, das erfolgreich mit dem ersten Straßenmerkmal abgeglichen ist; Bestimmen eines Zielkartenbereichs, in dem sich die erste visuelle Stellung befindet, aus mehreren verschiedenen Kartenbereichen in der voreingestellten Karte; Bestimmen, abhängig von einer vorab hergestellten Entsprechung zwischen dem Abbildungsfehler und dem Positionierungsfehler im Zielkartenbereich, eines dem Abbildungsfehler entsprechenden Positionierungsfehlers, und Bestimmen, abhängig von dem Positionierungsfehler, einer Positionierungsgenauigkeit der ersten visuellen Stellung.
Hochpräzises Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass das Herstellen der Entsprechung zwischen dem Abbildungsfehler und dem Positionierungsfehler im Zielkartenbereich dadurch erfolgt: Erhalten eines im Zielkartenbereich erfassten Muster-Straßenbilds und eines entsprechenden Muster-Straßenmerkmals sowie einer Standardpositionierungsstellung des Fahrzeugs, die dem Muster-Straßenbild entspricht, und Erhalten eines dritten Straßenmerkmals in der voreingestellten Karte, das erfolgreich mit dem Muster-Straßenmerkmal abgeglichen ist; Erhalten, durch Hinzufügen mehrerer verschiedener Störgrößen zur Standardpositionierungsstellung, von mehreren gestörten Positionierungsstellungen; Bestimmen, abhängig von dem Muster-Straßenmerkmal und dem dritten Straßenmerkmal, eines gestörten Abbildungsfehlers, das den mehreren gestörten Positionierungsstellungen entspricht, Lösen, basierend auf einer voreingestellten Abbildungsfehlerfunktion in Bezug auf den Positionierungsfehler im Zielkartenbereich, der Abbildungsfehlerfunktion, wenn der Restfehler zwischen der Abbildungsfehlerfunktion und dem den mehreren gestörten Positionierungsstellungen entsprechenden gestörten Abbildungsfehler den minimalen Wert annimmt, so dass eine funktionale Beziehung zwischen dem Abbildungsfehler und dem Positionierungsfehler im Zielkartenbereich erhalten wird.
Hochpräzises Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass der Schritt „Lösen der Abbildungsfehlerfunktion, wenn der Restfehler zwischen der Abbildungsfehlerfunktion und dem den mehreren gestörten Positionierungsstellungen entsprechenden gestörten Abbildungsfehler den minimalen Wert annimmt“ umfasst: Lösen der folgenden Minimalwertfunktion: $min_{a, b, c, d, e, ƒ} \sum_{Δ x, Δ y \in Ω} ‖ g (Δ x, Δ y) - MapMatching (p_{g t} + Δ p, I_{s e g}, I_{m a p}) ‖$
um a₀, b₀, c₀, d₀, e₀ und f₀ zu erhalten, wobei a₀, b₀, c₀, d₀, e₀ und f₀, die nach dem Lösen erhalten sind, in g eingesetzt werden, um eine Funktion als Abbildungsfehlerfunktion zu erhalten; wobei die Abbildungsfehlerfunktion g(Δx, Δy), g(Δx,Δy) = aΔx² + bΔxΔy + cΔy² + cΔx + eΔy + f ist, wobei p_gt für die Standardpositionierungsstellung steht, wobei die Störgröße Δp = {Δx, Δy,0}, Δx,Δy ∈ Ω ist, wobei Ω für den Zielkartenbereich steht, wobei I_seg für das Muster-Straßenmerkmal steht, wobei I_map für das dritte Straßenmerkmal steht, wobei MapMatching(p_gt + Δp, I_seg, I_map) für den gestörten Abbildungsfehler steht, der den mehreren gestörten Positionierungsstellungen p_gt + Δp entspricht.
Hochpräzises Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass es nach dem Schritt „Bestimmen, abhängig von dem Positionierungsfehler, einer Positionierungsgenauigkeit der ersten visuellen Stellung“ ferner umfasst: Berechnen, wenn abhängig von der Positionierungsgenauigkeit bestimmt wird, dass die visuelle Positionierung des Fahrzeugs auf dem Parkplatz versagt, einer dritten IMU-Stellung des Fahrzeugs, basierend auf einer Fahrzeugstellung vor dem Versagen der visuellen Positionierung und den IMU-Daten; Erhalten, wenn bestimmt wird, dass sich eine durch die dritte IMU-Stellung angegeben Position in einem auf dem Parkplatz voreingestellten zweiten Initialisierungsbereich befindet, eines zweiten Parkplatzbildes, das durch die Kameravorrichtung im zweiten Initialisierungsbereich erfasst wird, und Bestimmen, basierend auf dem Straßenmerkmal im zweiten Parkplatzbild und der dritten IMU-Stellung, einer dritten Fahrzeugstellung des Fahrzeugs durch ein zweites Stellung-Regressionsmodell; wobei das zweite Stellung-Regressionsmodell durch ein Vortrainieren basierend auf mehreren im zweiten Initialisierungsbereich erfassten Muster-Parkplatzbildern und entsprechenden Muster-Fahrzeugstellungen sowie markierten Fahrzeugstellungen erhalten wird; Abgleichen des Straßenmerkmals im zweiten Parkplatzbild mit dem Straßenmerkmal in der voreingestellten Karte abhängig von der dritten Fahrzeugstellung, und Bestimmen, abhängig von dem Abgleichergebnis, einer vierten Fahrzeugstellung des Fahrzeugs als eine zweite Startstellung zum erneuten Starten der visuellen Positionierung. Bestimmen einer Fahrzeugstellung des Fahrzeugs basierend auf den IMU-Daten, der zweiten Startstellung und einem Abgleichergebnis zwischen dem Straßenmerkmal in dem zweiten Parkplatzbild und einem Straßenmerkmal in der voreingestellten Karte.
Fahrzeugmontiertes Terminal, dadurch gekennzeichnet, dass es einen Prozessor, eine Kameravorrichtung, eine Trägheitsmesseinheit IMU und eine Satellitenpositionierungseinheit GNSS umfasst, wobei der Prozessor ein Outdoor-Positionierungsmodul, ein Bestimmungsmodul zum Starten, ein erstes visuelles Positionierungsmodul, ein zweites visuelles Positionierungsmodul und ein Szenenumschaltmodul umfasst; wobei das Outdoor-Positionierungsmodul zum Erhalten, wenn ein Fahrzeug im Freien fährt, von IMU-Daten, die durch eine Trägheitsmesseinheit IMU erfasst sind, und von Satellitendaten, die durch eine Satellitenpositionierungseinheit GNSS erfasst sind, und zum Bestimmen einer Fahrzeugstellung abhängig von den IMU-Daten und den Satellitendaten dient; wobei das Aktivierbestimmungsmodul zum Erhalten, wenn abhängig von der Fahrzeugstellung bestimmt wird, dass das Fahrzeug vom Freien in einen an einem Eingang eines Parkplatzes voreingestellten ersten Initialisierungsbereich einfährt, eines ersten Parkplatzbildes, das durch die Kameravorrichtung in dem ersten Initialisierungsbereich erfasst ist, und zum Bestimmen, abhängig von einem Straßenmerkmal im ersten Parkplatzbild, einer ersten Startstellung zum Starten einer visuellen Positionierung dient; wobei das erste visuelle Positionierungsmodul zum Bestimmen einer Fahrzeugstellung des Fahrzeugs basierend auf den IMU-Daten, der ersten Startstellung und einem Abgleichergebnis zwischen dem Straßenmerkmal in dem ersten Parkplatzbild und einem Straßenmerkmal in einer voreingestellten Karte dient; wobei das zweite visuelle Positionierungsmodul zum Erhalten, wenn bestimmt wird, dass sich die visuelle Positionierung in einem Startzustand befindet, und wenn abhängig von der Fahrzeugstellung bestimmt wird, dass das Fahrzeug auf dem Parkplatz fährt, eines durch die Kameravorrichtung erfassten Parkplatzbilds, zum Erhalten der letzten Fahrzeugstellung, und zum Bestimmen einer Fahrzeugstellung des Fahrzeugs basierend auf den IMU-Daten, der letzten Fahrzeugstellung und einem Abgleichergebnis zwischen einem Straßenmerkmal in dem Parkplatzbild und einem Straßenmerkmal in der voreingestellten Karte dient; wobei das Szenenumschaltmodul zum Zurückkehren zum Vorgang des „Erhaltens von IMU-Daten, die durch eine Trägheitsmesseinheit IMU erfasst sind, und von Satellitendaten, die durch eine Satellitenpositionierungseinheit GNSS erfasst sind“ dient, wenn abhängig von der Fahrzeugstellung bestimmt wird, dass das Fahrzeug vom Parkplatz ins Freie fährt.
Terminal nach Anspruch 9, dadurch gekennzeichnet, dass das Bestimmen der ersten Startstellung zum Starten der visuellen Positionierung durch das Bestimmungsmodul zum Starten abhängig von dem Straßenmerkmal im ersten Parkplatzbild umfasst: Bestimmen, basierend auf dem Straßenmerkmal im ersten Parkplatzbild und der Fahrzeugstellung, einer ersten Fahrzeugstellung des Fahrzeugs durch ein erstes Stellung-Regressionsmodell; wobei das erste Stellung-Regressionsmodell durch ein Vortrainieren basierend auf mehreren im ersten Initialisierungsbereich erfassten Muster-Parkplatzbildern und entsprechenden Muster-Fahrzeugstellungen sowie markierten Fahrzeugstellungen erhalten wird; Abgleichen des Straßenmerkmals im ersten Parkplatzbild mit dem Straßenmerkmal in der voreingestellten Karte abhängig von der ersten Fahrzeugstellung, und Bestimmen, abhängig von dem Abgleichergebnis, einer zweiten Fahrzeugstellung des Fahrzeugs als die erste Startstellung zum Starten der visuellen Positionierung.