DE102022204776B3

DE102022204776B3 - Verfahren zum Lokalisieren eines Fahrzeuges innerhalb eines SAR-Bildes

Info

Publication number: DE102022204776B3
Application number: DE102022204776.1A
Authority: DE
Inventors: Jonathan Wache; Dennis Kinder
Original assignee: Continental Autonomous Mobility Germany GmbH
Current assignee: Continental Autonomous Mobility Germany GmbH
Priority date: 2022-05-16
Filing date: 2022-05-16
Publication date: 2023-06-29
Anticipated expiration: 2042-05-17

Abstract

Die Erfindung betrifft ein Verfahren zum Lokalisieren eines Fahrzeuges (1) innerhalb eines SAR-Bildes eines Radarsystems des Fahrzeuges (1), bei dem das Radarsystem Radarsignale aussendet, welche an Objekten in der Umgebung des Fahrzeuges (1) reflektiert werden, das Radarsystem anhand von Radardetektionen eine SAR-Signatur (6) für die erfassten Objekte erstellt und basierend darauf ein SAR-Bild der Umgebung des Fahrzeuges (1) generiert, das Radarsystem Einzeldetektionen (7) erfasst, und die Einzeldetektionen mit dem SAR-Bild abgeglichen werden, um das Fahrzeug (1) im SAR-Bild zu lokalisieren.

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Lokalisieren eines Fahrzeuges innerhalb eines SAR-Bildes eines Radarsystems des Fahrzeuges, ein Radarsystem für ein Fahrzeug zum Erzeugen eines SAR-Bildes, ein Fahrzeug aufweisend ein entsprechendes Radarsystem sowie eine Verwendung des erfindungsgemäßen Radarsystems.
Technologischer Hintergrund
Aus dem Stand der Technik sind Radartechniken bekannt, mittels denen hochauflösende Radarinformationen, nachfolgend auch als Radarbild bezeichnet, gewonnen werden können. Derartige hochauflösende Radarbilder sind insbesondere für das autonome Fahren von Fahrzeugen von hoher Relevanz. Insbesondere das Synthetische-Apertur-Radar (SAR) ermöglicht eine hohe räumliche Auflösung. Die Berechnung von hochauflösenden Radarinformationen, insbesondere bei SAR-Radarsystemen, erfordert einen sehr hohen Rechenaufwand, da neben der hochgenauen Kenntnis der Bewegungsbahn des Fahrzeugs, an dem sich das Radarsystem befindet, jeder Rasterbereich bzw. Pixel des Radarbildes unter Berücksichtigung mehrerer rampenartiger oder pulsartiger Radarsignale berechnet werden muss. Daher sind die Systemanforderungen an ein Radarsystem mit hoher räumlicher Auflösung und Echtzeit- bzw. quasi-Echtzeit-Anforderungen sehr hoch, insbesondere im Hinblick auf die Größe des Systemspeichers bzw. der Prozessorleistung.
Stand der Technik
Für hoch automatisierte Fahrfunktionen wie den Highway Piloten oder vollautomatisiertes Einparken ohne Fahrereingriff werden redundante Sensorsysteme benötigt, die eine hochgenaue und robuste Lokalisierung erlauben. Die Lokalisierung kann beispielsweise auf Basis von visuellen Landmarken realisiert werden (wie beispielsweise beschrieben in S. Luthardt, V. Willert and J. Adamy, „LLama-SLAM: Learning High-Quality Visual Landmarks for Long-Term Mapping and Localization“, 21st International Conference on Intelligent Transportation Systems (ITSC), Maui, Hawaii, USA, 2018, S. 2645-2652 Diese werden mit Hilfe von am Fahrzeug montierten Kamerasensoren generiert. Durch die eingesetzte Kamera können jedoch Einschränkungen entstehen, wie z. B. dass bei schlechter Sicht wie Regen, Nebel oder Schneefall relevante Landmarken gegebenenfalls nicht mehr zuverlässig erkannt werden können. Derartige Lokalisierungs-Systeme auf Basis von visuellen Landmarken können somit in kritischen Szenarien leichter versagen oder ungenaue Ergebnisse liefern, wenn beispielsweise das Wetter schlecht ist und die relevanten Landmarken nicht in Sicht sind.
Dagegen sind sogenannte radarbasierte SLAM (Simultaneous Localization and Mapping)-Verfahren im Vorteil. Hier ist allerdings die erreichbare Winkelauflösung und die damit verbundene Genauigkeit der Radarkarte, durch die limitierte Anzahl an Antennen und Aperturgröße im Radarsensor limitiert. Hochauflösende Radarsensoren sind zudem mit einem erhöhten Kosten- und Herstellungsaufwand verbunden. Beispielsweise wird in Jürgens, N. Koch and M. -M. Meinecke, „Radar-based Automotive Localization using Landmarks in a Multimodal Sensor Graph-based Approach,“ 21st International Radar Symposium (IRS), 2020, S. 373-378, doi: 10.23919/IRS48640.2020.9253921 ein System beschrieben, welches Landmarken auf Basis von Radardaten erfasst. Die DE 10 2020 205 187 A1 beschreibt einen Radarvorrichtung mit mindestens einem Radarsensor und einer Recheneinrichtung, welche dazu ausgebildet ist, die Radarmessdaten des Radarsensors mittels SAR-Verfahren auszuwerten, um ein Radarbild zu erzeugen, das Radarbild später mittels eines SLAM-Verfahrens ausgewertet wird, um eine Umgebungskarte zu erzeugen und den mindestens einen Radarsensor in der Umgebungskarte zu lokalisieren. Mit der Radarvorrichtung lässt sich eine absolute Lokalisierung erreichen, indem die erzeugte Umgebungskarte bzw. ein Kartenausschnitt mit einer gespeicherten bekannten Umgebungskarte verglichen wird, wobei ein Abgleich von wenigen Landmarken erfolgt.
Ferner arbeiten bisherige Systeme in der Regel mit aufakkumulierten Radar Punktwolken. Ein besonderer Ansatz ist zudem die Generierung von SAR-Bildern mit Hilfe eines Synthetic Aperture Radars (SAR), wie beispielsweise beschrieben in H. Iqbal, A. Loeffler, M. Mejdoub, F. Gruson, „Realistic SAR Implementation for Automotive Applications“, 17th European Radar Conference, Utrecht. Die Nutzung von SAR verspricht dabei eine deutlich höhere Auflösung der generierten Karte mit geringem Hardwareaufwand. Es können dabei z. B. bereits verbaute Seitenradare verwendet werden, wobei theoretisch auch nur ein Radar mit nur einer Antenne ausreichend ist. Beispielsweise sind auch in DE 10 2015 201 828 A1 und DE 10 2017 123 902 A1 Verfahren für Radarsysteme beschrieben, bei denen Bilder auf Basis von SAR erzeugt werden. Ferner beschreibt DE 10 2018 124 215 A1 ein Verfahren, bei dem den von den jeweiligen Radarsensoren erhaltenen Empfangsinformationen Ortsinformationen zugeordnet werden, die dabei eine Ortsreferenz für die Empfangsinformationen bilden.
Die DE 10 2017 221 691 A1 beschreibt ein Verfahren zur Eigenlokalisierung eines Fahrzeugs in seinem Umfeld, wobei während der Fahrt des Fahrzeugs die Umgebung mittels Radarsensorik erfasst und eine Karte anhand von Reflexpunkten erstellt wird, wobei nicht-stationäre Reflexpunkte aussortiert und nur stationäre Reflexpunkte verwendet werden. Anschließend werden die Reflexpunkte mit denjenigen der Karte verglichen, um die Position des Fahrzeugs in der Karte zu ermitteln.
Aus JP 5 047 290 B2 ist ein Verfahren bekannt bei dem, ein Radarsensor mit synthetischer Apertur ein SAR-Image erzeugt, wenn sich das Fahrzeug z. B. entlang eines Parkplatzes bewegt, und durch dessen Verarbeitung die Breite und Länge des Parkplatzes bestimmt wird.
Aus DE 10 2020 207 879 A1 ist Verfahren zum Betrieb eines Radarsensors in einem Kraftfahrzeug bekannt, bei dem in einem SAR-Messmodus nach dem Prinzip der synthetischen Apertur eine Ortung von Objekten, einschließlich stationärer Objekte, mit hoher Winkelauflösung stattfindet, wobei derselbe Radarsensor zeitversetzt oder zeitgleich im SAR-Messmodus und in einem Doppler-Messmodus betrieben wird, wobei in dem Doppler-Messmodus die Relativgeschwindigkeiten von Objekten, einschließlich bewegter Objekte, mit einer zeitlichen Auflösung gemessen werden, die größer ist als die zeitliche Auflösung im SAR-Messmodus. Zwischen SAR-Messmodus und Doppler-Messmodus kann dabei abhängig von der jeweiligen Verkehrssituation umgeschaltet werden.
Ferner beschreibt die DE 10 2014 217 847 A1 ein Fahrerassistenzsystem zum Aktualisieren einer digitalen Karte, welches eine Abweichung zwischen einer von der fahrzeuginternen Umfeldsensoreinrichtung erfassten Relativposition einer Landmarke und der aus der digitalen Karte erhältlichen Relativposition bestimmt. Diese Abweichung kann dann durch die Kommunikation zwischen benachbarten Fahrzeugen verifiziert und danach zur Aktualisierung der digitalen Karte verwendet werden.
Aufgabe der vorliegenden Erfindung
Ausgehend hiervon ist es Aufgabe der Erfindung, ein Verfahren anzugeben, mittels dem eine verlässliche und hochgenaue Lokalisierung in Automotive SAR-Bildern ermöglicht wird.
Erfindungsgemäße Lösung
Die vorstehende Aufgabe wird durch die Merkmalskombination des Anspruchs 1 sowie der nebengeordneten Ansprüche gelöst. Zweckmäßiger Ausgestaltungen der Erfindung sind in den Unteransprüchen beansprucht.
Bei dem erfindungsgemäßen Verfahren zum Lokalisieren eines Fahrzeuges innerhalb eines SAR-Bildes eines Radarsystems des Fahrzeuges, sendet das Radarsystem Radarsignale aus, welche an Objekten in der Umgebung des Fahrzeuges reflektiert und vom Radarsystem wieder empfangen werden. Das Radarsystem kann dann anhand der Radardetektionen eine SAR-Signatur für die erfassten Objekte erstellen und basierend darauf ein SAR-Bild der Umgebung des Fahrzeuges generieren. Ferner erfasst das Radarsystem auch Einzeldetektionen bzw. Einzelreflexionen, die mit dem SAR-Bild abgeglichen werden, wobei die Einzeldetektionen in das SAR-Bild übernommen werden bzw. die im SAR-Bild erfassten SAR-Signaturen mit den Einzeldetektionen überlagert bzw. abgeglichen werden, um dann das Fahrzeug im SAR-Bild zu lokalisieren. Durch das erfindungsgemäße Verfahren wird eine zusätzliche Funktionalität zur hochgenaueren Lokalisierung (autonomes fahren Level 3/ 4) bereitgestellt. Daraus resultiert der Vorteil, dass eine deutlich höhere laterale Auflösung als im herkömmlichen Radarzyklus erzielt wird. Zudem stellt das Verfahren eine kostengünstige Implementierung von hochgenauen Lokalisierungsaufgaben ohne zusätzliche Sensorik zur Verfügung, womit eine verlässliche und hochgenaue Lokalisierung in Automotive SAR-Bildern ermöglicht wird.
Vorzugsweise ist ein erster Modus vorgesehen, in dem das Radarsystem Radardetektionen für eine SAR-Signatur erfasst und ein zweiter Modus vorgesehen, in dem das Radarsystem Einzeldetektionen erfasst.
Zweckmäßigerweise können der erste Modus und der zweite Modus im Wechsel nacheinander oder parallel nebeneinander erfolgen.
Gemäß einer weiteren Ausgestaltung der Erfindung können anhand des Abgleichs der Einzeldetektionen mit dem SAR-Bild, zusätzlich auch andere Objekte im SAR-Bild lokalisiert werden.
Ferner können auch Navigationsdaten erfasst und/oder empfangen werden (z. B. durch das Navigationssystem), die dem SAR-Bild, insbesondere Pixelweise, hinterlegt werden.
Zweckmäßigerweise können die Navigationsdaten dazu vorgesehen sein, das Fahrzeug oder Objekte in der Umgebung des Fahrzeuges zu lokalisieren.
Ferner beansprucht die vorliegende Erfindung ein Radarsystem für ein Fahrzeug, umfassend zumindest einen Radarsensor, welches ein SAR-Bild erzeugt, wobei das Fahrzeug anhand eines erfindungsgemäßen Verfahrens lokalisiert wird.
Zudem beansprucht die vorliegende Erfindung ein Fahrzeug, umfassend ein erfindungsgemäßes Radarsystem.
Ferner umfasst die vorliegende Erfindung zudem das Verwenden eines erfindungsgemäßen Radarsystems zum Überprüfen der Funktionsfähigkeit des Radarsystems. Hierbei werden Radardetektionen beim Stop des Fahrzeuges (z. B. beim Abstellen/Parken des Fahrzeuges) erfasst, wobei ein SAR-Bild erstellt wird und das Fahrzeug und/oder Objekte im SAR-Bild nach dem erfindungsgemäßen Verfahren lokalisiert wird/werden. Das erste SAR-Bild kann dann beispielsweise in einem Speicher des Radarsystems hinterlegt werden. Beim Start des Fahrzeuges können dann Radardetektionen erfasst werden, wobei das Fahrzeug und/oder Objekte im SAR-Bild anhand der Radardetektionen im letzten SAR-Bild lokalisiert wird/werden. Die Lokalisierung ist hierbei wichtig, um festzustellen, dass sich das Fahrzeug zwischen Stop und Start nicht bewegt hat. Dann können die Radardetektionen mit den Radardetektionen im SAR-Bild abgeglichen werden, so dass Abweichungen zwischen diesen erfasst werden (z. B. Abweichungen im Bild oder der Lokalisierung), wobei dadurch Rückschlüsse auf die Funktionalität des Radarsystems anhand der Abweichungen gezogen werden können. Beispielsweise kann von einem Misalignment bzw. einer Sensordejustage ausgegangen werden, wenn sich die Umgebung im SAR-Bild verändert (z. B. in Hinblick auf stationäre Objekte, wie Leitplanken, Straßenrandbebauung oder dergleichen) das Fahrzeug 1 aber die gleiche Lokalisation aufweist. In praktischer Weise kann das Radarsystem dann den Fahrer des Fahrzeuges auf eine derartige Dejustage hinweisen.
Beschreibung der Erfindung anhand von Ausführungsbeispielen
Im Folgenden wird die Erfindung anhand von zweckmäßigen Ausführungsbeispielen näher erläutert. Es zeigen:

1 eine vereinfachte Darstellung eines Verkehrsszenarios, bei dem ein Fahrzeug mittels Radarsensorik ein SAR-Bild erstellt gemäß einer Ausgestaltung des erfindungsgemäßen Verfahrens;
2 eine vereinfachte Darstellung des Verkehrsszenarios aus 1 mit der eingetragenen SAR-Signatur des erstellten SAR-Bildes;
3 eine vereinfachte Darstellung des Verkehrsszenarios aus 1, bei dem das Fahrzeug mittels Radarsensorik Einzeldetektionen erstellt, sowie
4 eine vereinfachte Darstellung des SAR-Bildes aus 2 mit den eingetragenen Einzeldetektionen aus 3.

In 1 ist eine Verkehrssituation gezeigt, bei der ein Fahrzeug 1 mit einem erfindungsgemäßen Radarsystem ausgestattet ist. Das Radarsystem umfasst hierzu einen Radarsensor 2 mit größerer Reichweite (z. B. bis zu 300 m) und 4 Kurzreichweitenradare 3a-3d, die an den Fahrzeugecken angeordnet sind. Es ist jedoch auch denkbar, dass das Radarsystem mehr oder weniger Radarsensoren aufweist. Das hier eingesetzte Radarsystem kann sowohl ein SAR-Bild erstellen sowie Einzeldetektionen generieren. Dadurch können Hindernisse im Umfeld des Fahrzeuges erfasst werden, wie z. B. Straßenrandbebauung, ein parkendes Fahrzeug 5, Bordsteinkanten und dergleichen. Für die erfindungsgemäße Lösung wird zudem eine Lokalisierung mit Hilfe von Radareinzeldetektionen im zuvor erstellten SAR-Bild ermöglicht.
Gemäß 2 wird dabei zunächst eine SAR-Signatur 6 erstellt und daraus ein SAR-Bild generiert, was z. B. anhand eines herkömmlichen Verfahrens zur Erstellung eines (hochgenauen) SAR-Bildes erfolgen kann. Beispielsweise können SAR-Signaturen 6 hierbei Parklücken und die Umgebung einer Parklücke, Bordsteinkanten, Bewuchs, andere Verkehrsteilnehmer wie parkende Autos 5 und dergleichen sein. Das Fahrzeug 1 erstellt somit während der Fahrt eine Karte bzw. ein SAR-Bild basierend auf SAR-Daten bzw. einer SAR-Signatur. Das SAR-Bild kann anschließend mit Navigations- bzw. GPS-Daten aus dem Navigationssystem, dem Boardcomputer des Fahrzeuges 1 oder dergleichen hinterlegt werden bzw. die GPS-Koordinaten können den Pixeln im SAR-Bild zugewiesen werden.
Danach werden Einzeldetektionen 7 erfasst, wie in 3 gezeigt. Dies kann z. B. erfolgen, indem das Radarmessverfahren von einem ersten Modus (SAR-Modus) in einen zweiten Modus (Einzeldetektionsmodus) umgeschaltet wird oder indem diese parallel nebeneinander erfasst werden. Anschließend erfolgt eine Lokalisierung der Objekte im SAR-Bild mit Hilfe von Einzelradardetektionen, wobei die Einzeldetektionen in das SAR-Bild übernommen werden bzw. die im SAR-Bild erfassten SAR-Signaturen mit den Einzeldetektionen 7 überlagert bzw. abgeglichen werden, um die Objekte zu lokalisieren, wie in 4 gezeigt. Mittels der Radardetektionen kann dann das Fahrzeug im SAR-Bild bzw. auch Objekte im SAR-Bild lokalisiert werden. Ferner können die Navigations- bzw. GPS-Daten genutzt werden, um das Fahrzeug 1 oder andere Objekte in der Fahrzeugumgebung global zu lokalisieren.
In praktischer Weise kann das Verfahren in Parksituationen genutzt werden: Bei der Vorbeifahrt an einer Parklücke kann diese mittels SAR genau vermessen werden, wobei eine Umgebungskarte bzw. ein SAR-Bild generiert wird. Durch die komplette Vorbeifahrt an der Parklücke ist es dann möglich, diese komplett einzumessen. In überraschender Weise kann es beim darauffolgenden eigentlichen Parkvorgang Vorteile bringen, Radareinzeldetektionen zur Lokalisierung im SAR-Bild zu verwenden. Beispielsweise ist durch die Funktionsweise von SAR die Messung erst nach der Vorbeifahrt an Objekten komplett vorhanden. Hierbei ist es insbesondere sehr vorteilhaft, den SAR- und Radareinzeldetektionsmodus zur Lokalisierung zu verknüpfen.
Ferner kann das vorliegende Verfahren genutzt werden, um ein Sensormisalignment zu erfassen, indem nach dem Fahrzeugneustart die Radardetektionen mit dem beim Fahrzeugstop gespeichertem SAR-Bild abgeglichen bzw. angeglichen werden können. Sofern dann Abweichungen vorliegen, können diese zum automatischen Sensoralignment herangezogen werden, bei dem sich der Sensor automatisch einstellt, oder es kann genutzt werden, um dem Fahrer ein Missalignment anzuzeigen, so dass dieser eine Werkstatt aufsuchen kann.

Claims

Verfahren zum Lokalisieren eines Fahrzeuges (1) innerhalb eines SAR-Bildes eines Radarsystems des Fahrzeuges (1), bei dem das Radarsystem Radarsignale aussendet, welche an Objekten in der Umgebung des Fahrzeuges (1) reflektiert werden, das Radarsystem anhand von Radardetektionen eine SAR-Signatur (6) für die erfassten Objekte erstellt und basierend darauf ein SAR-Bild der Umgebung des Fahrzeuges (1) generiert, das Radarsystem Einzeldetektionen (7) erfasst, und die Einzeldetektionen (7) mit dem SAR-Bild abgeglichen werden, wobei die Einzeldetektionen (7) in das SAR-Bild übernommen werden, indem die im SAR-Bild erfassten SAR-Signaturen (6) mit den Einzeldetektionen (7) überlagert werden, um das Fahrzeug (1) im SAR-Bild zu lokalisieren.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass ein erster Modus vorgesehen ist, in dem das Radarsystem Radardetektionen für eine SAR-Signatur erfasst und ein zweiter Modus vorgesehen ist, in dem das Radarsystem Einzeldetektionen erfasst.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass der erste Modus und der zweite Modus im Wechsel nacheinander oder parallel nebeneinander erfolgen.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass anhand des Abgleichs der Einzeldetektionen mit dem SAR-Bild, zusätzlich auch andere Objekte im SAR-Bild lokalisiert werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass Navigationsdaten erfasst und/oder empfangen werden, die dem SAR-Bild hinterlegt werden.
Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass die Navigationsdaten dazu vorgesehen sind, das Fahrzeug (1) oder Objekte in der Umgebung des Fahrzeuges (1) zu lokalisieren.
Radarsystem für ein Fahrzeug (1), umfassend zumindest einen Radarsensor (2, 3a-3d), welches ein SAR-Bild erzeugt und das Fahrzeug (1) anhand eines Verfahrens nach einem der vorhergehenden Ansprüche lokalisiert.
Fahrzeug (1), umfassend ein Radarsystem nach Anspruch 7.
Verwenden eines Radarsystems nach Anspruch 7 zum Überprüfen der Funktionsfähigkeit des Radarsystems, wobei Radardetektionen beim Stop des Fahrzeuges (1) erfasst werden, wobei ein SAR-Bild erstellt wird und das Fahrzeug (1) und/oder Objekte im SAR-Bild gemäß eines Verfahrens nach einem der Ansprüche 1-6 lokalisiert wird/werden, und Radardetektionen beim Start des Fahrzeuges (1) erfasst werden, wobei die Radardetektionen beim Start des Fahrzeuges (1) mit dem SAR-Bild abgeglichen werden, so dass Abweichungen zwischen den Radardetektionen beim Start des Fahrzeuges (1) und den Radardetektionen im SAR-Bild erfasst werden, und Rückschlüsse auf die Funktionalität des Radarsystems anhand der Abweichungen gezogen werden.