-
Die vorliegende Offenbarung betrifft allgemein das Gebiet des zivilen autonomen Fahrens, insbesondere ein Verfahren, Computerprogramm, maschinenlesbares Speichermedium und System zur Klassifizierung von Geisterobjekten in einer Umgebung eines Straßenfahrzeugs, eines Beförderungssystems und/oder einer Komponente einer Verkehrsinfrastruktur.
-
Der Bereich des autonomen Fahrens gewinnt in der Automobilbranche immer mehr an Bedeutung. Für die Umweltwahrnehmung wird eine breite Palette von Sensoren eingesetzt, um eine hohe Robustheit zu gewährleisten und Sicherheitsanforderungen zu erfüllen. Die drei gängigsten Sensoren in diesem Zusammenhang sind Kamera, Lidar und Radar. Jeder Sensor hat seine eigenen Vorteile, z. B. hat die Kamera eine hohe Winkelauflösung, das Lidar bietet die dichteste 3D-Wahrnehmung und das Radar liefert über den Doppler-Effekt eine sofortige Geschwindigkeitsschätzung. Ein weiterer großer Vorteil für Radarsensoren ist die wesentlich größere Wellenlänge, die es dem Radarsignal ermöglicht, viele Objekte zu durchdringen, und die es im Gegenzug sehr viel robuster gegenüber ungünstigen Wetterbedingungen wie Schnee, Regen und Nebel macht.
-
Ein Nachteil für Radarwellen ist jedoch, dass viele Objekte in der realen Welt aufgrund ihrer stark spiegelnden Reflexionseigenschaften wie Spiegelflächen wirken. Ein Strahlsensor, z. B. ein Radarsensor, sendet ein Signal aus, von dem Teile reflektiert werden und als Echo zurückkommen, wenn sie auf ein Ziel treffen. Aus dem Echo kann die Entfernung (Reichweite) zum erkannten Ziel anhand der Laufzeit berechnet werden, und der Ankunftswinkel (Azimutwinkel) wird durch mehrere Empfangsantennen mit bekanntem Abstand und Berechnen der Zeitverzögerung beim Empfang des Echos an jeder Antenne berechnet, was als Strahlformung bezeichnet wird. Die relative Radialgeschwindigkeit (Doppler-Geschwindigkeit) des Ziels wird anhand der Frequenzverschiebung zwischen den einfallenden und reflektierten Wellen gemessen.
-
Da ein Strahlsensor in der Regel Wellen in alle Richtungen innerhalb seines Sichtfeldes aussendet und die Position des Ziels anhand des Ankunftswinkels der Echos berechnet wird, besteht die Möglichkeit, dass das reflektierte Signal einen indirekten Weg zwischen dem Sensor und dem Ziel nimmt. Ein solcher indirekter Reflexionsweg führt zu Erfassungen an falschen Positionen, die entweder eine andere Reichweite oder einen anderen Azimut oder beides aufweisen. Diese Erfassungen werden in der Literatur häufig als Geisterziele oder Mehrwegreflexionen bezeichnet. Das Erkennen von Geisterzielen ist für eine zuverlässige und robuste Leistung von Kfz-Strahlsensoren, insbesondere von Kfz-Radarsensoren, unerlässlich.
-
Zur Klassifizierung von Geisterzielen in Radardaten offenbart
WO 2020210307 A1 ein Verfahren zur Klassifizierung eines durch eine Radarvorrichtung erfassten Objekts, das die folgenden Schritte umfasst: Identifizieren von zwei dynamischen Objekten und einem stationären Objekt aus Sensordaten, die durch mindestens einen Sensor erfasst werden; Bestimmen einer Vielzahl von Konfidenzwerten basierend auf einem Vergleich des Trennungsabstands zwischen jedem Objekt und einer Entfernung jedes Objekts zu dem Sensor, Bestimmen eines höchsten Konfidenzwerts unter diesen Werten; Vergleichen des höchsten Konfidenzwerts mit einem neu definierten Schwellenwert; und Erhöhen einer entsprechenden Geisterwahrscheinlichkeit, wenn der höchste Konfidenzwert höher als ein vorgegebener Schwellenwert ist, oder Verringern der entsprechenden Geisterwahrscheinlichkeit, wenn der höchste Konfidenzwert nicht höher als der vorgegebene Schwellenwert ist. Das Verfahren beinhaltet auch das Markieren des Objekts als Geisterobjekt, wenn die Wahrscheinlichkeit eines weniger vertrauenswürdigen Objekts höher als ein oberer Schwellenwert ist, und das Setzen einer Geisterwahrscheinlichkeit auf Null, wenn das weniger vertrauenswürdige Objekt niedriger als ein unterer Schwellenwert ist.
-
In „Ghost target identification by analysis of the doppler distribution in automotive scenarios“ (Identifizierung von Geisterzielen durch Analyse der Doppler-Verteilung in Kfz-Szenarien), F. Roos, M. Sadeghi, J. Bechter, N. Appenrodt, J. Dickmann und C.
-
Waldschmidt in 2017 18th International Radar Symposium (IRS) IEEE, 2017, Seite 1-9, wird ein modellbasierter Ansatz vorgeschlagen.
-
In „Solid or not solid: vision for radar target validation“ (Fest oder nicht fest: eine Vision für die Validierung von Radarzielen), A. Sole, O.Mano, G.P. Stein, H. Kumon, Y. Tamatsu und A. Shashua, IEEE Intelligent Vehicles Symposium, verifizieren die Autoren die Radarobjekte anhand von Kameraobjekten.
-
-
Ein Ziel der Erfindung ist die Verbesserung der Geisterobjekterkennung, insbesondere der Radar-Geisterobjekterkennung.
-
Gemäß der vorliegenden Erfindung wird ein rekurrentes neuronales Netz zur Erkennung von Geisterobjekten in der Umgebung eines Straßenfahrzeugs, eines Beförderungssystems und/oder einer Komponente der Verkehrsinfrastruktur verwendet.
-
In einem ersten Aspekt wird ein Verfahren gemäß Anspruch 1 bereitgestellt. Strahlsensordaten der Umgebung werden aus mindestens einem Strahlsensor am Straßenfahrzeug, am Beförderungssystem und/oder an der Komponente einer Verkehrsinfrastruktur empfangen. Die Strahlsensordaten umfassen Strahlreflexionen von Zielobjekten und Mehrwegreflexionen. Anhand der Strahlsensordaten werden Merkmale der Objekte bestimmt. Die Mehrwegreflexionen werden als Geisterobjekte gekennzeichnet. Die Merkmale und die Geisterobjekte werden als Trainingsdaten in ein rekurrentes neuronales Netz eingegeben. Das rekurrente neuronale Netz wird anhand der Trainingsdaten trainiert, um zwischen Zielobjekten und Geisterobjekten basierend auf Beobachtung von Merkmalen in verschiedenen Zeitabschnitten zu unterscheiden.
-
Das Verfahren kann computerimplementiert sein.
-
Die Komponente einer Verkehrsinfrastruktur, z. B. ein ortsfester Blitzer, ein Ampelmast oder dergleichen, könnte mit einem oder mehreren Radarsensoren ausgestattet sein. In einem Aspekt ist die Komponente der Verkehrsinfrastruktur zur Kommunikation mit der Mobilitätswelt ausgelegt, zum Beispiel über einen Cloud-Server, aus dem Straßenfahrzeuge oder Beförderungssysteme Informationen erhalten, oder über Kfzzu-Alles-Kommunikationsmodule, die in der Komponente und den Straßenfahrzeugen oder Beförderungssystemen installiert sind.
-
In einem Aspekt umfasst das rekurrente neuronale Netz Einheiten mit langem Kurzzeitgedächtnis (LSTM), d. h. eine besondere Art von rekurrentem neuronalem Netz, die es ermöglichen, dass Gradienten auch unverändert fließen. Somit lösen LSTM-Einheiten teilweise das Problem des verschwindenden Gradienten klassischer rekurrenter neuronaler Netze und verarbeiten Sequenzen auf vorteilhaftere Weise.
-
Beim Trainieren werden die bekannten Trainingsdaten, insbesondere die gekennzeichneten, z. B. die manuell gekennzeichneten, Geisterobjekte, durch das untrainierte rekurrente neuronale Netz geschickt. Durch die Algorithmen Gradientenabstieg, Fehlerrückführung, insbesondere Fehlerrückführung über die Zeit, passt das rekurrente neuronale Netz seine Gewichtungen an, um die Leistung bei der Aufgabe des Lernens der Klassifizierung von Geisterobjekten zu verbessern.
-
In einem zweiten Aspekt wird ein Computerprogramm gemäß Anspruch 9 bereitgestellt, das Anweisungen enthält, die bei Ausführung durch den Computer den Computer veranlassen, die Operationen gemäß dem Verfahren durchzuführen.
-
Der Computerprogrammcode zur Ausführung der Anweisungen kann in einer beliebigen Kombination aus einer oder mehreren Programmiersprachen geschrieben sein, einschließlich objektorientierter Programmiersprachen wie Java, C++, prozeduraler Programmiersprachen wie C, Hardware-Programmiersprachen, z. B. zur Programmierung von FPGA-Chips (Field Programmable Gate Array). Der Programmcode kann vollständig auf dem Computer als eigenständiges Softwarepaket, auf einer eigenständigen Hardwareeinheit oder auf einem entfernten Computer, z. B. einem Cloud-Server, ausgeführt werden. In einem Fall wird das Computerprogramm durch ein Datensignal über die Software-over-the-Air-Technologie übertragen.
-
In einem dritten Aspekt wird ein maschinenlesbares Speichermedium gemäß Anspruch 10 mit darauf gespeicherten Anweisungen bereitgestellt, die durch eine Maschine ausführbar sind, um die Maschine zu veranlassen, die Operationen gemäß dem Verfahren durchzuführen. Das maschinenlesbare Speichermedium, z. B. ein computerlesbares Speichermedium, kann eine Computerdiskette, eine Festplatte, ein Direktzugriffsspeicher (RAM), ein Nur-Lese-Speicher (ROM), ein löschbarer programmierbarer Nur-Lese-Speicher (EPROM oder Flash), eine optische oder magnetische Speichervorrichtung sein. Gemäß einem Aspekt kann das Medium ein beliebiges nichtflüchtiges Medium umfassen, das das Programm zur Verwendung durch oder in Verbindung mit der Befehlsausführungsmaschine enthalten, speichern, kommunizieren, verbreiten oder transportieren kann.
-
In einem vierten Aspekt wird ein System gemäß Anspruch 11 für ein Straßenfahrzeug, ein Beförderungssystem und/oder eine Komponente einer Verkehrsinfrastruktur bereitgestellt. Das System umfasst mindestens einen Strahlsensor zum Empfangen von Strahlsensordaten der Umgebung, einschließlich Strahlreflexionen von Zielobjekten und Geisterobjekten, mindestens ein Hardwaremodul, das die Strahldaten gemäß dem genannten Verfahren verarbeitet, und ein Steuermodul, das das Stra-ßenfahrzeug innerhalb der Umgebung unter Ausschluss der erkannten Geisterobjekte steuert.
-
Das Hardwaremodul kann zentrale Verarbeitungseinheiten (CPUs), grafische Verarbeitungseinheiten (GPUs), anwendungsspezifische integrierte Schaltungen (ASICs), feldprogrammierbare Gate-Arrays (FPGAs), digitale Signalprozessoren (DSPs) oder Tensorprozessoren und andere Matrixarithmetikprozessoren umfassen, insbesondere im Hinblick auf das Trainieren und Inferenzieren des rekurrenten neuronalen Netzes.
-
Die erfindungsgemäße Erkennung von Geisterzielen trägt durch Verwendung rekurrenter neuronaler Netze zu einem besseren und korrekten Verständnis der Umgebung des Straßenfahrzeugs, des Beförderungssystems und/oder der Komponente einer Verkehrsinfrastruktur bei. So können falsche Assoziationen, Verknüpfungen und Entscheidungen beim unterstützten oder automatisierten Fahren verhindert werden.
-
Besondere Ausführungsformen der Erfindung sind in der Beschreibung der abhängigen Ansprüche, in den folgenden Definitionen und in den beigefügten Figuren offenbart.
-
Eine Ausführungsform bezieht sich auf das Inferenzieren, d. h. den Prozess nach dem Trainieren. Bei diesem Verfahren wird das Wissen aus dem trainierten rekurrenten neuronalen Netz angewandt und zum Inferenzieren von Geisterobjekten verwendet. Die Strahldaten werden in das trainierte rekurrente neuronale Netz eingegeben, welches Geisterobjektklassifizierungen ausgibt. Konkret werden die verfolgten Objekte und die entsprechenden Merkmale in das rekurrente neuronale Netz eingespeist. Am Ende jeder Sequenz oder jedes Zeitfensters werden die klassifizierten Geisterziele eliminiert. Durch die Eliminierung von Geisterzielen kann das Straßenfahrzeug unter Ausschluss von erkannten Geisterobjekten in der Umgebung gesteuert werden.
-
In einer anderen Ausführungsform werden die Strahlsensordaten als Punktwolken empfangen, und das Verfahren umfasst ferner die Verfolgung der Objekte über die Zeitabschnitte unter Verwendung eines Kalman-Filters.
-
Der Strahlsensor sendet Strahlung aus und empfängt Reflexionsstrahlung von Objekten oder Zielpunkten von Objekten. Ein Zyklus aus Senden und Empfangen von Strahlung wird als Abtastung bezeichnet. Ein Radarsensor misst beispielsweise die Entfernung, den Azimut- und Elevationswinkel sowie die Radialgeschwindigkeit von Objekten oder Zielpunkten. Die einzelnen Messungen werden als Ziellisten oder Punktwolken bereitgestellt. Gemäß einem Aspekt der Erfindung werden die Punktkorrespondenzen mithilfe des „Iterative Closest Point“-(ICP-)Verfahrens bestimmt, das als Open-Source-Software verfügbar ist.
-
Ein Kalman-Filter approximiert einen Zustand zum Zeitpunkt t+1 basierend auf einem Zustand zum Zeitpunkt t mit einer modellabhängigen Übergangsmatrix und kann einen Rauschterm enthalten. Die Approximation eines Zustands mittels eines Kalman-Filters verbessert die aus dem Regressionsverfahren der kleinsten Quadrate bekannten Fehler in Variablen. Gemäß einem Aspekt werden mit Kalman-Filtern verfolgte, durch Radar erfasste Objektlisten und entsprechende Punktwolken in das rekurrente neuronale Netz eingegeben.
-
Eine Ausführungsform umfasst das Bestätigen der Erkennung von Geisterobjekten über die Zeitabschnitte hinweg und das Bereitstellen von Rückmeldungen an den Kalman-Filter. Durch Berücksichtigung der Anzahl von Zeitabschnitten, in denen ein Geisterziel bestätigt wird, werden die Klassifizierung oder Erkennung von Geisterzielen und die entsprechende Wahrscheinlichkeit verbessert. Das verfolgte Geisterziel wird anschließend aus den Strahldaten entfernt. Dieser Aspekt ist besonders vorteilhaft, wenn die Objekte mittels des Kalman-Filters über die Zeitabschnitte hinweg verfolgt werden.
-
In einer Ausführungsform werden als Merkmale der Zielobjekte absolute Geschwindigkeiten, Doppler-Geschwindigkeiten, Positionen, Höhen, d. h. Elevationswinkel der Objekte, Intensitäten, z. B. RCS-Werte der Objekte, Bewegungsrichtungen, d. h. Richtungswinkel der Objekte, Anzahl der Bündel, d. h. Anzahl der Bündel, die ein bestimmtes Objekt bilden, und/oder Diagonallängen, d. h. Längen der Diagonalen der Objekte, bestimmt. Diese Merkmale können durch Radar- und/oder Lidar-Sensoren gemessen werden. Weitere Merkmale, die durch die Erfindung bestimmt werden können, sind Positionsfehler, d. h. in Bezug auf die vorhergesagte und gemessene Position, Lebensdauer, d. h. Lebensdauer des Objekts, mittlere Doppler-Geschwindigkeiten, Dichten, d. h. Anzahl der Bündel nach Flächen der besetzten Objekte, Flächen der Objekte, und/oder Varianzen der Doppler-Geschwindigkeiten. Geisterobjekte verhalten sich in Bezug auf diese Merkmale anders als Zielobjekte. Generell zeichnen sich Zielobjekte, d. h. reale Objekte, durch Konsistenz dieser Merkmale über ein Zeitfenster hinweg aus, während Geisterobjekte eine vorübergehende Reaktion in Bezug auf die generierten Merkmale zeigen. Dieses Verhalten wird analysiert, indem die Abfolge der durch die Strahlsensoren, z. B. Radar, erfassten Objekte beobachtet wird.
-
Da ein rekurrentes neuronales Netz über eine Gedächtniskomponente verfügt, kann es zwischen Zielobjekten und Geisterobjekten unterscheiden, indem es die Sequenz von Informationen der verfolgten Objekte beobachtet.
-
In einer Ausführungsform werden die Merkmale der Ziele mithilfe von Maschinenlernmodellen bestimmt. So kann der gesamte Prozess der Gewinnung von Merkmalen automatisiert werden. In einem Aspekt werden die Merkmale aus verfolgten Objektlisten und entsprechenden Punktwolken abgeleitet. Gemäß einem weiteren Aspekt wird zur Objekterkennung und punktweisen Segmentierung in 3D-Punktwolken, insbesondere für Radardaten, das künstliche neuronale Netz PointNet verwendet, das räumliche Informationen und optional auch andere lokale oder globale Merkmale zur Bestimmung der Merkmale nutzt.
-
Ein Aspekt umfasst eine Vielzahl von Strahlsensoren, wobei die Strahlsensordaten eine Verknüpfung der Strahlsensordaten der Strahlsensoren sind, zum Beispiel die Verknüpfung mehrerer Radarsensoren oder die Verknüpfung mindestens eines Radarsensors mit einem Sensor einer anderen Sensortechnologie, zum Beispiel einem Kamerasensor. Dadurch wird die Klassifizierung und/oder Erkennung von Geisterobjekten weiter verbessert.
-
In einem Fall umfassen die Strahldaten Radardaten. Insbesondere ist der Strahlsensor ein Radarsensor.
-
In einem Aspekt des genannten Systems steuert das System ein autonomes Fahrzeug, z. B. einen Personenkraftwagen der SAE J3016 Stufe 3, einen Personen- oder Gütertransporter der Stufe 4 oder 5 oder ein anderes autonomes Beförderungssystem.
-
Die oben beschriebene Erfindung wird durch Bezugnahme auf die in den beigefügten Figuren dargestellten spezifischen Ausführungsformen erläutert:
- 1 ist ein Blockdiagramm eines Beispielkonzepts für die Erkennung von Geisterobjekten;
- 2 ist ein Flussdiagramm eines beispielhaften Verfahrens zur Klassifizierung von Geisterobjekten in der Umgebung eines Straßenfahrzeugs, eines Beförderungssystems und/oder einer Komponente einer Verkehrsinfrastruktur.
-
Die Objektliste L in 1 umfasst 1, 2, 3, ..., n Radarobjekte in Form einer Punktwolke. Die Objektliste L kann aus einem einzelnen Radarsensor oder einem anderen Strahlsensor stammen oder eine Verknüpfung von Objekten aus mehreren Radar- oder anderen Sensoren sein. Zu den Merkmalen der Radarobjekte, die z. B. automatisiert durch ein neuronales Netz ermittelt werden, können die absolute Geschwindigkeit des Objekts, der Positionsfehler, die Höhenlage, die Intensität, die Bewegungsrichtung, die Lebensdauer, die Anzahl der Bündel, die Diagonallänge, die mittlere Doppler-Geschwindigkeit, die Dichte, die Fläche und die Varianz der Doppler-Geschwindigkeit gehören.
-
In 1 werden die abgeleiteten Merkmale und die globalen Merkmale, die durch ein neuronales Netz, z. B. ein tiefes neuronales Netz, abgeleitet wurden, miteinander verknüpft und dann in das rekurrente neuronale Netz eingespeist. Das rekurrente neuronale Netz umfasst LSTM-Einheiten. Dieser Vorgang wird für alle durch das Radar erfassten Objekte wiederholt.
-
Die letzten n verfolgten Objekte und die entsprechende Punktwolke werden mit den Zeitstempeln T0, ..., Tn im Cache-Speicher abgelegt. Der Algorithmus zur Erkennung von Geisterobjekten kann unabhängig für jede Verfolgung ausgeführt werden.
-
Die Geisterklassifizierung kann basierend auf dem Zeitfenster normalisiert werden. Rückmeldungen können an den Kalman-Filter übermittelt werden, der die durch das Radar erfassten Objekte verfolgt.
-
In dem in 2 dargestellten Prozessschritt V1 empfängt ein Computer oder eine andere Datenverarbeitungseinheit Strahlsensordaten der Umgebung aus mindestens einem Radar- oder einem anderen Strahlsensor am Straßenfahrzeug, dem Beförderungssystem und/oder an der Komponente einer Verkehrsinfrastruktur. Die Strahlsensordaten, z. B. Radardaten, umfassen Strahlreflexionen, z. B. Radarreflexionen, von Zielobjekten und Mehrwegreflexionen.
-
In Prozessschritt 2 werden die Merkmale der Zielobjekte anhand der Strahlsensordaten bestimmt.
-
In Prozessschritt 3 werden die Mehrwegreflexionen als Geisterobjekte gekennzeichnet.
-
In Prozessschritt 4 werden die Merkmale und die Geisterobjekte als Trainingsdaten in ein rekurrentes neuronales Netz eingegeben.
-
In Prozessschritt 5 wird das rekurrente neuronale Netz auf den Trainingsdaten trainiert, um anhand der Beobachtung der Merkmale über Zeitabschnitte hinweg zwischen Zielobjekten und Geisterobjekten zu unterscheiden.
-
Bezugszeichenliste
-
- V1-V5
- Prozessschritte
- L
- Objektliste
- T0, ...Tn
- Zeitstempel
- 1, ..., n
- Radarobjekt
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- WO 2020210307 A1 [0005]
- CN 112612009 A [0009]
- DE 102020124236 A [0009]
- US 10296001 B2 [0009]
- US 2018120842 A1 [0009]
- US 2020278435 A1 [0009]
- US 2020278440 A1 [0009]
- US 2021104027 A1 [0009]
- WO 20176483 A1 [0009]
- WO 20210307 A1 [0009]
