DE102018222195A1

DE102018222195A1 - Ortung und/oder KIassifikation von Objekten aus Radardaten mit maschinellem Lernen

Info

Publication number: DE102018222195A1
Application number: DE102018222195.2A
Authority: DE
Inventors: Oliver Kern; Michael Pfeifer; Thomas Brosche; Volker Fischer
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2018-12-18
Filing date: 2018-12-18
Publication date: 2020-06-18

Abstract

Verfahren (100) zur Ortung und/oder Klassifikation mindestens eines Objekts (3) in einem von mindestens einem Radarsensor (1) überwachten Bereich (2), wobei der Radarsensor (1) mindestens einen Sender (11) und mindestens einen Empfänger (12) für Radarwellen (13, 14) umfasst, mit den Schritten:• das vom Empfänger (12) registrierte Signal (14) wird in eine zwei- oder mehrdimensionale Frequenzdarstellung (15) umgewandelt (110);• mindestens ein Teil (15a) der zwei- oder mehrdimensionalen Frequenzdarstellung (15) wird einem künstlichen neuronalen Netzwerk, KNN (4), welches mindestens eine Faltungsschicht (41a-41c) und mindestens eine Pooling-Schicht (42) aufweist, als Eingabe zugeführt (120);• die Ortung (31), und/oder die Klassifikation (32), des Objekts (3) wird dem KNN (4) als Ausgabe entnommen (130).Zugehöriges Computerprogramm.

Description

Die vorliegende Erfindung betrifft die Ortung und/oder Klassifikation von Objekten, die sich in einem von einem Radarsensor überwachten Bereich befinden.
Stand der Technik
Damit sich ein Fahrzeug zumindest teilweise automatisiert im Straßenverkehr bewegen kann, ist es erforderlich, das Umfeld des Fahrzeugs zu erfassen und Gegenmaßnahmen einzuleiten, falls eine Kollision mit einem Objekt im Umfeld des Fahrzeugs droht. Auch die Erstellung einer Umfeld-Repräsentation und Lokalisierung sind für sicheres automatisiertes Fahren notwendig.
Die Erfassung von Objekten mittels Radar ist von den Lichtverhältnissen unabhängig und beispielsweise auch bei Nacht auf größere Entfernung möglich, ohne dass der Gegenverkehr durch Fernlicht geblendet wird. Aus den Radardaten gehen weiterhin unmittelbar die Entfernung und Geschwindigkeit von Objekten hervor. Diese Informationen sind wichtig für die Beurteilung, ob es zu einer Kollision mit den Objekten kommen kann. Um welchen Typ von Objekt es sich handelt, ist jedoch aus Radarsignalen nicht unmittelbar erkennbar. Diese Erkennung wird aktuell durch die Berechnung von Attributen aus der Digitalen Signalverarbeitung gelöst.
Die US 8,682,821 B2 offenbart, Radarsignale mittels maschinellem Lernen dahingehend zu klassifizieren, ob sie von der Bewegung bestimmter Objekte oder nichtmenschlicher Tiere herrühren. Diese Erkenntnis kann genutzt werden, um bei der Überwachung eines Bereichs auf menschliche Eindringlinge Falschalarme zu vermeiden, oder auch um beim zumindest teilweise automatisierten Fahren die richtige Aktion zur Kollisionsvermeidung auszuwählen.
Offenbarung der Erfindung
Im Rahmen der Erfindung wurde ein Verfahren zur Ortung und/oder Klassifikation mindestens eines Objekts entwickelt. Es wird davon ausgegangen, dass sich das Objekt in einem von mindestens einem Radarsensor überwachten Bereich befindet, wobei der Radarsensor mindestens einen Sender und mindestens einen Empfänger für Radarwellen umfasst.
Das vom Empfänger registrierte Signal wird in eine zwei- oder mehrdimensionale Frequenzdarstellung umgewandelt. Hierfür kann beispielsweise die schnelle Fourier-Transformation (Fast Fourier Transform, FFT) genutzt werden.
Mindestens ein Teil der zwei- oder mehrdimensionalen Frequenzdarstellung wird einem künstlichen neuronalen Netzwerk, KNN, welches mindestens eine Faltungsschicht und mindestens eine Pooling-Schicht aufweist, als Eingabe zugeführt.
Die Ortung, und/oder die Klassifikation, des Objekts wird dem KNN als Ausgabe entnommen.
Eine jede Schicht des KNN erhält eine Vielzahl von Eingangsgrößen als Eingabe und liefert eine oder mehrere Ausgangsgrößen als Ausgabe. Die Anzahl der unabhängigen Eingangsgrößen, die in der Eingabe enthalten sind, entspricht der Dimensionalität der Eingabe. Die Anzahl der unabhängigen Ausgangsgrößen, die in der Ausgabe enthalten sind, entspricht der Dimensionalität der Ausgabe.
Eine Faltungsschicht ist eine Schicht, deren Ausgabe durch Faltung ihrer Eingabe mit mindestens einem Faltungskern erhalten wird. Dabei hat die Ausgabe in der Regel eine Dimensionalität, die in der gleichen Größenordnung liegt wie die Dimensionalität der Eingabe. In der Regel ist die Dimensionalität der Ausgabe auf Grund von Randeffekten um einen geringen Betrag gegenüber der Dimensionalität der Eingabe vermindert.
Eine Pooling-Schicht ist eine Schicht, die nicht überlappenden Teilmengen der Eingabe jeweils einen Ausgangsgrößenwert zuordnet. Beispielsweise kann der Ausgangsgrößenwert jeweils das Maximum, den Mittelwert oder das Minimum der in der Teilmenge enthaltenen Eingangsgrößenwerte sein (auch MaxPool, AvgPool bzw. MinPool genannt). Bei der Verarbeitung werden also die in der Teilmenge enthaltenen Eingangsgrößenwerte zu einem Ausgangsgrößenwert verdichtet. Die Dimensionalität der Ausgabe einer Pooling-Schicht ist also deutlich kleiner als die Dimensionalität der Eingabe dieser Pooling-Schicht.
In einer vorteilhaften Ausgestaltung wird ein KNN gewählt, das zusätzlich mindestens eine vollvernetzte Schicht aufweist. Eine vollvernetzte Schicht ist eine Schicht, in der Verbindungen zwischen jeder Eingangsgröße und jeder Ausgangsgröße bestehen. Dabei sind die Dimensionalitäten der Eingabe und der Ausgabe frei wählbar. Vollvernetzte Schichten werden häufig in der letzten Stufe einer Klassifikationsaufgabe eingesetzt. Die Ausgangsgrößen können dann beispielsweise zu jeder möglichen Klasse eine Wahrscheinlichkeit oder Konfidenz angeben, mit der die Eingabe zur jeweiligen Klasse gehört. Ein KNN ohne vollvernetzte Schicht kann beispielsweise ein „fully-convolutional network“ sein.
Es wurde erkannt, dass das Vorhandensein einer oder mehrerer Pooling-Schichten in dem KNN es ermöglicht, die volle in der zwei- oder mehrdimensionalen Frequenzdarstellung enthaltene Information zu nutzen. Diese Information hat in der Regel eine sehr hohe Dimensionalität. Wenn beispielsweise die beiden Richtungen einer zweidimensionalen Frequenzdarstellung jeweils in 512 mögliche Werte diskretisiert sind, dann umfasst die zweidimensionale Frequenzdarstellung 512²=262.144 Eingangsgrößen. Demgegenüber hat die letztendlich interessierende Ausgangsgröße, also der Ort innerhalb des überwachten Bereich, an dem sich das fragliche Objekt befindet, und/oder die Klasse dieses fraglichen Objekts, eine wesentlich geringere Dimensionalität. Pooling-Schichten können verwendet werden, um dieses Dimensionalitätsgefälle zu überbrücken.
Insbesondere kann vorteilhaft ein KNN gewählt werden, das mehrere Anordnungen aus einer Pooling-Schicht und einer oder mehreren eingangsseitig vorgeschalteten Faltungsschichten enthält. Die Schichten können dann beispielsweise dahingehend arbeitsteilig zusammenwirken, dass in der Faltungsschicht, bzw. in den mehreren Faltungsschichten, jeweils ein Teil der insgesamt in den Eingangsgrößen vorhandenen Information im Hinblick auf die gewünschte Ortung oder Klassifikation ausgewertet wird und die Information anschließend durch eine Pooling-Schicht komprimiert wird. Es werden also in den Faltungsschichten gleichsam Details verarbeitet, und in den Pooling-Schichten werden die Details auf das bei dieser Verarbeitung erhaltene Ergebnis reduziert.
Beispielsweise können aus der zwei- oder mehrdimensionalen Frequenzdarstellung zunächst grundlegende Merkmale extrahiert werden, bevor in späteren Faltungsschichten diese Merkmale zu größeren Einheiten kombiniert werden und schließlich die endgültige Ortung und/oder Klassifikation vorgenommen wird.
Es wurde erkannt, dass bei dieser Art der Auswertung Details, die ursprünglich in der zwei- oder mehrdimensionalen Frequenzdarstellung enthalten waren, immer erst dann durch Verdichtung verworfen werden, wenn aus diesen Details bereits Schlüsse in Bezug auf die letztendlich beabsichtigte Ortung bzw. Klassifikation gezogen wurden. Zumindest jede Faltungsschicht, die der ersten Pooling-Schicht vorgeschaltet ist, kann also noch auf alle Details zugreifen. Auch große Dimensionalitätsgefälle zwischen Eingabe und Ausgabe des KNN als Ganzes lassen sich durch eine Hintereinanderschaltung mehrerer Pooling-Schichten mit dazwischen angeordneten Faltungsschichten überbrücken. Es ist also nicht nötig, dass die zwei- oder mehrdimensionale Frequenzdarstellung bereits vor der Eingabe in das KNN verdichtet wird und bestimmte Details von vornherein eingeebnet werden.
Indem somit keine Details völlig unberücksichtigt bleiben, wird insgesamt die Qualität und Verlässlichkeit der letztendlich erhaltenen Ortung und/oder Klassifikation gesteigert. Eine Verarbeitung hingegen, die die zwei- oder mehrdimensionale Frequenzdarstellung bereits vor der Eingabe in das KNN zu Reflexen oder ähnlichen Merkmalen abstrahiert, kommt mit einem KNN geringerer Dimensionalität aus. Dafür wird aber ein Teil der in der zwei- oder mehrdimensionalen Frequenzdarstellung enthaltenen Information verworfen, bevor das KNN sie überhaupt zu Gesicht bekommt.
Die Verarbeitung der zwei- oder mehrdimensionalen Frequenzdarstellung, oder zumindest eines Teils hiervon, ist physikalisch aussagekräftiger als die Verarbeitung von bloßen Radarreflexen bzw. Peaks, die hieraus extrahiert wurden. Ein Peak mit hoher Intensität entsteht bevorzugt an einem Ort des Objekts, an dem eine spekulare Reflexion von Radarwellen stattfindet. Wird hingegen der Teil der zwei- oder mehrdimensionalen Frequenzdarstellung, der von dem Objekt herrührt, komplett berücksichtigt, so ist hierin die von allen Orten des Objekts kommende Information enthalten. Insbesondere die Klassifikation des Objekts kann hierdurch genauer werden.
In einer besonders vorteilhaften Ausgestaltung wird aus der zwei- oder mehrdimensionalen Frequenzdarstellung ein Teilbereich, der die von ein und demselben Objekt herrührenden Signale enthält, für die Eingabe in das KNN vorausgewählt. Auf diese Weise kann die Aufgabe, den gesamten überwachten Bereich auf Objekte zu analysieren, auch mit einem KNN durchgeführt werden, das nicht die gesamte zwei- oder mehrdimensionale Frequenzdarstellung auf einmal verarbeiten kann. Streng mathematisch gesehen, leistet zwar jedes im überwachten Bereich vorhandene Objekt einen Beitrag zu jedem Element der zwei- oder mehrdimensionalen Frequenzdarstellung. Es wurde jedoch erkannt, dass es zu jedem Objekt ein relativ enges Teilgebiet innerhalb der zwei- oder mehrdimensionalen Frequenzdarstellung gibt, innerhalb dessen die Beiträge signifikant sind.
Die Unterteilung der zwei- oder mehrdimensionalen Frequenzdarstellung in Teilbereiche, die jeweils von ein und demselben Objekt herrühren, ist insbesondere vorteilhaft, um mehrere unterschiedliche Objekte innerhalb des überwachten Bereichs zu orten oder zu klassifizieren. Es kann dann in der letztendlich vom KNN gelieferten Ausgabe insbesondere der Fall, dass

a) in der gleichen Szene zwei oder mehr verschiedene Objekte vorhanden sind, von dem Fall unterschieden werden, dass
b) sich das KNN bezüglich der Klassifikation eines einzigen Objekts nicht sicher ist und zwischen zwei oder mehr Objekttypen schwankt.

Im Fall a) wird jedes Objekt nur in jeweils dem Teilbereich der zwei- oder mehrdimensionalen Frequenzdarstellung erkannt, der sich auf das jeweilige Objekt bezieht. Ist die zwei- oder mehrdimensionale Frequenzdarstellung also beispielsweise in nicht überlappende Teilbereiche untergliedert, die von verschiedenen Objekten herrühren, dann wird das Objekt nur in genau einem dieser Teilbereiche erkannt.
Im Fall b) werden in dem Teilbereich, in dem sich das KNN nicht sicher ist, alle in Frage kommenden Objekte erkannt, wobei die diesen Objekten jeweils zugeordneten Wahrscheinlichkeiten bzw. Konfidenzen ein Maß dafür sind, zu welchem Objekt das KNN eher tendiert.
Ohne die Unterteilung der zwei- oder mehrdimensionalen Frequenzdarstellung in zu einzelnen Objekten gehörige Teilbereiche sind die Fälle a) und b) schwerer voneinander unterscheidbar, da zusätzliche Objekte in beiden Fällen a) und b) qualitativ ähnliche Signaturen in der Ausgabe des KNN hinterlassen.
In einer weiteren besonders vorteilhaften Ausgestaltung wird mindestens ein Peak aus der zwei- oder mehrdimensionalen Frequenzdarstellung extrahiert, und der Teilbereich wird als Region mit einer vorgegebenen Größe um diesen Peak herum ausgewählt. Die zwei- oder mehrdimensionale Frequenzdarstellung wird dann nicht vor der Eingabe in das KNN auf Peaks verdichtet, sondern die Information über die Peaks wird als Zusatzinformation genutzt, um die zwei- oder mehrdimensionale Frequenzdarstellung noch besser auszuwerten. Es können also bewährte Verfahren zur Analyse von Peaks weiter genutzt werden, um letztendlich zu einer genaueren Ortung und/oder Klassifikation aller im überwachten Bereich vorhandenen Objekte zu gelangen.
In einer weiteren besonders vorteilhaften Ausgestaltung wird ein Teil der zwei- oder mehrdimensionalen Frequenzdarstellung, der in das KNN eingegeben wird, durch Bildsegmentierung aus einer zweidimensionalen Frequenzdarstellung ausgewählt. Unter Bildsegmentierung wird in diesem Zusammenhang jedwede Erzeugung von inhaltlich zusammenhängenden Regionen durch Zusammenfassung benachbarter Pixel oder Voxel nach Maßgabe eines vorgegebenen Homogenitätskriteriums verstanden. Auf diese Weise können bewährte Methoden zur Bildsegmentierung arbeitsteilig mit der neuartigen Ortung und Klassifikation über das KNN verzahnt werden.
In einer weiteren besonders vorteilhaften Ausgestaltung wird ein Teil der zwei- oder mehrdimensionalen Frequenzdarstellung, der in das KNN eingegeben wird, durch ein weiteres KI-Modul ausgewählt, dem die zwei- oder mehrdimensionale Frequenzdarstellung als Eingabe zugeführt wird. Es wurde erkannt, dass auch die Unterteilung der zwei- oder mehrdimensionalen Frequenzdarstellung in Teilbereiche, die die von verschiedenen Objekten herrührenden Signale enthalten, „Übungssache“ und somit dem maschinellen Lernen zugänglich ist. Dabei ist diese Unterteilung zwar eine Vorarbeit für die letztendliche Ortung und/oder Klassifikation, unterscheidet sich von dieser jedoch so stark, dass die Verwendung eines unabhängigen KI-Moduls hierfür sinnvoll ist.
In einer weiteren vorteilhaften Ausgestaltung wird ein Teil der zwei- oder mehrdimensionalen Frequenzdarstellung, der in das KNN eingegeben wird, anhand eines Orts ausgewählt, an dem sich das Objekt gemäß einer Karte, und/oder gemäß der Information von einem weiteren Sensor, befindet. Auf diese Weise kann auch diese Information mit der Ortung und/oder Klassifikation durch das KNN fusioniert werden, d.h., zur Lösung der Gesamtaufgabe, alle im überwachten Bereich vorhandenen Objekte zu orten und/oder zu klassifizieren, tragen dann auch die genannten Zusatzinformationen bei.
Das KNN selbst ist andererseits nicht darauf festgelegt, ausschließlich die zwei- oder mehrdimensionale Frequenzdarstellung als Eingabe zu verwenden. In einer weiteren besonders vorteilhaften Ausgestaltung wird mindestens ein Peak aus der zwei- oder mehrdimensionalen Frequenzdarstellung extrahiert, und eine Information über diesen Peak wird dem KNN als weitere Eingangsgröße zugeführt. Diese zusätzliche Nutzung erkannter Peaks kann alternativ oder auch in Kombination zur Festlegung des in das KNN einzugebenden Teilbereichs aus der zwei- oder mehr dimensionalen Frequenzdarstellung implementiert werden.
Nach dem zuvor Beschriebenen wird in einer besonders vorteilhaften Ausgestaltung ein Radarsensor gewählt, der auf einem Fahrzeug montiert ist. Der Radarsensor überwacht dann zumindest einen Teil des Umfelds des Fahrzeugs. Die durch das Verfahren bereitgestellte Orientierung und/oder Klassifikation von Objekten in diesem Umfeld kann dann genutzt werden, um den Fahrer des Fahrzeugs zu warnen oder, im Rahmen eines Fahrassistenzsystems oder eines zumindest teilweise automatisiert fahrenden Fahrzeugs, aktiv in die Fahrdynamik einzugreifen, um verkehrsgerecht auf die Objekte zu reagieren.
Vorteilhaft wird eine zwei- oder mehrdimensionalen Frequenzdarstellung gewählt, in der eine Richtung die Entfernung des Objekts vom Radarsensor und eine weitere Richtung die Geschwindigkeit des Objekts repräsentiert. Dies sind die wichtigsten Größen, die für die verkehrsgerechte Reaktion auf das Objekt, insbesondere für die Vermeidung einer Kollision mit dem Objekt. Weiterhin ist auch die Orientierung des Objekts aus einer solchen Darstellung entnehmbar.
Allerdings zeigen sich Objekte in dieser Darstellung erst ab einer gewissen Mindestgröße als deutliche einzelne Peaks. Kleinere Objekte werden hingegen in mehrere schwache Peaks aufgebrochen. Eine Auswertung, die zunächst nur die deutlich sichtbaren Peaks extrahiert und diese dann einem KNN zuführt, lässt die kleineren Objekte dann möglicherweise außen vor. Das beschriebene Verfahren führt hingegen die gesamte zwei- oder mehrdimensionale Frequenzinformation aus dem jeweils untersuchten Teil der Frequenzdarstellung dem KNN zu. Das KNN ist dann in der Lage, auch die besagten kleineren Objekte zu orten und zu klassifizieren.
Vorteilhaft wird eine zwei- oder mehrdimensionale Frequenzdarstellung gewählt, die mindestens dreidimensional ist. Eine weitere Richtung repräsentiert dann einen Azimutwinkel des Objekts relativ zum Radarsensor. Nach der Entfernung und der Geschwindigkeit ist der Azimutwinkel die nächstwichtige Größe für die Beurteilung, ob das Verhalten des Fahrzeugs auf das Vorhandensein und das Verhalten des Objekts reagieren muss, etwa um eine Kollision mit dem Objekt zu vermeiden.
In einer weiteren besonders vorteilhaften Ausgestaltung wird in Antwort darauf, dass ein Objekt erkannt wurde und dass die aktuell geplante und/oder gefahrene Trajektorie des Fahrzeugs den Standort, und/oder die Trajektorie, dieses Objekts berührt, eine Warneinrichtung aktiviert. Dabei ist der Begriff der Trajektorie in Raum und Zeit zu verstehen. Das bedeutet, eine Berührung zweier Trajektorien zeigt an, dass sich die zugehörigen Objekte zur gleichen Zeit am gleichen Ort treffen. Die Berührung einer Trajektorie mit einem Standort zeigt an, dass es an diesem Standort zur Kollision mit einem dort befindlichen Objekt kommen wird, wenn sich dieses Objekt nicht von dem Standort fortbewegt.
Die Warneinrichtung kann beispielsweise innerhalb des Fahrzeugs für den Fahrer des Fahrzeugs wahrnehmbar sein. Die Warneinrichtung kann aber beispielsweise auch eine Hupe sein, die die Fahrer anderer Fahrzeuge warnt.
Alternativ oder auch in Kombination kann ein Antriebssystem, ein Bremssystem, und/oder ein Lenksystem des Fahrzeugs angesteuert werden, um die Berührung der Trajektorie des Fahrzeugs mit der Trajektorie, und/oder dem Standort, des erkannten Objekts zu unterbinden.
Das Verfahren kann ganz oder teilweise auf einem Computer oder einem Steuergerät durchgeführt und beispielsweise in einer Software implementiert sein. Diese Software kann als eigenständiges Produkt vertrieben werden, beispielsweise als Update oder Upgrade zu einem bislang für die Ortung und/oder Klassifikation von Objekten aus Radardaten eingesetzten Computer oder Steuergerät. Daher bezieht sich die Erfindung auch auf ein Computerprogramm mit maschinenlesbaren Anweisungen, die, wenn sie auf einem Computer, und/oder auf einem Steuergerät, ausgeführt werden, den Computer, und/oder das Steuergerät, dazu veranlassen, das beschriebene Verfahren auszuführen. Ebenso bezieht sich die Erfindung auch auf einen maschinenlesbaren Datenträger oder ein Downloadprodukt mit dem Computerprogramm.
Weiterhin bezieht sich die Erfindung auch auf ein Steuergerät mit dem Computerprogramm, und/oder mit dem maschinenlesbaren Datenträger und/oder dem Downloadprodukt. Alternativ oder auch in Kombination hierzu kann das Steuergerät auch in beliebiger sonstiger Weise spezifisch zur Ausführung des beschriebenen Verfahrens ausgebildet sein, beispielsweise durch Verkörperung der Funktionalität des Verfahrens in Form von anwendungsspezifischen integrierten Schaltungen (ASICs).
Weitere, die Erfindung verbessernde Maßnahmen werden nachstehend gemeinsam mit der Beschreibung der bevorzugten Ausführungsbeispiele der Erfindung anhand von Figuren näher dargestellt.
Ausführungsbeispiele
Es zeigt:

1 Beispielhaftes Ablaufdiagramm des Verfahrens 100;
2 Beispielhafte Verarbeitung einer zweidimensionalen Frequenzdarstellung 15 mit einem KNN 4;
3 Beispielhafte Verkehrssituation, in der die Erkennung eines Objekts 3 mit dem Verfahren 100 in eine Verhaltensänderung eines Fahrzeugs 50 münden kann.

Nach 1 werden von einem Empfänger 12 eines Radarsensors 1 aus einem überwachten Bereich 2 empfangene Radarsignale 14 zunächst in Schritt 110 des Verfahrens 100 in eine zwei- oder mehrdimensionale Frequenzdarstellung 15 umgewandelt. In Schritt 120 wird aus dieser zwei- oder mehrdimensionalen Frequenzdarstellung 15 ein Teil 15a extrahiert und einem künstlichen neuronalen Netzwerk, KNN 4, als Eingabe zugeführt. In Schritt 130 wird die Ortung 31, und/oder die Klassifikation 32, eines oder mehrerer Objekte 3 dem KNN 4 als Ausgabe entnommen.
In dem in 1 gezeigten Beispiel ist der Radarsensor 1 auf einem Fahrzeug 50 montiert. Im Anschluss an die Erkennung eines Objekts 3 wird in Schritt 140 geprüft, ob die aktuell geplante und/oder gefahrene Trajektorie 50a des Fahrzeugs 50 den Standort 3b, und/oder die Trajektorie 3a, des Objekts 3 berührt. Ist dies der Fall (Wahrheitswert 1), können Gegenmaßnahmen ergriffen werden, um diese Berührung zu unterbinden. Eine beispielhafte Verkehrssituation, in der dies vorteilhaft ist, ist in 3 dargestellt.
Im Einzelnen kann in Schritt 150 eine für den Fahrer des Fahrzeugs 50 wahrnehmbare Warneinrichtung 51a, und/oder eine außerhalb des Fahrzeugs 50 wahrnehmbare Hupe 51b, aktiviert werden. Alternativ oder auch in Kombination kann in Schritt 160 ein Antriebssystem 52, ein Bremssystem 53, und/oder ein Lenksystem 54, des Fahrzeugs 50 angesteuert werden, um die Berührung zu unterbinden.
Die Auswahl des Teils 15a der zwei- oder mehrdimensionalen Frequenzdarstellung 15 ist innerhalb des Kastens 120 im Detail dargestellt. Es gibt hier mehrere Wege, die einzeln oder in Kombination beschritten werden können.
So kann gemäß Block 121 insbesondere ein Teilbereich 15a, der die von ein und demselben Objekt 3 herrührenden Signale 14 enthält, ausgewählt werden. Hierzu kann beispielsweise gemäß Block 122 zunächst ein Peak 15b aus der zwei- oder mehrdimensionalen Frequenzdarstellung 15 extrahiert, und der Teilbereich 15a kann als Region mit einer vorgegebenen Größe um diesen Peak 15b herum ausgewählt werden. Der Peak 15b kann weiterhin gemäß dem optionalen Schritt 122a als zusätzliche Eingangsgröße dem KNN 4 zugeführt werden.
Gemäß Block 124 kann der ausgewählte Teil 15a der zwei- oder mehrdimensionalen Frequenzdarstellung 15 durch Bildsegmentierung ausgewählt werden.
Gemäß Block 125 kann die zwei- oder mehrdimensionale Frequenzdarstellung 15 einem weiteren KI-Modul 5 zugeführt werden, das beispielsweise ebenfalls als KNN ausgeführt sein kann. Das weitere KI-Modul 5 kann dann gemäß Block 126 den Teil 15a aus der zwei- oder mehrdimensionalen Frequenzdarstellung 15 auswählen, der dem KNN 4 zugeführt wird.
Gemäß Block 127 kann der Teil 15a der zwei- oder mehrdimensionalen Frequenzdarstellung 15 auch beispielsweise anhand eines Orts ausgewählt werden, an dem sich das Objekt 3 gemäß einer Karte, und/oder gemäß der Information von einem weiteren Sensor, befindet.
2 zeigt die beispielhafte Verarbeitung einer aus empfangenen Radarsignalen 14 gebildeten zweidimensionalen Frequenzdarstellung 15 mit einem KNN 4. Das KNN 4 umfasst drei Faltungsschichten 41a-41c, denen jeweils eine Pooling-Schicht 42a-42c nachgeschaltet ist. Die Faltungsschichten 41a-41c extrahieren mit ihren Faltungskernen jeweils Informationen aus ihrer Eingabe, und anschließend verringern die Pooling-Schichten die Dimensionalität. Die zweite Faltungsschicht 41b bekommt also Eingabe, die eine deutlich geringere Dimensionalität hat als die Eingabe der ersten Faltungsschicht 41a. Die dritte Faltungsschicht 41c bekommt eine Eingabe mit einer Dimensionalität, die gegenüber der Eingabe der zweiten Faltungsschicht 41b abermals reduziert ist. Schließlich liefert eine vollvernetzte Schicht 43 die Ortung 31, und/oder die Klassifikation 32, des Objekts 3. Dieser Ansatz lässt sich auf beliebige weitere zu untersuchende Merkmale erweitern, wie etwa auf polarimetrische Merkmale. Die vollvernetzte Schicht 43 ist für die Funktionalität des Verfahrens 100 nicht zwingend erforderlich.
In 2 ist angedeutet, dass in einem ersten Teilbereich 15a der zweidimensionalen Frequenzdarstellung 15 ein starkes, in einen Peak 15b konzentriertes Signal sichtbar ist. Dieses Signal korrespondiert zu einem großen Objekt 3. Im Teilbereich 15a' ist hingegen nur ein schwaches Signal vorhanden, das auf mehrere lediglich zu erahnende Peaks verschmiert ist. Dieses Signal korrespondiert zu einem kleinen Objekt 3. Solche kleinen Objekte 3 können mit dem Verfahren 100 genauer und zuverlässiger geortet und klassifiziert werden.
In der zweidimensionalen Frequenzdarstellung 15 repräsentiert in dem in 2 gezeigten Beispiel eine Richtung den Abstand d des Objekts 3 vom Radarsensor 1 und die andere Richtung die Geschwindigkeit v des Objekts 3.
3 zeigt eine beispielhafte Verkehrssituation, in der das Verfahren 100 angewendet werden kann. Ein Fahrzeug 50 mit dem Radarsensor 1, der einen Sender 11 und einen Empfänger 12 umfasst, folgt einer Trajektorie 50a und nähert sich dabei auf der Straße 61 einer Kreuzung 60, an der die Straße 61 auf die weiteren Straßen 62-64 trifft. Dabei sendet der Sender 11 des Radarsensors 1 Radarwellen 13 in einen überwachten Bereich 2 aus. An Objekten 3 im überwachten Bereich 2 reflektierte Radarwellen 14 werden vom Empfänger 12 des Radarsensors 1 registriert.
In dem in 3 gezeigten Beispiel verfolgt ein weiteres Fahrzeug die Trajektorie 3b und nähert sich dabei auf der Straße 64 der Kreuzung 60. An seinem aktuellen Standort 3b wird das Fahrzeug durch den Radarsensor 1 als Objekt 3 erfasst. Da die Trajektorie 3a des Objekts 3 die Trajektorie 50a des Fahrzeugs 50 schneidet, werden an Bord des Fahrzeugs 50 Gegenmaßnahmen ergriffen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 8682821 B2 [0004]

Claims

Verfahren (100) zur Ortung und/oder Klassifikation mindestens eines Objekts (3) in einem von mindestens einem Radarsensor (1) überwachten Bereich (2), wobei der Radarsensor (1) mindestens einen Sender (11) und mindestens einen Empfänger (12) für Radarwellen (13, 14) umfasst, mit den Schritten: • das vom Empfänger (12) registrierte Signal (14) wird in eine zwei- oder mehrdimensionale Frequenzdarstellung (15) umgewandelt (110); • mindestens ein Teil (15a) der zwei- oder mehrdimensionalen Frequenzdarstellung (15) wird einem künstlichen neuronalen Netzwerk, KNN (4), welches mindestens eine Faltungsschicht (41a-41c) und mindestens eine Pooling-Schicht (42) aufweist, als Eingabe zugeführt (120); • die Ortung (31), und/oder die Klassifikation (32), des Objekts (3) wird dem KNN (4) als Ausgabe entnommen (130).
Verfahren (100) nach Anspruch 1, wobei ein KNN (4) gewählt wird, das zusätzlich mindestens eine vollvernetzte Schicht (43) aufweist.
Verfahren (100) nach einem der Ansprüche 1 bis 2, wobei aus der zwei- oder mehrdimensionalen Frequenzdarstellung (15) ein Teilbereich (15a), der die von ein und demselben Objekt (3) herrührenden Signale (14) enthält, für die Eingabe in das KNN (4) vorausgewählt wird (121).
Verfahren (100) nach Anspruch 3, wobei mindestens ein Peak (15b) aus der zwei- oder mehrdimensionalen Frequenzdarstellung (15) extrahiert wird (122) und wobei der Teilbereich (15a) als Region mit einer vorgegebenen Größe um diesen Peak (15b) herum ausgewählt wird (123).
Verfahren (100) nach einem der Ansprüche 1 bis 4, wobei ein Teil (15a) der zwei- oder mehrdimensionalen Frequenzdarstellung (15), der in das KNN (4) eingegeben wird, durch Bildsegmentierung aus einer zweidimensionalen Frequenzdarstellung (15) ausgewählt wird (124).
Verfahren (100) nach einem der Ansprüche 1 bis 5, wobei ein Teil (15a) der zwei- oder mehrdimensionalen Frequenzdarstellung (15), der in das KNN (4) eingegeben wird, durch ein weiteres KI-Modul (5) ausgewählt wird (126), dem die zwei- oder mehrdimensionale Frequenzdarstellung (15) als Eingabe zugeführt wird (125).
Verfahren (100) nach einem der Ansprüche 1 bis 6, wobei ein Teil (15a) der zwei- oder mehrdimensionalen Frequenzdarstellung (15), der in das KNN (4) eingegeben wird, anhand eines Orts ausgewählt wird (127), an dem sich das Objekt (3) gemäß einer Karte, und/oder gemäß der Information von einem weiteren Sensor, befindet.
Verfahren (100) nach einem der Ansprüche 1 bis 7, wobei mindestens ein Peak (15b) aus der zwei- oder mehrdimensionalen Frequenzdarstellung (15) extrahiert wird (122) und wobei eine Information über diesen Peak (15b) dem KNN als weitere Eingangsgröße zugeführt wird (122a).
Verfahren (100) nach einem der Ansprüche 1 bis 8, wobei ein Radarsensor (1) gewählt wird, der auf einem Fahrzeug (50) montiert ist.
Verfahren (100) nach Anspruch 9, wobei eine zwei- oder mehrdimensionale Frequenzdarstellung (15) gewählt wird, in der eine Richtung die Entfernung d des Objekts (3) vom Radarsensor (1) und eine weitere Richtung die Geschwindigkeit v des Objekts (3) repräsentiert.
Verfahren (100) nach Anspruch 10, wobei eine zwei- oder mehrdimensionale Frequenzdarstellung gewählt wird, die mindestens dreidimensional ist, und wobei eine weitere Richtung einen Azimutwinkel des Objekts (3) relativ zum Radarsensor (1) repräsentiert.
Verfahren (100) nach einem der Ansprüche 9 bis 11, wobei in Antwort darauf, dass ein Objekt (3) erkannt wurde (130) und dass die aktuell geplante und/oder gefahrene Trajektorie (50a) des Fahrzeugs (50) den Standort (3b), und/oder die Trajektorie (3a), dieses Objekts (3) berührt (140), eine Warneinrichtung (51a, 51b) aktiviert wird (150), und/oder ein Antriebssystem (52), ein Bremssystem (53), und/oder ein Lenksystem (54), des Fahrzeugs (50) angesteuert wird (160), um die Berührung zu unterbinden.
Computerprogramm, enthaltend maschinenlesbare Anweisungen, die, wenn sie auf einem Computer, und/oder auf einem Steuergerät, ausgeführt werden, den Computer, und/oder das Steuergerät, dazu veranlassen, ein Verfahren (100) nach einem der Ansprüche 1 bis 12 auszuführen.
Maschinenlesbarer Datenträger und/oder Downloadprodukt mit dem Computerprogramm nach Anspruch 13.
Steuergerät mit dem Computerprogramm nach Anspruch 13, und/oder mit dem maschinenlesbaren Datenträger und/oder dem Downloadprodukt nach Anspruch 14, und/oder in sonstiger Weise spezifisch ausgebildet zur Ausführung des Verfahrens nach einem der Ansprüche 1 bis 12.