DE102019220615A1 - Verfahren und Vorrichtung zum Erkennen und Klassifizieren von Objekten - Google Patents

Verfahren und Vorrichtung zum Erkennen und Klassifizieren von Objekten Download PDF

Info

Publication number
DE102019220615A1
DE102019220615A1 DE102019220615.8A DE102019220615A DE102019220615A1 DE 102019220615 A1 DE102019220615 A1 DE 102019220615A1 DE 102019220615 A DE102019220615 A DE 102019220615A DE 102019220615 A1 DE102019220615 A1 DE 102019220615A1
Authority
DE
Germany
Prior art keywords
point
radar
objects
point cloud
radar data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102019220615.8A
Other languages
English (en)
Inventor
Fabian Timm
Nico Pfahl
Koba Natroshvili
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102019220615.8A priority Critical patent/DE102019220615A1/de
Publication of DE102019220615A1 publication Critical patent/DE102019220615A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415—Identification of targets based on measurements of movement associated with the target
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/08—Systems for measuring distance only
    • G01S13/10—Systems for measuring distance only using transmission of interrupted, pulse modulated waves
    • G01S13/18—Systems for measuring distance only using transmission of interrupted, pulse modulated waves wherein range gates are used
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/411—Identification of targets based on measurements of radar reflectivity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

Die Erfindung betrifft ein computerimplementiertes Verfahren zum Erkennen und Klassifizieren von Objekten anhand von Radardaten, mit den Schritten: Empfangen der Radardaten, wobei die Radardaten eine Punktwolke umfassen, wobei jedem Punkt der Punktwolke Punktinformationen zugeordnet sind, wobei die Punktinformationen Ortskoordinaten und Radarmessdaten umfassen; Eingeben der Radardaten in einen Maschinenlernalgorithmus; und Erkennen und Klassifizieren von Objekten durch den Maschinenlernalgorithmus in Abhängigkeit von den eingegebenen Radardaten, unter Verwendung von mindestens einem Merkmal, welches anhand der Punktinformationen bestimmt wird.

Description

  • Die vorliegende Erfindung betrifft ein computerimplementiertes Verfahren zum Erkennen und Klassifizieren von Objekten anhand von Radardaten und eine Vorrichtung zum Erkennen und Klassifizieren von Objekten anhand von Radardaten.
  • Stand der Technik
  • Für autonomes Fahren ist die Erkennung der Fahrzeugumgebung von großer Bedeutung. Sensordaten, welche etwa von Radarsensoren erzeugt werden, können analysiert und ausgewertet werden, um Objekte im Umfeld des Fahrzeugs zu detektieren. Neben der genauen Position der Objekte können weitere Parameter wie eine Geschwindigkeit des Objekts oder Klassifizierungsparameter des Objekts, bestimmt werden.
  • Um große Datenmengen effizient auswerten zu können, kann es hilfreich sein, Maschinenlernalgorithmen und Deep-Learning-Modelle einzusetzen. Qi et al., „PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation“, arXiv: 1612.00593v2, 2017 schlagen ein neues Modell namens „PointNet“ vor, welches unter Verwendung von Convolutional-Neural-Networks (CNN oder ConvNet) Eingangsdaten auswertet, um Klassifizierungsparameter automatisch zu bestimmen. Eine Weiterentwicklung namens „PointNet++“ ist in Qi et al., „PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metric Space“, arXiv: 1706.02413v1, 2017 dargelegt. Eine Detektion von Bereichen bzw. Regionen und eine Klassifizierung werden in einem einzigen Verfahrensschritt durchgeführt.
  • Menschen sind in der Lage, ähnliche Situationen zu erkennen, welche sich durch Transformationen wie Skalierung, Rotation und Perspektivenänderungen unterscheiden. In Tacchetti et al., „Invariant recognition drives neural representations of action sequences“, PLoS Comput. Biol. 13(12): el005859 wird untersucht, inwiefern Menschen in der Lage sind, bereits anhand weniger Trainings-Samples eine Generalisierung durchführen zu können.
  • Zur Objekterkennung ist aus Yin et al, „Focal loss for dense object detection“, PAMI, 2018 die Verwendung einer sogenannten „Focal-Loss-Funktion“ bekannt.
  • Offenbarung der Erfindung
  • Die Erfindung stellt ein computerimplementiertes Verfahren mit den Merkmalen des Patentanspruchs 1 und eine Vorrichtung zum Erkennen und Klassifizieren von Objekten anhand von Radardaten mit den Merkmalen des Patenanspruchs 10 bereit.
  • Bevorzugte Ausführungsformen sind Gegenstand der jeweiligen Unteransprüche.
  • Gemäß einem ersten Aspekt betrifft die Erfindung demnach ein computerimplementiertes Verfahren zum Erkennen und Klassifizieren von Objekten anhand von Radardaten. Die Radardaten werden empfangen, wobei die Radardaten eine Punktwolke umfassen, wobei jedem Punkt der Punktwolke Punktinformationen zugeordnet sind. Die Punktinformationen umfassen Ortskoordinaten und Radarmessdaten. Die Radardaten werden in einen Maschinenlernalgorithmus eingegeben. Objekte werden durch den Maschinenlernalgorithmus in Abhängigkeit von den eingegebenen Radardaten erkannt und klassifiziert, unter Verwendung von mindestens einem Merkmal, welches anhand der Punktinformationen bestimmt wird.
  • Gemäß einem zweiten Aspekt betrifft die Erfindung eine Vorrichtung zum Erkennen und Klassifizieren von Objekten anhand von Radardaten, mit einer Schnittstelle und einer Recheneinrichtung. Die Schnittstelle empfängt die Radardaten, wobei die Radardaten eine Punktwolke umfassen, wobei jedem Punkt der Punktwolke Punktinformationen zugeordnet sind, und wobei die Punktinformationen Ortskoordinaten und Radarmessdaten umfassen. Die Recheneinrichtung gibt die Radardaten in einen Maschinenlernalgorithmus ein. Die Recheneinrichtung erkennt und klassifiziert weiter Objekte durch Ausführen des Maschinenlernalgorithmus in Abhängigkeit von den eingegebenen Radardaten, unter Verwendung von mindestens einem Merkmal, welches anhand der Punktinformationen bestimmt wird.
  • Vorteile der Erfindung
  • Konventionelle Ansätze zur Auswertung von Radardaten transformieren diese typischerweise zuerst in den Fourierraum. Im Gegensatz dazu kann erfindungsgemäß die erfasste Punktwolke selbst ausgewertet werden. Es wird vorgeschlagen, die Radardaten, welche die Punktwolke umfassen, mit mindestens einem zusätzlichen Merkmal, welches anhand der Punktinformationen bestimmt wird, zu fusionieren. Bei dem mindestens einen zusätzlichen Merkmal handelt es sich um ein „handgemachtes“ Merkmal, welches die Erkennung und Klassifizierung der Objekte vereinfachen kann.
  • Das mindestens eine zusätzliche Merkmal kann durch einen modellbasierten Ansatz bestimmt werden. Die Erfindung schlägt somit eine Fusion von Deep-Learning- bzw. Maschinenlernalgorithmen mit modellbasierten Ansätzen vor. Insbesondere bei Echtzeitanwendungen kann die Verarbeitungszeit beim Erkennen und Klassifizieren der Objekte durch Verwendung modellbasierter Ansätze reduziert werden.
  • Gemäß einer Ausführungsform des computerimplementierten Verfahrens umfasst das mindestens ein Merkmal, welches anhand der Punktinformationen bestimmt wird, mindestens ein statistisches Merkmal, ein Mikrodopplermerkmal oder Ähnliches.
  • Gemäß einer Ausführungsform des computerimplementierten Verfahrens umfassen die Radarmessdaten eine Relativgeschwindigkeit und/oder einen Radarquerschnitt.
  • Gemäß einer Ausführungsform des computerimplementierten Verfahrens hängt mindestens eines der anhand der Punktinformationen bestimmten Merkmale von einem Abstand des Punktes der Punktwolke von einem Radarsensor ab, wobei der Radarsensor die Radardaten generiert. Das mindestens eine anhand der Punktinformationen bestimmte Merkmal ist somit abstandsabhängig.
  • Gemäß einer Ausführungsform des computerimplementierten Verfahrens umfassen die anhand der Punktinformationen bestimmten Merkmale den Abstand des Punktes der Punktwolke von dem Radarsensor. Gemäß dieser Ausführungsform wird die Abstandsinformation somit als zusätzliches Merkmal aufgenommen.
  • Gemäß einer Ausführungsform des computerimplementierten Verfahrens wird die Abhängigkeit des mindestens einen anhand der Punktinformationen bestimmten Merkmals von dem Abstand des Punktes der Punktwolke von dem Radarsensor durch den Maschinenlernalgorithmus berechnet. Gemäß dieser Ausführungsform wird die Abstandsabhängigkeit somit automatisch durch den Maschinenlernalgorithmus ermittelt.
  • Gemäß einer Ausführungsform des computerimplementierten Verfahrens werden die Punkte der Punktwolke in Abhängigkeit vom Abstand der Punkte von dem Radarsensor in Abstands-Bins eingeordnet, wobei das Erkennen und Klassifizieren von Objekten durch den Maschinenlernalgorithmus für jedes Abstands-Bin separat durchgeführt wird. Gemäß dieser Ausführungsform wird die Abstandsabhängigkeit somit durch die Verwendung von Abstands-Bins implementiert.
  • Gemäß einer Ausführungsform des computerimplementierten Verfahrens umfasst das Erkennen und Klassifizieren von Objekten durch den Maschinenlernalgorithmus in Abhängigkeit von der eingegebenen Punktwolke folgende Schritte: einen Sampling-Schritt zum Erkennen von lokalen Gebieten; einen Gruppierungs-Schritt zum Zuordnen der Punkte der Punktwolke zu den lokalen Gebieten; und einen Erkennungs- und Klassifizierungsschritt, wobei jedes lokale Gebiet durch ein künstliches neuronales Netz separat ausgewertet wird, wobei jedem Punkt der Punktwolke in dem lokalen Gebiet ein Eingangs-Merkmalsvektor zugeordnet ist, welcher das mindestens eine anhand der Punktinformationen bestimmte Merkmal umfasst, und wobei für jedes lokale Gebiet ein Ausgangs-Merkmalsvektor erzeugt wird, wobei die Objekte anhand des Ausgangs-Merkmalsvektors erkannt und klassifiziert werden.
  • Gemäß einer Ausführungsform des computerimplementierten Verfahrens umfasst das Erkennen der Objekte eine Positionsbestimmung und/oder Lagebestimmung der Objekte.
  • Gemäß einer Ausführungsform des computerimplementierten Verfahrens umfasst das Klassifizieren der Objekte eine semantische Segmentierung. Die semantische Segmentierung kann anhand der Reflexionspunkte und Radialgeschwindigkeiten, welche in den Radardaten enthalten sind oder aus diesen extrahiert werden, durchgeführt werden.
  • Gemäß einer Ausführungsform des computerimplementierten Verfahrens umfasst das Erkennen und Klassifizieren von Objekten durch den Maschinenlernalgorithmus eine Regression. Vorzugsweise wird eine gemeinsame Kostenfunktion für die Klassifikation und für die Regression verwendet.
  • Figurenliste
  • Es zeigen:
    • 1 ein schematisches Blockdiagramm einer Vorrichtung zum Erkennen und Klassifizieren von Objekten anhand von Radardaten gemäß einer Ausführungsform der Erfindung;
    • 2 eine schematische Darstellung zur Erläuterung eines Maschinenlernalgorithmus zum Erkennen und Klassifizieren von Objekten;
    • 3 eine schematische Darstellung einer Abstandsabhängigkeit von Merkmalen;
    • 4 eine schematische Darstellung zur Erläuterung der Verwendung von Abstands-Bins zur Berücksichtigung der Abstandsabhängigkeit der Merkmale; und
    • 5 ein Flussdiagramm zur Erläuterung eines computerimplementierten Verfahrens zum Erkennen und Klassifizieren von Objekten anhand von Radardaten gemäß einer Ausführungsform der Erfindung.
  • Beschreibung der Ausführungsbeispiele
  • 1 zeigt ein schematisches Blockdiagramm einer Vorrichtung 1 zum Erkennen und Klassifizieren von Objekten anhand von Radardaten. Die Vorrichtung 1 kann Teil eines Fahrerassistenzsystems eines Fahrzeugs sein.
  • Die Vorrichtung 1 umfasst eine Schnittstelle 2, welche Radardaten empfängt. Die Schnittstelle 2 kann über elektrische oder optische Leitungen oder über eine drahtlose Verbindung mit Radarsensoren direkt oder mittelbar gekoppelt sein, um die Radardaten zu empfangen.
  • Die bereitgestellten Radardaten umfassen eine Punktwolke, welche einen Umgebungsbereich, der von den Radarsensoren erfasst wird, darstellen bzw. abbilden. Jedem Punkt der Punktwolke sind Punktinformationen zugeordnet, welche Ortskoordinaten und Radarmessdaten umfassen. Bei den Radarmessdaten kann sich etwa um eine Relativgeschwindigkeit eines an dem Punkt befindlichen Objekts handeln. Zusätzlich oder alternativ können die Punktinformationen einen Radarquerschnitt (englisch: radar cross section, RCS) umfassen, welcher dem an dem Punkt befindlichen Objekt zugeordnet ist.
  • Die Schnittstelle 2 ist mit einer Recheneinrichtung 3 der Vorrichtung 1 gekoppelt und dazu ausgebildet, die empfangenen Radardaten der Recheneinrichtung 3 bereitzustellen. Die Recheneinrichtung 3 kann mindestens einen Prozessor, Mikroprozessor, integrierten Schaltkreis oder dergleichen umfassen, um Rechenoperationen durchzuführen. Weiter umfasst die Recheneinrichtung 3 mindestens einen Speicher, um die empfangenen Radardaten zu speichern. Im Speicher können zusätzlich Informationen bezüglich der Routinen gespeichert sein, welche die Recheneinrichtung 3 ausführt.
  • Die Recheneinrichtung 3 gibt die Radardaten als Eingangswerte in einen Maschinenlernalgorithmus ein. Die Recheneinrichtung 3 führt den Maschinenlernalgorithmus aus, um in Abhängigkeit von den eingegebenen Radardaten Objekte in dem Umfeld des Fahrzeugs zu erkennen und zu klassifizieren.
  • Hierzu kann der Maschinenlernalgorithmus zuerst einen Sampling-Schritt durchführen, um anhand der Punktwolke lokale Gebiete oder Regionen zu bestimmen. Weiter werden die Punkte der Punktwolke gruppiert, d. h. bestimmten lokalen Gebieten zugeordnet.
  • In einem weiteren Erkennungs- und Klassifizierungsschritt wird jedes lokale Gebiet durch ein künstliches neuronales Netz ausgewertet.
  • Der Maschinenlernalgorithmus kann auf rekurrenten neuronalen Netzen (RNN) oder mehrlagigen Perzeptrons (englisch: multilayer perception, MP) basieren. Der Maschinenlernalgorithmus kann eine sequentielle Verknüpfung von Modellen für den Sampling-Schritt, den Gruppierungs-Schritt und den Erkennungs- und Klassifizierungsschritt umfassen.
  • Die erkannten und klassifizierten Objekte können von der Recheneinrichtung 3 ausgegeben werden und insbesondere einem Fahrerassistenzsystem 4 bereitgestellt werden, welches Fahrzeugfunktionen des Fahrzeugs anhand der erkannten und klassifizierten Objekte steuert.
  • Weiter kann das Erkennen der Objekte eine Positionsbestimmung bzw. Lagebestimmung der Objekte umfassen, welche insbesondere anhand der Ortskoordinaten, welche den Punkten der Punktwolke zugeordnet sind, mittels der Recheneinrichtung 3 durchgeführt werden kann.
  • Um die Objekte zu klassifizieren, kann eine semantische Segmentierung durchgeführt werden.
  • Der Maschinenlernalgorithmus soll anhand der 2 genauer beschrieben werden. Zuerst wird eine Eingangsschicht 5 generiert, welche eine Anzahl N von zwei- oder dreidimensionalen Punkten einer Punktwolke umfasst. Jedem Punkt sind Punktinformationen zugeordnet, d. h. ein Vektor der Größe d+C, wobei d die Dimension bezeichnet, d.h. typischerweise zwei oder drei, und den Ortskoordinaten entspricht, und wobei C die Dimension eines Eingangs-Merkmalsvektors bezeichnet, welcher etwa eine Relativgeschwindigkeit, einen Radarquerschnitt und dergleichen umfasst.
  • In einem Sampling- und Gruppierungs-Schritt wird eine zweite Schicht 6 generiert, wobei lokale Gebiete der erkannt werden und die Punkte der Punktwolke zu den lokalen Gebieten zugeordnet werden. Die lokalen Gebiete können auch fest vorgegeben sein. In dem Sampling-Schritt kann weiter ein Zentrum der lokalen Gebiete ermittelt werden. Es können separate Sampling-Layer und Gruppierungs-Layer vorgesehen sein. Die zweite Schicht 6 hat eine Dimension N'·K·(d+C), wobei N' die Anzahl der lokalen Gebiete bzw. die Anzahl der Zentren der lokalen Gebiete angibt, und wobei K eine Maximalzahl bezeichnet, welche die Anzahl der Punkte vorgibt, die zu den jeweiligen lokalen Gebiet gehören können. Die Größe K kann beliebig vorgegeben werden.
  • Weiter ist eine PointNet-Schicht 7 vorgesehen, welche Merkmale erkennt. Als Ausgabe wird ein Tensor bzw. Ausgangs-Merkmalsvektor der Größe N'-(d+C') erzeugt, wobei C' einer Anzahl von Merkmalen entspricht, welche von der PointNet-Schicht 7 automatisch generiert werden. Besonders vorteilhaft ist, dass der Ausgangs-Merkmalsvektor nicht mehr von der Anzahl K der Punkte abhängt, welche den jeweiligen lokalen Gebieten zugeordnet sind. Die jeweilige Gruppe bzw. das jeweilige lokale Gebiet werden somit unabhängig von der Anzahl der Punkte beschrieben.
  • Für jedes lokale Gebiet wird somit ein Ausgangs-Merkmalsvektor erzeugt, wobei die Objekte anhand des Ausgangs-Merkmalsvektor erkannt und klassifiziert werden. Die Parameter des Ausgangs-Merkmalsvektors können durch den Maschinenlernalgorithmus automatisch bestimmt werden. Die Parameter können im Wesentlichen Klassifizierungsparametern entsprechen, d. h. mit bestimmten Objekttypen oder Objekteigenschaften korrelieren oder diesen entsprechen.
  • Weiter kann mittels eines Convolutional-Neuronal-Networks 8 eine Klassifizierung von Objekten durchgeführt werden.
  • Der Eingangs-Merkmalsvektor umfasst neben Radarmessdaten, wie einer Relativgeschwindigkeit und einem Radarquerschnitt, mindestens ein zusätzliches Merkmal, welches anhand der Punktinformationen bestimmt wird. Die Punktinformationen umfassen hierbei die Ortskoordinaten und Radarmessdaten und sind den jeweiligen Punkten der Punktwolke zugeordnet. Im Folgenden werden Beispiele für die zusätzlichen Merkmale angegeben.
  • Das mindestens eine zusätzliche Merkmal kann auf einer Vielzahl von Ortskoordinaten basieren. So kann das mindestens eine zusätzliche Merkmal eine Ausbreitung (englisch: spread) der lokalen Gebiete in x- oder -y Richtung umfassen (dx- bzw. dy-Ausbreitung). Weiter kann das mindestens eine zusätzliche Merkmal davon abgeleitete Merkmale umfassen. Die Ausbreitung ist durch folgende Formen definiert: d x spread = max i ( d x i ) − min i ( d x i ) d y spread = max i ( d y i ) − min i ( d y i )
    Figure DE102019220615A1_0001
  • In den obigen Formen läuft die Maximums- und Minimumsbildung über die Punkte des jeweiligen lokalen Gebiet.
  • Weiter kann das mindestens eine zusätzliche Merkmal eine Fläche umfassen: A = d x s p r e a d d y s p r e a d .
    Figure DE102019220615A1_0002
  • Weiter kann das mindestens eine zusätzliche Merkmal ein Verhältnis von Ausbreitung in x-Richtung und y-Richtung umfassen: r = d x s p r e a d d y s p r e a d .
    Figure DE102019220615A1_0003
  • Weiter kann es sich bei dem mindestens einen zusätzlichen Merkmalen um eine Leistung des Radarquerschnitts handeln. Die Leistung kann durch die Summe der linearen Radarquerschnitte aller dem jeweiligen lokalen Gebiet zugeordneten Punkte in dB-Werten berechnet werden: Power = 10 log 10 ∑ i ( RCS lin ., i )
    Figure DE102019220615A1_0004
  • Hier bezeichnen RCSlin.,i die linearen dB-Werte.
  • Weiter kann es sich bei dem mindestens einen zusätzlichen Merkmal um die Anzahl der Punkte in dem jeweiligen lokalen Gebiet handeln.
  • Schließlich kann es sich bei dem mindestens einen zusätzlichen Merkmal um eine Ausbreitung (englisch: spread) bzw. einen Bereich (englisch: range) des Radarquerschnitt handeln: R C S spread = 1 N − 1 ∑ i ( RCS ¯ − RCS i ) 2 RCS range = max i  RCS i − min i  RCS i
    Figure DE102019220615A1_0005
  • Weiter kann es sich bei dem mindestens einen zusätzlichen Merkmal um ein Mikrodopplersignal handeln, welches gemäß folgender Formel berechnet werden kann: MD = 1 N − 1 ( v r m e a s ., i − v r ¯ m e a s . ) 2
    Figure DE102019220615A1_0006
    Schließlich kann es sich bei dem mindestens einen weiteren Merkmal um eine Azimuth-Standardabweichung handeln.
  • Die tatsächlich verwendeten Merkmale können anhand ihrer Relevanz ausgewählt werden. Weiter können weitere Merkmale umfasst werden.
  • Weiter kann eine Abstandsabhängigkeit des mindestens einen zusätzlichen Merkmals berücksichtigt werden. Hierzu kann eine Regressionsberechnung 9 durchgeführt werden, um Parameter zum Beschreiben der Abstandsabhängigkeit zu ermitteln.
  • 3 zeigt eine schematische Darstellung einer Abstandsabhängigkeit von Merkmalen. Hier ist der Durchschnittswert eines einzelnen Merkmals illustriert, etwa einer durchschnittlichen Anzahl von Reflexionen. Ein erster Verlauf 10 entspricht einem Fahrzeug und ein zweiter Verlauf 11 entspricht einem Fußgänger.
  • Die Abstandsabhängigkeit kann berücksichtigt werden, indem diese von dem Maschinenalgorithmus selbständig berechnet bzw. gelernt wird. Weiter kann vorgesehen sein, die Abstandsabhängigkeit als eines der zusätzlichen Merkmale zu berücksichtigen. Schließlich kann vorgesehen sein, die Abstandsabhängigkeit durch Verwendung von Abstands-Bins zu berücksichtigen.
  • 4 zeigt eine schematische Darstellung zur Erläuterung der Verwendung von Abstands-Bins zur Berücksichtigung der Abstandsabhängigkeit der Merkmale. Hierzu wird ein Bereich um einen Radarsensor 12 in Abstands-Bins 13 bis 15 eingeteilt. Die Anzahl der Abstands-Bins 13 bis 15 ist beliebig vorgebbar. Die Klassifizierung wird für jedes Abstands-Bin 13 bis 15 unabhängig durchgeführt.
  • Beispielsweise kann ein Deep-Learning-Modell verwendet werden, um eine analytische Funktion zu bestimmen, welche die Abstandsabhängigkeit der Merkmale beschreibt. Beispielsweise kann die Leistung wie folgt dargestellt werden: P o w e r = a 0 + a 1 r + ⋯ + a n r n
    Figure DE102019220615A1_0007
  • Hierbei bezeichnet r den Abstand und a_i sind Polynomialkoeffizienten. Die Polynomialkoeffizienten a_i sind für alle Objekte gleich.
  • Die Kostenfunktion des Deep-Learning-Modells ist gegeben als Summe der Klassifizierungsfunktion Softmax und der Regressionsfunktion der einzelnen zusätzlichen Merkmale. Diese Funktion ist eine globale Funktion für alle Punkte der Punktwolke. Falls sich in der Klassifikation Klassen überlappen, kann eine Focal-Loss-Funktion verwendet werden, wie aus Yin et al, „Focal loss for dense object detection", PAMI, 2018, bekannt.
  • 5 zeigt ein Flussdiagramm zur Erläuterung eines computerimplementierten Verfahrens zum Erkennen und Klassifizieren von Objekten anhand von Radardaten gemäß einer Ausführungsform der Erfindung.
  • In einem ersten Verfahrensschritt S1 werden Radardaten empfangen, wobei die Radardaten eine Punktwolke umfassen. Jedem Punkt der Punktwolke sind Punktinformationen zugeordnet. Die Punktinformationen umfassen Ortskoordinaten und Radarmessdaten. Die Radarmessdaten umfassen Beispiel Weise eine Relativgeschwindigkeit und/oder einen Radarquerschnitt.
  • In einem zweiten Verfahrensschritt S2 werden die Radardaten in einen Maschinenlernalgorithmus eingegeben.
  • In einem dritten Verfahrensschritt S3 werden Objekte durch den Maschinenlernalgorithmus erkannt und klassifiziert. Hierbei wird mindestens ein Merkmal verwendet, welches anhand der Punktinformationen bestimmt wird. Das mindestens eine Merkmal kann von einem Abstand des Punktes der Punktwolke von einem Radarsensor abhängen, welcher die Radardaten generiert. Die Abstandsabhängigkeit kann eines der bestimmten Merkmale sein. Die Abstandsabhängigkeit kann weiter durch den Maschinenlernalgorithmus automatisch berechnet werden. Weiter können die Punkte der Punktwolke in Abstands-Bins eingeordnet werden, wobei das Erkennen und Klassifizieren der Objekte für jedes Abstands-Bin separat durchgeführt wird.
  • Das Erkennen und Klassifizieren von Objekten durch den Maschinenlernalgorithmus kann einen Sampling-Schritt, einen Gruppierung-Schritt und einen Erkennungs- und Klassifizierungsschritt umfassen. In dem Sampling-Schritt werden lokale Gebiete erkannt. In dem Gruppierung-Schritt werden Punkte der Punktwolke den lokalen Gebieten zugeordnet. In dem Erkennungs- und Klassifizierungsschritt wird jedes lokale Gebiet durch ein künstliches neuronales Netz separat ausgewertet. Jedem Punkt der Punktwolke wird in dem lokalen Gebiet ein Eingangs-Merkmalsvektor zugeordnet. Dieser umfasst das mindestens eine anhand der Punktinformationen bestimmte Merkmal. Für jedes lokale Gebiet wird ein Ausgangs-Merkmalsvektor erzeugt, wobei die Objekte anhand des Ausgangs-Merkmalsvektors erkannt und klassifiziert werden.
  • Das Erkennen der Objekte umfasst vorzugsweise eine Positionsbestimmung und/oder eine Lagebestimmung der Objekte. Das Klassifizieren der Objekte kann eine semantische Segmentierung umfassen.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Nicht-Patentliteratur
    • Yin et al, „Focal loss for dense object detection“, PAMI, 2018 [0056]

Claims (10)

  1. Computerimplementiertes Verfahren zum Erkennen und Klassifizieren von Objekten anhand von Radardaten, mit den Schritten: Empfangen (S1) der Radardaten, wobei die Radardaten eine Punktwolke umfassen, wobei jedem Punkt der Punktwolke Punktinformationen zugeordnet sind, wobei die Punktinformationen Ortskoordinaten und Radarmessdaten umfassen; Eingeben (S2) der Radardaten in einen Maschinenlernalgorithmus; und Erkennen und Klassifizieren (S3) von Objekten durch den Maschinenlernalgorithmus in Abhängigkeit von den eingegebenen Radardaten, unter Verwendung von mindestens einem Merkmal, welches anhand der Punktinformationen bestimmt wird.
  2. Computerimplementiertes Verfahren nach Anspruch 1, wobei die Radarmessdaten eine Relativgeschwindigkeit und/oder einen Radarquerschnitt umfassen.
  3. Computerimplementiertes Verfahren nach Anspruch 1 oder 2, wobei mindestens eines der anhand der Punktinformationen bestimmten Merkmale von einem Abstand des Punktes der Punktwolke von einem Radarsensor abhängt, wobei der Radarsensor die Radardaten generiert.
  4. Computerimplementiertes Verfahren nach Anspruch 3, wobei die anhand der Punktinformationen bestimmten Merkmale den Abstand des Punktes der Punktwolke von dem Radarsensor umfassen.
  5. Computerimplementiertes Verfahren nach Anspruch 3, wobei die Abhängigkeit des mindestens einen anhand der Punktinformationen bestimmten Merkmals von dem Abstand des Punktes der Punktwolke von dem Radarsensor durch den Maschinenlernalgorithmus berechnet wird.
  6. Computerimplementiertes Verfahren nach Anspruch 3, wobei die Punkte der Punktwolke in Abhängigkeit vom Abstand der Punkte von dem Radarsensor in Abstands-Bins eingeordnet werden, wobei das Erkennen und Klassifizieren von Objekten durch den Maschinenlernalgorithmus für jedes Abstands-Bin separat durchgeführt wird.
  7. Computerimplementiertes Verfahren nach einem der vorangehenden Ansprüche, wobei das Erkennen und Klassifizieren von Objekten durch den Maschinenlernalgorithmus in Abhängigkeit von der eingegebenen Punktwolke folgende Schritte umfasst: einen Sampling-Schritt zum Erkennen von lokalen Gebieten; einen Gruppierungs-Schritt zum Zuordnen der Punkte der Punktwolke zu den lokalen Gebieten; und einen Erkennungs- und Klassifizierungsschritt, wobei jedes lokale Gebiet durch ein künstliches neuronales Netz separat ausgewertet wird, wobei jedem Punkt der Punktwolke in dem lokalen Gebiet ein Eingangs-Merkmalsvektor zugeordnet ist, welcher das mindestens eine anhand der Punktinformationen bestimmte Merkmal umfasst, und wobei für jedes lokale Gebiet ein Ausgangs-Merkmalsvektor erzeugt wird, wobei die Objekte anhand des Ausgangs-Merkmalsvektors erkannt und klassifiziert werden.
  8. Computerimplementiertes Verfahren nach einem der vorangehenden Ansprüche, wobei das Erkennen der Objekte eine Positionsbestimmung und/oder Lagebestimmung der Objekte umfasst.
  9. Computerimplementiertes Verfahren nach einem der vorangehenden Ansprüche, wobei das Klassifizieren der Objekte eine semantische Segmentierung umfasst.
  10. Vorrichtung (1) zum Erkennen und Klassifizieren von Objekten anhand von Radardaten, mit: einer Schnittstelle (2) zum Empfangen der Radardaten, wobei die Radardaten eine Punktwolke umfassen, wobei jedem Punkt der Punktwolke Punktinformationen zugeordnet sind, wobei die Punktinformationen Ortskoordinaten und Radarmessdaten umfassen, und einer Recheneinrichtung (3), welche dazu ausgebildet ist: a) die Radardaten in einen Maschinenlernalgorithmus einzugeben, und b) durch Ausführen des Maschinenlernalgorithmus in Abhängigkeit von den eingegebenen Radardaten Objekte zu erkennen und zu klassifizieren, unter Verwendung von mindestens einem Merkmal, welches anhand der Punktinformationen bestimmt wird.
DE102019220615.8A 2019-12-30 2019-12-30 Verfahren und Vorrichtung zum Erkennen und Klassifizieren von Objekten Pending DE102019220615A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102019220615.8A DE102019220615A1 (de) 2019-12-30 2019-12-30 Verfahren und Vorrichtung zum Erkennen und Klassifizieren von Objekten

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102019220615.8A DE102019220615A1 (de) 2019-12-30 2019-12-30 Verfahren und Vorrichtung zum Erkennen und Klassifizieren von Objekten

Publications (1)

Publication Number Publication Date
DE102019220615A1 true DE102019220615A1 (de) 2021-07-01

Family

ID=76310363

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102019220615.8A Pending DE102019220615A1 (de) 2019-12-30 2019-12-30 Verfahren und Vorrichtung zum Erkennen und Klassifizieren von Objekten

Country Status (1)

Country Link
DE (1) DE102019220615A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4220217A1 (de) * 2022-01-26 2023-08-02 Robert Bosch GmbH Verfahren und vorrichtung zur segmentierung von radardaten und fahrerassistenzsystem

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4220217A1 (de) * 2022-01-26 2023-08-02 Robert Bosch GmbH Verfahren und vorrichtung zur segmentierung von radardaten und fahrerassistenzsystem

Similar Documents

Publication Publication Date Title
DE102017220307B4 (de) Vorrichtung und Verfahren zum Erkennen von Verkehrszeichen
DE102020214283A1 (de) Vorrichtung zur erkennung von hindernissen, fahrzeugsystem mit dieser und verfahren dafür
WO2020049154A1 (de) Verfahren und vorrichtung zur klassifizierung von objekten
DE112017005651T5 (de) Vorrichtung zur Klassifizierung von Daten
DE102021106518A1 (de) Elektronische Vorrichtung zur fusioniert kamera- und radarsensorbasierten dreidimensionalen Objekterkennung und Betriebsverfahren dafür
EP2951804A1 (de) Erstellen eines umfeldmodells für ein fahrzeug
DE102020210352A1 (de) Verfahren und Vorrichtung zum Transferlernen zwischen modifizierten Aufgaben
DE112020003343T5 (de) System und verfahren mit einem robusten tiefen generativen modell
DE102020200503A1 (de) Verfahren zum Generieren von gelabelten Daten, insbesondere für das Training eines neuronalen Netzes, mittels Verbesserung initialer Label
DE102019220615A1 (de) Verfahren und Vorrichtung zum Erkennen und Klassifizieren von Objekten
WO2021165077A1 (de) Verfahren und vorrichtung zur bewertung eines bildklassifikators
DE112019007053T5 (de) Verfahren für eine Detektion und Klassifizierung von Gesten unter Verwendung eines Radarsystems
DE102022201679A1 (de) Verfahren und Vorrichtung zum Trainieren eines neuronalen Netzes
DE102021129864A1 (de) Verfahren und System zur Annotation von Sensordaten
DE102022110895A1 (de) System und Verfahren zur Fenstergeneration fir Interessensbereiche für aufmerksamkeitsbasierte Wahrnehmung
DE102020216188A1 (de) Vorrichtung und Verfahren zum Trainieren eines Klassifizierers
DE102021200568A1 (de) Computerimplementiertes verfahren zur analyse der relevanz visueller parameter zum trainieren eines computer-vision -modells
DE102020128952A1 (de) Verfahren und Assistenzeinrichtung zur zweistufigen bildbasierten Szenenerkennung und Kraftfahrzeug
DE102020203135A1 (de) Verfahren zur Qualitätssicherung eines beispielbasierten Systems
DE102019202747A1 (de) Verfahren und Vorrichtung zur Klassifizierung von Eingangsdaten
DE102019216184A1 (de) Verfahren zum Robustifizieren eines Neuronalen Netzes gegen adversariale Störungen
DE102019219927A1 (de) Verfahren und Vorrichtung zum Erkennen einer Entfremdung einer Sensordatendomäne von einer Referenzdatendomäne
DE102019114049A1 (de) Verfahren zur Validierung eines Fahrerassistenzsystems mithilfe von weiteren generierten Testeingangsdatensätzen
DE102018121317A1 (de) Verfahren und Vorrichtung zur Schätzung einer durch eine Freiraumgeste vermittelten Richtungsinformation zur Bestimmung einer Benutzereingabe an einer Mensch-Maschine-Schnittstelle
DE102022214233B3 (de) Bestimmen einer Ähnlichkeit von Verkehrsszenen zur Verbesserung maschineller Lernsysteme bzw. Algorithmen zur Trajektorienprädiktion oder Manöverplanung für automatisierte Fahrzeuge

Legal Events

Date Code Title Description
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06K0009620000

Ipc: G06V0030190000