DE112019007053T5 - Verfahren für eine Detektion und Klassifizierung von Gesten unter Verwendung eines Radarsystems - Google Patents

Verfahren für eine Detektion und Klassifizierung von Gesten unter Verwendung eines Radarsystems Download PDF

Info

Publication number
DE112019007053T5
DE112019007053T5 DE112019007053.3T DE112019007053T DE112019007053T5 DE 112019007053 T5 DE112019007053 T5 DE 112019007053T5 DE 112019007053 T DE112019007053 T DE 112019007053T DE 112019007053 T5 DE112019007053 T5 DE 112019007053T5
Authority
DE
Germany
Prior art keywords
phase difference
radar system
specific
gestures
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE112019007053.3T
Other languages
English (en)
Inventor
Tai Fei
Yuliang Sun
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hella GmbH and Co KGaA
Original Assignee
Hella GmbH and Co KGaA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hella GmbH and Co KGaA filed Critical Hella GmbH and Co KGaA
Publication of DE112019007053T5 publication Critical patent/DE112019007053T5/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01QANTENNAS, i.e. RADIO AERIALS
    • H01Q1/00Details of, or arrangements associated with, antennas
    • H01Q1/27Adaptation for use in or on movable bodies
    • H01Q1/32Adaptation for use in or on road or rail vehicles
    • H01Q1/325Adaptation for use in or on road or rail vehicles characterised by the location of the antenna on the vehicle
    • H01Q1/3291Adaptation for use in or on road or rail vehicles characterised by the location of the antenna on the vehicle mounted in or on other locations inside the vehicle or vehicle body
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Biomedical Technology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

Ein Verfahren (100) zur Detektion und Klassifizierung von Gesten unter Verwendung eines Radarsystems (1), insbesondere eines Fahrzeugs, umfassend die folgenden Schritte:
- Bereitstellen einer Detektionsinformation (200) des Radarsystems (1), wobei die Detektionsinformation (200) für Signale spezifisch ist, die von verschiedenen Antenneneinheiten (11, 12, 13, 14) einer Antennengruppe (10) des Radarsystems (1) empfangen werden,
- Bestimmen mindestens einer Phasendifferenzinformation (210) aus der Detektionsinformation (200), wobei die Phasendifferenzinformation (210) für eine Phasendifferenz der empfangenen Signale spezifisch ist,
- Anwenden eines neuronalen Netzwerks (220) mit der Phasendifferenzinformation (210) als einem Input (221) für das neuronale Netzwerk (220), um ein für die Detektion und Klassifizierung der Gesten spezifisches Ergebnis (222) zu erhalten.

Description

  • Die Erfindung betrifft ein Verfahren zur Detektion und Klassifizierung von Gesten unter Verwendung eines Radarsystems. Ferner betrifft die Erfindung ein Radarsystem und ein Computerprogramm.
  • Aus dem Stand der Technik ist bekannt, dass neuronale Netzwerke für eine Gestenerkennung auf Grundlage von Radarsignalen genutzt werden können. Dies ermöglicht es, verschiedene Gesten wie Handgesten unter Verwendung eines Radarsystems zu klassifizieren. Die Nutzung neuronaler Netzwerke in dieser Hinsicht ist jedoch noch technologisch komplex und eingeschränkt. Beispielsweise kann die Zuverlässigkeit der Klassifizierung unzureichend sein. Ferner ist es häufig erforderlich, ein manuelles Schneiden der vom Radarsystem empfangenen Datenströme auszuführen, um mehrere Gesten zu trennen. Mit anderen Worten, konventionelle Methoden sind nicht in der Lage, mehrere Gesten innerhalb dieser Datenströme automatisch zu erkennen und zu klassifizieren. Es muss deshalb sichergestellt werden, dass in dem als Input für das neuronale Netzwerk verwendeten abgeschnittenen Zeitfenster nur eine einzelne Geste vorhanden ist, was einen höheren Aufwand erfordert und nicht Teil eines automatisierten Verfahrens sein kann.
  • Die vorstehende Aufgabe wird durch ein Verfahren gemäß dem unabhängigen Anspruch 1, ein Radarsystem gemäß dem unabhängigen Anspruch 7 und ein Computerprogramm gemäß dem unabhängigen Anspruch 11 gelöst. Merkmale und Einzelheiten der vorliegenden Erfindung resultieren aus den abhängigen Ansprüchen, der Beschreibung und entsprechenden Zeichnungen. Folglich werden in Bezug auf das erfindungsgemäße Verfahren diskutierte Merkmale und Einzelheiten auch Merkmalen und Einzelheiten des Radarsystems und des Computerprogramms zugeordnet.
  • Gemäß einem Aspekt der Erfindung wird ein Verfahren für eine Detektion und Klassifizierung von Gesten unter Verwendung eines Radarsystems bereitgestellt. Das Radarsystem kann insbesondere Teil eines Fahrzeugs sein, vorzugsweise eines Motorfahrzeugs und/oder eines Personenkraftwagens.
  • Gemäß dem Verfahren können die folgenden Schritte ausgeführt werden, insbesondere nacheinander in der folgenden Reihenfolge oder in jeglicher Reihenfolge, wobei einzelne Schritte auch wiederholt werden können:
    • - Bereitstellen einer Detektionsinformation des Radarsystems, wobei die Detektionsinformation spezifisch für Signale ist, die von verschiedenen Antenneneinheiten einer Antennengruppe des Radarsystems empfangen wurden, wobei insbesondere die Signale Informationen über mindestens eine Geste oder mehrere Gesten enthalten, wobei vorzugsweise die Geste oder diese Gesten von einem Benutzer (z. B. des Fahrzeugs) in einer Umgebung des Radarsystems ausgeführt werden,
    • - Bestimmen mindestens einer Phasendifferenzinformation aus der Detektionsinformation, wobei die Phasendifferenzinformation für eine Phasendifferenz der empfangenen Signale spezifisch ist, insbesondere zwischen Signalen, die von unterschiedlichen Antenneneinheiten empfangen wurden,
    • - Anwenden eines neuronalen Netzwerks mit der Phasendifferenzinformation als einem Input für das neuronale Netzwerk, um ein für die Detektion und Klassifizierung der Gesten spezifisches Ergebnis (als ein Output des neuronalen Netzwerks) zu erhalten.
  • Dies hat den Vorteil, dass durch Verwendung der Phasendifferenzinformation als ein Input für das neuronale Netzwerk die Leistung der Detektions- und/oder der Klassifizierungsgenauigkeit verbessert werden kann. Dies resultiert auch in einer höheren Zuverlässigkeit der Gestenklassifizierung.
  • Gemäß einem weiteren Vorteil können die Schritte des erfindungsgemäßen Verfahrens vollautomatisch ausgeführt werden, insbesondere ohne die Notwendigkeit, die Detektionsinformationen (beispielsweise in der Form von Datenströmen) gestenspezifisch in einem Zwischenschritt manuell zu erkennen und zu schneiden.
  • Es ist möglich, dass vor der Anwendung der vorstehend erwähnten Verfahrensschritte ein Training des neuronalen Netzwerks ausgeführt wird. Der für den Schritt der Anwendung des neuronalen Netzwerks genutzte Input kann auch als ein Input für das Training genutzt werden. Das Training kann auf einem unbeaufsichtigten Lernen oder einem beaufsichtigten Lernen basieren, um das neuronale Netzwerk das Erkennen und Klassifizieren der Gasten basierend auf dem Input zu lehren.
  • Vorteilhafterweise können die Detektionsinformationen unter Verwendung der von verschiedenen Antenneneinheiten empfangenen Signale bestimmt werden. Beispielsweise kann das Radarsystem eine lineare Chirpsequenz-Frequenzmodulation anwenden, um eine Wellenform zu entwerfen. Nach dem Mischen, Filtern und Abtasten eines jeden dieser empfangenen Signale kann ein entsprechendes diskretes Schwebungssignal aus reflektierenden Punkten von Objekten in der Umgebung für verschiedene Messzyklen von einer der Antenneneinheiten, insbesondere Empfängerantennen, bestehen. Um die Phasendifferenzen der empfangenen Signale zu berechnen, kann die räumliche Differenz zwischen zwei Empfängerantennen in Höhen- und Azimutrichtung berücksichtigt werden, die λ/2 betragen kann, wobei Ä die mit dem Radarsystem genutzte Wellenlänge ist. Das empfangene Signal, insbesondere das Schwebungssignal, kann weiterverarbeitet werden, um aus dem Signal mindestens ein Spektrogramm zu erhalten. Beispielsweise kann auf das empfangene Signal (insbesondere Schwebungssignal) eine zweidimensionale finite Fouriertransformation angewendet werden, vorzugsweise für jeden Messzyklus, sodass eine zeitvariable Geschwindigkeitsinformation beobachtet werden kann. Als ein für jeden Messzyklus angewendetes Ergebnis der Fourier-Transformation kann ein 3D-Bereich-Doppler-Messzyklus-Array erhalten werden. Ein Spektrogramm, das insbesondere die µD-Signaturen repräsentiert, kann durch Integration des resultierenden 3D-Bereich-Doppler-Messzyklus-Array über den Bereich deduktiert werden. Unter Verwendung zweier Empfängerantennen mit einer räumlichen Differenz von λ/2 könnte der Richtungswinkel eines Objekts über die Phasendifferenz basierend auf dem Prinzip der Monopulswinkelschätzung (siehe S. Sharenson, „Angle estimation accuracy with a monopulse radar in the search mode“, IRE Trans. Aerosp. Navig. Electron, Teil ANE-9, Nr. 3, S. 175-179, September 1962) geschätzt werden. Für Gestenerkennung, das heißt, Detektion und Klassifizierung, kann die Phasendifferenzinformation direkt als eine Funktion des Messzyklus genutzt werden, der die Informationen zum Richtungswinkel der Gesten enthält.
  • Vorstellbar ist, dass das Radarsystem als eine Mensch-Computer-Schnittstelle genutzt wird, insbesondere für ein Fahrzeug. Deshalb kann das Radarsystem so konfiguriert werden, dass es die Gesten, wie eine Geste der menschlichen Hand, erkennt. Dies hat den Vorteil, dass Radarsensoren im Unterschied zu Systemen der optischen Gestenerkennung gegenüber den Umgebungslichtverhältnissen unempfindlich sind. Ferner können die für die Detektion des Radarsystems genutzten elektromagnetischen Wellen dielektrische Materialien durchdringen, weshalb das Radarsystem in eine Vorrichtung eingebettet werden kann.
  • Das Radarsystem kann dafür vorgesehen sein, für ein fahrzeuginternes Infotainment- und/oder ein Fahrerüberwachungssystem eines Fahrzeugs genutzt werden.
  • Vorteilhafterweise ist die Detektionsinformation für mindestens eine (oder mehrere) Geste(n) spezifisch, die in einer Umgebung des Radarsystems ausgeführt werden, insbesondere in einer Umgebung der Antennengruppe. Diese Umgebung kann beispielsweise ein Innenraum des Fahrzeugs sein, sodass die Geste durch einen Fahrzeuginsassen ausgeführt wird.
  • Ferner kann es möglich sein, dass das neuronale Netzwerk als ein regionenbasiertes, tiefes neuronales Faltungsnetzwerk (Region-based Deep Convolutional Neural Network, R-DCNN) konfiguriert ist. Ein solches R-DCNN wird beispielhaft offenbart von S. Ren, K. He, R. Girshick und J. Sun: „Faster R-CNN: Towards real-time object detection with region proposal networks“, IEEE Trans. Pattern Anal. Mach. Intell., Teil 39, Nr. 6, S. 1137-1149, Juni 2017. Eine weitere Offenbarung im Zusammenhang mit R-DCNN ist zu finden in V. Sze, Y. Chen, T. Yang und J. S. Emer: „Efficient processing of deep neural networks: A tutorial and survey“, Proceedings of the IEEE, Teil 105, Nr. 12, S. 2295-2329, Dez. 2017, und R. Girshick, „Fast R-CNN“ in Proceedings IEEE Int. Conf. Comput. Vision, Santiago, Chile, Dez. 2015. Das R-DCNN ist in der Lage, Gesten aus dem Input automatisch zu detektieren und zu klassifizieren. Ferner hat es sich gezeigt, dass das R-DCNN automatisch unterschiedliche (mehrere) Gesten innerhalb der Detektionsinformationen unterscheiden kann. Deshalb kann eine manuelle Auswahl der in den Detektionsinformationen enthaltenen Gesten vor dem Schritt des Anwendens des neuronalen Netzwerks vermieden werden. Der Input kann mehrere Gesten umfassen, die nicht explizit unterschieden werden.
  • Vorstellbar ist auch, dass die Detektionsinformationen für eine Mikro-Dopplersignatur der Gesten spezifisch sind. Möglich ist deshalb auch, dass das Radarsystem zur Beschaffung der Detektionsinformationen eine Doppler-Frequenzmodulation nutzt, die als Mikro-Dopplereffekt (µD-Effekt) bezeichnet wird (siehe beispielsweise V. C. Chen, F. Li, S. Ho und H. Wechsler, „Micro-Doppler effect in radar: phenomenon, model, and simulation study“, IEEE Trans. Aerosp. Electron. Syst., Teil 42, Nr. 1, S. 2-21, Jan. 2006). Dies ermöglicht es, µD-Merkmale aus den Detektionsinformationen zu extrahieren, insbesondere aus Spektrogrammen, die durch die Detektionsinformationen bestimmt wurden. Diese µD-Merkmale können als die Mikro-Dopplersignatur der Gesten verstanden werden. Mit anderen Worten, die Mikro-Dopplersignatur ist das Ergebnis der Doppler-Frequenzmodulation.
  • Es kann vorgesehen werden, dass aus der Detektionsinformation mindestens ein Spektrogramm bestimmt und, zusätzlich zu der Phasendifferenzinformation, als der Input für das neuronale Netzwerk verwendet wird. Mit anderen Worten, der Input umfasst das Spektrogramm und die Phasendifferenzinformationen und wird in das neuronale Netzwerk eingespeist. Dementsprechend ist es möglich, dass der Input des neuronalen Netzwerks drei Kanäle umfasst, das heißt, ein Spektrogramm und zwei Phasendifferenzkanäle. Dies kann die Effizienz der Klassifizierung weiter erhöhen.
  • Vorzugsweise kann vorgesehen werden, dass der Input spezifisch für mehrere Gesten ist und das neuronale Netzwerk verwendet wird (und besonders geeignet ist), um zwischen diesen mehreren Gesten zu unterscheiden, sodass das Ergebnis spezifisch für eine Detektion einzelner der mehreren Gesten und eine Klassifizierung dieser einzelnen Gesten ist. Dies kann den Vorteil haben, dass die mehreren Gesten automatisch detektiert und klassifiziert werden können, ohne vorab die Detektionsinformationen (beispielsweise in der Form von Datenströmen) gestenspezifisch zu schneiden. Die Gesten können insbesondere Bewegungen eines Körperteils einer Person sein, vorzugsweise eine Handbewegung oder dergleichen.
  • Vorteilhafterweise ist die Detektionsinformation durch Signale bestimmt, die von einer ersten und zweiten Antenneneinheit der Antennengruppe spezifisch für einen Neigungswinkel empfangen werden, und durch Signale, die von einer dritten und vierten Antenneneinheit der Antennengruppe spezifisch für einen Azimutwinkel empfangen werden.
  • Die Antenneneinheiten der Antennengruppe können mit einem vorbestimmten Abstand voneinander auf einer Antennengruppenplattform positioniert und/oder angebracht werden. Der Abstand kann beispielsweise λ/2 sein, wobei Ä die mit dem Radarsystem genutzte Wellenlänge ist. Dies ermöglicht eine Berechnung der Phasendifferenzinformationen aus den empfangenen Signalen der Antenneneinheiten durch Vergleichen der verschiedenen Signale der Antenneneinheiten miteinander.
  • Ferner ermöglicht dies, den Neigungswinkel und Azimutwinkel in Abhängigkeit von der Anordnung der Antenneneinheiten auf der Antennengruppenplattform zu berechnen.
  • Gemäß einem weiteren Aspekt der Erfindung umfasst ein Radarsystem eine Antennengruppe für eine Detektion in einer Umgebung der Antennengruppe und eine Datenverarbeitungsvorrichtung.
  • Es ist möglich, dass die Datenverarbeitungsvorrichtung umfasst:
    • - Mittel zum Bereitstellen einer Detektionsinformation des Radarsystems, wobei die Detektionsinformation für Signale spezifisch ist, die von verschiedenen Antenneneinheiten (z. B. einzelnen Antennen) der Antennengruppe empfangen werden,
    • - Mittel zum Bestimmen mindestens einer Phasendifferenzinformation aus der Detektionsinformation, wobei die Phasendifferenzinformation für eine Phasendifferenz der empfangenen Signale spezifisch ist,
    • - Mittel zum Anwenden eines neuronalen Netzwerks mit der Phasendifferenzinformation als einem Input für das neuronale Netzwerk, um ein für die Detektion und Klassifizierung der Gesten spezifisches Ergebnis zu erhalten.
  • Diese Mittel können vorzugsweise als ein Teil einer elektronischen Vorrichtung (Hardware) des Radarsystems, beispielsweise ein Prozessor oder Teile des Prozessors, oder als ein Softwareteil des Radarsystems konfiguriert sein. Wenn sie als ein Softwareteil konfiguriert sind, können diese Mittel beispielsweise ein Teil eines erfindungsgemäßen Computerprogramms sein, das von einem Prozessor aus einem Datenspeicher des Radarsystems ausgelesen werden kann, um die Schritte eines erfindungsgemäßen Verfahrens auszuführen.
  • Die Datenverarbeitungsvorrichtung kann zum Ausführen der Verfahrensschritte eines erfindungsgemäßen Verfahrens geeignet sein. Folglich kann ein erfindungsgemäßes Radarsystem die gleichen Vorteile aufweisen, die im Kontext eines erfindungsgemäßen Verfahrens beschrieben wurden.
  • Es ist möglich, dass die Antennengruppe als eine L-förmige Antennengruppe konfiguriert ist. Das bedeutet, dass die einzelnen Antenneneinheiten auf einer Antennengruppenplattform geometrisch in einer L-Form angeordnet werden können. Dies ermöglicht die Berechnung des Neigungswinkels und des Azimutwinkels aus der Detektionsinformation. Für diese Berechnung ist insbesondere der räumliche Abstand zwischen mindestens zwei Antenneneinheiten bekannt und beträgt beispielsweise eine Hälfte der für die Detektion des Radarsystems genutzten Wellenlänge.
  • Es ist auch möglich, dass das Radarsystem als ein frequenzmoduliertes Dauerstrichradarsystem (Frequency-Modulated Continuous Wave Radar System, FMCW-Radarsystem) konfiguriert ist. Das Radarsystem kann beispielsweise als ein 77-GHz-FMCW-Radar konfiguriert sein. Dies ermöglicht eine effektive Detektion von Gesten.
  • Gemäß einem weiteren Aspekt der Erfindung umfasst ein Computerprogramm, insbesondere ein Computerprogrammprodukt, Anweisungen, die, wenn das Programm von einem Computer ausgeführt wird, den Computer veranlassen, die folgenden Schritte und/oder die Schritte eines erfindungsgemäßen Verfahrens auszuführen:
    • - Bereitstellen einer Detektionsinformation eines Radarsystems, wobei die Detektionsinformation für Signale spezifisch ist, die von verschiedenen Antenneneinheiten einer Antennengruppe des Radarsystems empfangen werden,
    • - Bestimmen mindestens einer Phasendifferenzinformation aus der Detektionsinformation, wobei die Phasendifferenzinformation für eine Phasendifferenz der empfangenen Signale spezifisch ist,
    • - Anwenden eines neuronalen Netzwerks mit der Phasendifferenzinformation als einem Input für das neuronale Netzwerk, um ein für eine Detektion und Klassifizierung von Gesten spezifisches Ergebnis zu erhalten.
  • Folglich weist das erfindungsgemäße Computerprogramm die gleichen Vorteile auf, die im Kontext eines erfindungsgemäßen Verfahrens beschrieben wurden. Das Computerprogramm kann nicht flüchtig ausgelegt und beispielsweise in einem Datenspeicher des Computers gespeichert sein. Ferner kann der Computer einen Prozessor umfassen, der dazu ausgelegt ist, das Computerprogramm aus dem Datenspeicher auszulesen, um die Verfahrensschritte auszuführen.
  • Figurenliste
  • Weitere Vorteile, Merkmale und Einzelheiten der Erfindung resultieren aus der folgenden Beschreibung, in der unter Bezugnahme auf die Zeichnungen Ausführungsformen der Erfindung im Detail beschrieben werden. Dabei können die in den Ansprüchen und in der Beschreibung beschriebenen Merkmale einzeln oder in jeder Kombination wesentlich für die Erfindung sein. Gezeigt wird durch:
    • 1 eine schematische Visualisierung eines erfindungsgemäßen Verfahrens,
    • 2 eine weitere schematische Visualisierung eines erfindungsgemäßen Verfahrens,
    • 3 eine weitere schematische Visualisierung eines erfindungsgemäßen Verfahrens,
    • 4 eine schematische Visualisierung eines erfindungsgemäßen Radarsystems.
  • In den verschiedenen Figuren entsprechen gleiche Merkmale immer den gleichen Bezugszeichen, weshalb die Merkmale generell nur einmal beschrieben werden.
  • In 1 ist ein Verfahren 100 für eine Detektion und Klassifizierung von Gesten unter Verwendung eines Radarsystems 1 visualisiert. Gemäß einem ersten Verfahrensschritt 101 ist eine Detektionsinformation 200 des Radarsystems 1 bereitgestellt, wobei die Detektionsinformation 200 für Signale spezifisch ist, die von verschiedenen Antenneneinheiten 11, 12, 13, 14 einer Antennengruppe 10 des Radarsystems 1 empfangen werden. Gemäß einem zweiten Verfahrensschritt 102 wird aus der Detektionsinformation 200 mindestens eine Phasendifferenzinformation 210 bestimmt, wobei die Phasendifferenzinformation 210 für eine Phasendifferenz der empfangenen Signale spezifisch ist. Gemäß einem dritten Verfahrensschritt 103 wird ein neuronales Netzwerk 220 mit der Phasendifferenzinformation 210 als einem Input 221 für das neuronale Netzwerk 220 angewendet, um ein für die Detektion und Klassifizierung der Gesten spezifisches Ergebnis 222 zu erhalten.
  • 2 zeigt weitere Details der Art und Weise der beispielhaften Erzeugung eines Inputs 221 für das neuronale Netzwerk 220. Ein erstes Radarsignal 111 kann aus dem Signal, das von einer ersten Antenneneinheit 11 der Antennengruppe 10 empfangen wurde, erhalten werden. Ein zweites Radarsignal 112 kann aus dem Signal, das von einer zweiten Antenneneinheit 12 der Antennengruppe 10 empfangen wurde, erhalten werden. Ein drittes Radarsignal 113 kann aus dem Signal, das von einer dritten Antenneneinheit 13 der Antennengruppe 10 empfangen wurde, erhalten werden. Ein viertes Radarsignal 114 kann aus dem Signal, das von einer vierten Antenneneinheit 14 der Antennengruppe 10 empfangen wurde, erhalten werden.
  • Dann kann das erste Radarsignal 111 für eine Zeit-Frequenz-Analyse 120 genutzt werden, um ein Zeit-Frequenz-Spektrum 133 (Spektrogramm) zu erhalten. Das erste Radarsignal 111 und das zweite Radarsignal 112 können genutzt werden, um unter Verwendung einer Berechnung 121 eine erste Phasendifferenzinformation 131 zu berechnen. Das dritte und vierte Radarsignal 113, 114 können genutzt werden, um unter Verwendung der Berechnung 121 eine zweite Phasendifferenzinformation 132 zu berechnen. Die erste und zweite Phasendifferenzinformation 131, 132 können zusammen mit dem Spektrogramm 133 den Input 221 für das neuronale Netzwerk 220 ausbilden.
  • Gemäß 3 wird eine beispielhafte Verarbeitung zum Bestimmen des Inputs 221 für das neuronale Netzwerk 220 beschrieben. Für das Erzeugen des Inputs 221 des neuronalen Netzwerks 220 kann optional ein Merkmalsextraktionsnetzwerk (Feature Extraction Network, FEN) genutzt werden. Zum Extrahieren von Merkmalen aus dem Spektrogramm 133 und der Phasendifferenzinformation 131, 132 kann das FEN 134 unter Verwendung von 7 Faltungsschichten (convolutional layers, Conv-Schichten) konstruiert sein, und jede von ihnen kann eine Kernel-Größe von 3 × 3 aufweisen. Die Kernel-Zahl der ersten vier Conv-Schichten kann sich von 64, 128, 256 auf 512 erhöhen, und jene der Conv-Schicht 5, 6 und 7 kann 512 sein. In jeder Conv-Schicht kann eine gleichgerichtete lineare Einheit (Rectified Linear Unit, RELU) als die Aktivierungsfunktion genutzt werden. Auf die Conv-Schichten 1, 2, 3 und 5 folgen max. Poolingschichten mit Kernel-Größe 2 × 2. Der Output des FEN 134 sind die Merkmalskarten 135. Die Merkmalskarten 135 können eine Abmessung von B × H × 512 aufweisen. In jedem Pixel der Merkmalskarten 135 nutzen neun Anker 3 Maßstäbe von 8 × 8, 16 × 16, 32 × 32, und 3 Aspektverhältnisse von 1 : 2, 1 : 1, 2 : 1 können generiert werden. Dann könnte das Netzwerk unter allen möglichen Ankern „9 × B × H“ mehrere Regionenvorschläge unterbreiten, das heißt, interessierende Regionen (Regions of Interest, Rols), die durch die folgenden Schichten im Netzwerk weiterverarbeitet werden. Unter Verwendung der Regionenvorschläge, die durch ein Regionenvorschlagsnetz (Region Proposal Network, RPN 136) erfasst werden, können die relevanten Rols in Merkmalskarten 135 als Input der Rol-Poolingschicht 138 (bezeichnet als Merkmalskarten mit ROI 137) ausgewählt werden. Für jede Rol können die Merkmalskarten 135 geschnitten und dann aufgrund von Größenbeschränkungen in der folgenden Fully-Connected-Schicht (FC-Schicht) zu Merkmalskarten 135 fester Größe maximal gepoolt werden. Jede gepoolte Rol kann dann in zwei FC-Schichten 139 eingespeist werden, von denen eine jede 4096 verborgene Einheiten aufweist und von einer Dropout-Schicht 140 gefolgt wird, um ein Overfitting des Netzwerks zu vermeiden. Für jede Rol gibt das Netzwerk zwei Outputs, die zwei separate Output-Schichten 141 nutzen. Die Output-Schicht 141, gefolgt von einer Softmax-Funktion 142, gibt die prognostizierte Klasse, und die andere gibt vier Werte, die die Bounding-Box-Position 143 der prognostizierten Klasse codieren.
  • In 4 ist eine beispielhafte Antennengruppe 10 mit einer L-Form (das heißt, eine L-förmige Antennengruppe) gezeigt. Die Antennengruppe 10 kann vier Antenneneinheiten umfassen, die beispielsweise jeweils als Empfangsantenne des Radarsystems 1 ausgebildet sind. Eine erste Antenneneinheit 11 kann mit einem Abstand 15 von einer zweiten Antenneneinheit 12 angeordnet sein. Eine dritte Antenneneinheit 13 kann mit einem Abstand 15 von einer vierten Antenneneinheit 14 angeordnet sein. Der Abstand 15 beträgt beispielsweise λ/2, wobei Ä die mit dem Radarsystem verwendete Wellenlänge ist. Dies ermöglicht, das Paar der ersten und zweiten Antenneneinheit 11, 12 für eine Berechnung des Neigungswinkels zu nutzen, und das Paar der dritten und vierten Antenneneinheit 13, 14 für eine Berechnung des Azimutwinkels. Ferner ist eine Datenverarbeitungsvorrichtung 300 des Radarsystems 1 gezeigt, die diese Berechnung ausführen kann.
  • Die vorstehende Beschreibung der Ausführungsformen beschreibt die vorliegende Erfindung nur beispielhaft. Natürlich können auch einzelne Merkmale der Erfindung, sofern technisch sinnvoll, frei miteinander kombiniert werden, ohne den Umfang der vorliegenden Erfindung zu verlassen.
  • Bezugszeichenliste
  • 1
    Radarsystem
    10
    Antennengruppe
    11
    erste Antenneneinheit
    12
    zweite Antenneneinheit
    13
    dritte Antenneneinheit
    14
    vierte Antenneneinheit
    15
    Abstand
    100
    Verfahren
    101
    erster Verfahrensschritt
    102
    zweiter Verfahrensschritt
    103
    dritter Verfahrensschritt
    111
    erstes Radarsignal
    112
    zweites Radarsignal
    113
    drittes Radarsignal
    114
    viertes Radarsignal
    120
    Zeit-Frequenz-Analyse
    121
    Berechnungsphasendifferenz
    131
    erste Phasendifferenzinformation
    132
    zweite Phasendifferenzinformation
    133
    Zeit-Frequenz-Spektrum, Spektrogramm
    134
    FEN
    135
    Merkmalskarten
    136
    RPN
    137
    Merkmalskarten mit ROI
    138
    ROI-Poolingschicht
    139
    FC-Schicht
    140
    Dropout-Schicht
    141
    Output-Schicht
    142
    Klassifikator mit Softmax
    143
    Bounding-Box-Regressor
    200
    Detektionsinformation
    210
    Phasendifferenzinformation
    220
    neuronales Netzwerk
    221
    Input
    222
    Ergebnis
    300
    Datenverarbeitungsvorrichtung
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • DE 112015003655 T5 [0003]
    • DE 102016216250 A1 [0003]
    • DE 102016213667 A1 [0003]
    • DE 102016120507 A1 [0003]

Claims (12)

  1. Ein Verfahren (100) zur Detektion und Klassifizierung von Gesten unter Verwendung eines Radarsystems (1), insbesondere eines Fahrzeugs, umfassend die folgenden Schritte: - Bereitstellen einer Detektionsinformation (200) des Radarsystems (1), wobei die Detektionsinformation (200) für Signale spezifisch ist, die von verschiedenen Antenneneinheiten (11, 12, 13, 14) einer Antennengruppe (10) des Radarsystems (1) empfangen werden, - Bestimmen mindestens einer Phasendifferenzinformation (210) aus der Detektionsinformation (200), wobei die Phasendifferenzinformation (210) für eine Phasendifferenz der empfangenen Signale spezifisch ist, - Anwenden eines neuronalen Netzwerks (220) mit der Phasendifferenzinformation (210) als einem Input (221) für das neuronale Netzwerk (220), um ein für die Detektion und Klassifizierung der Gesten spezifisches Ergebnis (222) zu erhalten.
  2. Verfahren (100) nach Anspruch 1, dadurch gekennzeichnet, dass das neuronale Netzwerk (220) als ein regionenbasiertes, tiefes neuronales Faltungsnetzwerk konfiguriert ist.
  3. Verfahren (100) nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Detektionsinformation (200) für eine Mikro-Dopplersignatur der Gesten spezifisch ist.
  4. Verfahren (100) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass aus der Detektionsinformation (200) mindestens ein Spektrogramm bestimmt und, zusätzlich zu der Phasendifferenzinformation (210), als der Input (221) für das neuronale Netzwerk (220) verwendet wird.
  5. Verfahren (100) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass der Input (221) spezifisch für mehrere Gesten ist und das neuronale Netzwerk (220) verwendet wird, um zwischen diesen mehreren Gesten zu unterscheiden, sodass das Ergebnis (222) spezifisch für eine Detektion einzelner der mehreren Gesten und eine Klassifizierung dieser einzelnen Gesten ist.
  6. Verfahren (100) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Detektionsinformation (200) durch Signale bestimmt wird, die von einer ersten und zweiten Antenneneinheit (11, 12) der Antennengruppe (10) spezifisch für einen Neigungswinkel empfangen werden, und durch Signale, die von einer dritten und vierten Antenneneinheit (13, 14) der Antennengruppe (10) spezifisch für einen Azimutwinkel empfangen werden.
  7. Radarsystem (1), umfassend eine Antennengruppe (10) für eine Detektion in einer Umgebung der Antennengruppe (10), und eine Datenverarbeitungsvorrichtung (300), wobei die Datenverarbeitungsvorrichtung (300) umfasst: - Mittel zum Bereitstellen einer Detektionsinformation (200) des Radarsystems (1), wobei die Detektionsinformation (200) für Signale spezifisch ist, die von verschiedenen Antenneneinheiten (11, 12, 13, 14) der Antennengruppe (10) empfangen werden, - Mittel zum Bestimmen mindestens einer Phasendifferenzinformation (210) aus der Detektionsinformation (200), wobei die Phasendifferenzinformation (210) für eine Phasendifferenz der empfangenen Signale spezifisch ist, - Mittel zum Anwenden eines neuronalen Netzwerks (220) mit der Phasendifferenzinformation (210) als einem Input (221) für das neuronale Netzwerk (220), um ein für die Detektion und Klassifizierung der Gesten spezifisches Ergebnis (222) zu erhalten.
  8. Radarsystem (1) nach Anspruch 7, dadurch gekennzeichnet, dass die Antennengruppe (10) als eine L-förmige Antennengruppe (10) konfiguriert ist.
  9. Radarsystem (1) nach Anspruch 7 oder 8, dadurch gekennzeichnet, dass das Radarsystem (1) als ein frequenzmoduliertes Dauerstrichradarsystem (1) konfiguriert ist.
  10. Radarsystem (1) nach einem der Ansprüche 7 bis 9, dadurch gekennzeichnet, dass die Datenverarbeitungsvorrichtung (300) zum Ausführen der Verfahrensschritte eines Verfahrens nach einem der Ansprüche 1 bis 6 geeignet ist.
  11. Computerprogramm, umfassend Anweisungen, die, wenn das Programm von einem Computer ausgeführt wird, den Computer veranlassen, die folgenden Schritte auszuführen: - Bereitstellen einer Detektionsinformation (200) eines Radarsystems (1), wobei die Detektionsinformation (200) für Signale spezifisch ist, die von verschiedenen Antenneneinheiten (11, 12, 13, 14) einer Antennengruppe (10) des Radarsystems (1) empfangen werden, - Bestimmen mindestens einer Phasendifferenzinformation (210) aus der Detektionsinformation (200), wobei die Phasendifferenzinformation (210) für eine Phasendifferenz der empfangenen Signale spezifisch ist, - Anwenden eines neuronalen Netzwerks (220) mit der Phasendifferenzinformation (210) als einem Input (221) für das neuronale Netzwerk (220), um ein für eine Detektion und Klassifizierung von Gesten spezifisches Ergebnis (222) zu erhalten.
  12. Computerprogramm nach Anspruch 11, dadurch gekennzeichnet, dass das Computerprogramm zum Ausführen der Verfahrensschritte eines Verfahrens nach einem der Ansprüche 1 bis 6 geeignet ist.
DE112019007053.3T 2019-03-19 2019-03-19 Verfahren für eine Detektion und Klassifizierung von Gesten unter Verwendung eines Radarsystems Pending DE112019007053T5 (de)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2019/056820 WO2020187397A1 (en) 2019-03-19 2019-03-19 A method for a detection and classification of gestures using a radar system

Publications (1)

Publication Number Publication Date
DE112019007053T5 true DE112019007053T5 (de) 2022-01-27

Family

ID=65895002

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112019007053.3T Pending DE112019007053T5 (de) 2019-03-19 2019-03-19 Verfahren für eine Detektion und Klassifizierung von Gesten unter Verwendung eines Radarsystems

Country Status (4)

Country Link
US (1) US20220003862A1 (de)
CN (1) CN113646729A (de)
DE (1) DE112019007053T5 (de)
WO (1) WO2020187397A1 (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11467254B2 (en) * 2020-02-27 2022-10-11 Samsung Electronics Co., Ltd. Method and apparatus of radar-based activity detection
CN112198966B (zh) * 2020-12-08 2021-03-16 中南大学 基于fmcw雷达***的笔画识别方法以及***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016120507A1 (de) 2015-11-04 2017-05-04 Ford Global Technologies, Llc Prädizieren von fahrzeugbewegungen anhand von fahrerkörpersprache
DE112015003655T5 (de) 2014-08-07 2017-05-11 Google Inc. Radarbasierte Gestenerkennung
DE102016213667A1 (de) 2016-07-26 2018-02-01 Audi Ag Verfahren zum Betrieb eines Fahrerassistenzsystems zur Unterstützung eines Insassen bei der Bedienung von Fahrzeugsystemen und Kraftfahrzeug
DE102016216250A1 (de) 2016-08-30 2018-03-01 Audi Ag Kraftfahrzeug mit Bedieneinrichtung für ein Lenksystem und Verfahren zum Betrieb eines Lenksystems

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10168785B2 (en) * 2015-03-03 2019-01-01 Nvidia Corporation Multi-sensor based user interface
CN109271838B (zh) * 2018-07-19 2020-11-03 重庆邮电大学 一种基于fmcw雷达的三参数特征融合手势识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112015003655T5 (de) 2014-08-07 2017-05-11 Google Inc. Radarbasierte Gestenerkennung
DE102016120507A1 (de) 2015-11-04 2017-05-04 Ford Global Technologies, Llc Prädizieren von fahrzeugbewegungen anhand von fahrerkörpersprache
DE102016213667A1 (de) 2016-07-26 2018-02-01 Audi Ag Verfahren zum Betrieb eines Fahrerassistenzsystems zur Unterstützung eines Insassen bei der Bedienung von Fahrzeugsystemen und Kraftfahrzeug
DE102016216250A1 (de) 2016-08-30 2018-03-01 Audi Ag Kraftfahrzeug mit Bedieneinrichtung für ein Lenksystem und Verfahren zum Betrieb eines Lenksystems

Also Published As

Publication number Publication date
US20220003862A1 (en) 2022-01-06
WO2020187397A1 (en) 2020-09-24
CN113646729A (zh) 2021-11-12

Similar Documents

Publication Publication Date Title
EP3175256B1 (de) Verfahren zum klassifizieren eines objektes in einem umgebungsbereich eines kraftfahrzeugs, fahrerassistenzsystem und kraftfahrzeug
DE102020100286A1 (de) Deep learning für superauflösung in einem radarsystem
DE102017220307B4 (de) Vorrichtung und Verfahren zum Erkennen von Verkehrszeichen
DE69615587T2 (de) Verfahren zur momentabschätzung und ermittlung von merkmalen von spektren als entfernungs- oder zeitfunktion bestimmenden vorrichtungen
EP3540457A1 (de) Identifikation von objekten mittels radardaten
EP2417476B1 (de) Fmcw-radarsensor und verfahren zum frequenzmatching
CN106874889A (zh) 基于卷积神经网络的多特征融合sar目标鉴别方法
DE102015109832A1 (de) Objektklassifizierung für Fahrzeugradarsysteme
DE102014217681A1 (de) Sirenensignalquellenerfassung, -Erkennung und -Lokalisation
DE102020105642A1 (de) Entwerfen von und verarbeiten mit antennenarrays zur beseitigung von fehldetektionen in einem radarsystem
DE102012111010A1 (de) Verfahren und Vorrichtung zur bildgestützten Landebahnlokalisierung
DE102019200849A1 (de) Verfahren zum Erfassen einer Bewegung eines Objekts
DE102019200141A1 (de) Verfahren zum Erfassen von Teilbereichen eines Objekts
DE102015207903A1 (de) Vorrichtung und Verfahren zum Erfassen eines Verkehrszeichens vom Balkentyp in einem Verkehrszeichen-Erkennungssystem
DE112019007053T5 (de) Verfahren für eine Detektion und Klassifizierung von Gesten unter Verwendung eines Radarsystems
Lyashenko et al. Ideology of Image Processing in Infocommunication Systems
DE102018222195A1 (de) Ortung und/oder KIassifikation von Objekten aus Radardaten mit maschinellem Lernen
DE10344299B4 (de) Klassifizierung der in einer Umgebung eines Kraftfahrzeugs befindlichen Objekte
DE102005049017A1 (de) Verfahren zur Segmentierung in einem n-dimensionalen Merkmalsraum und Verfahren zur Klassifikation auf Grundlage von geometrischen Eigenschaften segmentierter Objekte in einem n-dimensionalen Datenraum
DE112018007037T5 (de) Nebelbestimmungsvorrichtung, Nebelbestimmungsverfahren und Nebelbestimmungsprogramm
DE102019220615A1 (de) Verfahren und Vorrichtung zum Erkennen und Klassifizieren von Objekten
WO2020069922A1 (de) Verfahren zur bereitstellung von objektinformationen von statischen objekten in einer umgebung eines fahrzeuges
DE102020208544A1 (de) Hybride Auswertung von Radardaten für die Klassifikation von Objekten
DE102018121317A1 (de) Verfahren und Vorrichtung zur Schätzung einer durch eine Freiraumgeste vermittelten Richtungsinformation zur Bestimmung einer Benutzereingabe an einer Mensch-Maschine-Schnittstelle
DE102019216152A1 (de) Adaptiver Hochpunkt-Nachbarschaftsbereich

Legal Events

Date Code Title Description
R012 Request for examination validly filed