DE102019120651A1 - Mustererkennung mittels Ultraschallsignalen für autonomes Fahren - Google Patents

Mustererkennung mittels Ultraschallsignalen für autonomes Fahren Download PDF

Info

Publication number
DE102019120651A1
DE102019120651A1 DE102019120651.0A DE102019120651A DE102019120651A1 DE 102019120651 A1 DE102019120651 A1 DE 102019120651A1 DE 102019120651 A DE102019120651 A DE 102019120651A DE 102019120651 A1 DE102019120651 A1 DE 102019120651A1
Authority
DE
Germany
Prior art keywords
output
signal
threshold value
input
neurons
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102019120651.0A
Other languages
English (en)
Inventor
Maximilian Poepperl
Raghavendra Gulagundi
Stefan Milz
Martin Simon
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Valeo Schalter und Sensoren GmbH
Original Assignee
Valeo Schalter und Sensoren GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Schalter und Sensoren GmbH filed Critical Valeo Schalter und Sensoren GmbH
Priority to DE102019120651.0A priority Critical patent/DE102019120651A1/de
Publication of DE102019120651A1 publication Critical patent/DE102019120651A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/523—Details of pulse systems
    • G01S7/526—Receivers
    • G01S7/527—Extracting wanted echo signals
    • G01S7/5273—Extracting wanted echo signals using digital techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/539—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Evolutionary Computation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

Die vorliegende Erfindung betrifft ein Verfahren zur Mustererkennung mittels Ultraschallsignalen für ein Fahrzeug, wobei die Signale mit einem neuronalen Netzwerk verarbeitet werden. Das Netzwerk weist eine Eingangsschicht und eine Ausgangsschicht auf, wobei die Eingangsschicht zumindest ein Eingangsneuron mit einem ersten Schwellwert aufweist, und wobei die Ausgangsschicht zumindest ein Ausgangsneuron mit einem zweiten Schwellwert aufweist. Die Eingangsneuronen und die Ausgangsneuronen wirken derart zusammen, dass die Ausgangsneuronen zur Erzeugung eines Musters zumindest ein Signal entsprechend einer Änderung des Ultraschallsignals ausgeben. Schließlich erfolgt das Verarbeiten des Signals durch eine Steuereinheit des Fahrzeugs. Auch betrifft die vorliegende Erfindung ein Computerprogramm, ein computerlesbares Speichermedium, ein System (1), ein Fahrzeug mit dem System (1) und ein Signal erzeugt durch Schritte des Verfahrens.

Description

  • Die vorliegende Erfindung betrifft ein Verfahren zur Mustererkennung mittels Ultraschallsignalen für ein Fahrzeug. Auch betrifft die vorliegende Erfindung ein Computerprogramm zur Durchführung des Verfahrens. Des Weiteren betrifft die vorliegende Erfindung ein computerlesbares Speichermedium zur Durchführung des Verfahrens. Auch betrifft die Erfindung ein System, aufweisend Mittel zum Ausführen des Verfahrens. Zudem betrifft die Erfindung ein Fahrzeug mit dem System. Auch betrifft die Erfindung ein Signal erzeugt durch Schritte des Verfahrens.
  • Mustererkennung, auch bekannt als Pattern Recognition, ist ein Vorgang, in einer Menge von Daten Regelmäßigkeiten, Wiederholungen, Ähnlichkeiten oder Gesetzmäßigkeiten zu erkennen.
  • Typische Beispiele für die zahllosen Anwendungsgebiete sind Spracherkennung, Texterkennung und Gesichtserkennung. Insbesondere im Bereich des autonomen Fahrens gewinnt eine detaillierte Umgebungsauswertung durch Mustererkennung, die über eine Detektion von Zielen und die Bestimmung deren Abstand hinausgeht, immer mehr an Bedeutung. Mögliche Anwendungen sind die Höhenschätzung oder die Störungserkennung. Um diese Eigenschaften zu ermitteln, können verschiedene Algorithmen und Vorgehensweisen eingesetzt werden.
  • Ein Ansatz zur Auswertung von Ultraschallsignalen besteht somit darin, diese mittels der Mustererkennung auszuwerten. Bei der Musterkennung gibt es unterschiedliche Ansätze. Eine erste Möglichkeit besteht darin, aus dem Empfangssignal verschiedene Eigenschaften (Features) zu extrahieren. Dazu zählen zum Beispiel die Anzahl der vorkommenden Ziele, die Dauer der Ziele oder aber auch die Form eines empfangenen Zielechos. Die Eigenschaften können mittels Klassifizierungsverfahren, wie zum Beispiel Baum-basierten Ansätzen, genutzt werden. Hieraus können detaillierte Informationen über die Ziele oder die Umgebung erhalten werden. Eine zweite Möglichkeit besteht darin, das abgetastete Signal bzw. einen Ausschnitt dessen direkt für die Mustererkennung zu nutzen. Dafür bieten sich künstliche neuronale Netzwerke (Artificial Neural Networks (ANN)) an.
  • Nachteil ist, dass beide zuvor beschriebene Möglichkeiten einen hohen Rechenaufwand benötigen. Zum Beispiel erfordert die Extraktion von Features zur Signalform eine Vielzahl an Rechenschritten. Zusätzlich wird für die Klassifikation Rechenleistung benötigt, was insbesondere bei tiefen neuronalen Netzwerken (Deep Neural Networks (DNN)) ins Gewicht fällt. Um den Rechenaufwand zu reduzieren, ist es möglich, faltungsbasierte Netzwerke (Convolutional Neural Networks (CNN)) zu verwenden oder die Anzahl der Features für die Klassifikation durch Dimensionsreduzierung zu vermindern. Im Anwendungsbereich des autonomen Fahrens ist es allerdings besonders wichtig, möglichst schnell und detailliert die Eigenschaften der Umgebung ermitteln zu können. Eine solche schnelle und detaillierte Auswertung wird erheblich durch die Leistungsfähigkeit der Steuereinheit (ECU) des Fahrzeugs eingeschränkt. Insbesondere erfordern bekannte Methoden zur Auswertung von Ultraschallsignalen eine Vielzahl von Rechenschritten. Dies reduziert die Geschwindigkeit der Auswertung erheblich und schränkt die Verwendung von Ultraschallsignalen im Bereich des autonomen Fahrens ein.
  • Ausgehend von dem oben genannten Stand der Technik liegt der Erfindung somit die Aufgabe zugrunde, ein gegenüber dem Stand der Technik verbessertes System und verbessertes Verfahren anzugeben. Insbesondere sollen das System und das Verfahren bei einer beschränkt vorhandenen Leistungsfähigkeit der ECU eines Fahrzeugs dennoch eine detaillierte und schnelle Auswertung von Eigenschaften in der Umgebung eines Fahrzeugs ermöglichen.
  • Die Lösung der Aufgabe erfolgt erfindungsgemäß durch die Merkmale der unabhängigen Ansprüche. Vorteilhafte Ausgestaltungen der Erfindung sind in den Unteransprüchen angegeben.
  • Erfindungsgemäß ist somit ein Verfahren zur Mustererkennung mittels Ultraschallsignalen für ein Fahrzeug angegeben, aufweisend folgende Schritte: Emittieren, durch eine Sendeeinheit, von Ultraschallsignalen auf eine Targetregion mit zumindest einem Objekt; Empfangen, durch eine Empfangseinheit, von reflektierten Ultraschallsignalen, wobei die reflektierten Ultraschallsignale von dem zumindest einen Objekt in der Targetregion reflektiert sind; mustererkennendes Verarbeiten der reflektierten Ultraschallsignale mit einem neuronalen Netzwerk, wobei das neuronale Netzwerk eine Eingangsschicht und eine Ausgangsschicht aufweist, wobei die Eingangsschicht zumindest ein Eingangsneuron mit einem ersten Schwellwert aufweist, wobei die Ausgangsschicht zumindest ein Ausgangsneuron mit einem zweiten Schwellwert aufweist, wobei der erste und der zweite Schwellwert derart ausgebildet sind, dass das zumindest eine Eingangsneuron und das zumindest eine Ausgangsneuron bei Überschreiten des jeweiligen Schwellwerts aktiviert werden und ein Signal ausgeben, wobei das zumindest eine Eingangsneuron der Eingangsschicht bei Überschreiten des ersten Schwellwerts zumindest ein Signal ausgibt, welches an das zumindest eine Ausgangsneuron der Ausgangsschicht zumindest mittelbar weitergeleitet wird, wobei die Eingangsneuronen und die Ausgangsneuronen derart zusammenwirken, dass die Ausgangsneuronen zur Mustererkennung zumindest ein Signal entsprechend einer Änderung des Ultraschallsignals ausgeben; und Verarbeiten des erkannten Musters durch eine Steuereinheit des Fahrzeugs.
  • Erfindungsgemäß ist außerdem ein Computerprogramm zur Durchführung des erfindungsgemäßen Verfahrens oder einer der vorteilhaften Ausgestaltungen des Verfahrens angegeben.
  • Erfindungsgemäß ist außerdem ein computerlesbares Speichermedium zur Durchführung des erfindungsgemäßen Verfahrens oder einer der vorteilhaften Ausgestaltungen des Verfahrens angegeben.
  • Erfindungsgemäß ist außerdem ein System, aufweisend Mittel zum Ausführen des erfindungsgemäßen Verfahrens oder einer der vorteilhaften Ausgestaltungen des Verfahrens angegeben.
  • Erfindungsgemäß ist außerdem ein Fahrzeug mit dem erfindungsgemäßen System oder einer der vorteilhaften Ausgestaltungen des Systems angegeben.
  • Erfindungsgemäß ist außerdem ein Signal erzeugt durch Schritte des erfindungsgemäßen Verfahrens oder einer der vorteilhaften Ausgestaltungen des Verfahrens angegeben.
  • Zumindest mittelbar bedeutet hierbei, dass zwischen der Eingangsschicht und der Ausgangsschicht mindestens eine Zwischenschicht angeordnet sein kann, über die das zumindest eine Signal weitergeleitet wird. Dies entspricht somit einer mittelbaren Weiterleitung. Eine zumindest mittelbare Weiterleitung umfasst auch die Möglichkeit einer unmittelbaren Weiterleitung, also eine direkte Weiterleitung eines Signals von einer Eingangsschicht an eine Ausgangsschicht.
  • Überraschenderweise wurden Synergieeffekte bei der Verarbeitung von Daten aus Ultraschallsignalen durch ein erfindungsgemäßes neuronales Netzwerk, wie z.B. ein gepulstes neuronales Netzwerk (Spiking Neural Network (SNN)), festgestellt. Insbesondere erfolgt die Verarbeitung der Daten von Ultraschallsignalen erheblich effizienter durch das erfindungsgemäße neuronale Netzwerk. Hierbei hat sich überraschenderweise herausgestellt, dass das Ultraschallsignal mit seiner sehr hohen Signaldichte entsprechend einer hohen Qualität der über das Ultraschallsignal übermittelten Informationen über das erfindungsgemäße neuronale Netzwerk zielgerichtet und mit wenig Datenvolumen verarbeitet werden kann. In anderen Worten hat sich herausgestellt, dass das erfindungsgemäße neuronale Netzwerk gerade bei Ultraschallsignalen die wichtigen Informationen zur Erfassung der Umgebung des Fahrzeugs besonders effizient und schnell verarbeiten kann. Hierbei ist es ausreichend, die Signaländerungen, d. h. die Signalspitzen des Ultraschallsignals zur Mustererkennung zu benutzen.
  • Hierdurch ist eine Verwendung in Fahrzeugen bevorteilt. Messungen von Ultraschallsensoren des Fahrzeugs können mithilfe von dem erfindungsgemäßen neuronalen Netzwerk in einer Steuereinheit (Electronic Control Unit (ECU)) eines Fahrzeugs mit beschränkter Rechenleistung verarbeitet werden. Somit ist mit Vorteil keine Datenverbindung zu einem Rechnernetzwerk, z. B. eine Cloud, notwendig, um in einem Fahrzeug Eigenschaften von Objekten zu bestimmen, welche in der unmittelbaren Umgebung des Fahrzeugs sind. Somit kann mit Vorteil eine schnelle Erkennung von möglichen Hindernissen bzw. Gefahren erfolgen.
  • Gemäß der Erfindung wird insbesondere eine Leistungsfähigkeit bei der Klassifizierung ermöglicht, welche einer Leistungsfähigkeit der Klassifizierung von konventionellen künstlichen neuronalen Netzwerken (Artificial Neural Networks (ANN)) ähnlich ist.
  • Weiterhin ist vorliegend vorteilhaft, dass die Ultraschallmessungen bei dem Verfahren bzw. System nicht in bestimmten Taktungen, d. h. innerhalb von konstanten zeitlichen Abständen, notwendig sind. In anderen Worten sind variable Messzyklen möglich. Auch können Störungen mit Vorteil reduziert werden.
  • In vorteilhafter Ausgestaltung der Erfindung sind die Sendeeinheit und/oder die Empfangseinheit beweglich angeordnet und/oder ausgebildet. In anderen Worten kann die Sendeeinheit an dem Fahrzeug angeordnet sein, um beweglich angeordnet zu sein. Dies ermöglicht eine flexible Ausgestaltung eines Systems zur Durchführung des erfindungsgemäßen Verfahrens. In anderen Worten ist denkbar, dass eine Empfangseinheit an einem ersten Fahrzeug Messsignale einer Sendeeinheit eines anderen, zweiten Fahrzeugs auswertet. Auch kann die Sendeeinheit zusätzlich an dem Fahrzeug beweglich angeordnet sein, um beweglich ausgestaltet zu sein. Alternativ oder zusätzlich kann eine (weitere) Sendeeinheit lokal, d.h. unbeweglich an einem Ort angeordnet sein, um Ultraschallsignale auf eine vorbestimmte Targetregion zu emittieren. Zuvor beschriebene vorteilhafte Ausgestaltungen der Sendeeinheit sind auch für die Empfangseinheit denkbar. Demnach sind flexible, bestimmten Umgebungen des Fahrzeugs anpassbare oder auch der Konfiguration des Fahrzeugs anpassbare Systeme möglich.
  • In vorteilhafter Ausgestaltung der Erfindung sind zumindest die Empfangseinheit, und insbesondere die Sendeeinheit, Teil eines eventbasierten Umfelderfassungssensors. Eine solche Ausgestaltung, insbesondere der Empfangseinheit, wechselwirkt synergetisch mit dem in der Verarbeitungseinheit verwendeten erfindungsgemäßen neuronalen Netzwerk: Eine eventbasierte Messung mit dem eventbasierten Umfelderfassungssensor erfolgt lediglich, wenn eine Änderung eines detektierten Zustandes bestimmt wird. Das erfindungsgemäße neuronale Netzwerk gibt wiederum aus der detektierten Änderung eine Signaländerung aus. Somit wird das zu verarbeitende Datenvolumen weiter reduziert.
  • Insbesondere ist das neuronale Netzwerk ein gepulstes neuronales Netzwerk (Spiking Neural Network (SNN)).
  • In vorteilhafter Ausgestaltung der Erfindung ist der Schwellwert der Eingangsneuronen und/oder Ausgangsneuronen (oder weiteren Neuronen des Netzwerks) auf einen spezifischen Wert einer Signalkodierung und/oder oder einer Signalübertragungsrate ausgebildet. Solche Schwellwerte an den Neuronen, d. h. Knotenpunkten des erfindungsgemäßen neuronalen Netzwerks, können über ein Training des erfindungsgemäßen neuronalen Netzwerks vor der eigentlichen Nutzung des erfindungsgemäßen neuronalen Netzwerks erfolgen. Mit Vorteil ist eine bedarfsgerechte, d. h. für eine bestimmte Nutzungssituation optimierte, Einstellung der Schwellwerte und somit des erfindungsgemäßen neuronalen Netzwerks möglich. Hierdurch kann sich ergeben, dass die Schwellwerte je nach Klassifikationsproblem stark voneinander abweichen. In anderen Worten sind die Schwellwerte bereits vor der Nutzung des erfindungsgemäßen neuronalen Netzwerks für ein Fahrzeug Teil des erfindungsgemäßen neuronalen Netzwerks. Insbesondere sind für die Aktivierung der Eingangsneuronen, Ausgangsneuronen oder weiterer Neuronen Aktivierungsfunktionen vorgesehen, entsprechend welchen die Neuronen aktivierbar sind. Insbesondere werden zu diesem Zweck Differenzialgleichungen verwendet.
  • In vorteilhafter Ausgestaltung der Erfindung ist der erste Schwellwert der Eingangsneuronen und/oder der zweite Schwellwert der Ausgangsneuronen und/oder ein dritter Schwellwert des zumindest einen weiteren Neurons des neuronalen Netzwerks derart ausgebildet, dass das Muster basierend auf zumindest einer Messung von der zumindest einen Empfangseinheit unabhängig von einer vorhergehenden Messung der Empfangseinheit bestimmbar ist. In anderen Worten sind die Schwellwerte derart konfiguriert, dass einzelne Messungen der Ultraschallsensoren klassifiziert werden, ohne vorangegangene Messungen von Ultraschallsensoren zu berücksichtigen.
  • Nachfolgend wird die Erfindung unter Bezugnahme auf die anliegende Zeichnung anhand bevorzugter Ausführungsformen näher erläutert. Die dargestellten Merkmale können sowohl jeweils einzeln als auch in Kombination einen Aspekt der Erfindung darstellen. Merkmale verschiedener Ausführungsbeispiele sind übertragbar von einem Ausführungsbeispiel auf ein anderes.
  • Es zeigt
    • 1 Ein Flussdiagramm mit Verfahrensschritten des erfindungsgemäßen Verfahrens und
    • 2 eine schematische Ansicht eines Ausführungsbeispiels eines erfindungsgemäßen Systems.
  • 1 zeigt ein Flussdiagramm mit Verfahrensschritten gemäß einem erfindungsgemäßen Verfahren. Hierbei sind zumindest folgende Verfahrensschritte vorgesehen:
    • Die Sendeeinheit 2a emittiert Ultraschallsignale auf eine Targetregion mit zumindest einem Objekt (Schritt 100). Die Empfangseinheit 2b empfängt reflektierte Ultraschallsignale (Schritt 200), wobei die reflektierten Ultraschallsignale von dem zumindest einen Objekt in der Targetregion reflektiert sind. In dem erfindungsgemäßen neuronalen Netzwerk erfolgt ein mustererkennendes Verarbeiten der reflektierten Ultraschallsignale (Schritt 300).
  • Das neuronale Netzwerk weist eine Eingangsschicht und eine Ausgangsschicht auf. Die Eingangsschicht weist zumindest ein Eingangsneuron mit einem ersten Schwellwert auf und die Ausgangsschicht weist zumindest ein Ausgangsneuron mit einem zweiten Schwellwert auf.
  • Der erste und der zweite Schwellwert sind derart ausgebildet, dass das zumindest eine Eingangsneuron und das zumindest eine Ausgangsneuron bei Überschreiten des jeweiligen Schwellwerts, insbesondere durch eine Ultraschallsignal-Änderung, aktiviert werden und ein Signal ausgeben. Das zumindest eine Eingangsneuron der Eingangsschicht gibt bei Überschreiten des ersten Schwellwerts zumindest ein Signal zur zumindest mittelbaren Weiterleitung an das zumindest eine Ausgangsneuron der Ausgangsschicht aus. Zumindest mittelbar bedeutet hierbei, dass zwischen der Eingangsschicht und der Ausgangsschicht mindestens eine Zwischenschicht angeordnet sein kann, über die das zumindest eine Signal weitergeleitet wird. Dies entspricht somit einer mittelbaren Weiterleitung. Eine zumindest mittelbare Weiterleitung umfasst auch die Möglichkeit einer unmittelbaren Weiterleitung, also eine direkte Weiterleitung eines Signals von einer Eingangsschicht an eine Ausgangsschicht. Die Eingangsneuronen und die Ausgangsneuronen wirken derart zusammen, dass die Ausgangsneuronen zur Erzeugung eines Musters zumindest ein Signal entsprechend einer Änderung des Ultraschallsignals ausgeben. Zuletzt erfolgt ein Verarbeiten des Signals durch die ECU des Fahrzeugs.
  • Die 2 zeigt eine schematische Ansicht eines Ausführungsbeispiels eines erfindungsgemäßen Systems 1. Das System 1 ist geeignet zur Anwendung in einem Fahrzeug, und zwar zur Mustererkennung mittels Ultraschallsignalen. Das System 1 weist zumindest eine Sendeeinheit 2a auf. Die Sendeeinheit 2a ist ausgebildet zum Emittieren von zumindest einem Ultraschallsignal auf eine Targetregion mit zumindest einem Objekt.
  • Die Targetregion ist eine Region in der Umgebung des Fahrzeugs. Die Targetregion umfasst eines oder mehrere Objekte. Bei den Objekten kann es sich beispielsweise um ein anderes Fahrzeug oder um ein Objekt am Straßenrand handeln. Voraussetzung ist, dass das Objekt in der Targetregion mittels Ultraschall detektierbar ist.
  • Weiterhin weist das System 1 zumindest eine Empfangseinheit 2b auf. Die Empfangseinheit 2b ist ausgebildet zum Empfangen von zumindest reflektierten Ultraschallsignal. Das zumindest eine Ultraschallsignal ist von dem zumindest einen Objekt in der Targetregion reflektiert.
  • Zur Auswertung eines Ultraschallsignals der Sendeeinheit 2a wird über eine vorbestimmte Zeitdauer eine Membran der Empfangseinheit 2b auf ihr Verhalten abgetastet. Hierdurch wird ein digitalisiertes Empfangssignal erhalten.
  • Danach wird das Signal von dem Sensor weiter an eine Steuereinheit (Electronic Control Unit (ECU)) des Fahrzeugs übertragen. Dort können weitere Verarbeitungsschritte durchgeführt werden.
  • Das Ultraschallsignal, welches von der Empfangseinheit 2b detektiert wird, wird an eine Vorverarbeitungseinheit 3 übermittelt. In der Vorverarbeitungseinheit 3 können digitale Filter eingesetzt werden, um das von der Empfangseinheit 2b erhaltene digitale Signal vor zu verarbeiten. Anschließend kann eine Datenkompression durchgeführt werden.
  • Alternativ oder zusätzlich kann die Empfangseinheit 2b bereits komprimierte Daten des Ultraschallsignals an die Vorverarbeitungseinheit 3 übermitteln. Die Vorverarbeitungseinheit 3 kann Teil der Steuereinheit (ECU) des Fahrzeugs sein. Die Vorverarbeitungseinheit 3 kann auch Teil eines Sensors sein, welcher die Empfangseinheit 2b ebenfalls umfasst.
  • Die Vorverarbeitungseinheit 3 übermittelt nach Abschluss der Vorverarbeitung die Daten an eine Konvertierungseinheit 4. Die Konvertierungseinheit 4 konvertiert die Daten in ein Bild. Vorteilhafterweise wird durch die Konvertierung der Daten in ein Bild ermöglicht, dass anschließend faltungsbasierte Varianten von Netzwerken angewandt werden können, welche eine weitere Reduzierung des Rechenaufwandes der ECU ermöglichen.
  • Das System 1 weist weiterhin eine Verarbeitungseinheit 5 auf. Die Verarbeitungseinheit 5 weist ein erfindungsgemäßes neuronales Netzwerk, z. B. ein gepulstes neuronales Netzwerk (Spiking Neural Network (SNN)), auf. Das neuronale Netzwerk ist ausgebildet, das zumindest eine reflektierte Ultraschallsignal als eine Signaländerung auszugeben, und zwar entsprechend einem Muster entsprechend zumindest einer Eigenschaft des zumindest einen Objekts der Targetregion.
  • Insbesondere wird als Sendeeinheit 2a und als Empfangseinheit 2b ein eventbasierter Umfelderfassungssensor eingesetzt, welche dazu ausgestaltet ist, lediglich Signaländerungen anzuzeigen und diese an die Vorverarbeitungseinheit 3 und die Konvertierungseinheit 4 bzw. (je nach Verarbeitungsmethode des empfangenen Ultraschallsignals in den eventbasierten Umfelderfassungssensor selbst) die Verarbeitungseinheit 5 weiterzuleiten.
  • Gemäß einer alternativen, nicht dargestellten, Ausführungsform ist eine Verarbeitungseinheit 5 vorgesehen, welche wie zuvor beschrieben ausgebildet ist. Die Verarbeitungseinheit 5 kann optional die Vorverarbeitungseinheit 3 und/oder die Konvertierungseinheit 4 mit den zuvor beschriebenen Eigenschaften aufweisen.
  • Die Verarbeitungseinheit 5 kann verschiedene Daten verarbeiten, um ein Muster zu bestimmen. Beispielsweise kann das zumindest eine Signal Daten mit zumindest einer mit Ultraschall detektierbaren Eigenschaft des zumindest einen Objekts der Targetregion aufweisen. Alternativ oder zusätzlich können die Daten mit der zumindest einen Eigenschaft der Targetregion zumindest ein reflektiertes Ultraschallsignal einer vorhergehenden Messung der Empfangseinheit 2b aufweisen. In anderen Worten können Signale zeitlich vorangegangener Messungen zur Mustererkennung benutzt werden. Das neuronale Netzwerk ist mit Vorteil für die Verwendung zur Mustererkennung in einem Fahrzeug angepasst. Das neuronale Netzwerk kann neben dem zumindest einen Eingangsneuron und dem zumindest einen Ausgangsneuron zumindest ein weiteres Neuron in einer Zwischenschicht, d. h. einen Knotenpunkt zur Signalweiterleitung, aufweisen. Über diese beispielhaft zumindest eine Zwischenschicht wird das Signal von der Eingangsschicht zur Ausgabeschicht weitergeleitet. Das zumindest eine Eingangsneuron, das zumindest eine Eingangsneuron und/oder das zumindest eine weitere Neuron können mit einem Schwellwert für eine Signalkodierung und/oder Signalübertragungsrate ausgebildet sein. Alternativ oder zusätzlich kann das neuronale Netzwerk zumindest ein Eingangsneuron, zumindest ein Ausgangsneuron und/oder zumindest ein weiteres Neuron aufweisen mit einem Schwellwert, der derart konfiguriert ist, dass das Muster basierend auf zumindest einer Messung, von der zumindest einen Empfangseinheit 2b unabhängig von einer vorhergehenden Messung der Empfangseinheit 2b bestimmbar ist. Die zuvor beschriebenen vorteilhaften Ausgestaltungen der Eingangsneuronen, Ausgangsneuronen und weiteren Neuronen schließen mit ein, dass es sich um ein und denselben Knotenpunkt handelt, welcher alle zuvor beschriebenen vorteilhaften Merkmale aufweist.
  • Sowohl die Sendeeinheit 2a als auch die Empfangseinheit 2b können beweglich angeordnet und/oder ausgebildet sein.
  • Das Fahrzeug kann das zuvor beschriebene System 1 aufweisen oder mit einer zuvor beschriebenen Verarbeitungseinheit 5 ausgestaltet sein.
  • Das zuvor beschriebene System 1 bzw. Verfahren wird insbesondere in einem Fahrzeug verwendet. Das zuvor beschriebene Verfahren kann computerimplementiert sein. Auch ist von dem Rahmen der Erfindung ein computerlesbares Speichermedium umfasst, welches das erfindungsgemäße Verfahren umfasst. Von der Erfindung umfasst ist ebenfalls ein Signal zur Übertragung und/oder zum Empfang von dem erfindungsgemäßen System 1 oder gemäß vorteilhaften Ausgestaltungen des vorbeschriebenen Systems 1 bzw. ein Signal erzeugt durch Schritte des zuvor beschriebenen Verfahrens.
  • Bezugszeichenliste
    • 1
    System
    2a
    Sendeeinheit
    2b
    Empfangseinheit
    3
    Vorverarbeitungseinheit
    4
    Konvertierungseinheit
    5
    Verarbeitungseinheit
    100
    Emittieren von Ultraschallsignalen auf eine Targetregion mit zumindest einem Objekt
    200
    Empfangen von reflektierten Ultraschallsignalen
    300
    Verarbeiten der reflektierten Ultraschallsignale durch ein neuronales Netzwerk

Claims (11)

  1. Verfahren zur Mustererkennung mittels Ultraschallsignalen für ein Fahrzeug, aufweisend folgende Schritte: - Emittieren, durch eine Sendeeinheit (2a), von Ultraschallsignalen auf eine Targetregion mit zumindest einem Objekt (100); - Empfangen, durch eine Empfangseinheit (2b), von reflektierten Ultraschallsignalen (200), wobei die reflektierten Ultraschallsignale von dem zumindest einen Objekt in der Targetregion reflektiert sind; - mustererkennendes Verarbeiten der reflektierten Ultraschallsignale mit einem neuronalen Netzwerk, NN, (300), - wobei das neuronale Netzwerk zumindest eine Eingangsschicht und eine Ausgangsschicht aufweist, - wobei die Eingangsschicht zumindest ein Eingangsneuron mit einem ersten Schwellwert aufweist, - wobei die Ausgangsschicht zumindest ein Ausgangsneuron mit einem zweiten Schwellwert aufweist, - wobei der erste und der zweite Schwellwert derart ausgebildet sind, dass das zumindest eine Eingangsneuron und das zumindest eine Ausgangsneuron bei Überschreiten des jeweiligen Schwellwerts aktiviert werden und ein Signal ausgeben, - wobei das zumindest eine Eingangsneuron der Eingangsschicht bei Überschreiten des ersten Schwellwerts zumindest ein Signal ausgibt, welches zumindest mittelbar an das zumindest eine Ausgangsneuron der Ausgangsschicht weitergeleitet wird, - wobei die Eingangsneuronen und die Ausgangsneuronen derart zusammenwirken, dass die Ausgangsneuronen zur Mustererkennung zumindest ein Signal entsprechend einer Änderung des Ultraschallsignals ausgeben; und - Verarbeiten des erkannten Musters durch eine Steuereinheit des Fahrzeugs.
  2. Verfahren nach Anspruch 1, wobei die Sendeeinheit (2a) und/oder die Empfangseinheit (2b) beweglich angeordnet und/oder ausgebildet sind.
  3. Verfahren nach Anspruch 1 oder 2, wobei zumindest die Empfangseinheit (2b), und insbesondere die Sendeeinheit (2a), Teil eines eventbasierten Umfelderfassungssensors sind.
  4. Verfahren nach einem der vorgehenden Ansprüche, wobei das neuronale Netzwerk ein Spiking Neural Network, SNN, ist.
  5. Verfahren nach einem der vorgehenden Ansprüche, wobei der Schwellwert der Eingangsneuronen und/oder Ausgangsneuronen auf einen spezifischen Wert einer Signalkodierung und/oder oder einer Signalübertragungsrate ausgebildet ist.
  6. Verfahren nach einem der vorgehenden Ansprüche, wobei der erste Schwellwert der Eingangsneuronen und/oder der zweite Schwellwert der Ausgangsneuronen derart ausgebildet ist, dass das Muster basierend auf zumindest einer Messung von der zumindest einen Empfangseinheit (2b) unabhängig von einer vorhergehenden Messung der Empfangseinheit (2b) bestimmbar ist.
  7. Computerprogramm zur Durchführung des Verfahrens nach einem der vorhergehenden Ansprüche 1 bis 6.
  8. Computerlesbares Speichermedium zur Durchführung des Verfahrens nach einem der vorhergehenden Ansprüche 1 bis 6.
  9. System (1), aufweisend Mittel zum Ausführen des Verfahrens nach einem der vorgehenden Ansprüche 1 bis 6.
  10. Fahrzeug mit einem System (1) nach Anspruch 9.
  11. Signal erzeugt durch Schritte des Verfahrens nach einem der vorgehenden Ansprüche 1 bis 6.
DE102019120651.0A 2019-07-31 2019-07-31 Mustererkennung mittels Ultraschallsignalen für autonomes Fahren Pending DE102019120651A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102019120651.0A DE102019120651A1 (de) 2019-07-31 2019-07-31 Mustererkennung mittels Ultraschallsignalen für autonomes Fahren

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102019120651.0A DE102019120651A1 (de) 2019-07-31 2019-07-31 Mustererkennung mittels Ultraschallsignalen für autonomes Fahren

Publications (1)

Publication Number Publication Date
DE102019120651A1 true DE102019120651A1 (de) 2021-02-04

Family

ID=74165693

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102019120651.0A Pending DE102019120651A1 (de) 2019-07-31 2019-07-31 Mustererkennung mittels Ultraschallsignalen für autonomes Fahren

Country Status (1)

Country Link
DE (1) DE102019120651A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022108453A1 (de) 2022-04-07 2023-10-12 Elmos Semiconductor Se Verfahren und Vorrichtung zur Untersuchung des Umfeldes eines Fahrzeugs mittels Ultraschall-Signalen

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130215720A1 (en) * 2010-08-25 2013-08-22 Fachhochschule Frankfurt am Main Device and method for the detection of persons

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130215720A1 (en) * 2010-08-25 2013-08-22 Fachhochschule Frankfurt am Main Device and method for the detection of persons

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CAO, Z., Cheng, L., Zhou, C., Gu, N., Wang, X., Tan, M.: Spiking neural network-based target tracking control for autonomous mobile robots. In: Neural Computing and Applications, 2015 (Date of Publication: 24.02.2015), 26. Jg., Nr. 8, S. 1839-1847. doi: 10.1007/s00521-015-1848-5 (URL: https://link.springer.com/content/pdf/10.1007/s00521-015-1848-5.pdf) *
WANG, X., Hou, Z. G., Zou, A., Tan, M., Cheng, L.: A behavior controller based on spiking neural networks for mobile robots. In: Neurocomputing, 2008 (Date of Publication: 09.10.2007), 71. Jg., Nr. 4-6, S. 655-666. doi: 10.1016/j.neucom.2007.08.025 (URL: https://doi.org/10.1016/j.neucom.2007.08.025) *
WANG, X., Hou, Z.G., Tan, M., Wang, Y., Wang, X.: Corridor-scene classification for mobile robot using spiking neurons. In: 2008 Fourth International Conference on Natural Computation. IEEE, 2008 (Date of Conference: 18. – 20. Oktober 2008; Date of Publication: 07.11.2008). S. 125-129. doi: 10.1109/ICNC.2008.718 (URL: https://ieeexplore.ieee.org/iel5/4666791/4667228/04667262.pdf) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022108453A1 (de) 2022-04-07 2023-10-12 Elmos Semiconductor Se Verfahren und Vorrichtung zur Untersuchung des Umfeldes eines Fahrzeugs mittels Ultraschall-Signalen

Similar Documents

Publication Publication Date Title
DE112018001825B3 (de) Verfahren zur Übertragung von Daten über einen Fahrzeugdatenbus von einem Ultraschallsystem zu einer Datenverarbeitungsvorrichtung
DE102018200724A1 (de) Verfahren und Vorrichtung zum Verbessern der Robustheit gegen "Adversarial Examples"
DE102017116017A1 (de) Kraftfahrzeug-Sensorvorrichtung mit mehreren Sensoreinheiten und mehreren neuronalen Netzen zum Erzeugen einer kombinierten Repräsentation einer Umgebung
DE202017102238U1 (de) Aktorsteuerungssystem
WO2005048195A2 (de) Verfahren zur korrespondenzanalyse in bilddatensätzen
DE102017213247A1 (de) Wissenstransfer zwischen verschiedenen Deep-Learning Architekturen
EP1836681A1 (de) Verfahren zur bestimmung der eigenbewegung eines fahrzeugs
AT521647B1 (de) Verfahren und System zur Datenaufbereitung, zum Trainieren eines künstlichen neuronalen Netzes und zum Analysieren von Sensordaten
WO2018202552A1 (de) Verfahren und vorrichtung zum klassifizieren von objekten im umfeld eines kraftfahrzeuges
EP3393875A1 (de) Verfahren zum verbesserten erkennen von objekten durch ein fahrerassistenzsystem
DE102017207438B4 (de) Verfahren, Vorrichtung und deren Verwendung zur Ermittlung des Knickwinkels eines Gespanns
DE102018121866A1 (de) Verfahren zur Tiefenabschätzung von zweidimensionalen Sensordaten
DE102019120651A1 (de) Mustererkennung mittels Ultraschallsignalen für autonomes Fahren
DE102021207505A1 (de) Verfahren zum Trainieren eines tiefen neuronalen Netzes
DE102004029825A1 (de) Verfahren und Vorrichtung zum Detektieren von Müdigkeit bei dem Fahrer eines Fahrzeugs
WO2018046189A1 (de) Verfahren und vorrichtung zum betreiben eines ersten fahrzeugs
EP3786853A1 (de) Komprimieren eines tiefen neuronalen netzes
EP3576013A1 (de) Abschätzen eines verlaufs eines schienenpfads
EP3701428B1 (de) Verfahren und vorrichtung zum verbessern der robustheit eines maschinellen lernsystems
DE102020208309A1 (de) Verfahren und Vorrichtung zum Erstellen eines maschinellen Lernsystems
DE102021204040A1 (de) Verfahren, Vorrichtung und Computerprogramm zur Erstellung von Trainingsdaten im Fahrzeug
DE102020209979A1 (de) Verfahren und Vorrichtung zum Erkennen eines Objekts aus Eingabedaten
WO2020233961A1 (de) Verfahren zum beurteilen einer funktionsspezifischen robustheit eines neuronalen netzes
DE102021208349B3 (de) Verfahren und Sensorsystem zum Zusammenführen von Sensordaten sowie Fahrzeug mit einem Sensorsystem zum Zusammenführen von Sensordaten
DE102019203772A1 (de) Steuergerät, Vorrichtung und Verfahren zur Beurteilung eines Seitenwindes für ein Fahrzeug

Legal Events

Date Code Title Description
R163 Identified publications notified
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06K0009620000

Ipc: G06V0030190000