DE102019119585A1

DE102019119585A1 - Bestimmung des Einbauortes und der Ausrichtung von Ultraschallsensoren mittels neuronaler Netzwerke

Info

Publication number: DE102019119585A1
Application number: DE102019119585.3A
Authority: DE
Inventors: Maximilian Poepperl; Raghavendra Gulagundi
Original assignee: Valeo Schalter und Sensoren GmbH
Current assignee: Valeo Schalter und Sensoren GmbH
Priority date: 2019-07-19
Filing date: 2019-07-19
Publication date: 2021-01-21

Abstract

Die vorliegende Erfindung betrifft ein Verfahren zur Überwachung der Einbauposition und/oder der Ausrichtung mindestens eines Ultraschallsensors eines Fahrzeugs, wobei das Verfahren die folgenden Verfahrensschritte umfasst: a) Aussenden eines Ultraschallimpulses durch einen am Fahrzeug angeordneten Ultraschallsensor und Erfassen eines von der Oberfläche eines Oberflächenbelags reflektierten Ultraschallsignals; b) Ausgeben eines oder mehrerer dem erfassten Ultraschallsignal entsprechender Messwerte; c) Eingeben des oder der Messwerte in ein künstliches neuronales Netzwerk; d) Ermitteln der Position und Ausrichtung des Ultraschallsensors durch das künstliche neuronale Netzwerk, e) Ausgeben eines oder mehrerer für die Ultraschallsensorposition und -Ausrichtung charakterisierenden Werte aus dem künstlichen neuronalen Netzwerk. Des Weiteren betrifft die vorliegende Erfindung die Verwendung des erfindungsgemäßen Verfahrens in einem Kraftfahrzeug, ein nichtflüchtiges, computerlesbares Speichermedium sowie ein Fahrunterstützungssystem, welches eingerichtet ist das erfindungsgemäße Verfahren durchzuführen.

Description

Die vorliegende Erfindung betrifft ein Verfahren zur Überwachung der Einbauposition und/oder der Ausrichtung mindestens eines Ultraschallsensors eines Fahrzeugs, wobei das Verfahren die folgenden Verfahrensschritte umfasst: a) Aussenden eines Ultraschallimpulses durch einen am Fahrzeug angeordneten Ultraschallsensor und Erfassen eines von der Oberfläche eines Oberflächenbelags reflektierten Ultraschallsignals; b) Ausgeben eines oder mehrerer dem erfassten Ultraschallsignal entsprechender Messwerte; c) Eingeben des oder der Messwerte in ein künstliches neuronales Netzwerk; d) Ermitteln der Position und Ausrichtung des Ultraschallsensors durch das künstliche neuronale Netzwerk, e) Ausgeben eines oder mehrerer für die Ultraschallsensorposition und -Ausrichtung charakterisierenden Werte aus dem künstlichen neuronalen Netzwerk. Des Weiteren betrifft die vorliegende Erfindung die Verwendung des erfindungsgemäßen Verfahrens in einem Kraftfahrzeug, ein nichtflüchtiges, computerlesbares Speichermedium sowie ein Fahrunterstützungssystem, welches eingerichtet ist das erfindungsgemäße Verfahren durchzuführen.
Das Verkehrsaufkommen als solches und die Komplexität desselben hat in den letzten Jahren eine deutliche Steigerung erfahren. Nicht nur die Tatsache, dass mehr Verkehrsteilnehmer auf den Straßen zu finden sind, sondern auch die Beteiligung neuer Verkehrsgruppen, wie beispielsweise Pedelecs, mit neuen Bewegungsprofilen und - Eigenschaften, hat zu immer unübersichtlicheren Verkehrssituationen geführt. Eine Möglichkeit den damit auf die Verkehrsteilnehmer einwirkenden Stress zu reduzieren ist der Einsatz technischer Hilfsmittel, wie beispielsweise elektronischer Fahrunterstützungssysteme, die den Fahrzeugführern einen Teil der Informationsbeschaffung und -verarbeitung abnehmen und zu einer sichereren und entspannteren Fortbewegung beitragen sollen. Grundvoraussetzung für eine einwandfreie Funktion der Systeme ist natürlich, dass die zur Informationsgewinnung eingesetzten Sensoren einwandfrei funktionieren.
Am Beispiel von Ultraschallsensoren bedeutet dies, dass in heutigen Fahrassistenzsystemen der Einbau in ein neues Fahrzeugmodel nur nach einer aufwändigen manuellen Kalibrierung erfolgen kann. Diese Kalibrierung wird meist durch speziell geschulte Personen durchgeführt, welche verschiedenste Szenarien untersuchen und die Sensoren entsprechend einstellen. Dieser Vorgang ist nicht nur zeitaufwändig, sondern benötigt auch besondere Umgebungsbedingungen. Eine flexible Anpassung der Einstellungen während der Fahrt, z.B. als Funktion der Fahrbahn, ist in den meisten Fällen nicht vorgesehen. Ein ebenfalls wichtiger Punkt sind die Toleranzen beim Einbau der Sensoren. Diese Toleranzen können dazu führen, dass schon bei einem Neuwagen die Funktion der Ultraschallsensoren nicht der kalibrierten entspricht und somit das System nicht optimal funktioniert. Des Weiteren kann sich im alltäglichen Betrieb die Ausrichtung der Ultraschallsensoren, z.B. durch Beschädigung der Stoßstange, ändern. Bei diesen Schäden können die Ultraschallsensoren heutzutage meist nicht mehr verwendet werden, obwohl die Sensoren selbst nicht beschädigt wurden.
Zur Verbesserung der Funktionsfähigkeit und zur Erweiterung der Einsatzmöglichkeiten wurden in der Patentliteratur vielfältige Möglichkeiten vorgeschlagen.
So offenbart beispielsweise die DE 10 2017 208 268 B3 ein Verfahren zur Bestimmung des Beladungszustands eines Fahrzeugs und/oder zur Bestimmung der Einbauhöhe (h) mindestens eines Ultraschallsensors des Fahrzeugs, wobei ein Ultraschallsensor des Fahrzeugs ausgebildet ist, akustische Signale auszusenden und Echosignale aus dem Umfeld des Fahrzeugs zu empfangen, und wobei der Ultraschallsensor zur Erfassung des Umfelds des Fahrzeugs in einem ersten Betriebsmodus betrieben wird und der Ultraschallsensor zur Bestimmung des Beladungszustands des Fahrzeugs und/oder zur Bestimmung der Einbauhöhe in einem zweiten Betriebsmodus betrieben wird, dadurch gekennzeichnet, dass der Ultraschallsensor in dem zweiten Betriebsmodus derart betrieben wird, dass der Ultraschallsensor eine im Vergleich zu dem ersten Betriebsmodus erhöhte Schallabstrahlung in einer Richtung einer Fahrbahn aufweist, wobei zur Bestimmung des Beladungszustands des Fahrzeugs und/oder zur Bestimmung der Einbauhöhe des Ultraschallsensors von der Fahrbahn reflektierte Echosignale ausgewertet werden.
Ein weiteres Verfahren zur Funktionsprüfung wird in der DE 10 2012 216 290 A1 vorgeschlagen. Das Dokument offenbart ein Verfahren zur Funktionsüberwachung von Ultraschallsensoren eines Fahrzeugs, wobei das Fahrzeug mindestens einen Ultraschallsensor, der parallel zur Bewegungsrichtung ausgerichtet ist, und mindestens einen Ultraschallsensor, der senkrecht zur Bewegungsrichtung ausgerichtet ist, umfasst, wobei die Ultraschallsensoren Ultraschallsignale mit einer Frequenz fo aussenden und wobei die Ultraschallsensoren während der Fahrt vom Boden reflektierte Bodenechos empfangen, dadurch gekennzeichnet, dass mit mindestens einem senkrecht zur Bewegungsrichtung ausgerichteten Ultraschallsensor ein Bodenecho als Referenzsignal aufgezeichnet wird und mit mindestens einem parallel zur Bewegungsrichtung ausgerichteten Ultraschallsensor ein dopplerverschobenes Bodenecho als Messsignal aufgezeichnet wird, wobei abhängig von der Dopplerfrequenz f1 des dopplerverschobenen Bodenechos ein Verhältnis (A) aus Messsignal und Referenzsignal gebildet wird und aus mindestens zwei bei verschiedenen Dopplerfrequenzen f1 bestimmten Verhältnissen (A) die Frequenzgangkurve des mindestens einen parallel zur Bewegungsrichtung ausgerichteten Ultraschallsensors ermittelt wird und wobei eine Fehlfunktion eines Ultraschallsensors durch Abweichungen der ermittelten Frequenzgangkurve von einer Referenzfrequenzgangkurve erkannt wird.
Ein weiteres Funktionsüberprüfungsverfahren ist in der DE 10 2005 057 973 A1 gezeigt. Das Verfahren betrifft die Funktionsprüfung eines Ultraschallsensors an einem Kraftfahrzeug, wobei der Ultraschallsensor ein Ultraschallsignal abgibt und das Ultraschallsignal von einer Bodenfläche vor dem Fahrzeug reflektiert und von dem Ultraschallsensor oder einem weiteren Ultraschallsensor wieder empfangen wird ist dadurch gekennzeichnet, dass die Dauer und/oder die Amplitude des ausgesendeten Ultraschallsignals derart groß gewählt wird, um unter herkömmlichen Bedingungen ein Empfangen des von der Bodenfläche reflektierten Signals zu ermöglichen, und dass bei einem Empfangen des reflektierten Signals eine Funktion des Ultraschallsensors festgestellt wird.
Derartige aus dem Stand der Technik bekannte Lösungen können noch weiteres Verbesserungspotential bieten, insbesondere hinsichtlich der Einfachheit des genutzten Aufbaus und der Genauigkeit der daraus erhältlichen Ergebnisse.
Es ist die Aufgabe der vorliegenden Erfindung, die aus dem Stand der Technik bekannten Nachteile zumindest teilweise zu überwinden. Es ist insbesondere die Aufgabe der vorliegenden Erfindung eine flexibel adaptierbare Lösung bereitzustellen, durch welche für vielfältige Sensor-, Fahrzeugaufbauten und Umgebungsbedingungen, eine verlässliche Überwachung der Ausrichtung von Ultraschallsensoren gegeben ist.
Die Lösung der Aufgabe erfolgt erfindungsgemäß durch ein Verfahren mit den Merkmalen des Anspruchs 1. Die Lösung der Aufgabe erfolgt erfindungsgemäß ferner durch die Verwendung des Verfahrens nach Anspruch 10 und ein Fahrunterstützungssystem mit den Merkmalen des Anspruchs 12. Bevorzugte Ausgestaltungen der Erfindung sind in den Unteransprüchen, in der Beschreibung oder den Figuren beschrieben, wobei weitere in den Unteransprüchen oder in der Beschreibung oder den Figuren beschriebene oder gezeigte Merkmale einzeln oder in einer beliebigen Kombination einen Gegenstand der Erfindung darstellen können, wenn sich aus dem Kontext nicht eindeutig das Gegenteil ergibt.
Erfindungsgemäß wird ein Verfahren zur Überwachung der Einbauposition und/oder der Ausrichtung mindestens eines Ultraschallsensors eines Fahrzeugs vorgeschlagen, wobei das Verfahren die folgenden Verfahrensschritte umfasst:

a) Aussenden eines Ultraschallimpulses durch einen am Fahrzeug angeordneten Ultraschallsensor und Erfassen eines von der Oberfläche eines Oberflächenbelags reflektierten Ultraschallsignals;
b) Ausgeben eines oder mehrerer dem erfassten Ultraschallsignal entsprechender Messwerte;
c) Eingeben des oder der Messwerte in ein künstliches neuronales Netzwerk;
d) Ermitteln der Position und Ausrichtung des Ultraschallsensors durch das künstliche neuronale Netzwerk,
e) Ausgeben eines oder mehrerer für die Ultraschallsensorposition und -Ausrichtung charakterisierenden Werte aus dem künstlichen neuronalen Netzwerk.

Überraschend wurde gefunden, dass obiges Verfahren in der Lage ist, die ortsspezifische Funktionsweise von Ultraschallsensoren ohne weiteren technischen Aufwand sehr genau zu überwachen und gegebenenfalls bei Abweichungen des soll- zum tatsächlichen Verhalten dieses verlässlich anzuzeigen. Diese Vorteile werden ohne weiteren Hardwareaufwand an den Sensoren erreicht, welches generell die Verfahrenskosten reduziert. Es lassen sich einfach und flexibel Ist-Situationen abbilden und Fehler an der Ausrichtung, entweder bedingt durch den Einbau als solchem oder beispielsweise nach einem Unfall, nicht ordnungsgemäß positionierter Ultraschallsensoren erkennen. Somit ist es möglich, im Falle von Abweichungen die Kalibrierung des Sensors entsprechend anzupassen oder nur falsch positionierte Sensoren manuell neu zu positionieren. Dies kann die generelle Ausschussrate in der Herstellung verringern sowie Reparaturkosten niedrig halten. Das Verfahren ist durch den Einsatz des neuronalen Netzes zudem so flexibel, dass es generell möglich ist, weitere Einflussfaktoren mit in das Verfahren einzubeziehen, so dass eine optimale Funktionsweise gewährleistet werden kann. Dieses Ergebnis ist zudem überraschend, da allgemein im Stand der Technik davon ausgegangen wird, dass die Intensität reflektierter Ultraschallwellen im Normalbetrieb, ohne weitere Maßnahmen zur verlässlichen Bestimmung der Ultraschallsensor-Position, zu gering oder generell ungeeignet ist. Somit ist es ein weiterer Verfahrensvorteil, dass dieses Verfahren in einem „üblichen“ Betriebsmodi eines Ultraschallsensors betrieben werden kann. Es handelt sich also um ein neuronales Netzwerk basiertes Kalibrierverfahren, mit welchem eine Online-Kalibrierung durchgeführt werden kann, wobei die Kalibrierung Untergrund unabhängig ist und auch mit weiteren Objekten in der näheren Fahrzeugumgebung durchgeführt werden kann. Des Weiteren ermöglichen auch erst die in der letzten Zeit erreichten Verbesserung im Rahmen der Ultraschallsensoren eine verlässliche und passgenaue Modellerstellung durch künstliche neuronale Netzwerk, da mangels Rechen- und Verarbeitungskapazität „alte“ Sensoren nur spezifische Datenausschnitte oder integrale Werte anstatt der gesamten, vollständig zeitaufgelösten Daten weitergeben konnten. Letzteres bestimmt aber in einem wesentlichen Umfang die Genauigkeit der erhältlichen Modelle. Insofern kann die gesteigerte Empfindlichkeit der Sensoren und die gesteigerten Datenraten und -umfänge zur automatisierten Selbstüberwachung durch ein künstliches neuronales Netzwerk genutzt werden. Eine übliche Kalibrierung durch manuelle Einstellung von Schwellwerten als solche, wie bisher aus dem Standder-Technik bekannt, ist somit überflüssig.
Das erfindungsgemäße Verfahren ist ein Verfahren zur Überwachung der Einbauposition und/oder der Ausrichtung mindestens eines Ultraschallsensors eines Fahrzeugs. Über das Verfahren können somit sowohl die Höhe des Ultraschallsensors über dem Boden als auch die Winkelausrichtung des Ultraschallsensors zum Boden bestimmt werden. Die Ausrichtung beschreibt dabei die Winkelkomponente und die Einbauposition die Ortskomponente bezogen auf den Boden oder einen anderen Fixpunkt, beispielsweise einem Fahrzeugfixpunkt. Die einzelnen Parameter der Einbauposition sind weiter hinten in der Figurenbeschreibung dargestellt und definiert. Durch geeignete Koordinatentransformationen lassen sich aber gegebenenfalls auch weitere Möglichkeiten für die Einbauposition angeben, beispielsweise in Form kartesischer Koordinaten in Bezug auf einen Fahrzeug-Referenzpunkt. Ebenso kann der Winkel unter Bezug auf eine geeignete Fahrzeug-Achse angegeben werden.
Fahrzeuge im Sinne der Erfindung können dabei Land-, Wasser- oder Luftfahrzeuge sein. Es ist also möglich, das erfindungsgemäße Verfahren sowohl für die Herstellung von Flugzeugen, Schienenfahrzeugen, Kraftfahrzeugen oder Schiffen zu verwenden, solange die Fahrzeuge sich zumindest zeitweise in der Nähe mit der Erde verbundener Strukturen befinden. Bevorzugt ist ein Fahrzeug ein motorgetriebenes Landfahrzeug, insbesondere ein Kraftfahrzeug.
Im Verfahrensschritt a) erfolgt das Aussenden eines Ultraschallimpulses durch einen am Fahrzeug angeordneten Ultraschallsensor und Erfassen eines von der Oberfläche eines Oberflächenbelags reflektierten Ultraschallsignals. Die Daten des erfindungsgemäßen Verfahrens werden über einen Ultraschallsensor geliefert, welcher eine permanente oder nur eine temporäre Verbindung zum Fahrzeug aufweist. Der Ultraschallsensor kann dabei fest am Fahrzeug montiert oder aber nur in kurzzeitigen Kontakt zum Fahrzeug stehen. Letzteres kann beispielsweise auch ein „Anhalten“ des Ultraschallsensors über einen Roboterarm an das Fahrzeug beinhalten. Wesentlich dabei ist, dass sowohl Position wie auch Ausrichtung des Ultraschallsensors im Rahmen des Trainings bekannt sind und genau eingehalten werden. Es ist natürlich auch möglich, dass das gesamte Verfahren mit einem oder mehreren Ultraschallsensoren durchgeführt wird.
Der Ultraschallsensor sendet von seiner Position am Fahrzeug aus Schallwellen ab, welche zumindest partiell auch auf den Boden auftreffen, auf welchem das Fahrzeug steht. Dabei wird von dem Ultraschallsensor ein derartiges Ultraschallsignal ausgesandt, das wenigstens teilweise auf die Oberfläche ausgerichtet ist, auf dem sich das Fahrzeug bewegt. Dazu bedarf es in der Regel keiner zusätzlichen Maßnahmen, da auch das Profil der Ultraschallsignale, die von herkömmlichen Ultraschallsensoren für die Abstandsmessung ausgesandt werden, jedenfalls teilweise auf die Oberfläche treffen auf dem sich da Kraftfahrzeug befindet. Ganz bevorzugt gilt in diesem Zusammenhang, dass das Ultraschallsignal mit einem derartigen Einfallswinkel auf die Oberfläche trifft, der größer als 30° ist, vorzugsweise größer als 40° und ganz besonders bevorzugt größer als 50°. Mit größer werdendem Einfallswinkel sinkt zwar die Reflexionsrate, jedoch hat sich gezeigt, dass gleichwohl noch derartige Reflexionen mit dem Ultraschallsensor erfassbar sind, die die Ermittlung der Sensorposition relativ zur Oberfläche des von dem Kraftfahrzeug befahrenen Oberflächenbelags mit Hilfe des künstlichen neuronalen Netzwerks ermöglichen. Typische Werte für die Sendefrequenz üblicher Ultraschallsensoren sind 40 bis 60 kHz.
Im Verfahrensschritt b) erfolgt das Ausgeben eines oder mehrerer dem erfassten Ultraschallsignal entsprechender Messwerte. Der Ultraschallsensor leitet also die aufgenommenen Schallwellen als Funktion des zeitlichen Abstandes und in Form ihrer Amplitude als elektrische Signale oder Abtastpunkte weiter. Dazu ist es möglich, dass der Sensor kontinuierlich arbeitet und sämtliche Signale als kontinuierliche Messwerte einer oder mehrerer Messungen weiterleitet. Es ist aber auch möglich, dass nur ein Teil der aufgenommenen Schallwellen in Messwerte umgewandelt werden, beispielsweise als Funktion des zeitlichen Auftreffens. Weiterhin können sowohl die Rohdaten als auch mathematisch transformierte, d.h. verarbeitete Daten, beispielsweise in Form einer mathematischen Beschreibung der Hüllkurve der Signale, weitergeleitet werden. Auf diese Art und Weise können beispielsweise die Datenmenge oder aber auch die Anzahl an Störsignalen, welche nicht von der Oberfläche stammen können, reduziert werden.
Im Verfahrensschritt c) erfolgt das Eingeben des oder der Messwerte in ein künstliches neuronales Netzwerk. Die Messwerte der von der Oberfläche reflektierten Schallwellen werden als Eingangswerte eines künstlichen neuronalen Netzwerkes genutzt. Dazu kann die Eingabe der Messwerte als solches, beispielsweise in Form eines Frequenzspektrums, einer zeitlichen Hüllkurve oder aber in mathematisch transformierter Form erfolgen. Die Transformation kann auf Basis der zu erwartenden Daten und als Form des verwendeten künstlichen neuronalen Netzwerkes gewählt werden. Wie schon weiter oben angegeben können dabei die Gesamtheit an Messwerten oder aber auch nur ein zweckmäßig gewählter Teil der Daten als Inputwerte herangezogen werden. Dadurch kann die anfallende Datenmenge reduziert und die Verarbeitung der Daten beschleunigt werden. Zur Verarbeitung kommen unterschiedliche Strukturen für künstliche neuronale Netzwerke in Frage, beispielsweise künstliche neuronale Netzwerk mit FFNN- oder CNN-Struktur.
Im Verfahrensschritt d) wird die Position und Ausrichtung des Ultraschallsensors durch das künstliche neuronale Netzwerk ermittelt. Zur Bestimmung der Position kann das künstliche neuronale Netzwerk beispielsweise schon anhand unterschiedlicher Datensätze aus unterschiedlichen Anwendungssituationen mit unterschiedlichen Untergründen, unterschiedlichen Ultraschallsensorpositionen und -Ausrichtungen trainiert worden sein. In einer derartigen Trainingsphase lernt das künstliche neuronale Netzwerk, unterschiedliche Positionen aufgrund verschiedener von dem Ultraschallsensor ausgegebener Messwerte zu unterscheiden. Dabei gilt, dass ein entsprechendes Training grundsätzlich nur einmal für jede Anordnung eines Ultraschallsensors bzw. einer Mehrzahl von Ultraschallsensoren und für jeden Typ des Fahrzeugs erforderlich ist. Ist das System einmal angelernt, kann die Ermittlung der Ultraschallsensorposition und -Ausrichtung direkt auf die aktuell gemessenen Daten des aktuell verwendeten Fahrzeugs angewandt werden.
Im Verfahrensschritt e) erfolgt das Ausgeben eines oder mehrerer für die Ultraschallsensorposition und -Ausrichtung charakterisierenden Werte aus dem künstlichen neuronalen Netzwerk. Mittels der Eingabe der Reflektionen an dem Untergrund lassen für die Ausrichtung von Ultraschallsensoren fundamentale Daten wie beispielsweise die Höhe über dem Boden, die Ausrichtung des Ultraschallsensors bezogen auf eine Fahrzeugachse oder zum Boden bestimmen. Eine Möglichkeit zur Definition der Ultraschallsensorposition ist beispielsweise weiter hinten in den Figuren angegeben. Es ist aber auch möglich, andere Koordinatensystem zur Ausgabe der Ultraschallsensorposition und Ausrichtung anzugeben, beispielsweise bezogen auf einen Fahrzeugreferenzpunkt sowie eine -referenzachse. Diese Daten ergeben sich als Output-Werte des künstlichen neuronalen Netzwerkes.
In einer bevorzugten Ausführungsform des Verfahrens kann das künstliche neuronale Netzwerk über Ultraschallsensor-Echodaten trainiert werden, welche mit einem vom Oberflächenbelag verschiedenen Referenzobjekt in einer oder mehreren vordefinierten Entfernungen erhalten wurden. Es hat sich als vorteilhaft erwiesen, dass das Training des künstlichen neuronalen Netzwerks anhand von Ultraschallsensordaten durchzuführen, bei denen das Ultraschallecho sowohl Komponenten aus Reflektionen an der Oberfläche als auch zusätzliche Echo-Komponenten von einem weiteren Objekt aufweisen, welches in definiertem Abstand zum Ultraschallsensor positioniert ist. Die Kalibrierung des künstlichen neuronalen Netzwerkes wird also mit einem Referenzobjekt in vordefinierten Entfernungen durchgeführt. Diese Methode bietet sich insbesondere bei Kraftfahrzeugen und hier bei Neuwagen an, da über den genau definierten Aufbau des zusätzlichen Objektes zusammen mit der genau bekannten Entfernung zwischen Sensor, Boden und Objekt eine hohe Genauigkeit in der Positions- und Ausrichtungsbestimmung des künstlichen neuronalen Netzwerkes erzielt werden kann. Die Genauigkeit kann zudem dadurch erhöht werden, indem verschiedene Objekte, Untergründe, Abstände und Ultraschallsensorpositionen und -Ausrichtungen in das Training einfließen. Dabei gilt, dass ein entsprechendes Training grundsätzlich nur einmal für jede Anordnung eines Ultraschallsensors bzw. einer Mehrzahl von Ultraschallsensoren und für jeden Fahrzeugtyp erforderlich ist. Ist das System einmal angelernt, kann die Ermittlung der Position und der Ausrichtung direkt auf die gemessenen Daten des aktuell verwendeten Fahrzeugs angewandt werden.
In einer weiteren bevorzugten Ausgestaltung des Verfahrens kann das künstliche neuronale Netzwerk über Ultraschallsensor-Echodaten trainiert werden, welche von der Oberfläche eines oder mehrerer definierter Oberflächenbeläge stammen. Eine weitere bevorzugte Möglichkeit des Trainings besteht darin, einen bestimmten Bodenbelag, bzw. die Bodenechos auf diesem Belag, zur Kalibrierung bzw. zum Anlernen des künstlichen neuronalen Netzwerkes zu verwenden. Als möglicher Bodenbelag kommt z.B. Asphalt in Frage. Vorteilhafterweise kann in diesem Fall auch durch den Endnutzer bzw. automatisch durch das System selbst eine neue Kalibrierung durchgeführt werden.
In einer weiteren Alternative des Verfahrens kann das künstliche neuronale Netzwerk über Ultraschallsensor-Echodaten trainiert werden, wobei die Echodaten von einem Ultraschallsensor in unterschiedlichen Einbaupositionen und/oder Ausrichtungen stammen. Es hat sich als besonders günstig herausgestellt, dass unabhängig von der Wahl des zum Training des künstlichen neuronalen Netzwerkes ausgewählten Aufbaus, beispielsweise umfassend einen speziellen Untergrund, Fahrzeug, weitere Referenzobjekte, verschiedenste Einbauwinkel und Einbauhöhen erzeugt und die Antwortsignale für Trainingszwecke aufgezeichnet werden. Das heißt, dass diese Varianzen in der Position und der Ausrichtung des Sensors sowohl mit einer Kalibrierung über bekannte Bodenbeläge oder mit einer Kalibrierung über ein zusätzliches Referenzobjekt im bekannten Abstand kombiniert werden können. Durch diese Kombinationen lassen sich besonders robuste und genaue Modelle erhalten. Es hat sich zudem gezeigt, dass das Training des künstlichen neuronalen Netzwerkes umso besser wird, je höher die Anzahl an unterschiedlichen Ultraschallsensorpositionen und -Ausrichtungen ist. Um die Vielzahl an notwendigen Trainingsdaten zu erzeugen, bietet sich eine Automatisierung der Messungen z.B. mithilfe eines Roboterarms an, welcher den Sensor nur temporär aber mit festgelegter Position und Ausrichtung am Fahrzeug befestigt.
In einer bevorzugten Verfahrensvariante können die Ultraschallsignal-Echodaten vor Eingabe in das künstliche neuronale Netzwerk in unterschiedliche zeitliche Bereiche aufgeteilt werden. Zur Reduzierung der Datenmengen und zum Erhalt der Möglichkeit die Daten sofort, also ohne signifikante zeitliche Verzögerung, zu verarbeiten, hat es sich als vorteilhaft herausgestellt, nicht sämtliche vom Ultraschallsensor gelieferten Daten zu nutzen, sondern nur bestimmte Datenfenster daraus. Für das Training kann also durch Verwendung bestimmter Distanzbereiche der Echos die Datenmenge die dem Netzwerk übergeben wird reduziert werden. Durch geeignete Vorverarbeitung kann die Größe der Eingangsdaten des Netzwerks typischerweise soweit reduziert werden, dass sich besonders effiziente künstliche neuronale Netzwerkstrukturen einsetzen lassen, beispielsweise Multilayer Perceptrons. Durch die geringe Netztiefe können Architekturen erstellt werden, die zur Online-Kalibrierung auf einer Fahrzeug-ECU geeignet sind. Es ist also nicht mehr nötig auf größere Rechnerkapazitäten ausweichen.
In einer weiteren bevorzugten Ausführungsform des Verfahrens kann der Messwert in Vektor- oder in Matrixform in das künstliche neuronale Netzwerk eingegeben werden. Durch das erfindungsgemäße Verfahren kann der Hauptteil der Signalverarbeitung typischerweise im Sensor selbst stattfinden. Die Daten die auf der ECU verfügbar sind, können aber bereits gefiltert, downgesampelt und quantisiert, vorliegen. Für das Netzwerk ist nur ein relevanter Ausschnitt dieser Daten notwendig. Die Daten liegen dann vorteilhafterweise als Vektor vor, der dem Netzwerk übergeben werden kann.
In einer bevorzugten Ausführungsform des Verfahrens kann das künstliche neuronale Netzwerk ein vorwärts gerichtetes neuronales Netzwerk, FFNN, sein. Es hat sich als besonders geeignet herausgestellt, ein künstliches neuronales Netzwerk mit der Struktur eines „feed forward neural networks“ FFNN in der Form eines Multilayer Perceptrons zu nutzen. Zur Implementierung des erfindungsgemäßen Prozesses sind für das künstliche neuronale Netzwerk bis zu 5 hidden layers denkbar und ausreichend. Die genaue Anzahl der Layer und der Neuronen kann dabei während des Trainingsprozesses bestimmt werden. Das Output-Layer kann beispielsweise aus zwei Neuronen bestehen, welche insbesondere eine Höhe und ein Winkel bestimmten. In einer Erweiterung des Verfahrens auf einen zweiten Winkel und einen relativen Abstand zum nächsten Sensor wären dann vier Neuronen erforderlich. Die Anzahl der Neuronen in der Eingangslage ist abhängig vom gewählten Ausschnitt und von der Abtastrate der Daten. Typischerweise könnten jedoch weniger als 100 Neuronen geeignet sein. Als Optimierungsfunktion können beispielsweise heuristische Methoden wie die SGD („Stochastic Gradient Descent“) eingesetzt werden, welche die Parameter in Richtung eines lokalen Minimums in der Abweichung hin optimieren. Für die Hidden Neuronen kann typischerweise ReLU verwendet werden. Aufgrund der gewählten Regression kann zweckmäßigerweise im Output Layer eine sigmoid-Aktivierung, beispielsweise in den Fällen in denen die Eingangsdaten normiert sind oder keine Aktivierungsfunktion verwendet werden.
In einer weiteren bevorzugten Ausgestaltung des Verfahrens kann das künstliche neuronale Netzwerk als Eingangswerte neben den Ultraschallsignal-Echodaten auch die konstruktiv vorgesehenen Werte des Einbauwinkels und der -höhe des verwendeten Ultraschallsensors umfassen. Zum Training des künstlichen neuronalen Netzwerkes hat es sich als besonders effektiv herausgestellt, dass neben den Ultraschallsensor-Echodaten auch die konstruktiv vorgesehenen Einbaupositionen der derzeit verwendeten Sensoren als Eingangswerte mit ins Netz eingespeist werden. Es werden also Daten mit ins Netzwerk eingespeist, welche beispielsweise die eigentliche Soll-Höhe und die Soll-Ausrichtung des Ultraschallsensors umfassen. Die Soll-Höhe und -Ausrichtung sind dabei diejenigen Werte, welche nach der Fahrzeugplanung optimaler Weise einzuhalten wären. Diese Einbaudaten können natürlich von den Daten der aktuellen Situation abweichen. Dies kann zu einer schnelleren Lernphase und zu verbesserten Ergebnissen beitragen. Diese Parameter sind hier nur bevorzugt genannt, da die Signaleigenschaften, die das neuronale Netzwerk für die Regression des Winkels und der Höhe tatsächlich nutzt, vom Netz selbst während des Trainings bestimmt werden.
In einer weiteren Alternative des Verfahrens kann in einen weiteren Verfahrensschritt f) ein Abgleich der über das künstliche neuronale Netzwerk ermittelten Position und Ausrichtung mit einer für den Ultraschallsensor hinterlegten Zielposition und -Ausrichtung erfolgen. In einem weiteren Schritt kann innerhalb des erfindungsgemäßen Verfahrens ein Vergleich der Soll- mit den Ist-Werten für einen oder sämtliche am Fahrzeug vorhandene Ultraschallsensoren erfolgen. Über den Abgleich kann festgestellt werden, ob die Positionen übereinstimmen oder ob es zu signifikanten Abweichungen in Position und/ oder Ausrichtung kommt. In letzteren Fall kann die Kalibrierung des betroffenen Sensors angepasst oder eine Warnung an den Fahrzeugführer ausgegeben werden.
Des Weiteren erfindungsgemäßen ist die Verwendung des erfindungsgemäßen Verfahrens in einem Kraftfahrzeug. Insbesondere für Kraftfahrzeuge bietet sich das erfindungsgemäßen Verfahren an, da über die schon am Fahrzeug vorhandenen Ultraschallsensoren keine weitere Investition in die Sensortechnik erfolgen muss. Zudem hat sich gezeigt, dass die üblicherweise im Straßenverkehr vorliegenden Bodenbeläge eine besonders genaue Kalibrierung, respektive ein effizientes Training des künstlichen neuronalen Netzwerkes, erlauben. Durch diese Verwendung ist also eine automatische und zeitlich unmittelbare Überwachung der Position der vorliegenden Ultraschallsensoren möglich.
Des Weiteren erfindungsgemäß ist ein nichtflüchtiges, computerlesbares Speichermedium mit darauf abgespeicherten Befehlen, die bei ihrer Ausführung auf einem Prozessor das erfindungsgemäße Verfahren bewirken.
Des Weiteren erfindungsgemäß ist ein Fahrunterstützungssystem umfassend mindestens einen Ultraschallsensor der ausgebildet ist, akustische Signale auszusenden und Echosignale aus dem Fahrzeugumfeld zu empfangen, eine Steuereinheit zur Ansteuerung des mindestens einen Ultraschallsensors und eine Auswerteeinheit zur Auswertung der empfangenen Echosignale in Form eines künstlichen neuronalen Netzwerkes, wobei das Fahrerassistenzsystem ausgebildet ist einen Vergleich einer für den Ultraschallsensor hinterlegten Zielposition und -Ausrichtung mit einer über das künstliche neuronale Netzwerk nach dem erfindungsgemäßen Verfahren ermittelten Position und Ausrichtung durchzuführen. Zu den Vorteilen des erfindungsgemäß einsetzbaren Fahrunterstützungssystems wird explizit auf die Vorteile des erfindungsgemäßen Verfahrens verwiesen. Des Weiteren ist anzumerken, dass auf Basis der gewählten Auswertung über ein künstliches neuronales Netzwerk die Rechenleistungen üblicherweise verwendeter Fahrzeug-Zentraleinheiten (ECU) ausreichend sind, sodass hier keine weiteren Investitionen zur Durchführung des erfindungsgemäßen Verfahrens nötig sind.
Weitere Vorteile und vorteilhafte Ausgestaltungen der erfindungsgemäßen Gegenstände werden durch die Zeichnungen veranschaulicht und in der nachfolgenden Beschreibung erläutert. Dabei ist zu beachten, dass die Zeichnungen nur beschreibenden Charakter haben und nicht dazu gedacht sind, die Erfindung in irgendeiner Form einzuschränken. In den Zeichnungen zeigen:

1 schematisch ein Kraftfahrzeug mit Ultraschallsensoren, die zum Senden und Empfangen von Ultraschallsignalen eingerichtet sind;
2 ein mögliches Teilkoordinatensystem zur Kennzeichnung der Position und Ausrichtung eines Ultraschallsensors; und
3 eine mögliche erfindungsgemäße Ausgestaltung einer Sensoranordnung im Rahmen eines erfindungsgemäßen Fahrunterstützungssystems.

Aus der 1 ist schematisch ein Kraftfahrzeug 1 mit Ultraschallsensoren 2 ersichtlich, die zum Senden und Empfangen von Ultraschallsignalen eingerichtet sind. Die Ultraschallsensoren 2 sind einerseits im Frontbereich des Kraftfahrzeugs 1 und andererseits im Heckbereich des Kraftfahrzeugs 1 angeordnet und können dort, wie aus dem Stand der Technik allgemein bekannt, zur Abstandsmessung für Parkvorgänge dienen.
Die 2 zeigt schematisch eine Möglichkeit zur Definition des Einbauortes eines Ultraschallsensors 2. Die Position des Ultraschallsensors 2 lässt sich relativ zum Boden 3 oder zum Referenzuntergrund 3 angeben, wobei die Lage des Ultraschallsensors 2 durch die Höhe 4 vom Boden 3 und den Winkel 5 zum Boden 3 gekennzeichnet ist. Es lassen sich aber auch andere Koordinatensysteme verwenden, welche die relative Lage zwischen Boden 3 und Ultraschallsensor 2 kennzeichnen.
In 3 ist schematisch dargestellt, dass die Ultraschallsensoren 2 gemäß der hier beschriebenen bevorzugten Ausführungsbeispiele der Erfindung Bestandteil einer Sensoranordnung sind, die über die Ultraschallsensoren 2 hinaus eine Zentraleinheit 6 (ECU) aufweist, mit der die Ultraschallsensoren 2 verbunden sind. Die Zentraleinheit 6 steuert die Ultraschallsensoren 2 und kann von den Ultraschallsensoren 2 erfasste Ultraschallsignale verarbeiten. Dazu weist die Zentraleinheit 6 unter anderem ein künstliches neuronales Netzwerk 7, im vorliegenden Fall ein vorwärts gerichtetes künstliches neuronales Netzwerk 7 (FFNN), auf.
Bezugszeichenliste

1: Fahrzeug
2: Ultraschallsensor
3: Boden
4: Höhe
5: Winkel
6: Zentraleinheit
7: künstliches neuronales Netzwerk

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102017208268 B3 [0005]
DE 102012216290 A1 [0006]
DE 102005057973 A1 [0007]

Claims

Verfahren zur Überwachung der Einbauposition und/oder der Ausrichtung mindestens eines Ultraschallsensors (2) eines Fahrzeugs (1), dadurch gekennzeichnet, dass das Verfahren die folgenden Verfahrensschritte umfasst: a) Aussenden eines Ultraschallimpulses durch einen am Fahrzeug (1) angeordneten Ultraschallsensor (2) und Erfassen eines von der Oberfläche eines Oberflächenbelags reflektierten Ultraschallsignals; b) Ausgeben eines oder mehrerer dem erfassten Ultraschallsignal entsprechender Messwerte; c) Eingeben des oder der Messwerte in ein künstliches neuronales Netzwerk (7); d) Ermitteln der Position und Ausrichtung des Ultraschallsensors (2) durch das künstliche neuronale Netzwerk (7), e) Ausgeben eines oder mehrerer für die Ultraschallsensorposition und - Ausrichtung charakterisierenden Werte aus dem künstlichen neuronalen Netzwerk (7).
Verfahren nach Anspruch 1, wobei das künstliche neuronale Netzwerk (7) über Ultraschallsensor-Echodaten trainiert wird, welche mit einem vom Oberflächenbelag (3) verschiedenen Referenzobjekt in einer oder mehreren vordefinierten Entfernungen erhalten wurden.
Verfahren einem der vorhergehenden Ansprüche, wobei das künstliche neuronale Netzwerk (7) über Ultraschallsensor-Echodaten trainiert wird, welche von der Oberfläche eines oder mehrerer definierter Oberflächenbeläge (3) stammen.
Verfahren nach einem der vorhergehenden Ansprüche, wobei das künstliche neuronale Netzwerk (7) über Ultraschallsensor-Echodaten trainiert wird, wobei die Echodaten von einem Ultraschallsensor (2) in unterschiedlichen Einbaupositionen und/oder Ausrichtungen stammen.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Ultraschallsignal-Echodaten vor Eingabe in das künstliche neuronale Netzwerk (7) in unterschiedliche zeitliche Bereiche aufgeteilt werden.
Verfahren nach einem der vorhergehenden Ansprüche, wobei der Messwert in Vektor- oder in Matrixform in das künstliche neuronale Netzwerk (7) eingegeben wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei das künstliche neuronale Netzwerk (7) ein vorwärts gerichtetes neuronales Netzwerk (7), FFNN, ist.
Verfahren nach einem der Ansprüche 2-7, wobei das künstliche neuronale Netzwerk (7) als Eingangswerte neben den Ultraschallsignal-Echodaten auch die konstruktiv vorgesehenen Werte des Einbauwinkels und der -höhe des verwendeten Ultraschallsensors umfassen.
Verfahren nach einem der vorhergehenden Ansprüche, wobei in einen weiteren Verfahrensschritt f) ein Abgleich der über das künstliche neuronale Netzwerk (7) ermittelten Position und Ausrichtung mit einer für den Ultraschallsensor (2) hinterlegten Zielposition und -Ausrichtung erfolgt.
Verwendung eines Verfahrens nach einem der vorhergehenden Ansprüche in einem Kraftfahrzeug (1).
Nichtflüchtiges, computerlesbares Speichermedium mit darauf abgespeicherten Befehlen, die bei ihrer Ausführung auf einem Prozessor ein Verfahren nach einem der Ansprüche 1-9 bewirken.
Fahrunterstützungssystem umfassend mindestens einen Ultraschallsensor (2) der ausgebildet ist, akustische Signale auszusenden und Echosignale aus dem Fahrzeugumfeld zu empfangen, eine Steuereinheit (6) zur Ansteuerung des mindestens einen Ultraschallsensors (2) und eine Auswerteeinheit zur Auswertung der empfangenen Echosignale in Form eines künstlichen neuronalen Netzwerkes (7), dadurch gekennzeichnet, dass das Fahrerassistenzsystem ausgebildet ist einen Vergleich einer für den Ultraschallsensor (2) hinterlegten Zielposition und -Ausrichtung mit einer über das künstliche neuronale Netzwerk (7) nach einem Verfahren der Ansprüche 1-9 ermittelten Position und Ausrichtung durchzuführen.