DE102021102301A1

DE102021102301A1 - Verfahren zum betreiben eines fahrassistenzsystems, computerprogrammprodukt, fahrassistenzsystem und fahrzeug

Info

Publication number: DE102021102301A1
Application number: DE102021102301.7A
Authority: DE
Inventors: Ludovic Mosnier-Thoumas; Markus Heimberger
Original assignee: Valeo Schalter und Sensoren GmbH
Current assignee: Valeo Schalter und Sensoren GmbH
Priority date: 2021-02-02
Filing date: 2021-02-02
Publication date: 2022-08-04

Abstract

Es wird ein Verfahren zum Betreiben eines Fahrassistenzsystems (110) für ein Fahrzeug (100) vorgeschlagen. Bei dem Verfahren wird ein Objekt (VRU) auf Basis eines optischen Sensorsignals (SIG0) ermittelt. Ein Ultraschall-Sensorsignal (ULSO - ULS4) umfasst eine Signatur des Objekts (VRU). Die Signatur (SGNO - SGN4) des Objekts (VRU) in dem Ultraschall-Sensorsignal (ULSO - ULS4) lässt ein Ermitteln des Objekts ausschließlich auf Basis des Ultraschall-Sensorsignals (ULSO - ULS4) nicht zu. Mittels Sensorfusion wird die Signatur (SGNO - SGN4) dem ermittelten Objekt (VRU) zugeordnet. Zu einem späteren Zeitpunkt, wenn das Objekt (VRU) auf Basis des optischen Sensorsignals (SIG0) nicht mehr ermittelbar ist, wird dem Objekt (VRU) weiterhin eine in einem Ultraschall-Sensorsignal (ULSO - ULS4) enthaltene Signatur (SGNO - SGN4) zugeordnet, auch wenn die Signatur (SGNO - SGN4) nach wie vor undeutlich ist. Auf Basis der zugeordneten Signatur (SGNO - SGN4) wird ein Abstand (D) zu dem ermittelten Objekt (VRU) berechnet.

Description

Die vorliegende Erfindung betrifft Verfahren zum Betreiben eines Fahrassistenzsystems, ein Computerprogrammprodukt, ein Fahrassistenzsystem und ein Fahrzeug mit einem Fahrassistenzsystem.
Es sind Fahrzeuge bekannt, die mittels einer Sensorik, wie einer Kamera oder Ultraschall-Sensoren, ihre Umgebung erfassen können. Dabei werden beispielsweise feststehende Objekte, wie Gebäude, geparkte Fahrzeuge oder Bäume erfasst. Weiterhin können bewegliche Objekte, wie andere Verkehrsteilnehmer, erfasst werden.
Verschiedenen Sensortechnologien sind hierbei objektabhängig unterschiedlich sensitiv. Insbesondere weisen Ultraschall-Sensoren bei nichtmotorisierten Verkehrsteilnehmern, wie Fußgängern oder Radfahrern, häufig ein Signal auf, das nicht eindeutig auf die Anwesenheit des Verkehrsteilnehmers schließen lässt. Daher ist es hilfreich, wenn der Verkehrsteilnehmer mit einer anderen Sensortechnologie erfasst wird, wie beispielsweise mit einer Kamera.
Allerdings können Kameras, je nach Bauart und Anordnung an dem Fahrzeug, einen beschränkten Erfassungsbereich aufweisen, insbesondere kann der Erfassungsbereich erst bei einem bestimmten Abstand von dem Fahrzeug beginnen. Objekte, deren Abstand von dem Fahrzeug kleiner ist als der bestimmte Abstand, können von der Kamera dann nicht erfasst werden. Wenn in einem solchen Fall zusätzlich beispielsweise ein Ultraschall-Sensor kein eindeutiges Signal ausgibt, kann es vorkommen, dass ein Objekt sehr nahe bei dem Fahrzeug nicht erkannt wird, was zu gefährlichen Situationen führen kann.
Vor diesem Hintergrund besteht eine Aufgabe der vorliegenden Erfindung darin, den Betrieb eines Fahrassistenzsystems zu verbessern.
Demgemäß wird ein Verfahren zum Betreiben eines Fahrassistenzsystems für ein Fahrzeug vorgeschlagen. Das Verfahren umfasst:

a) Empfangen eines optischen Sensorsignals in einem ersten Zeitintervall, wobei das optische Sensorsignal indikativ für ein in der Umgebung des Fahrzeugs angeordnetes Objekt ist,
b) Ermitteln des Objekts auf Basis des empfangenen optischen Sensorsignals,
c) Empfangen eines ersten Ultraschall-Sensorsignals während des ersten Zeitintervalls, wobei das erste Ultraschall-Sensorsignal eine erste Signatur des Objekts umfasst, und/oder Empfangen einer ersten Mehrzahl von zeitlich aufeinanderfolgenden ersten Ultraschall-Sensorsignalen mit einer jeweiligen ersten Signatur des Objekts während des ersten Zeitintervalls,
d) Ermitteln eines Werts der ersten Signatur, wobei der Wert der ersten Signatur kleiner als ein vorbestimmter Erfassungs-Schwellwert ist und/oder Ermitteln eines jeweiligen Werts der ersten Signaturen der ersten Mehrzahl von ersten Ultraschall-Sensorsignalen, wobei eine Verteilung der Werte der ersten Signaturen der ersten Mehrzahl von ersten Ultraschall-Sensorsignalen eine Breite aufweist, die über einem vorbestimmten oberen Erfassungs-Breitenwert liegt,
e) Zuordnen der ersten Signatur und/oder zumindest einer der ersten Signaturen der ersten Mehrzahl von ersten Ultraschall-Sensorsignalen zu dem ermittelten Objekt,
f) Empfangen eines zweiten Ultraschall-Sensorsignals während eines zweiten Zeitintervalls, wobei das zweite Ultraschall-Sensorsignal eine zweite Signatur des Objekts umfasst, und/oder Empfangen einer zweiten Mehrzahl von zeitlich aufeinanderfolgenden zweiten Ultraschall-Sensorsignalen mit einer jeweiligen zweiten Signatur des Objekts während des zweiten Zeitintervalls,
g) Zuordnen der zweiten Signatur und/oder zumindest einer der zweiten Signaturen der zweiten Mehrzahl von zweiten Ultraschall-Sensorsignalen zu dem ermittelten Objekt, und
h) Berechnen eines Abstands zu dem ermittelten Objekt auf Basis von zumindest einer der zugeordneten Signaturen.

Dieses Verfahren hat den Vorteil, dass das Objekt auch dann erfasst oder ermittelt bleibt, wenn es aus dem Bereich, in dem das Objekt auf Basis des optischen Sensorsignals ermittelbar ist, verschwindet, obwohl das Objekt auf Basis der Ultraschall-Sensorsignale beispielsweise nicht eindeutig ermittelbar ist. Dies gilt insbesondere dann, wenn sich das Objekt so nahe an dem Fahrzeug befindet, dass es auf Basis des optischen Sensorsignals nicht mehr sicher ermittelt werden kann. Das Objekt bleibt hierbei auf Basis der weiterhin empfangenen Ultraschall-Sensorsignale, die die Signatur des Objekts umfassen, ermittelt. Es kann daher beispielsweise vor dem Objekt gewarnt werden, sollte der Nutzer des Fahrzeugs das Fahrzeug zu nahe an das Objekt heransteuern oder wenn eine Kollision mit dem Objekt wahrscheinlich wird.
Bei dem Verfahren zum Betreiben des Fahrassistenzsystems für ein Fahrzeug wird das Objekt auf Basis des optischen Sensorsignals ermittelt. Ein empfangenes Ultraschall-Sensorsignal umfasst eine Signatur des Objekts. Die Signatur des Objekts in dem Ultraschall-Sensorsignal lässt ein Ermitteln des Objekts ausschließlich auf Basis des Ultraschall-Sensorsignals nicht zu. Mittels Sensorfusion wird die Signatur dem ermittelten Objekt zugeordnet. Zu einem späteren Zeitpunkt, wenn das Objekt auf Basis des optischen Sensorsignals insbesondere nicht mehr ermittelbar ist, wird dem Objekt weiterhin eine in einem Ultraschall-Sensorsignal enthaltene Signatur zugeordnet, auch wenn die Signatur nach wie vor undeutlich ist. Auf Basis der zugeordneten Signatur wird ein Abstand zu dem ermittelten Objekt berechnet.
Das optische Sensorsignal wird insbesondere von einer Kamera des Fahrzeugs empfangen, insbesondere einer Front-Kamera, die dafür eingerichtet ist, den Bereich vor dem Fahrzeug zu erfassen. Der Erfassungsbereich der Frontkamera beginnt beispielsweise etwa drei Meter vor dem Fahrzeug. Es sei angemerkt, dass ein Objekt auf Basis des optischen Sensorsignals bereits dann nicht mehr ermittelbar sein kann, wenn das Objekt nur noch teilweise in dem optischen Sensorsignal enthalten ist, wenn also beispielsweise nur der Oberkörper oder Kopf eines Radfahrers in dem optischen Sensorsignal sichtbar ist.
Das erste Zeitintervall ist insbesondere ein Zeitintervall, während dem das Objekt in dem optischen Sensorsignal enthalten ist und auf Basis des optischen Sensorsignals ermittelbar ist.
Wenn das Objekt in dem optischen Sensorsignal ermittelt wurde, beispielsweise mittels eines Objekterkennung-Algorithmus oder dergleichen, kann das Objekt insbesondere in eine digitale Umgebungskarte des Fahrzeugs eingetragen werden. Auf Basis der digitalen Umgebungskarte kann beispielsweise ein Abstand zu dem Objekt ermittelt und/oder eine Trajektorie des Objekts ermittelt werden, insbesondere wenn die Position des Objekts zu mehreren Zeitpunkten erfasst wird. Es lässt sich damit beispielsweise eine wahrscheinliche Kollision des Fahrzeugs mit dem Objekt ermitteln.
Während des ersten Zeitintervalls wird ferner zumindest ein erstes Ultraschall-Sensorsignal oder eine erste Mehrzahl von zeitlich aufeinanderfolgenden ersten Ultraschall-Sensorsignalen empfangen. Das erste Ultraschall-Sensorsignal oder die ersten Ultraschall-Sensorsignale der ersten Mehrzahl umfassen eine erste Signatur des Objekts. Das heißt, dass eine Reflexion eines ausgesandten Ultraschallsignals an dem Objekt stattgefunden hat und das reflektierte Ultraschallsignal empfangen wurde. Die Signatur entspricht damit beispielsweise einem Signal („Peak“) in einem zeitlichen Amplitudenverlauf eines Empfängers eines Ultraschallsensors. Es kann beispielsweise eine Intensität und/oder eine Laufzeit als der Wert der Signatur ermittelt werden.
Die erste Mehrzahl von ersten Ultraschall-Sensorsignalen umfasst beispielsweise alle Ultraschall-Sensorsignale, die während des ersten Zeitintervalls empfangen werden. Vorzugsweise umfasst die erste Mehrzahl von ersten Ultraschall-Sensorsignalen eine vorbestimmte Anzahl an Ultraschall-Sensorsignalen, insbesondere jeweils beginnend mit dem aktuellsten, das heißt dem zuletzt empfangenen Ultraschall-Sensorsignal, in zeitlich zunehmender Reihenfolge.
Es kann von mehreren Ultraschallsensoren jeweils ein erstes Ultraschall-Sensorsignal und/oder eine jeweilige erste Mehrzahl von ersten Ultraschall-Sensorsignalen empfangen werden. Es sei angemerkt, dass nicht alle erste Ultraschall-Sensorsignale, die während des ersten Zeitintervalls empfangen werden, eine jeweilige erste Signatur des Objekts aufweisen müssen. Bei nichtmotorisierten Verkehrsteilnehmern (VRU, englisch: „vulnerable road user“), wie Fußgänger oder Radfahrer, wird ein Ultraschallsignal beispielsweise nur wenig reflektiert oder es wird mehrfach reflektiert oder dergleichen, da ein VRU ein „weiches“ Objekt ist. Daher ist die Signatur eines VRU in dem Ultraschall-Sensorsignal insbesondere schwach ausgeprägt und nicht eindeutig. Dies trifft umso mehr zu, je größer der Abstand zu dem VRU ist.
Der Wert der ersten Signatur liegt insbesondere unter einem vorbestimmten Erfassungs-Schwellwert und/oder eine Verteilung der jeweiligen Werte der ersten Signaturen der ersten Mehrzahl von ersten Ultraschall-Sensorsignalen weist insbesondere eine Breite auf, die über einem vorbestimmten oberen Erfassungs-Breitenwert liegt. Die Verteilung umfasst insbesondere alle Werte der ersten Mehrzahl von ersten Ultraschall-Sensorsignalen. Wenn der Wert der ersten Signatur größer oder gleich dem Erfassungs-Schwellwert ist und/oder die Breite der Verteilung kleiner oder gleich dem oberen Erfassungs-Breitenwert ist, dann gilt das Objekt als auf Basis der ersten Ultraschall-Sensorsignale erfasst, was hier nicht der Fall ist. Das heißt, dass auf Basis des ersten Ultraschall-Sensorsignals und/oder auf Basis der ersten Mehrzahl von ersten Ultraschall-Sensorsignalen eine eindeutige Ermittlung des Objekts nicht möglich ist.
Es sei angemerkt, dass einzelne der ersten Ultraschall-Sensorsignale der ersten Mehrzahl eine Signatur aufweisen können, die einen Wert aufweist, der größer oder gleich dem Erfassungs-Schwellwert ist. Dadurch, dass die erste Mehrzahl von ersten Ultraschall-Sensorsignalen jedoch eine Breite aufweist, die größer ist als ein oberer Erfassungs-Breitenwert, ist das Objekt auf Basis der ersten Mehrzahl dennoch nicht sicher erfassbar. Mit anderen macht zwar das einzelne Ultraschall-Sensorsignal den Anschien, dass das Objekt sicher und eindeutig erfasst ist, eine Statistik über mehrere Ultraschall-Sensorsignale hinweg zeigt jedoch, dass die Erfassung eine große Schwankung oder einen großen Fehler aufweist, was die scheinbare Eindeutigkeit widerlegt.
Obwohl der Wert der ersten Signatur kleiner als der vorbestimmte Erfassungs-Schwellwert ist und/oder obwohl die Breite der Verteilung der Werte der Signaturen über dem vorbestimmten Erfassungs-Schwellwert liegt, wird die erste Signatur und/oder zumindest eine der ersten Signaturen der ersten Mehrzahl von ersten Ultraschall-Sensorsignalen dem ermittelten Objekt zugeordnet. Das heißt, dass ermittelt wird, dass die erste Signatur in den ersten Ultraschall-Sensorsignalen auf das ermittelte Objekt zurückgeht. Man kann auch sagen, dass eine Informationsfusion oder eine Sensorfusion durchgeführt wird, denn das Objekt ist auf Basis des optischen Sensorsignals mit Sicherheit ermittelt und es wird die ungenaue Information, die das erste Ultraschall-Sensorsignal und/oder die erste Mehrzahl von ersten Ultraschall-Sensorsignalen bezüglich des Objekts umfasst, dem ermittelten Objekt zugeordnet.
Im Rahmen der Sensorfusion kann insbesondere ermittelt werden, dass die Signatur des jeweiligen Ultraschall-Sensorsignals charakteristisch für die Art von Objekt ist, die auf Basis des optischen Sensorsignals ermittelt wurde.
Das erste Zeitintervall endet, wenn das Objekt auf Basis des optischen Sensorsignals nicht mehr ermittelt wird, insbesondere weil es zu nahe an dem Fahrzeug ist. Nach dem ersten Zeitintervall folgt das zweite Zeitintervall. Es wird ein zweites Ultraschall-Sensorsignal empfangen und/oder eine zweite Mehrzahl von zeitlich aufeinanderfolgenden zweiten Ultraschall-Sensorsignalen während des zweiten Zeitintervalls empfangen. Das zweite Ultraschall-Sensorsignal oder die zweiten Ultraschall-Sensorsignale der zweiten Mehrzahl umfassen eine zweite Signatur des Objekts. Dem Objekt wird die zweite Signatur des zweiten Ultraschall-Sensorsignals und/oder zumindest eine der zweiten Signaturen der zweiten Mehrzahl von zweiten Ultraschal-Sensorsignalen zugeordnet. Damit bleibt das Objekt weiterhin ermittelt, obwohl es auf Basis des optischen Sensorsignals während des zweiten Zeitintervall insbesondere nicht mehr sicher ermittelbar ist.
Schließlich wird ein Abstand zwischen dem Fahrzeug und dem Objekt auf Basis von zumindest einer der zugeordneten Signaturen berechnet.
Es bleibt somit erstens das Objekt auch nach dem ersten Zeitintervall weiterhin ermittelt und zweitens ist ein Abstand zu dem Objekt bekannt. Daher kann beispielsweise vor einer drohenden Kollision mit dem Objekt gewarnt werden. Dies ist besonders hilfreich bei großen und/oder unübersichtlichen Fahrzeugen, wie Transporten oder LKWs. Objekte, die sich knapp vor und/oder seitlich des Fahrzeugs befinden, sind für den Fahrer nur schlecht oder gar nicht sichtbar (toter Winkel) und können mit den Ultraschall-Sensoren nur schlecht erfasst werden.
Das Verfahren wird vorzugsweise bei einer geringen Fahrzeuggeschwindigkeit eingesetzt, die beispielsweise höchstens 30 km/h, vorzugsweise höchstens 20 km/h, bevorzugt höchstens 15 km/h, weiter bevorzugt höchstens 10 km/h, noch bevorzugt höchstens 7 km/h beträgt.
Gemäß einer Ausführungsform des Verfahrens umfasst der Schritt b) ein Klassifizieren des Objekts als ein nichtmotorisierter Verkehrsteilnehmer, insbesondere als ein Fußgänger und/oder als ein Radfahrer.
Mit anderen Worten handelt es sich bei dem Objekt um einen nichtmotorisierten Verkehrsteilnehmer. Dieser kann anhand des optischen Sensorsignals erkannt und entsprechend klassifiziert werden.
Gemäß einer weiteren Ausführungsform des Verfahrens umfasst der Wert einer jeweiligen Signatur eine Signalhöhe, eine Signalbreite und/oder ein statistisches Moment einer Mehrzahl verteilter Signale in dem jeweiligen Ultraschall-Sensorsignal.
Das Ultraschall-Sensorsignal umfasst insbesondere ein Zeit-Amplituden-Signal, wobei die Amplitude beispielsweise eine Auslenkung einer Membran eines Empfängers des Ultraschallsensors ist. Der zeitliche Verlauf des Zeit-Amplituden-Signals weist insbesondere Signale („Peaks“) auf, wenn eine Reflexion eines abgestrahlten Ultraschallsignals erfasst wird.
Eine Signatur eines harten Objekts umfasst beispielsweise ein schmales, hohes Signal, das eine eindeutige Erfassung des Objekts ermöglicht. Eine Signatur eines weichen Objekts oder eines strukturierten Objekts umfasst beispielsweise ein eher breites Signal, ein eher schwaches Signal und/oder mehrere, zeitlich voneinander getrennte Signale (Mehrfachreflexionen), weshalb eine eindeutige Erfassung des Objekts schwierig oder nicht möglich ist. Der Wert der Signatur kann einen mehrerer Parameter umfassen, wie eine Amplitude eines Signals, eine Breite eines Signals, eine Fläche eines Signals, eine Anzahl an Signalen und/oder eine zeitliche Verteilung mehrerer Signale in dem Ultraschall-Sensorsignal.
Zum Erfassen eines Objekts ausschließlich auf Basis der Ultraschall-Sensorsignale wird insbesondere der Wert der Signatur mit dem vorbestimmten Erfassungs-Schwellwert verglichen. Wenn der Wert unter dem Erfassungs-Schwellwert liegt, dann ist das Objekt nicht erfasst. Der Erfassungs-Schwellwert umfasst beispielsweise eine Mindestamplitude, eine maximale Breite, eine maximale Anzahl von Mehrfachreflexionen und/oder eine maximale Zeitdauer zwischen Mehrfachreflexionen.
Wenn eine Mehrzahl an Ultraschall-Sensorsignalen empfangen wird, die jeweils eine Signatur des Objekts umfassen, dann kann eine Verteilung der Werte der Mehrzahl ermittelt werden, indem für jedes der Ultraschall-Sensorsignale der jeweilige Wert der Signatur ermittelt wird und dann die Mehrzahl ermittelter Werte betrachtet wird. Hierbei kommt jeder der vorgenannten Werte für die Signatur in Betracht. Auf Basis der Mehrzahl ermittelter Werte kann insbesondere eine Statistik durchgeführt werden, insbesondere kann eine Breite der Verteilung ermittelt werden. Wenn die Breite größer als ein vorbestimmter oberer Erfassungs-Breitenwert ist, dann ist das Objekt nicht erfasst.
Gemäß einer weiteren Ausführungsform des Verfahrens weist die zweite Signatur einen Wert auf, der kleiner als der vorbestimmte Erfassungs-Schwellwert ist, und/oder eine Verteilung der Werte der zweiten Signaturen weist eine Breite auf, die über dem vorbestimmten Erfassungs-Breitenwert liegt.
Das heißt, dass das Objekt allein auf Basis des zweiten Ultraschall-Sensorsignals und/oder auf Basis der zweiten Mehrzahl von zweiten Ultraschall-Sensorsignalen nicht ermittelbar ist. Dadurch, dass das Objekt bereits ermittelt wurde und beispielsweise in der digitalen Umgebungskarte vorhanden ist, bleibt das Objekt dennoch allein auf Basis des zweiten Ultraschall-Sensorsignals und/oder auf Basis der zweiten Mehrzahl von zweiten Ultraschall-Sensorsignalen weiterhin ermittelt. Vorteilhaft ist hierbei weiterhin bekannt, dass es sich um einen VRU handelt, was allein auf Basis der Ultraschall-Sensorsignale beispielsweise nicht ermittelbar ist, da eine Klassifikation des Objekts auf Basis der Ultraschall-Sensorsignale nicht oder kaum möglich ist.
Gemäß einer weiteren Ausführungsform des Verfahrens weist die zweite Signatur einen Wert auf, der größer oder gleich dem vorbestimmter Erfassungs-Schwellwert ist, und/oder eine Verteilung der Werte der zweiten Signaturen weist eine Breite auf, die kleiner oder gleich dem vorbestimmten Erfassungs-Breitenwert ist.
Das heißt, dass das Objekt allein auf Basis des zweiten Ultraschall-Sensorsignals und/oder auf Basis der zweiten Mehrzahl von zweiten Ultraschall-Sensorsignalen ermittelbar ist. Vorteilhaft ist hierbei weiterhin bekannt, dass es sich um einen VRU handelt, was allein auf Basis der Ultraschall-Sensorsignale beispielsweise nicht ermittelbar ist, da eine Klassifikation des Objekts auf Basis der Ultraschall-Sensorsignale nicht oder kaum möglich ist.
Gemäß einer weiteren Ausführungsform des Verfahrens wird die Breite der Verteilung der Werte als ein statistisches Moment der Verteilung, insbesondere als eine Standardabweichung und/oder eine Varianz der Verteilung, ermittelt.
Gemäß einer weiteren Ausführungsform des Verfahrens werden während des zweiten Zeitintervalls ausschließlich solche optische Sensorsignale empfangen, welche ein Ermitteln des Objekts nicht ermöglichen.
Gemäß einer weiteren Ausführungsform des Verfahrens weist das Objekt während des ersten Zeitintervalls einen Abstand von über zwei Meter, vorzugsweise über drei Meter, bevorzugt über vier Meter, weiter bevorzugt über fünf Meter, zu dem Fahrzeug auf.
Das erste Zeitintervall endet insbesondere dann, wenn das Objekt den Abstand unterschreitet, als beispielsweise dem Fahrzeug näher als drei Meter kommt.
Gemäß einer weiteren Ausführungsform des Verfahrens weist das Objekt während des zweiten Zeitintervalls einen Abstand von unter fünf Meter, vorzugsweise unter vier Meter, bevorzugt unter drei Meter, weiter bevorzugt unter zwei Meter, zu dem Fahrzeug auf.
Gemäß einer weiteren Ausführungsform des Verfahrens umfasst dieses ein Ausgeben eines Warnsignals, wenn der berechnete Abstand zu dem Objekt kleiner oder gleich als ein vorbestimmter Warnschwellwert ist.
Das Warnsignal umfasst insbesondere ein visuelles, akustisches und/oder haptisches Warnsignal an einen Nutzer des Fahrzeugs. Das Warnsignal kann weiterhin ein elektronisches Signal umfassen, das beispielsweise eine Notbremsung und/oder ein Ausweichmanöver auslösen kann.
Gemäß einer weiteren Ausführungsform des Verfahrens wird der Abstand zwischen dem Fahrzeug und dem ermittelten Objekt nach dem ersten Zeitintervall auf Basis von weiteren empfangenen Ultraschall-Sensorsignalen ständig neu berechnet.
Das heißt, dass jedes aktuelle Ultraschall-Sensorsignal, das die Signatur des Objekts aufweist, in die Berechnung des Abstands mit einfließt. Insbesondere wird der Abstand als ein gleitender Mittelwert auf Basis der N zuletzt empfangenen Ultraschall-Sensorsignale und/oder auf Basis der in den letzten M Sekunden empfangenen Ultraschall-Sensorsignale ermittelt. Hierbei ist N beispielsweise eine ganze Zahl mit N ≥ 2, M ist beispielsweise eine Zahl aus dem Intervall (0;5].
Vorteilhaft ist der Abstand zu dem Objekt damit jederzeit so genau wie möglich bekannt.
Gemäß einem zweiten Aspekt wird ein Computerprogrammprodukt vorgeschlagen, welches Befehle umfasst, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das vorstehend beschriebene Verfahren gemäß dem ersten Aspekt auszuführen.
Ein Computerprogrammprodukt, wie z.B. ein Computerprogramm-Mittel, kann beispielsweise als Speichermedium, wie z.B. Speicherkarte, USB-Stick, CD-ROM, DVD, oder auch in Form einer herunterladbaren Datei von einem Server in einem Netzwerk bereitgestellt oder geliefert werden. Dies kann zum Beispiel in einem drahtlosen Kommunikationsnetzwerk durch die Übertragung einer entsprechenden Datei mit dem Computerprogrammprodukt oder dem Computerprogramm-Mittel erfolgen.
Gemäß einem dritten Aspekt wird ein Fahrassistenzsystem für ein Fahrzeug vorgeschlagen. Das Fahrassistenzsystem umfasst:

eine Empfangseinheit zum Empfangen eines optischen Sensorsignals in einem ersten Zeitintervall, wobei das optische Sensorsignal indikativ für ein in der Umgebung des Fahrzeugs angeordnetes Objekt ist, und zum Empfangen eines ersten Ultraschall-Sensorsignals während des ersten Zeitintervalls, wobei das erste Ultraschall-Sensorsignal eine erste Signatur des Objekts umfasst, und/oder zum Empfangen einer ersten Mehrzahl von zeitlich aufeinanderfolgenden ersten Ultraschall-Sensorsignalen mit einer jeweiligen ersten Signatur des Objekts während des ersten Zeitintervalls,
eine Ermittlungseinheit zum Ermitteln des Objekts auf Basis des empfangenen optischen Sensorsignals, und zum Ermitteln eines Werts der ersten Signatur, wobei der Wert der ersten Signatur kleiner als ein vorbestimmter Erfassungs-Schwellwert ist und/oder zum Ermitteln eines jeweiligen Werts der ersten Signaturen der ersten Mehrzahl von ersten Ultraschall-Sensorsignalen, wobei eine Verteilung der Werte der ersten Signaturen der ersten Mehrzahl von ersten Ultraschall-Sensorsignalen eine Breite aufweist, die über einem vorbestimmten oberen Erfassungs-Breitenwert liegt, und
eine Fusionseinheit zum Zuordnen der ersten Signatur und/oder zumindest einer der ersten Signaturen der ersten Mehrzahl von ersten Ultraschall-Sensorsignalen zu dem ermittelten Objekt, wobei

Die zu dem Verfahren gemäß dem ersten Aspekt erläuterten Vorteile und Definitionen gelten für das Fahrassistenzsystem entsprechend. Weiterhin gelten die für das vorgeschlagene Verfahren beschriebenen Ausführungsformen und Merkmale für das vorgeschlagene Fahrassistenzsystem entsprechend.
Das Fahrassistenzsystem wird vorzugsweise mit dem Verfahren gemäß dem ersten Aspekt betrieben.
Die jeweilige Einheit des Fahrassistenzsystems kann hardwaretechnisch und/oder softwaretechnisch implementiert sein. Bei einer hardwaretechnischen Implementierung kann die jeweilige Einheit zum Beispiel als Computer oder als Mikroprozessor ausgebildet sein. Bei einer softwaretechnischen Implementierung kann die jeweilige Einheit als Computerprogrammprodukt, als eine Funktion, als eine Routine, als ein Algorithmus, als Teil eines Programmcodes oder als ausführbares Objekt ausgebildet sein. Ferner kann jede der vorliegend genannten Einheiten auch als Teil eines übergeordneten Steuerungssystems des Fahrzeugs, wie beispielsweise einer zentralen elektronischen Steuereinrichtung und/oder einem Motorsteuergerät (ECU: Engine Control Unit), ausgebildet sein.
Gemäß einem vierten Aspekt wird ein Fahrzeug vorgeschlagen. Das Fahrzeug umfasst einen optischen Sensor zum Erfassen und Ausgeben eines optischen Sensorsignals einer Umgebung des Fahrzeugs und einen Ultraschall-Sensor zum Erfassen und Ausgeben eines Ultraschall-Sensorsignals der Umgebung des Fahrzeugs. Weiterhin weist das Fahrzeug ein Fahrassistenzsystem gemäß dem dritten Aspekt auf.
Das Fahrzeug ist beispielsweise ein Personenkraftwagen oder auch ein Lastkraftwagen. Der optische Sensor umfasst insbesondere eine Bildaufnahmeeinrichtung, wie eine Kamera, und/oder ein Radar (engl. radio detection and ranging) oder auch ein Lidar (engl. light detection and ranging). Das Fahrzeug umfasst vorzugsweise weitere Sensoren, wie Ortungssensoren, Lenkwinkelsensoren, Radwinkelsensoren und/oder Raddrehzahlsensoren. Die Sensoren sind jeweils zum Ausgeben eines Sensorsignals eingerichtet, beispielsweise an das Fahrassistenzsystem, welches dazu eingerichtet sein kann, das Fahrzeug teilautonom oder vollautonom in Abhängigkeit der empfangenen Sensorsignale zu steuern.
Gemäß einer Ausführungsform ist das Fahrzeug als ein Transporter und/oder ein LKW ausgebildet. Insbesondere weist das Fahrzeug eine Masse von über 2,5 Tonnen und/oder eine Länge von über 5 Meter auf.
Gemäß einer weiteren Ausführungsform weist das Fahrzeug eine Dachhöhe von über 2,20 Meter auf, wobei der optische Sensor in einer Höhe von über 2 Meter angeordnet ist.
Bei dieser Ausführungsform weist der optische Sensor insbesondere einen Erfassungsbereich auf, der ein Ermitteln von Objekten, die näher als beispielsweise drei Meter bei dem Fahrzeug sind, nicht ermöglicht. In diesem Fall ist das Fahrassistenzsystem gemäß dem dritten Aspekt besonders vorteilhaft, da derartige Objekte dann auf Basis der Ultraschall-Sensorsignale ermittelt bleiben und deren Abstand bekannt ist.
Insbesondere ist der optische Sensor als eine Frontkamera ausgebildet, die an einem oberen Rand der Frontscheibe des Fahrzeugs angeordnet ist.
Weitere mögliche Implementierungen der Erfindung umfassen auch nicht explizit genannte Kombinationen von zuvor oder im Folgenden bezüglich der Ausführungsbeispiele beschriebenen Merkmale oder Ausführungsformen. Dabei wird der Fachmann auch Einzelaspekte als Verbesserungen oder Ergänzungen zu der jeweiligen Grundform der Erfindung hinzufügen.
Weitere vorteilhafte Ausgestaltungen und Aspekte der Erfindung sind Gegenstand der Unteransprüche sowie der im Folgenden beschriebenen Ausführungsbeispiele der Erfindung. Im Weiteren wird die Erfindung anhand von bevorzugten Ausführungsformen unter Bezugnahme auf die beigelegten Figuren näher erläutert.

1 zeigt eine schematische Ansicht eines Fahrzeugs;
2 zeigt eine schematische Ansicht eines Fahrzeugs mit unterschiedlichen Erfassungsbereichen für verschiedene Sensoren;
3 zeigt eine schematische Seitenansicht eines Fahrzeugs mit unterschiedlichen Sensoren;
4A zeigt ein Diagramm mit mehreren beispielhaften Ultraschall-Sensorsignalen;
4B zeigt ein Diagramm eines weiteren beispielhaften Ultraschall-Sensorsignals;
5A - 5C zeigen jeweils ein Diagramm eines Abstands zwischen einem Fahrzeug und einem Objekt;
6 zeigt ein schematisches Blockschaltbild eines Ausführungsbeispiels für ein Fahrassistenzsystem; und
7 zeigt ein schematisches Blockschaltbild eines Ausführungsbeispiels für ein Verfahren zum Betreiben eines Fahrassistenzsystems.

In den Figuren sind gleiche oder funktionsgleiche Elemente mit denselben Bezugszeichen versehen worden, sofern nichts anderes angegeben ist.
1 zeigt eine schematische Ansicht eines Fahrzeugs 100 aus einer Vogelperspektive. Das Fahrzeug 100 ist beispielsweise ein LKW, der in einer Umgebung 200 angeordnet ist. Der LKW 100 weist ein Fahrassistenzsystem 110 auf, das beispielsweise als ein Steuergerät ausgebildet ist. Zudem sind an dem LKW eine Mehrzahl an Umgebungssensoreinrichtungen 120, 130 angeordnet, wobei es sich beispielhaft einen optische Sensor 120 und mehrere Ultraschallsensoren 130 handelt. Der optische Sensor 120 umfasst beispielsweise eine visuelle Kamera, ein Radar und/oder ein Lidar. Der optische Sensor 120 kann ein Bild eines jeweiligen Bereichs aus der Umgebung 200 des LKWs 100 erfassen und als optisches Sensorsignal SIG0 (siehe 6) ausgeben. Der LKW 100 weist insbesondere eine Frontkamera, die an einem oberen Rand der Frontscheibe angeordnet ist auf. Die Ultraschallsensoren 130 sind insbesondere zum Erfassen eines Abstands zu in der Umgebung 200 angeordneten Objekten VRU (siehe 3 oder 5A - 5C) und zum Ausgeben eines entsprechenden Sensorsignals ULSO - ULS4 (siehe 4A, 4B oder 5) eingerichtet. Mittels den von den Sensoren 120, 130 erfassten Sensorsignalen SIG0, ULS0 - ULS4 kann das Fahrassistenzsystem 110 in der Lage sein, Objekte VRU in der Umgebung 200 zu ermitteln, wie nachfolgend anhand der 2 - 5 detailliert erläutert. Außer den in der 1 dargestellten optischen Sensoren 120 und Ultraschallsensoren 130 kann vorgesehen sein, dass das Fahrzeug 100 verschiedene weitere Sensoreinrichtungen 120, 130 aufweist. Beispiele hierfür sind ein Mikrofon, ein Beschleunigungssensor, eine Antenne mit gekoppeltem Empfänger zum Empfangen von elektromagnetisch übertragbarer Datensignale, und dergleichen mehr.
2 zeigt eine schematische Ansicht eines Fahrzeugs 100 mit Erfassungsbereichen für verschiedene Sensoren 120, 130, wobei es sich um einen optischen Sensor 120 und sechs Ultraschallsensoren 130 handelt. Aus Gründen der Übersicht ist nur einer der Ultraschallsensoren 130 mit einem Bezugszeichen gekennzeichnet.
Die Ultraschallsensoren 130 sind insbesondere zum Erfassen von Objekten VRU (siehe 3 oder 5A - 5C) in einem Nahbereich des Fahrzeugs 100 eingerichtet. In diesem Beispiel ist der Nahbereich in zwei Abstände DU1, DU2 eingeteilt. In dem ersten Bereich, der von den Ultraschallsensoren 130 bis zu dem ersten Abstand DU1 reicht, weisen die Ultraschallsensoren 130 insbesondere eine hohe Ortsauflösung auf. In dem zweiten Bereich, der von dem ersten Abstand DU1 bis zu dem zweiten Abstand DU2 reicht, weisen die Ultraschallsensoren 130 noch eine ausreichende Ortsauflösung auf. Über den zweiten Bereich hinaus können Objekte VRU von den Ultraschallsensoren 130 zwar in Einzelfällen noch erfasst werden, allerdings ist eine zuverlässige Erfassung nicht mehr gewährleistet. DU1 weist beispielsweise einen Wert von zwei Metern auf und DU2 weist beispielsweise einen Wert von zehn Metern auf. Für bestimmte Objekte VRU, insbesondere nichtmotorisierte Verkehrsteilnehmer, wie Fußgänger oder Radfahrer, kann auch in dem ersten und zweiten Bereich die Erfassung problematisch sein, da diese Objekte VRU beispielsweise keine klar definierte Oberfläche aufweisen, die das Ultraschallsignal ULS (siehe 3) reflektiert. Dies kann dazu führen, dass eine Ermittlung eines solchen Objekts VRU auf Basis der Ultraschall-Sensorsignale ULS0 - ULS4 (siehe 4A, 4B oder 6) nicht eindeutig möglich ist, auch wenn sich das Objekt VRU in dem ersten oder zweiten Bereich befindet. Es sei angemerkt, dass die beiden Bereiche hier nur zu Erklärungszwecken eingeführt sind, bei einem realen Sensor nimmt die Sensitivität der Ultraschallsensoren 130 mit zunehmendem Abstand insbesondere kontinuierlich ab. Der Übergang von dem ersten Erfassungsbereich zu dem zweiten Erfassungsbereich kann beispielsweise als der Abstand definiert sein, an dem die Sensitivität auf 1/e der maximalen Sensitivität abgefallen ist.
Der optische Sensor 120 ist insbesondere als eine Frontkamera ausgebildet. Diese ist dazu eingerichtet, Objekte VRU zu erfassen, die einen mittleren bis hohen Abstand zu dem Fahrzeug 100 aufweisen. Der Erfassungsbereich beginnt daher erst bei einem Abstand DC1 und reicht bis zu einem Abstand DC2. DC1 weist beispielsweise einen Wert von drei Metern auf und DC2 weist beispielsweise einen Wert von 100 Metern auf. Objekte VRU, die in dem Erfassungsbereich zwischen DC1 und DC2 sind, werden von der Frontkamera 120 erfasst und können auf Basis des optischen Sensorsignals SIG0 ermittelt werden. Es sei angemerkt, dass Objekte VRU, die nur teilweise in dem dargestellten Erfassungsbereich liegen und daher nur teilweise in dem optischen Sensorsignal SIG0 enthalten sind, nicht mit Sicherheit ermittelt werden können.
Die 3 zeigt eine schematische Seitenansicht eines Fahrzeugs 100, beispielsweise des Fahrzeugs 100 der 1 oder der 2. Das Fahrzeug 100 weist eine in einem Dachbereich angeordnete Frontkamera 120 und mehreren in einem Stoßfängerbereich angeordnete Ultraschallsensoren 130 (in dieser Ansicht ist nur ein Ultraschallsensor dargestellt) auf. Die Frontkamera 120 hat einen durch die gestrichelten Linien dargestellten Erfassungsbereich, der bei einem Abstand DC1 vor dem Fahrzeug 100 beginnt. Die Ultraschallsensoren 130 senden Ultraschallsignale ULS aus, die von Objekten VRU in der Umgebung reflektiert werden können. Vor dem Fahrzeug 100 ist ein Radfahrer VRU dargestellt. Der Radfahrer VRU wird von der Frontkamera 120 nur noch teilweise erfasst, weshalb eine Ermittlung des Radfahrers VRU auf Basis des optischen Sensorsignals SIG0 (siehe 6) der Frontkamera 120 nicht sichergestellt ist. Das Ultraschallsignal ULS wird von dem Radfahrer VRU nur stark gedämpft reflektiert oder es finden mehrere Reflexionen an mehreren Flächen des Radfahrers VRU statt, weshalb die Signatur SGN0 - SGN4 (siehe 4A, 4B) des Objekts VRU in dem empfangenen Ultraschall-Sensorsignal ULS0 - ULS4 (siehe 4A, 4B oder 6) undeutlich ist, so dass auf Basis des Ultraschall-Sensorsignals ULS0 - ULS4 allein der Radfahrer VRU nicht oder nur mit sehr großem Fehler erfassbar ist.
Die 4A zeigt ein Diagramm mit mehreren Ultraschall-Sensorsignalen ULS1 - ULS4. Die hier gezeigten Ultraschall-Sensorsignalen ULS1 - ULS4 sind beispielhaft für unterschiedliche Objekte VRU (siehe 3 oder 5A - 5C). Das Diagramm weist eine Zeitachse t (horizontale Achse) und eine Intensitätsachse I (vertikale Achse) auf. Ein jeweiliges Ultraschall-Sensorsignal ULS1 - ULS4 umfasst damit einen zeitlichen Verlauf einer empfangenen Intensität l(t).
Ein erstes Ultraschall-Sensorsignal ULS1 weist ein einzelnes, klar definiertes Signal („Peak“) auf. Der Peak kann auch als die Signatur SGN1 des Ultraschall-Sensorsignals ULS1 bezeichnet werden. Das Ultraschall-Sensorsignal ULS1 ist ein Beispiel für ein eindeutiges Sensorsignal, das die Ermittlung eines Objekts VRU und beispielsweise eines Abstands zu dem Objekt VRU ermöglicht. Insbesondere ist ein Amplitudenmaximum Amax (siehe 4B) des Sensorsignals ULS1 höher als ein vorbestimmter Erfassungs-Schwellwert TH für die Amplitude. Das Sensorsignal ULS1 wird beispielsweise von einem harten Objekt mit einer wohldefinierten Reflexionsfläche erzeugt.
Ein zweites Ultraschall-Sensorsignal ULS2 weist eine Signatur SGN2 mit zwei Signalen (Peaks) auf, die zeitlich voneinander getrennt sind und unterschiedliche Amplituden aufweisen. Dies deutet beispielsweise auf eine doppelte Reflexion hin. Die beiden Peaks liegen jeweils unter dem Erfassungs-Schwellwert TH.
Ein drittes Ultraschall-Sensorsignal ULS3 weist eine Signatur SGN3 auf, die einen einzelnen, breiten Peak hat. Dies weist auf eine weiche Oberfläche eines Objekts hin. Eine maximale Amplitude des breiten Peaks liegt unter dem Erfassungs-Schwellwert TH.
Ein viertes Ultraschall-Sensorsignal ULS4 weist eine Signatur SGN4 mit vielen kleinen, zeitlich voneinander getrennten Peaks auf. Dies weist auf ein Objekt hin, das viele kleine Oberflächen mit unterschiedlichem Abstand zu dem Ultraschallsensor aufweist. Alle Peaks der Signatur SGN4 liegen unter dem Erfassungs-Schwellwert TH.
Die hier dargestellten Ultraschall-Sensorsignale ULS1 - ULS4 werden auf Basis eines einzelnen Ultraschallsignals ULS (siehe 3) erfasst. Auf Basis der jeweiligen Signatur SGN1 - SGN4 der Signale ULS1 - ULS4 lässt sich ein jeweiliger Wert ermitteln, wie beispielhaft in der 4B an einem weiteren Ultraschall-Sensorsignal ULS0 dargestellt. Das Ultraschall-Sensorsignal ULS0 umfasst eine Signatur SGNO, die einen einzelnen Peak umfasst. Für diesen Peak kann als der Wert der Signatur SGN0 beispielsweise eine maximale Amplitude Amax sowie eine Halbwertsbreite FWHM ermittelt werden. Diese Größen sind beispielsweise charakteristisch für das Objekt, das die Signatur SGN0 erzeugt. Weitere charakteristische Werte sind beispielsweise die Anzahl an Peaks in einem einzelnen Ultraschall-Sensorsignal, sowie beispielsweise die Verteilung der Amplituden Amax und/oder Breiten FWHM bei mehreren Peaks in einem einzelnen Ultraschall-Sensorsignal.
Wenn eine Mehrzahl von zeitlich aufeinanderfolgenden Ultraschall-Sensorsignalen empfangen wird (nicht dargestellt), so kann für jedes Ultraschall-Sensorsignal der Wert (oder mehrere Werte) der jeweiligen Signatur ermittelt werden und auf Basis der Mehrzahl ermittelter Werte eine Verteilung ermittelt werden. Auf Basis dieser Verteilung lassen sich wiederum Werte, insbesondere statistische Momente der Verteilung, ermitteln, wie eine Breite der Verteilung. Auf Basis der Breite der Verteilung kann insbesondere ermittelt werden, ob die mehreren Ultraschall-Sensorsignale eine eindeutige Signatur eines Objekts umfassen, indem die Breite mit einem vorbestimmten oberen Erfassungs-Breitenwert verglichen wird.
Anhand der 5A - 5C ist nachfolgend ein Ermitteln eines Objekts VRU, an das sich ein Fahrzeug 100 annähert, auf Basis des optischen Sensorsignals SIG0 und der Ultraschall-Sensorsignale ULS0 - ULS4 näher erläutert.
5A - 5C zeigen jeweils ein Diagramm eines Abstands D zwischen einem Fahrzeug 100 und einem Objekt VRU. Es handelt sich bei dem Fahrzeug 100 beispielsweise um einen LKW mit einer Frontkamera 120 (siehe 1 - 3), die auf Höhe der vorderen Dachkante angeordnet ist und deren Erfassungsbereich etwa drei Meter (Abstandsmarkierung DC1) vor dem Fahrzeug 100 beginnt. Der LKW 100 weist weiterhin mehrere Ultraschallsensoren 130 (siehe 1 - 3) auf, deren Erfassungsbereich bis zu einem Abstand D von etwa zehn Metern (Abstandsmarkierung DU2) vor dem LKW 100 reicht. Ab einem Abstand D von etwa zwei Metern (Abstandmarkierung DU1) ist die Genauigkeit der Ultraschallsensoren 130 besonders gut.
Das Objekt VRU ist beispielsweise ein Radfahrer, der an einer roten Ampel steht. Der LKW 100 nähert sich von hinten an den Radfahrer VRU und die rote Ampel an.
5A zeigt die Anfangssituation (Zeitpunkt t0), in der der Abstand D(t0) zwischen dem LKW 100 und dem Radfahrer VRU noch hoch ist. Der Radfahrer VRU wird bereits von der Frontkamera 120 erfasst und auf Basis des optischen Sensorsignals SIG0 (siehe 6) ermittelt.
5B zeigt die Situation zu einem ersten Zeitpunkt t1 während eines ersten Zeitintervalls, an dem der aktuelle Abstand D(t1) des Radfahrers VRU derart ist, dass dieser sowohl von der Frontkamera 120 als auch von den Ultraschallsensoren 130 erfasst wird. Zu diesem Zeitpunkt t1 wird der Radfahrer VRU daher weiterhin auf Basis des optischen Sensorsignals SIG0 ermittelt. Zusätzlich weisen die Ultraschall-Sensorsignale ULS0 - ULS4 (siehe 4A oder 4B), die während des ersten Zeitintervalls empfangen werden, eine Signatur SGN0 - SGN4 (siehe 4A oder 4B) des Radfahrers VRU auf, die jedoch derart ist, dass der Radfahrer VRU auf Basis der Signatur SGN0 - SGN4 nicht eindeutig ermittelbar ist. Da der Radfahrer VRU jedoch bereits auf Basis des optischen Sensorsignals SIG0 ermittelt ist, also im System bekannt ist, kann mittels Sensorfusion die Signatur SGN0 - SGN4 des empfangenen Ultraschall-Sensorsignals ULS0 - ULS4 dennoch dem Radfahrer VRU zugeordnet werden. Hierbei kann insbesondere berücksichtigt werden, ob die Signatur SGN0 - SGN4 charakteristisch für einen Radfahrer VRU ist.
5C zeigt die Situation zu einem zweiten Zeitpunkt t2 während eines zweiten Zeitintervalls, an dem der Abstand D(t2) des Radfahrers VRU derart ist, dass dieser auf Basis des optischen Sensorsignals SIG0 nicht mehr ermittelt werden kann. Der Radfahrer VRU wird daher nur noch von den Ultraschallsensoren 130 erfasst. Unabhängig davon, ob die jeweilige Signatur SGN0 - SGN4 in den empfangenen Ultraschall-Sensorsignalen ULS0 - ULS4 ein Ermitteln des Objekts VRU eindeutig oder nicht eindeutig zulässt, bleibt hierbei die Information, dass das Objekt VRU ein Radfahrer ist, erhalten, da eine im Wesentlichen unterbrechungsfreie Nachverfolgung des Objekts VRU erfolgt ist.
6 zeigt ein schematisches Blockschaltbild eines Ausführungsbeispiels für ein Fahrassistenzsystem 110, beispielsweise das Fahrassistenzsystem 110 des Fahrzeugs 100 der 1. Das Fahrassistenzsystem 110 umfasst eine Empfangseinheit 112 zum Empfangen eines optischen Sensorsignals SIG0 in einem ersten Zeitintervall, wobei das optische Sensorsignal SIG0 indikativ für ein in der Umgebung 200 (siehe 1) des Fahrzeugs 100 angeordnetes Objekt VRU (siehe 3 oder 5A - 5C) ist, und zum Empfangen eines ersten Ultraschall-Sensorsignals ULS0 - ULS4 während des ersten Zeitintervalls, wobei das erste Ultraschall-Sensorsignal ULS0 - ULS4 eine erste Signatur SGN0 - SGN4 (siehe 4A oder 4B) des Objekts VRU umfasst, und/oder zum Empfangen einer ersten Mehrzahl von zeitlich aufeinanderfolgenden ersten Ultraschall-Sensorsignalen ULS0 - ULS4 mit einer jeweiligen ersten Signatur SGN0 - SGN4 des Objekts VRU während des ersten Zeitintervalls, und eine Ermittlungseinheit 114 zum Ermitteln des Objekts VRU auf Basis des empfangenen optischen Sensorsignals SIG0, und zum Ermitteln eines Werts Amax, FWHM (siehe 4B) der ersten Signatur SGN0 - SGN4, wobei der Wert Amax, FWHM der ersten Signatur SGN0 - SGN4 kleiner als ein vorbestimmter Erfassungs-Schwellwert ist und/oder zum Ermitteln eines jeweiligen Werts Amax, FWHM der ersten Signaturen SGN0 - SGN4 der ersten Mehrzahl von ersten Ultraschall-Sensorsignalen ULS0 - ULS4, wobei eine Verteilung der Werte Amax, FWHM der ersten Signaturen SGN0 - SGN4 der ersten Mehrzahl von ersten Ultraschall-Sensorsignalen ULS0 - ULS4 eine Breite FWHM aufweist, die über einem vorbestimmten oberen Erfassungs-Breitenwert liegt, und eine Fusionseinheit 116 zum Zuordnen der ersten Signatur SGN0 - SGN4 und/oder zumindest einer der ersten Signaturen SGN0 - SGN4 der ersten Mehrzahl von ersten Ultraschall-Sensorsignalen ULS0 - ULS4 zu dem ermittelten Objekt VRU.
Die Empfangseinheit 112 ist ferner zum Empfangen eines zweiten Ultraschall-Sensorsignals ULS0 - ULS4 während eines zweiten Zeitintervalls eingerichtet, wobei das zweite Ultraschall-Sensorsignal ULS0 - ULS4 eine zweite Signatur SGN0 - SGN4 des Objekts VRU umfasst, und/oder ist zum Empfangen einer zweiten Mehrzahl von zeitlich aufeinanderfolgenden zweiten Ultraschall-Sensorsignalen ULS0 - ULS4 mit einer jeweiligen zweiten Signatur SGN0 - SGN4 des Objekts VRU während des zweiten Zeitintervalls eingerichtet, und die Fusionseinheit 116 ist ferner zum Zuordnen der zweiten Signatur SGN0 - SGN4 und/oder zumindest einer der zweiten Signaturen SGN0 - SGN4 der zweiten Mehrzahl von zweiten Ultraschall-Sensorsignalen ULS0 - ULS4 zu dem ermittelten Objekt VRU eingerichtet, und wobei die Ermittlungseinheit 114 ist zusätzlich zum Berechnen eines Abstands D (siehe 5A - 5C) zwischen dem Fahrzeug 100 und dem Objekt VRU auf Basis von zumindest einer der dem Objekt VRU zugeordneten Signaturen SGN0 - SGN4 eingerichtet.
7 zeigt ein schematisches Blockschaltbild eines Ausführungsbeispiels für ein Verfahren zum Betreiben eines Fahrassistenzsystems 110 (siehe 1 oder 6) für ein Fahrzeug 100 (siehe 1 - 3), beispielsweise des Fahrassistenzsystems 110 der 6. In einem ersten Schritt S1 wird ein optisches Sensorsignal SIG0 (siehe 6) in einem ersten Zeitintervall empfangen, wobei das optische Sensorsignal SIG0 indikativ für ein in der Umgebung 200 (siehe 1) des Fahrzeugs 100 angeordnetes Objekt VRU (siehe 3 oder 5A - 5C) ist. In einem zweiten Schritt S2 wird das Objekt VRU auf Basis des empfangenen optischen Sensorsignals SIG0 ermittelt. Beispielsweise wird eine Bildanalyse inklusive einer Objektklassifikation durchgeführt. In einem dritten Schritt S3 wird ein erstes Ultraschall-Sensorsignal ULS0 - ULS4 (siehe 4A, 4B oder 6) während des ersten Zeitintervalls empfangen, wobei das erste Ultraschall-Sensorsignal ULS0 - ULS4 eine erste Signatur SGN0 - SGN4 (siehe 4A oder 4B) des Objekts VRU umfasst, und/oder es wird eine erste Mehrzahl von zeitlich aufeinanderfolgenden ersten Ultraschall-Sensorsignalen ULS0 - ULS4 mit einer jeweiligen ersten Signatur SGN0 - SGN4 des Objekts VRU während des ersten Zeitintervalls empfangen. In einem vierten Schritt S4 wird ein Wert Amax, FWHM (siehe 4B) der ersten Signatur SGN0 - SGN4 ermittelt, wobei der Wert Amax, FWHM der ersten Signatur SGN0 - SGN4 kleiner als ein vorbestimmter Erfassungs-Schwellwert TH (siehe 4A) ist und/oder es wird ein jeweiliger Wert Amax, FWHM der ersten Signaturen SGN0 - SGN4 der ersten Mehrzahl von ersten Ultraschall-Sensorsignalen ULS0 - ULS4 ermittelt, wobei eine Verteilung der Werte Amax, FWHM der ersten Signaturen SGN0 - SGN4 der ersten Mehrzahl von ersten Ultraschall-Sensorsignalen ULS0 - ULS4 eine Breite FWHM aufweist, die über einem vorbestimmten oberen Erfassungs-Breitenwert liegt. In einem fünften Schritt wird die erste Signatur SGN0 - SGN4 und/oder zumindest einer der ersten Signaturen SGN0 - SGN4 der ersten Mehrzahl von ersten Ultraschall-Sensorsignalen ULS0 - ULS4 dem ermittelten Objekt VRU zugeordnet. Dies basiert insbesondere auf einer Sensorfusion. In einem sechsten Schritt wird ein zweites Ultraschall-Sensorsignal ULS0 - ULS4 während eines zweiten Zeitintervalls empfangen, wobei das zweite Ultraschall-Sensorsignal ULS0 - ULS4 eine zweite Signatur SGN0 - SGN4 des Objekts VRU umfasst, und/oder es wird eine zweite Mehrzahl von zeitlich aufeinanderfolgenden zweiten Ultraschall-Sensorsignalen ULS0 - ULS4 mit einer jeweiligen zweiten Signatur SGN0 - SGN4 des Objekts VRU während des zweiten Zeitintervalls empfangen. In einem siebten Schritt wird die zweite Signatur SGN0 - SGN4 und/oder zumindest eine der zweiten Signaturen SGN0 - SGN4 der zweiten Mehrzahl von zweiten Ultraschall-Sensorsignalen ULS0 - ULS4 dem ermittelten Objekt VRU zugeordnet. Hierbei bleibt insbesondere eine frühere Information zu dem Objekt VRU, wie eine Objektklassifikation, erhalten. In einem achten Schritt wird ein Abstand D (siehe 5A - 5C) zu dem ermittelten Objekt VRU auf Basis von zumindest einer der zugeordneten Signaturen SGN0 - SGN4 ermittelt.
Obwohl die vorliegende Erfindung anhand von Ausführungsbeispielen beschrieben wurde, ist sie vielfältig modifizierbar.
Bezugszeichenliste

100: Fahrzeug
110: Fahrassistenzsystem
112: Empfangseinheit
114: Ermittlungseinheit
116: Fusionseinheit
120: optischer Sensor
130: Ultraschallsensor
Amax: Amplitude
FWHM: Breite
D: Abstand
D(t0): Abstand
D(t1): Abstand
D(t2): Abstand
DC1: Abstand
DC2: Abstand
DU1: Abstand
DU2: Abstand
I: Intensität
S1: Verfahrensschritt
S2: Verfahrensschritt
S3: Verfahrensschritt
S4: Verfahrensschritt
S5: Verfahrensschritt
S6: Verfahrensschritt
S7: Verfahrensschritt
S8: Verfahrensschritt
SGN0: Signatur
SGN1: Signatur
SGN2: Signatur
SGN3: Signatur
SGN4: Signatur
SIG: Achse
SIG0: optisches Sensorsignal
TH: Erfassungs-Schwellwert
ULS: Ultraschallsignal
ULS0: Ultraschall-Sensorsignal
ULS1: Ultraschall-Sensorsignal
ULS2: Ultraschall-Sensorsignal
ULS3: Ultraschall-Sensorsignal
ULS4: Ultraschall-Sensorsignal
VRU: Objekt

Claims

Verfahren zum Betreiben eines Fahrassistenzsystems (110) für ein Fahrzeug (100), das Verfahren umfassend: a) Empfangen (S1) eines optischen Sensorsignals (SIG0) in einem ersten Zeitintervall, wobei das optische Sensorsignal (SIG0) indikativ für ein in der Umgebung (200) des Fahrzeugs (100) angeordnetes Objekt (VRU) ist, b) Ermitteln (S2) des Objekts (VRU) auf Basis des empfangenen optischen Sensorsignals (SIG0), c) Empfangen (S3) eines ersten Ultraschall-Sensorsignals (ULSO - ULS4) während des ersten Zeitintervalls, wobei das erste Ultraschall-Sensorsignal (ULSO - ULS4) eine erste Signatur (SGNO - SGN4) des Objekts (VRU) umfasst, und/oder Empfangen einer ersten Mehrzahl von zeitlich aufeinanderfolgenden ersten Ultraschall-Sensorsignalen (ULSO - ULS4) mit einer jeweiligen ersten Signatur (SGNO - SGN4) des Objekts (VRU) während des ersten Zeitintervalls, d) Ermitteln (S4) eines Werts (Amax, FWHM) der ersten Signatur (SGNO - SGN4), wobei der Wert (Amax, FWHM) der ersten Signatur (SGNO - SGN4) kleiner als ein vorbestimmter Erfassungs-Schwellwert (TH) ist und/oder Ermitteln eines jeweiligen Werts (Amax, FWHM) der ersten Signaturen (SGNO - SGN4) der ersten Mehrzahl von ersten Ultraschall-Sensorsignalen (ULSO - ULS4), wobei eine Verteilung der Werte (Amax, FWHM) der ersten Signaturen (SGNO - SGN4) der ersten Mehrzahl von ersten Ultraschall-Sensorsignalen (ULSO - ULS4) eine Breite (FWHM) aufweist, die über einem vorbestimmten oberen Erfassungs-Breitenwert liegt, e) Zuordnen (S5) der ersten Signatur (SGNO - SGN4) und/oder zumindest einer der ersten Signaturen (SGNO - SGN4) der ersten Mehrzahl von ersten Ultraschall-Sensorsignalen (ULSO - ULS4) zu dem ermittelten Objekt (VRU), f) Empfangen (S6) eines zweiten Ultraschall-Sensorsignals(ULSO - ULS4) während eines zweiten Zeitintervalls, wobei das zweite Ultraschall-Sensorsignal (ULSO - ULS4) eine zweite Signatur (SGNO - SGN4) des Objekts (VRU) umfasst, und/oder Empfangen einer zweiten Mehrzahl von zeitlich aufeinanderfolgenden zweiten Ultraschall-Sensorsignalen (ULSO - ULS4) mit einer jeweiligen zweiten Signatur (SGNO - SGN4) des Objekts (VRU) während des zweiten Zeitintervalls, g) Zuordnen (S7) der zweiten Signatur (SGNO - SGN4) und/oder zumindest einer der zweiten Signaturen (SGNO - SGN4) der zweiten Mehrzahl von zweiten Ultraschall-Sensorsignalen (ULSO - ULS4) zu dem ermittelten Objekt (VRU), und h) Berechnen (S8) eines Abstands (D) zu dem ermittelten Objekt (VRU) auf Basis von zumindest einer der zugeordneten Signaturen (SGNO - SGN4).
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der Schritt b) ein Klassifizieren des Objekts (VRU) als ein nichtmotorisierter Verkehrsteilnehmer, insbesondere als ein Fußgänger und/oder als ein Radfahrer, umfasst.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass der Wert (Amax, FWHM) einer jeweiligen Signatur (SGNO - SGN4) eine Signalhöhe (Amax), eine Signalbreite (FWHM) und/oder ein statistisches Moment einer Mehrzahl verteilter Signale in dem Ultraschall-Sensorsignal (ULSO - ULS4) umfasst.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die zweite Signatur (SGNO - SGN4) einen Wert (Amax, FWHM) aufweist, der kleiner als der vorbestimmte Erfassungs-Schwellwert (TH) ist, und/oder dass eine Verteilung der Werte (Amax, FWHM) der zweiten Signaturen (SGNO - SGN4) eine Breite (FWHM) aufweist, die über dem vorbestimmten Erfassungs-Breitenwert liegt.
Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die zweite Signatur (SGNO - SGN4) einen Wert (Amax, FWHM) aufweist, der größer oder gleich dem vorbestimmten Erfassungs-Schwellwert (TH) ist, und/oder dass eine Verteilung der Werte (Amax, FWHM) der zweiten Signaturen (SGNO - SGN4) eine Breite (FWHM) aufweist, die kleiner oder gleich dem vorbestimmten Erfassungs-Breitenwert ist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Breite (FWHM) der Verteilung der Werte (Amax, FWHM) als ein statistisches Moment der Verteilung, insbesondere als eine Standardabweichung und/oder eine Varianz der Verteilung, ermittelt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass während des zweiten Zeitintervalls ausschließlich solche optische Sensorsignale (SIG0) empfangen werden, welche ein Ermitteln des Objekts (VRU) nicht ermöglichen.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Objekt (VRU) während des ersten Zeitintervalls einen Abstand (D) von über zwei Meter, vorzugsweise über drei Meter, bevorzugt über vier Meter, weiter bevorzugt über fünf Meter, zu dem Fahrzeug (100) aufweist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Objekt (VRU) während des zweiten Zeitintervalls einen Abstand (D) von unter fünf Meter, vorzugsweise unter vier Meter, bevorzugt unter drei Meter, weiter bevorzugt unter zwei Meter, zu dem Fahrzeug (100) aufweist.
Verfahren nach einem der vorhergehenden Ansprüche, gekennzeichnet durch: Ausgeben eines Warnsignals, wenn der berechnete Abstand (D) zu dem Objekt (VRU) kleiner oder gleich als ein vorbestimmter Warnschwellwert ist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Abstand (D) zwischen dem Fahrzeug (100) und dem ermittelten Objekt (VRU) nach dem ersten Zeitintervall auf Basis von weiteren empfangenen Ultraschall-Sensorsignalen (ULSO - ULS4) ständig neu berechnet wird.
Computerprogrammprodukt, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das Verfahren nach einem der Ansprüche 1-11 auszuführen.
Fahrassistenzsystem (110) für ein Fahrzeug (100), mit: einer Empfangseinheit (112) zum Empfangen eines optischen Sensorsignals (SIG0) in einem ersten Zeitintervall, wobei das optische Sensorsignal (SIG0) indikativ für ein in der Umgebung (200) des Fahrzeugs (100) angeordnetes Objekt (VRU) ist, und zum Empfangen eines ersten Ultraschall-Sensorsignals (ULSO - ULS4) während des ersten Zeitintervalls, wobei das erste Ultraschall-Sensorsignal (ULSO - ULS4) eine erste Signatur (SGNO - SGN4) des Objekts (VRU) umfasst, und/oder zum Empfangen einer ersten Mehrzahl von zeitlich aufeinanderfolgenden ersten Ultraschall-Sensorsignalen (ULSO - ULS4) mit einer jeweiligen ersten Signatur (SGNO - SGN4) des Objekts (VRU) während des ersten Zeitintervalls, einer Ermittlungseinheit (114) zum Ermitteln des Objekts (VRU) auf Basis des empfangenen optischen Sensorsignals (SIG0), und zum Ermitteln eines Werts (Amax, FWHM) der ersten Signatur (SGNO - SGN4), wobei der Wert (Amax, FWHM) der ersten Signatur (SGNO - SGN4) kleiner als ein vorbestimmter Erfassungs-Schwellwert (TH) ist und/oder zum Ermitteln eines jeweiligen Werts (Amax, FWHM) der ersten Signaturen (SGNO - SGN4) der ersten Mehrzahl von ersten Ultraschall-Sensorsignalen (ULSO - ULS4), wobei eine Verteilung der Werte (Amax, FWHM) der ersten Signaturen (SGNO - SGN4) der ersten Mehrzahl von ersten Ultraschall-Sensorsignalen (ULSO - ULS4) eine Breite (FWHM) aufweist, die über einem vorbestimmten oberen Erfassungs-Breitenwert liegt, und eine Fusionseinheit (116) zum Zuordnen der ersten Signatur (SGNO - SGN4) und/oder zumindest einer der ersten Signaturen (SGNO - SGN4) der ersten Mehrzahl von ersten Ultraschall-Sensorsignalen (ULSO - ULS4) zu dem ermittelten Objekt (VRU), wobei die Empfangseinheit (112) zum Empfangen eines zweiten Ultraschall-Sensorsignals (ULSO - ULS4) während eines zweiten Zeitintervalls, wobei das zweite Ultraschall-Sensorsignal (ULSO - ULS4) eine zweite Signatur (SGNO - SGN4) des Objekts (VRU) umfasst, und/oder zum Empfangen einer zweiten Mehrzahl von zeitlich aufeinanderfolgenden zweiten Ultraschall-Sensorsignalen (ULSO - ULS4) mit einer jeweiligen zweiten Signatur (SGNO - SGN4) des Objekts (VRU) während des zweiten Zeitintervalls eingerichtet ist, und die Fusionseinheit (116) zum Zuordnen der zweiten Signatur (SGNO - SGN4) und/oder zumindest einer der zweiten Signaturen (SGNO - SGN4) der zweiten Mehrzahl von zweiten Ultraschall-Sensorsignalen (ULSO - ULS4) zu dem ermittelten Objekt (VRU) eingerichtet ist, und wobei die Ermittlungseinheit (114) zusätzlich zum Berechnen eines Abstands (D) zwischen dem Fahrzeug (100) und dem Objekt (VRU) auf Basis von zumindest einer der dem Objekt (VRU) zugeordneten Signaturen (SGNO - SGN4) eingerichtet ist.
Fahrzeug (100) mit einem optischen Sensor (120) zum Erfassen und Ausgeben eines optischen Sensorsignals (SIG0) einer Umgebung (200) des Fahrzeugs (100) und einem Ultraschall-Sensor (130) zum Erfassen und Ausgeben eines Ultraschall-Sensorsignals (ULSO - ULS4) der Umgebung (200) des Fahrzeugs (100), und mit einem Fahrassistenzsystem (110) nach Anspruch 13.
Fahrzeug nach Anspruch 14, dadurch gekennzeichnet, dass das Fahrzeug (100) als ein Transporter und/oder ein LKW, insbesondere mit einer Masse von über 2,5 Tonnen und/oder mit einer Länge von über 5 Meter, ausgebildet ist.
Fahrzeug nach Anspruch 14 oder 15, dadurch gekennzeichnet, dass das Fahrzeug (100) eine Dachhöhe von über 2,20 Meter aufweist, wobei der optische Sensor in einer Höhe von über 2 Meter angeordnet ist.