-
Gebiet der Erfindung
-
Die Erfindung betrifft ein Verfahren zur Erkennung und Bewertung von Umwelteinflüssen im Umfeld eines Fahrzeugs. Weiterhin betrifft die Erfindung eine Vorrichtung zur Durchführung des vorgenannten Verfahrens und ein Fahrzeug mit einer solchen Vorrichtung.
-
Hintergrund der Erfindung
-
Der technologische Fortschritt im Bereich der optischen Bilderfassung erlaubt den Einsatz von kamerabasierten Fahrerassistenzsystemen, die hinter der Windschutzscheibe platziert der visuellen Wahrnehmung des Fahrers entsprechend das Vorfeld des Fahrzeugs erfassen. Die funktionalen Umfänge dieser Systeme erstrecken sich dabei von der Fernlichtautomatik über Erkennung und Anzeige von Geschwindigkeitsbegrenzungen bis hin zur Warnung bei Spurhaltefehlern oder drohender Kollision.
-
Ausgehend von der reinen Vorfelderfassung bis hin zum vollständigen 360° Rundumblick sind heute Kameras in vielfältigen Applikationen und unterschiedlichen Funktionen für Fahrerassistenzsysteme in modernen Fahrzeugen zu finden. Aufgabe der digitalen Bildverarbeitung als Stand-alone Funktion oder in Fusion mit Radar- oder Lidarsensoren ist es dabei primär Objekte zu erkennen, zu klassifizieren und im Bildausschnitt zu verfolgen. Klassische Objekte sind in der Regel verschiedenste Fahrzeuge wie PKW, LKW, Zweiräder oder Fußgänger. Darüber hinaus übernehmen Kameras die Erfassung von Schildern, Fahrspurmarkierungen, Leitplanken, Freiräumen oder sonstigen generischen Objekten.
-
Das automatische Erlernen und Erkennen von Objektkategorien und deren Instanzen gehört zu den wichtigsten Aufgaben der digitalen Bildverarbeitung und stellt den aktuellen Stand der Technik dar. Aufgrund der aktuell sehr weit fortgeschrittenen Verfahren, die diese Aufgaben beinahe so gut wie ein Mensch erfüllen können, hat sich inzwischen der Schwerpunkt von einer groben auf eine genaue Lokalisierung der Objekte verlagert.
-
Im Bereich moderner Fahrerassistenz werden unterschiedliche Sensoren u.a. auch Videokameras eingesetzt um das Fahrzeugumfeld möglichst genau und robust zu erfassen. Diese Umfeldinformationen zusammen mit den fahrdynamischen Informationen des Fahrzeugs über z.B. die Inertialsensorik verschaffen einen guten Eindruck über den aktuellen Fahrzustand des Fahrzeugs und die gesamte Fahrsituation. Daraus lässt sich die Kritikalität von Fahrsituationen ableiten und die entsprechenden Fahrerinformationen/-warnungen bis hin zu fahrdynamischen Eingriffen über Bremse und Lenkung initiieren.
-
Da der zur Verfügung stehende Reibbeiwert oder Fahrbahnzustand für Fahrerassistenzsysteme jedoch nicht zur Verfügung steht bzw. nicht benannt werden kann, erfolgt die Auslegung der Warn- und Eingriffszeitpunkte grundsätzlich auf Basis einer trockenen Fahrbahn mit hohem Kraftschlusspotential zwischen Reifen und Fahrbahn.
-
Die Fahrerwarnung bzw. der systemseitige Eingriff bei unfallvermeidenden oder -abschwächenden Systemen erfolgt so spät, dass es bei tatsächlich trockener Fahrbahn – entsprechend der Systemauslegung im Zielkonflikt zwischen rechtzeitiger Warnung und zu früher Fehlwarnung – gerade noch zur Unfallvermeidung oder zur akzeptablen Unfallfolgenminderung reicht. Ist die Fahrbahn jedoch bei Nässe, Schnee oder gar Eis weniger griffig, kann der Unfall nicht mehr verhindert werden und auch die Minderung der Unfallfolgen erzielt nicht den gewünschten Effekt.
-
Zusammenfassung der Erfindung
-
Die Aufgabe der vorliegenden Erfindung kann daher darin bestehen, ein Verfahren und eine Vorrichtung der eingangs genannten Art bereitzustellen, mittels welcher der Fahrbahnzustand oder gar der zur Verfügung stehende Reibbeiwert systemseitig bestimmt oder zumindest abgeschätzt werden kann, damit Fahrerwarnungen und auch Systemeingriffe entsprechend zielgerichteter erfolgen können und dadurch die Wirksamkeit von unfallvermeidenden Fahrerassistenzsystemen erhöht werden kann.
-
Die Aufgabe wird gelöst durch die Gegenstände der unabhängigen Patentansprüche. Bevorzugte Ausführungsformen sind Gegenstand der abhängigen Ansprüche.
-
Das erfindungsgemäße Verfahren zur Erkennung und Bewertung von Umwelteinflüssen im Umfeld eines Fahrzeugs nach Anspruch 1 umfasst die Verfahrensschritte
- – Bereitstellen einer Kamera in dem Fahrzeug,
- – aufeinander folgendes Erzeugen mindestens zweier digitaler Bilder mittels der Kamera,
- – Auswählen eines gleichen Bildausschnitts auf den zwei Bildern,
- – Erkennen von Veränderungen der Bildschärfe zwischen den Bildausschnitten mittels Algorithmen digitaler Bildverarbeitung, wobei eine Gewichtung der Bildschärfeveränderungen vom Zentrum der Bildausschnitte nach außen hin durchgeführt wird,
- – Ermitteln einer Umweltzustands-Information in Abhängigkeit der erkannten Bildschärfeveränderungen zwischen den Bildausschnitten mit Hilfe von Methoden des maschinellen Lernens und
- – Bestimmen einer Fahrbahnzustands-Information in Abhängigkeit der ermittelten Umwelt-Zustandsinformation.
-
Gemäß dem erfindungsgemäßen Verfahren wird in den von der Kamera erzeugten Bildern durch Verwendung digitaler Bildverarbeitungsalgorithmen nach bestimmten Merkmalen gesucht, welche es erlauben, auf Umweltbedingungen im Umfeld des Fahrzeugs und damit auf den aktuellen Fahrbahnzustand zu schließen. Dabei stellt der ausgewählte Bildausschnitt die sogenannte „Region of Interest (ROI)“ dar, welche ausgewertet wird. Aus der ROI können Merkmale extrahiert werden, die geeignet sind, die unterschiedliche Erscheinung der Umgebung in den Bildern der Kamera in Abhängigkeit der Präsenz von solchen Umwelteinflüssen bzw. Umweltbedingungen zu erfassen. In diesem Zusammenhang ist vorteilhaft vorgesehen das Extrahieren von Merkmalen, welche die Bildschärfeveränderung zwischen den Bildausschnitten der mindestens zwei aufeinander folgenden Bilder erfassen, das Bilden eines Merkmalsvektors aus den extrahierten Merkmalen und das Zuweisen des Merkmalsvektors zu einer Klasse mittels eines Klassifikators.
-
Das erfindungsgemäße Verfahren verwendet Algorithmen der digitalen Bildverarbeitung mit dem Ziel, Umwelteinflüsse im direkten Umfeld eines Fahrzeugs zu erkennen und zu bewerten. Umwelteinflüsse wie beispielsweise Regen, Stark-Regen oder Schneefall aber auch deren Auswirkungen wie Spritzwasser, Wassergischt oder auch Schneeschleppen vom eigenen aber auch von anderen vorausfahrenden oder seitlich fahrenden Fahrzeugen können detektiert bzw. erkannt werden, woraus eine entsprechende Umweltzustands-Information ermittelt werden kann. Das Verfahren zeichnet sich insbesondere dadurch aus, dass der zeitliche Kontext durch eine Abfolge von mindestens zwei Bildern einbezogen und so der Merkmalsraum um die zeitliche Dimension erweitert wird. Die Entscheidung über das Vorhandensein von Umwelteinflüssen und/oder den daraus resultierenden Effekten wird somit nicht anhand von absoluten Werten getroffen, was insbesondere dann Fehlklassifikationen verhindert, wenn wenig Bildschärfe vorhanden ist, z.B. bei starkem Regen oder Nebel.
-
Das erfindungsgemäße Verfahren findet bevorzugt in einem Fahrzeug Anwendung. Das Bereitstellen der Kamera kann dabei insbesondere innerhalb des Fahrzeugs erfolgen, vorzugsweise hinter der Windschutzscheibe, so dass einer visuellen Wahrnehmung eines Fahrers des Fahrzeugs entsprechend das Vorfeld des Fahrzeugs erfasst werden kann.
-
Bevorzugt wird eine Digitalkamera bereitgestellt, mit welcher die wenigstens zwei Bilder direkt digital aufgenommen und mittels Algorithmen digitaler Bildverarbeitung ausgewertet werden können. Insbesondere kann eine Monokamera oder eine Stereokamera zum Erzeugen der Bilder zum Einsatz kommen, da je nach Ausprägung auch Tiefeninformationen aus dem Bild für den Algorithmus verwendet werden können.
-
Das Verfahren ist besonders robust, da der zeitliche Kontext einbezogen wird. Es wird angenommen, dass eine Bildsequenz aufeinanderfolgender Bilder wenig Veränderung der Bildschärfe in der Szene aufweist und starke Veränderungen der berechneten Merkmalswerte von auftreffenden und/oder verschwindenden Umwelteinflüssen (beispielsweise Regentropfen oder Spritzwasser, Sprühnebel, Gischt) verursacht werden. Diese Information wird als weiteres Merkmal verwendet. Dabei ist die sprunghafte Veränderung von Einzelbildmerkmalen aufeinanderfolgender Bilder von Interesse und nicht die gesamte Veränderung innerhalb der Sequenz, z.B. Tunneleinfahrten oder sich vorbeibewegende Objekte.
-
Um ungewollte sprunghafte Veränderungen im Randbereich der Bilder, insbesondere im seitlichen Randbereich der Bilder, robust zu entfernen, wird die Berechnung von Einzelbildmerkmalen von innen nach außen absteigend gewichtet. Mit anderen Worten werden Veränderungen im Zentrum der ausgewählten Region stärker gewichtet, als Veränderungen, welche vom Zentrum entfernt auftreten. Eine sprunghafte Veränderung, welche möglichst keinen oder nur einen untergeordneten Eingang in die Ermittlung der Umweltzustands-Information finden soll, kann beispielsweise durch ein seitlich vorbeifahrendes Fahrzeug verursacht werden.
-
Die einzelnen Merkmale bilden einen Merkmalsvektor, welcher die verschiedenen Informationen aus der ROI kombiniert, um im Schritt der Klassifikation robuster und genauer über die Präsenz von derartigen Umwelteinflüssen entscheiden zu können. Verschiedene Merkmalstypen ergeben eine Menge von Merkmalsvektoren. Die so entstandene Menge an Merkmalsvektoren wird als Merkmalsdeskriptor bezeichnet. Das Zusammensetzen des Merkmalsdeskriptors kann durch einfache Konkatenation, gewichtete Kombination, oder andere nicht-lineare Abbildungen erfolgen. Der Merkmalsdeskriptor kann anschließend von einem Klassifikationssystem (Klassifikator) mindestens einer Umweltzustandsklasse zugewiesen werden. Diese Umweltzustandsklassen sind beispielsweise „Umwelteinflüsse ja/nein“ oder „(Stark-)Regen“ und „Rest“.
-
Ein Klassifikator ist eine Abbildung des Merkmalsdeskriptors auf eine diskrete Zahl, die die zu erkennenden Klassen repräsentiert. Als Klassifikator wird vorzugsweise ein zufälliger Entscheidungswald (engl. Random Decision Forest) verwendet. Entscheidungsbäume sind hierarchisch angeordnete Klassifikatoren, die das Klassifikationsproblem baumartig aufspalten. Beginnend in der Wurzel wird auf Basis der getroffenen Entscheidungen der Pfad zu einem Blattknoten beschritten, in welchem die finale Klassifikationsentscheidung stattfindet. Aufgrund der Lernkomplexität werden vorzugsweise für die inneren Knoten sehr einfache Klassifikatoren, die sogenannten decision stumps verwendet, welche den Eingaberaum orthogonal zu einer Koordinatenachse separieren.
-
Entscheidungswälder sind Kollektionen von Entscheidungsbäumen, die an vorzugsweise zwei Stellen randomisierte Elemente beim Trainieren der Bäume enthalten. Als erstes wird jeder Baum mit einer zufälligen Auswahl an Trainingsdaten trainiert und zweitens für jede binäre Entscheidung nur eine zufällige Auswahl zulässiger Dimensionen verwendet. In den Blattknoten werden Klassenhistogramme gespeichert, die eine Maximum-Likelihood-Schätzung über die den Blattknoten im Training erreichenden Merkmalsvektoren erlauben. Klassenhistogramme speichern die Häufigkeit, mit der ein Merkmalsdeskriptor einer bestimmten Information über einen Umwelteinfluss beim Durchlaufen des Entscheidungsbaumes den entsprechenden Blattknoten erreicht. Als Ergebnis kann jeder Klasse vorzugsweise eine Wahrscheinlichkeit zugeordnet werden, die sich aus den Klassenhistogrammen berechnet.
-
Um für einen Merkmalsdeskriptor eine Entscheidung über die Präsenz von solchen Umwelteinflüssen zu treffen, wird vorzugsweise die wahrscheinlichste Klasse aus dem Klassenhistogramm als der aktuelle Zustand verwendet, oder andere Methoden, um die Information aus den Entscheidungsbäumen beispielsweise in eine Regenpräsenzentscheidung oder eine andere Umwelteinflussentscheidung zu übertragen.
-
An diese Entscheidung pro Eingabebild kann sich eine Optimierung anschließen. Diese Optimierung kann zeitlichen Kontext berücksichtigen oder weitere Information, die vom Fahrzeug zur Verfügung gestellt werden. Zeitlicher Kontext wird vorzugsweise dadurch berücksichtigt, dass die häufigste Klasse aus einem vorangegangenen Zeitabschnitt verwendet oder mittels eines sogenannten Hysterese-Schwellwertverfahrens berechnet wird. Bei dem Hysterese-Schwellwertverfahren wird der Wechsel von einem Fahrbahnzustand in den anderen anhand von Schwellwerten geregelt. Ein Wechsel erfolgt erst dann, wenn die Wahrscheinlichkeit für den neuen Zustand hoch genug und für den alten Zustand dementsprechend gering ist.
-
Gemäß einer bevorzugten Ausführungsform kann der Bildausschnitt vorteilhaft ein zentraler Bildausschnitt sein, welcher bevorzugt einen Mittenbildausschnitt um den optischen Fluchtpunkt der Bilder herum umfasst. Dieser zentrale Bildausschnitt ist bevorzugt in Fahrzeugfahrtrichtung vorausschauend gerichtet und bildet die ROI. Die Auswahl eines solchen Mittenbildausschnitts hat den Vorteil, dass Störungen beim Erkennen von Veränderungen in der Region besonders gering gehalten werden können, insbesondere deshalb, weil der seitliche Bereich des Fahrzeugs bei Geradeausfahrten besonders wenig berücksichtigt wird. Mit anderen Worten ist diese Ausführungsform insbesondere dadurch gekennzeichnet, dass zum Zweck einer Beurteilung von witterungsbedingten Umwelteinflüssen bzw. Umweltbedingungen wie beispielsweise Regen, Starkregen oder Nebel ein insbesondere größtmöglicher Mittenbildausschnitt um den optischen Fluchtpunkt herum herangezogen wird. Dabei kann in einer besonders vorteilhaften Form der Einfluss der darin befindlichen Pixel – insbesondere normalverteilt (siehe unten) – von innen nach außen absteigend gewichtet werden, um die Robustheit gegenüber Randerscheinungen wie beispielsweise sich schnell vorbeibewegende Objekte oder Infrastruktur weiter zu steigern.
-
Der Bildausschnitt kann gemäß einer weiteren bevorzugten Ausführungsform vorteilhaft auch ein erkanntes, sich bewegendes Hindernis umfassen, z.B. auf ein Fahrzeug oder ein Zweirad fokussiert sein, um im direkten Umfeld – insbesondere im unteren Bereich dieser Objekte – Indikatoren für Spritzwasser, Gischt, Sprühnebel, Schneefahnen etc. zu detektieren. Die sich bewegenden Hindernisse bilden jeweils eine ROI. Mit anderen Worten werden zum Zweck einer Beurteilung von Effekten aus witterungsbedingten Umwelteinflüssen (z.B. Spritzwasser, Gischt, Sprühnebel und Schneefahnen) dedizierte Bildausschnitte herangezogen, welche anhand von verfügbaren Objekthypothesen – vorzugsweise vorausfahrende oder seitlich fahrende Fahrzeuge – bestimmt werden.
-
Die Gewichtung kann mit verschiedenen Ansätzen realisiert werden, wie z.B. das ausschließliche Betrachten des Fluchtpunktes im Bild oder das Betrachten eines sich bewegenden Fahrzeugs. Weiterhin können Bildschärfeveränderungen zwischen den Bildausschnitten der mindestens zwei aufeinanderfolgenden Bilder von innen nach außen abfallend auch vorteilhaft gemäß einer Gauß-Funktion mit einer normalverteilten Gewichtung gewichtet werden. So ist insbesondere vorgesehen, dass eine normalverteilte Gewichtung um den Fluchtpunkt des Mittenbildausschnitts oder um das sich bewegende Hindernis erfolgt. Dies hat insbesondere den Vorteil, dass ein zeitliches Bewegungsmuster einzelner Bildbereiche durch den Algorithmus berücksichtigt werden kann.
-
Das Erkennen von Veränderungen der Bildschärfe zwischen den mindestens zwei Bildausschnitten erfolgt anhand einer Berechnung der Veränderung der Bildschärfe innerhalb des Bildausschnitts. Dabei wird ausgenutzt, dass auftreffende unfokussierte Regentropfen in der betrachteten Region die Schärfe im Kamerabild verändern. Ähnliches gilt für erkannte, sich bewegende Objekte im direkten Umfeld, deren Erscheinungsbild – insbesondere Bildschärfe – sich im Falle von Regen, Spritzwasser, Gischt oder Schneefahnen im zeitlichen Kontext verändert. Um eine Aussage über das Vorhandensein von bestimmten Umwelteinflüssen bzw. Umweltbedingungen oder den daraus resultierenden Effekten treffen zu können, können Merkmale auf Basis der berechneten Bildschärfe extrahiert werden – vorzugsweise mittels statistischer Momente –, um anschließend eine Klassifikation – vorzugsweise „zufällige Entscheidungswälder“ – anhand der ermittelten Merkmale durchzuführen.
-
Die Berechnung der Bildschärfe kann mit Hilfe von zahlreichen Methoden realisiert werden, vorzugsweise auf Basis der homomorphen Filterung. Die homomorphe Filterung liefert Reflexionsanteile als Maß für die Schärfe unabhängig von der Beleuchtung im Bild. Weiterhin kann mit Hilfe von Mehrfachanwendung eines Medianfilters die benötigte Gaußfilterung approximiert werden und dadurch die benötigte Rechenzeit reduziert werden.
-
Die Schärfeberechnung kann auf verschiedenen Bildrepräsentationen geschehen (RGB, Lab, Grauwert, etc.) vorzugsweise auf HSI Kanälen. Die damit berechneten Werte, sowie deren Mittelwert und Varianz können als Einzelbildmerkmale dienen.
-
Eine weitere bevorzugte Ausführungsform des erfindungsgemäßen Verfahrens umfasst die zusätzlichen Verfahrensschritte Kommunizieren der Umweltzustands- und/oder Fahrbahnzustands-Information, welche zuvor anhand der Umweltzustandsinformation ermittelt worden ist, an ein Fahrerassistenzsystem eines Fahrzeugs und Anpassen von Warn- und Eingriffszeitpunkten mittels des Fahrerassistenzsystems in Abhängigkeit der Umweltzustands- und/oder Fahrbahnzustands-Information. Auf diese Weise dient die Fahrbahnzustands-Information als Eingang für das unfallvermeidende Fahrerassistenzsystem, z.B. für eine Autonomous Emergency Brake(AEB)-Funktion, um entsprechend die Warn- und Eingriffszeitpunkte des Fahrerassistenzsystems besonders effektiv anpassen zu können. Die Wirksamkeit von unfallvermeidenden Maßnahmen durch solche sogenannte Advanced Driver Assistance Systems (ADAS) kann dadurch deutlich erhöht werden.
-
Weiterhin sind folgende Verfahrensschritte vorteilhaft vorgesehen:
- – Einbeziehen der Umweltzustands- und/oder Fahrbahnzustands-Information in die Funktion eines automatisierten Fahrzeugs und
- – Anpassen von Fahrstrategie und Bestimmung von Übergabezeitpunkten zwischen Automat und Fahrer in Abhängigkeit der Umweltzustands- und/oder Fahrbahnzustands-Information.
-
Die erfindungsgemäße Vorrichtung zur Durchführung des vorstehend beschriebenen Verfahrens, umfasst eine Kamera, welche dazu eingerichtet ist, mindestens zwei aufeinander folgende Bilder zu erzeugen. Die Vorrichtung ist weiterhin dazu eingerichtet einen gleichen Bildausschnitt auf den mindestens zwei Bildern auszuwählen, Veränderungen der Bildschärfe zwischen den mindestens zwei Bildausschnitten mittels Algorithmen digitaler Bildverarbeitung zu ermitteln und dabei eine Gewichtung der Bildschärfeverändeungen vom Zentrum der Bildausschnitte nach außen abfallend zu gewichten, eine Umweltzustands-Information in Abhängigkeit der erkannten Veränderungen der Bildschärfe zwischen den Bildausschnitten mit Hilfe von Methoden des maschinellen Lernens zu ermitteln und eine Fahrbahnzustands-Information in Abhängigkeit der ermittelten Umwelt-Zustandsinformation zu bestimmen.
-
Bezüglich der Vorteile und vorteilhaften Ausführungsformen der erfindungsgemäßen Vorrichtung wird zur Vermeidung von Wiederholungen auf die vorstehenden Ausführungen im Zusammenhang mit dem erfindungsgemäßen Verfahren verwiesen, wobei die erfindungsgemäße Vorrichtung die dazu notwendigen Elemente aufweisen bzw. in erweiterter Weise dazu eingerichtet sein kann.
-
Das erfindungsgemäße Fahrzeug umfasst eine vorstehend beschriebene erfindungsgemäße Vorrichtung.
-
Kurze Beschreibung der Figuren
-
Im Folgenden werden Ausführungsbeispiele der Erfindung anhand der Zeichnung näher erläutert. Hierbei zeigt:
-
1 eine Darstellung berechneter Bildschärfen für einen zentralen Bildausschnitt und
-
2 eine Darstellung berechneter Bildschärfen für einen dedizierten Bildausschnitt.
-
Detaillierte Beschreibung von Ausführungsbeispielen
-
1 und 2 zeigen jeweils eine Darstellung berechneter Bildschärfen für einen zentralen Bildausschnitt (1) bzw. einen dedizierten Bildausschnitt (2) gemäß zweier Ausführungsbeispiele des erfindungsgemäßen Verfahrens. In 1 und 2 ist jeweils der vordere Teil eines Ausführungsbeispiels eines erfindungsgemäßen Fahrzeugs 1 zu sehen, welches mit einem Ausführungsbeispiel einer nicht dargestellten erfindungsgemäßen Vorrichtung ausgerüstet ist, die eine Kamera umfasst. Die Kamera ist innerhalb des Fahrzeugs hinter der Windschutzscheibe bereitgestellt, so dass einer visuellen Wahrnehmung eines Fahrers des Fahrzeugs 1 entsprechend das Vorfeld des Fahrzeugs 1 erfasst werden kann. Die Kamera hat aufeinanderfolgend zwei digitale Bilder erzeugt und die Vorrichtung hat den in 1 und 2 jeweils mit einem Kreis umrandeten gleichen Bildausschnitt 2 in beiden Bildern ausgewählt und mittels Algorithmen digitaler Bildverarbeitung Veränderungen der Bildschärfe zwischen den Bildausschnitten 2 erkannt. In den gezeigten Ausführungsbeispielen wurde die Bildschärfe für die Bildausschnitte 2 auf Basis der homomorphen Filterung berechnet, dessen Ergebnis durch 1 und 2 gezeigt ist.
-
Dabei ist der Bildausschnitt 2 nach 1 ein zentraler Bildausschnitt, welcher einen Mittenbildausschnitt um den optischen Fluchtpunkt der Bilder herum umfasst. Dieser zentrale Bildausschnitt 2 ist in Fahrzeugfahrtrichtung vorausschauend gerichtet und bildet die Region of Interest. Der Bildausschnitt nach 2 hingegen umfasst ein erkanntes, sich bewegendes Hindernis und ist in diesem Fall auf ein weiteres Fahrzeug 3 fokussiert, um im direkten Umfeld – insbesondere im unteren Bereich des weiteren Fahrzeugs 3 – Indikatoren für Spritzwasser, Gischt, Sprühnebel, Schneefahnen etc. zu detektieren. Das sich bewegende weitere Fahrzeug 3 bildet die Region of Interest.
-
Veränderungen der Bildschärfe zwischen den Bildausschnitten 2 werden von innen nach außen abfallend gemäß einer Gauß-Funktion, d.h. normalverteilt gewichtet. Mit anderen Worten werden Veränderungen im Zentrum der Bildausschnitte 2 am stärksten gewichtet und Veränderungen im Randbereich werden beim Vergleich der Bildausschnitte 2 nur äußerst gering berücksichtigt.
-
In den durch 1 und 2 gezeigten Beispielen erkennt die Vorrichtung, dass nur geringe Veränderungen der Bildschärfe zwischen den Bildausschnitten vorliegen und ermittelt daraus eine Umweltzustands-Information, welche beinhaltet, dass kein Regen, Spritzwasser, Gischt oder Schneefahnen vorliegen. Das Ermitteln der Umweltzustands-Information erfolgt dabei mittels Methoden des maschinellen Lernens und nicht durch manuelle Eingabe. Ein entsprechendes Klassifikationssystem wird hierbei mit Daten aus den Veränderungen der Bildschärfe von mindestens 2 Bildern, bevorzugt jedoch von mehreren Bildern, beliefert. Dabei ist nicht nur von Relevanz, wie groß die Veränderung ist, sondern wie sich die Veränderung im zeitlichen Kontext verändert. Und genau dieser Verlauf wird hier gelernt und in späteren Aufnahmen wiedergefunden. Wie genau dieser Verlauf aussehen muss, um beispielsweise trocken zu sein, ist nicht bekannt. Diese Information ist quasi im Klassifikator verborgen und nur schwer oder gar nicht vorherzusagen.
-
Aus der ermittelten Umweltzustands-Information ermittelt die Vorrichtung weiterhin eine Fahrbahnzustands-Information, welche beinhaltet, dass die Fahrbahn trocken ist. Die Fahrbahnzustands-Information wird an ein nicht gezeigtes Fahrerassistenzsystem des Fahrzeugs kommuniziert, welches in diesem Fall davon absieht Warn- und Eingriffszeitpunkten in Abhängigkeit der Fahrbahnzustands-Information anzupassen.
-
Im alternativen Fall des Detektierens starker Abweichungen zwischen den Bildausschnitten würde die Vorrichtung daraus eine Umweltzustands-Information ermitteln, welche beinhaltet, dass z.B. Regen vorliegt. Aus der ermittelten Umweltzustands-Information würde die Vorrichtung dann eine Fahrbahnzustands-Information ermitteln, welche beinhaltet, dass die Fahrbahn nass ist. Die Fahrbahnzustands-Information würde an das Fahrerassistenzsystem des Fahrzeugs kommuniziert werden, welches dann Warn- und Eingriffszeitpunkten in Abhängigkeit der Fahrbahnzustands-Information anpassen würde.
