-
Die Erfindung betrifft ein Verfahren zum Ermitteln von Abweichungen in Sensordaten mit einem in einem Steuergerät eines Fahrzeugs implementierten neuronalen Netz. Des Weiteren betrifft die Erfindung ein Fahrerassistenzsystem.
-
Für die videobasierte Erkennung und/oder Segmentierung von Objekten in einem Fahrzeug-Umfeld können pixelbasierte Klassifikationssysteme auf Basis sogenannter „tiefer Neuronaler Netze“ eingesetzt werden. Zum Anlernen solcher Klassifikationssysteme sind in der Regel enorme Mengen Lerndaten erforderlich, welche zunächst manuell ausgewertet werden, um Sollwertvorgaben für die pixelbasierten Klassifikationssysteme und/oder für darin implementierte Algorithmen zu erzeugen. Beispielsweise können in den Bilddaten erkennbare Objekte manuell in Klassen eingeteilt werden, wobei den jeweiligen Klassen wiederum Sollwerte zugeordnet werden können. Dieser manuelle Lernschritt zum Anlernen eines neuronalen Netzes ist auch als „Labeling“ bekannt. Daher kann für das Anlernen eines neuronalen Netzes ein erheblicher Einsatz menschlicher Ressourcen erforderlich sein.
-
Es ist eine Aufgabe der vorliegenden Erfindung, ein Verfahren bereitzustellen, welches ein automatisiertes Anlernen des neuronalen Netzes ermöglicht.
-
Die Aufgabe wird durch die Merkmale der unabhängigen Patentansprüche gelöst. Vorteilhafte Weiterbildungen der Erfindung ergeben sich aus den abhängigen Ansprüchen und der nachfolgenden Beschreibung.
-
Ein erster Aspekt der Erfindung betrifft ein Verfahren zum Ermitteln von Abweichungen in Sensordaten basierend auf und/oder mit wenigstens einem in einem Steuergerät eines Fahrzeugs implementierten neuronalen Netzes. Das erfindungsgemäße Verfahren kann gleichsam ein Verfahren zur Vorhersage von Sensordaten einer Sensoranordnung bezeichnen. Das Verfahren weist folgende Schritte auf:
- - Erfassen, mit einer Sensoranordnung des Fahrzeugs, eines Lerndatensatzes von zeitlich aufeinanderfolgenden Roh-Sensordaten;
- - Auswerten, mit dem in dem Steuergerät des Fahrzeugs implementierten neuronalen Netz, des Lerndatensatzes unter Anlernen des neuronalen Netzes basierend auf dem Lerndatensatz von erfassten Roh-Sensordaten, insbesondere ausschließlich basierend auf dem Lerndatensatz von erfassten Roh-Sensordaten;
- - Ermitteln und/oder Vorhersagen von erwarteten Sensordaten;
- - Vergleichen der mit dem neuronalen Netz ermittelten und/oder vorhergesagten erwarteten Sensordaten mit aktuell durch die Sensoranordnung erfassten Sensordaten; und
- - Ermitteln, mit dem Steuergerät, einer Abweichung zwischen den aktuell erfassten Sensordaten und den mit dem angelernten neuronalen Netz ermittelten erwarteten Sensordaten, insbesondere Ermitteln einer Abweichung durch Subtraktion der erwarteten und aktuell erfassten Sensordaten.
-
Erfindungsgemäß ist daher vorgesehen, das in dem Steuergerät des Fahrzeugs implementierte wenigstens eine neuronale Netz basierend auf den Roh-Sensordaten, insbesondere ausschließlich basierend auf den Roh-Sensordaten, der Sensoranordnung anzulernen, so dass ein manuelles Anlernen des neuronalen Netzes entfallen kann.
-
Für das eigentliche Anlernen des in dem Steuergerät implementierten neuronalen Netzes und/oder eines in dem Steuergerät implementierten Algorithmus zur Erkennung von Abweichungen in Sensordaten der Sensoranordnung kann eine zeitliche Abfolge von Roh-Sensordaten verwendet werden. Diese zeitliche Abfolge von Roh-Sensordaten kann den „Lerndatensatz“ bezeichnen. Ferner können die „Roh-Sensordaten“ Sensordaten bezeichnen, welche unverarbeitet und/oder ohne Zwischenverarbeitung, insbesondere ohne manuelle Verarbeitung der Daten, beispielsweise ohne ein „Labeling“ der Daten, dem neuronalen Netz zugeführt und von diesem ausgewertet werden. Eine „Abweichung“ im Sinne der Erfindung kann dabei eine Anomalie und/oder eine Unregelmäßigkeit zwischen den tatsächlich erfassten Sensordaten und den mit dem angelernten neuronalen Netz ermittelten und/oder vorhergesagten Sensordaten bezeichnen.
-
Zu Beginn des Anlernens des neuronalen Netzes wird erfindungsgemäß der Lerndatensatz mit der Sensoranordnung und/oder mit einem Sensorelement der Sensoranordnung erfasst. Wie voranstehend erläutert kann der Lerndatensatz zeitlich aufeinanderfolgende Roh-Sensordaten, wie etwa Bilddaten, Radardaten, Laserdaten und/oder andere Fahrzeugdaten, enthalten. Die Roh-Sensordaten können beispielsweise in einer Folge von diskreten Zeitpunkten (t1, t2, t3,..., tn) ermittelt und/oder erfasst sein. Basierend auf dem Lerndatensatz kann das Steuergerät und/oder das darin implementierte neuronale Netz eine Vorhersage für zeitlich nachfolgende und/oder zu erwartende Sensordaten treffen. In der Anlernphase des Verfahrens können dann diese vorhergesagten erwarteten Sensordaten mit zeitlich korrespondierenden tatsächlich erfassten Sensordaten abgeglichen und/oder verglichen werden. Ein derartiger Abgleich kann auch mehrfach und/oder wiederholt durchgeführt werden, bis die erwarteten Sensordaten mit den tatsächlich erfassten Sensordaten hinreichend genau übereinstimmen. Mit anderen Worten kann zu einem Sensordatensatz von aktuell erfassten Sensordaten, wie z.B. einem Bilddatensatz zu einem Zeitpunkt t0, ein Lerndatensatz von zeitlich vorangegangenen Roh-Sensordaten mit den Zeitpunkten t1, t2, t3,..., tn als Inputdatensatz für das Training des neuronalen Netzes genutzt werden. Mit dem Lerndatensatz (t1, t2, t3,..., tn) und den zum Zeitpunkt t0 vorhergesagten Sensordaten kann ein Lernschritt für das neuronale Netz durchgeführt werden, so dass bei einem späteren Anlegen eines Eingangsdatensatzes an das trainierte neuronale Netz die tatsächlich mit der Sensoranordnung ermittelten aktuellen Sensordaten hinreichend genau mit den vorhergesagten Sensordaten übereinstimmen können. Mit anderen Worten kann das angelernte bzw. trainierte neuronale Netz durch eine Beaufschlagung mit dem Eingangsdatensatz von zeitlich vorangehend erfassten Sensordaten eine Vorhersage für zukünftig zu erfassende, d.h. erwartete, Sensordaten erstellen. Die erwarteten Sensordaten können anschließend mit den zu dem jeweiligen Zeitpunkt tatsächlich erfassten Sensordaten verglichen werden. D.h. erwartete Sensordaten für den Zeitpunkt t0 können mit den am Zeitpunkt t0 erfassten Sensordaten verglichen werden. Der Vergleich kann insbesondere durch eine Subtraktion der erwarteten und der erfassten Sensordaten erfolgen. Anhand dieses Vergleichs der erfassten und erwarteten Sensordaten können so Abweichungen zwischen diesen Sensordaten ermittelt und/oder bestimmt werden. Zur Ermittlung solcher Abweichungen können auch bestimmte Schwellwerte gesetzt sein, d.h. eine Abweichung kann etwa ermittelt werden, wenn ein gewisser Schwellwert erreicht wird. Dagegen kann angenommen werden, dass hinreichende Übereinstimmung zwischen den erwarteten und den erfassten Sensordaten besteht, wenn der Schwellwert nicht erreicht wird. Ermittelte Abweichungen zwischen aktuell erfassten Sensordaten und vorhergesagten Sensordaten können sodann bestimmten Ereignissen zugeordnet werden, wie z.B. einem Fußgänger, einem bewegten Objekt, einem anderen Fahrzeug und/oder einem statischen Objekt.
-
Zusammenfassend kann das in dem Steuergerät implementierte neuronale Netz erfindungsgemäß vollständig basierend auf den mit der Sensoranordnung erfassten Sensordaten angelernt werden. Das heißt, es ist nicht erforderlich, dass das neuronale Netz bzw. Merkmale in den Sensordaten manuell angelernt werden müssen. Das Labeling der Sensordaten zum Anlernen des neuronalen Netzes kann somit entfallen. Des Weiteren kann eine Segmentierung der Abweichungen anhand eines Vorhersagefehlers zwischen den tatsächlich erfassten Sensordaten und den ermittelten/vorhergesagten Sensordaten erfolgen.
-
Das voranstehend und im Folgenden beschriebene Verfahren kann für eine Vielzahl von Fahrzeugsensoren angewendet werden, z.B. für Surround-View-Systeme, bei einem Einsatz von Radar-, Lidar-, Ultraschall- und/oder Lasersensoren und/oder auch anderen Fahrzeug-Sensoren, wie beispielsweise Drehraten-Sensoren, Fahrzeuggeschwindigkeit und/oder eine Kombination aus den oben genannten Sensoren.
-
Nachfolgend wird die Erfindung anhand eines exemplarischen neuronalen Netzes beschrieben, jedoch können erfindungsgemäß auch mehrere neuronale Netze parallel oder seriell eingesetzt werden, um aus den erfassten Sensordaten einen Erwartungswert für kommende Sensordaten zu ermitteln. Beispielsweise kann für jedes Merkmal der Sensordaten ein separates neuronales Netz eingesetzt werden, um das jeweilige Merkmal für die kommenden Sensordaten vorherzusagen bzw. einen Erwartungswert zu ermitteln. Das neuronale Netz kann mehrere Schichten/Knoten aufweisen, welche anschließend zu einem Erwartungswert der Sensordaten zusammengeführt werden. Hierbei können die einzelnen Schichten bzw. Konten einzeln über Gewichtungsfaktoren berücksichtigt werden, sodass bestimmte Merkmale bzw. Ausprägungen von Merkmalen stärker Berücksichtigung in dem Erwartungswert finden können als andere.
-
Gemäß einer Ausführungsform der Erfindung weist das Verfahren ferner die folgenden Schritte auf:
- - Erfassen, mit der Sensoranordnung, eines Eingangsdatensatzes von zeitlich aufeinander folgenden Sensordaten;
- - Beaufschlagen, insbesondere kontinuierliches Beaufschlagen während eines Fahrzeugbetriebs, des angelernten neuronalen Netzes mit dem Eingangsdatensatz, wobei die erwarteten Sensordaten basierend auf dem Eingangsdatensatz und dem mit dem Lerndatensatz angelernten neuronalen Netz ermittelt und/oder vorhergesagt werden.
-
Dabei kann „Beaufschlagen“ ein Zuführen des Eingangsdatensatzes zu dem neuronalen Netz bezeichnen. Nach dem Anlernen des neuronalen Netzes kann das neuronale Netz im Betrieb aus den kontinuierlich erfassten Sensordaten der Sensoranordnung, d.h. aus dem Eingangsdatensatz, die erwarteten Sensordaten ermitteln. Dies ist jedoch nur möglich, wenn das neuronale Netz zuvor mit Hilfe eines Lerndatensatzes angelernt wurde. Das Anlernen kann hierbei, wie voranstehend beschrieben, vollautomatisch und während der Fahrt des Fahrzeugs erfolgen. Durch das angelernte neuronale Netz können die erwarteten Sensordaten ermittelt, erzeugt und/oder generiert werden und mit den erfassten Sensordaten verglichen werden. Die Abweichungen zwischen den ermittelten erwarteten Sensordaten und den tatsächlich aktuell erfassten Sensordaten können auf diese Weise schnell, einfach und zuverlässig in hoher Detailtiefe erkannt werden.
-
Gemäß einer Ausführungsform der Erfindung wird durch den Vergleich der mit dem neuronalen Netz ermittelten erwarteten Sensordaten mit aktuell durch die Sensoranordnung erfassten Sensordaten eine Verschmutzung und/oder eine Messbereichseinschränkung der Sensoranordnung als Abweichung ermittelt. Mit anderen Worten kann die Abweichung eine Verschmutzung und/oder eine Messbereichseinschränkung, wie z.B. eine Sichtweiten-Einschränkung einer Kamera, eines Radars, eines Ultraschalls, eines Lidars, eines Lasers und/oder eines beliebigen anderen Sensorelements sein. Die Verschmutzung und/oder die Messbereichseinschränkung kann beispielsweise durch Schmutz von der Straße, Regen, Laub oder durch Schnee hervorgerufen sein.
-
Gemäß einer Ausführungsform weist die Sensoranordnung wenigstens einen bildgebenden Sensor auf. Alternativ oder zusätzlich umfasst und/oder enthält der Lerndatensatz Bilddaten wenigstens eines bildgebenden Sensors der Sensoranordnung.
-
Die Sensoranordnung kann neben vielen anderen Sensoren auch einen bildgebenden Sensor, wie insbesondere eine Kamera oder mehrere Kameras, einen Radarsensor welcher ein Radarbild erfasst und einen Lasersensor welcher ein Laserbild erfasst, aufweisen. Hierbei sind dann die erfassten Sensordaten Bild- bzw. Videodaten. Auch können mehrere Kameras gemeinsam Sensordaten bereitstellen, z.B. durch ein Panoramabild und/oder durch ein Surroundview-System. Wenn Kameras bzw. Bilddaten als Eingangsdaten für das neuronale Netz verwendet werden, kann das neuronale Netz pixelgenau ein erwartetes zukünftiges Bild ermitteln.
-
Ein bildgebender Sensor kann im Rahmen dieser Anmeldung, eine Kamera, ein Radarsensor und/oder ein Lasersensor sein.
-
Gemäß einer Ausführungsform umfassen die erfassten Roh-Sensordaten des Lerndatensatzes ausschließlich Bilddaten einer flachen Fahrbahngeometrie, insbesondere einer zweidimensionalen Fahrbahngeometrie , wobei durch Vergleich der mit dem neuronalen Netz vorhergesagten erwarteten Bilddaten des wenigstens einen bildgebenden Sensors mit aktuell durch die Sensoranordnung erfassten Bilddaten ein relativ zu den vorhergesagten erwarteten Bilddaten der flachen Fahrbahngeometrie erhabenes Objekt als Abweichung ermittelt wird.
-
Es können alternativ oder zusätzlich zu Bilddaten auch beliebige andere Sensordaten beliebiger anderer Fahrzeugsensoren, wie beispielsweise Radardaten und/oder Laserdaten einer flachen Fahrbahngeometrie als Lerndatensatz für das neuronale Netz verwendet werden.
-
Durch Verwendung ausschließlich „flacher“ Fahrbahngeometrien während des Anlernens des neuronalen Netzes, kann das System die Vorhersage einer „Flat-World-Sensorausgabe“ aus den jeweils vorangegangenen Sensorsignalen ermitteln. Durch den Vergleich der Flat-World-Vorhersage mit den tatsächlich erfassten Sensordaten können erhabene Objekte, wie z.B. andere Verkehrsteilnehmer, Straßenschilder, Begrenzungspfosten und/oder Brücken, anhand ihrer Abweichung zu den erwarteten bzw. vorhergesagten Sensordaten ermittelt werden. Des Weiteren können durch die Verwendung von flachen Bildinhalten die erfassten Bilddaten vorselektiert und entsprechend eingeschränkt werden, sodass einzelne Bereiche der erfassten Bilddaten nicht vorhergesagt werden müssen. Insbesondere ist eine Fahrbahn in den Bilddaten der Kamera in der Regel trapezförmig in einer unteren Bildhälfte zu erkennen. Es kann daher vorgesehen sein, dass lediglich Bilddaten einer unteren Bildhälfte vorhergesagt und mit einer unteren Bildhälfte von tatsächlich erfassten Bilddaten verglichen wird. Somit kann eine zu verarbeitende Datenmenge deutlich reduziert werden.
-
Gemäß einer Ausführungsform wird durch Vergleich der mit dem neuronalen Netz vorhergesagten erwarteten Bilddaten des wenigstens einen bildgebenden Sensors mit aktuell durch die Sensoranordnung erfassten Bilddaten eine Spiegelung in einem optischen Pfad der Kamera als Abweichung ermittelt. Mit anderen Worten kann die Abweichung eine Spiegelung im optischen Pfad der Kamera sein, welche in den erfassten Sensordaten der Kamera enthalten ist. Die Spiegelung können beispielsweise durch die Scheibe vor der Kamera, Wasser vor der Linse der Kamera oder Luftspiegelungen hervorgerufen werden. Analog lassen sich damit Veränderungen im optischen Pfad (Verschmutzung, Spiegelung oder dergleichen) auch bei Radarsensoren, Lasersensoren und/oder Ultraschallsensoren erkennen.
-
Gemäß einer Ausführungsform weist die Sensoranordnung ein erstes Sensorelement und ein zweites Sensorelement auf, wobei das Verfahren weiter die folgenden Schritte aufweist:
- - Erfassen, mit dem ersten Sensorelement, eines Eingangsdatensatz von zeitlich aufeinanderfolgenden ersten Sensordaten;
- - Beaufschlagen des angelernten neuronalen Netzes mit dem Eingangsdatensatz;
- - Ermitteln und/oder Vorhersagen von erwarteten zweiten Sensordaten des zweiten Sensorelements basierend auf dem Eingangsdatensatz der erfassten Sensordaten des ersten Sensorelements.
-
Erfindungsgemäß ist daher vorgesehen, dass das neuronale Netz derart angelernt werden kann, dass erwartete Sensordaten eines zweiten Sensorelements auf der Basis der Sensordaten eines ersten Sensorelements und dem neuronalen Netz ermittelt werden. Mit anderen Worten kann das neuronale Netz zu einer Korrelation zwischen zwei Sensorelementen der Sensoranordnung angelernt werden. Das angelernte neuronale Netz kann anschließend mit Sensordaten eines der Sensorelemente beaufschlagt werden und als erwartete Sensordaten des anderen Sensorelements ermitteln. Beispielsweise können erwartete Sensordaten eines Radarsensors auf Basis erfasster Sensordaten einer Kamera durch das neuronale Netz ermittelt werden.
-
Gemäß einer Ausführungsform ist das erste Sensorelement und das zweite Sensorelement jeweils wenigstens ein Element ausgewählt aus der Gruppe bestehend aus einer Kamera, einem Radarsensor, einem Lidarsensor, einem Ultraschallsensor, einem Lasersensor, einem Drehratensensor, einem Geschwindigkeitssensor, einem Regensensor, einem Drucksensor und einem Gyrosensor.
-
Das erfindungsgemäße Verfahren kann somit für beliebige Sensorelemente sowie die zugehörigen Sensordaten eingesetzt werden.
-
Gemäß einer weiteren Ausführungsformweist das Verfahren ferner einen Schritt des Ermittelns von Kalibrierwerten und/oder Einbauparameterwerten des zweiten Sensorelements basierend auf den mit dem ersten Sensorelement erfassten ersten Sensordaten auf. Ferner kann die Kalibrierung des zweiten Sensorelements auf ermittelten Kalibrierwerten bzw. Einbauparameterwerten durchgeführt werden.
-
Die Anwendung des Verfahrens kann ferner die Ermittlung von Online-Kalibrierwerten ermöglichen und ist auch zum Lernen der Drehrate, der Fahrzeugeigenbewegung oder der Kamera-Einbauwinkel (Fluchtpunktgeometrie) geeignet. Die erwarteten Sensordaten eines ersten Sensorelements können anhand seiner Kalibrierdaten und den Sensordaten eines zweiten Sensorelements mit dem angegeben Verfahren vorhergesagt werden. Durch einen anschließenden Vergleich mit den tatsächlich erfassten Sensordaten des ersten Sensorelements und einer Variation der Kalibrierdaten kann die beste/wahrscheinlichste Einbaukalibrierung des ersten Sensorelements ermittelt werden.
-
Ein weiterer Aspekt der Erfindung betrifft ein Fahrerassistenzsystem. Das Fahrerassistenzsystem weist eine Sensoranordnung zum Erfassen von Sensordaten und ein Steuergerät mit einem darin implementierten neuronalen Netz auf, wobei das Steuergerät und/oder das Fahrerassistenzsystem dazu ausgeführt und eingerichtet ist, das voranstehend und im Folgenden beschriebene Verfahren durchzuführen.
-
Ein weiterer Aspekt dieser Erfindung betrifft ein Fahrzeug mit einem voranstehend und im Folgenden beschriebenen Fahrerassistenzsystem.
-
Bei dem Fahrzeug kann es sich beispielsweise um ein Kraftfahrzeug, wie ein Auto, ein Motorrad, einen Bus oder einen Lastkraftwagen, oder auch ein Flugzeug, einen Helikopter oder auch ein Schiff handeln.
-
Ein weiterer Aspekt der Erfindung betrifft ein Programmelement, das, wenn es auf einem Steuergerät eines Fahrerassistenzsystems ausgeführt wird, das Fahrerassistenzsystem anleitet, das im Kontext der Erfindung beschriebene Verfahren durchzuführen.
-
Ein weiterer Aspekt der vorliegenden Erfindung betrifft ein computerlesbares Medium, auf dem ein derartiges Programmelement gespeichert ist.
-
Im Folgenden sind Vorteile der Erfindung zusammengefasst. Die Erfindung ermöglicht in vorteilhafter Weise eine pixelgenaue Erkennung und/oder Segmentierung von Objekten ohne explizites Wissen über dessen jeweilige Objektklasse. Des Weiteren ist kein manuelles Labeling der Anlerndaten erforderlich. Eine Vorhersage und ein Vergleich von verschiedenen Sensordaten ist möglich. Auch können Spiegelungen in Sensordaten erkannt werden. Als weiterer Vorteil der Erfindung ist zu nennen, dass die Vorhersage von Fahrzeugsignalen und Einbauparametern von Sensorelementen ermöglicht wird, sowie die Ermittlung von Online-Kalibrierwerten und Einbaukalibrierungen zwischen verschiedenen Fahrzeugsensoren. Ferner kann das automatische Anlernen während der Fahrt ermöglich werden.
-
Weitere Merkmale, Vorteile und Anwendungsmöglichkeiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung der Ausführungsbeispiele und Figuren. Die Figuren sind schematisch und nicht maßstabsgetreu. Sind in der nachfolgenden Beschreibung in verschiedenen Figuren die gleichen Bezugszeichen angegeben, so bezeichnen diese gleiche, gleich wirkende oder ähnliche Elemente.
- 1 zeigt ein Flussdiagramm zur Illustration von Schritten des Verfahrens zum Ermitteln von Abweichungen in Sensordaten mit Hilfe eines angelernten neuronalen Netzes gemäß einer Ausführungsform der Erfindung.
- 2 zeigt eine schematische Darstellung des Funktionsprinzips des Anlernens des neuronalen Netzes gemäß einer Ausführungsform der Erfindung.
- 3 zeigt eine schematische Darstellung des Vergleichs der erwarteten Sensordaten mit den erfassten Sensordaten gemäß einer Ausführungsform der Erfindung.
- 4 zeigt eine schematische Darstellung eines Fahrerassistenzsystems zum Ermitteln von Abweichungen in Sensordaten gemäß einer Ausführungsform der Erfindung.
-
1 zeigt ein Flussdiagramm zur Illustration von Schritten des Verfahrens zum Ermitteln von Abweichungen in Sensordaten mit Hilfe eines neuronalen Netzes. Das Verfahren wird im Folgenden mittels der Figuren 2 und 3 näher erläutert. Dabei zeigt 2 eine schematische Darstellung des Funktionsprinzips des Anlernens des neuronalen Netzes gemäß einer Ausführungsform der Erfindung. Weiter zeigt 3 eine schematische Darstellung des Vergleichs der erwarteten Sensordaten mit den erfassten Sensordaten gemäß einer Ausführungsform der Erfindung.
-
In einem ersten Schritt 101 werden zeitlich aufeinanderfolgende Roh-Sensordaten (t1, t2, t3,..., tn) mittels der Sensoranordnung und/oder wenigstens einem Sensorelement der Sensoranordnung erfasst. Diese Roh-Sensordaten dienen dem Anlernen eines neuronalen Netzes in Schritt 102, wobei der Lerndatensatz zum Anlernen des neuronalen Netzes ausgewertet von dem neuronalen Netz ausgewertet und/oder verarbeitet wird. In Schritt 103 werden erwartete Sensordaten ermittelt. Diese erwarteten Sensordaten können zum Anlernen des neuronalen Netzes rein basierend auf dem Lerndatensatz ermittelt werden. Nach dem Anlernen des neuronalen Netzes können in Schritt 103 jedoch auch erwartete Sensordaten basierend auf dem angelernten neuronalen Netz und basierend auf einem Eingangsdatensatz von zeitlich aufeinander folgenden Sensordaten ermittelt werden.
-
Genauer können in der Anlernphase des neuronalen Netzes die erwarteten Sensordaten (t0) zu einem bestimmten Zeitpunkt t0 basierend auf den zeitlich vorangegangenen Roh-Sensordaten mit den aktuell erfassten Sensordaten (t0) verglichen werden, wie in Schritt 104 illustriert. Dieser Vergleich dient in der Anlernphase dazu, das neuronale Netzwerk weiter zu verbessern bzw. Merkmale in den Sensordaten besser klassifizieren zu können.
-
Während des Betriebs können dann fortlaufend Sensordaten durch die Sensoranordnung erfasst werden. Das angelernte neuronale Netz kann dann mit den erfassten Sensordaten beaufschlagt werden, wobei das neuronale Netz erwartete Sensordaten ermitteln kann. Die erwarteten Sensordaten können anschließend mit den zeitlich korrespondierenden erfassten Sensordaten verglichen werden. Dieser Vergleich kann vorteilhafter Weise von einer Steuereinheit des Fahrerassistenzsystems ausgeführt werden. Beispielsweise kann der Vergleich durch eine Subtraktion der ermittelten erwarteten Sensordaten und der aktuell erfassten Sensordaten erfolgen. Basierend auf dem Vergleich kann dann in Schritt 105 eine Abweichung zwischen den erwarteten und den aktuell erfassten Sensordaten ermittelt werden. Eine derartige Abweichung kann dann beispielsweise einem anderen Verkehrsteilnehmer, einem anderen Fahrzeug, einer Spiegelung in einem optischen Pfad der Kamera, einem Straßenschild, einer Brücke, einer Spiegelung, einer Verschmutzung, einer Kalibrierabweichung oder einem beliebigen anderen Ereignis zugeordnet werden.
-
Das neuronale Netzwerk kann auch auf eine Korrelation zwischen zwei verschiedenen Sensorelementen angelernt werden, sodass die erfassten Sensordaten eines Sensorelements zur Bestimmung der erwarteten Sensordaten eines anderen Sensorelements genutzt werden können.
-
4 zeigt ein Fahrerassistenzsystem 200. Das Fahrerassistenzsystem 200 weist eine Steuereinheit 210 und eine Sensoranordnung 220 auf. Die Sensoranordnung 220 wiederrum kann eines oder mehrere Sensorelemente 221, 222 aufweisen. In 4 sind aus Gründen der Vereinfachung lediglich zwei Sensorelemente dargestellt, jedoch kann die Sensoranordnung 220 auch mehr als zwei Sensorelemente 221, 222 aufweisen. Die einzelnen Sensorelemente 221, 222 sind ausgeführt, Sensordaten zu erfassen. Die Sensorelemente 221, 222 können ferner dazu ausgeführt sein, kontinuierlich zeitlich aufeinanderfolgende Sensordaten zu erfassen. Die erfassten Sensordaten werden von der Sensoranordnung 220 an die Steuereinheit 210 weitergeleitet und dort ausgewertet. In der Steuereinheit 210 ist ferner ein neuronales Netz implementiert. Das neuronale Netz wird mit Hilfe der erfassten Sensordaten angelernt und ist in der Lage, aus erfassten Sensordaten erwartete Sensordaten für einen zukünftigen Zeitpunkt zu ermitteln. Des Weiteren ist die Steuereinheit 210 ausgeführt, die erwarteten Sensordaten mit den erfassten Sensordaten an dem korrespondierenden Zeitpunkt zu vergleichen. Der Vergleich kann beispielsweise durch Subtraktion der beiden Datensätze erfolgen. Durch den Vergleich können Abweichungen zwischen den erfassten Sensordaten und den erwarteten Sensordaten festgestellt werden. Diese ermittelten Abweichungen kann die Steuereinheit 210 analysieren und auswerten bzw. bewerten. Das Ergebnis der Auswertung des Vergleichs kann anschließend von der Steuereinheit 210 des Fahrerassistenzsystems 200 dem Fahrer des Fahrzeugs mitgeteilt werden.
