-
Die vorliegende Erfindung betrifft ein Verfahren zum Bewerten eines Einzelbildes einer Bildsequenz für eine Ansteuerung einer Scheinwerfereinrichtung. Zudem betrifft die Erfindung eine Testvorrichtung zum Bewerten eines Einzelbildes einer Bildsequenz für eine Ansteuerung einer Scheinwerfereinrichtung.
-
Für eine Ansteuerung hochauflösender Scheinwerfer werden oft in Echtzeit Bilder mit Auflösungen größer als eine Million Pixel erzeugt. In vielen Fällen fließen mehrere hundert Parameter in das erzeugte Ansteuerungsbild mit ein. Meistens soll mittels der hochauflösenden Scheinwerfer eine Animation beziehungsweise ein dauerhafter Bildfluss bestehend aus vielen Einzelbildern dargestellt werden. Bei einem fehlerhaften Einzelbild kann es kurzzeitig zu einem unerwünschten Aufblitzen bei der Darstellung einer Animation durch den hochauflösenden Scheinwerfer kommen.
-
Die Druckschrift
DE 199 16 175 A1 beschreibt eine Einrichtung zur Einstellung der Richtung des von wenigstens einem Scheinwerfer eines Fahrzeugs ausgesandten Lichtbündels. Von dem Scheinwerfer ausgesandte und von einer Fahrbahn rückgestrahlten Lichtstrahlen erzeugen hierbei eine Abbildung. Die Abbildung wird einer Kontrolleinrichtung zugeführt, durch die die Abbildung im Hinblick auf den für eine weitere Verarbeitung erforderlich Informationsinhalt ausgewertet wird. Die Auswerteeinrichtung ist dabei als ein selbstlernendes neuronales Netz aufgebaut. Die Auswerteeinrichtung erzeugt einen Vorschlag für eine Einstellung der Richtung des Lichtbündels, der durch die Kontrolleinrichtung auf seine Plausibilität überprüft wird und gegebenenfalls die Richtung des Lichtbündels entsprechend einstellt.
-
Die Offenlegungsschrift
DE 10 2011 109 440 A1 beschreibt ein Verfahren zum Justieren und/oder Kalibrieren zumindest eines Scheinwerfers eines Fahrzeugs. Dabei werden mittels einer Bilderfassungseinheit Bilder einer vor dem Fahrzeug befindlichen Fahrzeugumgebung erfasst. Die Bilder werden pixelweise ausgelesen und unter Beibehaltung einer Zeilen- und/oder Spalteninformation wird eine Matrixstruktur ermittelt. Dabei wird eine Horizontale und/oder Vertikale einer Hell-Dunkel-Grenze und eine Abweichung von der Hell-Dunkel-Grenze von einem vorgegebenen Sollwert ermittelt. Anhand der ermittelten Abweichung wird der Scheinwerfer beziehungsweise die Lichteinheit kalibriert beziehungsweise justiert.
-
Bisher ist kein geeignetes Testverfahren zur Bewertung beziehungsweise zur Überprüfung der erzeugten Bilder bekannt. Statistische Testverfahren, die durch einen manuellen Abgleich von einzelnen Bildern mit einem Referenzbild arbeiten, erlauben lediglich die Manipulation und anschließende Auswertung einiger weniger Signale. Darüber hinaus ist eine dynamische Bewertung vieler Einzelbilder mit einer Vielzahl an Eingangsparametern äußerst aufwändig. Des Weiteren müssen die Referenzbilder von einer unabhängigen Bilderzeugung generiert und anschließend durch eine optische Kontrolle klassifiziert werden.
-
Die Aufgabe der vorliegenden Erfindung besteht somit darin, ein geeignetes Testverfahren bereitzustellen, welches ein fehlerhaftes Einzelbild einer Bildsequenz zuverlässig erkennen kann. Ebenso soll eine entsprechende Testvorrichtung und ein entsprechendes Kraftfahrzeug vorgeschlagen werden.
-
Diese Aufgabe wird durch die unabhängigen Patentansprüche dieser Anmeldung gelöst. Sinnvolle Weiterbildungen dieser Erfindung ergeben sich aus den Unteransprüchen.
-
Die vorliegende Erfindung sieht ein Verfahren zum Bewerten eines Einzelbildes einer Bildsequenz für eine Ansteuerung einer Scheinwerfereinrichtung vor, die ein Pixellichtsystem aufweist. Dazu werden folgende Verfahrensschritte ausgeführt. In einem ersten Schritt a werden Eingangsdaten für eine Bilderzeugungseinheit für einen hochauflösenden Scheinwerfer bereitgestellt. Diese Eingangsdaten sind insbesondere digitale Daten, welche über ein Feldbussystem an eine erste Schnittstelle der Bilderzeugungseinheit bereitgestellt werden. Diese Eingangsdaten beschreiben also insbesondere, was später durch einen hochauflösenden Scheinwerfer dargestellt werden soll. Die Eingangsdaten können beispielsweise eine Information betreffend die Umgebung eines Kraftfahrzeugs beinhalten. So können die Eingangsdaten die Umgebung des Kraftfahrzeugs näher spezifizieren. Beispielsweise können die Eingangsdaten als Information beinhalten, ob das Kraftfahrzeug sich auf einer Autobahn, in einem Baustellenbereich oder in einer verkehrsberuhigten Zone befindet.
-
In einem weiteren Schritt b werden die Eingangsdaten für die Bilderzeugungseinheit zu einem tiefen neuronalen Netz zugeführt. Dies bedeutet, dass die Eingangsdaten nicht nur der Bilderzeugungseinheit, sondern zusätzlich auch dem tiefen neuronalen Netz bereitgestellt beziehungsweise zugeführt werden. Dabei werden insbesondere mehrere Eingangskanäle dem tiefen neuronalen Netz zugeführt. Vorzugsweise kann das tiefe neuronale Netz auf alle Eingangsdaten zugreifen. Das tiefe neuronale Netz greift sozusagen die Eingangsdaten, die zur Bilderzeugung dienen, ab.
-
In einem weiteren Schritt c wird ein erstes Einzelbild der Bildsequenz aus den Eingangsdaten durch die Bilderzeugungseinheit erzeugt. Die Bilderzeugungseinheit erzeugt insbesondere aus den Eingangsdaten eine Vielzahl von Einzelbildern. Jedoch wird zumindest ein Einzelbild erzeugt. Diese Einzelbilder bilden insbesondere eine zusammenhängende Bildsequenz. Diese Bildsequenz kann insbesondere eine Animation darstellen. Diese Animation kann beispielsweise in Form eines Stoppschilds oder eines sich pulsierenden Pfeils vorliegen beziehungsweise als solche ausgeführt sein.
-
In einem Schritt d wird das erste Einzelbild unmittelbar nach dem Erzeugen und/oder eines zweiten Einzelbildes betreffend die Bildsequenz, welches auf eine Projektionsfläche basierend auf den Eingangsdaten projiziert wird und von einer Kamera erfasst wird, zu dem tiefen neuronalen Netz zugeführt. Dies bedeutet insbesondere, dass dem tiefen neuronalen Netz neben den Eingangsdaten noch weitere Informationen übermittelt werden. Dem tiefen neuronalen Netz wird zumindest ein Einzelbild (das erste Einzelbild oder das zweite Einzelbild) zusätzlich zu den Eingangsdaten zugeführt. Es ist jedoch auch möglich, dass dem tiefen neuronalen Netz das erste und zweite Einzelbild zugeführt werden. Das zweite Einzelbild wird dabei von einer Kamera erfasst. Diese Kamera kann beispielsweise im Frontbereich eines Kraftfahrzeugs oder an einem Außenspiegel angebracht sein.
-
In einem Schritt e wird das jeweilige Einzelbild durch das tiefe neuronale Netz bewertet, wobei das erste Einzelbild und/oder das zweite Einzelbild in Abhängigkeit von den Eingangsdaten einem jeweiligen Prüfwert zugeordnet werden. Das jeweilige Einzelbild kann ein beliebiges Einzelbild aus der Bildsequenz sein, das untersucht werden soll. Dabei bilden mehrere Einzelbilder insbesondere eine zusammenhängende Bildsequenz. Dabei kann das tiefe neuronale Netz die Bewertung mittels des ersten oder des zweiten Einzelbildes sowie auch mittels einer Kombination des ersten und zweiten Einzelbildes durchführen. Bei der Bewertung des ersten Einzelbildes kann das tiefe neuronale Netz Fehler im Bereich der Bilderzeugung erkennen. Erkennt das tiefe neuronale Netz beispielsweise ein fehlerhaftes Einzelbild basierend auf der Bewertung des zweiten Einzelbildes, so kann dies auf einen Defekt eines Scheinwerfers hindeuten. Mithilfe des tiefen neuronalen Netzes können die durch die Bilderzeugungseinheit generierten Einzelbilder klassifiziert werden. Diese Klassifikation kann binär oder graduell erfolgen. Bei einer binären Bewertung könnte dem jeweiligen Einzelbild ein Wert „richtig“ oder „falsch“ zugeordnet werden. Bei einer graduellen Bewertung könnte zum Beispiel eine Skala von 0 bis 100 verwendet werden. Somit kann die Bilderzeugung unter Berücksichtigung einer Vielzahl von Eingangsparametern validiert werden. Vorteilhaft ist hierbei insbesondere, dass keine manuelle Prüfung der Bilder stattfinden muss.
-
Eine weitere Variante dieser Erfindung sieht vor, dass das tiefe neuronale Netz anhand mehrerer unterschiedlicher Testszenarien trainiert wird, wobei die unterschiedlichen Testszenarien unterschiedliche Merkmale für eine Merkmalserkennung aufweisen. Die Merkmalserkennung kann insbesondere als eine Objekterkennung ausgeführt sein. Damit können in einem Bild abgebildete Objekte oder in den Eingangsdaten für die Bilderzeugungseinheit enthaltene Objekte erkannt werden. Die Merkmalserkennung ist insbesondere in der Lage, anhand von den Eingangsdaten (zum Beispiel Bilder) Regelmäßigkeiten, Wiederholungen, Ähnlichkeiten oder Gesetzmäßigkeiten zu erkennen. Je besser und effizienter ein tiefes neuronales Netz betreffend seine Aufgabe trainiert wird, umso effizienter ist tendenziell die Erkennung von fehlerhaften Einzelbildern. Das Trainieren eines tiefen neuronalen Netzes findet insbesondere vor dessen Einsatz beziehungsweise Implementierung im Kraftfahrzeug statt. Bei einem Testszenario wird dem tiefen neuronalen Netz insbesondere eine Vielzahl von Bildern vorgelegt, in denen es ein bestimmtes Merkmal erkennen soll.
-
Um die Zuverlässigkeit der Merkmalserkennung beziehungsweise Objekterkennung (zum Beispiel die Erkennung von Kraftfahrzeugen in den Eingangsdaten) effektiv und sicher auszugestalten, ist es sinnvoll mehrere unterschiedliche Testszenarien zum Trainieren für das tiefe neuronale Netz bereitzustellen. Dies bedeutet insbesondere, dass dem tiefen neuronalen Netz auch Bilder vorgelegt werden, die gar kein Kraftfahrzeug zeigen. Beispielsweise kann dem tiefen neuronalen Netz eine Gruppe von Fußgängern gezeigt werden. Auch das Zeigen eines Bildes, welches eine Einfahrt in ein Waldgebiet zeigt, ist als Testszenario denkbar. Durch das Trainieren des tiefen neuronalen Netzes anhand der mehreren unterschiedlichen Testszenarien kann das tiefe neuronale Netz bei entsprechendem Trainieren zuverlässig bestimmte Objekte oder Merkmale von anderen unterscheiden. So kann das tiefe neuronale Netz dahingehend trainiert werden, dass es zuverlässig Kraftfahrzeuge und Fußgänger erkennen kann. Dies ist gerade im Hinblick für autonomes Fahren von besonderer Bedeutung.
-
Eine weitere Variante dieser Erfindung sieht ein Verfahren vor, wobei das tiefe neuronale Netz als Prüfwert einen binären Wert von null oder eins erzeugt. Dies bedeutet insbesondere, dass das tiefe neuronale Netz für jedes einzelne Einzelbild einen Wert von null oder eins erzeugen kann. Dem jeweiligen Einzelbild kann eine null oder eine eins zugeordnet werden. Für jedes Einzelbild beziehungsweise für jedes Frame kann eine Richtig-Falsch-Prüfung ermöglicht werden. Somit können richtige oder korrekte Einzelbilder von falschen Einzelbildern eindeutig unterschieden werden. Durch eine eindeutige Klassifizierung von fehlerhaften Einzelbildern, kann eine effektive Korrektur der Bildsequenz ermöglicht werden. In einem einfach gelagerten Fall kann dies beispielsweise dadurch erfolgen, dass das fehlerhafte Einzelbild gelöscht wird. Dabei kann insbesondere vorgesehen sein, dass das tiefe neuronale Netz die Korrektur der fehlerhaften Einzelbilder vornimmt. Dies kann mithilfe einer entsprechenden Bildanalyse beziehungsweise Bildbearbeitung geschehen. Bei dem Bewerten des jeweiligen Einzelbildes kann das tiefe neuronale Netz auch eine Ähnlichkeitsanalyse durchführen. Jedoch arbeitet das tiefe neuronale Netz selbständig und kann die Bewertung eigenständig vornehmen.
-
Eine weitere Variante dieser Erfindung sieht vor, dass die Eingangsdaten für die Bilderzeugungseinheit durch ein Feldbussystem über eine erste Schnittstelle zugeführt werden und das erste Einzelbild unmittelbar nach dem Erzeugen mittels eines Hochgeschwindigkeitsbussystems, das insbesondere als LVDS-Datenübertragung ausgebildet ist, dem tiefen neuronalen Netz zugeführt wird. Es ist jedoch auch insbesondere vorgesehen, dass das erste Einzelbild mittels des Hochgeschwindigkeitsbussystems zu dem hochauflösenden Scheinwerfer übertragen wird. Das Feldbussystem kann insbesondere einen CAN-Bus, einen FlexRay-Bus sowie einen Ethernet-Bus aufweisen. Der CAN-Bus wurde insbesondere für eine Vernetzung einer größeren Anzahl von Steuergeräten eingeführt. Ein CAN-Bus erlaubt hohe Datenraten in Diagnose und eine Flashprogrammierung. Ein FlexRay-Bus ist insbesondere für sicherheitskritische Anwendungen vorgesehen. Bei der LVDS-Datenübertragung handelt es sich insbesondere um einen Schnittstellen-Standard für eine Hochgeschwindigkeits-Datenübertragung. Da bei hochauflösenden Scheinwerfern eine Vielzahl an hochauflösenden Einzelbildern übertragen werden sollen, bietet sich eine Hochgeschwindigkeits-Datenübertragung, welche als LVDS-Datenübertragung ausgeführt sein kann, an.
-
Eine weitere Variante dieser Erfindung sieht vor, dass in Abhängigkeit von dem Prüfwert ein Steuersignal zum Ansteuern der Scheinwerfereinrichtung, insbesondere des hochauflösenden Scheinwerfers erzeugt wird. Wurde beispielsweise durch das Bewerten des jeweiligen Einzelbildes durch das tiefe neuronale Netz ein fehlerhaftes Einzelbild erkannt, so ist in diesem Fall insbesondere vorgesehen, dass das tiefe neuronale Netz ein Steuersignal zum Ansteuern der Scheinwerfereinrichtung erzeugt. Ergibt der Prüfwert beispielsweise, dass das zu untersuchende Einzelbild korrekt ist, so kann das tiefe neuronale Netz eine gewünschte Bildsequenz, so wie sie berechnet wurde, durch die Scheinwerfereinrichtung darstellen lassen. Ergibt jedoch zum Beispiel die Bewertung des jeweiligen Einzelbildes einen Prüfwert, der auf ein fehlerhaftes Einzelbild hindeutet, so kann das tiefe neuronale Netz eine Korrektur des betreffenden fehlerhaften Einzelbildes initiieren. Diese Korrektur kann beispielsweise in der Ausblendung des fehlerhaften Einzelbildes bestehen. Das tiefe neuronale Netz kann jedoch auch das fehlerhafte Einzelbild neu berechnen und dadurch das fehlerhafte Einzelbild zu einem korrekten Einzelbild transformieren. Durch den Einsatz des tiefen neuronalen Netzes kann die Zuverlässigkeit des hochauflösenden Scheinwerfers beziehungsweise der Scheinwerfereinrichtung weiter erhöht werden. Fehlerhafte Einzelbilder können so zuverlässig erkannt werden und eine entsprechende Korrektur kann durch das tiefe neuronale Netz vor einer fehlerhaften Darstellung der Bildsequenz durchgeführt werden.
-
Die Erfindung sieht auch eine Testvorrichtung zum Bewerten eines Einzelbildes einer Bildsequenz für eine Ansteuerung einer Scheinwerfereinrichtung, die ein Pixellichtsystem aufweist vor. Die Testvorrichtung weist eine Bilderzeugungseinheit auf, die eine erste Schnittstelle zum Empfangen von Bildeingangsdaten und eine zweite Schnittstelle zum Ausgeben eines ersten Einzelbildes der Bildsequenz aufweist. Dabei ist die Bilderzeugungseinheit ausgestaltet, aus den Eingangsdaten das erste Einzelbild zum Projizieren durch die Scheinwerfereinrichtung zu erzeugen. Zusätzlich oder alternativ zu der Bilderzeugungseinheit kann die Testvorrichtung eine Kamera aufweisen, die ausgebildet ist, ein zweites Einzelbild betreffend die Bildsequenz, welches auf eine Projektionsfläche basierend auf den Eingangsdaten projiziert wird, zu erfassen.
-
Die Testvorrichtung weist ferner einen Testrechner auf, wobei der Testrechner ein tiefes neuronales Netz aufweist. Das tiefe neuronale Netz ist ausgebildet, dem ersten Einzelbild und/oder dem zweiten Einzelbild in Abhängigkeit von den Eingangsdaten einen jeweiligen Prüfwert zuzuordnen. Die in vorangegangenen Varianten genannten Vorteile gelten sinngemäß auch für die Testvorrichtung.
-
In der Regel beinhaltet die Testvorrichtung die Bilderzeugungseinheit, die eine erste Schnittstelle zum Empfangen von Bildeingangsdaten und eine zweite Schnittstelle zum Ausgeben eines ersten Einzelbildes der Bildsequenz aufweist. Die Bilderzeugungseinheit dient insbesondere dem Generieren von Einzelbildern basierend auf den Eingangsdaten. Die von der Bilderzeugungseinheit erzeugten Einzelbilder werden als „erste Einzelbilder“ benannt. Das tiefe neuronale Netz kann sowohl die ersten Einzelbilder als die zweiten Einzelbilder bewerten. Die zweiten Einzelbilder werden dabei von der Kamera erzeugt. In der Regel fotografiert oder filmt die Kamera die Projektionsfläche, auf der die zweiten Einzelbilder dargestellt werden. Das tiefe neuronale Netz ist insbesondere in dem Testrechner implementiert.
-
Im Rahmen der Erfindung betrachtet das tiefe neuronale Netz insbesondere, ob die Eingangsdaten zu den erzeugten Einzelbildern passen. Dies erfolgt insbesondere durch das Bewerten des ersten Einzelbildes durch das tiefe neuronale Netz. Dabei kann dem ersten Einzelbild in Abhängigkeit von den Eingangsdaten ein erster Prüfwert zugeordnet werden. Beinhalten die Eingangsdaten beispielsweise die Informationen für die Simulation eines Abbiegepfeils, und würde die Bilderzeugungseinheit fälschlicherweise ein Stoppschild als Animation berechnen, so würde in diesem Fall das tiefe neuronale Netz eine Diskrepanz zwischen den Eingangsdaten und dem ersten erzeugten Einzelbild feststellen. Diese Diskrepanz zwischen den Eingangsdaten und dem ersten erzeugten Einzelbild würde sich in dem ersten Prüfwert widerspiegeln. Dieser Prüfwert kann dabei zum Beispiel eine Skala von 0 bis 100 Prozent umfassen. So kann beispielsweise ein Prüfwert von 0 Prozent ein komplett fehlerhaftes Einzelbild und ein Prüfwert von 100 Prozent ein vollständig korrektes Einzelbild darstellen. Das tiefe neuronale Netz kann insbesondere erkennen, wie gut das erste Einzelbild zu den Eingangsdaten passt. Dies bedeutet insbesondere, dass das tiefe neuronale Netz einen Prüfwert zwischen diesen beiden beispielhaft genannten Extremwerten erstellen kann.
-
Das Pixellichtsystem betrifft insbesondere die hochauflösenden Scheinwerfer. Hochauflösende Scheinwerfer weisen insbesondere einen DMD-Spiegel auf. Der DMD-Spiegel weist eine Vielzahl von Microspiegeln auf. Die jeweiligen Microspiegel repräsentieren dabei die entsprechenden einzelnen Pixel. Diese Microspiegel werden in vielen Fällen auch als Segmente bezeichnet. Hochauflösende Scheinwerfereinrichtungen beziehungsweise hochauflösende Scheinwerfer können mehrere tausend oder gar hunderttausend Segmente beziehungsweise Microspiegel aufweisen. Das Pixellichtsystem kann insbesondere als ein LED-Matrix-Pixellichtsystem ausgeführt sein. Bei hochauflösenden Scheinwerfern werden insbesondere eine Vielzahl von Segmenten beziehungsweise Microspiegel individuell angeleuchtet. Diese jeweiligen Microspiegel oder Segmente können individuell verstellt werden. Die vorliegende Erfindung betrifft insbesondere Pixellichtsysteme, die eine Auflösung von mehr als eine Million Pixel aufweisen.
-
Ferner kann die Testvorrichtung neben der Bilderzeugungseinheit zugleich eine Kamera aufweisen, die ausgebildet ist, das zweite Einzelbild betreffend die Bildsequenz, welches auf eine Projektionsfläche basierend auf den Eingangsdaten projiziert wird, zu erfassen. In diesem Fall wird das zweite Einzelbild nicht unmittelbar nach seiner Erzeugung durch die Bilderzeugungseinheit abgegriffen (in diesem Fall wäre es das erste Einzelbild), sondern durch das Erfassen der Kamera erzeugt. Dies geschieht insbesondere dadurch, dass die Kamera die Bildsequenz auf der Projektionsfläche fotografiert beziehungsweise die Bildsequenz filmt. In diesem Fall ist das tiefe neuronale Netz ausgebildet, zusätzlich zu der Zuordnung des ersten Prüfwerts für das erste Einzelbild dem zweiten Einzelbild in Abhängigkeit von den Eingangsdaten einen zweiten Prüfwert zuzuordnen. Dabei kann das tiefe neuronale Netz dem zweiten Einzelbild den zweiten Prüfwert zuordnen, der zu dem ersten Prüfwert unterschiedlich sein kann.
-
Würde beispielsweise der erste Prüfwert ergeben, dass das Einzelbild fehlerfrei war, jedoch der zweite Prüfwert ergeben, dass das zweite Einzelbild fehlerhaft ist, so könnte dies auf einen Defekt im Bereich der hochauflösenden Scheinwerfer hindeuten. Demzufolge wäre das Einzelbild durch die Bilderzeugungseinheit zwar korrekt erstellt worden, jedoch könnte ein Fehler bei der Darstellung durch den hochauflösenden Scheinwerfer erfolgt sein. Dadurch, dass das tiefe neuronale Netz das erste und zugleich das zweite Einzelbild bewerten kann, indem es den jeweiligen Einzelbildern einen jeweiligen Prüfwert zuordnet, kann bei einem fehlerhaften Einzelbild die Fehlerquelle unter Umständen präziser angegeben werden.
-
Eine weitere Variante dieser Erfindung sieht eine Testvorrichtung vor, wobei der Testrechner mehrere unterschiedliche digitale Ressourcen, insbesondere eine Grafikkarte und/oder eine Tensor-Einheit, aufweist und das tiefe neuronale Netz ausgebildet ist, zeitgleich die mehreren digitalen Ressourcen zum Bewerten des jeweiligen Einzelbildes zu nutzen. Die Tensor-Einheit ist vorzugsweise als Tensorprozessor ausgeführt. Das Bewerten des jewieligen Einzelbildes bedeutet insbesondere, dass dem betreffenden Einzelbild in Abhängigkeit von den Eingangsdaten ein jeweiliger Prüfwert zugeordnet wird. Dieses Bewerten kann unter Umständen viel Rechenleistung beziehungsweise Rechenkapazität in Anspruch nehmen. Daher kann sich das tiefe neuronale Netz insbesondere massiver Parallelisierungsmechanismen bedienen. Dies bedeutet insbesondere, dass mehrere digitale Ressourcen zeitgleich durch das tiefe neuronale Netz in Anspruch genommen werden. So kann vorgesehen sein, dass das tiefe neuronale Netz die Grafikkarte sowie die Tensor-Einheit zeitgleich nutzt. Somit kann das Bewerten des jeweiligen Einzelbildes rasch und ohne Verzögerung erfolgen.
-
Eine weitere Variante dieser Erfindung sieht eine Testvorrichtung mit einem Cloud-Server vor, wobei der Testrechner ausgebildet ist, vorgegebene Informationen, die auf dem Cloud-Server hinterlegt sind, abzurufen und das tiefe neuronale Netz zugleich ausgebildet ist, diese Informationen für das Bewerten des jeweiligen Einzelbildes zu berücksichtigen. In der Regel wird das tiefe neuronale Netz entsprechend seiner Aufgaben vor seinem Einsatz trainiert. Soll beispielsweise ein Abbiegepfeil erzeugt werden und ist zum Beispiel auf dem Cloud-Server hinterlegt, dass die betreffende Straße gesperrt ist, so könnte das tiefe neuronale Netz diese Information berücksichtigen. In diesem Fall würde das tiefe neuronale Netz das betreffende Einzelbild als fehlerhaft klassifizieren, da ein Abbiegemanöver nicht durchgeführt werden kann und dies daher auch nicht dargestellt werden soll. Damit kann das tiefe neuronale Netz auch aktuelle Verkehrsinformationsdaten bei der Bewertung des jeweiligen Einzelbildes berücksichtigen.
-
Die Verkehrsinformationsdaten können beispielsweise Informationen zu gesperrten Straßenabschnitten, der aktuellen Verkehrslage sowie über eventuelle Unfälle beinhalten. Die Verkehrsinformationsdaten können insbesondere jene Informationen beinhalten, die nicht durch eine Sensorik des Kraftfahrzeugs vor Ort gewonnen werden können.
-
Eine weitere Variante dieser Erfindung sieht eine Testvorrichtung vor, wobei die erste Schnittstelle an ein Datenbussystem, insbesondere an einen CAN-Bus, FlexRay-Bus und/oder Ethernet-Bus angeschlossen ist und die zweite Schnittstelle an ein Hochgeschwindigkeitsbussystem, insbesondere an einen LVDS-Bus angeschlossen ist. Der CAN-Bus dient insbesondere dazu, um eine Vernetzung einer größeren Anzahl von Steuergeräten zu ermöglichen. Er erlaubt hohe Datenraten in Diagnose- und Flashprogammierung. Für sicherheitskritische Anwendungen wird häufig ein FlexRay-Bus eingesetzt. Er ermöglicht insbesondere ein deterministisches Zeitverhalten und ist redundant ausgelegt. Da den hochauflösenden Scheinwerfern ebenfalls hochaufgelöste Einzelbilder übermittelt werden, ist für eine effiziente Ansteuerung der hochauflösenden Scheinwerfer ein entsprechendes Hochgeschwindigkeitsdatenübertragungssystem notwendig. Dieses Hochgeschwindigkeitsdatenübertragungssystem ist in dieser Variante der Erfindung als LVDS-Schnittstelle beziehungsweise LVDS-Datenübertragungssystem ausgebildet. Bei dem Begriff LVDS handelt es sich in der Regel um die Abkürzung für „Low Voltage Differential Signaling“ und diese Abkürzung bezeichnet einen Schnittstellen-Standard für Hochgeschwindigkeitsdatenübertragungssysteme.
-
Eine weitere Variante dieser Erfindung betrifft ein Kraftfahrzeug mit einer Testvorrichtung. In diesem Fall weist das Kraftfahrzeug eine Scheinwerfereinrichtung mit einem Pixellichtsystem auf. Ferner weist das Kraftfahrzeug einen Testrechner auf, der ein tiefes neuronales Netz beinhaltet. Das tiefe neuronale Netz kann beispielsweise durch ein „Convolutional Neural Network (CNN)“ realisiert sein. Das tiefe neuronale Netz ist vorzugsweise mit der Bilderzeugungseinheit sowie der LVDS-Schnittstelle der Bilderzeugungseinheit verbunden. Zudem kann das tiefe neuronale Netz auch mit einer Kamera verbunden sein. Das tiefe neuronale Netz kann insbesondere während eines Betriebs des Kraftfahrzeugs fehlerhafte Einzelbilder erkennen und darauf basierend eine entsprechende Ansteuerung betreffend die Scheinwerfereinrichtung vornehmen. So kann gewährleistet werden, dass während des Betriebs des Kraftfahrzeugs eine fehlerhafte Darstellung durch die Scheinwerfereinrichtung nahezu ausgeschlossen ist.
-
Zu der Erfindung gehört das tiefe neuronale Netz für die Testvorrichtung. Das tiefe neuronale Netz kann eine Prozessoreinrichtung aufweisen, die dazu eingerichtet ist, eine Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Die Prozessoreinrichtung kann hierzu zumindest einen Mikroprozessor und/oder zumindest einen Mikrocontroller aufweisen. Des Weiteren kann die Prozessoreinrichtung Programmcode aufweisen, der dazu eingerichtet ist, bei Ausführen durch die Prozessoreinrichtung die Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Der Programmcode kann in einem Datenspeicher der Prozessoreinrichtung gespeichert sein.
-
Die vorliegende Erfindung wird nun anhand der beigefügten Zeichnung erläutert. Die Erfindung umfasst auch die Kombinationen der beschriebenen Ausführungsformen.
-
Zu der Erfindung gehören auch Weiterbildungen des erfindungsgemäßen Verfahrens, die Merkmale aufweisen, wie sie bereits im Zusammenhang mit den Weiterbildungen des erfindungsgemäßen Kraftfahrzeugs beschrieben worden sind. Aus diesem Grund sind die entsprechenden Weiterbildungen des erfindungsgemäßen Verfahrens hier nicht noch einmal beschrieben.
-
Im Folgenden ist ein Ausführungsbeispiel der Erfindung beschrieben. Hierzu zeigt die einzige Figur einen schematischen Testaufbau einer Scheinwerfereinrichtung mit einem tiefen neuronalen Netz, einer Bilderzeugung sowie zwei Scheinwerfern.
-
Bei den im Folgenden erläuterten Ausführungsbeispielen handelt es sich um bevorzugte Ausführungsformen der Erfindung. Bei den Ausführungsbeispielen stellen die beschriebenen Komponenten der Ausführungsformen jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden und damit auch einzeln oder in einer anderen als der gezeigten Kombination als Bestandteil der Erfindung anzusehen sind. Des Weiteren sind die beschriebenen Ausführungsformen auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar. In den Figuren sind funktionsgleiche Elemente jeweils mit denselben Bezugszeichen versehen.
-
Die einzige Figur zeigt beispielhaft ein Pixellichtsystem 19, das Teil einer Scheinwerfereinrichtung 20 ist. Das Pixellichtsystem 19 beinhaltet eine Bilderzeugungseinheit 14 sowie in diesem Fall zwei hochauflösende Scheinwerfer 16. Die hochauflösenden Scheinwerfer 16 sind mittels eines Hochgeschwindigkeitsbussystems 15 mit der Bilderzeugungseinheit 14 verbunden.
-
Das Hochgeschwindigkeitsbussystem 15 ist insbesondere an eine zweite Schnittstelle der Bilderzeugungseinheit 14 gekoppelt und als LVDS-Datenübertragung ausgeführt. An eine erste Schnittstelle der Bilderzeugungseinheit 14 ist insbesondere ein Feldbussystem angeschlossen. Das Feldbussystem kann mehrere Bussysteme aufweisen. Im Beispiel der einzigen Figur weist das Feldbussystem einen CAN-Bus 11, einen FlexRay-Bus 12 sowie einen Ethernet-Bus 13 auf. Diese drei unterschiedlichen Bussysteme stellen Eingangsdaten für die Bilderzeugungseinheit 14 bereit.
-
Ein tiefes neuronales Netz 10, welches innerhalb eines Testrechners 10' angeordnet sein kann, greift auf diese Eingangsdaten zu. Darüber hinaus kann das tiefe neuronale Netz 10 ebenfalls auf die generierten Einzelbilder zugreifen, welche über das Hochgeschwindigkeitsbussystem 15 übertragen werden. Das tiefe neuronale Netz 10 kann das erste Einzelbild, welches über das Hochgeschwindigkeitsbussystem 15 übertragen wird, anhand der Eingangsdaten bewerten. Bei dieser Bewertung ordnet das tiefe neuronale Netz 10 dem ersten Einzelbild einen ersten Prüfwert zu. Dieser Prüfwert kann in Form eines binären Wertes von null oder eins oder auch in Form einer differenzierten Abstufung angegeben werden. Dieselbe Bewertung kann das tiefe neuronale Netz 10 auch für das zweite Einzelbild vornehmen. Das zweite Einzelbild kann von einer Kamera 18 erzeugt werden.
-
Das tiefe neuronale Netz 10 kann mithilfe von unüberwachten oder überwachten Deep-Learning-Algorithmen eine Bewertung der Einzelbilder vornehmen. So kann beispielsweise durch ein Convolutional Neural Network eine große Menge an Bild- und Sensordaten anhand von eingelernten Trainingsdaten überprüft werden. Über das Feldbussystem können somit insbesondere auch Sensordaten für die Bilderzeugungseinheit 14 bereitgestellt werden. Soll beispielsweise ein Abbiegepfeil dargestellt werden, der von einer aktuellen Fahrspur auf eine andere verschiedene Fahrspur führen soll, so können die Eingangsdaten Informationen betreffend die aktuelle und die weitere Fahrspur beinhalten. Die Sensordaten, welche über das Feldbussystem übermittelt werden können, können auch weitere Umgebungsdaten des Kraftfahrzeugs beinhalten. So kann beispielsweise die Position und Geschwindigkeit umgebender Kraftfahrzeuge an die Bilderzeugungseinheit 14 übermittelt werden. Die Bilderzeugungseinheit 14 ist ausgelegt, die unterschiedlichen Eingangsdaten bei dem Generieren des ersten Einzelbildes zu berücksichtigen. Insbesondere erzeugt die Bilderzeugungseinheit 14 nicht nur ein einzelnes Einzelbild, sondern eine Vielzahl von Einzelbildern zur Darstellung einer Animation. Diese Einzelbilder werden im Beispiel von 1 über das Hochgeschwindigkeitsbussystem 15 an die jeweiligen hochauflösenden Scheinwerfer 16 übertragen.
-
Das tiefe neuronale Netz 10 kann unterschiedliche Testszenarien realisieren. Zum einen kann das tiefe neuronale Netz 10 direkt auf das erste erzeugte Einzelbild, welches über das Hochgeschwindigkeitsbussystem 15 übertragen wird, zugreifen. Zusätzlich oder alternativ kann das tiefe neuronale Netz jedoch auch auf das zweite Einzelbild zugreifen, welches von der Kamera 18 aufgenommen beziehungsweise erfasst wurde. Dies bedeutet, dass das erste Einzelbild insbesondere unmittelbar nach der Bilderzeugung durch die Bilderzeugungseinheit 14 abgegriffen wird und das zweite Einzelbild insbesondere durch eine optische Erfassung durch die Kamera 18, welche das zweite Einzelbild auf der Projektionsfläche 17 erfasst, gewonnen wird.
-
Das tiefe neuronale Netz kann sowohl das erste als auch das zweite Einzelbild bei der Bewertung des jeweiligen Einzelbildes berücksichtigen. Das tiefe neuronale Netz 10 kann insbesondere zugleich das erste und das zweite Einzelbild bei der Bewertung des jeweiligen Einzelbildes berücksichtigen. In diesem Fall kann bei einer Erkennung eines fehlerhaften Einzelbildes unter Umständen die Fehlerquelle beziehungsweise Fehlerursache näher angegeben werden. Als tiefes neuronales Netz 10 wird insbesondere ein trainiertes neuronales Netz verwendet. Damit kann die Scheinwerfereinrichtung 20 fehlerhafte Einzelbilder automatisch und somit ohne manuelle Prüfung der Einzelbilder erkennen. Dadurch, dass das tiefe neuronale Netz 10 das zweite Einzelbild für die Bewertung des jeweiligen Einzelbildes hinzuziehen kann, ist es möglich, das Funktionieren der Scheinwerfereinrichtung 20 unter realen Bedingungen zu überprüfen. So kann beispielsweise erkannt werden, ob die hochauflösenden Scheinwerfer 16 einen Fehler aufweisen. Ein korrektes erstes Einzelbild und ein fehlerhaftes zweites Einzelbild würden genau auf diesen Umstand hindeuten. Die Projektionsfläche 17 kann beispielsweise eine Fahrbahn oder eine Leinwand sein.
-
Das tiefe neuronale Netz 10 kann somit eine Vielzahl von Einzelbildern beziehungsweise Frames analysieren und jedes Einzelbild für sich bewerten. Dabei kann das tiefe neuronale Netz 10 auf die ersten und/oder zweiten Einzelbilder zurückgreifen. Die Bewertung erfolgt dadurch, dass das tiefe neuronale Netz 10 dem jeweiligen Einzelbild einen jeweiligen Prüfwert zuordnet. Auch eine graduelle beziehungsweise differenzierte Bewertung ist möglich.
-
Somit kann das tiefe neuronale Netz 10 insbesondere bewerten, wie gut sich ein Einzelbild in die betreffende Bildsequenz einfügt. Damit ist insbesondere gemeint, wie gut sich der semantische Inhalt des Einzelbildes in die Bildsequenz einfügt. Das tiefe neuronale Netz 10 kann daher intern einen Schwellwert festlegen, ab dem ein Einzelbild als fehlerhaft eingestuft wird. Diesen Schwellenwert kann das tiefe neuronale Netz 10 insbesondere in Abhängigkeit von den Eingangsdaten selbständig festlegen. Somit kann das tiefe neuronale Netz 10 flexibel und selbständig entscheiden, ob das erste und/oder zweite Einzelbild fehlerhaft ist. Somit müssen dem tiefen neuronalen Netz keine Referenzbilder vorgegeben werden und das tiefe neuronale Netz 10 kann zuverlässig und selbständig fehlerhafte Einzelbilder erkennen. Damit kann eine zuverlässigere und effizientere Ansteuerung der Scheinwerfereinrichtung 20 ermöglicht werden.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 19916175 A1 [0003]
- DE 102011109440 A1 [0004]
