DE102020209987A1

DE102020209987A1 - Vorrichtung und Verfahren zum Verarbeiten von Umfeldsensordaten

Info

Publication number: DE102020209987A1
Application number: DE102020209987.1A
Authority: DE
Inventors: Marlon Ramon Ewert
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2020-08-06
Filing date: 2020-08-06
Publication date: 2022-02-10

Abstract

Es wird ein Verfahren und eine Vorrichtung (100) zum Verarbeiten von Umfeldsensordaten (D1... Dn) beschrieben, aufweisend:wenigstens ein erstes neuronales Netz (10a), das ausgebildet ist, in wenigstens einem ersten Datenformat zugeführte Umfeldsensordaten (D1... Dn) in Umfeldsensordaten (ED) eines einheitlichen Datenformats zu konvertieren,wobei mit den Umfeldsensordaten im einheitlichen Datenformat eine nachgelagerte Datenverarbeitung (10b) durchführbar ist. Zudem wird ein Verfahren zum Trainieren eines neuronalen Netzes beschrieben.

Description

Die Erfindung betrifft eine Vorrichtung und ein Verfahren zum Verarbeiten von Umfeldsensordaten, ein Verfahren zum Trainieren eines neuronalen Netzes, und ein Computerprogrammprodukt.
Stand der Technik
In Fahrzeugen werden Umfeldsensoren verwendet, um eine Objekterkennung mithilfe eines Neuronales Netzes durchzuführen. Das neuronale Netz wird mithilfe von Trainingsdaten gelernt, wodurch die entsprechenden Objekttypen und Objektlagen in den Bilddaten mit einer bestimmten Wahrscheinlichkeit erkannt werden können. Von Nachteil ist aktuell, dass eine bestimmte Künstliche Intelligenz oder ein bestimmtes Neuronales Netz nur mit einem bestimmten Umfeldsensortyp mit einer festen Bilddatenrate bzw. festen Auflösung kompatibel ist.
Offenbarung der Erfindung
Eine Aufgabe der Erfindung ist es, eine verbesserte Vorrichtung zum Verarbeiten von Umfeldsensordaten bereitzustellen.
Die Aufgabe wird gemäß einem ersten Aspekt gelöst mit einer Vorrichtung zum Verarbeiten von Umfeldsensordaten, aufweisend wenigstens ein erstes neuronales Netz, das ausgebildet ist, in wenigstens einem ersten Datenformat zugeführte Umfeldsensordaten in Umfeldsensordaten eines vorgegebenen einheitlichen Datenformats zu konvertieren, wobei mit den Umfeldsensordaten im einheitlichen Datenformat eine nachgelagerte Datenverarbeitung, insbesondere Objekterkennung durchführbar ist.
Auf diese Weise können unterschiedlichen Datenraten und/oder Auflösungen der Umfeldsensordaten berücksichtigt werden, wodurch vielfältige Umfeldsensoren bzw. Umfeldsensortypen bzw. Umfeldsensorfamilien genutzt werden, die jeweils Umfeldsensordaten in einem spezifischen Datenformat bereitstellen. Vorteilhaft können dadurch Umfeldsensoren einfach ausgetauscht und bei einem gleichbleibenden Umfeldsensordatenformat durch wenigstens einen Umfeldsensor eines anderen Typs ersetzt werden.
Gemäß einem zweiten Aspekt wird die Aufgabe gelöst mit einem Verfahren zum Verarbeiten von Umfeldsensordaten, aufweisend die Schritte:

- Zuführen von Umfeldsensordaten an ein erstes neuronales Netz in wenigstens einem ersten Datenformat; und
- Umformen der Umfeldsensordaten in Umfeldsensordaten eines einheitlichen Datenformats mittels eines ersten neuronalen Netzes, wobei mit den Umfeldsensordaten im einheitlichen Datenformat eine nachgelagerte Datenverarbeitung, insbesondere Objekterkennung durchführbar ist. Vorzugsweise wird mit den Umfeldsensordaten ein Steuersignal dem ersten neuronalen Netz zugeführt, das das Datenformat der Umfeldsensordaten anzeigt.

Gemäß einem dritten Aspekt wird die Aufgabe gelöst mit einem Verfahren zum Trainieren eines neuronalen Netzes zum Verarbeiten von Umfeldsensordaten, aufweisend die Schritte:

a) Zuführen von Umfeldsensordaten wenigstens eines Umfeldsensors an das erste neuronale Netz in einem ersten Datenformat; und
b) Trainieren des ersten neuronalen Netzes derart, dass die Umfeldsensordaten in einem einheitlichen Datenformat ausgegeben werden. Vorzugseise können die Schritte a) und b) mit Umfeldsensordaten jeweils eines weiteren Datenformats wiederholt werden, wobei für die Umfeldsensordaten jeweils ein Steuersignal dem ersten neuronalen Netz zugeführt wird, das das Datenformat der Umfeldsensordaten anzeigt.

Gemäß einem vierten Aspekt wird die Aufgabe gelöst mit einem Computerprogrammprodukt umfassend Befehle, die bei der Ausführung des Computerprogramms durch einen Computer diesen veranlasst, die vorgeschlagenen Verfahren auszuführen oder das auf einem maschinenlesbaren Speichermedium gespeichert ist.
Bevorzugte Weiterbildungen der Vorrichtung sind Gegenstand von abhängigen Ansprüchen.
Eine vorteilhafte Weiterbildung der Vorrichtung zeichnet sich dadurch aus, dass dem ersten neuronalen Netz mittels eines Steuersignals angezeigt wird, welches erste Datenformat die zugeführten Daten aufweisen. Vorteilhaft können dadurch unterschiedliche erste Datenformate mithilfe des Steuersignals mit einem ersten neuronalen Netz in Daten des vorgegebenen einheitlichen Datenformates konvertiert werden, wodurch im Ergebnis insbesondere eine Zieldatenrate und/oder eine Zielauflösung der Umfeldsensordaten im einheitlichen Datenformat erreicht wird.
Eine Weiterbildung der Vorrichtung zeichnet sich dadurch aus, dass am ersten neuronalen Netz mittels eines Auswahlsignals eines von mehreren vorgegebenen einheitlichen Datenformaten eingestellt werden kann. Vorteilhaft können dadurch z.B. unterschiedliche vorgegebene Datenformate als einheitliches Datenformat des ersten neuronalen Netzes festgelegt werden, wodurch im Ergebnis eine Zieldatenrate und eine Zielauflösung der Umfeldsensordaten vorgebbar sind.
Eine weitere vorteilhafte Weiterbildung der Vorrichtung zeichnet sich dadurch aus, dass eine Datenrate der Umfeldsensordaten im einheitlichen Datenformat gegenüber einer Datenrate der zugeführten Umfeldsensordaten verringert ist. Dies kann zum Beispiel dadurch geschehen, dass jeweils eine definierte Anzahl von Bildern der ursprünglichen Umfeldsensordaten zu jeweils einem einzigen Bild der vereinheitlichten Umfeldsensordaten kombiniert wird. Unter einem Bild werden die Daten verstanden, die der Umfeldsensor bei einem Messvorgang aufnimmt. Das Bild kann einen Messwert oder eine Vielzahl von Messwerten aufweisen. Insbesondere kann ein Bild ein zwei- oder dreidimensionales Messwerteobjekt darstellen.
Eine weitere vorteilhafte Weiterbildung der Vorrichtung zeichnet sich dadurch aus, dass eine Datenrate der Umfeldsensordaten im einheitlichen Datenformat gegenüber einer Datenrate der zugeführten Umfeldsensordaten definiert erhöht ist. Dies kann z.B. dadurch erreicht werden, dass aus zeitlich benachbarten Bildern der ursprünglichen Umfeldsensordaten eine definierte Anzahl von Bildern extrapoliert werden.
Eine weitere vorteilhafte Weiterbildung der Vorrichtung zeichnet sich dadurch aus, dass eine Auflösung der Umfeldsensordaten im einheitlichen Datenformat gegenüber einer Auflösung der zugeführten Umfeldsensordaten definiert verringert ist. Dies kann zum Beispiel dadurch erfolgen, dass bestimmte Pixel der ursprünglichen Umfeldsensordaten weggelassen oder zusammengefasst werden.
Eine weitere vorteilhafte Weiterbildung der Vorrichtung zeichnet sich dadurch aus, dass eine Auflösung der Umfeldsensordaten im einheitlichen Datenformat gegenüber einer Auflösung der zugeführten Umfeldsensordaten definiert erhöht ist. Dies kann zum Beispiel dadurch erfolgen, dass fehlende Pixel der ursprünglichen Umfeldsensordaten extrapoliert werden.
Eine weitere vorteilhafte Weiterbildung der Vorrichtung zeichnet sich dadurch aus, dass die Datenrate und/oder die feste Auflösung der Umfeldsensordaten im einheitlichen Datenformat über die Zeit gleichbleibend ist. Vorteilhaft kann dadurch ein zeitlich konstantes einheitliches Datenformat der Umfeldsensordaten bereitgestellt werden.
Eine weitere vorteilhafte Weiterbildung der Vorrichtung sieht vor, dass sie ferner ein zweites neuronales Netz aufweist, an das die Umfeldsensordaten im einheitlichen Datenformat zuführbar sind, wobei das zweite neuronale Netz eingerichtet ist, aus den Umfeldsensordaten im einheitlichen Datenformat eine Umfeldinformation zu ermitteln, insbesondere ein Objekt zu erkennen. Vorteilhaft ist auf diese Weise auch noch eine Objekterkennung mittels der vereinheitlichten Umfeldsensordaten unterstützt.
Eine weitere vorteilhafte Weiterbildung der Vorrichtung zeichnet sich dadurch aus, dass das erste und das zweite neuronale Netz in einem dritten neuronalen Netz zusammengefasst sind. Dadurch ist eine optimierte Gesamtarchitektur der künstlichen Intelligenz in Form der neuronalen Netze unterstützt.
Eine weitere vorteilhafte Weiterbildung der Vorrichtung zeichnet sich dadurch aus, dass wenigstens eines der neuronalen Netze auf wenigstens einem aus Folgendem ausgeführt werden: CPU mit wenigstens einem Rechenkern, Grafikkarte, neuronale Prozessiereinheit. Vorteilhaft können auf diese Weise unterschiedliche technische Möglichkeiten zur Ausführung der neuronalen Netze genutzt werden.
Eine weitere vorteilhafte Weiterbildung der Vorrichtung zeichnet sich dadurch aus, dass die Vorrichtung wenigstens teilweise auf einem Umfeldsensor und/oder wenigstens teilweise auf einer Cloud angeordnet ist.
Die Erfindung wird im Folgenden mit weiteren Merkmalen und Vorteilen anhand von mehreren Figuren detailliert beschrieben. Gleiche oder funktionsgleiche Elemente haben dabei gleiche Bezugszeichen.
Offenbarte Verfahrensmerkmale ergeben sich analog aus entsprechenden offenbarten Vorrichtungsmerkmalen und umgekehrt. Dies bedeutet insbesondere, dass sich Merkmale, technische Vorteile und Ausführungen betreffend die Vorrichtung in analoger Weise aus entsprechenden Ausführungen, Merkmalen und Vorteilen betreffend das Verfahren zum Verarbeiten von Umfeldsensordaten ergeben und umgekehrt.
In den Figuren zeigt:

1 ein prinzipielles Blockschaltbild einer ersten Ausführungsform der vorgeschlagenen Vorrichtung;
2 ein prinzipielles Blockschaltbild einer zweiten Ausführungsform der vorgeschlagenen Vorrichtung;
3 ein prinzipielles Blockschaltbild einer dritten Ausführungsform der vorgeschlagenen Vorrichtung;
4 ein prinzipielles Blockschaltbild einer vierten Ausführungsform der vorgeschlagenen Vorrichtung;
5 einen prinzipiellen Ablauf eines vorgeschlagenen Verfahrens zum Trainieren eines neuronalen Netzes der vorgeschlagenen Vorrichtung; und
6 einen prinzipiellen Ablauf eines mit der Vorrichtung durchführbaren Verfahrens zum Verarbeiten von Umfeldsensordaten.

Beschreibung von Ausführungsformen
Ein autonomes Fahrzeug ist ein Fahrzeug, das ohne Fahrer auskommt. Das Fahrzeug fährt dabei autonom, indem es beispielsweise den Straßenverlauf, andere Verkehrsteilnehmer, Hindernisse, usw. selbständig erkennt und die entsprechenden Steuerbefehle im Fahrzeug berechnet sowie diese an die Aktuatoren im Fahrzeug weiterleitet, wodurch ein Fahrverlauf des Fahrzeugs in korrekter Weise beeinflusst wird. Ein menschlicher Fahrer ist bei einem vollautonomen Fahrzeug nicht am Fahrgeschehen beteiligt.
Fahrerassistenzsysteme sind elektronische Zusatzeinrichtungen in Kraftfahrzeugen zur Unterstützung des Fahrers in bestimmten Fahrsituationen. Hierbei stehen oft Sicherheitsaspekte, aber auch die Steigerung des Fahrkomforts im Vordergrund. Ein weiterer Aspekt ist die Verbesserung der Ökonomie.
Fahrerassistenzsysteme greifen teilautonom oder autonom in Antrieb, Steuerung (z. B. Gas, Bremse) oder Signalisierungseinrichtungen des Fahrzeuges ein oder warnen durch geeignete Mensch-Maschine-Schnittstellen den Fahrer kurz vor oder während kritischer Situationen. Derzeit sind die meisten Fahrerassistenzsysteme so konzipiert, dass die Verantwortung beim Fahrer bleibt und dieser damit nicht entmündigt wird.
Für Fahrerassistenzsysteme kommen verschiedene Arten von Umfeldsensorik zum Einsatz, unter anderem:

- Ultraschall (Einparkhilfe)
- Radar (Spurwechselassistent, automatischer Abstandswarner)
- Lidar (Totwinkel-Überwachung, automatischer Abstandswarner, Abstandsregelung, Pre-Crash und PreBrake)
- Kamera (Spurverlassenswarnung, Verkehrszeichenerkennung, Spurwechselassistent, Totwinkelüberwachung, Notbremssystem zum Fußgängerschutz)
- GNSS (Hochgenaue Fahrzeugpositionierung auf einer Karte, Steuerung eins autonomen Fahrzeugs, Safe-Stop)

In den autonomen oder teilautonomen Fahrzeugen kommt eine Vielzahl von Umfeldsensoren zur Anwendung. Diese Umfeldsensoren werden beispielsweise verwendet, um Objekte und das Fahrzeug herum zu erkennen und darauf basierend eine Traktorenplanung, sowie eine Ansteuerung der Fahrzeugaktuatoren durchzuführen.
Unter einem automatisierten Fahrzeug kann im Zusammenhang mit der vorliegenden Erfindung folgendes verstanden werden: voll- oder teilautomatisiertes Fahrzeug.
Ein Kerngedanke der Erfindung ist es insbesondere, eine Vorrichtung bereitzustellen, mit der eine vereinfachte und/oder verbesserte Nutzung von Umfeldsensordaten im Zusammenhang mit einer nachgelagerten Datenverarbeitung, insbesondere einer Objekterkennung möglich ist. Beispielsweise kann die Datenverarbeitung insbesondere zur Steuerung eines Fahrzeuges, insbesondere eines wenigstens teilautonomen Fahrzeuges eingesetzt werden.
Bei der im Folgenden genannten neuronalen Netze handelt es sich vorzugsweise um neuronale Netze, welche über ein maschinelles Lernverfahren trainiert wurden, um Umfeldsensordaten zu verarbeiten.
In automatisierten Fahrzeugen kommt immer öfter eine Vielzahl von Umfeldsensoren zur Anwendung, wobei diese Umfeldsensoren beispielsweise verwendet werden, um eine Umfeldinformation zu ermitteln. Die Umfeldinformation kann z.B. das Erkennen eines Objektes und evtl. dessen Lage relativ zum Fahrzeug darstellen. Anschließend kann darauf basierend z.B. eine Trajektorienplanung, sowie eine Ansteuerung von Fahrzeugaktuatorik basierend auf der Trajektorienplanung durchgeführt werden. Zudem kann die Umfeldinformation abgespeichert, ausgegeben oder an andere Fahrzeuge oder an einen zentralen Computer außerhalb des Fahrzeuges übertragen werden.
Ein Kerngedanke der Erfindung besteht insbesondere darin, ein neuronales Netz (z.B. für Objekterkennung) in einem Fahrzeug möglichst breit bzw. möglichst universal betreiben zu können. Insbesondere ist dabei vorgesehen, dass das neuronale Netz nicht nur mit einer fest vorgegebenen Bilddatenrate und/oder einer festen Bildauflösung von Daten eines einzelnen Umfeldsensors betrieben werden kann, sondern mit verschiedenen Bilddatenraten und/oder Bildauflösungen verschiedener Umfeldsensoren.
Zu diesem Zweck wird vorgeschlagen, ein neuronales Netz derart zu trainieren und danach zu betreiben, dass es unabhängig von dem Datenformat der zugeführten Umfeldsensordaten, die Umfeldsensordaten in ein einheitliches Datenformat konvertiert und bereitstellt. Zu diesem Zweck wird eine Konvertierung der Umfeldsensordaten mittels eines neuronalen Netzes vorgeschlagen.
Auf diese Weise kann mittels eines nachgeschalteten zweiten neuronalen Netzes eine definierte Aufgabe mit den bereitgestellten Umfeldsensordaten im einheitlichen Datenformat einfacher durchgeführt werden, zum Beispiel eine Objekterkennung.
Im Ergebnis kann auf diese Weise ein neuronales Netz auf vorteilhafte Weise von unterschiedlichen Umfeldsensoren, Umfeldsensortypen, Umfeldsensorbildauflösungen und dergleichen betrieben werden. Die zwei neuronalen Netze können auch in einem einzigen neuronalen Netz realisiert sein.
1 zeigt ein Blockschaltbild einer ersten Ausführungsform einer vorgeschlagenen Vorrichtung 100 zur Verarbeitung von Umfeldsensordaten D1... Dn bzw. zur Konvertierung von Umfeldsensordaten D1... Dn von einem ersten Datenformat in ein vorgegebenes einheitliches Datenformat. Bei den Umfeldsensordaten D1... Dn kann es sich beispielsweise um Kameradaten, Radardaten, Lidardaten, Ultraschallsensordaten, Positionsdaten, usw. und dergleichen handeln, die von wenigstens einem passiven und/oder aktiven Umfeldsensor (nicht dargestellt) eines wenigstens teilweise automatisierten Fahrzeugs generiert und bereitgestellt werden. Der Umfeldsensor 1 kann z.B. eine Kamera, eine Radarvorrichtung, eine Lidarvorrichtung, usw. sein, der die Umfeldsensordaten D1... Dn erfasst und diese zur weiteren Verarbeitung durch nachgelagerte neuronale Netze 10a... 10n bereitstellt. Die Umfeldsensordaten D1... Dn können zum Beispiel von unterschiedlichen Umfeldsensoren stammen. Die Umfeldsensordaten D1... Dn können zum Beispiel auch von einem Umfeldsensor stammen, der in unterschiedlichen Betriebsstadien und/oder abhängig von Umweltparametern unterschiedlich betrieben wird.
Beispielweise kann vorgesehen sein, eine Datenrate der Umfeldsensordaten D1... Dn definiert herunter zu skalieren bzw. zu verringern. Beispielsweise kann der Umfeldsensor seine Umfeldsensordaten D1... Dn mit einer Datenrate von 50 Hz bereitstellen, d.h. dass er alle 20 ms ein Bild generiert und an die Vorrichtung 100 übermittelt. Die vorgeschlagene Vorrichtung 100 wandelt die Umfeldsensordaten D1... Dn in vereinheitlichte Umfeldsensordaten ED mit einer Datenrate von z.B. 10 Hz um, d.h. dass nun mehr alle 100 ms ein Bild übermittelt wird. Dies kann z.B. dadurch erfolgen, dass im Datenfluss der an das erste neuronale Netz 10a zugeführten Umfeldsensordaten D1... Dn jeweils mehrere Bilder (z.B. 5 Bilder) zu jeweils einem einzigen Bild zusammengefasst werden.
Beispielsweise kann mit der Vorrichtung 100 auch vorgesehen sein, die Datenrate der Umfeldsensordaten D1... Dn mittels der Vorrichtung 100 definiert hoch zu skalieren bzw. zu vergrößern. Zu diesem Zweck werden jeweils mehrere Bilder der Umfeldsensordaten D1... Dn aus jeweils einem Bild extrapoliert, um auf diese Weise eine Datenrate der vereinheitlichten Umfeldsensordaten ED erhöhen zu können. Auf diese Weise werden z.B. aus zeitlich benachbarten Bildern der Umfeldsensordaten ED künstliche Bilder generiert bzw. extrapoliert. Auf diese Weise ist es zum Beispiel möglich, zugeführte Umfeldsensordaten D1... Dn mit einer Datenrate von 2 Hz in Umfeldsensordaten ED eines einheitlichen Datenformats mit einer Datenrate von 10 Hz zu konvertieren.
Beispielweise kann mit der vorgeschlagenen Vorrichtung 100 auch vorgesehen sein, eine Auflösung der Umfeldsensordaten D1... Dn herunter zu skalieren bzw. zu verringern. Zu diesem Zweck können bei einem hohen Datenvolumen bzw. -auflösung (z.B. 5 MPixel) eines Umfeldsensors zum Zwecke eines geforderten niedrigeren Datenvolumens bzw. -auflösung (z.B. 1 MPixel) beispielsweise Pixel weggelassen oder kombiniert werden und die entsprechenden Übergänge geglättet oder interpoliert werden.
Denkbar ist mittels der vorgeschlagenen Vorrichtung 100 auch, eine Auflösung der Umfeldsensordaten D1... Dn definiert hoch zu skalieren bzw. zu erhöhen. Zu diesem Zweck können bei einer niedrigen Datenauflösung (z.B. 0.2 MPixel) eines Umfeldsensors und einer höheren geforderten Datenauflösung eines nachgeschalteten neuronalen Netzes nicht vorhandene Pixel in den Umfeldsensordaten D1... Dn extrapoliert werden. Auf diese Weise kann die Auflösung der Umfeldsensordaten D1... Dn z.B. von 0.2 MPixel auf 1 MPixel erhöht werden. Dies kann zum Beispiel dadurch erreicht werden, dass in den Umfeldsensordaten D1... Dn eine Extrapolation fehlender Pixel vorgenommen wird.
Das mittels der Vorrichtung 100 bereitstellbare einheitliche Datenformat der Umfeldsensordaten ED kann beispielsweise standardisiert sein, um durch ein nachgeschaltetes neuronales Netz, z.B. für eine Objekterkennung in einer wenigstens teilweise automatisierten physikalischen Einheit, z.B. Fahrzeug verwendet zu werden. Das erste neuronale Netz 10a kann auf diese Weise als ein eigenständiges vorgeschaltetes neuronales Netz betrieben werden, dessen Ausgangsdaten an das zweite neuronale Netz 10b übermittelt werden. Das zweite neuronale Netz kann eine Umfeldinformation ermitteln, insbesondere ein Objekt erkennen.
Zusätzlich zu den zugeführten Umfeldsensordaten D1... Dn wird jeweils mit den Umfeldsensordaten D1... Dn auch ein Steuersignal S1... Sn dem ersten neuronalen Netz 10a zugeführt. Das Steuersignal S1... Sn zeigt an, welches Datenformat, insbesondere welche Auflösung und/oder welche Datenrate die Umfeldsensordaten haben und/oder von welchem Sensortyp die Umfeldsensordaten stammen. Somit werden für festgelegte Kombinationen von Auflösung und/oder Datenrate und/oder Sensortyp verschiedene Steuersignale verwendet. Damit kennzeichnet ein Steuersignal S1... Sn eindeutig die Auflösung der Umfeldsensordaten und/oder die Datenrate der Umfeldsensordaten und/oder den Typ des Umfeldsensors. Die Steuersignale S1... Sn wurden bereits beim Training des ersten neuronalen Netzes verwendet. Anhand des Steuersignals S1... Sn wählt das erste neuronale Netz eine erlernte Gewichtung der Neuronen für die Konvertierung der Umfeldsensordaten in das vorgegebene einheitliche Datenformat. Das Steuersignal S1... Sn kann vom Umfeldsensor bereitgestellt werden. Zudem kann anhand des Umfeldsensors beispielsweise anhand einer Typnummer das Steuersignal aus einer Datenbank ausgelesen werden. In der Datenbank sind für die Typnummern entsprechende Steuersignale abgelegt, die das erste Datenformat, insbesondere die Auflösung und/oder die Datenrate angibt, mit dem der Umfeldsensor die Umfeldsensordaten liefert..
Man erkennt, dass eine Funktionsweise des ersten neuronalen Netzes 10a mittels eines Steuersignals S im späteren Betrieb der Vorrichtung 100 definiert festgelegt werden kann. Dadurch wird vorteilhaft eine flexible Arbeitsweise des ersten neuronalen Netzes 10a unterstützt. Dies gilt auch für die weiter unten im Zusammenhang mit den 2,3 und 4 beschriebenen Ausführungsformen der Vorrichtung 100.
2 zeigt ein Blockschaltbild einer zweiten Ausführungsform der vorgeschlagenen Vorrichtung 100 mit zwei nacheinander geschalteten, getrennten neuronalen Netzen 10a, 10b. Dabei wird das erste neuronale Netz 10a für die Datenkonvertierung von Umfeldsensordaten D1... Dn, die beispielsweise von Umfeldsensoren stammen, die unterschiedliche Sensorauflösungen und/oder unterschiedlichen Datenraten, d.h. insbesondere verschiedene Messzyklen aufweisen. Zudem können die Umfeldsensordaten von Umfeldsensoren stammen, die unterschiedliche Sensortypen sind und z.B. unterschiedliche Messverfahren und/oder physikalische Messsignale verwenden. Das erste neuronale Netz wurde mit Testdaten darauf trainiert, die zugeführten Testdaten in Umfeldsensordaten eines einheitlichen vorgegebenen Datenformats, insbesondere mit einer vorgegebenen Auflösung und/oder einer vorgegebenen Datenrate umzuwandeln. Die Testdaten stellen Umfeldsensordaten dar, die unterschiedliche Auflösungen und/oder unterschiedliche Datenraten aufweisen. Zudem kann das erste neuronale Netz mit Testdaten darauf trainiert worden sein, die zugeführten Testdaten in Umfeldsensordaten eines Sensortyps umzuwandeln. Die Testdaten sind dazu Umfeldsensordaten von Umfeldsensoren, die unterschiedliche Sensortypen sind und z.B. unterschiedliche Messverfahren und/oder physikalische Messsignale sowie unterschiedlichen Umfeldsensordatenraten aufweisen. Zusätzlich zu den zugeführten Testdaten wird jeweils mit den Testdaten auch ein Steuersignal S1...Sn dem ersten neuronalen Netz 10a zugeführt. Das Steuersignal S1...Sn zeigt an, welches Datenformat, insbesondere welche Auflösung und/oder welche Datenrate die Testdaten haben und/oder von welchem Sensortyp die Testdaten stammen. Ein Beispiel für ein Training wird anhand der folgenden 5 genauer erläutert.
Anschließend kann das entsprechend trainierte erste neuronale Netz 10a an seinem Ausgang Umfeldsensordaten ED in einem einheitlichen Datenformat und/oder in einer einheitlichen Datenrate und/oder in einem einheitlichen Sensortyp ausgeben. Die ausgegebenen Umfeldsensordaten ED, die das vorgegebene einheitliche Datenformat aufweisen, werden z.B. dem zweiten neuronalen Netz 10b zur Ermittlung einer Umfeldinformation, insbesondere zur Durchführung einer Objekterkennung zur Verfügung gestellt. Das nachgelagerte zweite neuronale Netz 10b bekommt nun Umfeldsensordaten in dem einheitlichen Datenformat, insbesondere mit der einheitlichen Datenrate und/oder in der einheitlichen Auflösung und/oder in dem einheitlichen Sensortypformat.
Auf diese Weise kann ein Umfeldsensor z.B. einer wenigstens teilweise automatisierten physikalischen Einheit (z.B. Fahrzeug) gegen einen anderen Umfeldsensor mit einer anderen Datenrate und/oder einem anderen Datenformat und/oder einem anderen Sensortyp ausgetauscht werden, ohne dass das erste und das zweite neuronale Netz erneut trainiert werden müssen. Durch das vorgeschaltete erste neuronale Netz 10a werden die Daten des anderen Umfeldsensors in das trainierte einheitliche Datenformat und/oder einheitliche Datenrate und/oder einheitliche Sensortypdaten konvertiert. Somit erhält das zweite neuronale Netz auch nach dem Austausch des Umfeldsensors gegen den anderen Umfeldsensor die Umfeldsensordaten in dem einheitlichen Datenformat und/oder in der einheitlichen Datenrate und/oder in dem einheitlichen Sensordatentyp.
Als weiterer Anwendungsfall ist auch denkbar, dass ein Umfeldsensor, der bei unterschiedlichen Umgebungsbedingungen unterschiedliche Datenraten bzw. Auflösung liefert (z.B. eine hohe Datenrate bei Dunkelheit, eine niedrige Datenrate bei Helligkeit, usw.), alle seine unterschiedlichen Umfeldsensordaten ED an die Vorrichtung 100 zum Zwecke der Konvertierung ins einheitliche Datenformat zuführen kann. Der Umfeldsensor zeigt mithilfe des Steuersignals an, mit welcher Datenrate und/oder Auflösung die Umfeldsensordaten bereitgestellt werden. Auch in dieser Situation müssen das erste und das zweite neuronale Netz nicht erneut trainiert werden. Durch das vorgeschaltete erste neuronale Netz 10a werden die Daten des anderen Umfeldsensors in das trainierte einheitliche Datenformat und/oder einheitliche Datenrate und/oder einheitlichem Sensordatentyp abhängig vom Steuersignal konvertiert. Somit erhält das zweite neuronale Netz auch bei einer Änderung der Datenrate und/oder des Datenformates und/oder des Sensordatentyps des Umfeldsensors die Umfeldsensordaten in dem einheitlichen Datenformat und/oder in der einheitlichen Datenrate und/oder im einheitlichen Sensordatentyp.
Ein nützlicher Anwendungsfall für die vorgeschlagene Vorrichtung 100 kann z.B. ein Umfeldsensor (z.B. CMOS-Chip eines Kamerasensors) sein, dessen Auflösung über die Zeit nicht mehr zuverlässig funktioniert, wodurch z.B. bestimmte Pixel des Umfeldsensors nicht mehr funktionieren (z.B. immer schwarz sind). In diesem Fall können die defekten Pixel mittels der vorgeschlagenen Vorrichtung 100 über einen separaten Algorithmus erkannt und dauerhaft deaktiviert werden, sofern es sich nicht um eine Verschmutzung des Umfeldsensors handelt. Zudem wir das Steuersignal entsprechend geändert, um die geänderte Auflösung und/oder Datenrate anzuzeigen.
Vorteilhaft kann in diesem Fall der Umfeldsensor beispielsweise mit einer niedrigeren Auflösung weiterbetrieben werden. Dies wird dem ersten neuronalen Netz mit einem entsprechenden Steuersignal angezeigt. Die Vorrichtung 100 mit dem ersten neuronalen Netz 10a für die Konvertierung der Bilddaten kann nun mit dem Umfeldsensor mit niedrigerer Auflösung der Umfeldsensordaten weiterbetrieben werden.
Zu diesem Zweck kann eine Konvertierung der Bilddaten in das einheitliche Datenformat wie oben beschrieben durchgeführt werden. Dadurch kann das nachgeschaltete zweite neuronale Netz 10b dennoch eine zuverlässige Objekterkennung durchführen.
Alternativ ist es auch möglich, lediglich ein einziges drittes neuronales Netz 10c vorzusehen, das sowohl die Datenkonvertierung zu dem einheitlichen Datenformat und/oder der einheitlichen Datenrate und/oder den einheitlichen Sensordatentyp und die Ermittlung der Umfeldinformation, insbesondere eine Objekterkennung, durchführt.
3 zeigt eine derartige dritte Ausführungsformen der vorgeschlagenen Vorrichtung 100, bei der die Konvertierung der Umfeldsensordaten D1... Dn zusammen mit der Ermittlung der Umfeldinformation, insbesondere die Objekterkennung aus den Umfeldsensordaten mittels eines einzelnen dritten neuronalen Netzes 10c durchgeführt wird. Auf diese Weise ist die Datenkonvertierung im neuronalen Netz für die Objekterkennung enthalten. Das dritte neuronale Netz ist entsprechend vorher zu trainieren, um die Dateikonvertierung für verschiedene Datenformate zu dem einheitlichen Datenformat, insbesondere die einheitliche Auflösung und/oder die einheitliche Datenrate und/oder die Datenkonvertierung für verschiedene Sensortypen zu dem einheitlichen Sensordatentyp und die Ermittlung der gewünschten Umfeldinformation durchführen zu können.
Sofern es sich, wie in 3 angedeutet, um ein einziges neuronales Netz 10c handelt, kann das neuronale Netz 10c mit unterschiedlichen Umfeldsensordaten D1... Dn unterschiedlicher Auflösungen und/oder unterschiedlicher Umfeldsensortypen, sowie unterschiedlichen Datenraten trainiert werden. Dabei ist in diesem Fall das Lernziel die Objekterkennung, die mit dem neuronalen Netz 10c nun mit unterschiedlichen Auflösungen, Sensordatenraten und Sensortypen gelernt wird. Das universell einsetzbare dritte neuronale Netz 10c kann mit den Umfeldsensordaten, Umfeldsensorauflösungen und Umfeldsensordatentypen der verschiedenen Umfeldsensoren eine zuverlässige Objekterkennung durchführen.
Ein weiterer nützlicher Anwendungsfall der vorgeschlagenen Vorrichtung 100 sieht vor, dass ein gealterter Umfeldsensor mit einer bestimmten Sensorauflösung und einem geänderten Steuersignal z.B. ein nachgeschaltetes zweites neuronales Netz 10b mit Umfeldsensordaten speist. In diesem Fall werden die Daten D1... Dn des Umfeldsensors mittels des ersten neuronalen Netzes 10a in das einheitliche Datenformat konvertiert und können nun im nachgeschalteten zweiten neuronalen Netz 10b z.B. zur Objekterkennung weiterverwendet werden. Auf diese Weise kann „alte Hardware“ eines wenigstens teilweise automatisierten Fahrzeugs auch mit einem „neuen“ neuronalen Netz zur Objekterkennung weiterverwendet oder weiterbetrieben werden.
Ein weiterer nützlicher Anwendungsfall der vorgeschlagenen Vorrichtung 100 kann z.B. darin bestehen, dass ein neuer Umfeldsensor mit einer verbesserten Sensorauflösung mit einem vorhandenen zweiten neuronalen Netz 10b betrieben werden kann. In diesem Fall werden die Daten des Umfeldsensors in das einheitliche Format konvertiert und können nun im vorhandenen zweiten neuronalen Netz 10b zur Objekterkennung weiterverwendet werden. Auf diese Weise kann neue Hardware eines autonomen Fahrzeugs auch mit einem vorhandenen älteren neuronalen Netz zur Objekterkennung verwendet werden.
In einer weiteren Ausführungsform der vorgeschlagenen Vorrichtung 100 kann die Konvertierung der Umfeldsensordaten D1... Dn auf einem nachgelagerten Steuergerät durchgeführt werden, wobei in diesem Fall der Umfeldsensor seine Daten in einem spezifizierten Format ausgibt und auf der nachgelagerten Verarbeitungseinheit die Konvertierung der Daten bzw. die eigentliche Objekterkennung stattfindet.
In einer weiteren Ausführungsform der vorgeschlagenen Vorrichtung 100 kann die Konvertierung der Umfeldsensordaten auf dem Umfeldsensor mithilfe des ersten neuronalen Netzes und dem entsprechenden Steuersignal selbst durchgeführt werden, wobei auf diese Weise die Umfeldsensordaten D1... Dn bereits im einheitlichen Datenformat ausgegeben werden können. Auf der nachgelagerten Verarbeitungseinheit erfolgt dann die eigentliche Objekterkennung, basierend auf den vom Umfeldsensor bereitgestellten einheitlichen Eingangsdaten.
Die Erfindung beschreibt eine Vorrichtung und ein Verfahren für die verbesserte Nutzung von Umfeldsensordaten in einer wenigstens teilweise automatisierten physikalischen Einheit, z.B. autonomen Fahrzeug.
Wesentliche Vorteile der vorgeschlagenen Vorrichtung 100 sind insbesondere:

- Ein der Vorrichtung 100 nachgeschaltetes zweites neuronales Netz 10b (z.B. für die Ermittlung der Umfeldinformation, insbesondere einer Objekterkennung) kann mittels der vorgeschalteten, vorgeschlagenen Vorrichtung 100 mit dem ersten neuronalen Netz 10a mit unterschiedlichen Sensorauflösungen, Sensortypen und Sensordatenraten betrieben werden, wodurch eine hohe Flexibilität gegenüber Hardwareänderungen oder Sensoränderungen im Fahrzeug unterstützt ist.
- Automatisierte Fahrzeuge können mithilfe der vorgeschlagenen Vorrichtung 100 bezüglich unterschiedlicher Komponenten innerhalb eines Fahrzeuglebens dynamisch angepasst werden, ohne dass eine Funktionalität (z.B. Ermittlung einer Umfeldinformation, insbesondere eine Objekterkennung) verändert wird. Ein bereits verwendetes zweites neuronales Netz 10b kann somit vorteilhaft weiterverwendet werden.
- Im Fall von Sensorfehlern und/oder defekten Sensorpixeln kann ein zweites neuronales Netz 10b auch weiterhin betrieben werden, wodurch eine Sicherheit beim Betrieb automatisierter Fahrzeuge unterstützt ist

Obwohl das zweite neuronale Netz 10b vorgehend ausschließlich im Zusammenhang mit Objekterkennung offenbart ist, ist es selbstverständlich auch denkbar, dass das zweite neuronale Netz 10b, welches die von der Vorrichtung 100 bereitgestellten Umfeldsensordaten im einheitlichen Datenformat verarbeitet, auch andere Aufgaben durchführen kann, z.B. eine Datenverarbeitung, die Daten in einem einheitlichen Datenformat erfordert.
Im Ergebnis ist es mit der vorgeschlagenen Vorrichtung 100 somit vorteilhaft möglich, eine Datenrate und/oder eine Auflösung und/oder einen Sensordatentyp von Umfeldsensordaten D auf vereinheitlichte Umfeldsensordaten ED mit einem einheitlichen Datenformat, d.h. mit einer einheitlichen Datenrate und/oder einer einheitlichen Auflösung und/oder einem einheitlichen Sensordatentyp zu konvertieren. Eine technische Realisierung der vorgeschlagenen Vorrichtung 100 und des vorgeschlagenen Verfahrens kann wie folgt erfolgen:

a) Auf einer CPU. Dabei kann eine Ausführung der neuronalen Netze 10a...10n mittels eines einzelnen Prozessorkerns oder mittels mehrerer Prozessorkerne erfolgen.
b) Alternativ ist es auch möglich, die neuronalen Netze 10a... 10n auf einer Grafikkarte (engl. graphics processing unit, GPU) auszuführen. Dabei kann auch eine verteilte Ausführung der neuronalen Netze 10a... 10n oder Teile davon auf verschiedene Kerne der GPU vorgesehen sein, was eine parallele Ausführung der neuronalen Netze 10a... 10n erlaubt.
c) Auf einer NPU (engl. neuromorphic processing unit), wobei mittels der NPU eine Ausführung der neuronalen Netze 10a... 10n in Software und/oder in Hardware vorgesehen sein kann. Diese elektronischen Hardwarebausteine sind vorteilhaft für eine Ausführung von neuronalen Netzen optimiert.
d) Auf einem Mikrocontroller. Dadurch ist eine parallele oder sequentielle Ausführung der neuronalen Netze 10a... 10n unterstützt.

Auf die genannten Arten ist eine vielfältige Ausführungsführungsmöglichkeit der neuronalen Netze 10a... 10n unterstützt.
In vorteilhaften Varianten der vorgeschlagenen Vorrichtung 100 kann die Vorrichtung 100 wenigstens teilweise auf einem Umfeldsensor und/oder wenigstens teilweise auf einer Cloud angeordnet sein. Dadurch ist eine sehr gute Ausnutzung von unterschiedlich verfügbarer Rechenleistung unterstützt.
Die Unterschiedlichkeit der neuronalen Netze 10a... 10c kann z.B. dadurch realisiert sein, dass eine Anzahl von Knoten und/oder Schichten und/oder Verbindungen der neuronalen Netze 10a... 10c unterschiedlich sein kann. Entsprechend umfassen die neuronalen Netze 10a... 10c unterschiedliche Schichttiefen und weisen dadurch eine geringfügig unterschiedliche Auswertecharakteristiken auf. Im Ergebnis ist z.B. das parallele zweite neuronale Netz 10c dadurch in der Lage, die Umfeldsensordaten D ähnlich dem ersten neuronalen Netz 10a zu verarbeiten, allerdings mit einer geringeren Genauigkeit und/oder geringeren Auflösung der Objekterkennung.
4 zeigt ein prinzipielles Blockschaltbild einer vierten Ausführungsform der vorgeschlagenen Vorrichtung 100. In diesem Fall kann mittels eines Anpassungselements 4a zusätzlich oder anstelle des Steuersignals S eine Anpassung der Auflösung und/oder der Datenrate der Umfeldsensordaten und/oder des Sensordatentyps D1... Dn eines degradierten Umfeldsensors 1a vorgenommen werden. Das Anpassungselement 4a kann nach Erkennen einer Fehlfunktion des degradierten Umfeldsensors die Auflösung und/oder die Datenrate der Umfeldsensordaten auf ein Datenformat ändern. Zudem kann das Anpassungselement ein Steuersignal S1... Sn an das erste neuronale Netz 10 a übermitteln, das dem geänderten Datenformat entspricht. Der Umfeldsensor 1a liefert somit seine Umfeldsensordaten D1... Dn an die Vorrichtung 100 mit dem ersten neuronalen Netz 10a. Die weitere Wirkungsweise der Vorrichtung 10 entspricht den oben genannten Ausführungsformen der Vorrichtung 100.
5 zeigt einen prinzipiellen Ablauf eines Trainings des ersten neuronalen Netzes 10a der vorgeschlagenen Vorrichtung 100. Man erkennt, dass in einem ersten Schritt 2a erste Umfeldsensordaten D1 mit einer ersten Datenrate und einer ersten Auflösung eines ersten Umfeldsensors 1a zum Trainieren des ersten neuronalen Netzes 10a verwendet werden. Zudem erhält das erste neuronale Netz 10a ein erstes Steuersignal S1. Das erste Steuersignal S1 ist ein Erkennungssignal für die erste Datenrate und die erste Auflösung und vorzugsweise einen ersten Sensortyp. In einem Schritt 3a erfolgt ein Soll-Istwert-Vergleich eines definierten Schwellwerts für ein erstes Lernziel Z1. Das erste Lernziel ist eine vorgegebene einheitliche Auflösung und/oder eine vorgegebene einheitliche Datenrate, d.h. ein vorgegebenes einheitliches Datenformat. Solange im Laufe des Trainings des ersten neuronalen Netzes 10a mit den ersten Umfeldsensordaten D1 der definierte Schwellwert für eine vorgegebene Differenz zwischen dem ersten Lernziel Z1 und dem Ergebnis des ersten neuronalen Netzes nicht unterschritten ist, wird weiterhin auf Schritt 2a verzweigt und das erste neuronale Netz 10a weiter trainiert.
Sobald im Laufe des Trainings der definierte Schwellwert betreffend das erste Lernziel Z1 unterschritten ist, wird das Training des ersten neuronalen Netzes 10a mit den ersten Umfeldsensordaten D1 beendet und ein Training des ersten neuronalen Netzes 10a mit zweiten Umfeldsensordaten D2 des zweiten Umfeldsensors bei einem Schritt 1b begonnen. Die Umfeldsensordaten D2 des zweiten Umfeldsensors weisen eine zweite Datenrate und eine zweite Auflösung auf. Die zweite Datenrate ist verschieden zur ersten Datenrate und/oder die zweite Auflösung ist verschieden zur ersten Auflösung. Zudem erhält das erste neuronale Netz 10a ein zweites Steuersignal S2. Das zweite Steuersignal S2 ist ein Erkennungssignal für die zweite Datenrate und die zweite Auflösung und vorzugsweise einen zweiten Sensortyp. Man erkennt, dass in einem Schritt 2b die zweiten Umfeldsensordaten D2 mit der zweiten Datenrate und der zweiten Auflösung des zweiten Umfeldsensors 1b zum Trainieren des ersten neuronalen Netzes 10a mit einem zweiten Lernziel Z2 verwendet werden. In einem Schritt 3b erfolgt ein Soll-Istwert-Vergleich eines definierten Schwellwerts für das zweite Lernziel Z2. Das zweite Lernziel ist eine vorgegebene einheitliche Auflösung und/oder eine vorgegebene einheitliche Datenrate. Das zweite Lernziel entspricht dem ersten Lernziel.
Solange im Laufe des Trainings des ersten neuronalen Netzes 10a mit den zweiten Umfeldsensordaten D2 der definierte Schwellwert für eine vorgegebene Differenz zwischen dem zweiten Lernziel Z2 und dem Ergebnis des ersten neuronalen Netzes nicht unterschritten ist, wird weiterhin auf Schritt 2b verzweigt und das erste neuronale Netz 10a weiter trainiert.
Sobald im Laufe des Trainings der definierte Schwellwert betreffend das zweite Lernziel Z2 unterschritten ist, wird das Training des ersten neuronalen Netzes 10a mit den zweiten Umfeldsensordaten D1 beendet und ein Training des ersten neuronalen Netzes 10a mit dritten Umfeldsensordaten D3 des dritten Umfeldsensors für ein drittes Lernziel Z3 begonnen. Das dritte Lernziel Z3 ist eine vorgegebene einheitliche Auflösung und/oder eine vorgegebene einheitliche Datenrate. Das dritte Lernziel entspricht dem ersten und dem zweiten Lernziel. Zudem erhält das erste neuronale Netz 10a ein drittes Steuersignal S3. Das dritte Steuersignal S3 ist ein Erkennungssignal für die dritte Datenrate und die dritte Auflösung ujd vorzugsweise für einen dritten Sensortyp. Es wird erneut ein Training des ersten neuronalen Netzes analog zu den ersten und zweiten Umfeldsensordaten durchgeführt.
Auf diese Weise werden die Umfeldsensordaten bis zu den n-ten Umfeldsensordaten verwendet, um das erste neuronale Netz zu trainieren. Zudem erhält das erste neuronale Netz 10a ein n-tes Steuersignal Sn. Das n-te Steuersignal S1 ist ein Erkennungssignal für die n-te Datenrate und die n-te Auflösung und vorzugsweise für den n-ten Sensortyp. In analoger Weise erfolgt in den Schritten 2n und 3n das Training des ersten neuronalen Netzes 10a mit den n-ten Umfeldsensordaten Dn, des n-ten Umfeldsensors. Die Umfeldsensordaten Dn des n-ten Umfeldsensors weisen eine n-te Datenrate und/oder eine n-te Auflösung auf. Die n-te Datenrate kann verschieden sein zu den vorhergehenden Datenraten und/oder die n-te Auflösung kann verschieden sein zu den vorhergehenden Auflösungen. Man erkennt, dass in einem Schritt 2n die n-ten Umfeldsensordaten Dn mit der n-ten Datenrate und der n-ten Auflösung des n-ten Umfeldsensors 1n zum Trainieren des ersten neuronalen Netzes 10a verwendet werden. Auf diese Weise werden für die verschiedenen Steuersignale S1 bis Sn verschiedene Gewichte für die Neuronen des ersten neuronalen Netzes erlernt. Als Ergebnis wird ein erstes neuronales Netz erhalten, das abhängig vom Steuersignal S1 bis Sn für verschiedene Datenraten und/oder Auflösungen und/oder Sensortypen zur Ausgabe von Daten mit der vorgegebenen Auflösung und/oder Datenrate erhalten wird. Somit verwendet das erste neuronale Netz später im Betrieb abhängig vom Steuersignal verschiedene Gewichte für die Neuronen, um die Umfeldsensordaten der verschiedenen Umfeldsensoren in das einheitliche Datenformat mit der vorgegebenen Auflösung und/oder Datenrate umzuwandeln und auszugeben. Das Steuersignal wird von dem jeweiligen Umfeldsensor zur Verfügung gestellt oder kann anhand des Sensortyps aus einer Datenbank ausgelesen werden.
Vorzugsweise erfolgt das Training in sequentieller Art und Weise mit jeweils einem Bild oder einer definiert geringen Anzahl an Bildern der Umfeldsensoren 1 a... 1 n. Ein Bild eines Umfeldsensors kann wenigstens einen Messwert oder mehrere Messwerte aufweisen. Insbesondere kann ein Bild z.B. ein zweidimensionales oder ein dreidimensionales Messwertobjekt darstellen. Zum Beispiel wird das erste neuronale Netz 10a zyklisch mittels eines Bilds des Umfeldsensors 1a, danach mittels eines Bildes des Umfeldsensors 1b, danach mittels eines Bildes des Umfeldsensors 1n, usw. trainiert, um die Bilder der Umfeldsensoren in ein einheitliches Bild mit einem einheitlichen Datenformat zu konvertieren. Vorteilhaft konvergiert im Trainingsprozess das erste neuronale Netz 10a auf diese Weise für alle zum Trainieren des ersten neuronalen Netzes 10a vorgesehenen Umfeldsensortypen.
Im Ergebnis sind auf diese Weise somit die Trainingsvorgänge des ersten neuronalen Netzes 10a mit Umfeldsensordaten D1... Dn jeweils eines Typs von Umfeldsensor in sich abgeschlossen und voneinander unabhängig. Im Ergebnis ist auf diese Weise ein Lernschritt des ersten neuronalen Netzes 10a für jeden einzelnen Umfeldsensor in sich abgeschlossen. Das erste neuronale Netz verwendet dabei abhängig vom Steuersignal, das die Auflösung und/oder die Datenrate der Umfeldsensordaten und vorzugsweise den Sensortyp anzeigt, verschiedene Gewichte für die Neuronen, um die Umfeldsensordaten der verschiedenen Umfeldsensoren in das einheitliche Datenformat mit der vorgegebenen Auflösung und/oder vorgegebenen Datenrate umzuwandeln und auszugeben.
Alternativ ist zum Beispiel auch denkbar, für das erste neuronale Netz 10a pro Umfeldsensordaten D1... Dn nur jeweils einen Lernschritt, z.B. mit Teildaten der Umfeldsensordaten D1... Dn durchzuführen. Es muss aber jedes Mal dem ersten neuronalen Netz mithilfe des Steuersignals angezeigt werden, welche Auflösung und/oder welches Datenformat die Umfeldsensordaten haben und vorzugsweise welchem Sensortyp der Umfeldsensor entspricht. Danach wird der Lernprozess mit anderen Teildaten anderer Umfeldsensordaten D1... Dn fortgesetzt, usw.
Denkbar ist z.B. auch, dass pro Umfeldsensordaten D1... Dn eine definierte Anzahl (z.B. zwei) an Datensätzen pro Lernschritt berücksichtiget werden. Im Ergebnis kann dadurch der Lerneffekt des ersten neuronalen Netzes 10a optimiert werden.
Auf diese Weise wird ein Training des ersten neuronalen Netzes 10a mit unterschiedlichen Umfeldsensordaten D1... Dn, die von unterschiedlichen Umfeldsensoren stammen können, durchgeführt. Auf diese Weise ist unterstützt, dass in der Praxis das trainierte erste neuronale Netz 10a unter Berücksichtigung des Steuersignals mit unterschiedlichen Datenraten, und/oder Auflösungen und/oder Bandbreiten und/oder Sensordatentypen von unterschiedlichen Umfeldsensordaten zurechtkommt und dieses in das einheitliche Datenformat konvertiert.
Beim erläuterten Training sollten Stufungen zwischen den Datenraten und/oder den Auflösungen und/oder den Sensordatentypen der Umfeldsensordaten D1... Dn vorzugsweise nicht zu groß sein. Dadurch ist unterstützt, dass die Vorrichtung 100 im operativen Betrieb eine große Bandbreite von Auflösungen und/oder Datenraten und/oder Sensordatentypen von Umfeldsensordaten verarbeiten kann.
Ein weiterer Anwendungsfall der vorgeschlagenen Vorrichtung 100 sieht z.B. vor, dass ein Umfeldsensor nicht ausgetauscht zu werden braucht, sondern seine Datenrate und/oder seine Auflösung an Umwelteinflüsse anpasst. Entsprechend ändert sich dann auch das Steuersignal, das vom Umfeldsensor bereitgestellt wird, um die Änderung der Datenrate und/oder der Auflösung dem ersten neuronalen Netz anzuzeigen. Die vorgeschlagene Vorrichtung 100 kann eine derartige Variation der Umfeldsensordaten unter Berücksichtigung des Steuersignals problemlos in Umfeldsensordaten mit einem einheitlichen Datenformat konvertieren. Das Training des ersten neuronalen Netzes 10a kann alternativ mit echten und/oder synthetischen Umfeldsensordaten D1... Dn durchgeführt werden. Auf diese Weise ist unterstützt, dass vielfältige Umfeldsensoren 1a... 1n mit einer breiten Streuung an Datenrate/Auflösung/Sensordatentyp, usw. für ein nachgeschaltetes zweites neuronales Netz 10b verwendbar sind.
6 zeigt einen prinzipiellen Ablauf einer Ausführungsform des vorgeschlagenen Verfahrens zum Verarbeiten von Umfeldsensordaten D1... Dn.
In einem Schritt 200 erfolgt ein Zuführen von Umfeldsensordaten D1... Dn an ein erstes neuronales Netz 10a in wenigstens einem ersten definierten Datenformat. Zudem wird dem ersten neuronalen Netz das Steuersignal zugeführt, das anzeigt, um welches Datenformat, d.h. welche Datenrate und/oder welche Auflösung die Umfeldsensordaten haben und vorzugsweise um welchen Sensortyp es sich handelt.
In einem Schritt 210 erfolgt ein Umformen der Umfeldsensordaten D in Umfeldsensordaten ED eines einheitlichen Datenformats mittels eines ersten neuronalen Netzes 10a, wobei mit den Umfeldsensordaten im einheitlichen Datenformat eine nachgelagerte Datenverarbeitung, insbesondere eine Ermittlung einer Umfeldinformation, insbesondere eine Objekterkennung durchführbar ist.
Zusammenfassend schlägt die vorliegende Erfindung eine Vorrichtung und ein Verfahren zur Konvertierung von Umfeldsensordaten in ein einheitliches Datenformat vor. Die vorgeschlagene Vorrichtung kann z.B. in einem automatisiert/autonomen Fahrzeug, einem Flugzeug, einer Drohne, einem Wasserfahrzeug, usw. eingesetzt werden. Vorteilhaft kann mit der vorgeschlagenen Vorrichtung eine hohe Diversifizierung an verwendbaren Umfeldsensoren genutzt werden.
Vorteilhaft muss dadurch zum Beispiel ein nachgeschaltetes neuronales Netz, das zur Ermittlung einer Umfeldinformation, insbesondere zu einer Objekterkennung eingesetzt wird, bei unterschiedlichen Umfeldsensoren mit unterschiedlichen Datenformaten, Datenraten und/oder Sensortypen nicht angepasst werden. Eine Flexibilität einer Nutzbarkeit von Umfeldsensoren ist auf diese Weise vorteilhaft erhöht.
Das Verfahren ist vorzugsweise als ein Computerprogramm ausgebildet, das Programmcodemittel zum Ausführen des Verfahrens aufweist.
Obwohl die Erfindung vorgehend anhand von konkreten Ausführungsbeispielen beschrieben worden ist, kann der Fachmann vorgehend auch nicht oder nur teilweise offenbarte Ausführungsformen realisieren, ohne vom Kern der Erfindung abzuweichen.

Claims

Vorrichtung (100) zum Verarbeiten von Umfeldsensordaten (D1... Dn), aufweisend: - wenigstens ein erstes neuronales Netz (10a), das ausgebildet ist, in wenigstens einem ersten Datenformat zugeführte Umfeldsensordaten (D1... Dn) in Umfeldsensordaten (ED) eines einheitlichen Datenformats zu konvertieren, wobei mit den Umfeldsensordaten im einheitlichen Datenformat eine nachgelagerte Datenverarbeitung (10b) durchführbar ist.
Vorrichtung (100) nach Anspruch 1, dadurch gekennzeichnet, dass dem ersten neuronalen Netz (10a) mittels eines Steuersignals (S) angezeigt wird, welches Datenformat die zugeführten Umfeldsensordaten (D1... Dn) aufweisen.
Vorrichtung (100) nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass eine Datenrate der Umfeldsensordaten (ED) im einheitlichen Datenformat gegenüber einer Datenrate der zugeführten Umfeldsensordaten (D1... Dn) verringert ist.
Vorrichtung (100) nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass eine Datenrate der Umfeldsensordaten (ED) im einheitlichen Datenformat gegenüber einer Datenrate der zugeführten Umfeldsensordaten (D1... Dn) erhöht ist.
Vorrichtung (100) nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass eine Auflösung der Umfeldsensordaten (ED) im einheitlichen Datenformat gegenüber einer Auflösung der zugeführten Umfeldsensordaten (D1... Dn) oder erhöht ist.
Vorrichtung (100) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die feste Datenrate und/oder die feste Auflösung und/oder der feste Sensordatentyp der Umfeldsensordaten (ED) im einheitlichen Datenformat über die Zeit gleichbleibend ist.
Vorrichtung (100) nach einem der vorhergehenden Ansprüche, ferner aufweisend ein zweites neuronales Netz (10b), an das die Umfeldsensordaten (ED) im einheitlichen Datenformat zuführbar sind, wobei das zweite neuronale Netz (10b) eingerichtet ist, aus den Umfeldsensordaten (ED) im einheitlichen Datenformat eine Umfeldinformation zu ermitteln, insbesondere ein Objekt zu erkennen.
Vorrichtung nach Anspruch 7, dadurch gekennzeichnet, dass das erste und das zweite neuronale Netz (10a, 10b) in einem dritten neuronalen Netz (10c) zusammengefasst sind.
Vorrichtung (100) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass wenigstens eines der neuronalen Netze (10a, 10b, 10c) auf wenigstens einem aus Folgendem ausgeführt werden: CPU mit wenigstens einem Rechenkern, Grafikkarte, neuronale Prozessiereinheit, Mikrocontroller.
Verwendung einer Vorrichtung (100) nach einem der vorhergehenden Ansprüche in einer wenigstens teilweise automatisierten Einheit, insbesondere Fahrzeug.
Verfahren zum Verarbeiten von Umfeldsensordaten (D), aufweisend die Schritte: - Zuführen von Umfeldsensordaten (D1... Dn) an ein erstes neuronales Netz (10a) in wenigstens einem ersten definierten Datenformat; und - Umformen der Umfeldsensordaten (D) in Umfeldsensordaten (ED) eines einheitlichen Datenformats mittels eines ersten neuronalen Netzes (10a), wobei mit den Umfeldsensordaten im einheitlichen Datenformat eine nachgelagerte Datenverarbeitung (10b), insbesondere eine Ermittlung einer Umfeldinformation durchführbar ist.
Verfahren nach Anspruch 11, wobei dem ersten neuronalen Netz mittels eines Steuersignals (S1... Sn) angezeigt wird, welches Datenformat die zugeführten Umfeldsensordaten ( D1... Dn) aufweisen.
Verfahren zum Trainieren eines ersten neuronalen Netzes (10a) zum Verarbeiten von Umfeldsensordaten (D1... Dn), aufweisend die Schritte: a) Zuführen von Umfeldsensordaten (D1) wenigstens eines Umfeldsensors an das erste neuronale Netz (10a) in einem ersten definierten Datenformat; und b) Trainieren des ersten neuronalen Netzes (10a) derart, dass die Umfeldsensordaten in einem vorgegebenen einheitlichen Datenformat ausgegeben werden.
Verfahren nach Anspruch 13, wobei , die Schritte a) und b) mit Umfeldsensordaten jeweils eines weiteren Datenformats (D2... Dn) wiederholt werden, wobei dem ersten neuronalen Netz mittels eines Steuersignals (S1 ... Sn) angezeigt wird, welches Datenformat die zugeführten Umfeldsensordaten ( D1... Dn) aufweisen.
Computerprogrammprodukt umfassend Befehle, die bei der Ausführung des Computerprogramms durch einen Computer diesen veranlasst, ein Verfahren nach einem der Ansprüche 12 oder 13 auszuführen oder das auf einem maschinenlesbaren Speichermedium gespeichert ist.