-
Die vorliegende Erfindung betrifft Auswertungssysteme, die beispielsweise zur Auswertung von Messdaten verwendbar sind, die von Fahrzeugen aus erfasst werden.
-
Stand der Technik
-
Damit sich ein Fahrzeug zumindest teilweise automatisiert im Straßenverkehr bewegen kann, ist es erforderlich, das Umfeld des Fahrzeugs zu erfassen und Gegenmaßnahmen einzuleiten, falls eine Kollision mit einem Objekt im Umfeld des Fahrzeugs droht. Auch die Erstellung einer Umfeld-Repräsentation und Lokalisierung sind für sicheres automatisiertes Fahren notwendig.
-
Um aus der physikalischen Beobachtung des Fahrzeugumfelds Entscheidungen bezüglich des weiteren Verhaltens des eigenen Fahrzeugs ableiten zu können, kommen vielfach trainierbare Auswertungssysteme zum Einsatz. Analog einem menschlichen Fahrer, der bis zum Erwerb der Fahrerlaubnis typischerweise weniger als 100 Stunden fährt und weniger als 1000 km zurücklegt, können diese Systeme das aus einem begrenzten Vorrat an Trainingsdaten geschöpfte Wissen auch auf eine Vielzahl weiterer Situationen verallgemeinern, die nicht Gegenstand des Trainings waren.
-
Dabei lässt sich das Training eines derartigen Auswertungssystems im späteren Wirkbetrieb typischerweise nur zur Auswertung von Messdaten nutzen, die in gleichwertiger Weise physikalisch erfasst wurden wie die Trainingsdaten. Schon das Upgrade eines Sensors auf ein physikalisch etwas anders arbeitendes Nachfolgemodell kann das bisher absolvierte Training obsolet machen.
-
Um nachträgliche Änderungen zu erleichtern, wird in der
DE 10 2017 212 835 A1 vorgeschlagen, Module eines Auswertungssystems, die für unterschiedliche Fahrmanöver zuständig sind, separat voneinander zu trainieren.
-
Offenbarung der Erfindung
-
Im Rahmen der Erfindung wurde ein trainierbares Auswertungssystem entwickelt. Dieses Auswertungssystem ist dazu ausgebildet, Messdaten zu einem oder mehreren Auswertungsergebnissen zu verarbeiten. Die Messdaten wurden mit einem oder mehreren Sensoren erfasst, und/oder sie umfassen realistische synthetische Messdaten des oder der Sensoren. Realistische synthetische Messdaten können beispielsweise an Stelle von oder in Kombination mit tatsächlich physikalisch aufgenommenen Messdaten verwendet werden, um das Auswertungssystem zu trainieren. Typischerweise ist ein Datensatz mit realistischen synthetischen Messdaten eines Sensors schwer von tatsächlich mit diesem Sensor physikalisch aufgenommenen Messdaten zu unterscheiden.
-
Als Sensoren eignen sich insbesondere optische oder thermische Kameras, Ultraschallsensoren, Radarsensoren sowie LIDAR-Sensoren. Dementsprechend können die Messdaten insbesondere beispielsweise Bilddaten oder Videodaten einer oder mehrerer Abbildungsmodalitäten umfassen.
-
Das Auswertungssystem kann insbesondere eine mit anpassbaren Parametern parametrierte Funktion mit idealerweise großer Kraft zur Verallgemeinerung verkörpern. Die Parameter können beim Training des Auswertungssystems insbesondere dergestalt angepasst werden, dass bei Eingabe von Lern-Messdaten in das Auswertungssystem die zugehörigen Lern-Auswertungsergebnisse möglichst gut reproduziert werden. Das Auswertungssystem kann insbesondere ein künstliches neuronales Netzwerk, KNN, beinhalten, und/oder es kann als KNN ausgebildet sein.
-
Das Auswertungssystem umfasst mindestens zwei voneinander unabhängige Eingangsstufen, die dazu ausgebildet sind, Messdaten entgegenzunehmen und diese Messdaten zu Vorprodukten zu verarbeiten. Die Eingangsstufen können beispielsweise von physischen Sensoren, wie etwa Kameras, mit den Messdaten versorgt werden. Dabei muss es keine 1:1-Zuordnung zwischen diesen Sensoren und den Eingangsstufen geben.
-
So können beispielsweise die Messdaten von mehreren zueinander ähnlichen Sensoren in einer gemeinsamen Eingangsstufe zusammengeführt sein. Beispielsweise können mehrere baugleiche Kameras verschiedene Teilbereiche des Umfelds eines Fahrzeugs beobachten.
-
Umgekehrt können aber auch beispielsweise die gleichen Messdaten, die von einem oder auch mehreren Sensoren stammen, gleichzeitig mehreren Eingangsstufen mit verschiedenen Architekturen zugeführt werden. Auf diese Weise kann beim Training des Auswertungssystems gleich mitgelernt werden, welche Architektur für die Verarbeitung gerade dieser Messdaten vorteilhafter ist.
-
Eine Verarbeitungsstufe erhält die Vorprodukte von allen Eingangsstufen als Eingaben. Diese Verarbeitungsstufe ist dazu ausgebildet, ein oder mehrere Vorprodukte zu einem gemeinsamen Zwischenprodukt zu verarbeiten. Schließlich ist mindestens eine Ausgangsstufe vorgesehen, die dazu ausgebildet ist, das Zwischenprodukt zu einer oder mehreren Auswertungsergebnissen des Auswertungssystems zu verarbeiten.
-
Dass die Eingangsstufen „unabhängig“ sind, kann insbesondere beispielsweise beinhalten, dass das Ergebnis der Verarbeitung von Messdaten durch eine Eingangsstufe von den Messdaten, die anderen Eingangsstufen zugeführt werden, unabhängig ist.
-
Es wurde erkannt, dass diese neuartige Struktur des Auswertungssystems es überraschenderweise erleichtert, ein mit Trainingsdaten aus einer ersten physikalischen Domäne absolviertes Training zumindest teilweise für Messdaten, die in einer zweiten physikalischen Domäne messtechnisch erfasst wurden, wiederzuverwenden.
-
Wenn beispielsweise beim Training des Auswertungssystems an verschiedenen Eingangsstufen Messdaten vorgelegt werden, die sich auf die gleiche Situation beziehen, aber mit verschiedenen Sensoren messtechnisch erfasst wurden, dann bildet sich eine Tendenz heraus, dass die Eingangsstufen Wissen lernen, das für die jeweilige messtechnische Erfassung spezifisch ist. Gleichzeitig lernt die Verarbeitungsstufe Wissen, das für alle verwendeten Arten der messtechnischen Erfassung gleichermaßen gültig ist.
-
Beispielsweise können die Messdaten Bilder umfassen, die mit verschiedenen Kameras aufgenommen wurden, und die Auswertungsergebnisse können sich auf eine inhaltliche Auswertung der Bilder im Hinblick auf darin enthaltene andere Verkehrsteilnehmer, Verkehrszeichen oder sonstige verkehrsrelevante Objekte beziehen. In dieser Situation wird sich beim Training eine Arbeitsteilung einstellen dergestalt, dass die Verarbeitungsstufe primär die inhaltliche Auswertung der Bilder lernt, während eine jede Eingangsstufe primär lernt, die von der jeweiligen Kamera aufgenommenen Bilder optimal für diese Auswertung vorzuverarbeiten.
-
Es kann nun aus verschiedenen Gründen die Situation eintreten, dass in der späteren Serienfertigung eines Fahrzeugs eine andere Kamera verbaut werden muss als diejenigen, die für das Training des Auswertungssystems genutzt wurden.
-
So gibt es eine generelle Präferenz, für die Erfassung von Trainingsdaten besonders hochwertige Kameras zu verwenden, da die physikalische Erfassung nur einen vergleichsweise geringen Teil der Kosten ausmacht. Der weitaus größte Teil der Kosten entfällt auf das Annotieren („Labeln“) der Trainingsdaten mit der für die jeweilige Anwendung relevanten Bedeutung, beispielsweise mit Angaben über die tatsächlich in den Bildern sichtbaren verkehrsrelevanten Objekten. Dieses Labeln erfordert typischerweise menschliche Arbeit. Gelabelte Trainingsdaten sind daher knapp und teuer, so dass es sinnvoll erscheint, sie in der bestmöglichen Qualität physikalisch zu erfassen.
-
Dieses Problem lässt sich nur teilweise umgehen, indem für die Erfassung der Trainingsdaten von vornherein die gleiche Kamera genutzt wird, die für die spätere Serienfertigung vorgesehen ist. Zwischen dem Training während der prototypischen Entwicklung des Fahrzeugs und der späteren Serienfertigung können einige Jahre vergehen. Daher gibt es zum Zeitpunkt des Trainings keine Garantie, dass die vorgesehene Kamera zum Zeitpunkt der Serienfertigung überhaupt noch dauerhaft am Markt verfügbar ist. Die Innovationszyklen für Kameras und andere Sensoren sind wesentlich kürzer als die Innovationszyklen für Fahrzeuge. Die Kamera kann also zum Zeitpunkt der Serienfertigung schon wieder durch ein neues Modell ersetzt worden sein. Erst recht dürfte es schwierig werden, über die Lebensdauer eines Fahrzeugs von bis zu 20 Jahren eine Ersatzteilversorgung mit genau dieser Kamera zu garantieren.
-
Wenn nun aber durch das Training die inhaltliche Auswertung in der Verarbeitungsstufe konzentriert ist und für alle Kameras gleich ist, ist allenfalls ein kurzes Nachtraining erforderlich, um das Auswertungssystem auch zur inhaltlichen Auswertung der von einer neuen Kamera gelieferten Bilder zu befähigen. Idealerweise kann das Auswertungssystem durch seine große Kraft zur Verallgemeinerung sogar im Rahmen des Trainings ganz abstrakt lernen, Bilder auszuwerten, die von jeder beliebigen Kamera stammen.
-
Die Situation ist dann ein Stück weit analog zur Umgewöhnung eines menschlichen Fahrers auf einen neuen Fahrzeugtyp. Vom Fahrerplatz im neuen Fahrzeug wird der Fahrer die Umgebung des Fahrzeugs möglicherweise aus einem anderen Blickwinkel betrachten. Der Fahrer wird sich auch etwa damit vertraut machen müssen, wo der Schalter für das Licht angebracht ist und wie die Einlegesperre für den Rückwärtsgang funktioniert. Er wird aber das Fahren nicht komplett neu lernen müssen.
-
Besonders vorteilhaft können mindestens zwei Eingangsstufen des Auswertungssystems dazu ausgebildet sein, physikalische Messdaten, die mit verschiedenen Sensoren erfasst wurden, und/oder realistische synthetische Messdaten dieser Sensoren, als Messdaten zu verarbeiten. Das Auswertungssystem eignet sich dann besonders gut zur Fusion von Messdaten, die zwar mit verschiedenen physikalischen Modalitäten (etwa verschiedene Kameratypen, Radar oder LIDAR) gewonnen wurden, sich jedoch auf das gleiche untersuchte Objekt bzw. auf die gleiche Szenerie beziehen.
-
In einer besonders vorteilhaften Ausgestaltung umfasst jede Eingangsstufe eine geschichtete Anordnung von Neuronen und/oder anderen Verarbeitungseinheiten des KNN. Auf diese Weise können die Messdaten, die von verschiedenen Eingangsstufen verarbeitet werden, so vereinheitlicht und abstrahiert werden, dass sie in gleicher Weise durch die Verarbeitungsstufe verarbeitet werden können. Dies gilt insbesondere dann, wenn in jeder Eingangsstufe mindestens eine Schicht als Faltungsschicht ausgebildet ist. Die Anordnung in der Eingangsstufe kann insbesondere beispielsweise in mindestens zwei Schichten unterteilt sein.
-
Die Verarbeitung in der Ausgangsstufe kann wiederum zumindest teilweise für die jeweilige Art der messtechnischen Erfassung spezifisch sein. So geben beispielsweise die von verschiedenen Kameras erfassten Bilder möglicherweise Bilder mit unterschiedlichen Pixelauflösungen aus. Wenn nun beispielsweise eine semantische Segmentierung der Bilder gesucht ist dahingehend, welche Bildpixel zu welchem Objekt gehören, dann wird sich ein und dasselbe Objekt in Bildern, die verschiedene Pixelauflösungen haben, an unterschiedlichen Positionen befinden.
-
Eine 1:1-Zuordnung zwischen Ausgangsstufen einerseits und Kameras oder anderen Sensoren andererseits ist jedoch nicht erforderlich. Analog zur Zuordnung zwischen Eingangsstufen und Sensoren gibt es hier volle Flexibilität. So kann beispielsweise ein und dieselbe Ausgangsstufe genutzt werden, um Auswertungsergebnisse zu bilden, die aus den von verschiedenen Sensoren gelieferten Messdaten erarbeitet wurden. Wird beispielsweise das Umfeld eines Fahrzeugs von mehreren Kameras beobachtet, die jeweils räumliche Teilbereiche dieses Umfelds abdecken, dann kann eine Klassifikation der in den jeweiligen Bildern enthaltenen Objekte aus ein und demselben Ausgangsstufe abgerufen werden.
-
Umgekehrt kann auch ein und dasselbe aus Messdaten von einem oder mehreren Sensoren erarbeitete Zwischenprodukt mehreren Ausgangsstufen mit verschiedenen Architekturen zugeführt werden. Auf diese Weise kann beim Training des Auswertungssystems mitgelernt werden, welche Ausgangsstufe gerade dieses Zwischenprodukt zum besten Endergebnis verarbeiten kann.
-
In einer weiteren besonders vorteilhaften Ausgestaltung umfasst die Verarbeitungsstufe eine geschichtete Anordnung von Neuronen und/oder anderen Verarbeitungseinheiten des KNN. Dann hat die Verarbeitungsstufe eine ausreichende Kapazität, um den größten Anteil einer inhaltlichen Auswertung der Messdaten zu lernen. Um die Tendenz zu verstärken, dass die inhaltliche Auswertung sich in der Verarbeitungsstufe konzentriert, kann insbesondere beispielsweise die Verarbeitungsstufe eine in mehr Schichten unterteilte Anordnung aufweisen als die Eingangsstufen. Die Anordnung in der Verarbeitungsstufe kann insbesondere beispielsweise in mindestens drei Schichten unterteilt sein.
-
Weiterhin ist vorteilhaft in der Verarbeitungsstufe mindestens eine Schicht als Faltungsschicht und mindestens eine Schicht als Pooling-Schicht oder als vollvernetzte Schicht ausgebildet. Dies sind die Schichttypen, die hauptsächlich für eine inhaltliche Auswertung der Messdaten benötigt werden. Ihre Präsenz in der Verarbeitungsstufe verstärkt somit die erwünschte Tendenz, die inhaltliche Auswertung in der Verarbeitungsstufe zu konzentrieren.
-
In einer weiteren vorteilhaften Ausgestaltung umfasst mindestens eine Ausgangsstufe eine Anordnung aus Neuronen und/oder anderen Verarbeitungseinheiten des KNN, die die Funktionalität einer Faltungsschicht des KNN, und/oder die Funktionalität einer vollvernetzten Schicht des KNN, bereitstellt. Diese Schichten kommen typischerweise bei der Bildung der Auswertungsergebnisse ganz am Ende der Verarbeitungskette zum Einsatz. In ihnen kann insbesondere dasjenige Wissen verkörpert sein, das erforderlich ist, um Auswertungsergebnisse für bestimmte konkrete Zwecke zu bilden.
-
Wie zuvor erläutert, ist es ein wesentlicher Vorteil des beschriebenen Auswertungssystems, dass es sich in einer Weise trainieren lässt, die bei einem Wechsel der für die Datenaufnahme verwendeten Sensorik eine weitgehende Wiederverwendung eines einmal absolvierten Trainings ermöglicht. Daher bezieht sich die Erfindung auch auf ein Verfahren zum Trainieren dieses Auswertungssystems.
-
Im Rahmen des Verfahrens werden dem Auswertungssystem Lern-Messdaten zugeführt. Parameter, die das Verhalten des Auswertungssystems charakterisieren, werden optimiert mit dem Ziel, dass vom Auswertungssystem gelieferte Auswertungsergebnisse nach Maßgabe mindestens einer Kostenfunktion möglichst gut mit zu den Lern-Auswertungsergebnissen gehörenden Lern-Auswertungsergebnissen übereinstimmen. Dabei umfassen die Lern-Messdaten, die mindestens zwei verschiedenen Eingangsstufen des Auswertungssystems zugeführt werden, physikalische Messdaten, die mit verschiedenen Sensoren erfasst wurden.
-
Die Lern-Messdaten können alternativ oder in Kombination hierzu auch realistische synthetische Messdaten dieser Sensoren umfassen. Derartige synthetische Messdaten werden häufig verwendet, um eine Knappheit an Trainingsdaten zu lindern. Sie lassen sich bei Betrachtung in der Regel nur schwierig von „echten“ Messdaten, die tatsächlich mit dem jeweiligen Sensor erfasst wurden, unterscheiden.
-
Wie zuvor erläutert, wird immer dann, wenn einer Eingangsstufe Messdaten zugeführt werden, diese jeweilige Eingangsstufe trainiert. Zugleich wird aber auch immer die Verarbeitungsstufe mittrainiert. Das heißt, die Lernerfahrung, die über alle Eingangsstufen vermittelt wird, bündelt sich in der Verarbeitungsstufe und wird dort kumuliert.
-
Dies wiederum hilft auch in Situationen weiter, in denen gelabelte Trainingsdaten speziell in Bezug auf einen bestimmten Sensor, d.h. in Bezug auf eine bestimmte Domäne, besonders knapp sind. Das spezifische Training der diesem Sensor zugeordneten Eingangsstufe kommt mit vergleichsweise wenig Trainingsdaten aus. Für die inhaltliche Auswertung kann hingegen auf die Verarbeitungsstufe zurückgegriffen werden, die anhand anderer Trainingsdaten bereits vortrainiert ist.
-
Die verschiedenen Eingangsstufen können abwechselnd, nacheinander oder auch gleichzeitig trainiert werden. Das heißt, es kann beim Training immer nur eine Eingangsstufe zur Zeit mit Messdaten beaufschlagt werden, es können aber auch mehrere oder alle Eingangsstufen gleichzeitig mit Messdaten beaufschlagt werden. Vorteilhaft sollten die Eingangsstufen gleichzeitig trainiert werden. Das bedeutet, dass für jeden durch eine Auswertung der Kostenfunktion und anschließende Rückpropagation des Fehlers abgegrenzten Trainingsschritt jeder Eingangsstufe die gleiche Anzahl Datensätze mit Lern-Messdaten zugeführt wird. Auf diese Weise kann der Tendenz entgegengewirkt werden, dass das Auswertungssystem sich zu stark an die Verarbeitung von Messdaten aus einer der genutzten physikalischen Domänen anpasst.
-
In einer weiteren besonders vorteilhaften Ausgestaltung werden die Parameter zusätzlich im Hinblick auf ein Standardisierungs-Maß optimiert. Dieses Standardisierungs-Maß liefert umso bessere Werte, je besser die von verschiedenen Eingangsstufen erzeugten Vorprodukte, die sich auf die gleiche Situation beziehen, miteinander übereinstimmen. Auf diese Weise wird die Tendenz weiter verstärkt, dass die Spezifika der verschiedenen Sensoren in den diesen Sensoren jeweils zugeordneten Eingangsstufen behandelt werden und separat hiervon die eigentliche inhaltliche Auswertung im Wesentlichen einheitlich erfolgt. Das Standardisierungs-Maß kann beispielsweise einen Beitrag zu der für das Training verwendeten Kostenfunktion liefern, so dass die Standardisierung gleichzeitig mit der inhaltlichen Auswertung trainiert wird. Es können aber auch beispielsweise nach dem eigentlichen Training die Parameter der Verarbeitungsstufe festgehalten und die Parameter einer oder mehrerer Eingangsstufen im Hinblick auf ein möglichst gutes Standardisierungs-Maß weiter optimiert werden.
-
In einer weiteren besonders vorteilhaften Ausgestaltung werden die Lern-Messdaten, die den mindestens zwei verschiedenen Eingangsstufen des Auswertungssystems zugeführt werden, auch einer weiteren Universal-Eingangsstufe zugeführt und von der Universal-Eingangsstufe zu Vorprodukten verarbeitet. Es erhält dann beispielsweise eine erste Eingangsstufe Messdaten eines ersten Sensors, eine zweite Eingangsstufe Messdaten eines zweiten Sensors und eine dritte Eingangsstufe als Universal-Eingangsstufe Messdaten beider Sensoren. Die von der Universal-Eingangsstufe gelieferten Vorprodukte werden in die Beurteilung durch das Standardisierungs-Maß einbezogen. Auf diese Weise wird die Universal-Eingangsstufe darauf trainiert, Messdaten aller beim Training verwendeten Sensoren, und idealerweise auch ganz allgemein weiterer Sensoren, zu Vorprodukten zu verarbeiten, die zu den von den anderen Eingangsstufen gelieferten Vorprodukten im Wesentlichen ähnlich sind. Idealerweise lernt also die Universal-Eingangsstufe durch die dem Auswertungssystem innewohnende Kraft zur Verallgemeinerung, Messdaten auch von neuen, unbekannten Sensoren zu verarbeiten, ohne dass hierfür ein erneutes Training notwendig wäre.
-
Zu diesem Zweck können insbesondere vorteilhaft während der Optimierung des Standardisierungs-Maßes nur diejenigen Parameter des Auswertungssystems geändert werden, die das Verhalten der Universal-Eingangsstufe charakterisieren. Das heißt, diejenigen Parameter, die das Verhalten der anderen Eingangsstufen, das Verhalten der Verarbeitungsstufe und das Verhalten der Ausgangsstufen charakterisieren, bleiben unverändert. Auf diese Weise wird das Training der Universal-Eingangsstufe zu einem reinen Add-On und beeinflusst das zuvor erfolgte Training der übrigen Eingangsstufen, der Verarbeitungsstufe sowie der Ausgangsstufen nicht.
-
Wenn eine Universal-Eingangsstufe in der beschriebenen Weise trainiert wurde, schafft dies im Betrieb des Auswertungssystems mit tatsächlich sensorisch erfassten Messdaten eine Wahlmöglichkeit, eine durch ihr Training auf die Verarbeitung von Messdaten eines bestimmten Sensors spezialisierte Eingangsstufe zu nutzen, die Universal-Eingangsstufe zu nutzen, oder auch eine sinnvolle Kombination aus diesen Alternativen zu bilden.
-
Daher bezieht sich die Erfindung auch auf ein Verfahren zum Betreiben eines Auswertungssystems, welches unter Nutzung einer Universal-Eingangsstufe trainiert wurde.
-
Bei diesem Verfahren wird ein Satz Messdaten einer ersten Eingangsstufe Auswertungssystems zugeführt und von dem Auswertungssystem zu einem ersten Satz Auswertungsergebnisse verarbeitet. Der gleiche Satz Messdaten wird auch der Universal-Eingangsstufe des Auswertungssystems zugeführt und von dem Auswertungssystem zu einem zweiten Satz Auswertungsergebnisse verarbeitet.
-
Es werden Unsicherheiten des ersten Satzes Auswertungsergebnisse und Unsicherheiten des zweiten Satzes Auswertungsergebnisse ermittelt. Aus den beiden Sätzen der Auswertungsergebnisse wird ein Endergebnis der Verarbeitung, d.h. ein für die weitere Nutzung maßgeblicher konsolidierter Satz Auswertungsergebnisse, ermittelt.
-
Die Unsicherheiten können nach beliebigen Kriterien und Maßen bestimmt werden, je nachdem, welche Art der Unsicherheit für die vorgesehene Anwendung besonders nachteilig ist. Viele übliche Auswertungsmethoden, wie beispielsweise Klassifikation und Regression, liefern mit ihrem jeweiligen Ergebnis auch gleich eine Konfidenz und/oder Unsicherheit mit.
-
Die konkrete Vorschrift für das Ermitteln der Auswertungsergebnisse richtet sich nach den Bedürfnissen der Anwendung, in der diese Auswertungsergebnisse verwendet werden sollen. Beispielsweise können die beiden Sätze der Auswertungsergebnisse in gewichteter Weise miteinander verrechnet werden, wobei die Gewichte anhand der Unsicherheiten ermittelt werden können.
-
In einer weiteren besonders vorteilhaften Ausgestaltung wird derjenige Satz Auswertungsergebnisse mit der besseren Unsicherheit als Endergebnis der Verarbeitung festgelegt. Hiermit lässt sich die Maxime implementieren, dass eine auf die Verarbeitung von Daten bestimmter Typen von Sensoren spezialisierte Eingangsstufe für die Verarbeitung eines konkreten Satzes von Messdaten nur entweder in besonderem Maße geeignet sein kann oder eben nicht. Wenn sich keine spezialisierte Eingangsstufe als besonders geeignet hervortut, ist die Verwendung der Universal-Eingangsstufe am besten physikalisch motiviert.
-
Beispielsweise kann eine der Eingangsstufen darauf spezialisiert sein, Bilder, die von einer Kamera mit Fish-Eye-Optik aufgenommen wurden, vorzuverarbeiten. Wenn dann die von einer neuen, unbekannten Kamera aufgenommenen Bilder große Ähnlichkeit mit den mit Fish-Eye-Optik aufgenommenen Bildern haben, ist die Eingangsstufe, die der Kamera mit Fish-Eye-Optik zugeordnet ist, am besten geeignet, auch die Bilder der neuen Kamera zu verarbeiten.
-
In einer weiteren vorteilhaften Ausgestaltung wird aus dem Endergebnis der Verarbeitung ein Ansteuersignal ermittelt. Ein Fahrzeug, ein System für die Überwachung eines Bereichs, ein Klassifikationssystem, ein System für die Qualitätskontrolle von in Serie gefertigten Produkten, und/oder ein System für die medizinische Bildgebung, wird mit dem Ansteuersignal angesteuert.
-
Die physikalischen Messdaten, bzw. die realistischen synthetischen Messdaten, können Messdaten einer optischen oder thermischen Kamera, und/oder Messdaten einer Abfrage eines räumlichen Bereichs mittels Radar, LIDAR und/oder Ultraschall, sein. Dies sind die wichtigsten Messmodalitäten, die bei der Überwachung des Umfelds von Fahrzeugen, insbesondere für Fahrassistenzsysteme oder für die Zwecke des zumindest teilweise automatisierten Fahrens, zum Einsatz kommen.
-
Die Auswertungsergebnisse können insbesondere beispielsweise
- • mindestens eine als Ergebnis einer Klassifikation aus den Messdaten ermittelte Klasse,
- • mindestens einen als Ergebnis einer Regression aus den Messdaten ermittelten Regressionswert, und/oder
- • mindestens eine semantische Segmentierung der Messdaten, und/oder
- • mindestens ein aus den Messdaten rekonstruiertes Bild, und/oder
- • synthetische Messdaten, wie etwa synthetische Bilder, umfassen.
-
Beispielsweise können Bilder oder andere Messdaten dahingehend klassifiziert werden, auf welche anderen Verkehrsteilnehmer, Fahrbahnbegrenzungen, Verkehrszeichen und sonstigen verkehrsrelevanten Objekte diese Messdaten hindeuten. Ein Regressionswert kann beispielsweise eine Richtung, in der sich ein Objekt bewegt, und/oder eine Geschwindigkeit, mit der sich das Objekt bewegt, angeben. Eine semantische Segmentierung kann jedes Pixel, Voxel oder Stixel, bzw. jeden vergleichbaren elementaren Bestandteil der Messdaten, einem Objekt oder einem Typ von Objekten (wie etwa „Fahrbahnbegrenzung“, „PKW“, „LKW“, „Fußgänger“, „Verkehrszeichen“) zuordnen. Eine solche semantische Segmentierung ist also eine Darstellung der sensorisch beobachteten Szenerie, die beispielsweise von einem Fahrassistenzsystem oder einem System für das zumindest teilweise automatisierte Fahren maschinell interpretiert werden kann.
-
Wie zuvor erläutert, befähigt speziell das zuvor beschriebene Training das Auswertungssystem dazu, mit insgesamt weniger Trainingsaufwand Messdaten aus mehr physikalischen Domänen zu Auswertungsergebnissen zu verarbeiten, die für die jeweilige Situation inhaltlich zutreffend sind. Das bedeutet, dass technische Systeme, die mit diesen Auswertungsergebnissen arbeiten, mit hoher Wahrscheinlichkeit eine der jeweiligen Situation angemessene Reaktion ausführen. Das Ergebnis des Trainings ist in den Parametern verkörpert, die das Verhalten des Auswertungssystems charakterisieren. Wer diese Parameter besitzt, kann das Auswertungssystem unmittelbar nutzen, ohne zuvor das Training durchführen oder auch nur Trainingsdaten besitzen zu müssen. Daher bezieht sich die Erfindung auch auf einen Parametersatz mit Parametern, die das Verhalten eines trainierbaren Auswertungssystems charakterisieren und mit dem zuvor beschriebenen Trainingsverfahren erhalten wurden.
-
Insbesondere ist es beispielsweise möglich, ausgehend von einem fertig gekauften Parametersatz lediglich eine neue Eingangsstufe und optional auch eine neue Ausgangsstufe zu trainieren, um das Auswertungssystem in die Lage zu versetzen, Messdaten von einem neuartigen Sensor (etwa einer neuen Kamera) zu verarbeiten. Die Parameter der Verarbeitungsstufe können hierbei festgehalten werden. Dies ist insbesondere für Anwendungen in Fahrassistenzsystemen, Systemen für das zumindest teilweise automatisierte Fahren oder sonstigen sicherheitskritischen Systemen vorteilhaft. Beispielsweise kann eine allgemeine Betriebserlaubnis (ABE) oder sonstige behördliche Zulassung an einen konkreten, vom TÜV oder einer anderen Überwachungsorganisation abgenommenen Zustand der Verarbeitungsstufe gebunden sein.
-
Die Verfahren können insbesondere ganz oder teilweise computerimplementiert sein. Daher bezieht sich die Erfindung auch auf ein Computerprogramm mit maschinenlesbaren Anweisungen, die, wenn sie auf einem oder mehreren Computern ausgeführt werden, den oder die Computer dazu veranlassen, eines der beschriebenen Verfahren auszuführen. In diesem Sinne sind auch Steuergeräte für Fahrzeuge und Embedded-Systeme für technische Geräte, die ebenfalls in der Lage sind, maschinenlesbare Anweisungen auszuführen, als Computer anzusehen.
-
Ebenso bezieht sich die Erfindung auch auf einen maschinenlesbaren Datenträger und/oder auf ein Downloadprodukt mit dem Parametersatz, und/oder mit dem Computerprogramm. Ein Downloadprodukt ist ein über ein Datennetzwerk übertragbares, d.h. von einem Benutzer des Datennetzwerks downloadbares, digitales Produkt, das beispielsweise in einem Online-Shop zum sofortigen Download feilgeboten werden kann.
-
Weiterhin kann ein Computer mit dem Computerprogramm, mit dem maschinenlesbaren Datenträger bzw. mit dem Downloadprodukt ausgerüstet sein.
-
Weitere, die Erfindung verbessernde Maßnahmen werden nachstehend gemeinsam mit der Beschreibung der bevorzugten Ausführungsbeispiele der Erfindung anhand von Figuren näher dargestellt.
-
Figurenliste
-
Es zeigt:
- 1 Ausführungsbeispiel des Auswertungssystems 1;
- 2 Ausführungsbeispiel des Verfahrens 100 zum Trainieren des Auswertungssystems 1;
- 3 Ausführungsbeispiel des Verfahrens 200 zum Betreiben des Auswertungssystems 1.
-
1 zeigt ein Ausführungsbeispiel des Auswertungssystems 1. Das Auswertungssystem 1 umfasst drei Eingangsstufen 11a-11c, die dazu ausgebildet sind, Messdaten 2a-2c entgegenzunehmen und zu Vorprodukten 12a-12c zu verarbeiten. Zusätzlich umfasst das Auswertungssystem 1 noch eine Universal-Eingangsstufe 11d, die all diejenigen Messdaten, die in die übrigen Eingangsstufen 11a-11c geführt sind, ebenfalls als Eingaben erhält und zu einem Vorprodukt 11d verarbeitet.
-
Die Messdaten 2a-2c können insbesondere physikalische Messdaten 5a-5c sein, die mit verschiedenen Sensoren 4a-4c erfasst wurden. Alternativ oder auch in Kombination hierzu können die Messdaten 2a-2c auch realistische synthetische Messdaten 5a'-5c' dieser Sensoren 4a-4c umfassen.
-
Jede der Eingangsstufen 11a-11d enthält Neuronen und/oder sonstige Verarbeitungseinheiten eines KNN, die in diesem Beispiel in zwei Schichten a und b angeordnet sind. In dem in 1 gezeigten Beispiel sind beide Schichten a und b als Faltungsschichten ausgebildet.
-
Alle Vorprodukte 11a-11d sind gemeinsam in die Verarbeitungsstufe 13 geführt und werden von der Verarbeitungsstufe 13 zu einem Zwischenprodukt 14 verarbeitet. Auch die Verarbeitungsstufe 13 enthält Neuronen und/oder andere Verarbeitungseinheiten des KNN, die in Schichten a-k angeordnet sind. In dem in 1 gezeigten Beispiel sind die Schichten a-i als Faltungsschichten ausgebildet. Die Schichten j und k sind in diesem Beispiel als Pooling-Schichten ausgebildet, können aber beispielsweise auch als weitere Faltungsschichten ausgebildet sein.
-
Das Zwischenprodukt 14 ist in drei Ausgangsstufen 15a-15c geführt. Die Ausgangsstufen 15a-15c umfassen in dem in 1 gezeigten Beispiel jeweils eine vollvernetzte Schicht des KNN und liefern die Auswertungsergebnisse 3a-3c des Auswertungssystems 1.
-
Wie durch die gestrichelten Linien in 1 angedeutet ist, sind Parameter 16, die das Verhalten der Universal-Eingangsstufe 11d charakterisieren, derart optimiert, dass das von der Universal-Eingangsstufe 11d gelieferte Vorprodukt 12d für eine Situation nach Maßgabe des Standardisierungs-Maßes 18 möglichst gut mit den Vorprodukten 12a-12c der übrigen Eingangsstufen 11a-11c für die gleiche Situation übereinstimmt.
-
2 ist ein schematisches Ablaufdiagramm eines Ausführungsbeispiels des Verfahrens 100 zum Trainieren des Auswertungssystems 1. In Schritt 110a des Verfahrens 100 werden dem Auswertungssystem 1 Lern-Messdaten 2a'-2c' zugeführt. Diese Lern-Messdaten 2a'-2c' können eine beliebige Mischung aus physikalischen Messdaten 5a-5c, die mit verschiedenen Sensoren 4a-4c erfasst wurden, und synthetischen Messdaten 5a'-5c' der Sensoren 4a-4c sein. Die Lern-Messdaten 2a'-2c' werden verschiedenen Eingangsstufen 11a-11c des Auswertungssystems 1 zugeführt. In Schritt 110b werden die Lern-Messdaten 2a'-2c' durch das Auswertungssystem 1 zu Auswertungsergebnissen 3a-3c verarbeitet.
-
In Schritt 120 werden Parameter 16, die das Verhalten des Auswertungssystems 1 charakterisieren, optimiert mit dem Ziel, dass die Auswertungsergebnisse 3a-3c nach Maßgabe einer Kostenfunktion 17 möglichst gut mit Lern-Auswertungsergebnissen 3a'-3c' übereinstimmen, mit denen die Lern-Messdaten 2a'-2c' gelabelt sind. Hierzu werden die Parameter 16 immer wieder angepasst, und die Verarbeitung von Lern-Messdaten 2a'-2c' zu Auswertungsergebnissen 3a-3c wird erneut durchgeführt, um anschließend zu testen, ob die Übereinstimmung mit den Lern-Auswertungsergebnissen 3a'-3c' besser geworden ist. Die Optimierung endet, wenn ein vorgegebenes Abbruchkriterium erfüllt ist. Das Abbruchkriterium kann sich beispielsweise auf die Genauigkeit der Übereinstimmung, und/oder auf eine maximale Anzahl an Iterationen, beziehen. Der dann erhaltene Zustand der Parameter 16 ist der trainierte Zustand 16*.
-
Die Parameter 16, 16* werden zusätzlich in Schritt 130 im Hinblick auf das Standardisierungs-Maß 18 optimiert. Dies kann, wie in 2 gezeichnet, nach dem eigentlichen Training des Auswertungssystems 1 mit der Kostenfunktion 17 erfolgen. Es kann aber auch gleichzeitig mit diesem Training erfolgen, beispielsweise, indem das Standardisierungs-Maß 18 in die Kostenfunktion 17 integriert wird. Das Standardisierungs-Maß 18 liefert umso bessere Werte, je besser die von verschiedenen Eingangsstufen 11a-11d erzeugten Vorprodukte 12a-12d, die sich auf die gleiche Situation beziehen, miteinander übereinstimmen.
-
Zu diesem Zweck werden insbesondere gemäß Block 131 die Lern-Messdaten 2a'-2c', die den mindestens zwei verschiedenen Eingangsstufen 11a-11c des Auswertungssystems 1 zugeführt werden, auch der Universal-Eingangsstufe 11d zugeführt, so dass sie zu Vorprodukten 12d verarbeitet werden. Gemäß Block 132 werden die von dieser Universal-Eingangsstufe 11d gelieferten Vorprodukte 12d in die Beurteilung durch das Standardisierungs-Maß 18 einbezogen. Es wird also gemessen, inwieweit diese Vorprodukte 12d zu den von den anderen Eingangsstufen 11a-11c erzeugten Vorprodukten 12a-12c einheitlich sind. Die Parameter 16 werden so lange variiert, bis ein vorgegebenes Abbruchkriterium, beispielsweise hinsichtlich der gewünschten Übereinstimmung der Vorprodukte 12a-12d und/oder hinsichtlich einer maximalen Anzahl von Iterationen, erfüllt ist.
-
Dabei können gemäß Block 133 insbesondere beispielsweise während der Optimierung 130 des Standardisierungs-Maßes 18 nur diejenigen Parameter 16 des Auswertungssystems 1 geändert werden, die das Verhalten der Universal-Eingangsstufe 11d charakterisieren. Das bisher erarbeitete Training der übrigen Eingangsstufen 11a-11c, der Verarbeitungsstufe 13 und der Ausgangsstufen 15a-15c wird also festgehalten.
-
Die nun auch im Hinblick auf das Standardisierungs-Maß optimierten Parameter 16 sind mit dem Bezugszeichen 16** bezeichnet.
-
3 ist ein schematisches Ablaufdiagramm eines Ausführungsbeispiels des Verfahrens 200 zum Betreiben des Auswertungssystems 1 in seinem fertig trainierten Zustand. Ein Satz Messdaten 2e wird in Schritt 210a einer ersten Eingangsstufe 11a-11c des Auswertungssystems 1 zugeführt und in Schritt 210b zu einem ersten Satz Auswertungsergebnisse 3a-3c verarbeitet. Der gleiche Satz Messdaten 2e wird in Schritt 220a der Universal-Eingangsstufe 11d des Auswertungssystems 1 zugeführt und in Schritt 220b zu einem zweiten Satz Auswertungsergebnisse 3a*-3c* verarbeitet. Es wird zwar nur die eine Universal-Eingangsstufe 11d verwendet, die ein einziges Vorprodukt 12d liefert, aber nach Verarbeitung dieses Vorprodukts 12d zum Zwischenprodukt 14 durch die Verarbeitungsstufe 13 können die drei Ausgangsstufen 15a-15c nach wie vor verschiedene Auswertungsergebnisse 3a*-3c* liefern.
-
In Schritt 230 werden Unsicherheiten 6a-6c des ersten Satzes Auswertungsergebnisse 3a-3c und Unsicherheiten 6a'-6c' des zweiten Satzes Auswertungsergebnisse 3a*-3c* ermittelt.
-
In Schritt 240 wird aus den beiden Sätzen der Auswertungsergebnisse 3a-3c, 3a*-3c* und den zugehörigen Unsicherheiten 6a-6c, 6a'-6c' ein Endergebnis 7a-7c der Verarbeitung ermittelt. Hierzu kann insbesondere beispielsweise gemäß Block 241 derjenige Satz Auswertungsergebnisse 3a-3c, 3a'-3c' mit der geringeren Unsicherheit 6a-6c, 6a'-6c' als Endergebnis 7a-7c der Verarbeitung festgelegt werden.
-
In Schritt 250 wird zusätzlich aus dem Endergebnis 7a-7c der Verarbeitung ein Ansteuersignal 8 ermittelt. In Schritt 260 wird ein Fahrzeug 50, ein System 60 für die Überwachung eines Bereichs, ein Klassifikationssystem 70, ein System 80 für die Qualitätskontrolle von in Serie gefertigten Produkten, und/oder ein System 90 für die medizinische Bildgebung, mit dem Ansteuersignal 8 angesteuert.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102017212835 A1 [0005]
