DE102020133626A1

DE102020133626A1 - Verfahren zum Erkennen von für ein neuronales Netz schwierig korrekt zu klassifizierenden Szenen, Assistenzeinrichtung und Kraftfahrzeug

Info

Publication number: DE102020133626A1
Application number: DE102020133626.8A
Authority: DE
Inventors: Christopher Kuhn; Goran Petrovic; Markus Hofbauer; Eckehard Steinbach
Original assignee: Bayerische Motoren Werke AG; Technische Universitaet Muenchen
Current assignee: Bayerische Motoren Werke AG
Priority date: 2020-12-15
Filing date: 2020-12-15
Publication date: 2022-06-15

Abstract

Die Erfindung betrifft ein Verfahren (26) zum Erkennen von für ein neuronales Netz (14) schwierig korrekt zu klassifizierenden Szenen. Die Erfindung betrifft weiter eine entsprechende Assistenzeinrichtung (12, 30; 38) sowie ein damit ausgestattetes Kraftfahrzeug (34). Bei dem Verfahren wird ein die jeweilige Szene darstellendes Inputbild (16) mittels des neuronalen Netzes (14) unter Erzeugen eines zugehörigen Verarbeitungsergebnisses (20, 24) verarbeitet. Das Inputbild (16) und das zugehörige Verarbeitungsergebnissen (20, 24) werden einer Erkennungseinrichtung (12, 30) bereitgestellt, in der eine Zuordnung von Verarbeitungsergebnissen (20, 24) zu Bilddaten (16) die in der Vergangenheit korrekterweise in diesen Verarbeitungsergebnissen (20, 24) resultiert haben, hinterlegt ist. Durch die Erkennungseinrichtung (12, 30) werden ausgehend von dem jeweiligen Verarbeitungsergebnis (20, 24) zugehörige anhand der hinterlegten Zuordnung hinterlegte rekonstruierte Bilddaten (28) mit dem jeweiligen Inputbild (16) verglichen. Bei einer Abweichung dazwischen wird dann die jeweilige Szene als schwierig korrekt zu klassifizieren erkannt.

Description

Die vorliegende Erfindung betrifft ein Verfahren zum automatischen Erkennen von für ein künstliches neuronales Netz schwierig korrekt zu klassifizierenden Szenen bzw. entsprechenden Bildern. Die Erfindung betrifft weiter eine Assistenzeinrichtung zum Durchführen eines solchen Verfahrens und ein damit ausgestattetes Kraftfahrzeug.
Künstliche neuronale Netze können mittlerweile zu vielerlei unterschiedlichen Zwecken eingesetzt werden, sind dabei jedoch nach wie vor nicht immer einhundertprozentig zuverlässig. Künstliche neuronale Netze können also Fehler machen, beispielsweise wenn sie einen neuen, also nicht aus einem Training des neuronalen Netzes bekannten, oder ungewöhnlichen Input verarbeiten sollen. Es kann insbesondere problematisch sein, wenn ein solcher Input außerhalb einer Domäne oder Verteilung liegt, für die das jeweilige neuronale Netz trainiert wurde. Da in solchen Fällen ein jeweiliger Output oder eine jeweilige Entscheidung des neuronalen Netzes nicht verlässlich ist, sind hier Maßnahmen zur Absicherung ebenso wie die grundsätzliche Verbesserung der Genauigkeit künstlicher neuronaler Netze wünschenswert.
Beispielsweise ist in der DE 10 2018 110 369 A1 die Verbesserung autonomer Maschinen durch Cloud, Fehlerkorrektur und Vorhersagen thematisiert. Konkret ist dort eine Einrichtung beschrieben, die eine intelligente Sammlung von Daten und eine intelligente Verwaltung autonomer Maschinen ermöglicht. Diese Einrichtung umfasst eine Erkennungs-/Beobachtungslogik, um einen oder mehrere Sätze von Daten von einer oder mehreren Quellen über ein oder mehrere Netzwerke zu erkennen. Die Einrichtung umfasst weiter eine hybride Berechnungslogik zum Kombinieren einer ersten Berechnung, die lokal an der Einrichtung ausgeführt wird, mit einer zweiten Berechnung, die entfernt an einer entfernten Rechenvorrichtung in Kommunikation mit der Einrichtung über das eine oder die mehreren Netzwerke ausgeführt wird. Dabei verbraucht die erste Berechnung wenig Energie und die zweite Berechnung viel Energie. Damit soll der Problematik Rechnung getragen werden, dass beispielsweise herkömmliche Techniken zum autonomen Fahren, bei denen sämtliche Berechnungen in dem jeweiligen Fahrzeug ausgeführt werden, durch die begrenzte Menge dort verfügbarer Energie limitiert sein können, beispielsweise auch hinsichtlich der Genauigkeit, der Zuverlässigkeit und/oder des Funktionsumfang.
Ein möglicher Anwendungsfall für neuronale Netze im Bereich der Fahrzeugtechnik bzw. des Verkehrsgeschehens kann etwa in der Erkennung von Verkehrszeichen, Straßenmarkierungen und dergleichen mehr liegen. Auf diesem Gebiet beschreibt beispielsweise die CN 105 809 138 A ein Verfahren zum Detektieren und Identifizieren eines warnenden Verkehrsschildes basierend auf einer Blockidentifizierung. Dabei werden Fahrzeugvideodaten erfasst und in chronologisch angeordnete Bilder zerlegt. Basierend auf erfassten GPS- und die IMU-Daten des Fahrzeugs, die mit einer jeweiligen Aufnahmezeit der Bilder korrespondieren, werden die Geschwindigkeit und Lage des Fahrzeugs bestimmt. Nach einer Vorverarbeitung der einzelnen Bilder oder Frames werden diese aus dem RGB-Farbraum in den HSV-Farbraum konvertiert, um eine größere Ähnlichkeit mit dem menschlichen Sehsystem zu erhalten. Anschließend werden eine schwellenwertbasierte Farbsegmentierung und Binarisierung durchgeführt und isolierte Punkte in den entsprechenden binären Bildern entfernt. Anhand von Konturinformationen verbleibender verbundener Regionen wird eine grobe Interessenregion, in der das jeweilige Verkehrszeichen abgebildet ist, bestimmt. Diese wird gemäß geometrischer Merkmale an die Kontur des Verkehrszeichens angepasst, um eine präzisierte Interessenregion zu bestimmen. Für diese präzisierte Interessenregion werden Segmentierungsmerkmale und HOG-Merkmale (englisch: Histogram of Oriented Gradients) extrahiert, die dann für eine SVM-basierte Klassifizierung miteinander kombiniert werden.
Es gibt auch Ansätze, die einen Vergleich von Bildern vorsehen, beispielsweise um zu bestimmen, ob ein bestimmtes Bild ähnlich zu Trainingsbildern ist, um bestimmte Objekte in Bildern zu detektieren oder um Objekte über mehrere Bilder hinweg nachzuverfolgen. Beispielsweise befasst sich die US 2008 / 0 013 837 A1 mit einem Bildvergleich. In dem dort beschriebenen Verfahren wird ein Testbild mit einem Satz von Referenzbildern verglichen. Dazu wird das Testbild in eine oder mehrere Testregionen unterteilt. Jede Testregion wird mit einer oder mehrere Referenzregionen in einem oder mehreren der Referenzbilder verglichen. Dabei wird für jede Testregion diejenige Referenzregion identifiziert, die der Testregion am ähnlichsten ist. Anhand der Vergleiche der Testregionen und der zu diesen korrespondierenden Referenzregionen wird dann ein jeweiliger Vergleichswert generiert.
Aufgabe der vorliegenden Erfindung ist es, einen besonders sicheren Einsatz teilautonomer Kl-gestützter Einrichtungen zu ermöglichen.
Diese Aufgabe wird erfindungsgemäß durch die Gegenstände der unabhängigen Patentansprüche gelöst. Mögliche Ausgestaltungen und Weiterbildungen der vorliegenden Erfindung sind in den abhängigen Patentansprüchen, in der Beschreibung und in den Figuren angegeben.
Das erfindungsgemäße Verfahren dient zum automatischen Erkennen, also Detektieren von Szenen, deren korrekte Klassifizierung für ein bereitgestelltes künstliches neuronales Netz schwierig, also herausfordernd oder anspruchsvoll ist. Bei derartigen Szenen kann es sich beispielsweise um in entsprechenden Bildern dargestellte Verkehrsszenen, Umgebungen, Situationen oder dergleichen handeln.
Diese Szenen bzw. die entsprechenden Bilder können für das neuronale Netz beispielsweise deshalb schwierig korrekt zu klassifizieren sein, weil sie außerhalb eines Trainings- oder Expertisebereichs, auch als Anwendungsdomäne (englisch: Operational Domain) bezeichnet, oder außerhalb einer Trainingsverteilung (englisch: Training Distribuition), also einer Verteilung oder eines Spektrums von Szenen bzw. Bildern, die zum Trainieren des neuronalen Netzes verwendet wurden, liegt. Ebenso kann die Szene bzw. das entsprechende Bild zwar an sich innerhalb dieser Domäne oder Verteilung liegen, aber durch sonstige Eigenschaften schwierig korrekt zu klassifizieren sein, sodass es also dennoch tatsächlich oder vermutlich zu einer zumindest teilweisen Fehlklassifikation der Szene bzw. des entsprechenden die jeweilige Szene abbildenden Bildes durch das neuronale Netz kommen kann. Derartige sonstige Eigenschaften können beispielsweise ungewöhnliche Farbkombinationen oder Lichtverhältnisse, Objektverdeckungen und/oder dergleichen mehr sein.
In dem erfindungsgemäßen Verfahren wird ein jeweiliges die jeweilige Szene darstellendes und dem zur Bildverarbeitung, also zum Klassifizieren von Bildern, trainierten neuronalen Netz bereitgestelltes Inputbild mittels dieses neuronalen Netzes verarbeitet. Bei diesem Verarbeiten erzeugt das neuronale Netz jeweils ein zugehöriges Verarbeitungsergebnis. Ein solches Verarbeitungsergebnis kann je nach Implementierung beispielsweise ein Endergebnis der Verarbeitung, also ein letztendlicher Output des neuronalen Netzes, oder ein Zwischenergebnis, das während des Verarbeitens beispielsweise innerhalb des neuronalen Netzes, anfällt, sein oder umfassen. Dies kann beispielsweise abhängig sein von der jeweiligen Aufgabe, für die das neuronale Netz trainiert ist, von dessen Struktur und/oder dergleichen mehr.
Weiter werden in dem erfindungsgemäßen Verfahren jeweils das Inputbild und das zugehörige, also aus dem jeweiligen Inputbild bzw. beim Verarbeiten des jeweiligen Inputbilds durch das neuronale Netz erzeugte, Verarbeitungsergebnis als Input an eine Erkennungseinrichtung bereitgestellt. In dieser Erkennungseinrichtung ist dabei eine Zuordnung, also eine Abbildung, ein Mapping oder eine Assoziierung, von Verarbeitungsergebnissen des oder eines entsprechenden neuronalen Netzes zu Bilddaten, die in der Vergangenheit bei einer entsprechenden Datenverarbeitung durch das neuronale Netz oder durch ein diesem entsprechendes neuronales Netz korrekterweise in diesen Verarbeitungsergebnissen resultiert haben, hinterlegt, also gespeichert oder repräsentiert. Die Zuordnung kann dabei vorgegeben aber insbesondere gelernt sein, wie an anderer Stelle näher erläutert wird.
Die den unterschiedlichen möglichen Verarbeitungsergebnissen zugeordneten Bilddaten können beispielsweise Bildwerte sein oder umfassen, also beispielsweise bestimmte Pixel-, Farb-, Intensitäts- und/oder Helligkeitswerte. Ebenso können die Bilddaten etwa Bildfragmente sein. Die Bilddaten können in der Vergangenheit also zumindest typischerweise, das heißt etwa bei der Verarbeitung entsprechender Trainings- oder Testbilder, die diesen Bilddaten entsprechen oder diese Bilddaten bzw. Bildwerte aufweisen, zu den zugeordneten Verarbeitungsergebnissen geführt haben. Die Zuordnung gilt dabei für korrekte Verarbeitungsergebnisse, also Fälle, in denen das neuronale Netz jeweilige ihm bereitgestellte Eingangsdaten korrekt klassifiziert hat.
Beispielsweise kann ein Verarbeitungsergebnis eines Teils eines Bildes, das eine Verkehrs- oder Umgebungsszene zeigt, „Himmel“ und ein weiteres Verarbeitungsergebnis für einen anderen Bildteil „Straße“ sein. Dem ersten Verarbeitungsergebnis kann als Bilddaten, also als typischerweise zugrundeliegender Input, beispielsweise „blau“ und/oder „weiß“ zugeordnet sein. Dem zweiten Verarbeitungsergebnis kann hingegen beispielsweise an „grau“ zugeordnet sein. Die Zuordnung kann jedoch nicht nur derartige Farben oder Farbwerte als Bilddaten betreffen, sondern beispielsweise diese auch mit einer bestimmten Position in dem jeweiligen Bild, beispielsweise einer obere Bildhälfte für das erste Verarbeitungsergebnis und eine untere Bildhälfte für das zweite Verarbeitungsergebnis, und/oder dergleichen mehr umfassen oder betreffen. Dies kann beispielsweise abhängig sein von einem jeweiligen konkreten Anwendungsfall oder einer jeweiligen konkreten Implementierung.
Weiter werden in dem erfindungsgemäßen Verfahren durch die Erkennungseinrichtung ausgehend von dem jeweiligen Verarbeitungsergebnis zugehörige jeweils anhand oder gemäß der hinterlegten Zuordnung rekonstruierte, also erzeugte oder bestimmte, Bilddaten mit dem jeweiligen Inputbild bzw. einem entsprechenden Bildbereich oder Pixel des jeweiligen Inputbildes, aus dem das jeweilige Verarbeitungsergebnissen durch das neuronale Netz erzeugt wurde, verglichen. Wird dabei eine Abweichung zwischen den rekonstruierten Bilddaten und dem Inputbild erkannt, so wird - zumindest, wenn diese Abweichung oder Differenz größer als ein vorgegebener Schwellenwert ist und/oder ein vorgegebenes Kriterium erfüllt - die jeweilige Szene bzw. das jeweilige Inputbild als schwierig korrekt zu klassifizierende Szene bzw. als schwierig korrekt zu klassifizierendes Bild erkannt, also eingestuft.
Mit anderen Worten verarbeitet also das für einen bestimmten, von einer jeweiligen Anwendung abhängigen Zweck trainierte neuronale Netz das jeweilige, ihm als Input zugeführte Bild, wobei sich automatisch das jeweilige Verarbeitungsergebnisses als Output oder Zwischenergebnis ergibt. Die Erkennungseinrichtung vergleicht dann effektiv diesen Output oder dieses Zwischenergebnis bzw. die daraus oder darauf basierend bestimmten oder erzeugten rekonstruierten Bilddaten mit dem ursprünglichen Input, also dem ursprünglichen dem neuronalen Netz zugeführten Bild. Somit wird das Erkennen von tatsächlich für das jeweilige konkrete neuronale Netz schwierig bzw. nicht korrekt zu klassifizierenden Szenen oder Inputbildern basierend auf dem jeweiligen tatsächlichen angefallenen Verarbeitungsergebnis eben dieses neuronalen Netzes selbst durchgeführt. Das Erkennen erfolgt insbesondere also zum Beispiel nicht nur durch einen a priori Vergleich des jeweiligen Inputbildes mit einem zum Trainieren des neuronalen Netzes verwendeten Trainingsdatensatz ohne direkte Involvierung des neuronalen Netzes oder einer durch dieses durchgeführten Datenverarbeitung. Daher erfolgt in dem vorliegenden Verfahren die Erkennung sozusagen aus Sicht des jeweiligen neuronalen Netzes selbst. Die Erkennung, auch als OOD-Erkennung oder -Detektion (englisch: „Out-Of-Domain“ oder „Out-Of-Distribution“) bezeichnet, erfolgt hier also unter Berücksichtigung von tatsächlichen Fähigkeiten bzw. einer sich aus dem Training des neuronalen Netzes ergebenden effektiven Anwendungsdomäne des neuronalen Netzes. Dies hat den Vorteil, dass zum einen der Trainingsdaten Satz nicht als Referenz für den Vergleich vorgehalten werden muss und zum anderen die Anwendungsdomäne, also die Verteilung oder das Spektrum von Daten, für die das neuronale Netz kompetent ist, also korrekte Entscheidungen treffen bzw. korrekte Klassifikationen erzeugen oder ausgeben kann, nicht manuell vorgegeben oder definiert werden muss.
Damit ist vorteilhafter Weise die Erkennung schwierig korrekt zu klassifizierender Szenen nicht beispielsweise auf neue oder drastisch von dem Trainingsdatensatz verschiedene Szenen oder Inputbilder beschränkt. Vielmehr können auch schwierig korrekt zu klassifizierende Szenen oder Bilder erkannt werden, die augenscheinlich innerhalb der Anwendungsdomäne des neuronalen Netzes liegen sollten, von diesem aber in der Praxis, beispielsweise aufgrund einer oder mehrerer der genannten sonstigen Eigenschaften, dennoch zumindest teilweise falsch klassifiziert werden. Zudem kann gegebenenfalls der effektive Anwendungsbereich des neuronalen Netzes gemäß dessen tatsächlichen Fähigkeiten erweitert werden. So bedeutet beispielsweise allein die Tatsache, dass ein bestimmtes Inputbild formal außerhalb der Anwendungsdomäne des neuronalen Netzes liegt, nicht automatisch, dass das konkrete neuronale Netz bei dem Verarbeiten, also Klassifizieren dieses Inputbildes tatsächlich einen Fehler macht.
Damit kann die vorliegende Erfindung insbesondere in sicherheitskritischen Umgebungen oder Anwendungen, wie beispielsweise für das autonome Fahren, eingesetzt werden. Die vorliegende Erfindung beruht auf der Erkenntnis, dass es - insbesondere in derartigen Anwendungen - letztlich entscheidend ist, ob das neuronale Netz die jeweilige Szene korrekt versteht bzw. klassifiziert, und zwar unabhängig davon, ob das jeweilige Inputbild formal innerhalb oder außerhalb der Anwendungsdomäne des neuronalen Netzes liegt.
Mit anderen Worten wird hier also die Beurteilung, ob das jeweilige Inputbild bzw. die jeweilige Szene innerhalb oder außerhalb der Anwendungsdomäne, also des Kompetenzbereiches des neuronalen Netzes liegt, diesem selbst überlassen bzw. nicht auf a priori definierte formale Kriterien, sondern auf ein tatsächliches reales Verarbeitungsergebnis gefußt.
Ist das neuronale Netz beispielsweise zum Klassifizieren von Bildern trainiert, die Verkehrsszenen auf Autobahnen darstellen, so kann das neuronale Netz ein Inputbild, das eine Verkehrsszene auf einer autobahnähnlichen Straße zeigt, gegebenenfalls korrekt klassifizieren, obwohl dieses Bild formal außerhalb der Trainings- oder Anwendungsdomäne des neuronalen Netzes liegt. Ebenso kann das neuronale Netz bei dem Klassifizieren eines Bildes, das tatsächlich eine Verkehrsszene auf einer Autobahn zeigt, einen Fehler machen, also eine Fehlklassifikation vornehmen. In beiden Fällen kann das jeweilige Inputbild bzw. die jeweilige Szene mittels des erfindungsgemäßen Verfahrens korrekt als im ersten Fall einfach oder korrekt klassifizierbar und im zweiten Fall als schwierig klassifizierbar erkannt werden. Inputbilder, die zu einem korrekten bzw. bezüglich einer bestimmungsgemäßen Funktionsweise des neuronalen Netzes regulären Verarbeitungsergebnis führen, werden hier also nicht als OOD eingestuft, während Inputbilder, die zu einem inkorrekten bzw. ungewöhnlichen oder irregulären Verarbeitungsergebnis führen, als OOD eingestuft oder erkannt werden.
Das erfindungsgemäße Verfahren kann beispielsweise für neuronale Netze angewendet werden, die für die semantische Segmentierung von Bildern trainiert sind, ist jedoch nicht auf diesen Anwendungsfall beschränkt. Letztlich kann das erfindungsgemäße Verfahren für neuronale Netze angewendet werden, die für unterschiedlichste konkrete Aufgaben oder Ziele trainiert sind, solange diese Aufgaben oder Ziele bzw. die neuronalen Netze auf räumlichen Merkmalen visueller Daten, insbesondere also von Bildern, basieren bzw. räumliche Merkmale dieser visuellen Daten verwenden.
Durch das erfindungsgemäße Verfahren wird eine besonders robuste und zuverlässige Erkennung von tatsächlichen oder möglichen Fehlklassifikationen, also Fehlern des jeweiligen neuronalen Netzes ermöglicht. Dies erlaubt es wiederum auch nicht stets hundertprozentig korrekt entscheidende oder nur für eine begrenzte Anwendungsdomäne geeignete neuronale Netze in der Praxis, insbesondere auch in sicherheitsrelevanten Anwendungen, einzusetzen. Dies ist der Fall, da durch eine robustere und zuverlässigere Erkennung schwierig korrekt zu klassifizierender Szenen entsprechend zuverlässig angepasst reagiert werden kann, sodass eine Fehlentscheidung oder Fehlklassifikation des jeweiligen neuronalen Netzes nicht zu Problemen oder fehlerhaften nachfolgenden Entscheidungen oder Steuermaßnahmen führt. Beispielsweise kann bei der Erkennung einer schwer zu klassifizierenden Szene, also eines tatsächlich oder vermutlich zumindest teilweise falsch klassifizierten Inputbildes, die Übernahme der Steuerung einer ansonsten durch das neuronale Netz oder basierend auf den Verarbeitungsergebnissen des neuronalen Netzes autonom oder automatisch gesteuerten Funktion durch eine menschliche Bedienperson angefordert werden. Letztere kann bei einer Anwendung der vorliegenden Erfindung in einem Kraftfahrzeug beispielsweise ein Fahrzeuginsasse oder ein fahrzeugexterner Teleoperator sein.
In einer möglichen Ausgestaltung der vorliegenden Erfindung wird aus dem jeweiligen Verarbeitungsergebnis als die rekonstruierten Bilddaten oder als Teil davon ein rekonstruiertes Bild, hier auch als Rekonstruktionsbild bezeichnet, erzeugt, also rekonstruiert. Dieses rekonstruierte Bild wird dabei derart erzeugt, dass es die gleichen Dimensionen hat wie das jeweilige Inputbild. Bei dem Vergleichen wird jeweils dieses rekonstruierte Bild mit dem Inputbild verglichen. Mit anderen Worten umfassen also die rekonstruierten Bilddaten jeweils ein aus dem Verarbeitungsergebnis anhand der Zuordnung als die oder als Teil der rekonstruierten Bilddaten erzeugtes Rekonstruktionsbild. Da dieses Rekonstruktionsbild und das Inputbild hier von der gleichen Datenart sind und die gleichen Dimensionen, also die gleiche Größe aufweisen, können Sie besonders einfach, konsistent, genau und zuverlässig miteinander verglichen werden.
Dazu können für verschiedene vorgegebene Vergleichs- oder Analysemethoden angewendet werden. Beispielsweise kann der Vergleich pixel- oder bereichsweise durchgeführt werden, wobei jeweilige Bildwerte miteinander verglichen werden können. Ebenso können weitere vorgegebene Eigenschaften des Rekonstruktionsbildes und des Inputbildes bestimmt und miteinander verglichen werden, wie etwa ein Histogramm, eine Farbverteilung, ein Kontrastverhältnis, ein Vorhandensein oder ein Verhältnis von zueinander oder zu einem Bildrand parallelen, senkrechten und/oder schrägstehenden Linien, Konturen und/oder dergleichen mehr.
Ein ungewöhnliches, insbesondere fehlerhaftes Verarbeitungsergebnis wird typischerweise zu einer inkorrekten Bildrekonstruktion, also zu einem von dem jeweiligen Inputbild unterschiedlichen Rekonstruktionsbild führen. Dies kann dann in der hier beschriebenen Weise erkannt werden kann.
Das Erzeugen des Rekonstruktionsbildes und das Vergleichen des Rekonstruktionsbildes mit dem Inputbild kann durch unterschiedliche Einrichtungen oder Module der Erkennungseinrichtung durchgeführt werden. Dazu kann die Erkennungseinrichtung also beispielsweise ein entsprechendes Rekonstruktionsmodul, das zum Erzeugen der rekonstruierten Bilder aus den Verarbeitungsergebnissen eingerichtet ist, und ein Vergleichsmodul, das zum Vergleichen der rekonstruierten Bilder mit den Inputbildern zum Erkennen von Abweichungen eingerichtet ist, aufweisen.
In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung umfasst die Erkennungseinrichtung ein künstliches neuronales Rekonstruktionsnetz. Bei diesem Rekonstruktionsnetz handelt es sich um ein künstliches neuronales Netz, das auch als Rekonstruktionsmodell bezeichnet werden kann. Dieses Rekonstruktionsnetz hat anhand von bei korrekten Klassifizierungen durch das zum Verarbeiten der Inputbildern vorgesehene neuronale Netz angefallenen Verarbeitungsergebnissen und den zugehörigen Inputbildern die genannte Zuordnung zu den entsprechenden Bilddaten gelernt. Mittels dieses entsprechend trainierten Rekonstruktionsnetzes wird für das Vergleichen zumindest als die rekonstruierten Bilddaten oder als Teil davon ein rekonstruiertes Bild erzeugt, also rekonstruiert. Dieses rekonstruierte Bild kann insbesondere das auch an anderer Stelle genannte Rekonstruktionsbild sein. Das hier vorgesehene Rekonstruktionsnetz kann also dem an anderer Stelle genannten Rekonstruktionsmodul entsprechen oder ein Teil davon sein.
Das Rekonstruktionsnetz kann im Rahmen seines Trainings erfolgreiche Vorhersagen, also korrekte Klassifizierungen des neuronalen Netzes aus dem Verarbeiten der Inputbilder bzw. entsprechender Trainings- oder Testdaten beobachten bzw. verarbeiten und dadurch die Zuordnung, also eine Abbildung zwischen erfolgreichen bzw. korrekten Verarbeitungsergebnissen oder Outputs des neuronalen Netzes und entsprechenden Inputs, die zu diesen Verarbeitungsergebnissen oder Outputs geführt haben, lernen. Das Rekonstruktionsmodell lernt mit anderen Worten also von oder aus den beim Verarbeiten vorgegebener Daten durch das neuronale Netz anfallenden Verarbeitungsergebnissen wie der jeweilige zugehörige Input, also das zugrundeliegende Inputbild für ein bestimmtes Verarbeitungsergebnis, aussehen sollte.
In der hier vorgeschlagenen Ausgestaltung der vorliegenden Erfindung ist die Zuordnung also nicht strikt vorgegeben oder definiert, sondern durch das Rekonstruktionsnetz gelernt bzw. durch dessen innere Struktur bzw. Parameter gegeben oder repräsentiert. Damit muss die entsprechende Zuordnung also nicht manuell definiert werden, was auf besonders einfache Weise eine zuverlässige und verallgemeinerte Zuordnung erlaubt oder ermöglicht und entsprechenden manuellen Definitionsaufwand einsparen kann.
In einer möglichen Weiterbildung ist bzw. wird das Rekonstruktionsnetz in einem GAN-System trainiert. Mit anderen Worten wird also ein als „generative adversariale Netzwerke“ bezeichnetes System aus zwei künstlichen neuronalen Netzen verwendet, um das Rekonstruktionsnetz zu trainieren bzw. zu erzeugen. Dieses Trainieren oder Erzeugen des Rekonstruktionsnetzes kann Teil des erfindungsgemäßen Verfahrens oder Teil eines Verfahrens zum Herstellen der Erkennungseinrichtung bzw. einer diese umfassenden Assistenzeinrichtung sein. Ein solches Herstellungsverfahren kann seinerseits ein eigener Aspekt der vorliegenden Erfindung sein. Durch das Trainieren oder Erzeugen des Rekonstruktionsnetzes mittels eines GAN-Systems kann das Rekonstruktionsnetz besonders effektiv trainiert werden und somit in der Anwendung des erfindungsgemäßen Verfahrens besonders effektiv die genannten Rekonstruktionsbilder erzeugen. Diese Rekonstruktionsbilder können dadurch beispielsweise besonders realistisch sein, also besonders genau realen, etwa mittels einer Kamera aufgenommenen, Inputbildern entsprechen. Dadurch kann die Erkennung schwer zu klassifizierender Szenen basierend auf dem Vergleich der Rekonstruktionsbilder mit den zugehörigen Inputbildern besonders robust und zuverlässig sein, da das in der hier vorgeschlagenen Weise trainierte oder erzeugte Rekonstruktionsnetz beispielsweise im Vergleich zu anderen Modellen oder Methoden besonders wenige unrealistische Artefakte in den Rekonstruktionsbildern erzeugen kann.
In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung wird, falls das neuronale Netz zur semantischen Segmentierung trainiert ist, ein Endergebnis des neuronalen Netzes als das jeweilige Verarbeitungsergebnis verwendet. Andernfalls wird eine nach einem eingangsseitigen Merkmalsextraktionsteil des neuronalen Netzes und vor einem ausgangsseitigen semantischen Klassifizierungsteil des neuronalen Netzes vorliegende räumliche Merkmalskarte, also eine Merkmalskarte räumlicher Merkmale des jeweiligen Inputbildes, als das jeweilige Verarbeitungsergebnis verwendet.
Das Endergebnis ist hier also ein an einem Ausgang, beispielsweise einer ausgangsseitigen Klassifikationsschicht, des neuronalen Netzes vorliegendes oder abgreifbares Ergebnis, hier nämlich die semantische Segmentierung des jeweiligen Inputbildes selbst. Diese kann gegebenenfalls direkt als das jeweilige Verarbeitungsergebnis oder als Teil davon verwendet werden.
Für andere Anwendungen, falls das neuronale Netz also beispielsweise für die Objektdetektion oder dergleichen trainiert ist, kann hingegen die räumliche Merkmalskarte (englisch: spatial feature map) aus einem mittleren, also entlang eines Datenflusses bei der Verarbeitung von Inputbildern durch das neuronale Netz zwischen dessen Eingang und dessen Ausgang liegenden, Bereich ausgeleitet und als das jeweilige Verarbeitungsergebnis oder als Teil davon verwendet werden. Beispielsweise kann es sich dabei um eine Ausgabe einer entlang des Datenflusses, also einer Datenverarbeitungsrichtung innerhalb des neuronalen Netzes, letzten, also ausgangsseitigen faltenden Schicht vor einer nachfolgenden vollständig verbundenen Klassifizierungsschicht handeln. Diese räumliche Merkmalskarte kann also insbesondere nach einem Bereich oder Abschnitt, also nach denjenigen Schichten des neuronalen Netzes vorliegen, der bzw. die komplett oder nahezu vollständig auf räumlichen Merkmalen basieren bzw. räumliche Merkmale des jeweiligen Inputbildes verarbeiten bzw. extrahieren. Die räumliche Merkmalskarte kann also abstrakte oder hochlevelige, das heißt auf einem relativ abstrakten oder hohen Betrachtungsniveau vorliegende, räumliche Merkmale (englisch: high-level spatial features) angeben oder definieren.
Je nach Anwendungsfall oder Implementierung können dabei auch jeweilige Begrenzungsrahmen (englisch: bounding boxes), die jeweils ein entsprechendes räumliches Merkmal oder ein erkanntes Objekt in dem jeweiligen Inputbild umgeben oder markieren können, als Teil des Verarbeitungsergebnisses verwendet werden.
Auf Basis der hier zur Verwendung zum Bestimmen oder Erzeugen der rekonstruierten Bilddaten vorgesehenen Verarbeitungsergebnisse können diese besonders effektiv und robust bestimmt oder erzeugt werden und somit letztlich die Erkennung der schwierig korrekt zu klassifizierenden Szenen besonders effektiv und robust durchgeführt werden.
In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung wird durch die Zuordnung mehreren unterschiedlichen semantischen Klassen, für die das neuronale Netz trainiert ist, jeweils ein durchschnittlicher Farbwert zugeordnet. Dieser durchschnittliche Farbwert bildet dann die entsprechenden Bilddaten oder ist zumindest ein Teil der entsprechenden Bilddaten. Bei dem Vergleichen kann dann anhand der durch das Verarbeitungsergebnis gegebenen, von dem neuronalen Netz vorgenommenen Klassifikation unter Verwendung der Zuordnung der zugehörige durchschnittliche Farbwert bestimmt werden. Dieser bestimmte durchschnittliche Farbwert kann dann mit dem korrespondierenden tatsächlichen Farbwert in dem jeweiligen Inputbild verglichen werden, beispielsweise pixel- oder bereichsweise.
Beispielsweise kann der durchschnittliche Farbwert der Klasse „Himmel“, also derjenigen Pixel oder Bildbereiche, denen durch das neuronale Netz die Klassifikation als Himmel zugeordnet wurde, ein Blauton sein. Analog kann der semantischen Klasse „Straße“ als durchschnittlicher Farbwert ein Grauton zugeordnet sein. Beispielsweise kann ein bestimmtes Inputbild eine Verkehrsszene darstellen, in der an einer Horizontlinie ein Stück Himmel und ein Stück Straße aneinanderstoßen, wobei sich auf der Straße ein Verkehrsteilnehmer befindet, beispielsweise ein farbig oder bunt gekleideter Fußgänger oder ein, insbesondere weder grau noch blau lackiertes, Kraftfahrzeug. Dieser Verkehrsteilnehmer kann dann einen Teil der Straße und/oder einen Teil des Himmels verdecken. Hat in einem Fehlerfall das neuronale Netzwerk den tatsächlich von dem Verkehrsteilnehmer eingenommenen Bildbereich beispielsweise als Straße oder als Himmel klassifiziert, also den Verkehrsteilnehmer effektiv übersehen, so ergibt sich anhand der Zuordnung für die tatsächlich von dem Verkehrsteilnehmer eingenommenen Bildbereiche ein entsprechender durchschnittlicher Farbwert von grau oder blau. Der Vergleich mit den Farbwerten des entsprechenden von dem Verkehrsteilnehmer in dem Inputbild eingenommenen Bildbereiches ergibt dann eine signifikante Abweichung und deckt somit die Fehlklassifizierung durch das neuronale Netz auf.
Die hier beschriebene Methodik kann eine besonders einfache, alternative Methodik darstellen, die beispielsweise kein separates neuronales Netz für die an anderer Stelle genannte Bildrekonstruktion benötigt. Die hier vorgeschlagene farbwertbasierte Erkennung von Fehlern bzw. schwierig korrekt zu klassifizierenden Szenen oder Inputbildern kann ebenso mit den anderen beschriebenen Methoden oder Ausgestaltungen der vorliegenden Erfindung kombiniert werden. Beispielsweise können mehrere Methoden angewendet werden, um eine größere Verlässlichkeit, eine Plausibilisierung oder dergleichen zu erhalten.
In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung wird die jeweilige Szene bzw. das jeweilige Inputbild dann, insbesondere nur dann, als schwierig korrekt zu klassifizieren erkannt, wenn die Abweichung zwischen den rekonstruierten Bilddaten und dem Inputbild wenigstens einen vorgegebenen Schwellenwert erreicht bzw. ein vorgegebenes Kriterium erfüllt. Mit anderen Worten ist für den Vergleich bzw. die Erkennung also ein solcher Schwellenwert oder ein solches Kriterium vorgegeben. Dies kann beispielsweise sein oder umfassen, dass wenigstens eine vorgegebene Anzahl oder ein vorgegebener Anteil von Pixeln abweicht und/oder die Abweichung wenigstens eine vorgegebene Größe oder einen vorgegebenen Betrag aufweist. Mit anderen Worten kann also beispielsweise vorgegeben sein, dass eine Abweichung von Bild- oder Pixelwerten, wie etwa eines Farb-, Intensitäts-, Helligkeits- und/oder RAW-Werts, entsprechend signifikant ist.
Durch den hier vorgeschlagenen Schwellenwert bzw. das entsprechende Kriterium kann effektiv ein Grad oder eine Schwere der Fehlklassifikation berücksichtigt werden. Dadurch kann ein robusteres und praktikableres Verhalten eines Systems oder einer Einrichtung, die das neuronale Netz umfasst oder verwendet, erreicht werden. Beispielsweise kann es für eine jeweilige unter Verwendung des neuronalen Netzes zumindest teilweise automatisierte oder autonom auszuführende Aufgabe effektiv irrelevant sein, wenn ein einzelner Pixel falsch klassifiziert wird, insbesondere wenn dadurch kein in einem größeren Bereich dargestelltes Objekt vollständig übersehen oder fehlklassifiziert wird. Somit können also beispielsweise letztlich unnötige bei Erkennung einer schwierig korrekt zu klassifizierenden Szene vorgesehene Maßnahmen, wie beispielsweise die Ausgabe eines Warnsignals oder einer Anforderung für eine Kontroll- oder Steuerungsübernahme durch eine menschliche Bedienperson, vermieden werden. Dies kann den Einsatz entsprechender Systeme oder Verfahren praktikabler machen.
In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung wird die jeweilige Szene bzw. des jeweilige Inputbild dann, insbesondere nur dann, als schwierig korrekt zu klassifizieren erkannt, wenn die Abweichung zwischen den rekonstruierten Bilddaten und dem Inputbild für einen zusammenhängenden, mehrere Pixel umfassenden Bereich von wenigstens einer vorgegebenen Größe erkannt wird bzw. gegeben ist. Mit anderen Worten führt also eine Abweichung oder Fehlklassifikation eines einzelnen isolierten Pixels nicht dazu, dass die Szene oder das Inputbild insgesamt als schwierig korrekt zu klassifizieren erkannt wird. Vielmehr dient die für eine derartige Erkennung gemäß der hier vorgeschlagenen Ausgestaltung der vorliegenden Erfindung notwendige minimale Größe des Bereiches, also eines von dem neuronalen Netz falsch klassifizierten Fehlerbereiches, als Schwellenwert oder Filter. Damit kann eine Erkennung einer Szene oder eines Inputbildes als schwierig korrekt zu klassifizieren sowie eine Auslösung entsprechender für diesen Fall vorgesehener Maßnahmen auf entsprechend schwerwiegende bzw. in der Praxis voraussichtlich hinsichtlich der korrekten Ausführung einer das neuronale Netz involvierenden Funktion relevante Fälle beschränkt werden. So kann beispielsweise eine Fehlklassifikation eines einzelnen isolierten Pixels effektiv ignoriert werden. Dies ist in der Praxis sinnvoll, da einzelne Pixel typischerweise ohnehin nicht genug Informationen liefern können, um ein ausgedehntes Objekt zuverlässig identifizieren zu können. Damit kann die Anwendung entsprechender automatisierter oder teilautomatisierter Systeme und Einrichtungen praktikabler gemacht werden.
Ein weiterer Aspekt der vorliegenden Erfindung ist eine Assistenzeinrichtung, insbesondere für ein Kraftfahrzeug. Die erfindungsgemäße Assistenzeinrichtung weist eine Erkennungseinrichtung auf, in der eine Zuordnung von Verarbeitungsergebnissen eines zur Bildverarbeitung trainierten künstlichen neuronalen Netzes zu Bilddaten hinterlegt ist. Dabei handelt es sich um Bilddaten, die in der Vergangenheit bei einer entsprechenden Daten- oder Bildverarbeitung durch das neuronale Netz oder ein entsprechendes neuronales Netz korrekterweise in den jeweiligen Verarbeitungsergebnissen resultiert haben. Die erfindungsgemäße Assistenzeinrichtung ist dabei zum, insbesondere automatischen oder teilautomatischen, Durchführen zumindest einer Variante oder Ausführungsform des erfindungsgemäßen Verfahrens eingerichtet. Die erfindungsgemäße Assistenzeinrichtung kann also insbesondere die im Zusammenhang mit dem erfindungsgemäßen Verfahren genannte Assistenzeinrichtung bzw. das dort genannte System sein oder umfassen oder ein Teil davon sein. Dementsprechend kann auch die als Teil der erfindungsgemäßen Assistenzeinrichtung vorgesehene Erkennungseinrichtung die im Zusammenhang mit dem erfindungsgemäßen Verfahren genannte Erkennungseinrichtung sein bzw. dieser entsprechen.
Die erfindungsgemäße Assistenzeinrichtung kann auch das im Zusammenhang mit dem erfindungsgemäßen Verfahren genannte neuronale Netz umfassen. Ebenso kann die erfindungsgemäße Assistenzeinrichtung beispielsweise eine Eingangsschnittstelle zum Erfassen der Verarbeitungsergebnisse des neuronalen Netzes, eine Ausgangsschnittstelle zum Ausgeben eines entsprechenden Erkennungsergebnisses oder -signals sowie Datenverarbeitungsmittel umfassen. So kann die Assistenzeinrichtung beispielsweise einen computerlesbaren Datenspeicher und eine damit verbundene Prozessoreinrichtung, beispielsweise einen Mikrochip, Mikroprozessor oder Mikrocontroller oder dergleichen, aufweisen. In dem Datenspeicher kann dann ein das erfindungsgemäße Verfahren repräsentierendes, also kodierendes oder implementierendes Computerprogramm gespeichert sein, das mittels der Prozessoreinrichtung ausführbar ist, um die Durchführung oder Ausführung des entsprechenden Verfahrens zu bewirken. So kann beispielsweise die Erkennungseinrichtung als entsprechendes Programmodul dieses Computerprogramms implementiert sein. Ebenso kann in dem Datenspeicher beispielsweise das neuronale Netz gespeichert sein. Das erfindungsgemäße Assistenzsystem kann auch zum Erzeugen bzw. Ausgeben eines entsprechenden Steuer- oder Hinweissignals im Falle einer Erkennung einer schwierig korrekt zu klassifizierenden Szene bzw. eines entsprechenden Inputbildes eingerichtet sein.
Ein weiterer Aspekt der vorliegenden Erfindung ist ein Kraftfahrzeug, das eine erfindungsgemäße Assistenzeinrichtung aufweist. Diese Assistenzeinrichtung bzw. das Kraftfahrzeug kann insbesondere dazu eingerichtet sein, bei einem Erkennen einer schwierig korrekt zu klassifizierenden Szene bzw. eines entsprechenden Inputbildes in einem autonomen oder teilautonomen Betrieb des Kraftfahrzeugs automatisch ein Steuersignalen zum Anfordern einer Übernahme einer Fahrzeugsteuerung durch eine Bedienperson auszugeben. Bei dieser Bedienperson kann es sich beispielsweise um einen Fahrzeuginsassen des Kraftfahrzeugs oder einen fahrzeugextern lokalisierten Teleoperator handeln. Das erfindungsgemäße Kraftfahrzeug kann insbesondere das im Zusammenhang mit der erfindungsgemäßen Assistenzeinrichtung und/oder im Zusammenhang mit dem erfindungsgemäßen Verfahren genannte Kraftfahrzeug sein.
Weitere Merkmale der Erfindung können sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung ergeben. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung und/oder in den Figuren allein gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen.
Die Zeichnung zeigt in:

1 ein Ablaufschema zum Illustrieren eines Trainingsverfahrens für eine Erkennungseinrichtung (12, 30) zum Erkennen schwierig korrekt zu klassifizierender Szenen;
2 ein Ablaufschema zum Illustrieren einer Anwendung der Erkennungseinrichtung; und
3 eine schematische Darstellung eines Kraftfahrzeugs mit einer solchen Erkennungseinrichtung.

In den Figuren sind gleiche und funktionsgleiche Elemente mit den gleichen Bezugszeichen versehen.
In vielen Anwendungsbereichen, in denen künstliche neuronale Netzwerke zum Einsatz kommen, ist es von besonderem Interesse, Fälle, also zu verarbeitende Eingangsdaten zu erkennen, die für das jeweilige neuronale Netzwerk neu oder aus anderen Gründen zu anspruchsvoll sind, von dem jeweiligen neuronalen Netzwerk also nicht korrekt klassifiziert werden können. Im Folgenden wird als Beispiel für einen solchen Anwendungsfall das autonome Fahren verwendet, die beschriebenen Abläufe und Einrichtungen sind jedoch ebenso für andere Anwendungen verwendbar bzw. auf andere Anwendungsfälle übertragbar.
1 zeigt dazu beispielhaft ein Trainingsschema 10 zum Illustrieren eines Trainingsverfahrens für eine Erkennungseinrichtung zum Erkennen schwierig korrekt zu klassifizierender Szenen. Konkret wird hier ein Rekonstruktionsmodell 12 dazu trainiert, aus Verarbeitungsergebnissen eines zur Bildverarbeitung trainierten neuronalen Netzes 14 ein den jeweiligen Verarbeitungsergebnissen zugrundeliegendes Bild 16 zu rekonstruieren. Das neuronale Netz 14 umfasst hier beispielhaft mehrere faltende Schichten 18 und wenigstens eine diesen nachgeordnete ausgangsseitige Klassifizierungsschicht 22. Bei dem Verarbeiten des jeweiligen Bildes 16 durch die faltenden Schichten 18 ergibt sich nach diesen aber noch vor der wenigstens einen Klassifizierungsschicht 22 als Verarbeitungsergebnis eine räumliche Merkmalskarte 20.
Diese räumlichen Merkmalskarten 20, die beim Verarbeiten unterschiedlicher Bilder 16 anfallen, können als Trainingsdaten dem Rekonstruktionsmodell 12 zugeführt werden. Für das Training des Rekonstruktionsmodells 12 können diese Trainingsdaten dabei annotiert sein, beispielsweise mit korrekten Labels, also Klassifikationen, Objekte lokalisieren Begrenzungsrahmen und/oder dergleichen mehr.
Bei der weiteren Datenverarbeitung innerhalb des neuronalen Netzes 14 ergibt sich als dessen letztendlicher Output eine jeweilige Klassifikation 24, also eine Prädiktion für das jeweilige Bild 16. Je nach Ausgestaltung oder Implementierung des neuronalen Netzes 14 kann diese Klassifikation 24 zusätzlich oder alternativ zu der räumlichen Merkmalskarte 20 dem Rekonstruktionsmodell 12 als Trainingsdaten oder als Teil der Trainingsdaten zugeführt werden. Die Klassifikation 24 kann beispielsweise zum Trainieren des Rekonstruktionsmodells 12 verwendet werden, wenn das neuronale Netz 14 zum semantischen Segmentieren von Bildern 16 trainiert ist, es sich bei der Klassifikation 24 also um eine semantische Segmentierung des jeweiligen Bildes 16 handelt. Das Rekonstruktionsmodell 12 wird hier also anhand tatsächlicher Verarbeitungsergebnisse des jeweiligen konkreten neuronalen Netzes 14 trainiert.
Nachdem das Rekonstruktionsmodell 12 trainiert ist, kann es als Teil einer Erkennungseinrichtung zum Erkennen von für das neuronale Netze 14 schwierig korrekt zu klassifizierenden Bildern 16 bzw. entsprechenden in diesen Bildern 16 dargestellten Szenen verwendet werden. Für das neuronale Netz 14 schwierig korrekt zu klassifizierende Bilder oder Szenen können sich dadurch auszeichnen, dass das neuronale Netz 14 beispielsweise zumindest einige räumliche Merkmale des jeweiligen Bildes 16 bzw. der darin abgebildeten oder dargestellten Szene nicht oder fälschlich beachtet, versteht oder klassifiziert. Für das neuronale Netz 14 schwierig korrekt zu klassifizierende Bilder 16 können also zu zumindest teilweise oder bereichsweise inkorrekten Klassifikationen 24 durch das neuronale Netz 14 führen bzw. geführt haben.
2 zeigt beispielhaft ein Anwendungsschema 26 zum Illustrieren einer Anwendung einer entsprechenden Erkennungseinrichtung. Zur Anwendungs- oder Inferenzzeit Verfahrenszeit wird hier ebenfalls ein zu verarbeitendes Bild 16 bereitgestellt. Dieses Bild 16 wird dem neuronalen Netz 14 als Input bereitgestellt. Bei dem Verarbeiten des Bildes 16 erzeugt das neuronale Netz 14 dann wie beschrieben zumindest ein Verarbeitungsergebnis. Dieses Verarbeitungsergebnis wird dem Rekonstruktionsmodell 12 zugeführt, das darauf basierend rekonstruierte Bilddaten 28 bestimmt oder erzeugt.
Diese rekonstruierten Bilddaten 28 basierend auf einem tatsächlichen der neuronalen Netzes 14 von dem jeweiligen Bild 16 oder repräsentieren ein solches tatsächliches Verständnis, also eine Interpretation des jeweiligen Bildes 16 durch das neuronale Netz 14.
Die rekonstruierten Bilddaten 28 und das jeweilige Bild 16 werden einem Vergleichsmodul 30 zugeführt. Dieses Vergleichsmodul 30 kann gemeinsam mit dem Rekonstruktionsmodell 12 die genannte Erkennungseinrichtung bilden oder Teil dieser Erkennungseinrichtung sein. Das Vergleichsmodul 30 vergleicht die rekonstruierten Bilddaten 28 und das jeweilige Bild 16 miteinander und gibt eine entsprechende Bewertung 32 aus. Dabei kann es sich beispielsweise um eine Angabe oder einen Wert handeln, der eine Abweichung oder eine Gleichheit zwischen den rekonstruierten Bilddaten 28 und dem diesen zugrunde liegenden Bild 16 angibt oder beschreibt.
In diesem Verfahren wird also auf Grundlage des tatsächlichen Outputs oder Verarbeitungsergebnisses des neuronalen Netzes 14 bewertet oder bestimmt, ob der jeweilige Input, hier also das jeweilige Bild 16, neu oder anspruchsvoll, also für das neuronale Netz 14 schwierig korrekt zu klassifizieren ist bzw. war, also außerhalb einer Anwendungsdomäne oder einer Datenverteilung, für die das neuronale Netz 14 kompetent ist, liegt oder nicht. Im Gegensatz zu herkömmlichen Ansätzen basiert also die entsprechende Erkennung, also die entsprechende Bewertung 32 nicht nur auf vor dem tatsächlichen Verarbeiten des Bildes 16 durch das neuronale Netz 14 vorliegenden oder verfügbaren Daten, wie etwa dem Bild 16 selbst oder einem zum Trainieren des neuronalen Netzes 14 verwendeten Trainingsdatensatz.
In Versuchen hat sich gezeigt, dass im Vergleich zu herkömmlichen Ansätzen mit der hier beschriebenen Methodik eine verbesserte, also genauere und zuverlässigere Erkennung von Fehlklassifikationen des neuronalen Netzes 14 erreicht werden kann.
Zur weiteren Veranschaulichung zeigt 3 eine schematische Darstellung eines Kraftfahrzeugs 34, das für das beschriebene Verfahren eingerichtet, also mit einer entsprechenden Erkennungseinrichtung ausgestattet ist. Das Kraftfahrzeug 34 weist hier eine Umgebungssensorik 36 auf. Diese Umgebungssensorik 36 kann beispielsweise eine Kamera sein oder umfassen, mittels welcher Bilder 16 einer jeweiligen Verkehrsszene in einer Umgebung des Kraftfahrzeugs 34 aufgenommen werden können. Weiter weist das Kraftfahrzeug 34 eine Assistenzeinrichtung 38 auf. Diese Assistenzeinrichtung 38 kann beispielsweise zum autonomen oder teilautonomen Steuern des Kraftfahrzeugs 34 oder zumindest einer Funktion des Kraftfahrzeugs 34 eingerichtet oder in eine solche Steuerung eingebunden sein.
Die Assistenzeinrichtung 38 ist mit der Umgebungssensorik 36 verbunden und kann von dieser bereitgestellte Bilder 16 erfassen und verarbeiten. Dazu weist die Assistenzeinrichtung 38 hier beispielhaft schematisch angedeutet einen Prozessor 40 und einen damit verbundenen Datenspeicher 42 auf. In dem Datenspeicher 42 sind vorliegend sowohl das neuronale Netz 14 als auch das Rekonstruktionsmodell 12 und das Vergleichsmodul 30 gespeichert. Weiter weist die Assistenzeinrichtung 38 eine Ausgangsschnittstelle 44 auf, über die ein hier ebenfalls schematisch angedeutetes Signal 46 ausgegeben werden kann.
In einem Normalbetrieb, wenn also das neuronale Netz 14 das jeweilige Bild 16 korrekt klassifiziert, kann durch die Assistenzeinrichtung 38 beispielsweise eine Komponente, Funktion oder Fahrzeugeinrichtung 48 des Kraftfahrzeugs 34 gesteuert werden. Eine solche Steuerung soll jedoch nicht auf Grundlage einer Fehlklassifikation eines Bildes 16, also der jeweiligen Verkehrsszene durch das neuronale Netz 14 erfolgen. Ebenso kann der Fall auftreten, dass die jeweilige Verkehrsszene derart ungewöhnlich oder schwer zu klassifizieren ist, dass die autonome Steuerung des Kraftfahrzeugs 34 bzw. der Fahrzeugeinrichtung 48 unter Verwendung des neuronalen Netzes 14 nicht möglich ist. Derartige Fälle können wie beschrieben mittels des Rekonstruktionsmodells 12 und des Vergleichsmoduls 30, also mittels der Erkennungseinrichtung, automatisch erkannt werden. Daraufhin kann dann die Assistenzeinrichtung 38 automatisch das Signal 46 erzeugen und ausgeben, beispielsweise um eine Bedienperson zu warnen oder zur Übernahme der Kontrolle oder Steuerung des Kraftfahrzeugs 34 bzw. der Fahrzeugeinrichtung 48 aufzufordern.
Beispielsweise kann das Signal 46 an eine hier schematisch angedeutete fahrzeugexterne Einrichtung 50 übermittelt werden. Daraufhin kann ein dort stationierter fahrzeugexterner Teleoperator 52 die Fernsteuerung des Kraftfahrzeugs 34 übernehmen.
Insgesamt zeigen die beschriebenen Beispiele wie eine automatische Detektion unbekannter oder anspruchsvoller Situationen oder Umgebungen basierend auf einer Bildrekonstruktion, die ihrerseits auf Verarbeitungsergebnissen eines künstlichen neuronalen Netzwerks basiert, realisiert werden kann, um einen besonders sicheren Einsatz teilautonomer oder teilautomatisierter Einrichtungen zu ermöglichen.
Bezugszeichenliste

10: Trainingsschema
12: Rekonstruktionsmodell
14: neuronales Netz
16: Bild
18: faltende Schichten
20: räumliche Merkmalskarte
22: Klassifizierungsschicht
24: Klassifikation
26: Anwendungsschema
28: rekonstruierte Bilddaten
30: Vergleichsmodul
32: Bewertung
34: Kraftfahrzeug
36: Umgebungssensorik
38: Assistenzeinrichtung
40: Prozessor
42: Datenspeicher
44: Ausgangsschnittstelle
46: Signal
48: Fahrzeugeinrichtung
50: fahrzeugexterne Einrichtung
52: Teleoperator

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102018110369 A1 [0003]
CN 105809138 A [0004]

Claims

Verfahren (26) zum automatischen Erkennen von Szenen, deren korrekte Klassifizierung für ein bereitgestelltes künstliches neuronales Netz (14) schwierig ist, bei dem - ein jeweiliges die jeweilige Szene darstellendes und dem zur Bildverarbeitung trainierten neuronalen Netz (14) bereitgestelltes Inputbild (16) mittels des neuronalen Netzes (14) unter Erzeugen eines zugehörigen Verarbeitungsergebnisses verarbeitet wird, -jeweils das Inputbild (16) und das zugehörige Verarbeitungsergebnis (20, 24) einer Erkennungseinrichtung (12, 30) bereitgestellt werden, in der eine Zuordnung von Verarbeitungsergebnissen (20, 24) zu Bilddaten, die in der Vergangenheit bei einer entsprechenden Datenverarbeitung durch das neuronale Netz (14) korrekterweise in diesen Verarbeitungsergebnissen (20, 24) resultiert haben, hinterlegt ist, - durch die Erkennungseinrichtung (12, 30) ausgehend von dem jeweiligen Verarbeitungsergebnis (20, 24) zugehörige anhand der hinterlegten Zuordnung rekonstruierte Bilddaten (28) mit dem jeweiligen Inputbild (16) verglichen werden und bei einer Abweichung dazwischen die jeweilige Szene als schwierig korrekt zu klassifizieren erkannt wird.
Verfahren (26) nach Anspruch 1, dadurch gekennzeichnet, dass aus dem jeweiligen Verarbeitungsergebnis (20, 24) zumindest als Teil der rekonstruierten Bilddaten (28) ein rekonstruiertes Bild (28) erzeugt wird, das die gleichen Dimensionen hat wie das jeweilige Inputbild (16) und bei dem Vergleichen jeweils dieses rekonstruierte Bild (28) mit dem Inputbild (16) verglichen wird.
Verfahren (26) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Erkennungseinrichtung (12, 30) ein künstliches neuronales Rekonstruktionsnetz (12) umfasst, das anhand von bei korrekten Klassifizierungen durch das neuronale Netz (14) angefallenen Verarbeitungsergebnissen (20, 24) und den zugehörigen Inputbildern (16) die Zuordnung gelernt hat, und mittels dieses entsprechend trainierten Rekonstruktionsnetzes (12) für das Vergleichen zumindest als Teil der rekonstruierten Bilddaten (28) ein rekonstruiertes Bild (28) erzeugt wird.
Verfahren (26) nach Anspruch 3, dadurch gekennzeichnet, dass das Rekonstruktionsnetz (12) in einem GAN-System trainiert ist.
Verfahren (26) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass falls das neuronale Netz (14) zur semantischen Segmentierung trainiert ist, ein Endergebnis (24) des neuronalen Netzes (14) und andernfalls eine nach einem eingangsseitigen Merkmalsextraktionsteil (18) des neuronalen Netzes (14) und vor einem ausgangsseitigen semantischen Klassifizierungsteil (22) des neuronalen Netzes (14) vorliegende räumliche Merkmalskarte (20) als das jeweilige Verarbeitungsergebnis (20; 24) verwendet wird.
Verfahren (26) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Zuordnung mehreren unterschiedlichen semantischen Klassen, für die das neuronale Netz (14) trainiert ist, jeweils einen durchschnittlichen Farbwert, der zumindest einen Teil der Bilddaten bildet, zuordnet.
Verfahren (26) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die jeweilige Szene dann, insbesondere nur dann, als schwierig korrekt zu klassifizieren erkannt wird, wenn die Abweichung zwischen den rekonstruierten Bilddaten (28) und dem Inputbild (16) wenigstens einen vorgegebenen Schwellenwert erreicht.
Verfahren (26) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die jeweilige Szene dann, insbesondere nur dann, als schwierig korrekt zu klassifizieren erkannt wird, wenn die Abweichung zwischen den rekonstruierten Bilddaten (28) und dem Inputbild (16) wenigstens für einen zusammenhängenden, mehrere Pixel umfassenden Bereich vorgegebener Größe erkannt wird.
Assistenzeinrichtung (12, 30; 38), insbesondere für ein Kraftfahrzeug (34), aufweisend eine Erkennungseinrichtung (12, 30), in der eine Zuordnung von Verarbeitungsergebnissen (20, 24) eines zur Bildverarbeitung trainierten künstlichen neuronalen Netzes (14) zu Bilddaten, die in der Vergangenheit bei einer entsprechenden Datenverarbeitung durch das neuronale Netz (14) korrekterweise in diesen Verarbeitungsergebnissen (20, 24) resultiert hat, hinterlegt ist, wobei die Assistenzeinrichtung (12, 30; 38) zum Durchführen eines Verfahrens (26) nach einem der vorhergehenden Ansprüche eingerichtet ist.
Kraftfahrzeug (34), aufweisend eine Assistenzeinrichtung (12, 30; 38) nach Anspruch 9, insbesondere dazu eingerichtet, bei Erkennen einer schwierig korrekt zu klassifizierenden Szene in einem zumindest teilautonomen Betrieb des Kraftfahrzeugs (34) automatisch ein Steuersignal (46) zum Anfordern einer Übernahme einer Fahrzeugsteuerung durch eine Bedienperson (52) auszugeben.