DE102008057979B4

DE102008057979B4 - Lerneinheit für ein Objekterkennungssystem und Objekterkennungssytem

Info

Publication number: DE102008057979B4
Application number: DE102008057979.3A
Authority: DE
Inventors: Klaus Schertler; Jörg Liebelt
Original assignee: Airbus Defence and Space GmbH
Current assignee: Airbus Defence and Space GmbH
Priority date: 2008-11-19
Filing date: 2008-11-19
Publication date: 2018-10-31
Anticipated expiration: 2028-11-20
Also published as: DE102008057979A1

Abstract

Eine Lerneinheit (10) für ein Objekterkennungssystem sowie ein Objekterkennungssystem zur Lokalisierung und Klassifizierung von unbekannten Prüfobjekten in einem zu analysierenden Bild, mit einer Bilderzeugungseinheit (14) zur Erzeugung von Trainingsbildern eines Vergleichsobjektes mittels Erstellung virtueller 3D-Szenen mit einem virtuellen 3D-Modell des Vergleichsobjekts und Rendern der Trainingsbilder aus den virtuellen 3D-Szenen, wobei jedem Bildpunkt des Trainingsbildes der zugehörige 3D-Punkt in der virtuellen 3D-Szene zugeordnet ist.

Description

Die Erfindung betrifft eine Lerneinheit für ein Objekterkennungssystem sowie ein entsprechendes Objekterkennungssystem zur Lokalisierung und Klassifizierung von unbekannten Prüfobjekten in einem zu analysierenden Bild, bei dem in einer Vergleichseinheit eine Anzahl von gespeicherten Vergleichsobjekten mit einer Anzahl zugehöriger Vergleichsobjektmerkmale gespeichert sind, und aus dem Bild Merkmale eines Prüfobjektes ermittelbar und mit den Vergleichsobjektmerkmalen vergleichbar sind und bei einer ausreichenden Übereinstimmung der Prüfobjektmerkmale mit Vergleichsobjektmerkmalen das Prüfobjekt einem Vergleichsobjekt als erkannt zuordenbar ist.
An der Entwicklung und Verbesserung von Objekterkennungssystemen wird weltweit mit einer großen Anzahl unterschiedlicher Ansätze gearbeitet. Eine Vielzahl von Ansätzen basiert darauf, dass das Erscheinungsbild eines zu erkennenden Objektes oder eine Objektklasse anhand von fotografischen Trainingsbildern maschinell erlernt wird. Dabei wird aus den Trainingsbildern in einer Lerneinheit eine Menge von Merkmalen extrahiert und zu einem das zu erkennende Objekt repräsentierenden Datensatz - dem Objektmodell - zusammengefasst. Finden sich zwischen den aus einem unbekannten Bild extrahierten Merkmalen und den im Objektmodell repräsentierten Merkmalen eine als hinreichend definierte Übereinstimmung aufgrund eines Merkmalsvergleichs, so wird der dem Objektmodell entsprechende Objekttyp im zu analysierenden Bild als erkannt angenommen. Eine solche Übereinstimmung kann dabei nur dann erkannt werden, wenn die aus den Trainingsbildern extrahierten Merkmale und der zur Bestimmung der Übereinstimmung notwendige Merkmalsvergleich „robust“ gegen die zu erwartenden Variationen des zu analysierenden Bildes im Vergleich zu den Trainingsbildern sind. Solche Variationen können unterschiedliche Beleuchtungsbedingungen, Witterungsbedingungen, Aufnahmebedingungen bzw. Objekthintergründe sein, die zwischen den Trainingsbildern und dem zu analysierenden Bild vorhanden sind. Der Nachteil derartiger vorbekannter Verfahren besteht darin, dass diese Variationen entweder bei den Trainingsbildern repräsentiert sein müssen oder die Merkmalsextraktion bzw. der Merkmalsvergleich invariant gegenüber diese Variationen ausgelegt sein muss. Ersteres setzt eine sehr große Anzahl von Trainingsbildern voraus, was einen enormen Bilddaten-Akquisitionsaufwand darstellen kann. Letzteres erfordert einen hohen algorithmischen Entwicklungsaufwand, da die verschiedenen Variationen explizit bei der Entwicklung der Algorithmen zur Merkmalsextration und des Merkmalsvergleichs berücksichtigt werden müssen, was bei der Vielfalt der möglichen Variationen nur in sehr beschränktem Maße möglich ist.
Die robuste Erkennung von Objekten in Bildern erfordert deren Erkennung trotz auftretender Objektvariationen, wie sie beispielsweise durch Variation der Beleuchtungsbedingungen in realen Bildern erzeugt werden. Die 3D-Lokalisierung von Objekten relativ zur Kamera erfordert die Bestimmung der 6 Freiheitsgrade der Objekte, bestehend aus den 3 Freiheitsgraden der Positionierung und den 3 Freiheitsgraden der Ausrichtung.
Die DE 10 2006 054 571 A1 und die DE 10 2005 062 154 A1 befassen sich mit der Beseitigung der Abhängigkeit von photografischen Trainingsbildern. Dieses Ziel wird bei der zweitgenannten Druckschrift nicht erreicht und im Falle der erstgenannten Druckschrift nur durch einen erhöhten Auswertungsaufwand während Training und Nutzung.
Wie eine Vielzahl von anderen Ansätzen zur Objekterkennung basieren die Lehren der beiden Druckschriften auf der Methodik des maschinellen Lernens, welche darauf beruht, anhand einer ausreichend großen Anzahl repräsentativer Trainingsbildern das Aussehen der zu erkennenden Objekte zu erlernen. Die Trainingsproben sollten dabei die in Realität zu erwartenden Variationen der Darstellung der zu erkennenden Objekte und ihrer Umgebung repräsentieren.
Die DE 10 2005 062 154 A1 erzeugt die Trainingsproben und ihre Variationen durch eine aus realen Sensorbildern gewonnene parametrisierte Transformationsfunktion. Durch Variation der Transformationsparameter entstehen in Anwendung der Transformationsfunktion auf Ideal-Muster die Trainingsproben. Während die Ideal-Muster alternativ durchaus auf synthetische Weise erzeugt sein können, benötigt die Bestimmung der Transformationsfunktion Echt-Muster. Damit wird die Abhängigkeit von photografischen Bildern zwar reduziert, aber nicht beseitigt. Eine Realisierung der Bestimmung der 6 Freiheitsgrade der Objekte ist bei dieser vorbekannten Lösung nicht vorgesehen und durch fehlende 3D-Informationen nicht realisierbar.
Die DE 10 2006 054 571 A1 greift zur Gewinnung der Trainingsproben auf das synthetische Rendern von virtuellen 3D-Szenen zurück.
Die DE 19636074 A1 beschreibt ein Bildverarbeitungssystem mit üblicher Bildaufnahme, Merkmalsextraktion und Klassierung, welches durch die Modifizierung eines üblichen Klassifikators durch gezielte Datenreduktion verbessert wird, wobei der Klassifikator automatisch parametriert wird.
Die US 2005/0144147 A1 beschreibt Ein Feature-Regulierungs-Anwendungsverfahren für hierarchische Entscheidungs-Lernsysteme, welches Trainingsdaten der Feature-Regulierung verwendet und eine Vielzahl hierarchischer Entscheidungsfindungen aufruft, um die Ausgabe von Feature-Subset-Informationen zu erzeugen.
Hiervon ausgehend besteht die Aufgabe der Erfindung darin, gegenüber diesen vorbekannten Lösungen zum einen eine Abhängigkeit von der Verfügbarkeit bestehender photographischer Trainingsbilder zu beseitigen und andererseits den Auswertungsaufwand sowohl bei der Bestimmung von Vergleichsobjekten als auch bei der Lokalisierung und Klassifizierung von unbekannten Prüfobjekten zu reduzieren.
Erfindungsgemäß wird diese Aufgabe durch die in den unabhängigen Ansprüchen aufgeführten Merkmale gelöst.
Bei der Erfindung werden durch computergrafische Methoden synthetische Trainingsbildsequenzen unter exakt vorgegebenen bzw. bekannten Bedingungen erzeugt und die Kenntnisse über die Bedingungen ausgenutzt, um die extrahierten Merkmale bezüglich ihrer Robustheit gegenüber Variationen zu selektieren und somit nur Merkmale in der Vergleichsobjektsammlung aufzunehmen, welche definierte Anforderungen bezüglich ihrer Robustheit gegenüber den Variationen besitzen d.h. bei denen die Veränderung aufgrund der Variation bezüglich des Merkmalsvergleichs in vorgebbaren Grenzen liegt.
Durch die Erfindung wird die Abhängigkeit von der Verfügbarkeit von fotografischen Trainingsbildern beseitigt, denn die Trainingsbilder werden synthetisch erzeugt. Dies ermöglicht neue Anwendungsmöglichkeiten in Bereichen, in denen keine fotografischen Ansichten verfügbar sind oder deren Gewinnung sehr teuer bzw. aufwendig ist.
Die Definition von zu erkennenden Objekten kann ausschließlich über standardisierte bzw. vorhandene 3D-Modelle stattfinden, so dass standardisierte Datenformate Verwendung finden können. Diese sind in großem Umfang kommerziell verfügbar. Darüber hinaus ist verbreitete Software zur Erzeugung von neuen Modellen oder der Anpassung existierender Modelle einsetzbar.
Die Vielfalt von möglichen Erscheinungsbildern von Objekten kann systematisch automatisiert und flexibel auf verschiedene Anwendungsfälle hin trainiert werden. Durch die gleichzeitig durchführbare Merkmalsselektion ergibt sich eine erhöhte Robustheit des Objekterkennungssystems gegen Bildvariationen und damit höhere Erkennungswahrscheinlichkeiten und niedrige Fehlalarmraten.
Neben der Lokalisierung von Objekten im zu analysierenden Bild ermöglicht die Kenntnis der projektiven Zusammenhänge auch Aussagen über die dreidimensionale Lokalisierung eines Objekts im zu analysierenden Bild (Position und Ausrichtung) relativ zum Sensor, also der Aufnahmekamera.
Bei der Erfindung wird entgegen den meisten vorbekannten Ansätzen kein Modell aus zweidimensionalen Merkmalen und deren geometrischer Bedingungen konstruiert, sondern es wird eine Datenbank generiert und darauf zugegriffen aus synthetisch erzeugten dreidimensionalen Modellen. Dabei wird eine dreidimensionale Darstellung für jede Objektkategorie erzeugt, welche eine Erkennbarkeit unabhängig vom Betrachtungspunkt ermöglicht. Bei der Bildung einer virtuellen 3D-Szene wird ein 3D-Modell vor unterschiedlichen Hintergründen und aus unterschiedlichen Ansichtspunkten generiert und daraus ein zweidimensionales Trainingsbild generiert. Um einen Satz von Trainingsbildern zu erzeugen, wird die Entfernung des Ansichtspunktes sowie die räumliche Position (Seitenwinkel und Höhenwinkel) in diskreten Stufen verändert und dabei die geometrischen Daten des Ansichtspunktes mit den sonstigen Daten des dreidimensionalen Modells gespeichert.
Die Erfindung wird nachfolgend anhand eines bevorzugten Ausführungsbeispiels anhand der beigefügten Zeichnungen näher erläutert. Dabei zeigt:

1: ein Blockschaltbild einer Lerneinheit;
2: ein Blockschaltbild eines Bilderkennungssystems unter Verwendung der Lerneinheit gemäß 1.

In 1 ist eine Lerneinheit 10 dargestellt, die eine 3D-Modellerzeugungseinheit 12 erfasst, in der virtuelle 3D-Modelle unter Verwendung der wesentlichen virtuellen 3D-Objekte unter verschiedenen Umgebungsbedingungen, insbesondere Beleuchtungs-, Witterungs-, Objektausprägungs- bzw. Objekthintergundsbedingungen bzw. unterschiedlichen Blickrichtungen generiert werden. Der Modellerzeugungseinheit 12 ist eine Bilderzeugungseinheit 14 nachgeschaltet, welche auf der Basis der in der Modellerzeugungseinheit 12 generierten virtuellen 3D-Modellen virtuelle 3D-Szenen 16 generiert und in der Rendereinheit 18 daraus zweidimensionale Trainingsbilder 20 erzeugt, wobei zu den Objekten der 3D-Szenen 16 und den 2D-Trainingsbildern 20 der projektive (räumliche) Zusammenhang 21 zwischen den dreidimensionalen Punkten der 3D-Szene 16 und den zugehörigen Punkten auf dem 2D-Trainingsbild 20 gespeichert werden.
Eine Merkmalextraktionseinheit 22 extrahiert aus den 2D-Trainingsbildern einzelne Merkmale des Objektes. Eine Merkmalsselektionseinheit 24 selektiert daraus unter Berücksichtigung der projektiven Zusammenhänge 26 mit den zugeordneten 3D-Szenen bzw. der Objekte und der Variationsparameter 28 und generiert ein Objektmodell 30 .
2 zeigt ein Objekterkennungsystem 30 , umfassend eine Objektmodellsammlungseinheit 32 in der eine Vielzahl von Objekten mit ihren Merkmalen gespeichert sind. Eine Bildaufbereitungseinheit 34 fertigt ein zu analysierendes Bild mit einem unbekannten Prüfobjekt und führt dies einer Merkmalsextraktionseinheit 36 zu, in der von dem Bild Prüfobjektmerkmale extrahiert werden. In einer Merkmalsvergleichseinheit 38 werden die in der Objektmodellsammlungseinheit 32 gespeicherten Vergleichsobjektmerkmale mit den Prüfobjektmerkmalen verglichen und daraus in der Beurteilungseinheit 40 beurteilt, ob das Prüfobjekt einem Vergleichsobjekt zugeordnet werden kann.

Claims

Lerneinheit für ein Objekterkennungssystem zur Lokalisierung und Klassifizierung von unbekannten Prüfobjekten in einem zu analysierenden Bild, bei dem in einer Vergleichseinheit (38) eine Anzahl von gespeicherten Vergleichsobjekten mit einer Anzahl zugehöriger Vergleichsobjektmerkmale gespeichert sind, und aus dem Bild Merkmale eines Prüfobjektes ermittelbar und mit den Vergleichsobjektmerkmalen vergleichbar sind und bei einer ausreichenden Übereinstimmung der Prüfobjektmerkmale mit Vergleichsobjektmerkmalen das Prüfobjekt einem Vergleichsobjekt als erkannt zuordenbar ist, dadurch gekennzeichnet, dass die Lerneinheit folgende Bestandteile umfasst: eine Bilderzeugungseinheit (14) zur Erzeugung von Trainingsbildern eines Vergleichsobjektes mittels Erstellung virtueller 3D-Szenen mit einem virtuellen 3D-Modell des Vergleichsobjekts vor virtuellen Hintergrundbedingungen und/oder Vordergrundbedingungen und Rendern der Trainingsbilder aus den virtuellen 3D-Szenen aus verschiedenen räumlichen Positionen, wobei jedem Bildpunkt des Trainingsbildes der zugehörige 3D-Punkt in der virtuellen 3D-Szene zugeordnet ist; eine Merkmalsextraktionseinheit (22) zur Extraktion von Merkmalen aus den Trainingsbildern durch Auswertung der Trainingsbilder sowie der zugehörigen Daten; eine Merkmalsselektionseinheit (24) zur Auswahl von Vergleichsobjektmerkmalen anhand der Robustheit des Auftretens der Objektmerkmale unter wechselnden Vordergrund- und Hintergrundbedingungen und verschiedenen räumlichen Positionen in den verschiedenen Trainingsbildern.
Lerneinheit nach Anspruch 1, dadurch gekennzeichnet, dass bei der Auswertung der Trainingsbilder Merkmale verworfen werden, wenn sich aus der Bild-Szenen-Zuordnung ergibt, dass diese nicht dem Vergleichsobjekt zugeordnet sind.
Lerneinheit nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass bei der Erzeugung von Trainingsbildern das virtuelle 3D-Modell skaliert zur Erzeugung der virtuellen 3D-Szene und vor unterschiedlichen virtuellen Hintergründen plaziert wird und davon aus unterschiedlichen räumlichen Aufnahmewinkeln und/oder Entfernungen (Aufnahmepositionen) die Trainingsbilder gerendert werden.
Lerneinheit nach Anspruch 3, dadurch gekennzeichnet, dass für jedes 3D-Modell Trainingsbilder vor neutralem Hintergrund sowie vor verschiedenen Hintergründen, jeweils mit geringfügig abweichenden Aufnahmepositionen erzeugbar und aus diesen Trainingsbildern die Objektmerkmale bestimmbar sind.
Lerneinheit nach Anspruch 4, dadurch gekennzeichnet, dass bei der Bestimmung der Objektmerkmale eine Gewichtung aufgrund der Feststellungshäufigkeit unter verschiedenen Bedingungen erfolgt.
Lerneinheit nach Anspruch 5, dadurch gekennzeichnet, dass für jedes Vergleichsobjektmerkmal ein Datensatz mit den verschiedenen Aufnahmepositionen und den zugehörigen Gewichtungen gespeichert ist.
Lerneinheit nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass bei der Erzeugung der 3D-Szene unterschiedliche virtuelle Oberflächenbedingungen der Vergleichsobjekte, insbesondere Farbgebung, Texturierung, Reflektivität, erzeugt werden.
Lerneinheit nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass bei der Erzeugung der 3D-Szene unterschiedliche virtuelle Zustandsbedingungen wie Nebel, Schneefall sowie Beleuchtungsbedingungen erzeugt werden.
Objekterkennungssystem zur Lokalisierung und Klassifizierung von unbekannten Prüfobjekten in einem zu analysierenden Bild, bei dem eine Anzahl von gespeicherten Vergleichsobjekten mit einer Anzahl zugehöriger Vergleichsobjektmerkmale gespeichert sind, und aus dem Bild Merkmale eines Prüfobjektes ermittelbar und mit den Vergleichsobjektmerkmalen vergleichbar sind und in einer Vergleichseinheit (38) bei einer ausreichenden Übereinstimmung der Prüfobjektmerkmale mit Vergleichobjektmerkmalen das Prüfobjekt einem Vergleichsobjekt als erkannt zuordenbar ist, dadurch gekennzeichnet, dass diese eine Objektmodellsammlungseinheit (32) mit gespeicherten Vergleichsobjekten umfasst, die mittels der Lerneinheit (10) nach einem der vorherigen Ansprüche erzeugt sind.
Objekterkennungssystem nach Anspruch 9, dadurch gekennzeichnet, dass in der Vergleichseinheit (38) Prüfobjektmerkmale aus dem Bild extrahiert und mit gespeicherten Vergleichsobjektmerkmalen in verschiedenen Positionierungen verglichen und gewichtet werden und daraus das Prüfobjekt als ein Vergleichsobjekt mit entsprechenden Positionsdaten erkannt wird.