DE69914370T2

DE69914370T2 - Bestimmung von gesichtsunterräumen

Info

Publication number: DE69914370T2
Application number: DE69914370T
Authority: DE
Inventors: Christopher John Offerton TAYLOR; Timothy Francis Heaton Moor COOTES; Gareth Buxton EDWARDS; Nicholas Paul Sale Moor COSTEN
Original assignee: Victoria University of Manchester; University of Manchester
Current assignee: Victoria University of Manchester; University of Manchester
Priority date: 1998-12-02
Filing date: 1999-11-29
Publication date: 2004-11-04
Anticipated expiration: 2019-11-30
Also published as: EP1138011B1; DE69914370D1; ATE258322T1; AU762625B2; US6876755B1; ES2212857T3; CA2356252A1; AU1287900A; WO2000033240A1; DK1138011T3; EP1138011A1; JP2002531901A

Description

Die vorliegende Erfindung betrifft die Bestimmung von Unterräumen von Gesichtsvariationen.
Eine Gesichtsvariation kann konzeptionell in eine Anzahl von 'funktionalen' Unterräumen aufgeteilt werden; Typen einer Variation, die nützliche Gesichtsdimensionen reflektieren [M. J. Black, D. J. Fleet und Y. Yacoob. A framework for modelling appearance change in image sequences. 6th ICCV, Seiten 660–667, 1998]. Eine mögliche Auswahl von diesen Gesichtsunterräumen ist: Identität, Ausdruck (was hier sämtliche transienten plastischen Deformationen des Gesichts einschließt), Pose und der Beleuchtung. Andere Räume können extrahiert werden, wobei der offensichtlichste das Alter ist. Wenn ein praktisches Gesichts-Analysesystem konstruiert wird, muss wenigstens einer von diesen Unterräumen isoliert und modelliert werden. Z. B. wird eine Sicherheitsanwendung erfordern Personen unabhängig von dem Ausdruck, der Pose und der Beleuchtung zu erkennen, während ein Lippenleser sich nur auf den Ausdruck konzentrieren wird. Bei bestimmten Umständen werden genaue Abschätzungen von sämtlichen Unterräumen benötigt, z. B. wenn Gesichts- und Kopfbewegungen von einer Videosequenz einer Person an eine andere transferiert werden, um eine synthetische Sequenz herzustellen.
Obwohl Gesichts-Bilder in einer angemessenen Weise unter Verwendung eines Erscheinungs-Modell-Raums, der die Bilder aufspannt, angepasst werden können, ist es nicht möglich, die verschiedenen Unterräume linear zu trennen [S. Duvdevani-Bar, S. Edelman, A. J. Howell, und H. Buxton. A similaritybased method for the generalisation of face recognition over pose and expression. 3^rd Face and Gesture, Seiten 118–123, 1998]. Dies liegt daran, weil die Unterräume einen gewissen Grad einer Überlappung einschließen (z. B. wird ein 'neutraler' Ausdruck tatsächlich einen Ausdruck mit geringer Intensität enthalten).
Es ist eine Aufgabe der Erfindung, ein verbessertes Verfahren zum Bestimmen von Gesichts-Unterräumen bereitzustellen, wie in den beigefügten Ansprüchen aufgeführt.
Die Erfindung rechnet gleichzeitig Bildgewichtungen zwischen anfänglichen überlappenden Abschätzungen von diesen funktionalen Räumen proportional zu der Unterraum-Varianz zu. Dies teilt die Gesichter in einen Satz von nicht-orthogonalen Projektionen auf, wobei ein iterativer Ansatz auf einen Satz von reinen, aber überlappenden Räumen zugelassen wird. Diese sind spezifischer als die anfänglichen Räume, was die Identitätserkennung verbessert.
In Übereinstimmung mit der Erfindung ist ein Verfahren zum Bestimmen von Gesichts-Unterräumen vorgesehen, wobei das Verfahren die folgenden Schritte umfasst:

a. Erzeugen einer ersten Reihe von anfänglichen Bildern, bei denen eine erste vorgegebene Gesichtseigenschaft modifiziert ist;
b. Erzeugen einer zweiten Reihe von anfänglichen Bildern, bei denen eine zweite vorgegebene Gesichtseigenschaft modifiziert ist,
c. Codieren jeder Reihe von Bildern in Übereinstimmung mit der Varianz der Bilder, um einen abgeschätzten Unterraum für jede Gesichtseigenschaft zu ermitteln,
d. Verketten der Unterräume, um einen einzelnen übererschöpfenden Raum bereitzustellen.
e. Approximieren jedes Bilds der ersten und zweiten Reihen auf dem übererschöpften Raum, um aproximierte Versionen von jedem Bild auf jedem abgeschätzten Eigenschafts-Unterraum zu ermitteln.
f. Erzeugen von insgesamt approximierten Versionen jedes Bilds auf dem übererschöpften Raum,
g. Vergleichen der gesamten approximierten Version von jedem Bild mit dem anfänglichen Bild, um einen Fehlerwert für jedes Bild zu bestimmen,
h. Unterteilen des Fehlerwerts für jedes Bild in einen Unterfehler für jeden abgeschätzten Eigenschafts-Unterraum proportional zu der Varianz dieses Unterraums,
i. Kombinieren jedes Unterfehlers für jedes Bild mit der approximierten Version dieses Bilds auf dem abgeschätzten Eigenschafts-Unterraum, um eine neue approximierte Version in dem Eigenschafts-Unterraum für jedes Bild zu ermitteln, und
j. Codieren der neuen approximierten Versionen der Bilder in Übereinstimmung mit deren Varianz, um neue abgeschätzte Unterräume zu ermitteln.

Das Verfahren in Übereinstimmung mit dem zweiten Aspekt der Erfindung umfasst vorzugsweise ferner das Approximieren jedes Bilds auf den neuen abgeschätzten Unterräumen, die in den Schritten 'a' bis 'j' beschrieben, und dann das Wiederholen der Schritte 'd' bis 'j', bis die Unterräume sich stabilisiert haben.
Vorzugsweise werden drei oder mehr Reihen von Bildern erzeugt, wobei eine andere vorgegebene Gesichtseigenschaft in jeder Reihe modifiziert wird.
Vorzugsweise werden die vorgegebenen Gesichtseigenschaften als wenigstens eine der Identität, des Ausdrucks, der Pose, der Beleuchtung und des Alters kategorisiert.
Vorzugsweise wird wenigstens eine weitere Reihe von Bildern erzeugt, wobei eine weitere vorgegebene Gesichtseigenschaft in der Reihe modifiziert wird.
Eine spezifische Ausführungsform der Erfindung wird nun nur beispielhaft unter Bezugnahme auf die beiliegenden Zeichnungen beschrieben. In den Zeichnungen zeigen:
1 die ersten zwei Dimensionen eines Gesichtsraums, wie durch ein Erscheinungsmodell definiert, das von der Erfindung verwendet wird;
2 ein Beispiel eines Ensemblebilds aus einem Ausdruckssatz, wie durch die Erfindung verwendet, wobei die Entsprechungspunkte gezeigt sind;
3 die ersten zwei Dimensionen von Startidentitäts-Eigengesichtern, die von der Erfindung verwendet werden;
4 die ersten zwei Dimensionen von Startidentitäts-Eigengesichtern, die von der Erfindung verwendet werden, wobei die Eigengesichter nur eine Identität verändern;
5 einen Graph, der die Konvergenz darstellt, die von dem Verfahren in Übereinstimmung mit der Erfindung erzielt wird;
6 einen Graph, der mittlere Codierungsfehler für Einzel- und Testbilder darstellt, über Iterationen des Verfahrens in Übereinstimmung mit der Erfindung;
7 einen Graph, der mittlere Personen Innen-Varianzen für die verschiedenen Unterräume als eine Funktion der Iterationsanzahl zeigt; und
8 einen Graph, der Erkennungsraten für eine Euclid-sche Durchschnitts-Bild-Anpassung zeigt.
Eine Gesichtscodierung erfordert die Approximation einer vielfältigen oder hochdimensionalen Oberfläche, von der man sagen kann, dass auf ihr ein Gesicht liegt. Dies erlaubt eine genaue Codierung, Erkennung und Wiedergabe von vorher nicht gesehenen Beispielen. Eine Anzahl von vorangehenden Studien [N. P. Costen, I. G. Craw, G. J. Robertson, und S. Akamatsu. Automatic face recognition: What representation? European Conference on Computer Vision, vol. 1, Seiten 504–513, 1996; G. J. Edwards, A. Lanitis, C. J. Taylor, und T. F. Cootes. Modelling the variability in face images. 2^nd Face and Gesture, Seiten 328–333, 1996; N. P. Costen, I. G. Craw, T. Kato, G. Robertson und S. Akamatsu. Manifold caricatures: On the psychological consistency of computer face recognition. 2^nd Face and Gesture, Seiten 4–10, 1996] haben vorgeschlagen, dass die Verwendung einer formfreien Codierung eine einfache Einrichtung bereitstellt, um dies zu tun, wenigstens wenn der Bereich des Posenwinkels relativ klein ist, unter Umständen ±20° [T. Poggio und D. Beymer. Learning networks for face analysis and synthesis. Face and Gesture, Seiten 160–165, 1995]. Bei dieser Ausführungsform der Erfindung wird das Entsprechungsproblem zwischen Gesichtern zunächst dadurch gelöst, dass ein vorgewählter Satz von bestimmten Punkten (Ecken von Augen oder Mündern, z. B.), die in sämtlichen Gesichtern vorhanden sind, aufgefunden wird. Dies wird typischerweise per Hand während eines Trainings ausgeführt. Diejenigen Pixel, die so definiert sind, dass sie ein Teil des Gesichts sind, können auf eine Standardform durch standardmäßige Graupegel-Interpolationstechniken gewölbt werden, wobei sichergestellt wird, dass die Bild-bezogenen und Gesichts-bezogenen Koordinaten eines gegebenen Bilds äquivalent sind. Wenn eine starre Transformation zum Entfernen des Maßstabs, des Orts und der Orientierungseffekte für die Punktorte durchgeführt wird, können sie in der gleichen Weise wie die Graupegel behandelt werden, da wiederum identische Werte für entsprechende Punkte auf unterschiedlichen Gesichtern die gleiche Bedeutung aufweisen werden.
Obwohl diese Operationen den Raum linearisieren, wobei eine Interpolation zwischen Paaren von Gesichtern erlaubt wird, ergeben sie nicht eine Abschätzung der Dimensionen. Somit kann die Akzeptierungsfähigkeit als ein Gesicht eines Objekts nicht gemessen werden; dies verringert eine Erkennung [N. P. Costen, I. G. Craw, G. J. Robertson, und S. Akamatsu. Automatic face recognition: What representation? European Conference on Computer Vision, vol. 1, Seiten 504–513, 1996]. Zusätzlich können Redundanzen zwischen Merkmalspunkt-Orts- und Graupegel-Werten nicht beschrieben werden. Beide dieser Probleme werden in dieser Ausführungsform der Erfindung durch eine Prinzipal-Komponenten-Analyse (Principal Components Analysis; PCA) angegangen. Diese extrahiert einen Satz von orthogonalen Eigenvektoren Φ aus der Kovarianzmatrix der Bilder (entweder der Pixelgraupegel, oder der Merkmalspunkt-Orte). Kombiniert mit den Eigenwerten stellt dies eine Abschätzung der Dimensionen und des Bereichs des Gesichtsraums bereit. Die Gewichtungen w eines Gesichts q können dann gefunden werden. w = ΦT(q – q) (1)und dies gibt den Mahalanobis-Abstand
zwischen Gesichtern q1 und q2, eine Codierung im Hinblick auf eine erwartete Variation [B. Moghaddam, W. Wahid und A. Pentland. Beyond eingefaces: Probabilistic matching for face recognition. 3^rd Face and Gesture, Seiten 30–35, 1998]. Redundanzen zwischen Form- und Graupegeln werden durch Ausführen von getrennten PCAs auf die Form- und Graupegel hin entfernt, bevor die Gewichtungen des Ensembles kombiniert werden, um einzelne Vektoren zu bilden, auf denen eine zweite PCA ausgeführt wird [G. J. Edwards, A. Lanitis, C. J. Taylor und T. F. Cootes. Modelling the variability in face images. 2^nd Face and Gesture, Seiten 328–333, 1996].
Dieses 'Erscheinungsmodell' erlaubt die Beschreibung des Gesichts im Hinblick auf eine echte Variation – die Verzerrungen, die benötigt werden, um sich von einem auf ein anderes zu bewegen. Die folgenden Studien werden eingebettet innerhalb dieser Darstellung ausgeführt. Jedoch werden sie den gesamten Raum, wie durch unseren Satz von Bildern spezifiziert, codieren, wie aus der 1 ersichtlich (von links, –2s:d:, das Mittlere +2s:d). Die Eigenwerte verändern sich mit der Identität, dem Ausdruck, der Pose und der Beleuchtung. Somit wird z. B. der Abstand zwischen den Darstellungen von zwei Bildern eine Kombination der Identitäts-, Gesichtsausdruck-, Winkel- und Beleuchtungs-Bedingungen sein. Diese müssen getrennt werden, um eine detaillierte Analyse des Gesichtsbilds zu ermöglichen.
Obwohl Abschätzungen der Gesichtsräume aus externen Codes von jedem Gesicht bei jedem Typ von Veränderung erhalten werden können, sind diese typischerweise nicht verfügbar. Anstelle davon wurden unterschiedliche Sätze, die jeweils eine Hauptveränderung auf jedem Unterraum alleine zeigen, verwendet. Diese Sätze umfassten:

1. einen Beleuchtungssatz, der aus fünf Bildern einer einzelnen männlichen Person entsteht, die alle frontparallel und mit einem festen neutralen Ausdruck fotografiert sind. Der Proband wurde durch eine einzelne Lampe beleuchtet, die um sein Gesicht herum bewegt wurde.
2. Ein Posensatz, der 100 Bilder von 10 unterschiedlichen Probanden, 10 Bilder pro Proband, besteht. Die Köpfe der Proband waren in einer Vielzahl von zweidimensionalen Richtungen mit einem relativ konsistenten Winkel ausgerichtet. Ausdrucks- und Beleuchtungs-Änderungen waren minimal.
3. Ein Ausdruckssatz, mit 397 Bildern von 19 unterschiedlichen Probanden, wobei jeder sieben grundlegende Ausdrücke ausdrückt: glücklich, traurig, ängstlich, verärgert, überrascht, neutral und entsetzt. Diese Bilder zeigten eine bemerkenswerte Personen-spezifische Beleuchtungs-Variation und eine gewissen Posen-Variation.
4. Ein Identitätssatz, mit 188 unterschiedlichen Bildern, jeweils eins pro Proband. Diese wurden alle frontparallel, bei einer flachen Beleuchtung und mit neutralen Ausdrücken vorgenommen. Wie es jedoch unvermeidbar mit jeder großen Gruppe von Personen ist, bestand eine beträchtliche Variation bei dem offensichtlichen Ausdruck, der als neutral angenommen wurde.

Sämtliche Bilder hatten einen gleichförmigen Satz von 122 Landmarken, die manuell gefunden wurden. Ein Beispiel eines Ensemblebilds mit Landmarken ist in 2 gezeigt. Eine Triangulation wurde auf die Punkte angewendet und eine bilineare Interpolation wurde verwendet, um die Bilder auf eine Standardform und -größe abzubilden, die eine feste Anzahl von Punkten ergeben würden. Für Testzwecke fand man diese Merkmalspunkte unter Verwendung eines Mehrauflösungs-Aktiv-Erscheinungsmodells (multi-resolution Active Appearance Model), welches unter Verwendung der Ensemblebilder konstruiert wurde, aber ohne eine Graupegel-Normalisierung [T. F. Cootes, G. J. Edwards, und C. J. Taylor. Active Appearance Models. European Conference on Computer Vision, vol. 2, Seiten 484–498, 1998].
Da die Bilder mit einer Vielzahl von Kameras gesammelt wurden, war es erforderlich, die Beleuchtungspegel zu normalisieren. Für einen gegebenen Pixel weist ein Graupegel von beispielsweise 128 = 256 eine unterschiedliche Bedeutung in einem Form-normalisierten Bild von einem anderen auf. Der Form-freie Graupegelfleck g_i wurde mit dem i-ten Form-normalisierten Bild abgetastet. Um den Effekt von einer globalen Beleuchtungsvariation zu minimieren, wurde dieser Fleck an jedem Punkt j normalisiert, um
zu ergeben, wobei μ_j, σ_j die mittlere Abweichung und die Standardabweichung sind.
Diese Operationen erlaubten die Konstruktion eines Erscheinungsmodells [G. J. Edwards, A. Lanitis, C. J. Taylor und T. F. Cootes. Modelling the variability in face images. 2^nd Face and Gesture, Seiten 328–333, 1996] Codierung 99,5% der Variation in den 690 Bildern, eine mit 19826 Pixeln in dem Gesichtsbereich. Dies erforderte insgesamt 636 Eigenvektoren.
Tests zeigten, dass die verschiedenen Unterräume nicht linear trennbar waren. Ein Versuch wurde durchgeführt, um sukzessiv die Gesichter durch die Räume, die durch die anderen Kategorien von Gesichtern definiert werden, zu projizieren und den Codierungsfehler als die Daten für eine nachfolgende Prinzipal-Komponenten-Analyse (Principal Component Analysis; PCA) zu nehmen, aber dies war nicht erfolgreich. Der vierte und abschließende Satz von Komponenten codierte wenig außer Rauschen konsistent. Eine Prozedur, bei der jeder Unterraum nur Gesichtscodes innerhalb seiner eigenen Aufspannung (typischerweise ±2S.D.) entfernte, erzeugte einen verwendbaren vierten Satz, aber die Anwendung war im Wesentlichen beliebig und verwendete nur einen kleinen Untersatz, um jeden Unterraum zu berechnen.
Die relevanten Daten wurden anstelle davon in einer mehr prinzipiellen Weise extrahiert, und zwar unter Verwendung der relevanten Information, die in jedem Bildsatz vorhanden ist. Das grundlegende Problem war, dass jeder der Unterräume, die durch die Ensembles spezifiziert werden, sowohl die gewünschte 'offizielle' Varianz als auch eine nicht bekannte Mischung der anderen Typen codierte. Diese Verunreinigung stammte hauptsächlich einer Ermangelung der Steuerung der relevanten Gesichtsfaktoren, so enthielten z. B. die 'neutralen' Ausdrücke, die in dem Identitätssatz gesehen werden tatsächlich einen Bereich von unterschiedlichen Ausdrücken mit geringer Intensität. Beispiele der Startidentitäts-Eigengesichter sind in 3 gezeigt, wobei die begrenzte Identitätsaufspannung dieses Ensembles (von links, –2s:d:, im Mittel +2s:d:) gezeigt ist. Die Eigengesichter unterschieden sich hauptsächlich hinsichtlich der Identität und der Beleuchtung.
Es gibt keine Garantie, dass die gewünschten 'reinen' Prinzipal-Komponenten für einen Unterraum orthogonal zu den anderen sein werden. Dies folgt aus den ultimativen Verbindungsfaktoren, insbesondere der dreidimensionalen Gesichtsform und der Größe und dem Ort der Gesichtsmuskulatur. Signifikante Verbesserungen bei der Auffindung und der Erkennung sind durch Lernen des Pfads durch den Gesichtsraum, der durch eine Sequenz von Gesichtsbildern genommen wird, möglich [D. B. Graham und N. M. Allinson. Face recognition from unfamiliar views: Subspace methods and pose dependency. 3^rd Face and Gesture, Seiten 348–353, 1998]. Diese Erfindung stammt von der Realisation, dass diese Beziehungen empfänglich für eine Modellierung zweiter Ordnung sind, und dass die Abschätzungen der Moden der Veränderung, gegeben durch die Ensembles, durch die Auswahl von Bildern vorgespannt sein werden. Somit erlaubt die Erfindung die Entfernung der verunreinigenden Varianz aus den nicht-orthogonalen Abschätzungen der Unterräume, und auch die Verwendung der größtmöglichen Anzahl von Bildern. Dies wird durch Verwendung der Differenzen in der Varianz auf den Prinzipal-Komponenten, die aus den verschiedenen Ensembles extrahiert werden, durchgeführt.
Unter der Annahme, dass die Ensembles vorherrschend die beabsichtigten Typen der Varianz codieren, sollten die Eigenwerte für die 'Signal'-Komponenten der Varianz größer als diejenigen der 'Rausch'-Komponenten der Varianz sein. Die 'Signal'-Komponenten der Varianz sollten auch etwas orthogonaler zueinander sein als die 'Rausch'-Komponenten, und sollten natürlich weniger durch geringfügige Änderungen in den Ensembles, die sie erzeugen, sein.
Die Erfindung ermittelt verbesserte Werte der Varianz-Komponenten durch Codieren von Bildern auf übererschöpfenden Mehrfach-Unterräumen proportional zu deren Varianz, dann durch Approximieren der Bilder auf den getrennten Unterräumen, und durch Neuberechnen der mehreren Räume. Dieser Prozess wird iteriert, um einen Satz von stabilen und relativ orthogonaleren Unterräumen zu ermitteln, die nur die gewünschten Merkmale codieren.
Wenn n_s Unterräume verwendet werden, wird jeder, beschrieben durch Eigenvektoren Φ^(j) mit den zugehörigen Eigenwerten λ^(j) für ein gegebenes q¹ der Projektion aus den kombinierten Unterräumen, folgendermaßen gegeben:
mit den Randbedingungen, dass
minimiert wird. Wenn somit M die Matrix ist, die durch Verketten von Φ^{(j=1, 2 ...)} gebildet wird, ist und D die Diagonalmatrix von λ^{(j=1, 2 ...)} ist, dann gilt: w = (DMTM + 1)–1DMT(q – q) (6)und dies ergibt auch eine projizierte Version des Gesichts: q = (DMT)–1(DMTM + 1)w + q (7)mit w_{1 =}0 für diejenigen Unterräume, die nicht benötigt werden.
Die erste Stufe einer Implementierung der Erfindung bestand darin, das Gesamtmittel von jedem Gesicht zu subtrahieren, um so sicherzustellen, dass das Mittel von jedem Unterraum so nahe auf null wie möglich war. Getrennte Prinzipal-Komponenten-Analysen (PCAs) wurden dann für die Bildsätze durchgeführt, wobei jegliche weitere Differenz zwischen der Gruppe und dem gesamten Mittel beseitigt wurde. Die Kovarianz-Matrizen für die Identität- und Beleuchtungs-Unterräume wurden folgendermaßen berechnet
die Pose und der verwendete Ausdruck
wobei n₀ die Anzahl von Beobachtungen pro Person, und n_p die Anzahl von Personen, und q das Mittel der Person i ist. Obwohl sämtliche Eigenvektoren, die nach dem Identitäts-, dem Beleuchtungs-, und dem Ausdruckssatz impliziert sind, verwendet wurden, wurden nur die zwei am meisten variablen aus dem Posensatz extrahiert.
Die Eigenvektoren wurden kombiniert, um M und die projizierte Version für jedes Gesicht auf jedem Unterraum, gefunden unter Verwendung der Gleichungen 6 und 7, zu bilden, um die Projektionen q'_j des Gesichts q für den Unterraum j zu ergeben. Diese Prozedur lockert die verwendbare Variation. Z. B. ist es unwahrscheinlich, dass die Identitätskomponente der Ausdrucks- und Posen-Bilder genau durch den Identitäts-Satz alleine codiert werden. Somit wurde die volle Projektion q' berechnet, und das aufgezeichnete Bild r_j enthielt eine nicht proportionale Fehlerkomponente:
Dies ergab vier Ensembles, mit jeweils 690 Bildern. Weitere vier PCAs wurden für die aufgezeichneten Bilder (alle unter Verwendung von Gleichung 8) ausgeführt, wobei die gleiche Anzahl von Komponenten wie bei der vorangehenden PCA für die Beleuchtungs-, Posen- und Ausdrucks-Unterräume und sämtliche nicht-null-Komponenten für den Identitäts-Unterraum extrahiert wurden. Diese bildeten eine neue Abschätzung von M und die ursprünglichen Gesichter reprojiziert auf diese Abschätzung der zweiten Ebene der Unterräume ergaben eine Abschätzung dritten Grades usw. Das abschließende Ergebnis in Bezug auf die Identitätsbilder ist in 4 gezeigt, die die ersten zwei Dimensionen des Identitäts-Gesichtsraums (von links –2s:d:, das Mittel +2s:d:) zeigt. Die Eigengesichter unterscheiden sich nur nach der Identität, wobei der Bereich davon erhöht worden ist. Im Vergleich mit denjenigen in 1 scheinen die Gesichtsdimensionen die gleichen Identitäten aufzuweisen, sind aber hinsichtlich des Ausdrucks, der Pose und der Beleuchtung normalisiert.
Da dem Identitätsraum erlaubt wurde, die Anzahl von Eigengesichtern zu verändern, während die anderen fest waren, tendierte irgendwelches Rauschen, das in dem System vorhanden ist, vermeidbar sich in dem Identitätsraum zu akkumulieren und würde eine Gesichtserkennung verringern, wenn ein Mahalanobis-Maß genommen werden würde. Sobald sich das System stabilisiert hatte, wurde somit eine abschließende PCA für
für die Identitäts-Projektionen des vollständigen Satzes von Bildern angewendet, wobei 97% der Varianz codiert wurde. Dies erlaubte eine abschließende Drehung, um eine Personenzwischenvarianz zu maximieren, wobei die Identitätseigenvektoren von 497 auf 153 verringert wurden. Diese gedrehten Eigengesichter wurden nur für eine Erkennung verwendet.
Eine Konvergenz des Verfahrens wurde durch Verwendung der Mahalanobis-Abstände zwischen sämtlichen Bildern auf jedem der Unterräume abgeschätzt. Eine Pearson-Produkt-Moment-Korrelation wurde zwischen den Abständen von sukzessiven Iterationen genommen und erlaubte eine Konvergenz auf die Maschinengenauigkeit, obwohl in der Praxis ein geringfügig kleinerer Wert die gleichen Ergebnisse mit verringerter Verarbeitungszeit erzielen würde. Das Verfahren gab einen relativ glatten Satz von Korrelationskoeffizienten, wie in 5 gezeigt, die auf ungefähr sieben Iterationen konvergieren (5 zeigt Änderungen in den Korrelationen zwischen den Mahalonobis-Abständen, die sämtliche Bilder auf dem Mehrfachraum zwischen der Iteration n und n – 1 trennen). Da nur 99,99% der Varianz in dem Ensemble Probleme mit einer numerischen Genauigkeit vermeidet, wurde eine praktische Konvergenz mit der vierten Iteration erzielt.
Da die Iterationen den Einschluss von Information beinhalteten, die bei der vorangehenden Iteration nicht codiert wurden, sollte erwartet werden, dass die Differenz zwischen den ursprünglichen und projizierten Bildern abnehmen sollte. Dies sollte sowohl auf das Ensemble als auch auf Nicht-Ensemble-Bilder zutreffen, da die Eigengesichter bessere Repräsentanten werden.
Dies wurde durch Projizieren der Bilder durch die kombinierten Räume (unter Verwendung der Gleichungen 6 und 7) und Messung der Größe der Fehler getestet. Dies wurde sowohl für die Ensemble bzw. Gruppen-Bilder als auch für einen großen Testsatz durchgeführt (der als 'Manchester' bezeichnet wurde), der zuerst in [A. Lanitis, C. J. Taylor, und T. F. Cootes. An automatic face identification system using flexible appearance models. British Machine Vision Conference, Seiten 65–74, 1994] verwendet wurde. Dieser bestand aus 600 Bildern von 30 Personen, aufgeteilt in eine Hälfte: eine Galerie von 10 Bildern pro Person und einen Satz von 10 Proben pro Person. Wie aus der 6 ersichtlich, nahmen in beiden Fällen die Fehler schnell auf einen vernachlässigbaren Pegel ab (Fehler nehmen schnell auf einen vernachlässigbaren Pegel in beiden Fällen ab. Fehler auf den individuellen Unterräumen bleiben hoch (4.000 bis 11.000)). Im Vergleich weisen die zwei Sätze mittlere Größen (Gesamtvarianz) von 11345 und 11807, gemessen auf den Erscheinungs-Modell-Eigengewichtungen, auf.
Der Grad der Normalisierung wurde für den Manchester-Satz gemessen, wobei die Identitätsgewichtungen unter Verwendung von Gleichung 6 berechnet und das Personenmittel w _j aufgefunden wurde. Eine bessere Entfernung einer verunreinigenden Varianz sollte die Varianz für jede Person, relativ zu diesem Mittel, verringern. Die Varianz
wurde berechnet. Die Ergebnisse dieses Tests in 7 zeigen eine stetige Abnahme in der Identitäts-Unterraum-Varianz (7 zeigt die mittleren Personeninnen-Varianzen für die verschiedenen Unterräume als eine Funktion der Iterationsanzahl). Die einzige Ausnahme dazu ist der Wert für die Iteration zwei; dies ist dahingehend ungewöhnlich, dass ein großer Anstieg in der Anzahl von Dimensionen vorhanden ist, ohne eine Gelegenheit, diese Variation in die anderen Unterräume neu zu verteilen.
Die Ergebnisse einer Projektion der Gesichter in die anderen Unterräume sind gezeigt, wie auch die Varianz in dem Erscheinungsmodell. Wie erwartet wird, sind diese alle höher als der Identitäts-Unterraum-Wert, und zeigen keine ausgeprägten Abnahmen mit dem Fortschreiten der Iterationen. In der Tat steigt die Posen-Varianz geringfügig an.
Eine Erkennung wurde ebenfalls für den Manchester-Satz getestet, wobei die Bilder auf dem abschließenden gedrehten Raum codiert wurden. Das Erscheinungs-Modell (Appearance-Model), welches zum Bereitstellen von Entsprechungen verwendet wurde, ergab nicht vollständig genaue Positionen, wobei die Erkennung absinkt. Die gepoolte Kovarianz-Matrix wurde unter Verwendung der Gleichung 9 auf der w_i gefunden. Dies erlaubte d2i→k = (w i – wk)TC–1W (w i – wk) (13)zu bestimmen, wobei 1 ≤ k ≤ (n₀ × n_p) ist, um Mahalanobis-Abstände für die mittleren Bilder zu ergeben. Eine Erkennung wurde bewertet, wobei das kleinste d die gleiche Identität für i und k aufwies. Die Ergebnisse sind in 8 gezeigt (was Erkennungsraten für eine Euclid-sche Durchschnitts-Bild-Anpassung zeigt), und zeigen, dass relativ zu der Basisbedingung eine Erkennung sich um ungefähr ein Prozent bei der Iteration 4 verbessert. Auch gezeigt sind die Effekte der Projektion der Testbilder durch den vollständigen Raum, um die Beleuchtung-Pose-Ausdruck-normalisierte Version zu ermitteln, und dann codiert auf dem abschließenden gedrehten Raum. Dies erzeugte nicht eine Verbesserung der Erkennung. Es sei hier darauf hingewiesen, dass zwingende, nicht-funktionale Korrelationen zwischen Parametern auf unterschiedlichen Unterräumen für Personen (z. B. eine konsistente Tendenz nach oben oder nach unten zu sehen) vorhanden sein können, deren Weglassung gegenüber theoretisch bevorzugten Eigengesichtern abgewogen werden muss.
Sobald ein genaues Codierungssystem für Gesichter erzielt worden ist, besteht das Hauptproblem darin, sicherzustellen, dass nur ein nützlicher Untersatz der Codes für irgendeine gegebene Manipulation oder Messung verwendet werden. Dies ist eine besonders schwierige Aufgabe, da mehrere nicht-orthogonale Erläuterungen für irgendeine gegebene Gesichtskonfiguration vorhanden sind. Zusätzlich ist es typischerweise der Fall, dass nur ein relativ kleiner Abschnitt der sehr großen Datenbank, die benötigt wird, in dem vollen Bereich von Bedingungen und mit den Labels, die zum Ausführen einer einfachen linearen Extraktion benötigt werden, vorhanden sein wird.
Die Erfindung beseitigt diese Probleme durch Verwendung eines iterativen Recodierungsverfahrens, welches sowohl die Varianz der als auch die Kovarianz zwischen den Unterräumen berücksichtigt, die extrahiert werden können, um Sätze von Gesichtern aufzuspannen, die sich in unterschiedlicher Weise unterscheiden. Dies ergibt 'sauberere' Eigengesichter, mit einer geringeren Varianz innerhalb der geeigneten Gruppe und mit einer höheren Varianz für eine ungeeignete Gruppe. Beide dieser Tatsachen reflektieren eine größere Orthogonalität zwischen den Unterräumen. Zusätzlich wurde eine Erkennung für einen vollständig nicht verbundenen Testsatz verbessert, obwohl marginal. Die Erfindung kann zum Nachverfolgen, Lippenlesen und einen Transfer einer Identität von einer Person auf eine andere angewendet werden.

Claims

Verfahren zum Bestimmen von Gesichts-Unterräumen, wobei das Verfahren umfasst: a. Erzeugen einer ersten Reihe von anfänglichen Bildern, bei denen eine erste vorgegebene Gesichtseigenschaft modifiziert ist, b. Erzeugen einer zweiten Reihe von anfänglichen Bildern, bei denen eine zweite vorgegebene Gesichtseigenschaft modifiziert ist, c. Kodieren jeder Reihe von Bildern in Übereinstimmung mit der Varianz der Bilder, um einen abgeschätzten Unterraum für jede Gesichtseigenschaft zu ermitteln, d. Verketten der Unterräume, um einen einzelnen übererschöpfenden Raum bereitzustellen, e. Approximieren jedes Bilds der ersten und der zweiten Reihen auf dem übererschöpften Raum, um approximierte Versionen von jedem Bild auf jedem abgeschätzten Eigenschafts-Unterraum zu ermitteln, f. Erzeugen von insgesamt approximierten Versionen jedes Bilds auf dem gesamten übererschöpfenden Raum, g. Vergleichen der gesamten approximierten Version von jedem Bild mit dem anfänglichen Bild, um einen Fehlerwert für jedes Bild zu bestimmen, h. Unterteilen des Fehlerwerts für jedes Bild in einen Unterfehler für jeden abgeschätzten Eigenschafts-Unterraum proportional zu der Varianz dieses Unterraums, i. Kombinieren jedes Unterfehlers für jedes Bild mit der approximierten Version dieses Bilds auf dem abgeschätzten Eigenschafts-Unterraum, um eine neue aproximierte Version in dem Eigenschafts-Unterraum für jedes Bild zu ermitteln, und j. Kodieren der neuen approximierten Versionen der Bilder in Übereinstimmung mit deren Varianz, um neue abgeschätzte Unterräume zu ermitteln.
Verfahren zum Bestimmen von Gesichts-Unterräumen nach Anspruch 1, ferner umfassend das Approximieren jedes Bilds auf den neuen abgeschätzten Unterräumen, wie in den Schritten 'a' bis 'j' beschrieben, und dann das Wiederholen der Schritte 'd' bis 'j', bis die Unterräume sich stabilisiert haben.
Verfahren zum Bestimmen von Gesichts-Unterräumen nach Anspruch 1 oder Anspruch 2, wobei drei oder mehr Reihen von Bildern erzeugt werden, wobei eine andere vorgegebene Gesichtseigenschaft in jeder Reihe modifiziert wird.
Verfahren nach Anspruch 3, wobei die vorgegebenen Gesichtseigenschaften als wenigstens eine der Identität, des Ausdrucks, der Pose, der Beleuchtung und des Alters kategoriert werden.
Verfahren nach irgendeinem der Ansprüche 1 bis 4, wobei wenigstens eine weitere Reihe von Bildern erzeugt wird, wobei eine weitere vorgegebene Gesichtseigenschaft in der Reihe modifiziert wird.