-
Die Erfindung betrifft ein Verfahren zur Erzeugung von biometrischen Daten zur Personenerkennung auf der Basis der Augenregion der Person.
-
Die biometrische Identifikation von Personen aufgrund von Gesichtserkennung ist bekannt. Digitale Aufnahmen eines Gesichts können beispielsweise mit einer Referenz-Fotografie des Gesichts abgeglichen werden, die z. B. nach den Vorgaben der ICAO (Internationale Zivilluft-fahrt-Organisation) gemäß dem biometrischen Standard ICAO 9303 (Photograph Guideline) aufgenommen wurde. Auch die Personenerkennung auf der Grundlage nicht normierter Bilder findet zunehmend Verbreitung. Der Abgleich zwischen digitaler Aufnahme und Foto wird routinemäßig z. B. an vielen Grenzstationen vorgenommen. Es ist auch möglich, die digitale Aufnahme einer Person mit einer in einer Datenbank gespeicherten Aufnahme derselben Person abzugleichen, um dieser Person Zugang zu Anlagen, Rechnern, Anwendungen im Internet und dergleichen zu gewähren. Ein Verfahren zur biometrischen Personenerkennung ist beispielsweise in der
DE 198 47 261 A1 beschrieben. Biometrische Personenerkennungsverfahren gelten als besonders zuverlässig, weil sie personenspezifische Merkmale verwenden.
-
In jüngerer Vergangenheit wurden Personenerkennungs-Verfahren entwickelt, die nicht auf der Erkennung der Merkmale eines gesamten Gesichtes beruhen, sondern nur die Augenpartie der Personen berücksichtigen. Die Nutzung der Augenregion (Periokular-Region) für die Personenerkennung führt auch deshalb häufig zu guten Ergebnissen, weil in diesem Bereich des Gesichtes üblicherweise wenig Glanzflächen auftreten, anders als bei zum Beispiel Stirn, Backen und Nase. Eine umfangreiche Untersuchung der Leistungsfähigkeit von Erkennungsverfahren auf der Basis des gesamten Gesichtes und auf der Basis der Augenregion wurde von Dr. P. Jonathon Phillips am National Institute of Standards and Technology, NIST, durchgeführt. Die Ergebnisse sind unter https://www.nist.gov/programs-projects/face-and-ocular-challenge-series-focs dargestellt und zeigen, dass die Erkennungsrate stark abhängig ist von den Beleuchtungsverhältnissen des Gesichtes und von der Konstanz des Gesichtsausdrucks. Hierzu wurde ein so genannter Good, Bad and Ugly (GBU) Test entwickelt, der die Erkennungsrate bei guten, mäßigen und schlechten Bilderpaaren (Referenzbild und aktuelles Bild) vergleicht. Die Prüfparameter der Personenerkennung wurden in dem Test so eingestellt, dass mit einem gegebenen Erkennungsverfahren die Falschakzeptanzrate oder FAR (auch false acceptance rate oder false accept rate) bei 0,001 lag.
-
Die FAR beschreibt die Wahrscheinlichkeit bzw. relative Häufigkeit, mit der eine Person erkannt wird, obwohl es sich nicht um die richtige Person handelt. Die FAR wird allgemein als wichtigstes Kriterium für die Qualität eines biometrischen Erkennungsverfahrens angesehen. Eine FAR von 0,001 bedeutet, dass im statistischen Mittel von 1000 unberechtigten Zugangsversuchen einer zum Erfolg führen wird.
-
Die Untersuchungen von Phillips haben ergeben, dass selbst die besten Personenerkennungsverfahren, welche die Gesichtserkennung benutzen, bei einer FAR von 0,001 eine positive Erkennungsrate von 0,98 bei guten Beleuchtungsverhältnissen und einer guten Übereinstimmung der Bilderpaare (Good), von 0,80 bei mäßigen Beleuchtungsverhältnissen und einer mäßigen Übereinstimmung der Bilderpaare (Bad) und von 0,15 bei schlechten Beleuchtungsverhältnissen und einer schlechten Übereinstimmung der Bilderpaare (Ugly) haben. Im Rahmen dieser Tests wurde auch die Leistungsfähigkeit der Personenerkennung nur auf der Basis der Augenregion („periocular recognition”) untersucht. Die Erkennungsraten waren deutlich schlechter und lagen in der Größenordnung von 47%, 17% und 5% für die Testszenarien Good, Bad und Ugly. Für die Personenerkennung auf der Basis der Augenregion, insbesondere bei mäßigen und schlechten Bedingungen besteht somit Verbesserungsbedarf.
-
Die
US 2003/0223623 A1 beschreibt, bei biometrischen Verfahren Teile eines Gesichts zu spiegeln und zusammenzusetzen.
-
Die Erfindung stellt sich die Aufgabe, ein Verfahren zur Personenerkennung anzugeben, das insbesondere bei mäßigen und schlechten Beleuchtungsverhältnissen bessere Erkennungsraten erzielt als der Stand der Technik.
-
Diese Aufgabe wird durch ein Verfahren mit den Merkmalen von Patentanspruch 1 gelöst. Ausgestaltungen der Erfindung sind in den abhängigen Ansprüchen angegeben.
-
Das erfindungsgemäße Verfahren basiert auf einem ersten Bild einer ersten Augenregion einer Person und einem zweiten Bild einer zweiten Augenregion der Person, wobei die erste Augenregion eines der Augen der Person, zum Beispiel das rechte Auge, enthält und die zweite Augenregion das andere Auge der Person, zum Beispiel das linke Auge, enthält; eines der Bilder wird gespiegelt, und das gespiegelte und das nicht gespiegelte Bild werden im Ortsraum und/oder im Merkmalsraum kombiniert, um ein Template eines überlagerten Bildes zu erzeugen. Das Template enthält biometrische Merkmale zur Personenerkennung.
-
Insbesondere kann das Template erzeugt werden, indem das nicht gespiegelte erste Bild und das gespiegelte zweite Bild überlagert werden, um ein überlagertes Bild im Ortsraum zu erzeugen, und indem das überlagerte Bild einer Merkmalsextraktion unterzogen wird, um eine erste Template-Merkmalsgruppe zur Personenerkennung im Merkmalsraum zu erzeugen. Alternativ oder zusätzlich können das nicht gespiegelte erste Bild und das gespiegelte zweite Bild durch Merkmalsextraktion verarbeitet werden, um eine erste Merkmalsgruppe und eine zweite Merkmalsgruppe zur Personenerkennung im Merkmalsraum zu erzeugen; und die erste Merkmalsgruppe und die zweite Merkmalsgruppe können zur Erzeugung einer zweiten Template-Merkmalsgruppe zur Personenerkennung im Merkmalsraum kombiniert werden. Die erste Template-Merkmalsgruppe und die zweite Template-Merkmalsgruppe können ferner zu einer dritten Template-Merkmalsgruppe kombiniert werden.
-
Das überlagerte Bild kann zum Beispiel durch Bildung der Mittelwerte der Pixel der Einzelbilder erzeugt werden. Auch die Merkmalsgruppen können durch Mittelwertbildung kombiniert werden.
-
Die Erfinder haben erkannt, dass durch das Spiegeln eines der Augen und das anschließende Überlagern des gespiegelten und des nicht gespiegelten Bildes, sei es im Merkmalsraum oder im Ortsraum, ein robusteres Template zur Personenerkennung erzeugt werden kann als bei der Einzelbetrachtung der beiden Augen. Die Erkennungsraten können, bei ansonsten unveränderten Bedingungen, gegenüber einem Prüfszenario, bei dem die beiden Augenregionen separat und ohne Spiegelung betrachtet werden, gesteigert werden. Dies gilt insbesondere für den Fall, dass das überlagerte Bild und die beiden Einzelbilder der Augen ausgewertet werden. Es hat sich gezeigt, dass das überlagerte Bild im Verhältnis zu den beiden Einzelbildern nicht redundant ist, sondern seine Hinzunahme die Erkennungsrate steigert.
-
Weiterhin hat sich gezeigt, dass durch das Spiegeln eines der Augen und die Auswertung des überlagerten Bildes Probleme vermieden werden können, die sich daraus ergeben, dass in der Praxis nicht immer bekannt ist, ob es sich bei der Abbildung eines Gesichtes um eine gespiegelte Version des Gesichtes handelt oder nicht. Zum Beispiel manche Webcams erzeugen gespiegelte Aufnahmen. Ist bei einer solchen Aufnahme die Spiegelung nicht bekannt, weiß das Personenerkennungssystem nicht, ob es das linke Auge in der Aufnahme mit dem linken Auge eines abgespeicherten Templates oder gespiegelt mit dem rechten Auge vergleichen soll. Dieses Problem wird durch die Erfindung gelöst, weil aus den beiden Bildern der beiden Augenregionen ein einziges Template erzeugt wird, das eine Überlagerung beider Augen repräsentiert, die unabhängig von Spiegelungen ist.
-
Die Bilder können vor dem Spiegeln bearbeitet werden, um gleich große Ausschnitte der Augenregionen zu erzeugen, die jeweils das eine bzw. das andere Auge der Person enthalten. Als Grundlage kann zum Beispiel eine Fotografie des Gesichts oder eines Gesichtsteils der Person dienen, in der die Augen und/oder die Iriden der Person lokalisiert werden, wobei gleich große Teilausschnitte der linken Augenregion und der rechten Augenregion um die Iriden herum gebildet werden, die dann als erstes Bild und als zweites Bild dienen.
-
Für die weitere Verarbeitung können die Bilder jeweils in N Teilbilder unterteilt werden, beispielsweise in 3×3 oder 5×5 oder 9×9 Teilbilder oder Felder.
-
Um durch das Kombinieren der beiden Bilder keine Verzerrung zu erzeugen, kann vor dem Kombinieren wenigstens eines der Bilder verschoben werden, so dass ein definierter Punkt jeder Augenregion in jedem der Bilder auf derselben Relativposition liegt. Es können auch beide Bilder relativ zu den Feldern, in die jedes Bild unterteilt ist, verschoben werden.
-
Vor dem Verschieben können Verschiebungsvektoren der N Teilbilder eines der Bilder relativ zu dem anderen der Bilder berechnet werden, beispielsweise durch Kreuzkorrelation oder durch einen SSD-Algorithmus.
-
Non-Patent Literatur 1: Bruce D. Lucas et al. beschreiben in ”An Iterative Image Registration Technique with an Application to Stereo Vision”, Proceedings of Imaging Understanding Workshop, 1981, ein Verfahren zum Lokalisieren eines Templates G(x) innerhalb eines Bildes F(x) unter Verwendung der L1-Norm und der L2-Norm und erläutern verschiedene Techniken der Korrelation, einschließlich den Sequential Similarity Detection-Algorithmus (SSD-Algorithmus).
-
Non-Patent Literatur 2: Optische Korrelationsverfahren, die bei der vorliegenden Erfindung zum Einsatz kommen können, sind auch in der Dissertation des Erfinders: R. Frischholz, „Beiträge zur Automatischen Dreidimensionalen Bewegungsanalyse” (ISBN3-8265-3733-5), Dissertation, Shaker Verlag, 1998, erläutert. Auf die Non-Patent Literatur 1 und 2, insbesondere auf die dortigen Erläuterungen der optischen Korrelationsmethoden wird ausdrücklich Bezug genommen.
-
Vor dem Kombinieren können die Bilder in Bezug auf ihre Helligkeit normiert oder angeglichen werden. Das überlagerte Bild kann durch Bildung des Mittelwertes der Pixel der überlagerten Einzelbilder gebildet werden.
-
Bei den Bildern handelt es sich vorzugsweise um Graustufenbilder. Sie können als nahezu beliebige Bild-Datei gespeichert sein, vorzugsweise in einem verlustlos komprimierten Format, wie PNG.
-
Die Merkmalsgruppen zur Personenerkennung können durch Verarbeitung des überlagerten Bildes oder der Einzelbilder zum Beispiel mit Gabor-Wavelets oder durch Extraktion lokaler Binär-Pattern erzeugt werden. Vorzugsweise werden mehrere Merkmale des überlagerten Bildes extrahiert, um einen Merkmalsvektor oder eine Merkmalsmatrix der jeweiligen Bilder zu erzeugen.
-
Der Einsatz von Gabor Wavelets zur Merkmalsextraktion ist zum Beispiel beschrieben in Non-Patent Literature 3: „Face Recognition Using Independent Gabor Wavelet Features”, Chengjun Liu, Harry Wechsler, AVBPA '01 Proceedings of the Third International Conference on Audio- and Video-Based Biometric Person Authentication, Seiten 20–25, Springer-Verlag London, UK ©2001, ISBN:3-540-42216-1. Es handelt sich dabei um ein Verfahren zur lokalen Transformation von Signalen aus dem Raumbereich in den Frequenzbereich. Liu und Wechsler haben gezeigt, dass gute Erkennungsraten erreicht werden können, wenn Gabor-Filter mit 5 verschiedenen Skalen und 8 verschiedenen Orientierungen für jede relevante Position angewandt werden. Auf die Non-Patent Literatur 3, insbesondere auf die dortigen Erläuterungen der Merkmalsextraktion wird ausdrücklich Bezug genommen.
-
Die Merkmale in dem ersten Bild, dem zweiten Bild und in dem überlagerten Bild werden vorzugsweise an für alle Bilder an gleichen Positionen extrahiert.
-
Die erste Template-Merkmalsgruppe, die zweite Template-Merkmalsgruppe und/oder die dritte Template-Merkmalsgruppe können zur Personenerkennung in einem Klassifikations-Algorithmus verarbeitet werden, um eine Person zu erkennen, deren Merkmale in einer Datenbank gespeichert sind.
-
Die Erfindung ist im Folgenden anhand von Ausführungsbeispielen erläutert. In den Figuren zeigen:
-
1 eine schematische Darstellung verschiedener Stufen eines Beispiels eines biometrischen Verfahrens;
-
2 ein Ablaufdiagramm eines Verfahrens zur Erzeugung biometrischer Daten zur Personenerkennung gemäß dem Beispiel der 1;
-
3 ein Ablaufdiagramm einer Abwandlung des Verfahrens der 2;
-
4 eine schematische Darstellung eines Systems zur biometrischen Personenerkennung;
-
5A bis 5C Beispiele von Bildern der linken Augenregion und der rechten Augenregion einer Person und eines überlagerten Bildes;
-
6 Beispielsbilder zur Erläuterung eines GBU-Testes.
-
1 zeigt schematisch verschiedene Stufen eines Beispiels eines Verfahrens zur Erzeugung biometrischer Daten zur Personenerkennung. Der Ablauf des Verfahrens ist auch mit Bezug auf
2 erläutert. In dem Beispiel wird in einem Schritt
20 eine Aufnahme
10 des Gesichts einer Person gemacht, die jedenfalls die Augen der Person enthält. Dies kann mit einer digitalen Kamera, wie der Kamera eines Smart-Devices, einer Überwachungskamera, einer Webcam oder ähnlichem, getan werden. Die Aufnahme wird an eine Recheneinrichtung übertragen, beispielsweise einen PC, eine Workstation oder eine verteilte Rechenumgebung, und z. B. als PNG-Datei oder TIFF-Datei, BMP-Datei oder dergleichen gespeichert. Die weitere Verarbeitung der Aufnahme kann auf der Grundlage zum Beispiel des PNG-Formates in der Recheneinrichtung erfolgen, ohne Beschränkung hierauf. Die Augen werden in Schritt
22 in der Aufnahme
10 lokalisiert, indem z. B. die Iriden oder ein anderes bekanntes Merkmal gefunden wird, wobei Verfahren zur Lokalisierung von Augen grundsätzlich bekannt sind; s. z. B. die
DE 198 47 261 A1 .
-
Um das linke und das rechte Auge werden in Schritt 24 gleich große Teilausschnitte der Aufnahme 10 gebildet, um ein erstes Bild 12 einer ersten Augenregion, die z. B. das linke Auge enthält, und ein zweites Bild 14 der zweiten Augenregion, die z. B. das rechte Auge enthält, zu erzeugen. Die Bilder können weiterhin als PNG Dateien vorliegen. Die Teilausschnitte werden so gewählt, dass sie jeweils möglichst das gesamte Auge enthalten sowie charakteristische Merkmale um das Auge herum, wie z. B. das Augenlid. Jedes Bild kann beispielsweise eine Auflösung von etwa 3000×2000 Pixeln aufweisen. Vorzugsweise werden Graustufenbilder verarbeitet.
-
Eines der beiden Bilder 12, 14, in dem Beispiel das Bild 14 des rechten Auges, wird in Schritt 26 gespiegelt, um ein gespiegeltes Bild 14' zu erzeugen.
-
Vor oder nach dem Spiegeln können die beiden Bilder 12, 14 oder 14' hinsichtlich ihrer Helligkeit normiert oder angeglichen werden, wobei dieser Schritt 28 nicht notwendig in dieser Reihenfolge vorgesehen sein muss. Für die Normierung wird z. B. für jedes der zwei Bilder ein Mittelwert ihrer Helligkeit ermittelt, und die Helligkeit der beiden Bilder wird so manipuliert, dass diese die gleiche oder eine ähnliche mittlere Helligkeit und/oder die gleiche oder eine ähnliche Varianz aufweisen. Zusätzlich oder alternativ können die Bilder so vorverarbeitet werden, dass ihre minimalen und maximalen Helligkeitswerte angeglichen werden. Bei einer Min-Max-Normierung zum Beispiel wird jeweils der kleinste und der größte auftretende Helligkeitswert bestimmt. Jeder Pixel wird einzeln normiert, indem das Minimum subtrahiert und dann mit 255/(Maximum – Minimum) multipliziert wird. So wird erreicht, dass jedes Bild den gesamten Grauwertbereich von [0 ... 255] ausfüllt. Dieser Bearbeitungsschritt dient dazu, die Lichtverhältnisse der beiden Bilder 12, 14 oder 14' möglichst gut aneinander anzupassen.
-
Das Bild 12 des linken Auges und das gespiegelte Bild 14' des rechten Auges werden in Schritt 30 in N Felder unterteilt, in dem gezeigten Beispiel in 3×3 Felder, wobei jedes Feld ein Teilbild enthält und die Felder die gleiche Größe oder unterschiedliche Größen haben können. Die Aufteilung der Bilder in mehrere Felder kann genutzt werden, um einen Versatz der jeweiligen Augen innerhalb ihrer Bilder zu ermitteln. In dem Beispiel der 1 hat jeweils das mittlere der 3×3 Felder eine Höhe und eine Breite entsprechend der halben Höhe und der halben Breite des Bildes 12 oder 14'. Wenn die Höhe der Bilder 12, 14' H und die Breite der Bilder 12, 14' B ist, dann ist somit die Höhe des mittleren Feldes H/2 und seine Breite B/2. Die Ecken des mittleren Feldes sind jeweils H/4 und B/4 von den Ecken des entsprechenden Bildes entfernt. Diese mittleren Felder werden bei dem Beispiel der 1 herangezogen, um in Schritt 32 eine mögliche Verschiebung des linken Auges zu dem rechten Auge innerhalb ihrer jeweiligen Bilder 12, 14' zu ermitteln.
-
Der Verschiebungsvektor des jeweiligen mittleren Teilbildes oder Feldes von Bild
12 zu Bild
14' kann z. B. durch Kreuzkorrelation oder durch einen SSD-Algorithmus ermittelt werden. Solche Algorithmen sind grundsätzlich bekannt und beispielsweise in Non-Patent Literatur 1 und 2 beschrieben, auf die Bezug genommen wird. Der Verschiebungsvektor kann sich auf eine Gesamtverschiebung eines der Augen relativ zu dem anderen Auge innerhalb des gesamten Bildes
12,
14' oder innerhalb eines Teilbildes oder mehrere Teilbilder beziehen; oder er kann die Verschiebung einzelner Teile des einen Auges relativ zu dem anderen Auge abbilden, beispielsweise nach Art eines optischen Flussverfahrens, das für jedes Bildelement einen Verschiebungsvektor oder Flussvektor und hieraus ein Verschiebungsvektorfeld oder Flussvektorfeld ableitet. Die den optischen Flussverfahren zugrunde liegende Theorie ist in der
DE 10 2011 054 658 A1 beschrieben. Auf diese Schrift wird in Bezug auf die Erläuterung der optischen Flussverfahren und der Ableitung eines Verschiebungsvektorfeldes Bezug genommen. Insofern gilt der Inhalt durch Bezugnahme in dieser Anmeldung aufgenommen.
-
Nach Ermittlung eines Verschiebungsvektor oder eines Verschiebungsvektorfeldes zwischen dem linken Auge und dem rechten Auge werden das erste Bild 12 und das zweite, gespiegelte Bild 14' in Schritt 34 so verschoben, dass sie deckungsgleich oder weitgehend deckungsgleich sind. Hierzu kann zum Beispiel jedes der N Felder jeweils um die Hälfte des Verschiebungsvektors, oder des Verschiebungsvektorfeldes, in entgegengesetzter Richtung zu diesem verschoben werden, um den Versatz der beiden Augen in den Bildern 12, 14' auszugleichen. In diesem Beispiel wird jedes der N Felder des ersten Bildes 12 um die Hälfte des Verschiebungsvektor, in entgegengesetzter Richtung, verschoben; und ebenso wird jedes der N Felder des zweiten Bildes 14' um die Hälfte des Verschiebungsvektor, in entgegengesetzter Richtung, verschoben. Hieraus ergeben sich die korrigierten Bilder 12' und 14'', in denen die beiden Augen so angeordnet sind, dass jeweils die Iris im Zentrum des mittleren Feldes liegt. In diesem Stadium ist die Vorverarbeitung der Bilder abgeschlossen, und das nicht gespiegelte erste Bild 12 und das gespiegelte zweite Bild 14' können im Ortsraum und/oder Merkmalsraum kombiniert werden, um ein Template zur Personenerkennung zu erzeugen.
-
Gemäß einem ersten Aspekt, der in 2 dargestellt ist, werden die korrigierten Bilder 12', 14'' im Schritt 36 im Ortsraum überlagert, um ein kombiniertes Bild 16 zu bilden. Die Überlagerung kann beispielsweise durch Mittelwertbildung jeder der Pixel der beiden korrigierten Bilder 12', 14'' realisiert sein. Aus dem kombinierten Bild 16 können Merkmale zur Personenerkennung extrahiert werden, wobei die Merkmale in Schritt 38 dazu verwendet werden, einen ersten Template-Merkmalsvektor der Grundlage des überlagerten Bildes zu erzeugen.
-
Die Merkmale können sich zum Beispiel beziehen auf horizontale und/oder vertikale Kanten, Kanten, die zur horizontalen in einem bestimmten Winkel verlaufen, beispielsweise 45°, die Richtung und/oder der Kontrast verschiedener Kanten und ähnliche Merkmale, die aus der biometrischen Personenerkennung grundsätzlich bekannt sind. Die Merkmale können beispielsweise durch Anwendung eines Faltungsfilters auf das kombinierte Bild 16, zum Beispiel unter Anwendung von Gabor-Wavelets, extrahiert werden, wie aus dem Stand der Technik grundsätzlich bekannt ist. Auf die Non-Patent Literature 3 wird Bezug genommen. Die Ermittlung der Positionen und Charakteristika der zu extrahieren Merkmale kann empirisch, analytisch oder durch Trial und Error erfolgen.
-
Auch andere Extraktionsverfahren können angewandt werden, zum Beispiel die Erkennung lokaler binärer Muster (LBP; Local Binary Pattern); siehe hierzu z. B. T. Ojala, M. Pietikäinen, and D. Harwood (1996), ”A Comparative Study of Texture Measures with Classification Based on Feature Distributions”, Pattern Recognition, vol. 29, pp. 51–59.
-
Die extrahierten Merkmale können in Form des ersten Template-Merkmalsvektors gespeichert und später für die Personenerkennung verwendet werden. Die Speicherung kann in der Recheneinrichtung, welche die Bildverarbeitung durchgeführt hat, erfolgen und/oder in einer separaten Datenbank.
-
Zusätzlich oder alternativ können Merkmale aus den Bildern 12', 14'' zunächst im Ortsraum extrahiert und in den Merkmalsraum transformiert werden, um Merkmalsvektoren zu bilden, die dann im Merkmalsraum kombiniert werden. Die Merkmalsextraktion kann grundsätzlich genauso ablaufen, wie oben in Bezug auf das überlagerte Bild beschrieben. Dies erfolgt vorzugsweise an gleichen Positionen in den jeweiligen Bildern. Diese Alternative ist in 2 durch den Abzweig „A” dargestellt, wobei das Verfahren dann in dem Ablaufdiagramm der 3 fortgesetzt wird. In den Schritten 40 und 42 wird jeweils ein erster Merkmalsvektor auf der Grundlage des ersten korrigierten Bildes 12' des linken Auges und ein zweiter Merkmalsvektor der Grundlage des gespiegelten und korrigierten zweiten Bildes 14'' des rechten Auges durch Merkmalsextraktion erzeugt, im Wesentlichen wie oben für das überlagerte Bild 16 beschrieben. Der erste Merkmalsvektor und der zweite Merkmalsvektor können zur Erzeugung eines zweiten Template-Merkmalsvektoren kombiniert werden, beispielsweise durch Summieren der einzelnen Vektorkomponenten oder Mittelwertbildung in Schritt 44.
-
Die Schritte 40 bis 44 können alternativ oder zusätzlich zu den Schritten 36 und 38 ausgeführt werden. Wenn sowohl ein erster Template-Merkmalsvektor in Schritt 38 als auch ein zweiter Template-Merkmalsvektor in Schritt 44 erzeugt wird, so können die beiden Template-Merkmalsvektoren in Schritt 46 zu einem dritten Template-Merkmalsvektor kombiniert werden. Wird nur die Alternative des Zweigs „A” mit den Schritten 40 bis 44 gewählt, so kann der Schritt 46 des Kombinierens entfallen. Gleiches gilt wenn nur der Zweig „B” mit den Schritten 36 und 38 realisiert wird. Der Schritt 46 des Kombinierens kann in dem Zweig „C” umgangen werden.
-
Anschließend können der erste Template-Merkmalsvektor, der zweite Template-Merkmalsvektor und/oder der dritte Template-Merkmalsvektor im Schritt 48 gespeichert werden. Die Speicherung kann in der Recheneinrichtung, welche die Bildverarbeitung durchgeführt hat, erfolgen und/oder in einer separaten Datenbank. Ein Merkmalsvektor im Sinne dieser Offenbarung kann auch mehrdimensional sein und beispielsweise eine Merkmalsmatrix umfassen.
-
Die Template-Merkmalsvektoren, welche ermittelt wurden, oder ein Teil derselben kann zur Personenerkennung einem Klassifikator oder Klassifikationsverfahren zugeführt werden. Das Klassifikationsverfahren kann in derselben oder einer anderen Recheneinrichtung ablaufen und vergleicht einen aktuellen Merkmalsvektor mit einem oder mehreren gespeicherten Template-Merkmalsvektoren.
-
Klassifikationsverfahren sind grundsätzlich bekannt. Beispielsweise kann zur Personenerkennung das Gesicht einer Person mit einer Kamera aufgenommen und wie oben in Bezug auf die Template-Merkmalsvektoren beschrieben verarbeitet werden, um einen aktuellen Merkmalsvektor zu erzeugen. Die Merkmalsextraktion kann sowohl zur Erzeugung und Abspeicherung von Merkmalsvektoren als Templates einer oder mehrerer Personen zur Hinterlegung in einer Datenbank als auch zur Erzeugung eines aktuellen Merkmalsvektors zur Personenerkennung grundsätzlich gleich ablaufen. Der aktuelle Merkmalsvektor kann mit einem oder mehreren gespeicherten Template-Merkmalsvektoren verglichen werden. Hierzu werden Klassifikationsverfahren eingesetzt, beispielsweise gemäß dem minimalen Abstand, wobei eine Differenz zwischen dem aktuellen Merkmalsvektor und allen gespeicherten Template-Merkmalsvektoren gebildet wird und der Template-Merkmalsvektor mit der geringsten Differenz oder dem geringsten Abstand zu dem aktuellen Merkmalsvektor „gewinnt”. Anstelle der Differenz kann auch der Differenzbetrag
ausgewertet werden.
-
Weiterhin können in einem alternativen Verfahren der mittlere Abstand des aktuellen Merkmalsvektors zu den gespeicherten Template-Merkmalsvektoren berechnet und mit einem Schwellwert verglichen werden. Gemäß einem weiteren Beispiel kann ein Nächster-Nachbar-Klassifikator oder ein Least-Square-Fit-Verfahren zum Einsatz kommen. Auch Kreuzkorrelationsverfahren und SAVD(Sum of Absolute Value of Differences)-Verfahren können zum Einsatz kommen. Diese sind dem Fachmann grundsätzlich bekannt und beispielsweise in der
DE 10 2011 054 658 A1 umrissen. Prinzipiell kann ein beliebiger Klassifikator verwendet werden. Weit verbreitete Klassifikatoren sind unter anderem der Nächster-Nachbar-Klassifikator, Support Vector Machines SVM, Polynom-Klassifikatoren, und Künstliche Neuronale Netze, um nur eine einige Beispiele zu nennen.
-
Biometrischen Systeme enthalten generell Komponenten zur Datenaufnahme, Vorverarbeitung, Merkmalsextraktion, Klassifikation und Referenzbildung. Ein Beispiel eines solchen Systems ist in 4 gezeigt. In dem oben beschriebenen Beispiel kann die Datenaufnahme durch eine Kamera, wie eine Web-Kamera oder eine Kamera eines Smart-Gerätes erfolgen. Diese wird allgemein als Sensor 54 des biometrischen Systems bezeichnet. Die Sensordaten werden vorverarbeitet, zum Beispiel normalisiert, um Bilder der Augenregion eine Person zu erhalten, deren Merkmale in einer Datenbank hinterlegt werden sollen oder die erkannt werden soll. Die Bilder können in einer Bilder-Datenbank 56 dauerhaft oder vorübergehend gespeichert werden. Die erfassten und gegebenenfalls gespeicherten Bilder können durch Merkmalsextraktion verarbeitet, beispielsweise wie oben beschrieben, um einen oder mehrere Merkmalsvektoren oder Merkmalsmatrizen 58 für jede Person abzuleiten, wie oben erläutert. Dies kann grundsätzlich in einem Datenverarbeitungssystem, wie einem Mikroprozessor oder auch einer Workstation oder in einer verteilten Datenverarbeitungsstruktur erfolgen. Die Merkmalsvektoren oder Merkmalsmatrizen können in einer Referenz- oder Template-Datenbank 60 abgelegt werden. Sie können ferner einem Personenerkennungs-Prozess 62 zugeführt werden, wobei dieser Prozess auch Zugriff auf Merkmalsvektoren oder Merkmalsmatrizen in der Datenbank 60 hat. Der Personenerkennungs-Prozess 62 kann eine Identifikation und/oder eine Verifikation einer Person durchführen, beispielsweise um eine Entscheidung über eine Zugangsberechtigung 64 zu treffen. Die Identifikation oder Verifikation kann in einem Klassifikationsverfahren erfolgen.
-
Zur Identifikation/Verifikation bzw. Klassifikation können die Templates bzw. Template-Merkmalsgruppen, z. B. Vektoren oder Matrizen, verwendet werden. Diese werden als Eingangsdaten in einem Klassifikationsverfahren verwendet und mit den entsprechenden Referenzdaten oder Templates verglichen. Zur selektiven Auswahl der Referenzdaten aus der Referenzdatenbank kann ein Benutzer z. B. seine persönliche Identifikationsnummer (PIN) angeben (Verifikation). Alternativ können die Referenzdaten auch auf einem Speichermedium gespeichert sein. Bei adaptiven Verfahren können die erhaltenen Bewertungen im Fall einer positiven Klassifikation zur Aktualisierung der Referenzdaten verwendet werden.
-
Die 5A, 5B und 5C zeigen Beispiele der Bilder 12', 14' und 16 der 1 anhand realer Aufnahmen. 5A zeigt ein Bild der linken Augenregion, nachdem es normiert, skaliert und gegebenenfalls verschoben wurde oder, allgemeiner gesagt, nach der Vorverarbeitung. 5B zeigt ein Bild der rechten Augenregion, nachdem es gespiegelt, normiert, skaliert und gegebenenfalls verschoben wurde oder, allgemeiner gesagt, nach der Spiegelung und Vorverarbeitung. 5C zeigt das überlagerte Periokular-Bild. Dieses Bild enthält quasi eine Übereinanderlegung oder den Durchschnitt beider Augen und ist unabhängig von Spiegelungen. An allen 3 Bildern können an verschiedenen, jedoch für alle Bilder gleichen Positionen Merkmale extrahiert werden, beispielsweise durch Faltung mit Gabor-Wavelets, um drei Merkmalsvektoren zu extrahieren. Die Merkmalsvektoren können, wie oben beschrieben, kombiniert werden, zum Beispiel indem der Durchschnitt der Merkmalsvektoren gebildet wird. Das Ergebnis ist ein Template-Merkmalsvektor, der die Information des linken Auges, des rechten Auges und des überlagerten Auges enthält und der für ein ursprüngliches Bild und ein gespieltes Bild identisch und somit insensitiv gegen Spiegelungen ist. Wie dargelegt, können anstelle einer Kombination von allen drei Merkmalsvektoren auch einer oder mehrere Template-Merkmalsvektoren unmittelbar aus dem überlagerten Bild oder aus einer Kombination der Bilder des rechten Auges und des linken ausgebildet werden.
-
Das erfindungsgemäße Verfahren wurde anhand einer GBU(Good, Bad and Ugly)-Stichprobe gemäß den am National Institute of Standards and Technology, NIST, entwickelten Standards überprüft. Die Aufnahmen der 6 erläutern die drei verschiedenen Prüfszenarien einer GBU-Stichprobe und sind den Untersuchungen der NIST entnommen. In dem Beispiel wird angenommen, dass die Bilder der oberen Reihe als Referenzbilder dienen und zur Erzeugung von Template-Merkmalsvektoren verwendet werden, die in einer Datenbank abgelegt werden können; und die Bilder der unteren Reihe werden zur Erzeugung aktueller Merkmalsvektoren verwendet, die zur Personenerkennung in das Klassifikationsverfahren eingegeben werden können. Für die GBU-Stichprobe unterscheiden sich die Bilder nur in der Belichtung und den Gesichtsausdruck, nicht in der Kopfhaltung, Kopfposition oder dem Bildausschnitt, um nachvollziehbare Prüfkriterien zu entwickeln. Das erste (gute; good) Bilderpaar auf der linken Seite der 6 entspricht günstigen Belichtungsverhältnissen und einer guten Übereinstimmung der Belichtungsverhältnisse, Umgebung und des Gesichtsausdrucks zur Erzeugung des Template-Merkmalsvektors und des aktuellen Merkmalsvektors. Das zweite (schlechte; bad) Bilderpaar in der Mitte der 6 entspricht annehmbaren Belichtungsverhältnissen, wobei aber die Belichtungsverhältnisse und der Gesichtsausdruck für die Erzeugung des Template-Merkmalsvektors und des aktuellen Merkmalsvektors unterschiedlich sind. Das dritte (sehr schlechte; ugly) Bilderpaar auf der rechten Seite der 6 entspricht ungünstigen Belichtungsverhältnissen und einer schlechten Übereinstimmung der Belichtungsverhältnisse, des Gesichtsausdrucks und der Umgebung zur Erzeugung des Template-Merkmalsvektors und des aktuellen Merkmalsvektors. Zum Beispiel ist das Bild zur Erzeugung des Template-Merkmalsvektors dunkel, mit geringem Kontrast; und das Bild zur Erzeugung des aktuellen Merkmalsvektors ist einseitig beleuchtet, mit starker Kontrast und Glanz. Auch der Hintergrund ist jeweils in Bezug auf Beleuchtung und Anordnung sehr unterschiedlich, wobei das erste Bild in einem Innenraum das zweite Bild in einem Außenraum aufgenommen wurde.
-
Der GBU-Test, der am NIST entwickelt wurde, erfolgt auf der Basis von JPEG Dateien mit einer Auflösung von etwa 3008×2000 Pixeln. Der Erkennungsalgorithmus ist so eingestellt, dass eine Falschakzeptanzrate (FAR) von 0,1% nicht überschritten wird. Auf dieser Grundlage wurde das erfindungsgemäße Verfahren getestet und ergab Erkennungsraten, die deutlich über denen liegen, welche von Dr. P. Jonathon Phillips 2010 ermittelt wurden, insbesondere bei ungünstigen Belichtungsverhältnissen. Die Testergebnisse von Dr. Phillips sind unter https://www.nist.gov/programs-projects/face-and-ocular-challenge-series-focs auffindbar. Sie beziehen sich auf bekannte Erkennungsalgorithmen für die Personenerkennung auf der Basis des Gesichtes und auf der Basis der Augenregion („periocular recognition”)
-
Eine entsprechende Anwendung der NIST-Stichprobe auf das Verfahren der Erfindung hat folgende Erkennungsraten bei einer Falschakzeptanzrate von 0,1% ergeben:
| | Erfindungsgemäßes Verfahren, Template basiert auf | | NIST Ergebnisse für die periocular recognition |
| | Linkes Auge, rechtes Auge und überlageite Augen | Linkes Auge und rechtes Auge | | Nur linkes Auge | Nur rechtes Auge | Nur überlagerte Augen | |
| NIST Erkennungsrate; Prüfszenario Good | 93.73% | 93.55% | | 89.95% | 91.34% | 90.13% | | 47% |
| NIST Erkennungsrate; Prüfszenario Bad | 53.27% | 52.81% | | 41.29% | 42.40% | 40.83% | | 17% |
| NIST Erkennungsrate; Prüfszenario Ugly | 18.34% | 18.16% | | 11.80% | 16.22% | 13.46% | | 5% |
-
Man erkennt, dass das erfindungsgemäße Verfahren zur Personenerkennung auf der Basis der Augenregion („periocular recognition”) deutlich bessere Erkennungsraten erzielen kann als die bekannten Verfahren. Die Erkennungsraten sind nicht nur deutlich besser als die von NIST nachgewiesenen Erkennungsraten, sondern sie liegen sogar sehr nahe an den Ergebnissen der Gesichtserkennung oder übertreffen diese sogar, nämlich bei den besonders ungünstigen (Ugly) Testverhältnissen. Erfindungsgemäße werden die Erkennungsraten auf der Grundlage eines Template-Merkmalsvektors erzielt, der auf den überlagerten Augen basiert, wodurch auch Probleme mit gespiegelten Aufnahmen gelöst werden. Die Hinzunahme eines Template-Merkmalsvektors auf der Grundlage des linken und des rechten Auges kann nochmals eine deutliche Steigerung der Erkennungsrate erzielen. Man erkennt auch, dass der Template-Merkmalsvektor auf der Basis der überlagerten Augen nicht redundant ist, sondern die Erkennungsrate im Verhältnis zu der Verwendung des Template-Merkmalsvektors auf der Basis des linken und des rechten Auges nochmals verbessern kann. Während die Verbesserungsraten teilweise im Promille oder im unteren Prozentbereich liegen, sind diese statistisch durchaus relevant, wenn man bedenkt, dass Personenerkennungs-Systeme über einen längeren Zeitraum häufig zu Überprüfung vieler tausend Personen eingesetzt werden, beispielsweise an Zugangskontrollen zu Gebäuden, Anlagen oder an Grenzen.
