DE10043460C2 - Auffinden von Körperpartien durch Auswerten von Kantenrichtungsinformation - Google Patents
Auffinden von Körperpartien durch Auswerten von KantenrichtungsinformationInfo
- Publication number
- DE10043460C2 DE10043460C2 DE10043460A DE10043460A DE10043460C2 DE 10043460 C2 DE10043460 C2 DE 10043460C2 DE 10043460 A DE10043460 A DE 10043460A DE 10043460 A DE10043460 A DE 10043460A DE 10043460 C2 DE10043460 C2 DE 10043460C2
- Authority
- DE
- Germany
- Prior art keywords
- image
- model
- information
- body part
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Holo Graphy (AREA)
Description
Die Erfindung befaßt sich mit dem Auffinden von Typen von
physisch abgegrenzten Körperpartien, wie Gesichtern, Händen,
Beinen oder anderen Körperteilen. Diese Körperpartietypen sollen
in Standbildern oder Bewegtbildern aufgefunden werden, und zwar
unabhängig davon, ob dem Verfahren bekannt ist, daß eine solche
Körperpartie auf dem untersuchten Bild vorhanden ist. Ist eine
solche Körperpartie aufgefunden worden, soll ihre genaue
Position (ihre Koordinaten) im untersuchten Bild angegeben
werden und auch die Größe als Größeninformation soll zur
Verfügung gestellt werden. Das Verfahren soll automatisch
arbeiten.
Zur Detektion von Gesichtern sind im Stand der Technik in den
letzten Jahren vor allem Verfahren vorgeschlagen worden, die
typische Grauwertintensität von Gesichtsbildern zur Erkennung
verwenden. Diese Detektionsverfahren, die bei Stand- oder
Bewegtbildern Anwendung finden, gehen von einem Grauwertbild
aus, das als solches im folgenden auch so benannt werden soll,
das aber seines Bedeutungsgehaltes wegen auch andere
Intensitätsbilder erfassen soll, wie Farbbilder,
Farbauszugsbilder oder sonstige Bildinformation, die mit
Intensitätsvariation arbeitet. Falls im folgenden also der
Begriff des "Grauwertbildes" verwendet wird, soll er in dieser
Allgemeinheit verstanden werden.
Eine Gattung von Erkennungsverfahren versucht einzelne
Gesichtspartien, wie Augen, Nase oder Mund unabhängig
voneinander zu detektieren und hinsichtlich ihrer Position zu
lokalisieren. Aus den Positionen für die einzelnen ermittelten
Regionen wird dann nach bestimmten Regeln oder auch nach
statistischen Modellen versucht, das tatsächlich im untersuchten
Bild enthaltene Gesicht zu finden.
Im Stand der Technik ist auch die Auswertung von
Kantenrichtungsinformationen und
Kantendeutlichkeitsinformationen vorgeschlagen worden, vgl. zur
Erzeugung der Kantenrichtungsinformation Donahue/Rokhlin, On the
Use of Level Curves in Image Analysis, Image Understanding,
Vol. 57, Nr. 2, 1993, Seiten 185 bis 203, dort insbesondere
Ziffern 2 und 3 zur Tangentenvektor-Berechnung sowie die dortige
Fig. 2 zur Veranschaulichung der Vektordarstellung. An anderer
Stelle wird ein Operator vorgeschlagen, der in der Lage ist,
Kanten in digitalen Bildern zu ermitteln, vgl. Hueckel, "An
Operator Which Locates Edges in Digital Pictures", J. Assoc.
Comput., March, 1971, Vol. 18, Seiten 113 bis 125. Zur Erkennung
von Gesichtern ist die Kanteninformation (im folgenden auch
Randlinieninformation bezeichnet) von Maio/Maltoni verwendet
worden, vgl. Fast Face Location in Complex Backgrounds, aus Face
Recognition, From Theory to Applications, NATO ASI Series F:
Computer and Systems Sciences, Vol. 163, 1998, Seiten 568 bis
577, sowie eine spätere Veröffentlichung derselben Autoren in
Pattern Recognition, Vol. 33, 2000, Seiten 1525 bis 1539, Real-
Time Face Location on Gray-Scale Static Images. In letzteren
Schriften sind in den jeweiligen Fig. 2 Grauwertbilder
gezeigt, die in Kantenrichtungsbilder umgesetzt werden, unter
Bildung von Vektorlängen und Konsistenz, dort
Richtungszuverlässigkeit bezeichnet. Die Vektorrichtung
repräsentiert dort die Tangente zu der Kante des Bildes, und die
Länge, dort Signifikanz genannt, bestimmt sich als eine Summe
aus den Kontrastwerten, im Sinne einer Kantenstärke oder
Kantendeutlichkeit. Zusätzlich wird die "Consistency" verwendet,
die als Richtungszuverlässigkeit erläutert ist.
Die Auswertung einer Vielzahl von Richtungsinformationen,
Zuverlässigkeitsinformationen und Deutlichkeitsinformationen ist
komplex und erfordert einen hohen Rechenaufwand. Selbst moderne
Computer können dafür nicht hinreichend Rechenleistung zur
Verfügung stellen, alternativ können kleinere Rechner mit
geringeren Rechenleistung keine Anwendung finden.
Die Erfindung hat es sich deshalb zur Problemstellung gemacht,
ein Erkennungsverfahren vorzuschlagen, das physisch abgegrenzte
Körperpartien, z. B. Gesichter, zu lokalisieren vermag, dabei
einen kleineren Rechenaufwand einsetzt und dennoch eine
ausreichende Erkennungsgenauigkeit bereitstellt.
Diese Problemstellung löst die Erfindung mit Anspruch 1. Sie
wird ebenfalls durch ein Verfahren gemäß Anspruch 15 oder 23
gelöst. Das Verfahren gemäß Anspruch 16 bereitet das
Detektionsverfahren (das Erkennungsverfahren) gemäß den
Ansprüchen 1, 15 oder 23 vor.
Die Erkenntnis der Erfindung liegt darin, nicht sämtliche
Information auszuwerten, sondern nur solche Information
auszuwerten, die für das Erkennungsergebnis hinreichend ist.
Dabei verwendet die Erfindung maßgeblich die
Richtungsinformation, die aus einem Intensitätsbild, z. B. einem
Grauwertbild oder einem Farbauszugsbild, aus dort anwesenden
Randlinien entnommen werden kann. Die Randlinien werden oft auch
"Kanten" bezeichnet, ob ihrer Herkunft einer im Original
vorliegenden Kante, die in einer zweidimensionalen Darstellung
als eine Randlinie bezeichnet werden soll. Diese Kante (Linie)
hat sowohl eine Richtung, wie auch eine Stärke (Deutlichkeit).
Im Stand der Technik existieren Verfahren, die eingangs
angesprochen waren und mit denen solche Informationen aus
Grauwertbildern berechnet werden können. Erfindungsgemäß wird
daraus die Kantenrichtung maßgeblich verwendet, und die
Kantendeutlichkeit bei dem Vergleich mit einem Modellbild
unberücksichtigt gelassen. Das Modell(bild) ist ein künstlich
geschaffenes Bild, das für den Typ von Körperpartien steht, die
auf dem Grauwertbild aufgefunden und durch Angabe von
Positionsinformation lokalisiert werden sollen (Anspruch 3,
Anspruch 11).
Der Unterschied zwischen einem Auffinden und einem Lokalisieren
kann darin gesehen werden, daß eine zusätzliche Vorab-
Information verfügbar ist, namentlich diejenige, daß dem
Verfahren mitgeteilt wird, daß zumindest eine Körperpartie der
gesuchten Art auf dem Bild vorhanden ist. Dann wird das
Verfahren Positionsinformation bereitstellen und ermitteln, an
welcher Stelle des Grauwertbildes, im folgenden als Zielbild
bezeichnet, diese Körperpartie sich befindet. Sie kann
zusätzlich Größeninformation zur Verfügung stellen, um die
gesuchte Körperpartie im Zielbild zu definieren.
Hat das Verfahren keine solche Vorab-Information über die
Anwesenheit eines beispielsweise Gesichtes, kann das Verfahren
unter Verwendung eines Schwellenwertes zusätzlich ermitteln, ob
überhaupt ein solches Gesicht als Beispiel einer gesuchten
Körperpartie auf dem Zielbild vorhanden ist (Anspruch 14,
Anspruch 9). Zusätzlich kann dann die zuvor beschriebene
Ermittlung der Positionsinformation und der Größeninformation
bereitgestellt werden (Anspruch 3).
Das erfindungsgemäße Verfahren ermöglicht es mit wenig
Modellinformation und mit herabgesetzter Information aus dem
Kantenrichtungsbild eine schnelle Detektion zu realisieren und
eine hohe Erkennungssicherheit zu erreichen.
Die Kantenrichtung sowohl des eigentlichen Randes der gesuchten
Körperpartie, wie auch die Kantenrichtungen innerhalb dieser
Umrandung werden über das Modell ausgewertet (Anspruch 4). Die
übrigen Kantenrichtungen, die sich auch auf dem Zielbild
befinden, werden bei dem Vergleich mit dem Modell zu einem
geringeren Übereinstimmungswert führen, so daß der Wert der
Übereinstimmung der Kantenrichtungsinformation im Zielbild mit
der Kantenrichtungsinformation des Modells zu der Ermittlung der
Positionsinformation des Zielbildes führt (Anspruch 13,
Anspruch 23).
Werden zusätzlich zu der Positionsinformation
Größeninformationen benötigt, kann eine relative Veränderung der
Modellgröße und des Zielbildes zueinander erfolgen
(Anspruch 12). Dabei wird das Zielbild mit einer ersten Größe
eines Modells zunächst einmal insgesamt verglichen. Anschließend
wird entweder das Modell in seiner Größe verändert, oder das
Zielbild. Es folgt ein weiterer Lauf eines vollständigen
Vergleiches. Mehrere dieser Läufe erbringen für jede
Größenrelation (ein jeweiliges Verhältnis der Größe des
Zielbildes zu dem aktuellen Modell) mehrere Sätze von
Übereinstimmungswerten. Diejenigen Übereinstimmungswerte, die
die größte Ähnlichkeit haben, zeigen durch die zu diesen
Übereinstimmungswerten gehörende Relation die Größe der
Körperpartie an, die in dem Zielbild aufzusuchen war.
Wird im Beispiel das Modell schrittweise vergrößert, hat
derjenige Vergleich die größten Übereinstimmungen, bei dem das
Modell im wesentlichen die Größe der Körperpartie besitzt, die
zu lokalisieren und hinsichtlich ihrer Größe zu definieren war.
Die bekannten Verfahren zur Ermittlung der Kanteninformation
erbringen z. B. bei der Verwendung des Sobel-Operators für jedes
Bildpixel (einen jeweiligen kleinsten Bereich eines Bildes, ggf.
auch mehrere Bildpixel zusammengenommen) sowohl eine
Richtungsinformation, wie auch eine Deutlichkeitsinformation.
Letztere Deutlichkeitsinformation wird oft auch Kantenstärke
genannt. Wird die Kantenstärke dazu herangezogen, in einem
Vergleich mit einem Schwellenwert nur diejenigen
Richtungsinformationen beizubehalten, bei denen ein Mindestwert
an Kantenstärke vorliegt, so wird Richtungsinformation im Bild
herabgesetzt (Anspruch 16). Das Herabsetzen der Information
geschieht an denjenigen Stellen, an denen die Richtung nicht
zuverlässig erkennbar ist und als informationsarmes Rauschen
angesehen werden muß.
An den Stellen des Zielbildes, an denen die Deutlichkeit groß
ist, bleibt die Richtungsinformation für die Auswertung erhalten
(Anspruch 18, Anspruch 19). Durch dieses Verfahren wird nur
diejenige Information zurückbehalten, die für den Vergleich mit
dem Modell, das ebenfalls Kantenrichtungsinformation besitzt,
die größte Erkennungserwartung bietet.
Werden dann in den verbleibenden Richtungsinformationen die
Deutlichkeitsinformationen auf einen Standardwert gesetzt
(Anspruch 17), fallen sie in ihrer Gewichtung aus dem Vergleich
mit dem Modell gänzlich heraus. Der Vergleich des verbliebenen
Arbeitsbildes mit dem Modellbild besteht dann nur noch aus einem
Vergleich von Richtungen, die eine schnelle Bearbeitung und
trotz des reduzierten Informationsgehaltes eine sicherere
Erkennung ermöglichen.
Das Modell ist mehrfach angesprochen worden. Das Modell besteht
beispielsweise aus einer Vielzahl von Richtungsinformationen
einer Teststichprobe. Das Modell kann aber auch ein einzelnes
Bild sein, das hinsichtlich seiner Kantenrichtungen im oben
beschriebenen Sinne vorgegeben ist, wobei solche Bereiche des
Bildes, in denen sich hinsichtlich der Richtung Rauschen
befindet, ausgeblendet werden (Anspruch 16, a. E. in einem
alternativen Verständnis). Die Vorgabe des Modells aus einem
einzelnen Testbild erfolgt dadurch, daß der Benutzer die
Körperpartie, die das Modell prägen soll, also ein Gesicht, eine
Hand oder einen Fuß, vorgibt und dieses gemäß Anspruch 16
bearbeitet wird.
Der Vergleich zwischen dem Modell mit den Richtungsinformationen
und den verbleibenden Richtungsinformationen in dem Zielbild
erfolgt durch eine Ähnlichkeitsbetrachtung, die bei einer
Richtungsorientierung dieser beiden Bilder ein Winkelvergleich
sein kann (Anspruch 13 oder Anspruch 23).
Der Winkelvergleich kann aus einer Summe von Differenzwinkeln
(Summanden) bestehen, die für die Größe des Modells für jeden
Modellpunkt oder für jedes Pixel des Bildes durchgeführt wird
und dann für die gesamte Modellfläche für eine Stelle des
Zielbildes abgelegt wird (Anspruch 24). Herrscht eine hohe
Übereinstimmung, ist die Winkeldifferenz für jeden
Pixelvergleich gering, wenn nicht Null. Die Summe von geringen
Winkelwerten führt zu einem geringen Summenwert (Anspruch 27).
Ein Vergleich solcherart ermittelter Ähnlichkeiten für das
gesamte Zielbild und verschiedene Relativlagen Modell/Zielbild
führt dort, wo die Summe am geringsten ist, zu einem höchsten
Übereinstimmungswert (Anspruch 13).
Neben Winkeldifferenzen können auch trigonometrische Funktionen
von Winkeln oder Winkeldifferenzen Anwendung finden
(Anspruch 24).
Besteht kein A-priori-Wissen (kein Vorwissen), ob auf dem
Zielbild die vom Typ her gesuchte Körperpartie vorhanden ist,
wird eine zusätzliche Schwelle bereitgestellt, die einen relativ
geringen Mindestwert besitzt (Anspruch 9, Anspruch 25). Nur bei
Auffinden einer Ähnlichkeit, die unter diesem Mindest-
Schwellenwert liegt, kann darauf geschlossen werden, daß der
gesuchte Typ von Körperpartien auf dem Bild repräsentiert ist.
Dieser Schwellenwert darf nicht Null und nicht maximal sein,
sonst würde das Verfahren nur den minimalen Wert aller
Ähnlichkeitswerte, die über das Zielbild verteilt sind,
ermitteln. Dieser Wert muß nicht zwingend mit der Position einer
gesuchten Körperpartie übereinstimmen, sondern gibt nur einen
Wert wieder, der auch äußerst groß sein kann (Anspruch 14).
Liegt ein Vorab-Wissen über das Vorhandensein einer gesuchten
Körperpartie vor, braucht ein solcher Schwellenwertvergleich
nicht zu erfolgen, nachdem dann der aufgefundene Minimalwert der
Ähnlichkeitswerte (nach Anwenden des Vergleiches verschiedener
Größenrelationen) von selbst den Ort (die Position) der
gesuchten Körperpartie angibt.
Die Lokalisierung durch Festhalten (meist in Form von
Speicherungen) von Positionsdaten ergibt sich nach Auswerten
eines Satzes von wiederholten Vergleichen mit dem Modellbild,
wobei jeder Vergleich eine andere lokale Zuordnung von
Modellbild und Randlinieninformation des Zielbildes besitzt. Ein
Beispiel einer jeweils anderen lokalen Zuordnung ist ein
pixelweises seitliches Verlagern über das Zielbild hinweg.
Erreicht eine Randbegrenzung des Modellbildes den Rand des
Zielbildes, wird um ein Pixel nach unten verlagert und wieder
für die gesamte Zeile der Pixel verglichen. Diese wiederholten
Vergleiche geben einen Satz von Ähnlichkeitswerten, namentlich
für jede Lage des Modellbildes. Aus diesem Satz von
Ähnlichkeitswerten kann der beste Ähnlichkeitswert auf den Ort
schließen, bei dem das Modellbild die beste Übereinstimmung im
Zielbild besaß.
Werden verschiedene Größenrelationen zusätzlich herangezogen,
ergibt sich ein weiterer Satz von Ähnlichkeitswerten. Werden die
Ähnlichkeitswerte untereinander verglichen, so können auch die
Sätze von Ähnlichkeitswerten miteinander verglichen werden, um
die Lage und die Größe der abgegrenzten Körperpartie zuverlässig
zu ermitteln.
Eine Summe von Ähnlichkeitsdaten, beispielsweise ein
Winkelvergleich an je einem Pixel, ergibt einen
Ähnlichkeitswert. Der Ähnlichkeitswert repräsentiert eine lokale
Zuordnung. Er repräsentiert auch eine Größenzuordnung im Sinne
einer Größenrelation.
Die Ähnlichkeitsdaten werden durch Winkelvergleich gebildet
(Anspruch 24), wobei sowohl einfache Winkeldifferenzen, wie auch
trigonometrische Funktionen von Winkeldifferenzen, wie auch
trigonometrische Funktionen von Winkeln und anschließende
Differenzbildung erfolgen kann.
Wird mit reduzierten Richtungsinformationen gearbeitet
(Anspruch 16), so finden sich nicht an allen Stellen des Modells
Winkelinformationen und es finden sich nicht an allen Stellen
des hinsichtlich der Richtungsinformation ausgewerteten und
reduzierten Zielbildes Richtungsinformationen. Einen Beitrag zu
einem Ähnlichkeitswert (im Sinne eines Ähnlichkeitsdatums) wird
dabei nur dann gebildet, wenn an der betrachteten Pixelstelle
beide Vergleichsbilder eine Winkelinformation vorliegen haben
(Anspruch 26). Dies geht von der Überlegung aus, daß dort, wo
Rauschen vorhanden ist und die Winkelinformation aufgrund
geringer Informationszuverlässigkeit ausgeblendet wurde, auch
keine große Ähnlichkeit hinsichtlich des gesuchten Objektes
vorliegen kann.
Die Reduzierung der Richtungsinformation gemäß Anspruch 16 kann
zusätzlich mit einem Binäroperator arbeiten, der nach dem
Vergleich mit dem Schwellenwert Anwendung findet (Anspruch 19).
Es ergibt sich dann ein Schablonenbild, welches nur noch zwei
Zustände für sämtliche Pixel besitzt, den maximalen Wert oder
den minimalen Wert. Bei einer bildlichen Darstellung mit
Graustufen zwischen 0 und 255 entspricht das den beiden
genannten Randwerten. Dieses Schablonenbild eignet sich bei
gleicher Größe zu einer Multiplikation mit dem die
Richtungsinformation enthaltenden Zwischenbild, um das
Arbeitsbild zu ergeben. Alle Richtungsdaten, bei denen der
Deutlichkeitswert oberhalb des Schwellenwertes liegt, bleiben
erhalten. Alle Richtungsdaten, bei denen der Deutlichkeitswert
unterhalb des Schwellenwertes liegt, werden gelöscht.
Für die Erstellung des Ähnlichkeitswertes als Summe der
einzelnen Summanden der Ähnlichkeitsdaten müssen nicht sämtliche
Ähnlichkeitsdaten für eine relative Lage von Modell und
Zwischenabbildung herangezogen werden (Anspruch 20). Es genügt
die Verwendung der besten Übereinstimmung, also nur eine
eingeschränkte Zahl von Summanden. Bei beispielsweise 120
möglichen Werten, brauchen nur die 80 geringsten (die 80 am
besten übereinstimmenden Ähnlichkeitsdaten) zur Bildung des
durch Summation entstehenden Ähnlichkeitswertes herangezogen zu
werden.
Eine weitere Vereinfachung ergibt sich dann, wenn nur spitze
Winkel berücksichtigt werden, also nicht sämtlich Winkel im
Bereich zwischen 0° und 180°. Das setzt eine Umrechnung der
Winkel voraus, bei der Winkel oberhalb von 90° wie solche Winkel
behandelt werden, die unterhalb von 90° liegen. Die Umrechnung
geschieht so, daß Randlinien, die in einem Winkel von 90°
verlaufen, die geringste Übereinstimmung ergeben. Zwischen 90°
und 180° wird die Übereinstimmung besser. Von 0° bis 90° wird
die Übereinstimmung schlechter (Anspruch 21). Das Modell kann
entsprechend als Modellbild mit nur Richtungsinformation mit
Winkeln zwischen 0° und 90° arbeiten (Anspruch 22).
Ausführungsbeispiele erläutern und ergänzen die Erfindung.
Fig. 1 ist ein Blockschaltbild eines ersten
Ausführungsbeispiels, gerichtet auf die Erkennung eines
Gesichtes in einem Grauwertbild 5.
Fig. 2 ist ein alternatives Ausführungsbeispiel, auch mit einer
auf ein Gesicht ausgerichteten Erkennung, wobei
Größeninformationen zusätzlich herangezogen werden.
Fig. 2a bis Fig. 2e sind Darstellungen unterschiedlicher Bearbeitungsstufen
des Grauwertbildes der Fig. 2a. Dabei ist Fig. 2e ein
Kantenrichtungsbild (Randlinienrichtungs-Bild), das
insoweit sämtliche Informationen des Ausgangsbildes der
Fig. 2a enthält.
Fig. 3 ist ein Kantenrichtungsbild, bei dem die Information des
Bildes von Fig. 2e nur noch partiell vorhanden ist.
Außerdem ist diese Darstellung invertiert, also mit
weißen Richtungen bei dunklem Hintergrund.
Fig. 4, Fig. 5 entsprechen einer Gegenüberstellung der beiden zuvor
genannten Bilder der Fig. 2e und der Fig. 3, wobei
eine gleiche Darstellung mit dunklen Richtungspfeilen
gewählt ist.
Fig. 6 ist eine Darstellung einer Ähnlichkeitsberechnung für
ein Grauwertbild mit unterschiedlichen Größen eines zu
Vergleichszwecken herangezogenen Modells.
Fig. 6a ist eine vergrößerte Darstellung des Bildes von Fig. 6,
wobei der Helligkeitswert an jeweils einer Bildposition
(einem Pixel) das Maß der Übereinstimmung des Modells
mit einem der Modellgröße entsprechenden Bildabschnitt
symbolisiert. Helle Bereiche sind Bereiche geringer
Übereinstimmung. Dunkle Bereiche sind Bereiche hoher
Übereinstimmung.
Fig. 7 ist ein zu Fig. 6 gehörendes Grauwertbild, bei dem die
gesuchte Körperpartie als Gesicht im eingezeichneten
Rahmen 60 aufgefunden wurde.
Fig. 8 ist ein Beispiel für eine Modellgenerierung aus
10 Bildern einer Stichprobe. Das Modell 30 enthält
selektierte Kantenrichtungsinformation.
Fig. 1 geht von einem Grauwertbild 5 als Beispiel eines
Intensitätsbildes aus. Ein Gesicht ist dort in einer Kopf-mit-
Schulter-Darstellung vor einem Hintergrund gezeigt. Das
Grauwertbild wird einer ersten Verfahrensstufe zugeführt. Diese
Verfahrensstufe 40 wertet das Bild in vielen Teilbereichen aus
und bildet Kanteninformation. Die Teilbereiche sind entweder
einzelne Pixel oder mehrere zusammengefaßte Pixel für einen
kleinen Bildabschnitt. Für jeden dieser Teilbereiche,
insbesondere für jedes Pixel des Grauwertbildes, wird eine
Kanteninformation nach Richtung und nach Stärke angegeben.
Repräsentiert kann das durch die Angabe eines Vektors erfolgen,
der eine Richtung und einen Betrag (Länge) besitzt.
Die einzelnen Pixel sind mit P und symbolisch im
Verfahrensschritt 40 angedeutet.
Das entstandene kantenorientierte Bild wird mit einem Modell 30
in einem weiteren Verfahrensschritt 41 verglichen. Der Vergleich
erfolgt mit einem kleineren Modell, das über das Bild verschoben
wird. Für jede Position des Modells auf dem Kantenrichtungsbild
entsteht ein Übereinstimmungswert. Dann wird das Modell um ein
Pixel nach rechts verschoben und ein neuer Übereinstimmungswert
ermittelt. Alle Übereinstimmungswerte decken das
Kantenrichtungsbild und damit auch das Grauwertbild (abzüglich
der Höhe bzw. Breite des Modells) flächig ab, so daß für jede
Lage des Modells im Grauwertbild unter Zuhilfenahme des Modells
in dem Verfahrensschritt 41 ein Übereinstimmungswert zur
Verfügung steht, der die Übereinstimmung des Modells in dieser
lokalen Zuordnung mit dem Kantenrichtungsbild angibt. Aus diesen
Übereinstimmungswerten des Verfahrensschritts 41 ermittelt der
Verfahrensschritt 60 denjenigen Bereich, in dem die
Übereinstimmung am größten ist. Dieser Bereich ist dann
derjenige Bereich des Grauwertbildes, in dem das zu erkennende
Gesicht, als Spezialfall einer vorgewählten Körperpartie, liegt.
Das abgewandelte Beispiel der Fig. 1 ist die Fig. 2 als
weiteres Ausführungsbeispiel. Hier wird zusätzlich zu der
Positionsinformation 60 der Fig. 1 auch eine Größeninformation
ausgegeben. Der Funktionsblock 41 entspricht dem Schritt 41 der
Fig. 1. Das Modell 30 entspricht auch dem Modell 30 der
Fig. 1. Das Grauwertbild 5 entspricht ebenfalls dem ebenso
bezeichneten Bild 5 der Fig. 1. Das Grauwertbild wird auch in
ein Kantenrichtungsbild gemäß Verfahrensschritt 40 von Fig. 1
umgesetzt. Dieses Kantenrichtungsbild wird dem
Verfahrensschritt 41 übergeben, der die Vergleiche mit dem
Modell flächig über das Bild vornimmt.
Nach jeweiligem Abschluß eines Vergleiches wird ein in seiner
Größe verändertes Kantenrichtungsbild in einem erneuten
Verfahren auf Ermittlung von Ähnlichkeitswerten verwendet, das
ebenso arbeitet, wie das zuvor beschriebene Verfahren im
Abschnitt 41.
Die vier dargestellten Größen des Kantenrichtungsbildes, die
Größen 6a, 6b, 6c und 6d führen dann zu vier Sätzen von
Übereinstimmungswerten (Ähnlichkeitswerten), die jeweils das
gesamte Bild erfassen. Das Modell ist bei diesem Beispiel in
seiner Größe nicht verändert worden. Fig. 2 kann in einem
weiteren - nicht dargestellten - Ausführungsbeispiel aber auch
so betrieben werden, daß das Kantenrichtungsbild seine Größe
beibehält und das Modell für einen jeweiligen
Verfahrensschritt 41 eine bestimmte Größe beibehält und danach
für einen weiteren solchen Verfahrensschritt 41 eine reduzierte
oder vergrößere Abmessung besitzt. Auch daraus folgen mehrere
Sätze von Übereinstimmungswerten, aus denen der
Verfahrensschritt 42 sowohl die Position 60 wie auch die
Größe 60a der gesuchten Körperpartie ermitteln kann.
Dazu wird ein Schwellenwert verwendet, wenn unsicher ist, ob das
geprüfte Zielbild 5 die gesuchte Körperpartie, hier ein Gesicht,
tatsächlich enthält. Das Modell 30 ist dabei ein
Kantenrichtungsmodell vom Typ "Gesicht", um nur Gesichter als
Kantenrichtungsmodell mit Gesichtern als Kantenrichtungsbild
(entwickelt aus dem Grauwertbild 5) zu vergleichen. Die Vorgabe
eines Schwellenwerts in dem Verfahrensschritt 42 stellt sicher,
daß auch ohne Vorab-Kenntnis des Vorhandenseins eines Gesichtes
in dem Grauwertbild 5 sichergestellt werden kann, daß das
Ermittlungsergebnis sinnvoll ist. Würde ein Schwellenwert nicht
vorgesehen werden, so könnte für ein ohne Vorwissen
ausgestattetes Verfahren keine Entscheidung darüber getroffen
werden, ob ein gefundener Maximalwert in den beschriebenen
Ähnlichkeitswerten einen unbedeutenden Übereinstimmungsfaktor
signalisiert, oder einen bedeutenden. Der Schwellenwert im
Verfahrensschritt 42 ist aber dann nicht erforderlich, wenn ein
Vorab-Wissen vorhanden ist und es nur darum geht, den Ort (die
Position) und die Größe des erwarteten Gesichtes zu ermitteln
und anzugeben.
Die Abfolge der Fig. 2a bis 2e soll verdeutlichen, wie das
Verfahren gemäß den Fig. 1 und 2 arbeitet. Dabei werden die
einzelnen Verfahrensstufen wiedergegeben und aufgezeigt, wie das
jeweils bearbeitete Ausgangsbild 5, das in Fig. 2a als ein
intensitätsvariierendes Grauwertbild dargestellt ist, nach einem
entsprechenden Einfluß der genannten Berechnungen sich
verändert. Dazu sind in Fig. 2a mehrere Teile des Bildes
eingezeichnet worden, die in den späteren Bildern auftauchen und
zu Vergleichszwecken dort ebenso benannt sind.
Einige dieser Bildbereiche im Grauwertbild sollen erläutert
werden. Der Hintergrund ist generell mit 3 bezeichnet, er
besteht aus einer schräg verlaufenden Wand. Auf dieser Wand sind
zwei hervorstechende Linien 4a, 4b, die schräg hinter dem
abgebildeten Gesicht nach rückwärts verlaufen. Das abgebildete
Gesicht soll generell mit 2 bezeichnet sein. Das Gesicht und der
gezeigte Schulterabschnitt weisen innere "Kanten" im Sinne von
Linienstrukturen auf, die innerhalb des Gesichtes mit 5d und 5e
bezeichnet sind. Die beiden Schulterbereiche, die einen starken
Kontrast zum Hintergrund 3 besitzen, sind mit 5b und 5c
bezeichnet. Die generelle Randlinie des Gesichtes ist 5a, sie
schließt die beiden innerhalb des Gesichtes befindlichen Rand-
oder Begrenzungslinien, als zweidimensional abgebildete
Kanten 5e, 5d ein.
Die Fig. 2b entsteht innerhalb des Verfahrensschrittes 40. Es
ist die Vorstufe zur Bildung von Kantenrichtungsinformation in
dem Grauwertbild, zur Auswertung mit dem Modell 30. Bei dieser
Vorstufe ist das Grauwertbild so verändert, daß es mit einem
Operator bearbeitet worden ist, der Kontraste verstärkt. Ein
solcher Operator ist beispielsweise der Sobel-Operator, der für
jedes Pixel des Bildes eine Stärke der Kante und eine Richtung
der Kante anzugeben vermag. Jedes Pixel ist bildlich in Fig. 2b
durch die starke Vergrößerung in einem entstehenden Raster
ersichtlich. Besonders deutlich treten die Schulterkanten 5c, 5b
in diesem Zwischenbild der Fig. 2b auf. Auch die Randlinie des
Gesichtes 5a ist deutlich zu erkennen, ebenso wie die innerhalb
des Gesichtes liegenden Randlinien 5d, 5e. Nicht zum Gesicht
gehörig, aber in der bearbeiteten Fassung auch deutlich als
Kante ersichtlich sind die Linien 4a, 4b des Hintergrundes 3.
Der Bereich 1 des Bildes ist mit wenig Kanteninformation
gefüllt, nachdem hier kaum Kanten zu erkennen sind und dieser
Bereich als Rauschen mit wenig auszuwertender Information
angesehen werden muß.
Der Bearbeitungsschritt zum Ergebnis der Fig. 2b ermittelt
durch Kontrastvergleich von Pixeln die beschriebenen
Verdeutlichungen der Kanten. Der Sobel-Operator ist insoweit als
ein lineares Filter zu verstehen, das flächig und wie ein
Hochpaß wirkt. Das gezeigte Raster entspricht den Pixeln. Die
Liniendeutlichkeit der Kanten steigt mit der
Intensitätsdifferenz, beispielsweise der Kanten 5c und 5b
gegenüber dem Hintergrund 3.
Nicht dargestellt ist die tatsächliche, im Rechner befindliche
Vektordarstellung des Bildes. Sie ist aber anhand der
Darstellung der Fig. 2b ohne weiteres vorstellbar. Jedes Pixel
erhält einen Vektor zugeordnet, der eine Richtung und eine Länge
hat. Ein solcher Vektor kann in kartesischer Darstellung
gespeichert sein, er kann aber auch in Polarkoordinaten-
Darstellung nach Betrag und Winkel angegeben werden. Jedes
Pixel Pxy auf der Bildfläche x.y erhält dazu die Orientierung
und Länge eines solchen Vektors zugeordnet. Mit den beiden
Werten der Länge und der Richtung besitzt jedes Pixel ein Maß
für die Kantenrichtung und ein Maß für die Kantendeutlichkeit.
In einem weiteren Bild, Fig. 2c, werden solche Informationen
ausgeblendet, die keine sinnvollen Auswertungsergebnisse
erlauben. Dazu wird ein Schwellenwert angewendet, mit dem jedes
Pixel des Bildes verglichen wird, und zwar hinsichtlich der
Kantendeutlichkeit. Überschreitet die Kantendeutlichkeit an
einem Pixel den vorgegebenen Schwellenwert, so verbleibt dieser
Wert auch mit der Richtungsinformation an diesem Pixel in dem
Bild der Fig. 2c. Bereiche wie derjenige Bereich 1 oder der
dunkle Teil des Hintergrundes 3 unterhalb der Linie 4b bis zur
kontraststarken und damit sehr deutlich auftretenden Kante 5c
werden ausgeblendet bzw. mit einem schwarzen Wert versehen, der
dem Zahlenwert Null entspricht. Bei einer Grauwertskalierung
zwischen den Werten 0 und 255 entspricht der Wert 255 einer
deutlichen Kante und damit einem hellen Wert, während der Wert 0
einem für die weitere Verarbeitung unbeachtlichen Wert
entspricht. Trotz des Vergleiches mit dem Schwellenwert besitzt
jedes Pixel, das eine Kantendeutlichkeit oberhalb des
Schwellenwertes besaß, noch immer einen analogen Wert, der
zwischen dem Schwellenwert und dem Wert 255 liegt.
In Fig. 2d ist dieser analoge Anteil getilgt. Hier hat eine
Binarisierung stattgefunden, die auch im Verfahrensschritt 40
der Fig. 1 vorgesehen ist. Die Binarisierung führt zu einem
Wegfall jeder analogen Information und bewertet die Pixel in der
Darstellung der Kantendeutlichkeit und der Kantenrichtung nur
nach Überschreiten oder Unterschreiten des vorgenannten
Schwellenwertes. Solche Kantendeutlichkeiten, die oberhalb des
Schwellenwertes lagen, sind mit dem Wert 255 belegt (jeweils
bezogen auf ein Pixel). Solche Werte, die unterhalb oder gleich
dem Schwellenwert waren, sind als schwarze Pixel mit dem Wert 0
belegt. Das Bild von Fig. 2d kann als binarisiertes Kantenbild
bezeichnet werden.
Es entsteht sinngemäß dadurch, daß die Schwellenwertbildung
verwendet wird. Auch ein direkter Übergang von Fig. 2b zu
Fig. 2d ist möglich, wenn das Bild 5 Pixel für Pixel im
Verfahrensschritt 40 durch Schwellenwertvergleich und
Binarisierung bearbeitet wird. Die Binarisierung schafft eine
Kontrastmaximierung für das im folgenden weiter zu bearbeitende
Bild der Fig. 2d.
Aus Fig. 2e ist die Kantenrichtungsinformation ersichtlich,
dargestellt durch kurze Linienstücke. Die Richtung der
Linienstücke entspricht der Polarkoordinaten-Darstellung
hinsichtlich der Richtung. Bei einem genauen Hinsehen ist
erkennbar, daß die Richtungsinformation im Gesichtsbereich und
im Schulterbereich mit den in Fig. 2a eingezeichneten Linien
vergleichbar ist. Die Linien 5c und 5b sind deutlich erkennbar.
Ebenso die inneren Linien 5e und 5d. Auch die Gesamtlinie 5a als
Umrandung des Gesichtes ist erkennbar. Nicht so deutlich sind
die schräg verlaufenden Linien 4a, 4b zu erkennen, was aber nur
ein Darstellungsproblem der zur grob gerasterten
Richtungsanzeige verwendeten 6 Pixel ist. Besonders deutlich
sind vertikale Linien und horizontale Linien.
Fig. 3 zeigt als Ergebnis der Bearbeitung ein im
Informationsgehalt reduziertes Bild. Hier ist aus Fig. 2e nur
derjenige Bereich herausgegriffen, der wesentliche
Kanteninformation enthält. Diese Ausblendung des unwesentlichen
Gehalts erfolgt durch eine Zusammenführung der Bilder nach
Fig. 2d und Fig. 2e. Diejenigen Bereiche, die in dem
kontrastmaximierten Bild auf Schwarz gesetzt worden sind, also
unterhalb des Schwellenwertes lagen, sind in der Fig. 3
ebenfalls schwarz. Der Informationsgehalt, also sowohl die
Kantendeutlichkeit, wie auch die Kantenrichtung, ist in diesen
Bereichen aus der Fig. 2e herausgenommen worden. Es verbleiben
für die Fig. 3 nur diejenigen Richtungsinformationen, die sich
an den Pixeln befinden, welche einen Deutlichkeitswert besitzen,
der oberhalb des Schwellenwertes ist.
Der Schwellenwert kann abhängig von dem Typ des Bildes oder den
vorhandenen Kontrasten frei gewählt werden. Er kann auch
gänzlich wegfallen, wenn das Bild als solches wenig Rauschen
aufweist.
Eine direkte Gegenüberstellung der Fig. 3 und 2e in gleicher
Darstellung zeigen die Fig. 4 und 5. Fig. 3 ist hierbei
invers als Fig. 4 dargestellt, während Fig. 5 der Fig. 2e
direkt entspricht.
In dem Bild der Fig. 4 wird nun die gesamte
Deutlichkeitsinformation neutralisiert, also beispielsweise
sämtliche Vektoren auf eine gleiche Länge gesetzt. Erhalten
bleibt die Richtungsinformation. In der Polarkoordinaten-
Darstellung besitzt dann jedes Pixel des Bildes nach Fig. 4
einen gleich langen, aber jeweils entsprechend der Richtung der
Kante am Ort des Pixels unterschiedlich orientierten
(gerichteten) Vektor. Nachdem der Längenwert des Vektors nicht
weiter ausgewertete werden soll, kann die Länge auch auf Null
gesetzt werden, wenn allein die Richtung für jedes Pixel
beibehalten bleibt. Für die Darstellung ist es so vorgesehen,
daß jeder seiner Richtung nach gezeigte Vektor eine
Standardlänge von 6 Pixeln erhält.
Wann die Standardisierung der Vektorlängen letztlich erfolgt,
ist Frage der konkreten Gestaltung des Programms. Solange die
Deutlichkeitsinformation in den Vorstufen der Bildverarbeitung
noch ausgewertet werden muß, kann sie nicht standardisiert
werden. Fig. 2e kann dabei unmittelbar aus Fig. 2a gewonnen
werden, wenn der eingangs beschriebene Sobel-Operator Verwendung
findet. Parallel kann die Auswertung der Fig. 2a über die
Fig. 2b, 2c und 2d erfolgen. Erfolgt eine solche Auswertung,
kann der Längenwert des Vektors für die Fig. 2e sofort auf
einen Standardwert gesetzt werden, der in diesem Bild auch so
dargestellt ist, daß jeder eingezeichnete Vektor eine
Standardlänge von 6 Pixeln hat. Diese Pixel sind besonders bei
den schräg verlaufenden Vektorlinien erkennbar.
An die Darstellung der Fig. 4 (oder der Fig. 3) schließt sich
die Auswertung der jetzt reduzierten Information an. Die
Information ist reduziert auf Bereiche mit hoher Deutlichkeit
und besitzt hinsichtlich der verbleibenden Pixel an diesen
Stellen jeweils alleinig Richtungsinformation. Zusätzliche
Information könnte theoretisch ebenfalls gespeichert sein, wird
aber in den folgenden Verfahrensschritten nicht mehr zur
Auswertung herangezogen.
Es folgt ein Vergleich mit einem Modell 30 (auch: Modellbild).
Dabei soll zunächst davon ausgegangen werden, das ein Modell
existiert, daß Richtungsinformation enthält, die repräsentativ
für einen bestimmten Typ einer Körperpartie ist, die in dem
Kantenrichtungsbild mit reduzierter Information von Fig. 4
gesucht wird. Ein Beispiel eines solchen Modells findet sich in
Fig. 8. Das dort gezeichnete Modell 30 enthält
Richtungsinformation, die ähnlich reduziert ist, wie gemäß
Fig. 4 erläutert. Die Entstehung des Modells soll später
erläutert werden.
Das Modell 30 wird im Verfahrensschritt 41 von Fig. 1 mit dem
ermittelten Bild der Fig. 4 verglichen. Es soll angenommen
werden, daß das Modell kleiner ist als das Bild. Beispielsweise
umfaßt das Modell nur den Kopfbereich, während das Bild der
Fig. 4 mehr Anteile auch enthält. Das Modell wird im linken
oberen Bereich der Fig. 4 plaziert. Pixel für Pixel wird das
Modell mit dem reduzierten Kantenbild verglichen. Dabei werden
nur Richtungsinformationen verglichen.
Der Vergleich kann so gestaltet werden, daß Winkeldifferenzen an
jeder Pixelstelle verglichen werden. Der Vergleich kann aus
einer Differenzbildung bestehen. Für jedes Pixel wird dabei eine
Differenz ermittelt und für die gesamte Fläche des Modells
ergibt sich in Summe gesehen eine Winkelsumme, die maximal aus
so vielen Winkeldifferenzen besteht, wie das Modell Pixel
besitzt. Dieser Wert wird an einer Stelle des Speichers, die
repräsentativ für die linke obere Ecke des Modells ist,
abgespeichert. Anschließend wird das Modell um ein Pixel nach
rechts verschoben. Anschließend erfolgt wiederum eine
Summenbildung von allen Winkeldifferenzen im Modellbereich.
Dieser Ähnlichkeitswert wird neben dem vorhergehenden Pixel
abgespeichert. Ein weiterer Schritt entsprechend dem
vorgenannten Schritt schließt sich an. Das Modell wird jetzt so
lange über das Zielbild der Fig. 4 geführt, bis es an jeder
möglichen Stelle des Bildes einmal gelegen hat und ein
Ähnlichkeitswert für jede mögliche Position des Modells im
Zielbild errechnet und abgespeichert worden ist.
Es versteht sich, daß solche Ähnlichkeitswerte eine hohe
Übereinstimmung andeuten, wenn die Winkeldifferenzen klein sind.
Die Summe aus kleinen Winkeldifferenzen gibt insgesamt wiederum
einen kleinen Wert, so daß der geringste Wert der Ähnlichkeit
die höchste Übereinstimmung kennzeichnet. Darauf wird die
Auswertung der Ähnlichkeitsermittlung ausgerichtet.
Ein Beispiel mag die Größenordnung zeigen. Das Modell kann z. B.
40 Pixel in der Vertikalerstreckung und 30 Pixel in der
Horizontalerstreckung besitzen. Ein Gesamtbild gemäß Fig. 4,
das als Zielbild mit reduziertem Informationsgehalt angesehen
wird, kann eine Breite und eine Höhe von jeweils 120 Pixel
besitzen. Daraus entstehen 80 × 90 Positionen von
Ähnlichkeitswerten, wobei jede Position einem Pixel entspricht.
Bildlich kann der Ähnlichkeitswert durch eine Helligkeitsangabe
dargestellt werden. Eine geringe Ähnlichkeit wird durch einen
hohen Helligkeitswert von 255 dargestellt. Eine hohe
Ähnlichkeit, also eine geringe Summe von Winkeldifferenzen, hat
einen geringen Wert nahe Null, entsprechend einem schwarzen
Punkt. Eine sich daraus ergebende Darstellung für das Bild von
Fig. 7, entsprechend aufbereitet über die Vorgehensweise gemäß
den Fig. 2a bis 2e, findet sich in den Fig. 6 und 6a.
Bevor darauf eingegangen wird, soll die Winkeldifferenzbildung
verdeutlicht werden.
Es kann bei dem reduzierten Informationsgehalt des Kantenbildes
nach Fig. 4 und einem entsprechend in seinem Informationsgehalt
auch reduzierten Modell 30 dazu kommen, daß an einzelnen Pixeln
bei einem Vergleich des Modells 30 mit dem Zielbild keine
"Überlappung" festzustellen ist, also entweder das Zielbild an
dem bezogenen Pixel keine Richtungsinformation besitzt oder das
Modell an dem bezogenen Pixel keine Richtungsinformation
besitzt. Dann wird die Winkeldifferenz auf einen maximalen Wert
gesetzt, um eine Unähnlichkeit zu kennzeichnen.
Nimmt man Winkel und Winkeldifferenzen d zwischen 0° und 180°
an, so ist der maximale Wert 180°. Eine gute Übereinstimmung
zeigt gleiche Winkel zwischen den Richtungen an einem zu
vergleichenden Pixel-Paar. Dann würde die Differenz d zu Null
werden. Statt einer Winkeldifferenz kann auch eine
trigonometrische Funktion verwendet werden, die nicht mehrdeutig
im Bereich zwischen 0 und 180° ist. Die Funktion (1 - cosα) sorgt
bei Einsetzen einer Winkeldifferenz als Argument α für einen
Ähnlichkeitswert 0 bei Winkelübereinstimmung und für einen
Ähnlichkeitswert 1 bei maximaler Winkeldifferenz. Wird eine
solche Funktion statt der bloßen Winkeldifferenzen gewählt, so
beschränkt sich die Summierung der Ähnlichkeitswerte auf eine
Summierung von Werten zwischen 0 und 1.
Eine Vorschrift zur Berechnung der Richtungsdifferenz d
(Winkelübereinstimmung) in einem Punkt ist unten angegeben. Null
(= 0) als Ergebnis heißt optimale Übereinstimmung der
Richtungsinformation in dem betrachteten Punkt (Pixel).
d = sin(|ϕm - ϕp|)
mit
ϕm: Kantenrichtung im Modellpunkt
ϕp: Kantenrichtung im kantenorientierten Zielbildpunkt
ϕm: Kantenrichtung im Modellpunkt
ϕp: Kantenrichtung im kantenorientierten Zielbildpunkt
Statt mit Werten zwischen 0° und 180° an den einzelnen Pixeln
kann auch nur mit spitzen Winkeln gearbeitet werden, also
solchen Winkeln, die zwischen 0° und 90° liegen. Dazu werden die
Werte zwischen 90° und 180° umgerechnet in Werte zwischen 0° und
90°. Ein Richtungswert von 91° entspricht dann einem Wert von
89°. Ein Richtungswert von 180° entspricht einer guten
Übereinstimmung, wie der Richtungswert von 0°. Im Ergebnis würde
deshalb eine Differenzbildung noch hinzukommen, wenn der
Winkelwert dann, wenn er oberhalb von 90° im Bereich zwischen
90° und 180° liegt, von 180° subtrahiert wird. Entsprechend kann
auch das Modell ausgestaltet sein, das dann nur Informationen
über spitze Winkel enthalten, die zwischen 0° und 90° liegen.
Der Vergleich würde sich vereinfachen. Es können so nicht nur
Cosinus-Funktionen, sondern auch Sinus- und Tangens-Funktionen
Verwendung finden.
Im beschriebenen Beispiel der Bildgröße und der Modellgröße
ergeben sich 7.200 Winkeldifferenzsummen (Ähnlichkeitswerte),
die zusammen eine neue Matrix bilden, die in Fig. 6 als m1
flächig abgebildet ist. Die dargestellte Fläche m1 entspricht
der Fläche des Bildes von Fig. 7. Diese umgewandelte
Bilddarstellung wird jetzt auf ein Minimum ausgewertet, zur
Ermittlung der Position des Modells auf dem Zielbild der
Fig. 4, an dem die beste Übereinstimmung erzielt worden war.
Das entspricht einer Minimalwertsuche an allen 7.200 Punkten.
Nur dann, wenn ein Gesicht als Beispiel einer Körperpartie
gesucht wird, also kein Vorab-Wissen vorhanden ist, muß ein
Schwellenwert hinzugenommen werden, um dem minimalen Wert einen
Sinn zu geben. Es können auch mehrere Minima auftreten, wenn
mehrere Gesichter auf dem Zielbild vorhanden sind. Anhand der
Position des Pixels, bei dem das Minimum auftritt, kann die
Positionsinformation gegeben werden. Abhängig davon, ob der
Übereinstimmungswert im linken oberen Eck des Modells oder in
der Mitte oder an einer anderen Stelle gespeichert wurde, kann
durch eine einfache Berechnung die genaue Lage des Modells 30 im
Zielbild angegeben werden. Die Angabe erfolgt entweder durch
Angabe der Mitte und der Größe oder durch Angabe der Eckpunkte.
Soll bei der reduzierten Anzahl von Ähnlichkeitsdaten
(Winkeldifferenzen) ein jeweiliger Ähnlichkeitswert für eine
lokale Zuordnung von Modellbild und Kantenbild gemäß Fig. 4
verwendet werden, kann eine Einschränkung des Umfangs der
Summation der einzelnen Winkeldifferenzen (oder
trigonometrischen Umsetzung) eingesetzt werden. Als Beispiel
bieten sich die besten Werte an, die Verwendung finden. Die
weniger guten Werte, brauchen nicht zur Verschlechterung des
Ähnlichkeitswertes noch zusätzlich herangezogen werden. So
bietet es sich an, von beispielsweise 120 verfügbaren Werten,
nur 80 zu verwenden. Es können deshalb bevorzugt nur 2/3 der
vorhandenen Werte zur Summenbildung und zum Entstehen eines
Ähnlichkeitswertes verwendet werden, wobei die minimalsten Werte
im oben beschriebenem Sinn verwendet werden. Minimal ist so zu
verstehen, daß es die besten Übereinstimmungswerte sind. Ist
eine entsprechende Invertierung programmgemäß vorgesehen, ist
das zuvor gesagt entsprechend umzusetzen.
Erwähnt sein sollte, daß die Differenzbildung entweder durch ein
Skalarprodukt oder Differenzbildung der Winkel in einer
Polarkoordinaten-Darstellung geschehen kann, wie oben gezeigt.
Durch Wahl des Modells wird der Typ der Körperpartie ausgewählt,
der in dem Zielbild zu ermitteln ist.
Soll neben der Positionsinformation auch eine Größeninformation
gegeben werden, kann das Modell in seiner Größe relativ zum
Zielbild der Fig. 4 verändert werden. Alternativ kann auch die
Fig. 4 in ihrer Größe verkleinert oder vergrößert werden, bei
einer gleichbleibenden Größe des Modells 30. Für jede gewählte
Modellgröße oder für jede gewählte Zielbildgröße wird einmal das
zuvor beschriebene Verfahren durchgeführt. Aus mehrere Schritten
ergeben sich dann mehrere Bilder m1, m2, m3, m4, m5, m6 gemäß
Fig. 6, wobei jedes dieser Bilder für eine Modellgröße steht
und eine Abbildung aller Ähnlichkeitswerte der jeweiligen
Vergleiche des Modells mit dem Zielbild repräsentiert. Die
Veränderung der Modellgröße kann mit einem kleinen Raster
erfolgen, beispielsweise mit einem Faktor zwischen 1,1 und 1,4,
bevorzugt zwischen 1,2 und 1,3, um keine zu großen Sprünge im
Ähnlichkeitswert zu haben.
Das Ausgangsbild der Fig. 7, zunächst ohne die eingezeichneten
Rahmen 60, 73, 71, 72 und 70 ist nach dem zuvor beschriebenen
Verfahren ausgewertet worden. Das Grauwertbild hat eine Höhe h
und eine Breite b. Entsprechend dem zuvor beschriebenen
Verfahren ist für dieses Bild eine Matrix an Ähnlichkeitswerten
ermittelt worden, wie sie in Fig. 6a für das erste Teilbild m1
visualisiert ist. Hier sind mehrere weiße Stellen deutlich zu
erkennen, die mit 59 bezeichnet sind. In diesen Bildbereichen
lagen die geringsten Übereinstimmungen vor.
Nach Erstellung des ersten Ähnlichkeitsbildes m1 wird mit einem
vergrößerten Modell gearbeitet. Es ergibt sich daraus die
Matrix m2, die im Bereich 58 einen dunkleren Fleck erkennen
läßt. Die Rasterung der Darstellung der Fig. 6a gibt jeweils
die relativen Lagen wieder, für die jeweils Ähnlichkeitswerte
festgestellt worden sind. Jedes Pixel entspricht einer bestimm
ten Lage des Modells relativ zum Kantenrichtungsbild entspre
chend der Fig. 4, nur hier bezogen auf eine andere Darstellung
der Fig. 7.
Eine weitere Vergrößerung des Modells führt zu dem Ergebnis m3,
bei der die Position 60 noch deutlicher wird. Hier ist die
größte Übereinstimmung dort zu erkennen, wo der geringste Wert
an Winkelsummen entstanden ist und mithin eine dunkle Stelle
nahe dem Wert Null sich ergibt. In der Fig. 6 ist dieser
Bereich so eingezeichnet, wie der Rahmen 60 von Fig. 7,
namentlich das mit dem Verfahren lokalisierte Gesicht. Bei einer
weiteren Erhöhung der Größe des Modells ist in Folge die Matrix
gemäß m4, gemäß m5 und gemäß m6 entstanden. Die schwarzen
stufigen Ränder erklären sich daraus, daß ein größer gewordenes
Modell weniger Ergebnispunkte bei einem in der Größe
gleichbleibenden Zielbild mit der Fläche b × h ergibt. Das gilt
sowohl in vertikaler wie auch in horizontaler Richtung.
Die in Fig. 7 eingezeichneten Rahmen sind unterschiedliche
Rahmen, die aufgrund von mehreren Pixeln entstehen, die nahe dem
Minimalwert sind. Der Rahmen 60 kennzeichnet sowohl die
Position, wie auch die Größe der aufgefundenen Gesichtspartie,
wobei sich die Größe aus dem Modell ergibt, das die
Ergebnismatrix m3 erbrachte und die Position sich aus der
dunklen Stelle 60 dieser Matrix ergibt.
Die Modellbildung war zuvor angesprochen, aber zurückgestellt
worden. Die Modellbildung kann in gleicher Weise erfolgen wie
die Entstehung des Bildes nach Fig. 4. Die Schwelle, die dort
angesprochen ist, darf für die Bildung des Modells nicht Null
sein. Es wird eine Binarisierung durchgeführt, und es wird nur
Richtungsinformation für das Modell gespeichert. Das Modell kann
dabei aus einem einzelnen Bild gebildet werden. Das Modell kann
aber auch gemäß Fig. 8 so entstehen, daß eine Vielzahl von
Bildern 19 bis 28 verwendet werden, die eine Stichprobe bilden.
Alle diese Bilder stellen natürliche Gesichter dar, hier als
Beispiel für eine beliebige Körperpartie.
Jedes dieser Bilder ist im beschriebenen Verfahren so
entstanden, wie das Bild nach Fig. 4. Im Verfahrensschritt der
Modellerzeugung 29 werden diese Bilder zusammengefaßt. Das kann
durch eine Mittelwertbildung erfolgen, bezogen auf jeweilige
Winkel an den jeweiligen Pixelstellen. Um diese Bilder in der
Modellerzeugung aber vergleichen zu können, sollten
charakteristische Stellen, wie Augen, Nase und Mund an den
gleichen Stellen liegen, also insoweit eine Ähnlichkeit der
Größenverhältnisse der Bilder gegeben sein.
Der Anwendungsbereich der beschriebenen Methoden bezieht sich
sowohl auf die Gesichtsfindung, wie auch auf die Feststellung,
ob überhaupt ein Gesicht auf dem Zielbild vorhanden ist. Statt
eines Gesichtes können auch andere Körperteile, Hände, Beine
oder ganze Personen lokalisiert werden. Diese Lokalisierung kann
aufgrund der schnellen Berechnung sowohl in Standbildern, wie
auch in Bewegtbildern erfolgen. In Bewegtbildern kann ein Objekt
entsprechend seiner Bewegung nachgeführt werden. Bei der
Nachführung und bei einer Bewegung des gesuchten Objektes in
eine entferntere und eine nähere Richtung, kann auch die
Größeninformation nachgeführt werden.
Claims (27)
1. Verfahren zur Erkennung von Typen von physisch abgegrenzten
Körperpartien (2), wie Gesichtern, Händen, Beinen, eines in einem Ziel-
Grauwertbild (5) bildlich dargestellten Subjekts (1), wobei auf dem Zielbild (5)
zumindest eine - noch nicht erkannte - Körperpartie (2) vor einem Hintergrund (3)
abgebildet ist und ihre Position dadurch lokalisiert wird, daß zumindest
Positionsinformationen ermittelt und festgehalten werden und wobei das
Zielbild (5) in zumindest eine Zwischenabbildung (Fig. 2b, 2c) umgesetzt wird, auf
der Randlinien (5a, 5b, 5c) hervorgehoben sind;
dadurch gekennzeichnet, daß
- a) die Randlinien in einem Folgeschritt zumindest hinsichtlich ihrer Richtungen ausgewertet werden (Fig. 2e, Fig. 4);
- b) ein Modell (30, Fig. 8) bereitgestellt wird, das aus anderen Randlinieninformationen zuvor so gebildet wurde, daß die Richtungen der Randlinien im Modell enthalten sind, welches Modell bzw. welche anderen Randlinieninformationen dem zu erkennenden Typ von Körperpartien (2) entsprechen;
2. Verfahren nach Anspruch 1, wobei mehrere Körperpartien abgebildet und
nacheinander anhand ihrer Randlinieninformation mit dem zu ermittelnden Typ
von Körperpartien verglichen werden.
3. Verfahren nach Anspruch 1, wobei die Positionsinformationen Daten zur Position
der zu erkennenden Körperpartie im Ziel-Grauwertbild (5) enthalten.
4. Verfahren nach Anspruch 1, wobei sowohl erste Randlinien (5d, 5e; 5d', 5e')
innerhalb der zumindest einen abgebildeten Körperpartie (2), wie auch die
Randlinie (5a, 5a') der zumindest einen abgebildeten und physisch abgegrenzten
Körperpartie (2) verwendet werden.
5. Verfahren nach Anspruch 1, bei dem die bildliche Darstellung ein Szenenbild mit
unterschiedlichen - aber lokal unveränderlichen - Intensitäten ist, das als nicht
bewegtes Standbild vorliegt, insbesondere in digitaler Form als pixelorientierte,
Intensitätsstufen enthaltende Repräsentation.
6. Verfahren nach Anspruch 1, bei dem als bildliche Darstellung ein Szene mit lokal
wechselnden Intensitätswerten vorliegt, die zumindest ein bewegtes Subjekt (1)
vor dem Hintergrund (3) zeigt und sich abhängig von der Zeit die relative Lage der
zumindest einen abgebildeten Körperpartie in ihrer Position oder ihrer
Orientierung relativ zum Hintergrund verändert.
7. Verfahren nach Anspruch 1, wobei die Randlinieninformationen als
"Kanteninformation" Daten zur Orientierung, insbesondere zum Verlauf, von durch
dreidimensionale Kanten des Subjekts (1) im 2D-Intensitätsbild (5) gebildeten
Linien enthalten.
8. Verfahren nach Anspruch 1, wobei die Hervorhebung der Randlinien aus einer
Auswertung des Intensitätsunterschiedes (Kontrast) von zwei angrenzenden
Bildbereichen erfolgt, insbesondere mit einem Sobel-Operator als
hochpaßähnlicher Flächenfilter.
9. Verfahren nach Anspruch 1, wobei ein durch das Modell (30) vorgegebener Typ
von Körperpartien vor dem Hintergrund (3) auf der bildlichen Darstellung (5)
aufgefunden wird und als Ergebnis der Auffindung eine binäre Antwort zur
Verfügung gestellt wird, wonach der Typ von Körperpartien, welcher der
Modellvorgabe entspricht, auf der bildlichen Darstellung befindlich ist oder nicht,
um eine Aussage zum Vorhandensein zumindest einer solchen Körperpartie zu
geben (Detektion).
10. Verfahren nach Anspruch 1, wobei das Grauwertbild (5) ein Farb- oder
Farbkomponentenbild ist, insbesondere im sichtbaren oder nicht sichtbaren
Wellenlängenbereich.
11. Verfahren nach Anspruch 1, wobei zu den Positionsinformationen auch eine
Größeninformation der Körperpartie ermittelt und festgehalten wird, insbesondere
gespeichert wird.
12. Verfahren nach Anspruch 11, wobei die Größeninformation bereitgestellt wird,
durch ein relatives Verändern der Größe des Modells (30) zur Größe des
Zielbildes (5) sowie einen Vergleich bei jeweils einer der verschiedenen
Größenrelationen, zur Ermittlung eines jeweiligen Übereinstimmungswertes für
jede Größenrelation von Zielbild und Modell, sowie unter Herausgreifen des
besten Übereinstimmungswertes für die Ermittlung der Größeninformation.
13. Verfahren nach Anspruch 1, wobei die hinsichtlich der Richtung ausgewertete
Zwischenabbildung (Fig. 2e, Fig. 4) mit dem Modell (30) durch Bilden mehrerer
Summen von am Winkel orientierten Ähnlichkeitswerten verglichen wird,
insbesondere unter Bildung einer jeweiligen Summe von Winkeldifferenzen
zwischen Randlinienabschnitten von Modell und der hinsichtlich der Richtungen
ausgewerteten Zwischenabbildung (Fig. 2e, Fig. 4).
14. Verfahren nach Anspruch 13, wobei ein Schwellenwert bereitgestellt wird, der mit
allen über das Zielbild verteilten Ähnlichkeitswerten verglichen wird, um nur dann
auf das Vorhandensein einer gesuchten Körperpartie (2) im Zielbild zu schließen,
wenn ein dem Schwellenwert entsprechender Mindestwert an zumindest einer
Stelle des Bildes unterschritten ist.
15. Verfahren zur Detektion von physisch abgegrenzten Körperpartien, wie Gesicht,
Hand, Bein, eines bildlich dargestellten Subjekts, wobei auf der bildlichen
Darstellung (5) eine Körperpartie (2) vor einem Hintergrund (3) abgebildet ist;
dadurch gekennzeichnet, daß
Randlinien (5d, 5e) der bildlichen Darstellung nur nach Linienrichtung (5a', 4a', 4b', 5c') ausgewertet werden, um durch einen Vergleich mit einem Modell (30) zu ermitteln, ob die abgebildete Körperpartie einem durch das Modell vorgegebenen Typ von Körperpartien entspricht, wobei
zumindest Randlinienrichtungen (5d', 5e') innerhalb der zumindest einen abgebildeten Körperpartie und Randlinienrichtungen (5a) der zumindest einen abgebildeten und physisch abgegrenzten Körperpartie
verwendet werden, womit sie hinsichtlich ihrer Position lokalisiert wird und zugehörige Positionsinformationen festgehalten werden.
Randlinien (5d, 5e) der bildlichen Darstellung nur nach Linienrichtung (5a', 4a', 4b', 5c') ausgewertet werden, um durch einen Vergleich mit einem Modell (30) zu ermitteln, ob die abgebildete Körperpartie einem durch das Modell vorgegebenen Typ von Körperpartien entspricht, wobei
zumindest Randlinienrichtungen (5d', 5e') innerhalb der zumindest einen abgebildeten Körperpartie und Randlinienrichtungen (5a) der zumindest einen abgebildeten und physisch abgegrenzten Körperpartie
verwendet werden, womit sie hinsichtlich ihrer Position lokalisiert wird und zugehörige Positionsinformationen festgehalten werden.
16. Verfahren zur Vorbereitung eines Verfahrens zur Detektion von physisch
abgegrenzten Körperpartien, wie Gesicht, Hand, Bein, eines bildlich dargestellten
Subjekts, wobei auf der bildlichen Darstellung (5) eine Körperpartie (2) vor einem
Hintergrund (3) abgebildet ist und Richtungsinformationen von Randlinien der
zumindest einen abgebildeten Körperpartie und des Hintergrundes gebildet
werden, um - in einem Folgeschritt - durch einen Vergleich mit einem
Modellbild (30) zu ermitteln, ob die abgebildete Körperpartie einem vorgegebenen
Typ von Körperpartien entspricht; wobei zur Vorbereitung des
Detektionsverfahrens ein Arbeitsbild durch Berechnungen entsteht, bei denen
- a) die bildliche Darstellung (5) in eine weitere Darstellung (Fig. 2b) umgerechnet wird, die Daten zur Richtung der Randlinien aufweist und für jede Richtung ein Deutlichkeitswert angegeben ist;
- a) die weitere Darstellung mit einem Schwellenwert flächig bearbeitet wird (Fig. 2c), um Richtungsdaten an den Stellen (1) der weiteren Darstellung zu unterdrücken, an denen der Deutlichkeitswert unter dem Schwellenwert liegt, so daß eine reduzierte Richtungsinformation (5a', 5b') in dem Arbeitsbild (Fig. 3, Fig. 4) verbleibt;
17. Verfahren nach Anspruch 16, wobei die verbliebene Richtungsinformation im
Arbeitsbild unverändert bleibt, aber die Deutlichkeitswerte für alle verbliebenen
Richtungen auf einen Standardwert gesetzt werden, um die
Deutlichkeitsinformation zu neutralisieren.
18. Verfahren nach Anspruch 17, wobei in dem Folgeschritt die verbliebene
Information (die verbliebenen Richtungen) durch Anwenden des Modellbildes (30)
einer Körperpartie ausgewertet wird und die dargestellte Körperpartie hinsichtlich
ihrer Position lokalisiert wird, wobei Positionsinformationen festgehalten werden
19. Verfahren nach Anspruch 16, wobei die mit dem Schwellenwert flächig
bearbeitete weitere Darstellung mit einem Binäroperator flächig bearbeitet wird,
um ein Schablonenbild (Fig. 2d) zu erhalten, das mit der weiteren Darstellung
flächig verknüpft wird.
20. Verfahren nach Anspruch 13, wobei bei der Bildung der mehreren Summen von
Ähnlichkeitswerten nur eine eingeschränkte Zahl von Summanden verwendet
wird, jeweils bei einer relativen Lage von Modell (30) und hinsichtlich der
Richtungen ausgewerteten Zwischenabbildung (Fig. 4), insbesondere unter 80%
der für eine jeweilige relative Lage verfügbaren Summanden, wobei die als
Summanden zur Bildung des Ähnlichkeitswertes verwendeten einzelnen
Ähnlichkeitsdaten diejenigen mit den besten Ähnlichkeitsdaten sind.
21. Verfahren nach Anspruch 13 oder 20, wobei zur Bildung von Winkeldifferenzen
nur spitze Winkel verglichen werden, wobei Winkel zwischen 90° und 180° in
entsprechende Winkel zwischen 90° und 0° umgesetzt werden, bevor sie mit den
Winkeln des Modells verglichen werden.
22. Verfahren nach Anspruch 21, wobei das Modell (30) nur Winkel zwischen 0° und
90° als Richtungen der im Modell enthaltenen Randlinien enthält.
23. Verfahren zur Lokalisierung zumindest einer physisch abgegrenzten Körperpartie,
wie Gesicht, Hand, Bein, eines bildlich dargestellten Subjekts,
- a) wobei auf der bildlichen Darstellung (5) zumindest eine Körperpartie (2) vor einem Hintergrund (3) abgebildet ist;
- b) wobei Randlinien (5d, 5e) der bildlichen Darstellung hervorgehoben (Fig. 2b) werden und zumindest ein Teil dieser hervorgehobenen Randlinien (Fig. 4) nach ihren Richtungen (5a', 4a', 4b', 5c') durch wiederholte Vergleiche mit einem Modellbild (30) ausgewertet werden, wobei jeder Vergleich in einer anderen lokalen Zuordnung von Modellbild (30) und dem Teil der hervorgehobenen Randlinien (Fig. 4) stattfindet, um jeweils einen Ähnlichkeitswert für jede lokale Zuordnung zu bilden;
24. Verfahren nach Anspruch 23, wobei der Teil der hervorgehobenen
Randlinien (Fig. 4) eine Zwischenabbildung ist und der Ähnlichkeitswert einer
lokalen Zuordnung durch Summieren von am Winkel der Randlinien orientierten
einzelnen Ähnlichkeitsdaten bestimmt wird, insbesondere
unter Bildung einer Summe von Winkeldifferenzen zwischen Randlinienabschnitten des Modellbildes (30) und der Zwischenabbildung (Fig. 2e, Fig. 4) über zumindest einen wesentlichen Flächenbereich des Modellbildes (30); oder
unter Bildung von Winkeldifferenzen zwischen Randlinienabschnitten des Modellbildes (30) und der Zwischenabbildung (Fig. 2e, Fig. 4), anschliessender trigonometrischer Umformung und Summieren der sich ergebenden Ähnlichkeitsdaten zu dem Ähnlichkeitswert.
unter Bildung einer Summe von Winkeldifferenzen zwischen Randlinienabschnitten des Modellbildes (30) und der Zwischenabbildung (Fig. 2e, Fig. 4) über zumindest einen wesentlichen Flächenbereich des Modellbildes (30); oder
unter Bildung von Winkeldifferenzen zwischen Randlinienabschnitten des Modellbildes (30) und der Zwischenabbildung (Fig. 2e, Fig. 4), anschliessender trigonometrischer Umformung und Summieren der sich ergebenden Ähnlichkeitsdaten zu dem Ähnlichkeitswert.
25. Verfahren nach Anspruch 23, wobei ein Schwellenwert bereitgestellt wird, der mit
allen über die Fläche der bildlichen Darstellung (5) verteilten Ähnlichkeitswerten
verglichen wird, um nur dann auf das Vorhandensein einer gesuchten
Körperpartie (2) zu schließen, wenn ein dem Schwellenwert entsprechender
Mindestwert an zumindest einer Stelle unterschritten ist.
26. Verfahren nach Anspruch 23, wobei ein Ähnlichkeitswert für eine jeweilige lokale
Zuordnung nur unter Verwendung von solchen am Winkel orientierten einzelnen
Ähnlichkeitsdaten bestimmt wird, bei denen sowohl für das Modellbild (30), wie
auch für die Zwischenabbildung (Fig. 2e) ein Richtungswert an derselben Stelle
vorhanden ist, und wobei an denjenigen Stellen, wo in zumindest einem der
beiden Bilder (Fig. 2e, 30) kein Winkel als Richtungsinformation vorliegt, kein
Beitrag zu dem für diese lokale Zuordnung bestimmten Ähnlichkeitswert erfolgt.
27. Verfahren nach Anspruch 24, wobei die Ähnlichkeit um so besser oder höher ist,
je geringer der Ähnlichkeitswert ist.
Priority Applications (9)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE10043460A DE10043460C2 (de) | 2000-09-04 | 2000-09-04 | Auffinden von Körperpartien durch Auswerten von Kantenrichtungsinformation |
US10/363,339 US8320682B2 (en) | 2000-09-04 | 2001-09-03 | Evaluation of edge direction information |
PCT/DE2001/003375 WO2002021427A2 (de) | 2000-09-04 | 2001-09-03 | Auswerten von kantenrichtungsinformation |
AT01978090T ATE336750T1 (de) | 2000-09-04 | 2001-09-03 | Auswerten von kantenrichtungsinformation |
AU2002210346A AU2002210346A1 (en) | 2000-09-04 | 2001-09-03 | Evaluation of edge direction information |
DE50110762T DE50110762D1 (de) | 2000-09-04 | 2001-09-03 | Auswerten von kantenrichtungsinformation |
DE10193780T DE10193780D2 (de) | 2000-09-04 | 2001-09-03 | Auswerten von Kantenrichtungsinformation |
EP01978090A EP1316057B1 (de) | 2000-09-04 | 2001-09-03 | Auswerten von kantenrichtungsinformation |
US13/685,047 US20130077870A1 (en) | 2000-09-04 | 2012-11-26 | Evaluation of edge direction information |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE10043460A DE10043460C2 (de) | 2000-09-04 | 2000-09-04 | Auffinden von Körperpartien durch Auswerten von Kantenrichtungsinformation |
Publications (2)
Publication Number | Publication Date |
---|---|
DE10043460A1 DE10043460A1 (de) | 2002-03-28 |
DE10043460C2 true DE10043460C2 (de) | 2003-01-30 |
Family
ID=7654869
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE10043460A Expired - Lifetime DE10043460C2 (de) | 2000-09-04 | 2000-09-04 | Auffinden von Körperpartien durch Auswerten von Kantenrichtungsinformation |
DE50110762T Expired - Lifetime DE50110762D1 (de) | 2000-09-04 | 2001-09-03 | Auswerten von kantenrichtungsinformation |
DE10193780T Withdrawn - After Issue DE10193780D2 (de) | 2000-09-04 | 2001-09-03 | Auswerten von Kantenrichtungsinformation |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE50110762T Expired - Lifetime DE50110762D1 (de) | 2000-09-04 | 2001-09-03 | Auswerten von kantenrichtungsinformation |
DE10193780T Withdrawn - After Issue DE10193780D2 (de) | 2000-09-04 | 2001-09-03 | Auswerten von Kantenrichtungsinformation |
Country Status (6)
Country | Link |
---|---|
US (2) | US8320682B2 (de) |
EP (1) | EP1316057B1 (de) |
AT (1) | ATE336750T1 (de) |
AU (1) | AU2002210346A1 (de) |
DE (3) | DE10043460C2 (de) |
WO (1) | WO2002021427A2 (de) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102009017772A1 (de) | 2009-04-16 | 2010-11-04 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Verfahren und System zum Erkennen eines Objektes, und Verfahren und System zum Erzeugen einer Markierung in einer Bildschirmdarstellung mittels eines berührungslos gestikgesteuerten Bildschirmzeigers |
EP1593001B1 (de) * | 2003-02-12 | 2012-06-06 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Einstellung eines Bildaufnehmers mit dynamischen Messfeldern |
US8320682B2 (en) | 2000-09-04 | 2012-11-27 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Evaluation of edge direction information |
Families Citing this family (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10118485B4 (de) * | 2001-04-12 | 2013-10-24 | Idencom Ag | Automatische Identifikation und/oder Verifikation linienhafter Texturen wie Fingerabdrücke |
US7298412B2 (en) * | 2001-09-18 | 2007-11-20 | Ricoh Company, Limited | Image pickup device, automatic focusing method, automatic exposure method, electronic flash control method and computer program |
DE10256225B4 (de) * | 2002-11-26 | 2005-02-10 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Automatische Qualitätsverbesserung eines nicht binären Bildes |
DE10305851B4 (de) * | 2003-02-12 | 2005-12-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Einstellung eines Bildaufnehmers mit dynamischen Meßfeldern |
JP4085959B2 (ja) * | 2003-11-14 | 2008-05-14 | コニカミノルタホールディングス株式会社 | 物体検出装置、物体検出方法、および記録媒体 |
US7372996B2 (en) | 2004-12-27 | 2008-05-13 | Trw Automotive U.S. Llc | Method and apparatus for determining the position of a vehicle seat |
DE102006008936A1 (de) * | 2006-02-27 | 2007-08-30 | Siemens Ag | Verfahren zum Erkennen von Objekten und Objekterkennungssystem |
JP4315991B2 (ja) * | 2007-04-20 | 2009-08-19 | 本田技研工業株式会社 | 車両周辺監視装置、車両周辺監視方法、車両周辺監視プログラム |
JP5079552B2 (ja) * | 2008-03-13 | 2012-11-21 | オリンパス株式会社 | 画像処理装置、撮像装置及び画像処理方法 |
CN101950418B (zh) * | 2010-08-26 | 2012-08-08 | 北京中创信测科技股份有限公司 | 一种图像质量评价方法和装置 |
US20120082385A1 (en) * | 2010-09-30 | 2012-04-05 | Sharp Laboratories Of America, Inc. | Edge based template matching |
US9916538B2 (en) | 2012-09-15 | 2018-03-13 | Z Advanced Computing, Inc. | Method and system for feature detection |
US11074495B2 (en) | 2013-02-28 | 2021-07-27 | Z Advanced Computing, Inc. (Zac) | System and method for extremely efficient image and pattern recognition and artificial intelligence platform |
US8873813B2 (en) | 2012-09-17 | 2014-10-28 | Z Advanced Computing, Inc. | Application of Z-webs and Z-factors to analytics, search engine, learning, recognition, natural language, and other utilities |
US11914674B2 (en) | 2011-09-24 | 2024-02-27 | Z Advanced Computing, Inc. | System and method for extremely efficient image and pattern recognition and artificial intelligence platform |
US11195057B2 (en) | 2014-03-18 | 2021-12-07 | Z Advanced Computing, Inc. | System and method for extremely efficient image and pattern recognition and artificial intelligence platform |
CN104715227B (zh) * | 2013-12-13 | 2020-04-03 | 北京三星通信技术研究有限公司 | 人脸关键点的定位方法和装置 |
US9519975B2 (en) * | 2014-01-08 | 2016-12-13 | Hong Kong Applied Science And Technology Research Institute Co. Ltd. | Method of detecting edge under non-uniform lighting background |
US10702206B2 (en) | 2015-06-29 | 2020-07-07 | Braun Gmbh | Toothbrush for oral cavity position detection |
ES2964759T3 (es) | 2015-09-08 | 2024-04-09 | Braun Gmbh | Determinación de una parte del cuerpo actualmente tratada de un usuario |
CN105574533B (zh) * | 2015-12-15 | 2018-01-12 | 徐庆 | 一种图像特征提取方法和装置 |
CN105426530B (zh) | 2015-12-15 | 2017-05-10 | 徐庆 | 一种商标检索方法、装置和*** |
EP3207823A1 (de) | 2016-02-16 | 2017-08-23 | Braun GmbH | Aufbaukonzept eines interaktiven systems |
CN108734687B (zh) * | 2017-04-21 | 2020-04-28 | 游诚曦 | 一种斜拉线不受力缺陷识别方法及装置 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19847261A1 (de) * | 1998-10-05 | 2000-04-06 | Dcs Dialog Communication Syste | Verfahren und System zur Personenerkennung mit modellbasierter Gesichtsfindung |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2973676B2 (ja) * | 1992-01-23 | 1999-11-08 | 松下電器産業株式会社 | 顔画像特徴点抽出装置 |
JPH09138471A (ja) * | 1995-09-13 | 1997-05-27 | Fuji Photo Film Co Ltd | 特定形状領域の抽出方法、特定領域の抽出方法及び複写条件決定方法 |
JP4037512B2 (ja) * | 1997-04-15 | 2008-01-23 | コニカミノルタビジネステクノロジーズ株式会社 | 画像読取装置 |
US6792135B1 (en) * | 1999-10-29 | 2004-09-14 | Microsoft Corporation | System and method for face detection through geometric distribution of a non-intensity image property |
EP1107166A3 (de) * | 1999-12-01 | 2008-08-06 | Matsushita Electric Industrial Co., Ltd. | Gerät und Verfahren zur Extraktion von Gesichtbildern und Speicherträger mit gespeichertem Program für das Verfahren |
DE10043460C2 (de) | 2000-09-04 | 2003-01-30 | Fraunhofer Ges Forschung | Auffinden von Körperpartien durch Auswerten von Kantenrichtungsinformation |
US6804391B1 (en) * | 2000-11-22 | 2004-10-12 | Microsoft Corporation | Pattern detection methods and systems, and face detection methods and systems |
EP1260935B1 (de) * | 2001-05-22 | 2006-07-12 | Matsushita Electric Industrial Co., Ltd. | Gerät zur Gesichtsdetektion, Gerät zur Detektion der Gesichtspose, Gerät zur Extraktion von Teilbildern und Verfahren für diese Geräte |
US7110602B2 (en) * | 2002-08-21 | 2006-09-19 | Raytheon Company | System and method for detection of image edges using a polar algorithm process |
-
2000
- 2000-09-04 DE DE10043460A patent/DE10043460C2/de not_active Expired - Lifetime
-
2001
- 2001-09-03 AT AT01978090T patent/ATE336750T1/de active
- 2001-09-03 DE DE50110762T patent/DE50110762D1/de not_active Expired - Lifetime
- 2001-09-03 WO PCT/DE2001/003375 patent/WO2002021427A2/de active Search and Examination
- 2001-09-03 AU AU2002210346A patent/AU2002210346A1/en not_active Abandoned
- 2001-09-03 US US10/363,339 patent/US8320682B2/en active Active
- 2001-09-03 EP EP01978090A patent/EP1316057B1/de not_active Expired - Lifetime
- 2001-09-03 DE DE10193780T patent/DE10193780D2/de not_active Withdrawn - After Issue
-
2012
- 2012-11-26 US US13/685,047 patent/US20130077870A1/en not_active Abandoned
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19847261A1 (de) * | 1998-10-05 | 2000-04-06 | Dcs Dialog Communication Syste | Verfahren und System zur Personenerkennung mit modellbasierter Gesichtsfindung |
Non-Patent Citations (5)
Title |
---|
Donahue, Rocklin "On the Use of Level Curves in Image Analysis" Image Understanding, Vol. 57, Nr. 2, 1993, S. 185-203 * |
HAIDER, KANEKO "Automatic Reconstruction of 3D Human Face from CT and Color Photographs" IEICE Tans. Inf.&Syst., Vol. E82-D, No. 9, Sept. 1999, S. 1287-1293 * |
Hueckel "An Operator Which Locates Edges in Digital Pictures" J. Assoc. Comput., March, 1971, Vol. 181, S. 113-125 * |
Maio, Maltoni "Fast Face Location in Complex Backgrounds" Face Recognition, From Theory to Applications, NATO ASI Series F: Computer and Systems Sciences, Vol. 163, 1998, S. 568-577 * |
R. CHELLAPPA, Ch.L. WILSON, S. SIROHEY "Human and Machine Recognition of Faces: A Survey", Proc. Of the IEEE, Vol. 83, No. 5, May 1995, S. 712-714 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8320682B2 (en) | 2000-09-04 | 2012-11-27 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Evaluation of edge direction information |
EP1593001B1 (de) * | 2003-02-12 | 2012-06-06 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Einstellung eines Bildaufnehmers mit dynamischen Messfeldern |
DE102009017772A1 (de) | 2009-04-16 | 2010-11-04 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Verfahren und System zum Erkennen eines Objektes, und Verfahren und System zum Erzeugen einer Markierung in einer Bildschirmdarstellung mittels eines berührungslos gestikgesteuerten Bildschirmzeigers |
EP3040818A1 (de) | 2009-04-16 | 2016-07-06 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Verfahren und system zum erkennen eines objektes, und verfahren und system zum erzeugen einer markierung in einer bildschirmdarstellung mittels eines berührungslos gestikgesteuerten bildschirmzeigers |
Also Published As
Publication number | Publication date |
---|---|
US20130077870A1 (en) | 2013-03-28 |
DE50110762D1 (de) | 2006-09-28 |
ATE336750T1 (de) | 2006-09-15 |
DE10043460A1 (de) | 2002-03-28 |
WO2002021427A2 (de) | 2002-03-14 |
EP1316057B1 (de) | 2006-08-16 |
US20050036688A1 (en) | 2005-02-17 |
AU2002210346A1 (en) | 2002-03-22 |
EP1316057A2 (de) | 2003-06-04 |
WO2002021427A3 (de) | 2002-08-08 |
DE10193780D2 (de) | 2004-04-15 |
US8320682B2 (en) | 2012-11-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE10043460C2 (de) | Auffinden von Körperpartien durch Auswerten von Kantenrichtungsinformation | |
DE69226512T2 (de) | Verfahren zur Bildverarbeitung | |
DE3689271T2 (de) | Verfahren zur Bildanzeige. | |
DE69224928T2 (de) | Schattentestverfahren für drei-dimensionales graphisches Wiedergabesystem | |
DE69530566T2 (de) | Hough-Transform mit Fuzzy-Gradient und Wahl | |
DE102017220307B4 (de) | Vorrichtung und Verfahren zum Erkennen von Verkehrszeichen | |
DE3608438A1 (de) | Verfahren zum berechnen von freien gekruemmten flaechen mittels computergestuetztem design cad und computergestuetzter herstellung cam und numerischer steuerung nc | |
DE69020780T2 (de) | Vielfache Tiefenpuffer für Graphik und Festkörpermodellierung. | |
EP2284795A2 (de) | Quantitative Analyse, Visualisierung und Bewegungskorrektur in dynamischen Prozessen | |
DE69328230T2 (de) | Entfernungbildverarbeitungsvorrichtung und -verfahren | |
DE60126040T2 (de) | Erkennung von Gegenständen mit Verwendung linearer Unterräume | |
DE3874889T2 (de) | Verfahren zur wiedergabe von sichtbildern eines objektes. | |
DE19531392C1 (de) | Verfahren zur Erzeugung einer Graphrepräsentation von Bildvorlagen | |
DE202017007534U1 (de) | Multiskalige 3D-Textursynthese | |
DE10017551C2 (de) | Verfahren zur zyklischen, interaktiven Bildanalyse sowie Computersystem und Computerprogramm zur Ausführung des Verfahrens | |
DE102005049017B4 (de) | Verfahren zur Segmentierung in einem n-dimensionalen Merkmalsraum und Verfahren zur Klassifikation auf Grundlage von geometrischen Eigenschaften segmentierter Objekte in einem n-dimensionalen Datenraum | |
DE112014001697T5 (de) | Bildverarbeitungsvorrichtung, Bildverarbeitungsprogramm und Betriebsverfahren für Bildverarbeitungsvorrichtung | |
DE3709919C2 (de) | ||
DE10297595T5 (de) | Verfahren zum automatischen Definieren eines Teilemodells | |
EP0870275B1 (de) | Verfahren zur mustererkennung und verfahren zum erstellen eines n-dimensionalen objektes | |
DE69128399T2 (de) | Fingerabdruckbildverarbeitungsvorrichtung | |
DE102020129164A1 (de) | Verfahren und vorrichtung zur unterscheidung von verschiedenen konfigurationszuständen eines objekts auf der grundlage einer bildlichen darstellung des objekts | |
DE102005041633B4 (de) | Verfahren und Vorrichtung zur Positions- und Ähnlichkeitsbestimmung von Objektpunkten in Bildern | |
DE102020208080A1 (de) | Erkennung von Objekten in Bildern unter Äquivarianz oder Invarianz gegenüber der Objektgröße | |
DE102006039832B9 (de) | Verfahren und Vorrichtung zum Auffinden und Unterscheiden von Personen, Tieren oder Fahrzeugen mittels automatischer Bildüberwachung digitaler oder digitalisierter Bilder |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
OP8 | Request for examination as to paragraph 44 patent law | ||
8304 | Grant after examination procedure | ||
8364 | No opposition during term of opposition | ||
Q161 | Has additional application no. |
Ref document number: 10193780 Country of ref document: DE Kind code of ref document: P |
|
R071 | Expiry of right |