NL1016006C2 - Werkwijze en toestel voor het detecteren van ogen en lichaam van een sprekend persoon. - Google Patents

Description

Korte aanduiding: Werkwijze en toestel voor het detecteren van ogen en lichaam van een sprekend persoon .

De uitvinding heeft betrekking op een inrichting en werkwijze voor het interpreteren en uitnemen van kenmerken van menselijke gezichten.

Bij de studie van kunstmatige intelligentie is aandacht be-5 steed aan het in een computer inbrengen van de capaciteit mensen te herkennen om de computer of machine intelligentie te gen. In het bijzonder is de technologie van het herkennen van gezichten, gebruik makend van menselijk zichtsysteem, actief en diepgaand bestudeerd op alle gebieden die samenhangen met computervisuali-10 satie en beeldverwerking, zoals patroonherkenning, en het onderzoeken van gelaatsuitdrukkingen. Een techniek voor het detecteren van gezichten en de gelaatszone is van belang bij het onderzoeken naar aangezichtsuitdrukkingen, het detecteren van slaperigheid bij bestuurders, besturing van toegangen en uitgangen, 15 en het indexeren van beelden. Mensen detecteren een gelaatszone gemakkelijk, zelfs in verschillende en dynamische omgevingen, terwijl dit voor computers geen gemakkelijke opgave is, zelfs in een betrekkelijk eenvoudige beeldomgeving.

Representatieve benaderingen in reeds eerder voorgestelde 20 gezichtszonedetectiemethoden zijn het gebruik van een neuraal netwerk (Amerikaans octrooischrift 5.680.481), een werkwijze voor het gebruiken van statistische kenmerken van gezichtshel-derheid, zoals de hoofdcomponentanalyse van helderheid (Amerikaans octrooischrift 5.710.833) en de door T. Poggio (IEEE 25 Transactions on Pattern Analysis and Machine Intelligence 20, 1998) voorgestelde aanpassingsmethode. Voor het gebruiken van een verkregen beeldkandidaatbeeld als invoer voor een gezichts-herkenningsysteem is een middel nodig voor het detecteren van de exacte positie van de gezichtscomponenten of gezichtskenmerken 30 in de uitgenomen kandidaatbeeldzone. Met andere woorden voor het vergelijken van een ingevoerd beeld met een model zijn positiebepaling en een afmetingsnormaliseringsproces voor het compense- -2- ren van verschillend in afmetingen, hoek, en oriëntatie van het gezichtsbeeld verkregen uit het ingevoerde beeld ten opzichte van een gezichtsbeeld van een model voorwaarde voor een verbeterde herkenning en een efficiënte aanpassing. In de meeste ge-5 zichtsherkenningsstelsels wordt de zone van het centrale gedeelte van een pupil gebruikt als referentiegezichtscomponent in het uitlijnings- en normaliseringsproces. Dit omdat de kenmerken van de beeldzone ongewijzigd blijven vergeleken met die van andere gezichtscomponenten zelfs wanneer veranderingen optreden in 10 afmeting, expressie, houding, verlichting en dergelijke van het gezichtsbeeld.

Vele studies voor het detecteren van de oogzone of de centrale positie van de pupil uit een beeld zijn in gang. Werkwijzen toegepast op conventionele gezichtsherkenningsstelsels ge-15 bruiken in hoofdzaak de pupildetectiewerkwijze. Een representatieve pupildetectiewerkwijze is het gebruik van genormaliseerde correlatie van alle locaties binnen een ingevoerd beeld ter verkrijging van oogmodellen van verschillende afmeting, en het vormen van een Gauss-piramide beeld van het ingevoerde beeld. 20 Voorts tonen het Amerikaans octrooischrift 5.680.481 en IEEE TPAMI19, 1997, ten name van Moghaddam en T. Poggio (IEEE TPAMI 20, 1998) een werkwijze waarin eigen matrices voor ogen-, neus- en mondzone worden verkregen overeenkomstig de afmeting van een model, en van interest zijnde kenmerken worden gezocht door ver-25 gelijking met een ingevoerd beeld in alle zones binnen het mo-delbeeld. Een probleem van de beide werkwijzen is dat alle zones in het beeld moeten worden onderzocht met verschillende modellen geclassificeerd op basis van afmeting of oriëntatie voor alle zones van een beeld, daar in het ingevoerde beeld geen informa-30 tie aanwezig is betreffende afmeting, oriëntatie of locatie van ogen- of neuskenmerken. Dit leidt niet alleen tot een overmatige hoeveelheid rekenwerk doch vergt ook het bepalen van een drempelwaarde voor het definiëren van elke zone en leidt tot overmatig veel valse alarmen, zodat toepassing op een feitelijk sys-35 teem moeilijk is.

Het Amerikaans octrooischrift 5.832.115 beschrijft dat sjablonen met twee concentrische ellipsen voor het detecteren van -3- gezichtsellipsen kunnen worden gebruikt voor het detecteren van een gezichtslocatie door het evalueren van de afmeting van de randcontouren die het gezicht omringen in een zone tussen de twee ellipsen. Zelfs in dit geval echter treden dezelfde proble-5 men op dat afmeting en oriëntatie van een elliptisch sjabloon moet worden bepaald en in alle zones binnen het beeld moeten worden opgezocht.

Teneinde bij het detecteren van gezichtslocaties dit probleem te ondervangen zijn vele recente studies gericht op het 10 gebruik van kleurbeelden. Op basis van het feit dat in de meeste kleurbeelden een kleurwaarde in de kleur van gezicht of huid bij benadering een algemene statistische waarde heeft, is de studie voor het verkrijgen van gezichtszones van een kandidaat door het detecteren van huidkleuren een hoofdonderwerp (zie J. Rehg, 15 (COMPAQ TR CRL9811, 1998 en de daarin genoemde literatuur). Re cent zijn de studies met het meeste succes toegepast op kleurin-dexering, volgen van gezichten en uitneming. Echter wordt het verkrijgen van de gezichtspositie aan de hand van kleuren aanzienlijk beïnvloed door de omstandigheden waaronder het beeld 20 wordt genomen, zoals een camera die een beeld opneemt, de kleur der belichting, en oppervlak en toestand van een object. Twee verschillende camera's bijvoorbeeld leiden zelfs in dezelfde omgeving en voor dezelfde persoon tot verschillende kleurwaarden en in het bijzonder verandert de kleur van gezicht of huid sig-25 nificant met de belichting. In het geval waarin de omstandigheden waaronder het beeld is genomen onderkend zijn is het moeilijk het bereik te bepalen van de huidkleurwaarde voor het identificeren van uitsluitend een gezichtskleurzone. Een proces voor het uitsluitend bepalen van gezichtszones voor overeenkomstige 30 huidkleuren die ver uit elkaar liggen, de achtergrondkleuren inbegrepen, is niet alleen een moeilijke taak doch vergt vele opeenvolgende processen.

De uitvinding beoogt een toestel te verschaffen in staat tot het nauwkeurig en snel detecteren van de ogen en de gezichtspo-35 sitie van een sprekende persoon, welke inrichting tolerant is voor beeldruis.

Volgens de uitvinding omvat een dergelijk toestel: -4- een oogpositiedetectiemiddel voor het detecteren van pixels met een sterke grijskarakteristiek voor het bepalen van zones met locatie- en textuurkarakteristieken als oogkandidaatzones uit zones gevormd door de gedetecteerde pixels in een ingevoerd 5 rood, blauw en groen (RGB) beeld; gezichtpositiebepalingsmiddelen voor het vormen van zoeksja-blonen voor het aanpassen van een modelsjabloon aan twee zones, gewonnen uit de oogkandidaatzones en voor het bepalen van een optimaal zoeksjabloon uit de gecreëerde zoeksjablonen, gebruik-10 makend van de waarde van het normaliseren van de som van een waarschijnlijkheidsafstand voor chromaticiteit van pixels binnen de zone van een zoeksjabloon en horizontale randafmetingen berekend in de posities van de linker en rechter ogen, een mond en een neus, geschat door het zoeksjabloon; en 15 een uitneempositiestabilisatiemiddel voor het vormen van een minimum begrenzingsrechthoek door het optimale zoeksjabloon, en oplopende telwaarden corresponderend met de minimum begrenzings-rechthoekzone en aflopende telwaarden corresponderend met een zone anders dan de minimum begrenzingsrechthoekzone uit telwaar-20 den van individuele pixels, opgeslagen in een vormgeheugen, voor het uitvoeren van de zone waarin telwaarden boven een vooraf bepaalde waarde liggen, zoals de oog- en gezichtszones.

De uitvinding beoogt voorts een werkwijze te verschaffen voor het detecteren van ogen en gezicht van een sprekende per-25 soon. Volgens de uitvinding omvat deze werkwijze de stappen van: het detecteren van pixels met een sterke grijskarakteristiek voor het bepalen van zones met plaatselijke en textuurkarakteristieken als oogkandidaatzones uit zones gevormd door de gedetecteerde pixels in een ingevoerd rood, blauw en groen (RGB) 30 beeld; het vormen van zoeksjablonen door aanpassing van een models-jabloon aan twee zones uitgenomen uit de oogkandidaatzones en het bepalen van een optimaal zoeksjabloon uit de gecreëerde zoeks jablonen door gebruik van de waarde welke de som van een 35 waarschijnlijkheidsafstand voor de chromaticiteit van pixels binnen de zone van een zoeksjabloon en de horizontale randafmetingen van de posities van de linker en rechter ogen, een mond -5- en een neus, geschat door het zoeksjabloon in het RGB beeld optimaliseert; en vormen van een minimum begrenzingsrechthoek door het optimale zoeksjabloon en het verhogen van telwaarden corresponderend 5 met de minimale rechthoekige begrenzingszone en het realiseren van telwaarden corresponderend met een zone anders dan de minimale rechthoekige begrenzingszone uit telwaarden van individuele pixels opgeslagen in een vormgeheugen voor het uitvoeren van de zones, waarin telwaarden boven een vooraf bepaalde waarde lig-10 gen, als oog- en gezichtzones.

De uitvinding wordt toegelicht aan de hand van de tekening. Daarin is: fig. 1 een blokschema van de totaalconfiguratie van een stelsel volgens de uitvinding; 15 fig. 2 is een gedetailleerd blokschema van een oogpositiede- tector; fig. 3 is een gedetailleerd blokschema van een gezichtsposi-tiebepaler; fig. 4 is een gedetailleerd blokschema van een uitgenomen 20 positiestabilisator; fig. 5 toont de helderheidsverdeling over de vorm van een gezicht; fig. 6A-6D tonen een werkwijze voor het detecteren van de oogzones van een kandidaat; 25 fig. 7A-7C illustreren een werkwijze voor het detecteren van een gezichtspositie; en fig. 8 toont de detectie van een gezichtspositie in een serieel "Moving Picture Experts Group (MPEG)" beeld.

30 Volgens de onderhavige uitvinding wordt een oogpositie, die een representatieve gezichtskenmerk is, verkregen door de analyse van een gemeenschappelijk kenmerk aanwezig in een gezicht, verkregen uit verschillende kleurbeelden. Ogen in een gezicht hebben een geometrisch concave vorm, zodat de helderheid der 35 ogen een sterke grijskarakteristiek in een beeld representeert. Een representatieve kleurkarakteristiek van de ogen is dat de waarden van drie hoofdcomponenten van een ingevoerde kleur in -6- grootte overeenkomstig zijn en in de oogpositie een zeer lage helderheid hebben. Voorts is het helderheidsverschil van kleuren in de pupil van ogen en een gezicht dicht en lokaal verdeeld, zodat deze wordt gekarakteriseerd door textuur in de meeste 5 beelden waarin pupilcontouren aanwezig zijn. Daar de oogpositie wordt omringd door de gezichtskleur is er een plaatskenmerk waarin zowel kleur als textuurkarakteristieken lokaal optreden. In het geval van haar is er een sterke grijskarakteristiek, lokaal in het grensgebied, doch een dergelijke karakteristiek 10 wordt als breed en lang getoond. Aldus heeft haar geen lokale karakteristiek.

De uitvinding gebruikt de drie hierboven beschreven hoofdkenmerken als informatie voor de initiële detectie van een oogpositie. Nadat de oogpositie is gedetecteerd via de combinatie 15 van de drie door de ogen verkregen karakteristieken wordt de exacte oogpositie verkregen door een combinatie van meerdere daarop volgende processen en een gezichtsherkenningsproces, en wordt de gezichtspositie verkregen gebruik makend van de daaruit resulterende informatie. Voorts kan de op deze wijze verkregen 20 gezichtspositie worden gebruikt in een toepassing waarin de van belang zijnde vormen (region of interest, ROI) in beeldtransmis-sie via een videofoon wordt overgedragen.

Volgens fig. 4 omvat een toestel voor het verbeteren van de beeldkwaliteit door oog- en gezichtsdetectie volgens een uitvoe-25 ringsvorm der uitvinding een oogpositiedetector 10 voor het bepalen van een oogpositie in een ingevoerd, een gezichtspositie-bepaler 20 voor het vormen van een gezichtssjabloon gebruik makend van de gedetecteerde oogpositiepunten en het aanpassen van het gezichtss jabloon aan beelddata ter bepaling van de oog- en 30 gezichtsposities, en een uitneempositiestabilisator 30 om te voorkomen dat de uitgenomen oog- en gezichtsposities in een beeld significant worden veranderd.

Zoals fig. 2 toont omvat de oogpositiedetector 10 volgens een uitvoeringsvorm der uitvinding een kleurconversie-eenheid 35 21, een sterk grijs-uitneemeenheid 22, een mediaanfiltereenheid 23, een zoneformeereenheid 24, een zonevorminterpreteereenheid 25, een textuuruitneemeenheid 26 en een oogkandidaatbepalings- -7- eenheid 27. De kleurconversie-eenheid 21 zet een videosignaal YUV van een ingevoerd beeld om in een drie-kleuren (RGB) signaal. De sterk grijs-uitneemeenheid 21 interpreteert het RGB signaal van het beeld voor uitnemen van pixels met een sterke 5 grijskarakteristiek. De sterk grijs-uitneemheid 21 gebruikt het kenmerk dat, wanneer het verschil tussen de maximum kleurwaarde (MAXC) en de medium kleurwaarde (MINC) van elke kleurcomponent, welke een kleur voor een pixel representeert een waarde heeft kleiner dan een vooraf bepaalde waarde tl, terwijl de waarde 10 MAXC kleiner is dan een vooraf bepaalde waarde t2 de pixel een sterke grijskarakteristiek heeft. Wanneer de waarden van elke kleurcomponent worden gerepresenteerd in het bereik 0-255 ligt tl bij voorkeur in het bereik van 55-65 en wordt t2 bepaald te liggen in het bereik van 90-110. Echter is de beschermingsomvang 15 der uitvinding niet beperkt tot deze uitvoeringsvorm en omvat elke bekende methode voor het uitnemen van sterke grijspixels.

De mediaanfiltereenheid 23 filtert de uitgenomen pixels met een mediaanfilter voor het verwijderen van puntruis. De zonefor-meereenheid 24 groepeert samenhangende pixels tezamen ter vor-20 ming van zones aan elk waarvan een corresponderende label wordt gehecht. De zonevorminterpreteereenheid 25 omvat een rondheidin-terpreteereenheid 25a, een hoogte-breedte-verhoudinginterpre-teereenheid 25b, en een zoneafmetinginterpreteereenheid 25c. De rondheidinterpreteereenheid 25a interpreteert de vorm van elke 25 gelabelde zone om te bepalen of de vorm daarvan al dan niet een cirkel benadert. De hoogte-breedteverhoudinginterpreteereenheid 25b berekent de hoogte-breedteverhouding van elke gelabelde zone, en de zoneafmetinginterpreteereenheid 25c berekent de relatieve afmeting van elke gelabelde zone om de plaats van elke 30 zone te onderzoeken.

De textuuruitneemeenheid 26 omvat een morfologie-interpre-teereenheid 26a en een horizontale randinterpreteereenheid 26b. De morfologie-interpreteereenheid 26a gebruikt een morfologie-filter in elke zone voor het onderzoeken van een textuurkarakte-35 ristiek door het berekenen van een textuurresponsie. De horizontale randinterpreteereenheid 26b bepaalt een horizontale rand gebruik makend van een horizontaal randfilter. Als morfologie- -8- filter wordt bij voorkeur een minimummorfologiefilter gebruikt (zie M. Kunt, IEEE TCSVT, 1998) en een Sobel-operator, dus een algemeen differentieelfilter, wordt als horizontaal randfilter gebruikt. De oogkandidaatbepalingseenheid 27 bepaalt uit de ge-5 labelde zones die zones waarin lokaliteit- en textuurkenmerken groter zijn vooraf bepaalde waarden als oogkandidaatzones.

Fig. 3 toont de gezichtspositiebepaler 20 volgens een uitvoeringsvorm der uitvinding met een gezichtssjablooncreëereen-heid 31, een waarschijnlijke afstand-werkeenheid 32, een rand-10 kenmerkinterpreteereenheid 33 en een optimale zoeksjabloonbepa-lingseenheid 34. De gezichtssjablooncreëereenheid 31 past een modelsjabloon, eerder verkregen, aan aan de positie van de twee zones uitgenomen uit de oogkandidaatzones voor het creëren van een zoeksjabloon op een ingevoerd RGB beeld door overeenkomstig-15 heidstransformatie. Bij voorkeur wordt het modelsjabloon gevormd uit een rechthoek van de gezichtszone, met twee cirkels die het linker respectievelijk rechter oog aangeven, waarvan de basis ligt tussen de neus- en monddelen.

De waarschijnlijke afstand-rekeneenheid 32 berekent de som 20 van de waarschijnlijke afstanden van de huidkleuren op elke pixel van een gezichtszone gebruik makend van de waarden van de kleurverschilsignalen Cr en Cb van pixels binnen de zoeksja-bloonzone en vooraf berekende statistische waarden, en normaliseert vervolgens de som van de waarschijnlijke afstanden ten op-25 zichte van de afmeting van het zoeksjabloon. De randkenmerkin-terpreteereenheid 33 detecteert het horizontale randkenmerk van een ingevoerd RGB beeld uit de geschatte locaties van ogen, neus en mond in een zoeksjabloon. Meer in het bijzonder detecteert de randkenmerkinterpreteereenheid 33 een eerste horizontale randaf-30 meting van een ingevoerd RGB beeld, corresponderend met de geschatte locaties van mond en neus in het zoeksjabloon, en detecteert voorts een tweede horizontale rand in het ingevoerde RGB beeld corresponderend met een zone aangepast aan het zoeksja-bloon zonder ogen-, neus- en mondlocaties. Vervolgens berekent 35 de randinterpreteereenheid 33 een randcomponentverhouding die de verhouding is van de eerste horizontale randafmeting ten opzichte van de tweede horizontale randafmeting. Bovendien kan de -9- randinterpreteereenheid 33 de horizontale randafmetingen van ogen, genormaliseerd ten opzichte van de afmeting van cirkels die de oogpositie aangeven, detecteren.

De optimale zoeksjabloonbepalingseenheid 34 kent elk vooraf 5 bepaald gewicht toe aan de genormaliseerde waarschijnlijke afstand, de randcomponentverhouding en de genormaliseerde horizontale randafmeting van de ogen, voor het bepalen van een sjabloon dat, als optimaal zoeksjabloon, de kleinste som heeft. In het geval waarin een zone waarin een aantal zoeksjablonen is gesu-10 perponeerd zich onafhankelijk bevindt in een zone waarin andere zoeksjablonen zijn gesuperponeerd bepaalt de optimale zoeksja-bloonbepalingseenheid 34 elk optimaal zoeksjabloon op basis van een onafhankelijke zone. Dit omdat binnen een beeld een aantal gezichten aanwezig kan zijn.

15 Zoals fig. 4 omvat de uitneempositiestabilisator 30 volgens een uitvoeringsvorm der uitvinding een vormgeheugen 43, een minimum begrenzingsrechthoek (MBR) vormeenheid 41, een vormgeheu-genverversingseenheid 42 en een volgpositie-uitneemeenheid 44 en voorts kan een andere uitvoeringsvorm een snelheid- en vormin-20 terpreteereenheid 45 omvatten. Het vormgeheugen 43 slaat tel-waarden op van het aantal pixels corresponderend met de afmeting van een ingevoerd RGB beeld (de hoogte van het beeld maal de breedte daarvan). De MBR vormeenheid 41 vormt de minimale begrenzingsrechthoek waarin een gezichtsbeeld binnen een optimaal 25 zoeks jabloon past. In het geval van het zoeks jabloon kan de rechthoek worden geroteerd ten opzichte van een beeld, afhankelijk van de onderlinge stand van linker en rechter oog. Voorts omvat het MBR een gezichtsbegrenzing bepaald door het optimale zoeksjabloon en is gevormd met dezelfde oriëntatie als een beeld 30 onafhankelijk van de rotatie van het gezicht.

De vormgeheugenverversingseenheid 42 verhoogt de telwaarden corresponderend met de zone van een MBR uit de op pixel gebaseerde telwaarden opgeslagen in het vormgeheugen 43 en reduceert telwaarden corresponderend met zones anders dan het MBR. De 35 volgpositieuitneemeenheid 44 voert zones uit waarin telwaarden groter dan of gelijk aan een vooraf bepaalde waarde liggen, zoals oog- en gezichtszones van een sprekend persoon. Voorts bere- -10- kent de snelheid- en vorminterpreteereenheid 45 de zone en de bewegingssnelheid van het MBR voor het besturen van het bereik van waarden, verhoogd of verlaagd door de vormgeheugenverver-singseenheid 42.

5 In het nuvolgende zullen details van de werking van de in richting volgens de uitvinding worden beschreven. Om te beginnen zal het proces van het bepalen van oogkandidaatzones volgens de uitvinding worden beschreven aan de hand van de fig. 2, 5 en 6A-6D. De uitvinding maakt gebruik van ingevoerde videosignalen van 10 een stilstaand beeld of van een videokleurenbeeld. Het videosignaal YUV van een ingevoerd beeld wordt omgezet in een drie-kleu-ren (RGB) signaal. De drie belangrijke karakteristieken die in aanmerking worden genomen bij de oogpositiedetectie in de uitvinding zijn: de sterke grijskarakteristiek van de ogen, de ho-15 rizontale rand- of textuurkarakteristiek van een positie nabij de ogen, en de verdelingsconcentratie. Voor het toelichten van deze drie karakteristieken toont fig. 5 tweeëndertig frontbeel-den van zestien personen, en wel twee beelden per persoon, en een beeld dat de vooraanzichtsbeelden middelt. Zoals in elk 20 beeld in fig. 5 getoond ligt de concaviteit van de linker en rechter ogen in zones met een ronde vorm. Het belangrijke punt in de stap van het bepalen van de oogkandidaatzones is het uitnemen van kandidaatpunten door de combinatie van deze drie karakteristieken .

25 Fig. 6A toont vier representatieve beelden zoals gebruikt in de "Moving Picture Experts Group" (MPEG) videoclips. De beelden zijn in hoofdzaak beelden van hoofd en schouder waarin een hoofd en het bovendeel van een lichaam zijn getoond. Zoals fig. 6A toont hebben de oogdelen van de beelden in het algemeen een 30 sterke grijskarakteristiek met delen die dicht bij zwart liggen.

De grijskarakteristiek wordt veroorzaakt door het feit dat ogen een geometrisch concave vorm hebben.

Daarom neemt de sterk grijs-uitneemeenheid 21 pixels uit die een sterke grijswaarde vertegenwoordigen uit het kleursignaal 35 van een beeld, gebruik makend van het kenmerk dat een pixel een sterke grijswaarde vertegenwoordigt wanneer het verschil tussen de maximum en minimum waarde van een kleurcomponent welke voor -11- de pixel een kleur representeert klein is en de helderheid een lage verdeling heeft. Fig. 6B toont het uitnemen van de pixels die een sterke grijskarakteristiek representeren. In fig. 6B zijn sterke grijspixels in elk beeld aangegeven als door ze te 5 superponeren op het oorspronkelijk beeld en in elk beeld worden ook donkere delen van de achtergrond uitgenomen.

Voor wat betreft de spatiele verdeling van de uitgenomen pixels in beeldcoördinaten liggen de grijspixels van oogdelen aan de binnenkant van de huidzone van een gezicht, terwijl 10 grijspixels van achtergrond of hoofddelen als grote klompen voorkomen of wijd zijn verspreid. Dit betekent dat een lokaal kenmerk de consistente eigenschap van het oogdeel wordt, en in overeenstemming daarmee kunnen oogkandidaatzones gebruik makend van dit lokale kenmerk worden gewonnen.

15 Na het uitvoeren van mediaanfiltering en een zonelabeling op de randpixels uitgevoerd uit de sterk grijs-wineenheid 33 berekent een zonevorminterpreteereenheid 25 afmeting, rondheid en hoogte-breedteverhouding voor elke zone voor het verwijderen van zones zonder lokale kenmerken, in de meting van de rondheid is 20 het noodzakelijk te zoeken naar zones waarvan de vorm de cirkel zo veel mogelijk benadert, onafhankelijk van oriëntatie en afmeting der zones. Een uitvoeringsvorm der uitvinding gebruikt bij voorkeur de volgende gelijkheden van Haralock [Computer & Robot Vision Addition-Wesely Pub., 1992] als standaard voor het meten 25 van de rondheid en de hoogte-breedteverhouding met een dergelijk kenmerk 30 Ar = IK - ct)- (r- c)j| ...0) 11 k=0 1 Π ril _ η2 „ = -Σ [l!(rk - °k)-O'-C)||- (2) J3 II k=0l -12-

In de gelijkheden (1) en (2) worden de twee waarden μμ en or gedefinieerd in termen van pixels rk en c):, waarin k de index is voor pixels binnen een vorm en loopt van 0 tot n, terwijl ( r , c ) de coördinaat is van het centrum van de zone. De waarde van 5 ^r/or gemeten uit de twee berekende waarden geeft de rondheid van de vorm aan. Wanneer de waarde μκ/σβ in een zone kleiner is dan een vooraf bepaalde waarde (de vooraf bepaalde waarde is 1,2 in de voorkeursuitvoeringsvorm der uitvinding, doch de uitvinding is hiertoe niet beperkt) is er een hoge waarschijnlijkheid 10 dat het gaat om een zone met willekeurige vorm, zodat de corresponderende zone wordt uitgesloten.

De MBR van een zone wordt berekend om de hoogte-breedtever-houding te berekenen. De hoogte-breedteverhouding is beperkt zodat die zones lang zijn in verticale richting van het beeld wor- 15 den verwijderd. In een uitvoeringsvorm der uitvinding worden zo nes met een hoogte-breedteverhouding kleiner dan 0,7 of groter dan 3,5 verwijderd. Zones waarin het aantal pixels groter is dan of gelijk is aan een vooraf bepaalde waarde worden uitgesloten. In een uitvoeringsvorm der uitvinding wordt, wanneer de afmeting 20 van een zone welke equivalent is aan het aantal pixels in de hoogte van het beeld vermenigvuldigd met het aantal pixels in de breedte daarvan/1.600) groter is dan een vooraf bepaalde waarde uitgesloten. Echter is de uitvinding niet beperkt tot de in deze uitvoeringsvorm gebruikte numerieke grens.

25 Fig. 6C toont een textuurkenmerk gedetecteerd door een mor- fologieoperator. Zoals fig. 6C toont wordt een sterke responsie (mate van helderheid) van een textuurkarakteristiek verkregen als gevolg van het dicht gelokaliseerd helderheidsverschil. De textuurkarakteristiek is sterk vertegenwoordigd in een randge-30 deelte, niet in de begrenzing tussen de zones. Voorts blijkt dat er een consistente horizontale randkarakteristiek bestaat, doordat het helderheidsverschil sterk optreedt in de nabijheid van de ogen en in verticale richting. Aldus kunnen de oogkandidaten uiteindelijk worden bepaald door het slechts kiezen van delen 35 met sterke horizontale rand- en textuurkarakteristieken uit de oogzonekandidaten die door de zonevorminterpretatie zijn gewonnen.

-13-

Fig. 6D toont de aldus uiteindelijk verkregen oogkandidaat-punten. Daar een gezicht linker en rechter ogen heeft kunnen, wanneer de positie van beide ogen is bepaald, afmeting, richting en plaats van een te vergelijken gezichtssjabloon worden be-5 paald. Met andere woorden de positie van de ogen wordt bepaald door het superponeren van een gezichtssjabloon volgens de gewonnen oogkandidaatposities, en uiteindelijk het identificeren van een gezichtszone.

In het nuvolgende zal het proces van het bepalen van een ge-10 zichtszone worden beschreven aan de hand van de fig. 3, 7A-7C, en 8. De fig. 7A-7C dienen ter toelichting van een werkwijze voor het bepalen van een optimaal zoeksjabloon, gebruik makend van een models jabloon. Fig. 7B toont de vormen van een zoekge-zichtssjabloon aangepast door het superponeren van het zoeksja-15 bloon op de gekozen oogkandidaatzone. Meer in het bijzonder heeft het modelsjabloon een rechthoekige vorm waarvan de afmeting kan worden gewijzigd, met twee cirkelvormen die een indicatie zijn van de oogpositie binnen de rechthoekige vorm. Bovendien ligt de basis van de rechthoek van het modelsjabloon tussen 20 neus en mond. Wanneer eenmaal de positie van een paar oogkandi-daat is gekozen worden afmeting, oriëntatie, vorm en locatie van het modelsjabloon in het beeld bepaald, zodat het modelsjabloon is gesuperponeerd op de oogkandidaatzone. Daarna wordt bepaald of de gekozen oogkandiaatzone al dan niet in feite ogen of een 25 gezicht representeert door het onderzoeken van de kleuren en de geometrische karakteristieken van beeldzones gelegen binnen het overlappend modelsjabloon. Het modelsjabloon wordt getransformeerd in een zoeksjabloon met vier factoren. In dit geval is het mogelijk een conversiefactor te bepalen omdat er vier gelijkhe-30 den en vier onbekenden zijn. Fig. 7 geeft de uiteindelijk herkende oogpositie en de gedetecteerde gezichtszone weer.

Het nuvolgende beschrijft een proces van het herkennen van een gezicht in het zoeksjabloon bepaald door de oogpositie. Allereerst heeft een gezicht een huid en de verdeling van de huid-35 kleur van mensen ligt in een bepaald bereik. Vele studies hebben aangetoond dat de reflectiekleur van een object in ruime mate varieert en in hoofdzaak afhankelijk is van de verandering in -14- belichting en vorm, doch dat de kleur van een gezicht of huid een gespecificeerde waarde heeft met in de meeste beelden een gespecificeerde verdeling. In het licht van dit feit is het mogelijk gezichtskandidaatzones te herkennen gebruik makend van de 5 verdeling van een huidkleur. Aangenomen kan worden dat een gezichtskleur in een tweedimensionale chrominantieruimte een Gauss-verdeling vertoont. Aldus kan de huidkleur worden gekozen uit duizenden MPEG videobeelden ter berekening van een statistische waarde. Gebruik makend van de berekende statistische waarde 10 is het mogelijk een waarschijnlijkheidsafstand te berekenen die aangeeft of de interne zones van zoeksjablonen gesuperponeerd zoals in fig. 7B getoond dicht bij een huidkleur liggen. In een uitvoeringsvorm der uitvinding wordt als waarschijnlijke afstand een "mahalanobis" afstand gebruikt.

15 d2(x)= (x-/y)‘X 1 (x - μ) „(3) 20 In gelijkheid (3) geven d en x aan de waarschijnlijkheidsaf- stand en een vectorwaarde van een ingevoerde kleur opgebouwd uit kleurverschilsignalen Cr respectievelijk Cb. Voorts geven μ en Σ de gemiddelde vector van een geleerde huidkleur, en de variant-matrix van de geleerde waarde. Wanneer de som van de mahalano-25 bisafstand voor de chromaticiteit aan de binnenzijde, genormali seerd naar de afmeting van een sjabloon, kleiner wordt, is er een hogere waarschijnlijkheid dat een gezichtszone wordt gerepresenteerd .

In de tweede plaats bevinden een mond of een neus zich in de 30 nabijheid van het centrale deel van de basis van het rechthoekig zoeks jabloon, en is de horizontale randcomponent van dit deel groot. In tegenstelling daartoe hebben de resterende zonedelen van het zoeksjabloon met uitzondering van mond-, neus- en oogde-len een betrekkelijk gelijkmatige helderheidsverdeling en is er 35 geen bepaalde randcomponent. Aldus wordt de verhouding van de horizontale randcomponenten, berekend in de beide zones als dis-criminatiewaarde gebruikt.

-15-

In de derde plaats is de horizontale rand van een oogge-deelte betrekkelijk groot. De horizontale randafmeting van de ogen genormaliseerd naar de afmeting van cirkels welke een indicatie zijn voor het ooggedeelte kan worden gebruikt voor het 5 identificeren van een gezicht. Ten opzichte van meerdere zoeks-jablonen, gesuperponeerd in fig. 7B, wordt de waarde van de hierboven genoemde drie factoren, dus de mehalanobisafstand, de verhouding van een horizontale randcomponent en de horizontale randafmeting der ogen berekend en vervolgens wordt een zoeksja-10 bloon met de kleinste som der waarden, gewogen naar de belangrijkheid van elke factor, als optimaal zoeksjabloon gekozen. Wanneer elk zoeksjabloon is gesuperponeerd op een aantal oogkan-didaatzones die daarmee corresponderen wordt slechts het zoeks-jabloon dat een minimum respons geeft gewonnen. Wanneer een zone 15 gevormd door het superponeren van een aantal zoeksjablonen is gelokaliseerde onafhankelijk van een zone gevormd door het superponeren van andere zoeksjablonen wordt bepaald dat er twee of meer mensen zijn en wordt een optimaal zoeksjabloon bepaald op een zone naar zonebasis. Het bovenbeschreven proces vergemakke-20 lijkt het detecteren van de oogpositie en het gezicht. In samenhang daarmee toont fig. 8 als voorbeeld de posities van ogen en gezichten gedetecteerd in een typische serie van MPEG beelden, waarin hoofd en schouders zijn getoond.

Tenslotte zal een winningsstabilisatieproces worden beschre-25 ven aan de hand van de fig. 4 en 7C. Het sjabloon van het oog en het gezicht, gewonnen door gezichtsherkenning zoals getoond in fig. 7C vergt een stabilisatie in een serieel beeld. Natuurlijke beeldsequenties hebben altijd beeldruis veroorzaakt door meerdere oorzaken zoals omgevingsomstandigheden voor het verkrijgen 30 der sequenties en factoren binnen een beeldinvoertoestel. Daarom vertoont de beeldkwaliteit van twee opeenvolgende beelden die in een korte tijd achtereenvolgens zijn ingevoerd in vele aspecten verschillende karakteristieken. De beeldruiskarakteristiek beïnvloedt het berekenen van de beeldkenmerkwaarde zodat de kenmerk-35 waarde die in het beeld is berekend langs de tijdas vele malen verandert. Het rendement bij de beeldherkenning en de objectde-tectie wordt door dergelijke instabiliteitsfactoren beïnvloedt -16- en ook heeft de positie van het sjabloon van oog en gezicht getoond in fig. 7C de neiging in een serieel beeld instabiel te worden gewonnen. Voor het verwijderen van de instabiliteitsfactoren gebruikt de uitvinding een techniek van het cumuleren van 5 de MBR positie-informatie die een indicatie is van de begrenzingen van een object voor het oplossen van de instabiliteit in het winnen van het sjabloon.

In het algemeen heeft een object met massa een traagheidsmo-ment. Wanneer een mens of een object in een beeld beweegt treedt 10 zelden een significante bewegingsverandering op in de zeer kleine intervallen van de tijdas. De spatiale positie van een mens in een hoofd- en schouderbeeld zal in het bijzonder de neiging hebben te worden gerepresenteerd op een vooraf bepaalde locatie en, gezien in een serieel beeld, verandert de positie met 15 een lage snelheid. Met andere woorden bestaat er een tijdcohe-rentie voor de gewonnen posities tussen sequentiële beeldkaders. Gezien vanuit een videobeeld dat wordt verkregen in eenheden van 20 tot 30 per seconden zijn er weinig gevallen waarin een object links in het i-de kader plotseling in het i+l-de kader aan de 20 rechter kant verschijnt. Het gebruik van de tijdcoherentie van de tijdas vergemakkelijkt de winpositiestabilisatie en het sequentieel winnen en volgen van MBR. Het proces kan eenvoudig worden geïmplementeerd door het gebruik van een vormgeheugen-techniek die in het nuvolgende wordt beschreven.

25 Allereerst is er een vormgeheugen met ruimte voor het op slaan van een telwaarde equivalent aan de afmeting van een vi-deoframe voor het initialiseren van telwaarden corresponderend met individuele pixels. Vervolgens worden invoeren van n MBRs van het gewonnen gezicht ontvangen voor het verhogen van de tel-30 waarden van een vormgeheugen toegekend aan corresponderende locaties van pixels binnen de MBRs. In het daarop volgend beeld wordt hetzelfde aantal MBRs ingevoerd ter herhaling van hetzelfde proces als dat van het voorgaande beeld. Wanneer de gewonnen MBRs serieel worden gewonnen op overeenkomstige posities 35 zullen telwaarden in de corresponderende posities van een vormgeheugen steeds toenemen. Een telwaarde neemt continu toe totdat de waarde een vooraf bepaalde bereikt, en wanneer de waarde het -17- vooraf bepaald niveau bereikt wordt de waarde vastgehouden. In delen buiten de MBRs wordt de telwaarde van het vormgeheugen herhaald verlaagd totdat de waarde nul bereikt waar deze waarde wordt gehandhaafd. In een uitvoeringsvorm der uitvinding ligt de 5 telwaarde in het bereik van 0-7. Wanneer hetzelfde proces herhaald wordt uitgevoerd is slechts een object dat sequentieel wordt gewonnen op overeenkomstige posities stabiel genoeg om nauwkeurig te worden gewonnen, terwijl een object dat herhaald wordt gewonnen op willekeurige posities uiteraard in het vormge-10 heugen een lage telwaarde heeft. Aldus kan een object worden bepaald te bestaan in uitsluitend een deel dat aangeeft dat de onderzochte telwaarde van een vormgeheugen ligt boven een vooraf bepaalde drempelwaarde. Volgens een uitvoeringsvorm der uitvinding wordt slechts een deel dat een telwaarde boven 3 aangeeft 15 bepaald te zijn in de positie waarin er een gezicht is. Echter is de uitvinding niet beperkt tot dit bereik van telwaarden en drempelwaarden gekozen in de voorkeursuitvoeringsvorm voor het identificeren van de posities van oog en gezicht.

Het voordeel van het cumulatieve vormgeheugen is dat object-20 detectie en positiestabilisatie eenvoudig kunnen worden uitgevoerd en dat de werksnelheid zeer hoog is ten opzichte van het rendement. Voorts kan een telstap zodanig worden bestuurd dat de telling wordt gereduceerd of verhoogd afhankelijk van de afmeting van het MBR, waarvan de positie significant wordt veranderd 25 of gewonnen, waarmee het geheugen wordt aangepast aan de snelheid van een bewegend object, het belang van een object of een vormkarakteristiek. Wanneer bijvoorbeeld een object langzaam beweegt of wanneer de gezichtsafmeting van een object betrekkelijk klein is, wordt de telstap bij voorkeur zeer groot gemaakt.

30 In een bewegend beeldcommunicatie met een bewegende beeldte lefoon of een mobiele telefoon is het menselijk gezicht het meest van belang zijnd gedeelte. Bij het creëren van een gecomprimeerd beeld met encoders zoals de EMPEG-1, EMPEG-2, EMPEG-4 en H263 kan de beeldkwaliteit in de gezichtszone worden verbe-35 terd door gebruik te maken van informatie van de gewonnen gezichtszone. Dit betekent dat de uitvinding kan worden toegepast op een toestel voor het besturen van de totale hoeveelheid over- -18- gedragen informatie onder handhaving van een beeld met hoge resolutie door het uitsluitend overdragen van een gezichtsgedeelte dat een ROI is met een hoge resolutie, en het uitzenden van het resterend achtergrondgedeelte of een deel anders dan het ROI met 5 een lage resolutie of weinig informatie.

De oog- en gezichtsdetectie volgens de voorkeursuitvoeringsvorm der uitvinding kan zijn opgenomen in een computerprogramma dat op een computer kan worden uitgevoerd, en het programma kan worden uitgelezen uit opslagmedia waarin het programma is vast-10 gelegd om het te doen uitvoeren in een algemeen computerstelsel. Het opslagmedium kan zijn een magnetisch opslagmedium (bijvoorbeeld ROM, floppy disk, hard disk, etc.), een optisch uitlees-baar geheugen (bijvoorbeeld CD-ROM, DVD), of een draaggolf (bijvoorbeeld transmissie via internet).

15 Het oog- en gezichtsdetectietoestel volgens de uitvinding is in staat tot het nauwkeurig en snel detecteren van ogen en gezicht in een beeld en is tolerant voor beeldruis. Met andere woorden de onderhavige uitvinding kan ook worden toegepast op een beeld met een statische achtergrond of een beeld met een dy-20 namische achtergrond. Tijdens het detecteren van oog- en ge-zichtsposities wordt een verwerking met hoge snelheid of paral-lelverwerking mogelijk gemaakt door het voorkomen van het zoeken van het gehele beeld. Voorts wordt een in betrouwbaarheid verbeterde oog- en gezichtsdetectie mogelijk in combinatie met bewe-25 gingsdetectie etc. De uitvinding kan geschikt worden gebruikt in toepassing zoals videofonen, bewakingsstelsels die het nodig maken een gezicht in een beeld met hoge resolutie vast te houden, en op de inhoud gebaseerde beeldonderzoekingen.

Claims (32)

1. Toestel voor het detecteren van oog en gezicht van een sprekend persoon, gekenmerkt door: een oogpositiedetectiemiddel voor het detecteren van pixels 5 met een sterke grijskarakteristiek voor het bepalen van zones met locatie- en textuurkarakteristieken als oogkandidaatzones uit zones gevormd door de gedetecteerde pixels in een ingevoerd rood, blauw en groen (RGB) beeld; gezichtpositiebepalingsmiddelen voor het vormen van zoeksja-10 blonen voor het aanpassen van een modelsjabloon aan twee zones, gewonnen uit de oogkandidaatzones en voor het bepalen van een optimaal zoeksjabloon uit de gecreëerde zoeksjablonen, gebruikmakend van de waarde van het normaliseren van de som van een waarschijnlijkheidsafstand voor chromaticiteit van pixels binnen 15 de zone van een zoeksjabloon en horizontale randafmetingen berekend in de posities van de linker en rechter ogen, een mond en — een neus, geschat door het zoeksjabloon; en een uitneempositiestabilisatiemiddel voor het vormen van een minimum begrenzingsrechthoek door het optimale zoeksjabloon, en 20 oplopende telwaarden corresponderend met de minimum begrenzings-rechthoekzone en aflopende telwaarden corresponderend met een zone anders dan de minimum begrenzingsrechthoekzone uit telwaar-_ den van individuele pixels, opgeslagen in een vormgeheugen, voor het uitvoeren van de zone waarin telwaarden boven een vooraf be-25 paalde waarde liggen, zoals de oog- en gezichtszones.

2. Toestel volgens conclusie 1, met het kenmerk, dat de oog-positiedetectiemiddelen omvatten: een sterk grijs-wineenheid voor het interpreteren van een 30 ingevoerd RGB signaal voor het winnen van pixels welke een sterke grijskarakteristiek representeren; een zonevormeenheid voor het vormen van zones door het combineren van aangrenzende pixels met elkaar uit de gewonnen pixels; 35 een zonevorminterpreteereenheid voor het detecteren van een lokaal kenmerk voor elke gevormde zone; -20- een textuurwineenheid voor het detecteren van een textuur-kenmerk voor elke gevormde zone; en een oogkandidaatbepalingseenheid voor het bepalen van zones waarin de plaats- en textuurkenmerken groter zijn dan vooraf be~ 5 paalde waarden als oogkandidaatzones, uit de gevormde zones.

3. Toestel volgens conclusie 1, met het kenmerk, dat de gezicht spos it iebepalingsmiddelen omvatten: een gezichtsjablooncreëereenheid voor het creëren van zoeks- 10 jablonen door het aanpassen van een eerder verkregen modelsja-bloon aan de posities van de twee zones gewonnen uit de oogkandidaatzones voor het uitvoeren van een overeenkomstigheidstrans-formatie op het aangepaste modelsjabloon voor het creëren van een zoeksjabloon in een ingevoerd RGB beeld; 15 een waarschijnlijkheidsafstandsrekeneenheid voor het bereke nen van een genormaliseerde waarschijnlijkheidsafstand voor het normaliseren van de som van de waarschijnlijkheidsafstanden voor de chromaticiteit van pixels binnen een zoeksjabloonzone in een RGB ten opzichte van de afmeting van het zoeksjabloon; 20 een randkenmerkinterpreteereenheid voor het detecteren van horizontale randkenmerken van een ingevoerd RGB beeld als posities van ogen, neus en mond, geschat in het zoeksjabloon; en een optimaal zoeksjabloonbepalingseenheid voor het bepalen van een optimaal zoeksjabloon uit een aantal zoeksjablonen ge- 25 creëerd door de gezichtssjablooncreëereenheid overeenkomstig de waarden verkregen door het zetten van vooraf bepaalde gewichten op de genormaliseerde waarschijnlijkheidsafstand en de randken-merkwaarden.

4. Toestel volgens conclusie 1, met het kenmerk, dat de uit- neempositiestabiliseringsmiddelen omvatten: een vormgeheugen voor het opslaan van de telwaarden van het aantal pixels overeenkomend met de afmeting van het ingevoerde RGB beeld; 35 een minimum begrenzingsrechthoekvormeenheid voor het vormen van een minimum begrenzingsrechthoek waarin een gezichtsbeeld is opgenomen binnen het optimale zoeksjabloon; -21- een vormgeheugenverversingseenheid voor het verhogen van de telwaarde corresponderend met een zone van de minimum begren-zingsrechthoekzone en het verminderen van de telwaarden corresponderend met een zone buiten de minimum begrenzingsrechthoek-5 zone uit de telwaarden van individuele, in het vormgeheugen opgeslagen pixels; en een volgpositieverkrijgingseenheid voor het uitvoeren van een zone waarin telwaarden boven een vooraf bepaalde waarde zijn gepositioneerd in het vormgeheugen als oog- en gezichtsopper-10 vlakken van een sprekend persoon.

5. Toestel volgens conclusie 2, met het kenmerk, dat de sterk grijs-uitneemeenheid pixels uitneemt van het RGB beeld waarin het verschil tussen een maximum waarde en een minimum 15 waarde van een een kleur representerende kleurcomponent kleiner is dan een vooraf bepaalde waarde en de maximum waarde kleiner is dan een andere vooraf bepaalde waarde, als pixels met een sterke grijskarakteristiek.

6. Toestel volgens conclusie 2, met het kenmerk, dat de zon- evorminterpreteereenheid een rondheid interpreterende eenheid omvat voor het berekenen van een rondheidswaarde voor elke zone en waarin de oogkandidaatbepalingseenheid een zone, waarvan de 25 rondheidswaarde ligt beneden een vooraf bepaalde waarde, verwijdert uit de oogkandidaatzones.

7. Toestel volgens conclusie 2, waarin de zonevorminterpre-teereenheid een hoogte-breedteverhoudinginterpreteereenheid om-30 vat voor het berekenen van de hoogte-breedteverhouding van elke zone en waarin de oogkandidaatbepalingseenheid een zone, waarvan de hoogte-breedteverhouding kleiner is dan een vooraf bepaalde waarde of groter dan een andere vooraf bepaalde waarde, verwij-35 dert uit de oogkandidaatzones. -22-

8. Toestel volgens conclusie 2, waarin de zonevorminterpre-teereenheid een zoneafmetinginterpreteereenheid omvat voor het berekenen van de afmeting van elke zone ten opzichte van de afmeting van het totaal beeld; en 5 waarin de oogkandidaatbepalingseenheid een zone waarvan de relatieve afmeting groter is dan een vooraf bepaalde waarde, verwijdert uit de oogkandidaatzones.

9. Toestel volgens conclusie 2, met het kenmerk, dat de tex- 10 tuurverkrijgingseenheid een morfologie interpreterende eenheid omvat met een minimum morfologiefilter voor het berekenen van de textuurresponsie van elke zone en waarin de oogkandidaatbepalingseenheid een zone, waarvan de karakteristieke textuurwaarde lager is dan een vooraf bepaalde 15 waarde, verwijdert uit de oogkandiaatzones.

10. Toestel volgens conclusie 2, met het kenmerk, dat de textuurverkrijgingseenheid een horizontale randinterpreteereen-heid omvat met een differentieelfilter voor het detecteren van 20 de horizontale rand van elke zone, terwijl de oogkandiaatbepalingseenheid een zone waarvan de horizontale randkarakteristiekwaarde lager is dan een vooraf bepaalde waarde verwijdert uit de oogkandidaatzones.

11. Toestel volgens conclusie 3, met het kenmerk, dat het modelsjabloon is gevormd uit een rechthoek omvattende twee de linker respectievelijk rechter ogen aangevende cirkels, waarbij de basis der rechthoek ligt tussen de neus- en monddelen.

12. Toestel volgens conclusie 3, met het kenmerk, dat de waarschijnlijkheidsafstand d wordt berekend uit de volgende gelijkheid: 35 d2(x)= (x-/v)‘X *(x- M) -23- waarin x de vectorwaarde is van de ingevoerde kleurverschilsig-nalen C, en C!;., μ de gemiddelde vector is van een vooraf geleerde huidkleur, en Σ is de variatiematrix van geleerde waarden.

13. Toestel volgens conclusie 3, met het kenmerk, dat de randkenmerkinterpreteereenheid een eerste horizontale randafme-ting detecteert van het ingevoerde RGB beeld corresponderend met de mond- en neusposities geschat in het zoeksjabloon, en een tweede horizontale randafmeting van het ingevoerde RGB beeld 10 correspondeert met een zone aangepast aan het zoeks jabloon met uitzondering van de posities van ogen, neus en mond, en de rand-componentverhouding berekent die de verhouding normaliseert van de eerste horizontale randafmeting ten opzichte van de tweede horizontale randafmeting. 15

14. Toestel volgens conclusie 13, met het kenmerk, dat de randkenmerkinterpreteereenheid de horizontale afmeting en zones — detecteert van het RGB beeld corresponderend met ogen genormali seerd over de afmetingen van de oogpositie indicerende cirkels, 20 en waarbij de het optimale zoeksjabloon bepalende eenheid een sjabloon bepaalt met de kleinste som van de genormaliseerde waarschijnlijkheidsafstand, de randcomponentverhouding en de genormaliseerde horizontale randafmeting van zones van het RGB 25 beeld corresponderend met de ogen waaraan vooraf bepaalde gewichten zijn toegekend als optimaal zoeksjabloon.

15. Toestel volgens conclusie 3, waarin, wanneer een zone die is gevormd door het superponeren van een aantal zoeksjablo- 30 nen is gelokaliseerd onafhankelijk van een zone gevormd door het superponeren van andere zoeksjablonen de optimale zoeksjabloon-bepalingseenheid optimale zoeksjablonen van onafhankelijke zones bepaalt.

16. Toestel volgens conclusie 4, voorts gekenmerkt door een snelheid- en vorminterpreteereenheid voor het berekenen van de afmeting en de bewegingssnelheid van de minimale begrenzings- -24- rechthoek ter besturing van het bereik van waarden, verhoogd of verlaagd door de vormgeheugenverversingseenheid.

17. Werkwijze voor het detecteren van oog- en gezichtszones 5 van een sprekend persoon, gekenmerkt door de stappen van (a) het detecteren van pixels met een sterke grijskarakteristiek voor het bepalen van zones met plaatselijke en textuur-karakteristieken als oogkandidaatzones uit zones gevormd door de gedetecteerde pixels in een ingevoerd rood, blauw en groen (RGB) 10 beeld; (b) het vormen van zoeksjablonen door aanpassing van een mo-delsjabloon aan twee zones uitgenomen uit de oogkandidaatzones en het bepalen van een optimaal zoeksjabloon uit de gecreëerde zoeks jablonen door gebruik van de waarde welke de som van een 15 waarschijnlijkheidsafstand voor de chromaticiteit van pixels binnen de zone van een zoeksjabloon en de horizontale randafme-tingen van de posities van de linker en rechter ogen, een mond en een neus, geschat door het zoeksjabloon in het RGB beeld optimaliseert; en 20 (c) vormen van een minimum begrenzingsrechthoek door het op timale zoeksjabloon en het verhogen van telwaarden corresponderend met de minimale rechthoekige begrenzingszone en het realiseren van telwaarden corresponderend met een zone anders dan de minimale rechthoekige begrenzingszone uit telwaarden van indivi-25 duele pixels opgeslagen in een vormgeheugen voor het uitvoeren van de zones, waarin telwaarden boven een vooraf bepaalde waarde liggen, als oog- en gezichtzones.

18. De werkwijze volgens conclusie 17, waarin stap (a) de 30 stappen omvat van: (al) interpreteren van een ingevoerd RGB beeldsignaal voor het uitnemen van pixels welke een sterke grijskarakteristiek representeren; (a2) vormen van zones door het combineren van aangrenzende 35 pixels met elkaar uit de uitgenomen pixels; (a3) detecteren van een lokale karakteristiek in elke gevormde zone; -25- (a4) het detecteren van een textuurkarakteristiek in elke gevormde zone; en (a5) bepalen van zones waarin de lokaliteit- en textuurka-rakteristieken groter zijn dan vooraf bepaalde waarden als oog-5 kandiaatzones uit de gevormde zones.

19. Werkwijze volgens conclusie 17, waarin stap (b) de stappen omvat van: (bl) creëren van zoeksjablonen in het RGB beeld door het 10 aanpassen van een vooraf verkregen modelsjabloon aan de posities van twee zones uitgenomen uit de oogkandidaatzones voor het uitvoeren van een overeenkomstigheidstransformatie op het aangepaste modelsjabloon; (b2) berekenen van een genormaliseerde waarschijnlijkheids-15 afstand voor het normaliseren van de som van de waarschijnlijk-heidsafstand voor chromaticiteit van pixels binnen een zoeksja-bloonzone naar de afmeting van het zoeksjabloon in het RGB beeld; (b3) detecteren van horizontale randkenmerkwaarden van het 20 RGB beeld ingevoerd vanuit de posities van ogen, een neus, en een mond, geschat in het zoeksjabloon; en (b4) bepalen van een optimaal zoeksjabloon uit een aantal zoeksjablonen gecreëerd door de gezichtssjablooncreëereenheid gebruik makend van de waarden verkregen door het geven van 25 vooraf bepaalde gewichten aan de genormaliseerde waarschijnlijk-heidsafstand en de horizontale randkenmerkwaarden.

20. Werkwijze volgens conclusie 17, waarin stap (c) de stappen omvat van: 30 (cl) vormen van de minimale begrenzingsrechthoek waarin een gezichtsbeeld is opgenomen binnen het optimale zoeksjabloon; (c2) verhogen van de telwaarden corresponderend met een zone van de minimale begrenzingsrechthoek en verlaging van de telwaarden corresponderend met een zone buiten de minimum begrenzingsrecht-35 hoekzone uit telwaarden van individuele in het vormgeheugen opgeslagen pixels; en -26- (c3) uitvoeren van een zone waarin telwaarden boven een vooraf bepaalde zijn gepositioneerd in het vormgeheugen alsook gezichtszones van een sprekend persoon.

21. Werkwijze volgens conclusie 18, waarin, in stap (al), pixels van het RGB beeld, voor elk waarvan het verschil tussen een maximum waarde en een minimum waarde van een kleurcomponent welk een kleur representeert ligt onder een vooraf bepaalde waarde en waarvoor de maximum waarde kleiner is dan een andere 10 vooraf bepaalde waarde, worden uitgenomen als pixels met een sterke grijskarakteristiek.

22. Werkwijze volgens conclusie 18, waarin in stap (a3) de rondheidswaarde van elke zone wordt berekend en 15 waarin in stap (a5) een zone, waarvan de rondheidswaarde ligt onder een vooraf bepaalde waarde, wordt verwijderd uit de oogkandidaatzones.

23. Werkwijze volgens conclusie 18, waarin in stap (a3) de 20 hoogte-breedteverhouding van elke zone wordt berekend en waarin een zone waarvan de hoogte-breedteverhouding lager is dan een vooraf bepaalde waarde of groter dan een andere vooraf bepaalde waarde wordt verwijderd uit de oogkandidaatzones.

24. De werkwijze volgens conclusie 18, waarin in stap (a3) de afmeting van elke zone ten opzichte van de afmeting van het totaalbeeld wordt berekend en waarin in stap (a5) een zone waarvan de relatieve afmeting groter is dan een vooraf bepaalde waarde wordt verwijderd uit de 30 oogkandidaatzones.

25. Werkwijze volgens conclusie 18, waarin in stap (a4) de textuurresponsie van elke zone wordt berekend en waarin in stap (a5) een zone waarvan de karakteristieke tex-35 tuurwaarde ligt onder een vooraf bepaalde waarde wordt verwijderd uit de oogkandidaatzones. -27-

26. Werkwijze volgens conclusie 18, waarin in stap (a4) de horizontale rand van elke zone wordt gedetecteerd, en waarin in stap (a5) een zone waarvan de horizontale randka-rakteristiekwaarde ligt onder een vooraf bepaalde waarde wordt 5 verwijderd uit de oogkandidaatzones.

27. Werkwijze volgens conclusie 19, waarin het modelsjabloon is gevormd uit een rechthoek met twee cirkels welke een indicatie zijn voor de linker en rechter ogen en waarvan de basis ligt 10 tussen de neus- en monddelen.

28. Werkwijze volgens conclusie 19, waarin de waarschijn-lijkheidsafstand d wordt berekend uit de volgende gelijkheid: 15 d2(x)= (Χ-/0*Σ ~ι(χ~Μ) waarin x de vectorwaarde is van de ingevoerde kleurverschilsig- 20 nalen Cr en C,,, μ de gemiddelde vector van een vooraf geleerde huidkleur, en Σ de variatiematrix van geleerde waarden is.

29. Werkwijze volgens conclusie 19, waarin in stap (b3) een eerste horizontale randafmeting van het ingevoerde RGB beeld 25 corresponderend met de mond- en neusdelen, geschat in het zoeks-jabloon, en een tweede horizontale randafmeting van het ingevoerde RGB beeld corresponderend met een zone aangepast aan het zoeksjabloon met uitzondering van de posities van ogen, neus en mond wordt gedetecteerd, en de randcomponentverhouding, dus de 30 verhouding tussen de eerste horizontale randafmeting ten op zichte van de tweede horizontale randafmeting wordt berekend.

30. Werkwijze volgens conclusie 29, waarin stap (b3) voorts de stap omvat van het detecteren van de horizontale randafmetin- 35 gen van zones van het RGB beeld corresponderend met de ogen, genormaliseerd naar de afmeting van de de oogpositie aangevende cirkels, en -28- waarin in stap (b4) een sjabloon met de kleinste som van de genormaliseerde waarschijnlijkheidsafstand, de randcomponentver-houding en de genormaliseerde horizontale randafmeting van de zones van het RGB beeld corresponderend met de ogen, elk met 5 vooraf bepaalde gewichten, wordt bepaald als optimaal zoeksja-bloon.

31. Werkwijze volgens conclusie 19, waarin in stap (b4), wanneer een zone die is gevormd door het superponeren van een 10 aantal zoeksjablonen onafhankelijk is gelokaliseerd van een zone gevormd door het superponeren van andere zoeksjablonen, de het optimale zoeksjabloon bepalende eenheid optimale zoeksjablonen van onafhankelijke zones bepaalt.

32. werkwijze volgens conclusie 20, waarin, na stap (cl), de stap wordt uitgevoerd van het berekenen van de afmeting en de bewegingssnelheid van de minimale begrenzingsrechthoek ter besturing van de reeks van waarden, verhoogd of verlaagd door de vormgeheugenverversingseenheid.