DE102019106277A1

DE102019106277A1 - Bildanalysevorrichtung, -verfahren und -programm

Info

Publication number: DE102019106277A1
Application number: DE102019106277.2A
Authority: DE
Inventors: Daiki SHICHIJO; Tomoyoshi Aizawa; Hatsumi AOI
Original assignee: Omron Corp; Omron Tateisi Electronics Co
Current assignee: Omron Corp
Priority date: 2018-04-13
Filing date: 2019-03-12
Publication date: 2019-10-17
Also published as: CN110378181A; JP2019185557A; JP6973258B2; CN110378181B; US20190318151A1

Abstract

Selbst wenn es zu einer vorübergehenden Veränderung bei einem zu ermittelnden Objekt kommt, wird ein fehlerhaftes Ermitteln eines zu ermittelnden Objekts unwahrscheinlich gemacht, wodurch die Stabilität eines Ermittlungsvorgangs verbessert wird. In einem Zustand, in dem ein Nachverfolgungsflag auf EIN gesetzt ist, bestimmt ein Suchsteuergerät in Bezug auf ein vorhergehendes Einzelbild, ob ein Änderungsumfang in Bezug auf Positionskoordinaten eines Merkmalpunkts eines Gesichts in dem gegenwärtigen Einzelbild in einem vorgegebenen Bereich liegt, ob ein Änderungsumfang der Gesichtsausrichtung in einem vorgegebenen Winkelbereich liegt und ob ein Änderungsumfang der Sichtlinienrichtung in einem vorgegebenen Bereich liegt. Wenn die Bedingungen bei allen diesen Bestimmungen erfüllt sind, wird die Änderung im Ermittlungsergebnis im gegenwärtigen Einzelbild in Bezug auf das vorhergehende Einzelbild als in einem zulässigen Bereich liegend erachtet und die Ermittlungsverarbeitung für ein Gesichtsbild wird in einem darauffolgenden Einzelbild kontinuierlich in Bezug auf einen Gesichtsbildbereich ausgeführt, der in einer Nachverfolgungsinformationsspeichereinheit gespeichert ist.

Description

QUERVERWEIS AUF VERWANDTE ANMELDUNG
Diese Anmeldung basiert auf der japanischen Patentanmeldung Nr. 2018-077885 , eingereicht beim japanischen Patentamt am 13. April 2018, deren Inhalt unter Bezugnahme vollumfänglich hierin aufgenommen wird.
GEBIET DER ERFINDUNG
Ausführungsformen der vorliegenden Erfindung beziehen sich auf eine Bildanalysevorrichtung, ein Verfahren und ein Programm, zum Beispiel eingesetzt zu dem Ermitteln eines menschlichen Gesichts aus einem erfassten Bild.
STAND DER TECHNIK
Zum Beispiel sind im Bereich der Überwachung, wie etwa bei der Fahrerüberwachung, Techniken vorgeschlagen worden, bei denen ein Bildbereich, der ein menschliches Gesicht enthält, aus einem mit einer Kamera erfassten Bild ermittelt wird, und Positionen von mehreren Organen, wie etwa von Augen, Nase und Mund, eine Ausrichtung des Gesichts, eine Sichtlinie und Ähnliches aus dem ermittelten Gesichtsbildbereich ermittelt werden.
Als ein Verfahren zu dem Ermitteln des Bildbereichs, einschließlich des menschlichen Gesichts, aus dem erfassten Bild, ist eine bekannte Bildverarbeitungstechnik, wie etwa Template-Matching, bekannt. Diese Technik ist, zum Beispiel, das Ermitteln, aus dem erfassten Bild, eines Bildbereichs, in dem der Abgleichungsgrad mit einem Bild eines Templates wenigstens so hoch ist wie ein Schwellenwert, unter gleichzeitigem schrittweisen Bewegen der Position eines zuvor vorbereiteten Gesichtsreferenztemplates in Bezug auf das erfasste Bild in einer vorgegebenen Anzahl von Pixelintervallen und das Extrahieren des ermittelten Bildbereichs, zum Beispiel mit einem rechteckigen Einzelbild, um ein menschliches Gesicht zu ermitteln.
Als eine Technik zu dem Ermitteln der Position des Organs und der Ausrichtung des Gesichts aus dem ermittelten Gesichtsbildbereich ist zum Beispiel eine Technik zu dem Suchen mehrerer Organe eines zu ermittelnden Gesichts zu dem Ermitteln mithilfe eines Gesichtsformmodells bekannt. Diese Technik ist, zum Beispiel, Verwenden eines durch Lernen oder Ähnliches zuvor erstellten Gesichtsformmodells, um einen Merkmalpunkt zu suchen, der die Position eines jeden Gesichtsorgans aus dem Gesichtsbildbereich repräsentiert, und Einstellen eines Bereichs, der den Merkmalpunkt enthält, als ein Gesichtsbild, wenn die Zuverlässigkeit des Suchergebnisses einen Schwellenwert übersteigt (siehe z. B. ungeprüfte japanische Patentveröffentlichung Nr. 2010-191592).
Allerdings wird im Allgemeinen in der herkömmlichen Gesichtsermittlungstechnik, wie etwa beschrieben in der ungeprüften japanischen Patentveröffentlichung Nr. 2010-191592, wenn die Zuverlässigkeit des Suchergebnisses des Gesichtsmerkmalpunkts den Schwellenwert nicht erfüllt, das Ermitteln des Merkmalpunkts bedingungslos als gescheitert bestimmt und dann wird die Ermittlung ab der Ermittlung des Gesichtsbereichs neu gestartet. Demnach wird selbst wenn die Zuverlässigkeit des Ermittlungsergebnisses des Merkmalpunkts vorübergehend abfällt, weil ein Teil des Gesichts vorübergehend zum Beispiel durch die Hand oder durch die Haare verdeckt ist, das Ermittlungsergebnis des Merkmalpunkts als fehlgeschlagen angesehen und die Gesichtsermittlung wird von Anfang an neu gestartet. Ferner kann, wenn ein Bildmuster, das dem zu ermittelnden Merkmal des Gesichts ähnlich ist, wie etwa das Gesicht einer Person auf dem Rücksitz oder das Muster des Sitzes in einem gleichzeitig ermittelten Hintergrundbild des erfassten Bilds enthalten ist, und die Zuverlässigkeit des Bildmusters höher ist als der Schwellenwert, das Hintergrundbild fälschlicherweise anstelle des Gesichts, das das ursprüngliche zu ermittelnde Objekt ist, als ein zu ermittelndes Objekt ermittelt werden, wodurch die Gesichtsermittlungsverarbeitung instabil wird, was sich als problematisch erwiesen hat.
KURZDARSTELLUNG
Die vorliegende Erfindung wurde in Bezugnahme auf die obigen Umstände geschaffen und soll eine Technik bereitstellen, bei der es kaum zu einer fälschlichen Ermittlung eines zu ermittelnden Objekts kommt, selbst wenn es zu einer vorübergehenden Veränderung bei dem zu ermittelnden Objekt kommt, wodurch die Stabilität eines Ermittlungsvorgangs verbessert wird.
Zu dem Lösen der obigen Probleme wird nach einem ersten Aspekt der vorliegenden Erfindung in einer Bildanalysevorrichtung mit einer Sucheinheit, die das Verarbeiten des Ermittelns eines Bildbereichs ausführt, der ein zu ermittelndes Objekt enthält, in Einheiten von Einzelbildern von einem in Zeitreihenfolge eingegebenen Bild, und einen Zustand des zu ermittelnden Objekts auf der Grundlage des ermittelten Bildbereichs abschätzt, ferner bereitgestellt: ein Zuverlässigkeitsdetektor, der eine Zuverlässigkeit ermittelt, welche die Wahrscheinlichkeit des Zustands des zu ermittelnden Objekts angibt, abgeschätzt durch die Sucheinheit, und ein Suchsteuergerät, das die durch die Sucheinheit ausgeführte Verarbeitung auf der Grundlage der durch den Zuverlässigkeitsdetektor ermittelten Zuverlässigkeit steuert.
Wenn eine in einem ersten Einzelbild ermittelte Zuverlässigkeit als eine Zuverlässigkeitsbedingung erfüllend bestimmt wird, speichert das Suchsteuergerät in einem Speicher eine Position eines durch die Sucheinheit in dem ersten Einzelbild ermittelten Bildbereichs und steuert die Sucheinheit derart, dass Abschätzungsverarbeitung für den Zustand des zu ermittelnden Objekts in einem zweiten Einzelbild, das dem ersten Einzelbild nachfolgt, ausgeführt wird, wobei die gespeicherte Position des Bildbereichs als eine Referenz genommen wird.
Ferner bestimmt die Sucheinheit, ob eine Änderung am durch die Sucheinheit abgeschätzten Zustand des zu ermittelnden Objekts in dem zweiten Einzelbild im Vergleich zu dem ersten Einzelbild eine vorgegebene Bestimmungsbedingung erfüllt. Dann wird, wenn bestimmt wird, dass die Änderung die Bestimmungsbedingung erfüllt, die Abschätzungsverarbeitung für den Zustand des zu ermittelnden Objekts in einem dritten Einzelbild, das dem zweiten Einzelbild nachfolgt, ausgeführt, wobei die gespeicherte Position des Bildbereichs als eine Referenz genommen wird.
Im Gegensatz dazu löscht, wenn bestimmt wird, dass die Änderung des Zustands des zu ermittelnden Objekts aus dem ersten Einzelbild die Bestimmungsbedingung nicht erfüllt, das Suchsteuergerät die im Speicher gespeicherte Position des Bildbereichs und die durch das Suchsteuergerät in dem dritten Einzelbild, das dem zweiten Einzelbild nachfolgt, ausgeführte Verarbeitung wird ab dem Verarbeiten des Ermittelns des Bildbereichs für den gesamten Bildrahmen ausgeführt.
Demnach wird nach dem ersten Aspekt, wenn die Zuverlässigkeit des durch die Sucheinheit abgeschätzten Zustands des zu ermittelnden Objekts in dem ersten Einzelbild die vorgegebene Zuverlässigkeitsbedingung erfüllt, ein Suchmodus eingestellt, der zum Beispiel als Nachverfolgungsmodus bezeichnet wird. Im Nachverfolgungsmodus wird die Position des durch die Sucheinheit im ersten Einzelbild ermittelten Bildbereichs im Speicher gespeichert. Zu dem Zeitpunkt des Abschätzens des Zustands des zu ermittelnden Objekts im zweiten Einzelbild, das dem ersten Einzelbild nachfolgt, führt die Sucheinheit das Verarbeiten des Ermittelns des Bildbereichs aus, der das zu ermittelnde Objekt enthält, indem die gespeicherte Position des Bildbereichs als Referenz genommen wird und der Zustand des zu ermittelnden Objekts auf der Grundlage des Bildbereichs abgeschätzt wird. Demnach kann der Bildbereich effizient als mit einem Fall verglichen bestimmt werden, in dem Verarbeiten ausgeführt wird, um stets den Bildbereich, der das zu ermittelnde Objekt enthält, in allen Einzelbildern aus dem Ausgangszustand zu ermitteln und den Zustand des zu ermittelnden Objekts abzuschätzen.
Nach dem ersten Aspekt wird bestimmt, ob ein Betrag von Änderungen zwischen Einzelbildern am Zustand des zu ermittelnden Objekts, abgeschätzt durch die Sucheinheit, eine vorgegebene Bestimmungsbedingung in einem Zustand erfüllt, in dem der Nachverfolgungsmodus eingestellt ist. Dann wird, wenn die vorherige Bestimmungsbedingung erfüllt ist, der in dem zweiten Einzelbild abgeschätzte Zustand des zu ermittelnden Objekts als in einem zulässigen Bereich angenommen und kontinuierlich wird im darauffolgenden dritten Einzelbild das Verarbeiten des Ermittelns des Bildbereichs durch den Nachverfolgungsmodus und des Abschätzens des Zustands des zu ermittelnden Objekts ausgeführt.
Aus diesem Grund wird, zum Beispiel im Gebiet der Fahrerüberwachung, wenn ein Teil des Gesichts des Fahrers vorübergehend durch die Hand oder das Haar oder Ähnliches verdeckt ist oder ein Teil des Gesichts vorübergehend außerhalb einer Referenzposition eines Gesichtsbildbereichs liegt, der Nachverfolgungsmodus beibehalten und im darauffolgenden Einzelbild wird die Ermittlungsverarbeitung für den Bildbereich durch den Nachverfolgungsmodus und die Abschätzungsverarbeitung für den Zustand des zu ermittelnden Objekts kontinuierlich ausgeführt. Demnach ist es möglich, die Stabilität der Ermittlungsverarbeitung für den Bildbereich des zu ermittelnden Objekts und der Abschätzungsverarbeitung für den Zustand des zu ermittelnden Objekts zu verbessern.
Ferner wird nach dem ersten Aspekt der Nachverfolgungsmodus abgebrochen, es sei denn, der Umfang von Änderung zwischen Einzelbildern am Zustand des zu ermittelnden Objekts erfüllt die vorgegebene Bestimmungsbedingung, und ab dem nächsten Einzelbild wird ein Bildbereich, der das zu ermittelnde Objekt enthält, erneut ermittelt, wobei der ganze Bereich des Bilds als der Suchbereich eingestellt wird, um den Zustand des zu ermittelnden Objekts abzuschätzen. Aus diesem Grund wird, wenn die Zuverlässigkeit des Abschätzungsergebnisses des zu ermittelnden Objekts während des Einstellens des Nachverfolgungsmodus auf oder unter die Bestimmungsbedingung fällt, in dem nächsten Einzelbild eine Verarbeitung ausgeführt, um den Bildbereich aus dem Ausgangszustand zu ermitteln und den Zustand des zu ermittelnden Objekts abzuschätzen. Demnach wird in einem Zustand, in dem die Zuverlässigkeit abgenommen hat, der Nachverfolgungsmodus zügig abgebrochen, sodass der Zustand des zu ermittelnden Objekts mit hoher Genauigkeit erfasst werden kann.
Ein zweiter Aspekt der Vorrichtung gemäß der vorliegenden Erfindung ist, dass im ersten Aspekt die Sucheinheit ein menschliches Gesicht als das zu ermittelnde Objekt einsetzt und zumindest eines ausgewählt aus den Positionen mehrerer zuvor eingestellter Merkmalpunkte für mehrere Organe, welche das menschliche Gesicht ausmachen, einer Ausrichtung des Gesichts und/oder einer Sichtlinienrichtung des Gesichts abschätzt.
Nach dem zweiten Aspekt ist es zum Beispiel im Gebiet der Fahrerüberwachung möglich, den Zustand des Gesichts des Fahrers zuverlässig und stabil abzuschätzen.
Ein dritter Aspekt der Vorrichtung gemäß der vorliegenden Erfindung ist es, dass im zweiten Aspekt die Sucheinheit das Verarbeiten des Abschätzens der Positionen der mehreren zuvor eingestellten Merkmalpunkte für die mehreren Organe, welche das menschliche Gesicht ausmachen, in dem Bildbereich ausführt, und die zweite Bestimmungseinheit einen ersten Schwellenwert aufweist, der einen zulässigen Umfang von Änderung zwischen Einzelbildern an der Position eines jeden der Merkmalpunkte als die Bestimmungsbedingung definiert, und bestimmt, ob ein Umfang einer Änderung an der Position des Merkmalpunkts zwischen dem ersten Einzelbild und dem zweiten Einzelbild den ersten Schwellenwert übersteigt.
Nach dem dritten Aspekt wird zum Beispiel, in einem Fall, in dem die Zuverlässigkeit des Abschätzungsergebnisses der Merkmalpunktposition des Gesichts des Fahrers absinkt, wenn ein Umfang von Änderung zwischen Einzelbildern der Merkmalpunktposition höchstens dem ersten Schwellenwert entspricht, die Änderung der Merkmalpunktposition als in dem zulässigen Bereich angesehen und der Nachverfolgungsmodus wird fortgeführt. Demnach kann, wenn die Zuverlässigkeit des Abschätzungsergebnisses des Gesichtsmerkmalpunkts vorübergehend abfällt, eine wirksame Verarbeitung im Einklang mit dem Nachverfolgungsmodus fortgeführt werden.
Ein vierter Aspekt der Vorrichtung gemäß der vorliegenden Erfindung ist, dass im zweiten Aspekt die Sucheinheit das Verarbeiten des Abschätzens der Ausrichtung des menschlichen Gesichts in Bezug auf eine Referenzrichtung aus dem Bildbereich ausführt, und die zweite Bestimmungseinheit als Bestimmungsbedingung einen zweiten Schwellenwert aufweist, der einen zulässigen Umfang an Änderung zwischen Einzelbildern der durch die Sucheinheit abgeschätzten Ausrichtung des menschlichen Gesichts definiert und bestimmt, ob ein Umfang einer Änderung der Ausrichtung des menschlichen Gesichts zwischen dem ersten Einzelbild und dem zweiten Einzelbild den zweiten Schwellenwert übersteigt.
Nach dem vierten Aspekt wird zum Beispiel, in einem Fall, in dem die Zuverlässigkeit des Abschätzungsergebnisses der Ausrichtung des Gesichts des Fahrers absinkt, wenn ein Umfang von Änderung zwischen Einzelbildern der Ausrichtung des Gesichts höchstens dem zweiten Schwellenwert entspricht, die Änderung der Gesichtsausrichtung als in dem zulässigen Bereich angesehen und der Nachverfolgungsmodus wird fortgeführt. Demnach kann, wenn die Zuverlässigkeit des Abschätzungsergebnisses der Gesichtsausrichtung vorübergehend abfällt, eine wirksame Verarbeitung im Einklang mit dem Nachverfolgungsmodus fortgeführt werden.
Ein fünfter Aspekt der Vorrichtung gemäß der vorliegenden Erfindung ist es, dass im zweiten Aspekt die Sucheinheit ein Verarbeiten des Abschätzens der Sichtlinie des menschlichen Gesichts aus dem Bildbereich ausführt und die zweite Bestimmungseinheit als Bestimmungsbedingung einen dritten Schwellenwert aufweist, der einen zulässigen Umfang an Änderung der Sichtlinienrichtung des zu ermittelnden Objekts zwischen Einzelbildern definiert und bestimmt, ob ein Umfang einer Änderung der Sichtlinienrichtung des menschlichen Gesichts zwischen dem ersten Einzelbild und dem zweiten Einzelbild den dritten Schwellenwert übersteigt, wobei die Sichtlinienrichtung durch die Sucheinheit ermittelt wird.
Nach einem fünften Aspekt wird zum Beispiel, in einem Fall, in dem die Zuverlässigkeit des Abschätzungsergebnisses der Sichtlinienrichtung des Fahrers absinkt, wenn der Umfang von Änderung zwischen Einzelbildern der Sichtlinienrichtung höchstens dem dritten Schwellenwert entspricht, die Änderung der Sichtlinienrichtung als in dem zulässigen Bereich angesehen und der Nachverfolgungsmodus wird fortgeführt. Demnach kann, wenn die Zuverlässigkeit des Abschätzungsergebnisses der Sichtlinienrichtung vorübergehend abfällt, eine wirksame Verarbeitung im Nachverfolgungsmodus fortgeführt werden.
Dies bedeutet, nach jedem Aspekt der vorliegenden Erfindung ist es möglich, eine Technik bereitzustellen, bei der es kaum zu einer fälschlichen Ermittlung eines zu ermittelnden Objekts kommt, selbst wenn es zu einer vorübergehenden Veränderung bei dem zu ermittelnden Objekt kommt, wodurch die Stabilität eines Ermittlungsvorgangs verbessert wird.
Figurenliste

1 ist ein Blockdiagramm, das ein Anwendungsbeispiel einer Bildanalysevorrichtung nach einer erfindungsgemäßen Ausführungsform veranschaulicht;
2 ist ein Blockdiagramm, das ein Beispiel einer Hardwarekonfiguration der Bildanalysevorrichtung nach der erfindungsgemäßen Ausführungsform veranschaulicht;
3 ist ein Blockdiagramm, das ein Beispiel der Softwarekonfiguration der Bildanalysevorrichtung nach der erfindungsgemäßen Ausführungsform veranschaulicht;
4 ist ein Flussdiagramm eines Beispiels für einen Ablauf für Verarbeitungsinhalte einer Lernverarbeitung durch die in 3 veranschaulichte Bildanalysevorrichtung;
5 ist ein Flussdiagramm eines Beispiels für den gesamten Verarbeitungsablauf für Verarbeitungsinhalte einer Bildanalyseverarbeitung durch die in 3 veranschaulichte Bildanalysevorrichtung;
6 ist ein Flussdiagramm, das eine der Subroutinen einer in 5 veranschaulichten Bildanalyseverarbeitung veranschaulicht;
7 ist ein Flussdiagramm eines Beispiels für einen Verarbeitungsablauf und für Verarbeitungsinhalte einer Merkmalpunktsuchverarbeitung in der in 5 veranschaulichten Bildanalyseverarbeitung ;
8 ist eine Ansicht, die ein Beispiel eines Gesichtsbereichs veranschaulicht, extrahiert unter Einsatz einer Gesichtsbereichermittlungsverarbeitung, veranschaulicht in 5;
9 ist eine Ansicht, die ein Beispiel für Gesichtsmerkmalpunkte veranschaulicht, die durch die Merkmalpunktsuchverarbeitung ermittelt werden, veranschaulicht in 5;
10 ist eine Ansicht, die ein Beispiel veranschaulicht, in dem ein Teil des Gesichtsbereichs durch eine Hand verdeckt ist;
11 ist eine Ansicht, die ein Beispiel für Merkmalpunkte veranschaulicht, die aus einem Gesichtsbild extrahiert worden sind; und
12 ist eine Ansicht, die ein Beispiel veranschaulicht, in dem die aus dem Gesichtsbild extrahierten Merkmalpunkte dreidimensional veranschaulicht werden.

DETAILLIERTE BESCHREIBUNG
Nachstehend werden Ausführungsformen nach der vorliegenden Erfindung unter Bezugnahme auf die Zeichnungen beschrieben.
Anwendungsbeispiel
Zunächst wird ein Anwendungsbeispiel der Bildanalysevorrichtung nach der Ausführungsform gemäß der vorliegenden Erfindung beschrieben.
So wird zum Beispiel die Bildanalysevorrichtung nach der Ausführungsform der vorliegenden Erfindung zum Beispiel in einem Fahrerüberwachungssystem eingesetzt, um Positionen von mehreren Merkmalpunkten, die für mehrere Organe (Augen, Nase, Mund, Wangenknochen usw.) voreingestellt sind, welche das Gesicht des Fahrers ausmachen, die Ausrichtung des Gesichts des Fahrers, die Sichtlinienrichtung und Ähnliches zu überwachen und sie ist folgendermaßen konfiguriert.
1 ist ein Blockdiagramm, das eine funktionelle Konfiguration einer in einem Fahrerüberwachungssystem eingesetzten Bildanalysevorrichtung veranschaulicht. Eine Bildanalysevorrichtung 2 ist mit einer Kamera 1 verbunden. Zum Beispiel ist die Kamera 1 an einer Position eingebaut, die zu dem Fahrersitz hin weist, erfasst mit einer konstanten Einzelbildperiode ein Bild eines vorgegebenen Bereichs, der das Gesicht des im Fahrersitz sitzenden Fahrers enthält, und gibt das Bildsignal aus.
Die Bildanalysevorrichtung 2 enthält eine Bilderfassungseinheit 3, einen Gesichtsdetektor 4, einen Zuverlässigkeitsdetektor 5, ein Suchsteuergerät 6 (auch einfach als Steuergerät bezeichnet), und eine Nachverfolgungsinformationsspeichereinheit 7.
So erhält zum Beispiel die Bilderfassungseinheit 3 Bildsignale, die in einer Zeitreihenfolge von der Kamera 1 ausgegeben werden, wandelt die empfangenen Bildsignale in Bilddaten aus digitalen Signalen für jedes Einzelbild um, und speichert die Bilddaten im Bildspeicher.
Der Gesichtsdetektor 4 enthält einen Gesichtsbereichdetektor 4a und eine Sucheinheit 4b.
Der Gesichtsbereichdetektor 4a liest für jedes Einzelbild die durch die Bilderfassungseinheit 3 erfassten Bilddaten aus dem Bildspeicher und extrahiert einen Bildbereich (Teilbild), der das Gesicht des Fahrers enthält, aus den Bilddaten. Zum Beispiel verwendet der Gesichtsbereichdetektor 4a ein Template-Matching-Verfahren. Beim schrittweisen Bewegen einer Position eines Gesichtsreferenztemplates mit Bezug auf die Bilddaten um eine vorgegebene Anzahl von Pixelintervallen ermittelt die Sucheinheit 4 aus den Bilddaten einen Bildbereich, in dem der Abgleichgrad mit dem Bild des Referenztemplates den Schwellenwert übersteigt und extrahiert den ermittelten Bildbereich. So wird zum Beispiel ein rechteckiger Einzelbild verwendet, um den Gesichtsbildbereich zu extrahieren.
Die Sucheinheit 4b enthält als ihre Funktionen einen Positionsdetektor 4b1, der eine Position eines Merkmalpunkts des Gesichts ermittelt, einen Gesichtsausrichtungsdetektor 4b2 und einen Sichtliniendetektor 4b3. Zum Beispiel nutzt die Sucheinheit 4b mehrere dreidimensionale Gesichtsformmodelle, erzeugt für mehrere Betrachtungsrichtungen des Gesichts. Im dreidimensionalen Gesichtsformmodell sind die dreidimensionalen Positionen mehrerer Organe (z. B. Augen, Nase, Mund, Wangenknochen) des Gesichts, die mehreren zu ermittelnden Merkmalpunkten entsprechen, durch Merkmalpunktanordnungsvektoren definiert.
So erfasst zum Beispiel durch aufeinanderfolgendes Projizieren der mehreren dreidimensionalen Gesichtsformmodelle auf den extrahierten Gesichtsbildbereich die Sucheinheit 4b Merkmalbeträge der jeweiligen Organe aus dem durch den Gesichtsbereichdetektor 4a ermittelten Gesichtsbildbereich. Dreidimensionale Positionskooordinaten eines jeden Merkmalpunkts im Gesichtsbildbereich werden auf der Grundlage eines Fehlerbetrags in Bezug auf einen korrekten Wert des erfassten Merkmalbetrags und des dreidimensionalen Gesichtsformmodels zu dem Zeitpunkt abgeschätzt, zu dem der Fehlerbetrag innerhalb eines Schwellenwerts liegt. Dann werden die Gesichtsausrichtung und die Sichtlinienrichtung auf der Grundlage der abgeschätzten dreidimensionalen Positionskoordinaten eines jeden Merkmalpunkts abgeschätzt.
Die Sucheinheit 4b kann die Suchverarbeitung in zwei Stufen ausführen, wie etwa zunächst das Abschätzen von Positionen von repräsentativen Merkmalpunkten des Gesichts unter Einsatz einer groben Suche, gefolgt von dem Abschätzen von Positionen zahlreicher Merkmalpunkte unter Einsatz einer detaillierten Suche. Der Unterschied zwischen der groben Suche und der detaillierten Suche ist zum Beispiel die Anzahl von zu ermittelnden Merkmalpunkten, die Dimensionszahl des Merkmalpunktanordnungsvektors des entsprechenden dreidimensionalen Gesichtsformmodells und die Bestimmungsbedingung zu dem Bestimmen des Fehlerbetrags in Bezug auf den korrekten Wert des Fehlerbetrags.
Bei der detaillierten Suche wird zu dem genauen Ermitteln des Gesichts aus dem Gesichtsbildbereich zum Beispiel eine große Anzahl von zu ermittelnden Merkmalpunkten eingestellt und die Dimensionszahl des Merkmalpunktanordnungsvektors wird vieldimensional gestaltet und ferner wird die Bestimmungsbedingung für den Fehlerbetrag in Bezug auf den korrekten Wert des Merkmalbetrags, ermittelt aus dem Gesichtsbildbereich, streng eingestellt. Zum Beispiel wird der Bestimmungsschwellenwert auf einen geringen Wert eingestellt. Im Gegensatz dazu wird bei der groben Suche zu dem Ermitteln der Merkmalpunkte des Gesichts in einem kurzen Zeitraum die Dimensionszahl des Merkmalpunktanordnungsvektors des dreidimensionalen Gesichtsformmodells verringert, indem die zu ermittelnden Merkmalpunkte eingeschränkt werden und ferner wird der Bestimmungsschwellenwert auf einen größeren Wert eingestellt, sodass die Bestimmungsbedingung für den Fehlerbetrag lockerer ist als im Falle der detaillierten Suche.
Der Zuverlässigkeitsdetektor 5 berechnet die Zuverlässigkeit, welche die Wahrscheinlichkeit des Abschätzungsergebnisses der durch die Sucheinheit 4b erhaltenen Position des Merkmalpunkts angibt. Als ein Verfahren zu dem Berechnen der Zuverlässigkeit wird zum Beispiel ein Verfahren eingesetzt, bei dem ein Merkmal eines zuvor gespeicherten Gesichtsbilds und das Merkmal im durch die Sucheinheit 4b ermittelten Gesichtsbildbereich verglichen werden, um eine Wahrscheinlichkeit zu erhalten, dass ein Bild des ermittelten Gesichtsbereichs das Bild des Subjekts ist und die Zuverlässigkeit wird aus dieser Wahrscheinlichkeit berechnet. Als ein weiteres Ermittlungsverfahren kann ein Verfahren eingesetzt werden, in dem eine Differenz zwischen dem Merkmal des zuvor gespeicherten Gesichtsbilds und dem Merkmal des Bilds des durch die Sucheinheit 4b ermittelten Gesichtsbereichs berechnet wird und die Zuverlässigkeit aus der Größe der Differenz berechnet wird.
Das Suchsteuergerät 6 steuert den Betrieb des Gesichtsdetektors 4 auf der Grundlage der durch den Zuverlässigkeitsdetektor 5 ermittelten Zuverlässigkeit.
Wenn zum Beispiel die Zuverlässigkeit des durch die Sucheinheit 4b erhaltenen Abschätzungsergebnisses den Schwellenwert übersteigt, dann stellt das Suchsteuergerät 6 einen Nachverfolgungsflag und speichert einen durch den Gesichtsbereichdetektor 4a zu diesem Zeitpunkt ermittelten Gesichtsbildbereich in der Nachverfolgungsinformationsspeichereinheit 7. Dies bedeutet, der Nachverfolgungsmodus ist eingestellt. Dann wird der gespeicherte Gesichtsbildbereich für den Gesichtsbereichdetektor 4a bereitgestellt, um als Referenzposition zu dem Ermitteln des Gesichtsbildbereichs im darauffolgenden Einzelbild zu gelten.
Ferner bestimmt in einem Zustand, in dem der Nachverfolgungsmodus eingestellt ist, das Suchsteuergerät 6, ob der Zustand der Änderung des Abschätzungsergebnisses im gegenwärtigen Einzelbild in Bezug auf das Abschätzungsergebnis im vorherigen Einzelbild eine vorgegebene Bestimmungsbedingung erfüllt.
Hierbei werden die folgenden drei Typen als die Bestimmungsbedingungen eingesetzt:

(a) Umfang der Änderung der Positionskoordinaten des Merkmalpunkts des Gesichts liegt in einem vorgegebenen Bereich;
(a) Umfang der Änderung der Ausrichtung des Gesichts liegt in einem vorgegebenen Winkelbereich; und
(a) Umfang der Änderung der Sichtlinienrichtung liegt in einem vorgegebenen Bereich.

Wenn bestimmt wird, dass der Umfang der Änderung des Abschätzungsergebnisses im gegenwärtigen Einzelbild in Bezug auf das Abschätzungsergebnis im vorherigen Einzelbild alle obigen drei Typen von Bestimmungsbedingungen (a) bis (c) erfüllt, behält das Suchsteuergerät 6 den Gesichtsbildbereich, der in der Nachverfolgungsinformationsspeichereinheit 7 gespeichert ist, während der Nachverfolgungsflag auf EIN eingestellt bleibt, also der Nachverfolgungsmodus beibehalten wird. Dann stellt das Suchsteuergerät 6 kontinuierlich die Koordinaten des gespeicherten Gesichtsbildbereichs für den Gesichtsbereichdetektor 4a des Gesichtsdetektors 4 bereit, sodass der Gesichtsbildbereich als die Referenzposition zu dem Ermitteln des Gesichtsbereichs im darauffolgenden Einzelbild eingesetzt werden kann.
Im Gegensatz dazu, wenn bestimmt wird, dass die Änderung des Abschätzungsergebnisses im gegenwärtigen Einzelbild in Bezug auf das Abschätzungsergebnis im vorherigen Einzelbild keinen der obigen drei Typen von Bestimmungsbedingungen erfüllt, stellt das Suchsteuergerät 6 den Nachverfolgungsflag auf AUS ein und löscht die in der Nachverfolgungsinformationsspeichereinheit 7 gespeicherten Koordinaten des Gesichtsbildbereichs. Dies bedeutet, der Nachverfolgungsmodus ist aufgehoben. Dann wird der Gesichtsbereichdetektor 112 angewiesen, den Ermittlungsvorgang für den Gesichtsbildbereich im darauffolgenden Einzelbild ab dem Ausgangszustand für das gesamte Einzelbild neu zu starten.
Durch Bereitstellen der funktionellen Konfiguration wie zuvor beschrieben, wird nach diesem Anwendungsbeispiel, wenn die Zuverlässigkeit des Abschätzungsergebnisses durch die Sucheinheit 4b in einem bestimmten Bildrahmen den Schwellenwert übersteigt, bestimmt, dass der Merkmalpunkt des Gesichts mit hoher Zuverlässigkeit abgeschätzt worden ist und der Nachverfolgungsflag wird auf EIN gesetzt, während die Koordinaten des in dem Einzelbild abgeschätzten Gesichtsbildbereichs in der Nachverfolgungsinformationsspeichereinheit 7 gespeichert werden. Dann wird im nächsten Einzelbild der Gesichtsbildbereich ermittelt, indem die in der Nachverfolgungsinformationsspeichereinheit 7 gespeicherten Koordinaten des Gesichtsbildbereichs als die Referenzposition genommen werden. Demnach kann im Vergleich zu einem Fall, in dem der Gesichtsbildbereich in jedem Einzelbild stets aus dem Ausgangszustand ermittelt wird, der Gesichtsbildbereich effizient ermittelt werden.
Andererseits bestimmt in einem Zustand, in dem der Nachverfolgungsflag auf EIN gesetzt ist, also der Nachverfolgungsmodus eingestellt ist, das Suchsteuergerät 6, ob der Umfang von Änderung zwischen Einzelbildern in Bezug auf die Positionskoordinaten des Merkmalpunkts des Gesichts im vorgegebenen Bereich liegt, ob der Umfang von Änderung zwischen Einzelbildern in Bezug auf die Gesichtsausrichtung im vorgegebenen Winkelbereich liegt und ob der Umfang von Änderung zwischen Einzelbildern in Bezug auf die Sichtlinienrichtung im vorgegebenen Bereich liegt. Wenn die Bestimmungsbedingungen bei allen diesen Bestimmungen erfüllt sind, wird selbst wenn das Abschätzungsergebnis im gegenwärtigen Einzelbild in Bezug auf das vorhergehende Einzelbild verändert ist, die Änderung als in einem zulässigen Bereich angesehen und die Ermittlungsverarbeitung für den Gesichtsbildbereich wird kontinuierlich in dem nachfolgenden Einzelbild ausgeführt, wobei die in der Nachverfolgungsinformationsspeichereinheit 7 gespeicherten Positionskoordinaten des Gesichtsbildbereichs als die Referenzposition genommen werden.
Aus diesem Grund wird zum Beispiel, selbst wenn bei der Körperbewegung des Fahrers ein Teil des Gesichts des Fahrers vorübergehend durch die Hand oder das Haar oder Ähnliches verdeckt ist oder ein Teil des Gesichts vorübergehend außerhalb des nachverfolgten Gesichtsbildbereichs liegt, der Nachverfolgungsmodus beibehalten und im darauffolgenden Einzelbild wird die Ermittlungsverarbeitung für den Gesichtsbildbereich kontinuierlich ausgeführt, indem die in der Nachverfolgungsinformationsspeichereinheit 7 gespeicherten Koordinaten des Gesichtsbildbereichs als die Referenzposition genommen werden. Demnach ist es möglich, die Stabilität der Verarbeitung der Abschätzung der Position des Merkmalpunkts des Gesichts durch die Sucheinheit 4b, der Ausrichtung des Gesichts und der Sichtlinienrichtung zu verbessern.
Es wird darauf hingewiesen, dass zu dem Zeitpunkt des Bestimmens unter Verwendung der obigen Bestimmungsbedingungen, ob der Nachverfolgungsmodus beibehalten wird oder nicht, selbst wenn nicht alle der obigen drei Bestimmungsbedingungen erfüllt sind, der Nachverfolgungsmodus beibehalten werden kann, sofern eine oder zwei dieser Bestimmungsbedingungen erfüllt sind.
Eine Ausführungsform
Konfigurationsbeispiel
System
Wie in dem Anwendungsbeispiel beschrieben, wird die Bildanalysevorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung zum Beispiel in dem Fahrerüberwachungssystem eingesetzt, das den Zustand des Gesichts des Fahrers überwacht. Das Fahrerüberwachungssystem enthält zum Beispiel eine Kamera 1 und eine Bildanalysevorrichtung 2.
Die Kamera 1 ist zum Beispiel an einer Position des Armaturenbretts angeordnet, die zu dem Fahrer hin weist. Die Kamera 1 nutzt als Bilderfassungsvorrichtung zum Beispiel einen CMOS(komplementärer Metalloxidhalbleiter)-Bildsensor, der in der Lage ist Licht im Nahinfrarotbereich zu empfangen. Die Kamera 1 erfasst ein Bild eines vorgegebenen Bereichs, welcher das Gesicht des Fahrers enthält, und übermittelt ihr Bildsignal an die Bildanalysevorrichtung 2, zum Beispiel über ein Signalkabel. Als die Bilderfassungsvorrichtung kann eine andere Solid-State-Bilderfassungsvorrichtung eingesetzt werden, wie zum Beispiel ein ladungsgekoppeltes Bauelement (CCD) . Ferner kann die Einbauposition der Kamera 1 an einer beliebigen Stelle eingestellt werden, sofern es sich um eine Stelle handelt, die zu dem Fahrer hin weist, wie etwa eine Windschutzscheibe oder ein Rückspiegel.
Bildanalysevorrichtung
Die Bildanalysevorrichtung 2 ermittelt den Gesichtsbildbereich des Fahrers aus dem von der Kamera 1 erhaltenen Bildsignal und ermittelt den Gesichtsbildbereich, den Zustand des Gesichts des Fahrers, wie etwa Positionen mehrerer voreingestellter Merkmalpunkte für mehrere Organe (z. B. Augen, Nase, Mund, Wangenknochen) des Gesichts, die Ausrichtung des Gesichts oder die Sichtlinienrichtung.
Hardwarekonfiguration
2 ist ein Blockdiagramm, das ein Beispiel einer Hardwarekonfiguration der Bildanalysevorrichtung 2 veranschaulicht. Die Bildanalysevorrichtung 2 beinhaltet einen Hardware-Prozessor 11A, wie z. B. eine zentrale Verarbeitungseinheit (CPU). Ferner sind ein Programmspeicher 11B, ein Datenspeicher 12, eine Kameraschnittstelle (Kameraschnittst.) 13 und eine externe Schnittstelle (externe Schnittst.) 14 über einen Bus 15 mit dem Hardware-Prozessor 11 A verbunden.
Die Kameraschnittstelle 13 empfängt eine Bildsignalausgabe von der Kamera 1, zum Beispiel über ein Signalkabel. Die externe Schnittstelle 14 gibt Informationen aus, die das Ermittlungsergebnis zu dem Zustand des Gesichts an eine externe Vorrichtung ausgeben, wie etwa an eine Fahrerzustandsbestimmungsvorrichtung, die Unaufmerksamkeit oder Müdigkeit bestimmt, an eine automatische Fahrsteuerungsvorrichtung, die den Betrieb des Fahrzeugs steuert, oder an etwas Ähnliches.
Wenn ein fahrzeuginternes verdrahtetes Netzwerk, wie etwa ein lokales Netzwerk (LAN) und ein fahrzeuginternes Drahtlosnetzwerk, das einen Niedrigenergie-Drahtlosdatenkommunikationsstandard, wie etwa Bluetooth (eingetragene Marke), verwendet, im Fahrzeug bereitgestellt sind, dann können Signalübertragungen zwischen der Kamera 1 und der Kameraschnittstelle 13 sowie zwischen der externen Schnittstelle 14 und der externen Vorrichtung unter Einsatz des Netzwerks ausgeführt werden.
Der Programmspeicher 11B nutzt zum Beispiel einen nichtflüchtigen Speicher, wie etwa eine Festplatte (HDD) oder ein Solid-State-Drive (SSD), die je nach Anforderung beschrieben und ausgelesen werden können, und einen nichtflüchtigen Speicher, wie etwa einen Nurlesespeicher (ROM), als Speichermedien, und darin werden Programme gespeichert, die erforderlich sind, um verschiedene Arten von Steuerungsverarbeitung nach der Ausführungsform auszuführen.
Der Datenspeicher 12 beinhaltet zum Beispiel eine Kombination aus einem nichtflüchtigen Speicher, wie etwa einer HDD oder einer SSD, die je nach Anforderung beschrieben und ausgelesen werden können, und einem flüchtigen Speicher, wie etwa einem Direktzugriffsspeicher (RAM) als ein Speichermedium. Der Datenspeicher 12 wird eingesetzt, um verschiedene Datensätze, die während des Ausführens verschiedener Verarbeitungen nach der Ausführungsform erfasst, ermittelt und berechnet werden, sowie Templatedaten und sonstige Daten zu speichern.
Softwarekonfiguration
3 ist ein Blockdiagramm, das eine Softwarekonfiguration der Bildanalysevorrichtung 2 nach der erfindungsgemäßen Ausführungsform veranschaulicht.
Im Speicherbereich des Datenspeichers 12 werden eine Bildspeichereinheit 121, eine Templatespeichereinheit 122, eine Ermittlungsergebnisspeichereinheit 123 und eine Nachverfolgungsinformationsspeichereinheit 124 bereitgestellt. Die Bildspeichereinheit 121 wird eingesetzt, um von der Kamera 1 erfasste Bilddaten vorübergehend zu speichern.
Die Templatespeichereinheit 122 speichert ein Gesichtsreferenztemplate und ein dreidimensionales Gesichtsformmodell, um aus den Bilddaten einen Bildbereich zu ermitteln, der das Gesicht des Fahrers zeigt. Das dreidimensionale Gesichtsformmodell dient zu dem Ermitteln mehrerer Merkmalpunkte, die mehreren zu ermittelnden Organen entsprechen (wie zum Beispiel Augen, Nase, Mund, Wangenknochen) aus dem ermittelten Gesichtsbildbereich und es werden mehrere Modelle für die Ausrichtung des Gesichts erstellt.
Die Ermittlungsergebnisspeichereinheit 123 wird eingesetzt, um dreidimensionale Positionskoordinaten mehrerer Merkmalpunkte, die jedem Organ des aus dem Gesichtsbildbereich abgeschätzten Gesichts entsprechen, sowie Informationen, die die Ausrichtung des Gesichts und die Sichtlinienrichtung repräsentieren, zu speichern. Die Nachverfolgungsinformationsspeichereinheit 124 wird eingesetzt, um den Nachverfolgungsflag und die Positionskoordinaten des nachverfolgten Gesichtsbildbereichs zu speichern.
Eine Steuereinheit 11 besteht aus dem Hardware-Prozessor 11A und dem Programmspeicher 11B, und als Verarbeitungsfunktionseinheiten durch Software enthält das Steuergerät 11 ein Bilderfassungssteuergerät 111, einen Gesichtsbereichdetektor 112, eine Sucheinheit 113, einen Zuverlässigkeitsdetektor 115, ein Suchsteuergerät 116 und ein Ausgabesteuergerät 117. Diese Verarbeitungsfunktionseinheiten werden alle dadurch realisiert, dass der Hardware-Prozessor 11A das in dem Programmspeicher 11B gespeicherte Programm ausführt.
Die Bildsignale, die in Zeitreihenfolge von der Kamera 1 ausgegeben werden, werden durch die Kameraschnittstelle 13 empfangen und in Bilddaten umgewandelt, die aus einem digitalen Signal für jedes Einzelbild bestehen. Das Bilderfassungssteuergerät 111 führt eine Verarbeitung durch, mit der die Bilddaten für jeden Einzelbild von der Kameraschnittstelle 13 aufgenommen werden und die Bilddaten in der Bildspeichereinheit 121 des Datenspeichers 12 gespeichert werden.
Der Gesichtsbereichdetektor 112 liest die Bilddaten für jedes Einzelbild aus der Bildspeichereinheit 121 aus. Der Bildbereich, der das Gesicht des Fahrers zeigt, wird aus den ausgelesenen Bilddaten ermittelt, indem das zuvor in der Templatespeichereinheit 122 gespeicherte Gesichtsreferenztemplate einsetzt wird. So bewegt zum Beispiel der Gesichtsbereichdetektor 112 das Gesichtsreferenztemplate schrittweise um mehrere vorgegebene Pixelintervalle (z. B. 8 Pixel) in Bezug auf die Bilddaten und berechnet einen Luminanzkorrelationwert zwischen dem Referenztemplate und den Bilddaten für jede Bewegung. Dann wird der berechnete Korrelationswert mit einem vorgegebenen Schwellenwert verglichen und der Bildbereich, der der Schrittposition mit dem berechneten Korrelationswert von wenigstens dem Schwellenwert entspricht, wird mithilfe des rechteckigen Einzelbilds als der Gesichtsbereich extrahiert, der das Gesicht des Fahrers zeigt. Die Größe des rechteckigen Einzelbilds wird nach der Größe des im erfassten Bild gezeigten Gesichts des Fahrers eingestellt.
Als das Gesichtsreferenztemplatebild kann zum Beispiel ein Referenztemplate, das der Kontur des gesamten Gesichts entspricht und ein Template eingesetzt werden, das auf jedem der allgemeinen Organe (Augen, Mund, Nase, Wangenknochen usw.) des Gesichts basiert. Als ein Verfahren zu dem Ermitteln eines Gesichts anhand von Template-Matching kann beispielsweise eingesetzt werden: ein Verfahren, in dem ein Eckpunkt eines Kopfs oder eines ähnlichen Objekts anhand von Chromakey-Verarbeitung ermittelt wird und ein Gesicht anhand des Eckpunkts ermittelt wird, ein Verfahren zu dem Ermitteln eines hautfarbennahen Bereichs und Ermitteln des Bereichs als ein Gesicht, oder andere Verfahren. Ferner kann der Gesichtsbereichdetektor 112 eingerichtet sein, einen Lernvorgang mit einem Lernsignal über ein neuronales Netzwerk auszuführen und einen Bereich, der wie ein Gesicht aussieht, als ein Gesicht ermitteln. Ferner kann die Ermittlungsverarbeitung für den Gesichtsbildbereich durch den Gesichtsbereichdetektor 112 durch Anwenden einer beliebigen vorhandenen Technologie realisiert werden.
Die Sucheinheit 113 enthält einen Positionsdetektor 1131, einen Gesichtsausrichtungsdetektor 1132 und einen Sichtliniendetektor 1133.
Der Positionsdetektor 1131 ermittelt zum Beispiel mehrere Merkmalpunkte, die den jeweiligen Organen des Gesichts, wie etwa Augen, Nase, Mund und Wangenknochen, entsprechend eingestellt sind, aus dem durch den Gesichtsbereichdetektor 112 ermittelten Gesichtsbildbereich durch Verwenden des in der Templatespeichereinheit 122 gespeicherten dreidimensionalen Gesichtsformmodells und schätzt Positionskoordinaten der Merkmalpunkte ab. Wie im Anwendungsbeispiel usw. zuvor beschrieben werden mehrere dreidimensionale Gesichtsformmodelle für mehrere Ausrichtungen des Gesichts erstellt. So werden zum Beispiel Modelle erstellt, die jeweiligen Gesichtsausrichtungen entsprechen, wie etwa einer frontalen Richtung, einer Richtung diagonal rechts, einer Richtung diagonal links, einer Richtung diagonal oben und einer Richtung diagonal unten. Es wird darauf hingewiesen, dass die Gesichtsausrichtung in jeder von zwei axialen Richtungen, die eine Gierrichtung und eine Nickrichtung sind, in Intervallen eines konstanten Winkels definiert werden kann, und ein dreidimensionales Gesichtsformmodell, das einer Kombination aller Winkel dieser jeweiligen Achsen entspricht, erstellt werden kann. Das dreidimensionale Gesichtsformmodell wird zum Beispiel vorzugsweise durch eine Lernverarbeitung im Einklang mit dem tatsächlichen Gesicht des Fahrers erzeugt, es kann sich aber um einen Modellsatz mit einem aus einem allgemeinen Gesichtsbild erfassten Durchschnittsausgangsparameter handeln.
Zum Beispiel schätzt der Gesichtsausrichtungsdetektor 1132 die Ausrichtung des Gesichts des Fahrers auf der Grundlage der Positionskoordinaten eines jeden der Merkmalpunkte zu dem Zeitpunkt ab, zu dem der Fehler in Bezug auf den korrekten Wert bei der Suche nach dem Merkmalpunkt und in Bezug auf das zu dem Ermitteln der Positionskoordinaten eingesetzte dreidimensionale Gesichtsformmodell möglichst gering ist. Der Sichtliniendetektor 1133 berechnet die Sichtlinienrichtung des Fahrers zum Beispiel auf der Grundlage einer dreidimensionalen Position eines hellen Flecks auf einem Augapfel und einer zweidimensionalen Position einer Pupille unter den Positionen der mehreren durch den Positionsdetektor 1131 abgeschätzten Merkmalpunkte.
Der Zuverlässigkeitsdetektor 115 berechnet eine Zuverlässigkeit α der Position des durch die Sucheinheit 113 abgeschätzten Merkmalpunkts. Als ein Verfahren zu dem Ermitteln der Zuverlässigkeit wird zum Beispiel ein Verfahren eingesetzt, bei dem ein Merkmal eines zuvor gespeicherten Gesichtsbilds und das Merkmal im durch die Sucheinheit 113 ermittelten Gesichtsbildbereich verglichen werden, um eine Wahrscheinlichkeit zu erhalten, dass ein Bild des ermittelten Gesichtsbereichs das Bild des Subjekts ist und die Zuverlässigkeit wird aus dieser Wahrscheinlichkeit berechnet.
Auf der Grundlage der durch den Zuverlässigkeitsdetektor 115 ermittelten Zuverlässigkeit a, der durch den Positionsdetektor 1131 abgeschätzten Positionskoordinaten des Merkmalpunkts, der durch den Gesichtsausrichtungsdetektor 1132 abgeschätzten Gesichtsausrichtung und der durch den Sichtliniendetektor 1133 abgeschätzten Sichtlinienrichtung, führt das Suchsteuergerät 116 die Suchsteuerung folgendermaßen aus.
(1) Im gegenwärtigen Einzelbild der Bilddaten wird, wenn die Zuverlässigkeit α des Abschätzungsergebnisses durch die Sucheinheit 113 einen vorgegebenen Schwellenwert übersteigt, der Nachverfolgungsflag auf EIN gesetzt und Koordinaten des die im obigen Einzelbild ermittelten Gesichtsbildbereichs werden in der Nachverfolgungsinformationsspeichereinheit 7 gespeichert. Dies bedeutet, der Nachverfolgungsmodus ist eingestellt. Dann wird der Gesichtsbildbereichdetektor 112 angewiesen, die gespeicherten Positionskoordinaten des Gesichtsbildbereichs als eine Referenzposition zu verwenden, während der Gesichtsbildbereich im darauffolgenden Einzelbild der Bilddaten ermittelt wird.
(2) In einem Zustand, in dem der Nachverfolgungsmodus eingestellt ist, bestimmt das Suchsteuergerät 6:

(a) ob der Umfang der Änderung der Koordinaten des Merkmalpunkts des im gegenwärtigen Einzelbild ermittelten Gesichts in Bezug auf das Abschätzungsergebnis im vorherigen Einzelbild im vorgegebenen Bereich liegt;
(b) ob der Umfang der Änderung der im gegenwärtigen Einzelbild ermittelten Gesichtsausrichtung in Bezug auf das Abschätzungsergebnis im vorherigen Einzelbild im vorgegebenen Winkelbereich liegt; und
(c) ob der Umfang der Änderung der im gegenwärtigen Einzelbild ermittelten Sichtlinienrichtung in Bezug auf das Abschätzungsergebnis im vorherigen Einzelbild im vorgegebenen Bereich liegt.

Wenn bestimmt wird, dass alle Bestimmungsbedingungen (a) bis (c) erfüllt sind, hält das Suchsteuergerät 116 den Nachverfolgungsmodus bei. Dies bedeutet, der Nachverfolgungsflag wird auf EIN gehalten und die in der Nachverfolgungsinformationsspeichereinheit 7 gespeicherten Koordinaten des Gesichtsbildbereichs werden auch weiterhin beibehalten. Dann werden die Koordinaten des gespeicherten Gesichtsbildbereichs kontinuierlich an den Gesichtsbereichdetektor 112 bereitgestellt, sodass der Gesichtsbildbereich als die Referenzposition zu dem Ermitteln des Gesichtsbereichs im darauffolgenden Einzelbild eingesetzt werden kann.
(3) Im Gegensatz dazu setzt, wenn der Umfang der Änderung des Abschätzungsergebnisses im gegenwärtigen Einzelbild in Bezug auf das Abschätzungsergebnis im vorherigen Einzelbild keinen der obigen drei Typen von Bestimmungsbedingungen (a) bis (c) erfüllt, das Suchsteuergerät 6 den Nachverfolgungsflag auf AUS und löscht die in der Nachverfolgungsinformationsspeichereinheit 7 gespeicherten Koordinaten des Gesichtsbildbereichs. Dies bedeutet, der Nachverfolgungsmodus ist aufgehoben. Dann wird der Gesichtsbereichdetektor 112 angewiesen, den Ermittlungsvorgang für den Gesichtsbildbereich im darauffolgenden Einzelbild ab dem Ausgangszustand für das gesamte Einzelbild neu zu starten, bis ein neuer Nachverfolgungsmodus gesetzt wird.
Das Ausgabesteuergerät 117 liest aus der Ermittlungsergebnisspeichereinheit 123 die dreidimensionalen Positionskoordinaten eines jeden Merkmalpunkts im Gesichtsbildbereich, die Informationen in Bezug auf die Gesichtsausrichtung und die Informationen in Bezug auf die Sichtlinienrichtung, erhalten durch die Sucheinheit 113, aus und übermittelt die ausgelesenen Daten von der externen Schnittstelle 14 an die externe Vorrichtung. Als die externe Vorrichtung, an die die ausgelesenen Daten übermittelt werden, kann eine Unaufmerksamkeit-Warnvorrichtung, eine automatische Fahrsteuerungsvorrichtung oder etwas Ähnliches in Betracht gezogen werden.
Betriebsbeispiel
In der Folge wird ein Betriebsbeispiel der wie zuvor beschrieben eingerichteten Bildanalysevorrichtung 2 beschrieben.
In diesem Beispiel wird angenommen, dass das zu dem Verarbeiten des Ermittelns des Gesichtsbereichs, welcher das Gesicht enthält, aus den erfassten Bilddaten eingesetzte Gesichtsreferenztemplate zuvor in der Templatespeichereinheit 122 gespeichert wird.
Lernverarbeitung
Zunächst wird eine Lernverarbeitung beschrieben, die zu dem Betreiben der Bildanalysevorrichtung 2 erforderlich ist.
Die Lernverarbeitung muss zuvor ausgeführt werden, um mit der Bildanalysevorrichtung 2 die Position des Merkmalpunkts aus den Bilddaten zu ermitteln.
Die Lernverarbeitung wird durch ein Lernverarbeitungsprogramm (nicht veranschaulicht) ausgeführt, das zuvor in der Bildanalysevorrichtung 2 installiert wird. Es wird darauf hingewiesen, dass die Lernverarbeitung durch eine Informationsverarbeitungsvorrichtung, wie etwa einen in einem Netzwerk bereitgestellten, von der Bildanalysevorrichtung 2 verschiedenen, Server ausgeführt werden kann und das Lernergebnis kann über das Netzwerk in die Bildanalysevorrichtung 2 heruntergeladen und in der Templatespeichereinheit 122 gespeichert werden.
Die Lernverarbeitung besteht zum Beispiel aus dem Verarbeiten eines dreidimensionalen Gesichtsformmodells, dem Verarbeiten des Projizierens eines dreidimensionalen Gesichtsformmodells auf eine Bildebene, dem Verarbeiten von Funktionsumfangsampling und dem Verarbeiten eines Erfassens einer Fehlerermittlungsmatrix.
In der Lernverarbeitung werden mehrere Lerngesichtsbilder (in der Folge in der Beschreibung der Lernverarbeitung als „Gesichtsbilder“ bezeichnet) und dreidimensionale Koordinaten der Merkmalpunkte in jedem Gesichtsbild erstellt. Die Merkmalpunkte können mithilfe einer Technik erfasst werden, wie etwa mit einem Laserscanner oder einer Stereokamera, es kann aber auch eine beliebige andere Technik eingesetzt werden. Um die Genauigkeit der Lernverarbeitung zu erhöhen, wird diese Merkmalpunktextraktionsverarbeitung vorzugsweise an einem menschlichen Gesicht ausgeführt.
11 ist eine Ansicht, die Positionen von Merkmalpunkten als zu ermittelnde Objekte eines Gesichts in einer zweidimensionalen Ebene beispielhaft veranschaulicht und 12 ist ein Diagramm, das den obigen Merkmalpunkt als dreidimensionale Koordinaten veranschaulicht. In den Beispielen aus 11 und 12 ist der Fall veranschaulicht, in dem beide Enden (der innere und der äußere Augenwinkel) und die Mitte der Augen, der rechte und der linke Wangenabschnitt (untere Abschnitte der Augenhöhlen), der Eckpunkt und der linke und der rechte Endpunkt der Nase, die Mitte des Mundes und die Mittelpunkte zwischen dem rechten und dem linken Punkt der Nase sowie des linken und des rechten Mundwinkels als Merkmalpunkte eingestellt werden.
4 ist ein Flussdiagramm eines Beispiels für den Verarbeitungsablauf für Verarbeitungsinhalte der Lernverarbeitung, ausgeführt durch die Bildanalysevorrichtung 2.
Erfassen des dreidimensionalen Gesichtsformmodells
Zunächst definiert in Schritt S01 die Bildanalysevorrichtung 2 eine Variable i und substituiert 1 für diese Variable i. Danach wird in dem Schritt S02 unter den Lerngesichtsbildern, für die die dreidimensionalen Positionen der Merkmalpunkte zuvor erfasst worden sind, ein Gesichtsbild (Img_i) eines i-ten Einzelbilds aus der Bildspeichereinheit 121 ausgelesen. Wenn 1 für i substituiert ist, wird ein Gesichtsbild (Img-1) eines ersten Einzelbilds ausgelesen. Dann wird in dem Schritt S03 ein Satz aus korrekten Koordinaten der Merkmalpunkte des Gesichtsbilds Img_i ausgelesen, ein korrekter Modellparameter kopt wird erfasst und ein korrektes Modell des dreidimensionalen Gesichtsformmodells wird erstellt. Dann erstellt in dem Schritt S04 die Bildanalysevorrichtung 2 einen versetzt angeordneten Modellparameter kdif auf der Grundlage des korrekten Modellparameters kopt und erzeugt ein versetzt angeordnetes Modell. Das versetzt angeordnete Modell wird vorzugsweise erstellt, indem eine zufällige Nummer erzeugt wird und ein Versatz von dem Korrekten Modell in einem vorgegebenen Bereich erzeugt wird.
Die obige Verarbeitung wird im Detail beschrieben. Zunächst werden die Koordinaten eines jeden Merkmalpunkts pi als pi (xi, yi, zi) angegeben. Zu diesem Zeitpunkt steht i für einen Wert von 1 bis n (n steht für die Nummer des Merkmalpunkts). Dann wird ein Merkmalpunktanordnungsvektor X für jedes Gesichtsbild wie in [Formel 1] definiert. Der Merkmalpunktanordnungsvektor für ein Gesichtsbild j wird als Xj bezeichnet. Die Dimensionszahl von X ist 3n.
$X = {[x_{1}, y_{1}, z_{1}, x_{2}, y_{2}, z_{2}, \dots x_{n}, y_{n}, z_{n}]}^{T}$
Das in der Ausführungsform der vorliegenden Erfindung eingesetzte dreidimensionale Gesichtsformmodell entspricht zum Beispiel dem Beispiel der 11 und 12, eingesetzt zu dem Suchen nach zahlreichen Merkmalpunkten in Bezug auf Augen, Nase, Mund und Wangenknochen, sodass die Dimensionszahl X des Merkmalpunktanordnungsvektors X der obigen großen Zahl von Merkmalpunkten entspricht.
Dann normiert die Bildanalysevorrichtung 2 alle erfassten Merkmalpunktanordnungsvektoren X auf der Grundlage einer geeigneten Referenz. Ein Planer kann zu diesem Zeitpunkt die Referenz der Normierung auf geeignete Weise bestimmen.
Ein Spezifisches Beispiel für die Normierung wird nachfolgend beschrieben. Wenn zum Beispiel Schwerpunktkoordinaten der Punkte p1 bis pn in Bezug auf einen Merkmalpunktanordnungsvektor Xj für ein bestimmtes Gesicht j p_G sind, kann, nachdem jeder Punkt in das Koordinatensystem mit dem Schwerpunkt p_G als Ursprung bewegt worden ist, die Größe mit Lm nach der Definition in [Formel 2] normiert werden. Insbesondere kann die Größe normiert werden, indem der unbewegte Koordinatenwert durch Lm geteilt wird. Hierbei ist Lm ein Durchschnittswert linearer Abstände von dem Schwerpunkt zu einem jeden Punkt.
$L m = \frac{1}{n} \sum_{i = 1}^{n} \sqrt{{(x_{i} - x_{G})}^{2} + {(y_{i} - y_{G})}^{2} + {(z_{i} + z_{G})}^{2}}$
Ferner kann eine Drehung normiert werden, indem zum Beispiel eine Drehtransformation auf die Merkmalpunktkoordinaten ausgeführt wird, sodass eine gerade Linie zwischen den Augenmittelpunkten in eine bestimmte Richtung weist. Da die obige Verarbeitung durch eine Kombination aus Drehung und Vergrößerung/Verkleinerung ausgedrückt werden kann, kann der Merkmalpunktanordnungsvektor x nach der Normierung wie in [Formel 3] (Ähnlichkeitstransformation) ausgedrückt werden.
$\begin{array}{l} x = s R_{x} R_{y} R_{z} X + t \\ (\begin{array}{l} R_{x} = [\begin{matrix} 1 & 0 & 0 \\ 0 & cos θ & - sin θ \\ 0 & sin θ & cos θ \end{matrix}], R_{y} = [\begin{matrix} cos ϕ & 0 & sin ϕ \\ 0 & 1 & 0 \\ - sin ϕ & 0 & cos ϕ \end{matrix}], R_{z} = [\begin{matrix} cos ψ & - sin ψ & 0 \\ sin ψ & cos ψ & 0 \\ 0 & 0 & 1 \end{matrix}] \\ t = [\begin{matrix} t_{x} \\ t_{y} \\ t_{z} \end{matrix}] \end{array}) \end{array}$
Dann führt die Bildanalysevorrichtung 2 eine Hauptkomponentenanalyse am Satz aus den normierten Merkmalpunktanordnungsvektoren aus. Die Hauptkomponentenanalyse kann zum Beispiel folgendermaßen ausgeführt werden. Zunächst wird nach einer in [Formel 4] ausgedrückten Gleichung ein Durchschnittsvektor erfasst (ein Durchschnittsvektor wird mit einer horizontalen Linie über dem x veranschaulicht). In Formel 4 stellt N die Zahl der Gesichtsbilder dar, genauer die Anzahl der Merkmalpunktanordnungsvektoren.
$\bar{x} = \frac{1}{N} \sum_{j = 1}^{N} x_{j}$
Dann wird, wie in [Formel 5] ausgedrückt, ein Differenzvektor x' erhalten, indem der Durchschnittsvektor von allen normierten Merkmalpunktanordnungsvektoren subtrahiert wird. Der Differenzvektor für das Bild j wird als x'j bezeichnet.
$x'_{j} = x_{j} - \bar{x}$
Als ein Ergebnis der obigen Hauptkomponentenanalyse werden 3n Paare aus Eigenvektoren und Eigenwerten erhalten. Ein beliebig normierter Merkmalpunktanordnungsvektor kann anhand einer Gleichung in [Formel 6] ausgedrückt werden.
$x = \bar{x} + P b$
wobei P eine Eigenvektormatrix bezeichnet und b einen Formparametervektor bezeichnet. Die entsprechenden Werte werden in [Formel 7] ausgedrückt. Darüber hinaus bezeichnet ei einen Eigenvektor.
$\begin{array}{l} P = {[e_{1}, e_{2}, \dots, e_{3 n}]}^{T} \\ b = [b_{1}, b_{2}, \dots, b_{3 n}] \end{array}$
In der Praxis kann durch Verwenden eines Werts bis zu k-Dimensionen höherer Ordnung mit großen Eigenvektoren ein beliebig normierter Merkmalpunktanordnungsvektor x wie in [Formel 8] angenähert ausgedrückt werden. Hiernach wird ei als eine i-te Hauptkomponente in fallender Reihenfolge von Eigenwerten bezeichnet.
$\begin{array}{l} x = \bar{x} + P' b' \\ P' = {[e_{1}, e_{2}, \dots e_{k}]}^{T} \\ b' = [b_{1}, b_{2}, \dots b_{k}] \end{array}$
Zu dem Zeitpunkt des Anpassens des Gesichtsformmodells an ein tatsächliches Gesichtsbild, wird Ähnlichkeitstransformation (Translation, Drehung) an dem normierten Merkmalpunktanordnungsvektor x ausgeführt. Wenn Parameter von Ähnlichkeitstransformationen sx, sy, sz, sθ, sφ, sψ sind, kann der Modellparameter k wie in [Formel 9] gemeinsam mit dem Formparameter ausgedrückt werden.
$k = ⌊ s_{x}, s_{y}, s_{z}, s_{θ}, s_{ϕ}, s_{ψ}, b_{1}, b_{2}, \dots, b_{k} ⌋$
Wenn das dreidimensionale Gesichtsformmodell, ausgedrückt durch diesen Modellparameter k, im Wesentlichen exakt der Merkmalpunktposition an einem bestimmten Gesichtsbild entspricht, wird der Parameter im Gesichtsbild als ein dreidimensionaler korrekter Modellparameter bezeichnet. Die exakte Entsprechung wird bestimmt auf der Grundlage eines Schwellenwerts und einer Referenz, eingestellt durch den Planer.
Projektionsverarbeitung
In dem Schritt S05 projiziert die Bildanalysevorrichtung 2 das versetzt angeordnete Modell auf das Lernbild.
Das Projizieren des dreidimensionalen Gesichtsformmodells auf eine zweidimensionale Ebene ermöglicht es, das Verarbeiten an dem zweidimensionalen Bild auszuführen. Als ein Verfahren des Projizierens der dreidimensionalen Form auf die zweidimensionale Ebene liegen mehrere Verfahren vor, wie etwa ein Parallelprojektionsverfahren und ein perspektivisches Projektionsverfahren. Hier wird eine Beschreibung dargelegt, in der perspektivische Einzelpunktprojektion als ein Beispiel unter den perspektivischen Projektionsverfahren genommen wird. Allerdings kann dieselbe Wirkung mit einem beliebigen anderen Verfahren erzielt werden. Die perspektivische Einzelpunktprojektionsmatrix auf die Ebene mit z = 0 wird wie in [Formel 10] ausgedrückt.
$T = [\begin{matrix} 1 & 0 & 0 & 0 \\ 0 & 1 & 0 & 0 \\ 0 & 0 & 0 & r \\ 0 & 0 & 0 & 1 \end{matrix}]$
wobei r = -1/z ist und zc ein Projektionszentrum auf der z-Achse bezeichnet. Als ein Ergebnis werden die dreidimensionalen Koordinaten [x, y, z] wie in [Formel 11] transformiert und durch das Koordinatensystem in der Ebene mit z = 0 wie in [Formel 12] ausgedrückt.
$[\begin{matrix} x & y & z & 1 \end{matrix}] [\begin{matrix} 1 & 0 & 0 & 0 \\ 0 & 1 & 0 & 0 \\ 0 & 0 & 0 & r \\ 0 & 0 & 0 & 1 \end{matrix}] = [\begin{matrix} x & y & 0 & r z + 1 \end{matrix}]$

$[\begin{matrix} x^{\cdot} & y^{\cdot} \end{matrix}] = [\begin{matrix} \frac{x}{r z + 1} & \frac{y}{r z + 1} \end{matrix}]$
Anhand der obigen Verarbeitung wird das dreidimensionale Gesichtsformmodell auf die zweidimensionale Ebene projiziert.
Abtastung des Merkmalbetrags
Dann führt in dem Schritt S06 die Bildanalysevorrichtung 2 ein Abtasten unter Einsatz der Retina-Struktur auf der Grundlage des zweidimensionalen Gesichtsformmodells durch, auf das das versetzt angeordnete Modell projiziert worden ist, und erfasst den Abtastmerkmalbetrag f_i.
Das Abtasten des Merkmalbetrags wird ausgeführt, indem eine variable Retina-Struktur mit dem auf das Bild projizierten Gesichtsformmodell kombiniert wird. Die Retina-Struktur ist eine Struktur von Abtastpunkten, radial und diskret um einen bestimmten Merkmalpunkt (Knoten) von Interesse angeordnet. Das Ausführen des Abtastens durch die Retina-Struktur ermöglicht ein wirksames niederdimensionales Abtasten von Informationen um den Merkmalpunkt. Bei diesem Lernvorgang wird Abtasten durch die Retina-Struktur an einem Projektionspunkt (an jedem Punkt p) eines jeden Knoten des Gesichtsformmodells (hiernach bezeichnet als ein zweidimensionales Gesichtsformmodell) ausgeführt, das von dem dreidimensionalen Gesichtsformmodell auf die zweidimensionale Ebene projiziert wird. Es wird darauf hingewiesen, dass sich Abtasten durch die Retina-Struktur auf das Ausführen von Abtasten an Abtastpunkten im Einklang mit der Retina-Struktur bezieht.
Wenn Koordinaten eines i-ten Abtastpunkts qi (xi, yi) sind, kann die Retina-Struktur wie in [Formel 13] ausgedrückt werden.
$r = {[q_{1}^{T}, q_{2}^{T}, \dots q_{m}^{T}]}^{T}$
Demnach kann zum Beispiel ein Retinamerkmalbetrag fp, erhalten durch das Ausführen des Abtastens durch die Retina-Struktur für einen bestimmten Punkt p (xp, yp) wie in [Formel 14] ausgedrückt werden.
$f_{p} = {[f (p + q_{1}), \dots, f (p + q_{m})]}^{T}$
wobei f(p) einen Merkmalbetrag am Punkt p (Abtastpunkt p) bezeichnet. Ferner kann der Merkmalbetrag eines jeden Abtastpunkts in der Retina-Struktur zum Beispiel als eine Luminanz des Bildes, als ein Sovel-Filterbetrag, als ein Harr-Wavelet-Merkmalbetrag, als ein Gabor-Wavelet-Merkmalbetrag oder als eine Kombination von diesen erhalten werden. Wenn der Merkmalbetrag mehrdimensional ist, wie es der Fall ist beim Ausführen der detaillierten Suche, kann der Retinamerkmalbetrag wie in [Formel 15] ausgedrückt werden.
$f_{p} = {[f_{1} (p + q_{1}^{(1)}), \dots f_{D} (p + q_{1}^{(D)}), \dots, f_{1} (p + q_{m}^{(1)}) \dots, f_{D} (p + q_{m}^{(D)})]}^{T}$
wobei D die Dimensionszahl des Merkmalbetrags bezeichnet und fd(p) einen d-dimensionalen Merkmalbetrag am Punkt p bezeichnet. qi(d) bezeichnet die i-te Abtastkoordinate der Retina-Struktur in Bezug auf die d-Dimensionen.
Die Größe der Retina-Struktur kann im Einklang mit dem Maßstab des Gesichtsformmodells verändert werden. So kann die Größe der Retina-Struktur zum Beispiel umgekehrt proportional zu einem Translationsparameter sz verändert werden. Zu diesem Zeitpunkt kann die Retina-Struktur wie in [Formel 16] ausgedrückt werden. Es wird darauf hingewiesen, dass α hier ein geeigneter Fixwert ist und ein Wert ist, der von der Zuverlässigkeit a(n) des Suchergebnisses verschieden ist. Ferner kann die Retina-Struktur im Einklang mit anderen Parametern im Gesichtsformmodell gedreht oder in der Form verändert werden. Die Retina-Struktur kann so eingestellt sein, dass ihre Form (Struktur) von jedem Knoten des Gesichtsformmodells abhängig verschieden ausfallen kann. Die Retina-Struktur kann eine einzige Mittelpunktstruktur aufweisen. Also eine Struktur, in der nur ein Merkmalpunkt (Knoten) als der Abtastpunkt in der Retina-Struktur eingestellt ist.
$r = α s_{z}^{- 1} {[q_{1}^{T}, q_{2}^{T}, \dots, q_{m}^{T}]}^{T}$
Im dreidimensionalen durch einen bestimmten Modellparameter bestimmten Gesichtsformmodell wird ein durch Anordnen der durch das obige Abtasten für den Projektionspunkt eines jeden auf die Projektionsebene projizierten Knotens erhaltenen Retinamerkmalbeträge erhaltener Vektor als der Abtastmerkmalbetrag f im dreidimensionalen Gesichtsformmodell bezeichnet. Der Abtastmerkmalbetrag f kann wie in [Formel 17] ausgedrückt werden. In [Formel 17] bezeichnet n die Anzahl der Knoten im Gesichtsformmodell.
$f = {[f_{p 1}^{T}, f_{p 2}^{T}, \dots, f_{p}^{T}]}^{T}$
Zu dem Abtastzeitpunkt ist jeder Knoten normiert. So wird zum Beispiel die Normierung durch Ausführen von Maßstabtransformation ausgeführt, sodass der Merkmalbetrag in den Betrag von 0 bis 1 fällt. Darüber hinaus kann die Normierung durch Ausführung einer Transformation ausgeführt werden, sodass ein bestimmter Durchschnitt oder eine bestimmte Varianz erzielt wird. Es wird darauf hingewiesen, dass Fälle vorliegen, bei denen je nach dem Merkmalbetrag keine Normierung ausgeführt werden muss.
Erfassung einer Fehlerermittlungsmatrix
Dann erfasst in dem Schritt S07 die Bildanalysevorrichtung 2 einen Fehler (eine Abweichung) dp_i des Formmodells auf der Grundlage des korrekten Modellparameters kopt und des versetzt angeordneten Modellparameters kdif. Hierbei wird in dem Schritt S08 bestimmt, ob die Verarbeitung für alle Lerngesichtsbilder abgeschlossen worden ist. Diese Bestimmung kann zum Beispiel durch Vergleichen des Wertes für i mit der Anzahl von Lerngesichtsbildern ausgeführt werden. Wenn ein unverarbeitetes Gesichtsbild vorliegt, erhöht die Bildanalysevorrichtung 2 den Wert für i in dem Schritt S09 und führt die Verarbeitung in dem Schritt S02 und den darauffolgenden Schritten auf der Grundlage des erhöhten neuen Werts für i aus.
Andererseits führt, wenn bestimmt wird, dass die Verarbeitung für alle Gesichtsbilder abgeschlossen worden ist, in dem Schritt S10 die Bildanalysevorrichtung 2 eine kanonische Korrelationsanalyse an einem Satz des für jedes Gesichtsbild erhaltenen Abtastmerkmalbetrags f_i und der Differenz dp_i für das aus jedem Gesichtsbild erhaltene dreidimensionale Gesichtsformmodell. Dann wird in dem Schritt S11 eine unnötige Korrelationsmatrix, die einem Fixwert entspricht, der kleiner ist als ein vorgegebener Schwellenwert, gelöscht und eine abschließende Fehlerermittlungsmatrix wird in dem Schritt S12 erhalten.
Die Fehlerermittlungsmatrix wird anhand einer kanonischen Korrelationsanalyse erfasst. Die kanonische Korrelationsanalyse ist eines der Verfahren zu dem Auffinden der Korrelation zwischen verschiedenen Variablen zweier Dimensionen. Durch die kanonische Korrelationsanalyse ist es, wenn jeder Knoten des Gesichtsformmodells an einer fehlerhaften Position platziert wird (an einer Position, die von dem zu ermittelnden Merkmalpunkt verschieden ist), möglich, ein Lernergebnis über die Korrelation zu erhalten, das angibt, welche Richtung korrigiert werden soll.
Zunächst erzeugt die Bildanalysevorrichtung 2 aus den dreidimensionalen Positionsinformationen der Merkmalpunkte des Lerngesichtsbilds ein dreidimensionales Gesichtsformmodell. Alternativ dazu wird aus dem zweidimensionalen korrekten Koordinatenpunkt des Lerngesichtsbilds ein dreidimensionales Gesichtsformmodell erstellt. Dann wird aus dem dreidimensionalen Gesichtsformmodell ein korrekter Modellparameter erstellt. Durch Verschieben dieses korrekten Modellparameters innerhalb eines bestimmten Bereichs um eine Zufallszahl oder Ähnliches entsteht ein verschoben angeordnetes Modell, bei dem sich mindestens einer der Knoten von der dreidimensionalen Position des Merkmalpunkts verschiebt. Dann wird ein Lernergebnis zur Korrelation mithilfe des Abtastmerkmalbetrags erfasst, der basierend auf dem versetzt angeordneten Modell und der Differenz zwischen dem versetzt angeordneten Modell und dem korrekten Model als ein Satz erfasst wurde. Im Folgenden wird eine spezifische Verarbeitung beschrieben.
In der Bildanalysevorrichtung 2 sind zunächst zwei Sätze von variablen Vektoren x und y wie in [Formel 18] definiert, x gibt den Abtastmerkmalbetrag in Bezug auf das versetzt angeordnete Modell an. y gibt die Differenz zwischen dem korrekten Modellparameter (kopt) und dem versetzt angeordneten Modellparameter an (Parameter, der das versetzt angeordnete Modell angibt: kdif).
$\begin{array}{l} x = {[x_{1}, x_{2}, \dots x_{p}]}^{T} \\ y = {[y_{1}, y_{2}, \dots y_{q}]}^{T} = k_{o p t} - k_{d i f} \end{array}$
Zwei Sätze von variablen Vektoren werden für jede Dimension auf den Mittelwert „0“ und die Varianz „1“ im Voraus normiert. Die für die Normierung verwendeten Parameter (Mittelwert und Varianz jeder Dimension) sind für die nachfolgend beschriebene Verarbeitung der Merkmalpunktermittlung erforderlich. Im Folgenden werden die Parameter als xave, xvar, yave, yave, yvar bzw. yvar bezeichnet und hier als Normierungsparameter bezeichnet.
Als nächstes werden, wenn eine lineare Transformation für zwei Variablen wie in [Formel 19] definiert ist, a und b aufgefunden, die die Korrelation zwischen u und v maximieren.
$\begin{array}{l} u = a_{1} x_{1} + \dots + a_{p} x_{p} = a^{T} x \\ v = b_{1} y_{1} + \dots + b_{q} y_{q} = b^{T} y \end{array}$
Wenn die gleichzeitige Verteilung von x und y berücksichtigt wird und die Varianz-Kovarianzmatrix Σ wie in [Formel 20] definiert ist, werden a und b als Eigenvektoren in Bezug auf die maximalen Eigenwerte zu dem Zeitpunkt der Lösung allgemeiner Eigenwertprobleme erhalten, die in [Formel 21] veranschaulicht sind.
$\sum = [\begin{matrix} \sum_{X X} & \sum_{X Y} \\ \sum_{Y X} & \sum_{Y Y} \end{matrix}]$

$\begin{array}{l} (\sum_{X Y} \sum_{Y Y}^{- 1} \sum_{Y X} - λ^{2} \sum_{X X}) A = 0 \\ (\sum_{Y X} \sum_{X X}^{- 1} \sum_{X Y} - λ^{2} \sum_{Y Y}) B = 0 \end{array}$
Von den obigen wird zunächst das Eigenwertproblem mit der niedrigeren Dimension gelöst. Wenn beispielsweise der maximale Eigenwert, der durch das Lösen des ersten Ausdrucks erhalten wird, als λ1 und der entsprechende Eigenvektor als a1 bezeichnet wird, wird ein Vektor b1 durch eine Gleichung erhalten, die in [Formel 22] ausgedrückt wird.
$b_{1} = \frac{1}{λ_{1}} \sum_{Y Y}^{- 1} \sum_{Y X} a_{1}$
Der auf diese Weise erhaltene Wert λ1 wird als erster kanonischer Korrelationskoeffizient bezeichnet. Darüber hinaus werden u1 und v1, ausgedrückt durch die [Formel 23], als erste kanonische Variablen bezeichnet.
$\begin{array}{l} u_{1} = a_{1}^{T} x \\ v_{1} = b_{1}^{T} y \end{array}$
Im Folgenden werden kanonische Variablen sequentiell basierend auf der Größe der Eigenwerte erhalten, wie beispielsweise eine zweite kanonische Variable, die dem zweitgrößten Eigenwert entspricht, und eine dritte kanonische Variable, die dem drittgrößten Eigenwert entspricht. Ein Vektor, der für die nachfolgend beschriebene Verarbeitung der Merkmalpunktermittlung verwendet wird, wird als Vektor bis zu einer M-ten kanonischen Variable mit einem Eigenwert gleich oder größer als ein bestimmter Wert (Schwellenwert) angenommen. Der Planer kann zu diesem Zeitpunkt den Schwellenwert angemessen festlegen. Im Folgenden werden Transformationsvektormatrizen bis hin zur M-ten kanonischen Variable als A', B' bezeichnet und als Fehlerermittlungsmatrizen bezeichnet. A', B' können wie in [Formel 24] ausgedrückt werden.
$\begin{array}{l} A' = [a_{1}, \dots, a_{M}] \\ B' = [b_{1}, \dots, b_{M}] \end{array}$
B' ist im Allgemeinen keine quadratische Matrix. Da jedoch bei der Verarbeitung der Merkmalpunktermittlung eine inverse Matrix erforderlich ist, wird ein Pseudo 0-Vektor zu B' hinzugefügt und als quadratische Matrix B" bezeichnet. Die quadratische Matrix B" kann wie in [Formel 25] ausgedrückt werden.
$B " = [b_{1}, \dots, b_{M}, 0, \dots, 0]$
Es wird darauf hingewiesen, dass die Fehlerermittlungsmatrix auch durch die Verwendung von Analysemethoden wie lineare Regression, lineare multiple Regression oder nichtlineare multiple Regression erhalten werden kann. Mit der kanonischen Korrelationsanalyse ist es jedoch möglich, den Einfluss einer Variablen, die einem kleinen Eigenwert entspricht, zu ignorieren. Damit ist es möglich, den Einfluss von Elementen, die keinen Einfluss auf die Fehlerabschätzung haben, zu beseitigen und eine stabilere Fehlerermittlung zu ermöglichen. Sofern ein solcher Effekt nicht erforderlich ist, ist es daher auch möglich, eine Fehlerermittlungsmatrix zu erfassen, indem anstelle der kanonischen Korrelationsanalyse das oben beschriebene andere Analyseverfahren verwendet wird. Die Fehlerermittlungsmatrix kann auch durch ein Verfahren wie die Stützvektormaschine (SVM) erhalten werden.
In der vorstehend beschriebenen Lernverarbeitung wird für jedes Lerngesichtsbild nur ein versetzt angeordnetes Modell erstellt, es können jedoch auch mehrere versetzt angeordnete Modelle erstellt werden. Dies wird erreicht, indem die Verarbeitung in den Schritten S03 bis S07 am Lembild mehrmals (z. B. 10 bis 100 Mal) wiederholt wird. Die obige Lernverarbeitung ist im Japanischen Patent Nr. 4093273 ausführlich beschrieben.
Ermittlung des Zustands des Gesichts des Fahrers
Wenn die obige Lernverarbeitung beendet ist, führt die Bildanalysevorrichtung 2 eine Verarbeitung zu dem Erfassen des Zustands des Gesichts des Fahrers unter Verwendung des Gesichtsreferenztemplates und des durch die Lernverarbeitung erhaltenen dreidimensionalen Gesichtsformmodells wie folgt durch. In diesem Beispiel werden die Position mehrerer Merkmalpunkte, die jedem Organ des Gesichts entsprechen, die Ausrichtung des Gesichts und die Sichtlinienrichtung als der Zustand des Gesichts erfasst.
5 und 6 sind Flussdiagramme, die ein Beispiel für einen Verarbeitungsprozess und Verarbeitungsinhalte veranschaulichen, die von der Steuereinheit 11 ausgeführt werden, um den Zustand des Gesichts zu erfassen.
Erfassung der Bilddaten einschließlich des Gesichts des Fahrers
So wird beispielsweise von der Kamera 1 ein Bild des fahrenden Fahrers von vom aufgenommen und das daraus resultierende Bildsignal wird von der Kamera 1 an die Bildanalysevorrichtung 2 gesendet. Die Bildanalysevorrichtung 2 empfängt das Bildsignal mit der Kameraschnittstelle 13 und wandelt das Bildsignal in Bilddaten um, die aus einem digitalen Signal für jedes Einzelbild bestehen.
Gesteuert von dem Bilderfassungssteuergerät 111 nimmt die Bildanalysevorrichtung 2 die Bilddaten für jedes Einzelbild auf und speichert die Bilddaten sequentiell in der Bildspeichereinheit 121 des Datenspeichers 12. Die Einzelbildperiode der im Bildspeicher 121 gespeicherten Bilddaten kann beliebig eingestellt werden.
Gesichtsermittlung (außer bei Nachverfolgung)
Ermittlung des Gesichtsbereichs
Dann setzt die Bildanalysevorrichtung 2, gesteuert von dem Gesichtsbereichdetektor 112 in dem Schritt S20 eine Einzelbildnummer n auf 1 und liest dann in dem Schritt S21 ein erstes Einzelbild der Bilddaten aus dem Bildspeicher 121 aus. Dann wird gesteuert von dem Gesichtsbereichdetektor 112 in dem Schritt S22 unter Verwendung des vorab in der Templatespeichereinheit 122 gespeicherten Gesichtsreferenztemplates aus den gelesenen Bilddaten ein Bildbereich, der das Gesicht des Fahrers zeigt, ermittelt und der Gesichtsbildbereich wird mit dem rechteckigen Rahmen extrahiert.
veranschaulicht ein Beispiel für den Gesichtsbildbereich, der durch die Verarbeitung zur Ermittlung des Gesichtsbereichs extrahiert wurde, und das Symbol FC bezeichnet das Gesicht des Fahrers.
Suchverarbeitung
Anschließend schätzt die Bildanalysevorrichtung 2, gesteuert durch die Sucheinheit 113, in dem Schritt S22 die Positionen mehrerer Merkmalpunkte, die für die Organe des zu ermittelnden Gesichts festgelegt sind, wie etwa Augen, Nase, Mund und Wangenknochen, aus dem Gesichtsbildbereich, der durch den Gesichtsbereichdetektor 112 mit dem rechteckigen Rahmen unter Verwendung des dreidimensionalen Gesichtsformmodells, das durch die vorherige Lernverarbeitung erzeugt wurde, extrahiert wird.
Im Folgenden wird ein Beispiel für die Verarbeitung der Abschätzung der Position des Merkmalpunkts unter Verwendung des dreidimensionalen Gesichtsformmodells beschrieben. 7 ist ein Flussdiagramm eines Beispiels für den Verarbeitungsablauf für Verarbeitungsinhalte.
In dem Schritt S60 liest die Sucheinheit 113 zunächst die Koordinaten des mit dem rechteckigen Rahmen unter Steuerung des Gesichtsbereichdetektor 112 extrahierten Gesichtsbildbereichs aus der Bildspeichereinheit 121 des Datenspeichers 12. Dann wird in dem Schritt S61 ein dreidimensionales Gesichtsformmodell basierend auf einem Ausgangsparameter kinit in der Ausgangsposition des Gesichtsbildbereichs angeordnet. Dann wird in dem Schritt S62 eine Variable i definiert, „1“ wird in diese Variable substituiert, ki wird definiert und der Ausgangsparameter kinit wird darin substituiert.
Wenn beispielsweise der Merkmalbetrag zum ersten Mal aus dem mit dem rechteckigen Rahmen extrahierten Gesichtsbildbereich erfasst wird, bestimmt die Sucheinheit 113 zunächst eine dreidimensionale Position jedes Merkmalpunkts im dreidimensionalen Gesichtsformmodell und erfasst einen Parameter (Ausgangsparameter) kinit dieses dreidimensionalen Gesichtsformmodells. Dieses dreidimensionale Gesichtsformmodell ist beispielsweise so angeordnet, dass es in einer Form gebildet wird, bei der eine begrenzte Anzahl von Merkmalpunkten, die sich auf Organe (Knoten) beziehen, wie etwa Augen, Nase, Mund und Wangenknochen, die im dreidimensionalen Gesichtsformmodell festgelegt sind, an vorbestimmten Positionen von einem beliebigen Eckpunkt (z. B. einer oberen linken Ecke) des rechteckigen Rahmens aus platziert werden. Es wird darauf hingewiesen, dass das dreidimensionale Gesichtsformmodell eine solche Form aufweisen kann, bei der die Mitte des Modells und die Mitte des mit dem rechteckigen Rahmen extrahierten Gesichtsbildbereichs übereinstimmen.
Der Ausgangsparameter kinit ist ein Modellparameter, der durch einen Ausgangswert unter den Modellparametern k, ausgedrückt durch [Formel 9], repräsentiert wird. Für den Ausgangsparameter kinit kann ein geeigneter Wert eingestellt werden. Durch Einstellen eines Durchschnittswerts, der aus einem allgemeinen Gesichtsbild gewonnen wird, auf den Ausgangsparameter kinit ist es jedoch möglich, mit verschiedenen Gesichtsausrichtungen, Änderungen im Gesichtsausdruck und dergleichen umzugehen. So kann beispielsweise für die Ähnlichkeitstransformationsparameter sx, sy, sz, sθ, sφ, sψ der Mittelwert der korrekten Modellparameter des in der Lernverarbeitung verwendeten Gesichtsbilds verwendet werden. Weiterhin kann beispielsweise der Formparameter b auf Null gesetzt werden. Wenn mit dem Gesichtsbereichdetektor 112 Informationen über die Gesichtsausrichtung gewonnen werden können, können die Ausgangsparameter unter Verwendung dieser Informationen eingestellt werden. Andere, von dem Planer empirisch erhaltene Werte können als Ausgangsparameter verwendet werden.
Anschließend projiziert die Sucheinheit 113 in dem Schritt S63 das durch ki repräsentierte dreidimensionale Gesichtsformmodell auf den zu verarbeitenden Gesichtsbildbereich. Anschließend wird in dem Schritt S64 das Abtasten basierend auf der Retina-Struktur unter Verwendung des projizierten Gesichtsformmodells durchgeführt, um den Abtastmerkmalbetrag f zu erfassen. Anschließend wird in dem Schritt S65 die Verarbeitung der Fehlerermittlung unter Verwendung des Abtastmerkmalbetrags f durchgeführt. Zu dem Zeitpunkt des Abtastens ist es nicht immer notwendig, die Retina-Struktur zu verwenden.
Andererseits erfasst ab dem zweiten Mal des Erfassens des Abtastmerkmalbetrags für den durch den Gesichtsflächendetektor 112 extrahierten Gesichtsbildbereich, die Sucheinheit 113 den Abtastmerkmalbetrag f für das Gesichtsformmodell, das durch einen neuen Modellparameter k repräsentiert wird, der durch die Fehlerermittlungsbearbeitung erhalten wurde (d. h. einen erfassten Wert ki+1 des korrekten Modellparameters). Auch in diesem Fall wird in dem Schritt S65 die Verarbeitung der Fehlerermittlung unter Verwendung des erhaltenen Abtastmerkmalbetrags f durchgeführt.
In der Fehlerermittlungsverarbeitung wird basierend auf dem erfassten Abtastmerkmalbetrag f, der in der Templatespeichereinheit 122 gespeicherten Fehlerermittlungsmatrix, dem Normierungsparameter und Ähnlichem ein Ermittlungsfehler kerr zwischen dem dreidimensionalen Gesichtsformmodell ki und dem korrekten Modellparameter berechnet. Basierend auf dem Ermittlungsfehler kerr wird in dem Schritt S66 der Ermittlungswert ki+1 des korrekten Modellparameters berechnet. Ferner wird Δk als Differenz zwischen ki+1 und ki in dem Schritt S67 und E als Quadrat von Δk in dem Schritt S68 berechnet.
Ferner wird in der Fehlerermittlungsbearbeitung das Ende der Suchverarbeitung ermittelt. Die Verarbeitung des Ermittelns des Fehlerbetrags wird durchgeführt, wobei ein neuer Modellparameter k erfasst wird. Im Folgenden wird ein spezifisches Verarbeitungsbeispiel der Fehlerermittlungsverarbeitung beschrieben.
Zunächst wird unter Verwendung des Normierungsparameters (xave, xvar) der erfasste Abtastmerkmalbetrag f normiert und ein Vektor x zur Durchführung einer kanonischen Korrelationsanalyse erhalten. Dann werden die ersten bis M-ten kanonischen Variablen basierend auf einer in [Formel 26] ausgedrückten Gleichung berechnet, und dadurch wird eine Variable u erhalten.
$u = {[u_{1}, \dots, u_{M}]}^{T} = A'^{T} x$
Als nächstes wird ein normierter Fehlerermittlungsbetrag y unter Verwendung einer in [Formel 27] ausgedrückten Gleichung berechnet. In [Formel 27] gilt, wenn B' keine quadratische Matrix ist, ist B'^T-1 eine pseudoinverse Matrix von B'.
$y = B^{n T^{- 1}} u'$
Anschließend wird die Wiederherstellungsverarbeitung mit dem Normierungsparameter (yave, yvar) für den berechneten normierten Fehlerermittlungbetrag y durchgeführt, wodurch ein Fehlerermittlungsbetrag kerr erhalten wird. Der Fehlerermittlungsbetrag kerr ist ein Fehlerermittlungsbetrag von dem aktuellen Gesichtsformmodellparameter ki bis zu dem korrekten Modellparameter kopt.
Daher kann der ermittelte Wert ki+1 des korrekten Modellparameters durch Hinzufügen des Fehlerermittlungsbetrags kerr zu dem aktuellen Modellparameter ki erhalten werden. Es besteht jedoch die Möglichkeit, dass kerr einen Fehler enthält. Aus diesem Grund wird zur Durchführung einer stabileren Ermittlung ein ermittelter Wert ki+1 des korrekten Modellparameters durch eine Gleichung der Formel [Formel 28] erhalten. In [Formel 28] ist σ ein geeigneter Fixwert und kann von dem Planer auf geeignete Weise bestimmt werden. Darüber hinaus kann sich σ beispielsweise in Übereinstimmung mit der Änderung von i ändern.
$k_{i + 1} = k_{i} + \frac{k_{e r r}}{σ}$
Bei der Fehlerermittlungsverarbeitung ist es vorzuziehen, die Abtastverarbeitung des Merkmalbetrags und die Fehlerermittlungsverarbeitung wiederholt durchzuführen, damit sich der erfasste Wert ki des korrekten Modellparameters dem korrekten Parameter nähert. Wenn diese wiederholte Verarbeitung durchgeführt wird, wird bei jedem Erhalten des ermittelten Wertes ki eine Endbestimmung durchgeführt.
Bei der Endbestimmung wird in dem Schritt S69 zunächst bestimmt, ob der erhaltene Wert von ki+1 innerhalb des Normalbereichs liegt oder nicht. Als Ergebnis dieser Bestimmung, wenn der Wert von ki + 1 nicht im Normalbereich liegt, beendet die Bildanalysevorrichtung 2 die Suchverarbeitung.
Im Gegensatz dazu wird angenommen, dass der Wert von ki+1 als Ergebnis der Bestimmung in dem Schritt S69 im Normalbereich liegt. In diesem Fall wird in dem Schritt S70 bestimmt, ob der in dem Schritt S68 berechnete Wert von E einen Schwellenwert ε überschreitet oder nicht. Wenn E den Schwellenwert ε nicht überschreitet, wird bestimmt, dass die Verarbeitung konvergiert ist und in dem Schritt S73 wird kest ausgegeben. Nach der Ausgabe von kest beendet die Bildanalysevorrichtung 2 die Ermittlungsverarbeitung für den Gesichtszustand basierend auf dem ersten Einzelbild der Bilddaten.
Andererseits wird, wenn E den Schwellenwert ε überschreitet, die Verarbeitung zur Erstellung eines neuen dreidimensionalen Gesichtsformmodells basierend auf dem Wert von ki+1 in dem Schritt S71 durchgeführt. Danach wird der Wert von i in dem Schritt S72 erhöht, und die Verarbeitung kehrt zu dem Schritt S63 zurück. Dann werden die Bilddaten des nächsten Einzelbilds als Verarbeitungszielbild übernommen und eine Verarbeitungsreihe ab Schritt S63 wird basierend auf dem neuen dreidimensionalen Gesichtsformmodell wiederholt ausgeführt.
Überschreitet beispielsweise der Wert von i den Schwellenwert, wird die Verarbeitung beendet. Ferner kann die Verarbeitung auch dann beendet werden, wenn beispielsweise der durch [Formel 29] ausgedrückte Wert für Δk gleich dem oder kleiner als der Schwellenwert ist. In der Fehlerermittlungsverarbeitung kann die Endbestimmung basierend darauf durchgeführt werden, ob der erfasste Wert von ki+1 innerhalb des Normalbereichs liegt oder nicht. Wenn beispielsweise der erfasste Wert von ki+1 nicht eindeutig die richtige Position im Bild des menschlichen Gesichts anzeigt, wird die Verarbeitung beendet. Ferner wird die Verarbeitung selbst dann beendet, wenn ein Teil des Knotens, der durch das erfasste ki+1 repräsentiert wird, aus dem zu verarbeitenden Bild herausragt.
$Δ k = k_{i + 1} - k_{i}$
Bei der Fehlerermittlungsverarbeitung wird, wenn bestimmt wird, dass die Verarbeitung fortgesetzt werden soll, der erfasste Wert ki+1 des erfassten korrekten Modellparameters an die Merkmalbetragsabtastverarbeitung übergeben. Andererseits wird, wenn bestimmt wird, dass die Verarbeitung beendet werden soll, der erfasste Wert ki (oder möglicherweise ki+1) des zu diesem Zeitpunkt erhaltenen korrekten Modellparameters als letzter erfasster Parameter kest in Schritt S73 ausgegeben.
9 veranschaulicht ein Beispiel für die von der obigen Suchverarbeitung erfassten Merkmalpunkte, und das Symbol PT bezeichnet die Positionen der Merkmalpunkte.
Tatsächlich ist die oben beschriebene Verarbeitung zu der Suche nach Merkmalpunkten eines Gesichts im japanischen Patent Nr. 4093273 ausführlich beschrieben.
Darüber hinaus erfasst die Sucheinheit 113 die Ausrichtung des Gesichts des Fahrers basierend auf den Positionskoordinaten jedes der erfassten Merkmalpunkte und welcher Gesichtsausrichtung das dreidimensionale Gesichtsformmodell, das zu dem Zeitpunkt der Erfassung der obigen Positionskoordinaten verwendet wird, beim Erstellen entspricht.
Ferner spezifiziert die Sucheinheit 113 ein Bild des Auges im Gesichtsbildbereich basierend auf der Position des erfassten Merkmalpunkts und erfasst aus diesem Bild des Auges den hellen Fleck und die Pupille aufgrund der Hornhautreflexion des Augapfels. Die Sichtlinienrichtung wird aus einem Positionsverschiebungsbetrag der Positionskoordinaten der Pupille in Bezug auf die Position des erfassten hellen Flecks durch die Hornhautreflexion des Augapfels und einem Abstand D von der Kamera 1 zur Position des hellen Flecks durch die Hornhautreflexion des Augapfels berechnet.
Ermittlung der Zuverlässigkeit des durch die Sucheinheit 113 erhaltenen Schätzergebnisses.
Wenn die Positionen der mehreren zu ermittelnden Merkmalpunkte durch die obige Suchverarbeitung aus dem Gesichtsbildbereich erfasst worden sind, berechnet die Bildanalysevorrichtung 2 anschließend unter Steuerung des Zuverlässigkeitsdetektors 115 die Zuverlässigkeit a(n) (n ist eine Einzelbildnummer und in diesem Fall n=1) bezüglich der Position jedes Merkmalpunkts, der durch die Sucheinheit 113 in dem Schritt S23 abgeschätzt wird. Die Zuverlässigkeit a(n) kann beispielsweise berechnet werden, indem ein Merkmal eines im Voraus gespeicherten Gesichtsbilds mit dem Merkmal des von der Sucheinheit 113 erfassten Gesichtsbildbereichs verglichen wird, um eine Wahrscheinlichkeit zu erhalten, dass das Bild des erfassten Gesichtsbereichs das Bild des Subjekts ist.
Einstellung des Nachverfolgungsmodus
Anschließend bestimmt die Bildanalysevorrichtung 2, ob in dem Schritt S24 unter Steuerung des Suchsteuergeräts 116 eine Nachverfolgung durchgeführt wird oder nicht. Diese Bestimmung basiert darauf, ob das Nachverfolgungsflag auf EIN gesetzt ist oder nicht. Da der Nachverfolgungsmodus nicht eingestellt ist, fährt das Suchsteuergerät 116 im aktuellen ersten Einzelbild mit dem in 6 veranschaulichten Schritt S30 fort. Anschließend wird die von dem Zuverlässigkeitsdetektor 115 berechnete Zuverlässigkeit a(n) mit einem Schwellenwert verglichen. Dieser Schwellenwert wird vorab auf einen geeigneten Wert gesetzt.
Als ein Ergebnis des Vergleichs bestimmt, wenn die Zuverlässigkeit a(n) den Schwellenwert überschreitet, das Suchsteuergerät 116, dass das Bild des Gesichts des Fahrers zuverlässig ermittelt werden kann, und fährt mit dem Schritt S31 fort und setzt den Nachverfolgungsflag auf EIN, während die Koordinaten des von dem Gesichtsbereichdetektor 112 erfassten Gesichtsbildbereichs in der Nachverfolgungsinformationsspeichereinheit 124 gespeichert werden. Dies bedeutet, der Nachverfolgungsmodus ist eingestellt.
Als Ergebnis des Vergleichs in dem Schritt S30 oben wird, wenn die Zuverlässigkeit a(n) des detaillierten Suchergebnisses gleich dem oder kleiner als der Schwellenwert ist, bestimmt, dass das Gesicht des Fahrers im ersten Einzelbild nicht mit guter Qualität ermittelt werden konnte, und die Ermittlungsverarbeitung für den Gesichtsbildbereich wird in dem Schritt S43 fortgesetzt. Das heißt, nach dem Inkrementieren der Einzelbildnummer n in dem Schritt S31 kehrt die Bildanalysevorrichtung 2 zu dem Schritt S20 in 5 zurück und führt eine Reihe von Gesichtsermittlungsverarbeitungen am nachfolgenden zweiten Einzelbild durch die oben beschriebenen Schritte S20 bis S24 und die in 6 veranschaulichten Schritte S30 bis S32 durch.
Ermittlung des Gesichtszustands (während der Nachverfolgungsmodus eingestellt ist)
Ermittlung des Gesichtsbereichs
Wenn der Nachverfolgungsmodus eingestellt ist, führt die Bildanalysevorrichtung 2 die Ermittlungsverarbeitung für den Gesichtszustand wie folgt durch. Das heißt, unter Steuerung des Gesichtsflächendetektors 112, in dem Schritt S22, nimmt die Bildanalysevorrichtung 2 zu dem Zeitpunkt des Ermittelns des Gesichtsbereichs des Fahrers aus dem nächsten Einzelbild der Bilddaten die Koordinaten des im vorherigen Einzelbild ermittelten Gesichtsbildbereichs als Referenzposition und extrahiert ein in dem Bereich enthaltenes Bild mit dem rechteckigen Rahmen gemäß den von der Suchsteuerung 116 mitgeteilten Nachverfolgungsinformationen. In diesem Fall kann das Bild nur anhand der Referenzposition extrahiert werden, aber das Bild kann auch anhand jedem einer Vielzahl von Umgebungsbereichen extrahiert werden, die um vorgegebene Stückchen aus der Referenzposition nach oben, unten, links und rechts verschoben sind.
Berechnung der Zuverlässigkeit des Suchergebnisses
Anschließend sucht die Bildanalysevorrichtung 2 unter Steuerung der Sucheinheit 113 in dem Schritt S22 die Position des Merkmalpunkts des zu ermittelnden Gesichts aus dem extrahierten Gesichtsbildbereich. Die hier durchgeführte Suchverarbeitung ist die gleiche wie die Suchverarbeitung, die im ersten Einzelbild zuvor durchgeführt wurde. Dann berechnet die Bildanalysevorrichtung 2 unter Steuerung des Zuverlässigkeitsdetektors 115 in dem Schritt S23 die Zuverlässigkeit a(n) des obigen Suchergebnisses (z. B. n=2, wenn die Gesichtsermittlung für das zweite Einzelbild durchgeführt wird).
Fortsetzung des Nachverfolgungsmodus
Anschließend bestimmt die Bildanalysevorrichtung 2 unter Steuerung des Suchsteuergeräts 116 in dem Schritt S24, ob der Nachverfolgungsmodus basierend auf dem Nachverfolgungsflag eingestellt wird oder nicht. Da der Nachverfolgungsmodus gegenwärtig eingestellt ist, fährt das Suchsteuergerät 116 mit dem Schritt S25 fort. In dem Schritt S25 bestimmt das Suchsteuergerät 116, ob der Zustand der Änderung des Abschätzungsergebnisses in dem gegenwärtigen Einzelbild n in Bezug auf das Abschätzungsergebnis im vorherigen Einzelbild n-1 eine vorgegebene Bestimmungsbedingung erfüllt.
Das heißt, in diesem Beispiel wird bestimmt, ob die Höhe der Änderung des Schätzergebnisses im gegenwärtigen Einzelbild n in Bezug auf das Schätzergebnis im vorherigen Einzelbild n-1 den folgenden Anforderungen genügt oder nicht:

(a) Umfang der Änderung der Positionskoordinaten des Merkmalpunkts des Gesichts liegt in einem vorgegebenen Bereich;
(b) Umfang der Änderung der Ausrichtung des Gesichts liegt in einem vorgegebenen Winkelbereich; und
(c) Umfang der Änderung der Sichtlinienrichtung liegt in einem vorgegebenen Bereich.

Wenn bestimmt wird, dass der Umfang der Änderung des Schätzergebnisses im aktuellen Einzelbild n in Bezug auf das Schätzergebnis im vorherigen Einzelbild n-1 alle drei Arten von Bestimmungsbedingungen (a) bis (c) erfüllt, dann nimmt das Suchsteuergerät 116 an, dass der Umfang der Änderung im Schätzergebnis in einem zulässigen Bereich liegt und fährt mit dem Schritt S26 fort. In dem Schritt S26 speichert das Suchsteuergerät 116 die Positionskoordinaten des im gegenwärtigen Einzelbild erfassten Gesichtsbildbereichs als Nachverfolgungsinformationen in der Nachverfolgungsinformationsspeichereinheit 124. Dies bedeutet, die Nachverfolgungsinformationen werden aktualisiert. Anschließend wird die Gesichtsermittlungsverarbeitung während der Einstellung des Nachverfolgungsmodus für die nachfolgenden Bilder weiterhin durchgeführt.
Demnach stellt das Suchsteuergerät 116 kontinuierlich die gespeicherten Positionskoordinaten des Gesichtsbildbereichs für den Gesichtsbereichdetektor 112 bereit und der Gesichtsbereichdetektor 112 nutzt den bereitgestellten Gesichtsbildbereich als die Referenzposition zu dem Ermitteln des Gesichtsbereichs im darauffolgenden Einzelbild. Daher werden bei der Ermittlungsverarbeitung für den Gesichtsbereich in dem nachfolgenden Einzelbild die Nachverfolgungsinformationen als Referenzposition verwendet.
10 veranschaulicht ein Beispiel für den Fall, dass dieser Nachverfolgungsmodus fortgesetzt wird, und veranschaulicht einen Fall, in dem ein Teil des Gesichts des Fahrers FC vorübergehend von der Hand HD verdeckt wird. Ein weiteres Beispiel für den Fall, in dem der Nachverfolgungsmodus fortgesetzt wird, ist ein Fall, in dem ein Teil des Gesichts FC vorübergehend durch das Haar verdeckt ist, oder ein Fall, in dem ein Teil des Gesichts aufgrund einer Änderung der Haltung des Fahrers vorübergehend außerhalb des nachverfolgten Gesichtsbildbereichs liegt.
Abbruch des Nachverfolgungsmodus
Im Gegensatz dazu wird in dem Schritt S25 oben, wenn bestimmt wird, dass der Umfang der Änderung des Schätzergebnisses im aktuellen Einzelbild n in Bezug auf das Schätzergebnis im vorherigen Einzelbild n-1 nicht alle drei Arten von Bestimmungsbedingungen (a) bis (c) erfüllt, bestimmt, dass der Umfang der Änderung im Schätzergebnis den zulässigen Bereich überschreitet. In diesem Fall setzt das Suchsteuergerät 116 in dem Schritt S27 den Nachverfolgungsflag auf AUS zurück und löscht die in der Nachverfolgungsinformationsspeichereinheit 124 gespeicherten Nachverfolgungsinformationen. Somit führt der Gesichtsbereichdetektor 112 im nachfolgenden Einzelbild die Verarbeitung des Ermittelns des Gesichtsbereichs aus dem Ausgangszustand ohne Verwendung der Nachverfolgungsinformationen durch.
(Effekt)
Wie zuvor im Detail beschrieben bestimmt in der Ausführungsform in einem Zustand, in dem der Nachverfolgungsflag auf EIN gesetzt ist das Suchsteuergerät 6 in Bezug auf ein vorheriges Einzelbild, ob der Umfang von Änderung in Bezug auf die Positionskoordinaten des Merkmalpunkts des Gesichts im gegenwärtigen Einzelbild im vorgegebenen Bereich liegt, ob der Umfang von Änderung in Bezug auf die Gesichtsausrichtung im vorgegebenen Winkelbereich liegt und ob der Umfang von Änderung in Bezug auf die Sichtlinienrichtung im vorgegebenen Bereich liegt. Dann wird, wenn die Bedingungen bei all diesen Bestimmungen erfüllt sind, die Änderung im Abschätzungsergebnis im gegenwärtigen Einzelbild in Bezug auf den vorhergehenden Einzelbild als in einem zulässigen Bereich liegend erachtet und die Verarbeitung der Abschätzung der Abschätzungsergebnisse der Position des Merkmalpunkts, der Gesichtsausrichtung und der Sichtlinienrichtung, die den Zustand des Gesichts veranschaulichen, wird im darauffolgenden Einzelbild kontinuierlich in Bezug auf den Gesichtsbildbereich ausgeführt, der in der Nachverfolgungsinformationsspeichereinheit 7 gespeichert ist.
Aus diesem Grund wird, selbst wenn ein Teil des Gesichts des Fahrers vorübergehend durch die Hand oder das Haar oder Ähnliches verdeckt ist oder ein Teil des Gesichts bei einer Körperbewegung des Fahrers vorübergehend außerhalb der Referenzposition des Gesichtsbildbereichs liegt, der Nachverfolgungsmodus beibehalten und im darauffolgenden Einzelbild wird die Ermittlungsverarbeitung für das Gesichtsbild kontinuierlich ausgeführt, indem die in der Nachverfolgungsinformationsspeichereinheit 7 gespeicherten Koordinaten des Gesichtsbildbereichs als die Referenzposition genommen werden. Damit ist es möglich, die Stabilität der Ermittlungsverarbeitung für die Merkmalpunkte des Gesichts zu erhöhen.
[Modifizierte Beispiele]
(1) In der Ausführungsform gilt, wenn die Änderungen der Schätzungsergebnissein das aktuelle Einzelbild in Bezug auf das vorherige Einzelbild alle folgenden Bedingungen erfüllen:

(a) Umfang der Änderung der Koordinaten der Merkmalpunkte des Gesichts liegt in einem vorgegebenen Bereich;
(b) Umfang der Änderung der Ausrichtung des Gesichts liegt in einem vorgegebenen Winkelbereich; und
(c) Umfang der Änderung der Sichtlinienrichtung liegt in einem vorgegebenen Bereich,

Die vorliegende Erfindung ist jedoch nicht darauf beschränkt, sondern der Nachverfolgungsmodus wird beibehalten, wenn eine oder zwei der obigen Bestimmungsbedingungen (a), (b) und (c) erfüllt sind. In diesem Fall kann nur das Schätzergebnis, das der zufriedenstellenden Bestimmungsbedingung entspricht, als gültig angesehen werden und an die externe Vorrichtung ausgegeben werden können, und die anderen Schätzergebnisse können als ungültig angesehen und nicht an die externe Vorrichtung ausgegeben werden.
(2) In der Ausführungsform wird der Nachverfolgungsmodus beibehalten, sobald der Modus in den Nachverfolgungsmodus wechselt, es sei denn, die Zuverlässigkeit des Schätzergebnisses des Gesichts ändert sich erheblich. Es besteht jedoch die Befürchtung, dass, wenn die Vorrichtung fälschlicherweise ein Standbild, wie beispielsweise ein Gesichtsbild eines Posters oder ein Muster eines Blattes, ermittelt, der Nachverfolgungsmodus dauerhaft daran gehindert werden kann, abgebrochen zu werden. Wenn also beispielsweise der Nachverfolgungsmodus auch nach Ablauf einer Zeitspanne fortgesetzt wird, die einer bestimmten Anzahl von Einzelbildern seit dem Umschalten in den Nachverfolgungsmodus entspricht, wird der Nachverfolgungsmodus nach Ablauf der oben genannten Zeit erzwungen beendet. Auf diese Weise ist es auch bei der Nachverfolgung eines fehlerhaften Objekts möglich, diesen fehlerhaften Nachverfolgungsmodus zuverlässig zu verlassen.
(3) In der Ausführungsform wurde die Beschreibung am Beispiel des Falles gegeben, bei dem die Positionen mehrerer Merkmalpunkte gemäß mehrerer Organe des Gesichts des Fahrers aus den Eingangsbilddaten abgeschätzt werden. Das zu ermittelnde Objekt ist jedoch nicht darauf beschränkt und kann jedes beliebige Objekt sein, sofern es die Einstellung eines Formmodells ermöglicht. So kann beispielsweise das zu ermittelnde Objekt ein Ganzkörperbild, ein Organbild, das durch eine tomographische Abbildungsvorrichtung wie etwa Computertomographie (CT) erhalten wird, oder etwas Ähnliches sein. Mit anderen Worten, die vorliegende Technologie kann auf ein Objekt mit individuellen Größenunterschieden und ein zu ermittelndes Objekt angewendet werden, das verformt ist, ohne dass die Grundform verändert ist. Darüber hinaus kann selbst bei einem zu ermittelnden starren Objekt, das sich nicht verformt, wie zum Beispiel ein Industrieprodukt, wie etwa ein Fahrzeug, ein elektrisches Produkt, ein elektronisches Gerät oder eine Leiterplatte, die vorliegende Technologie angewendet werden, da ein Formmodell eingestellt werden kann.
(4) In der Ausführungsform wurde die Beschreibung am Beispiel des Falles gegeben, bei dem der Gesichtszustand für jedes Einzelbild der Bilddaten ermittelt wird, aber es ist auch möglich, den Gesichtszustand je voreingestellte Mehrzahl Einzelbilder zu ermitteln. Darüber hinaus kann die Konfiguration der Bildanalysevorrichtung, das Verfahren und der Verarbeitungsinhalt der Suchverarbeitung des Merkmalpunkts des zu ermittelnden Objekts, die Form und Größe des Extraktionsrahmens und dergleichen unterschiedlich verändert werden, ohne von dem Kern der vorliegenden Erfindung abzuweichen.
(5) In der Ausführungsform wurde die Beschreibung am Beispiel des Falles gegeben, bei dem die Sucheinheit, nachdem der Bildbereich, in dem das Gesicht existiert, aus den Bilddaten im Gesichtsbereichdetektor ermittelt wurde, eine Suche nach einem Merkmalpunkt und Ähnlichem im ermittelten Gesichtsbildbereich durchführt, um eine Änderung der Positionskoordinaten des Merkmalpunkts, eine Änderung der Gesichtsausrichtung und eine Änderung der Sichtlinienrichtung zu ermitteln. Allerdings ist die vorliegende Erfindung nicht hierauf beschränkt. In dem Schritt des Ermittelns des Bildbereichs, in dem das Gesicht existiert, aus den Bilddaten im Gesichtsbereichdetektor, kann bei Verwendung eines Suchverfahrens zu dem Schätzen der Position des Merkmalpunkts des Gesichts unter Verwendung beispielsweise eines dreidimensionalen Gesichtsformmodells oder dergleichen die Höhe der Änderung zwischen Einzelbildern in den Positionskoordinaten des in dem Schritt des Ermitteins des Gesichtsbereichs ermittelten Merkmalpunkts ermittelt werden. Der Nachverfolgungsstatus kann durch Bestimmen, ob der Nachverfolgungsstatus beibehalten werden soll oder nicht, basierend auf dem Umfang der Änderung zwischen Einzelbildern in den Positionskoordinaten des Merkmalpunkts, der in dem Schritt zu dem Ermitteln des Gesichtsbereichs ermittelt wird, gesteuert werden.
Wenngleich die erfindungsgemäßen Ausführungsformen vorstehend ausführlich beschrieben worden sind, ist die vorstehende Beschreibung in jeder Hinsicht lediglich ein Beispiel für die vorliegende Erfindung. Es versteht sich von selbst, dass verschiedene Verbesserungen und Modifikationen vorgenommen werden können, ohne von dem Umfang der vorliegenden Erfindung abzuweichen. Das heißt, beim Ausführen der vorliegenden Erfindung kann gegebenenfalls ein spezifisches Einrichten entsprechend der Ausführungsform angenommen werden.
Kurzgesagt ist die vorliegende Erfindung nicht auf die obige Ausführungsform beschränkt und Strukturelemente können in der Umsetzungsphase modifiziert und verkörpert werden, ohne von ihrem Kern abzuweichen. Darüber hinaus können verschiedene Erfindungen ausgebildet werden, indem mehrere Bestandselemente, die in der obigen Ausführungsform offenbart sind, angemessen kombiniert werden. So können beispielsweise aus allen in der Ausführungsform veranschaulichten Komponentenelementen einige Komponentenelemente gelöscht werden. Darüber hinaus können konstituierende Elemente über verschiedene Ausführungsformen hinweg nach Bedarf kombiniert werden.
[Anhang]
Ein Teil oder die Gesamtheit aller obigen Ausführungsformen kann wie in der angehängten nachfolgenden Beschreibung zusätzlich zu den Patentansprüchen beschrieben werden, ist aber nicht darauf beschränkt.
(Anhang 1)
Eine Bildanalysevorrichtung, die einen Hardware-Prozessor (11A) und einen Speicher (11B) enthält, wobei die Bildanalysevorrichtung eingerichtet ist, Folgendes mit dem Hardware-Prozessor (11A) auszuführen, der ein in dem Speicher (11B) gespeichertes Programm ausführt:

Ausführen des Verarbeitens des Ermittelns eines Bildbereichs, der ein zu ermittelndes Objekt enthält, in Einheiten von Einzelbildern von einem in Zeitreihenfolge eingegebenen Bild (4a), und Abschätzen eines Zustands des zu ermittelnden Objekts auf der Grundlage des ermittelten Bildbereichs (4b);
Ermitteln einer Zuverlässigkeit, welche die Wahrscheinlichkeit des abgeschätzten Zustands des zu ermittelnden Objekts angibt (5); und
Steuern des durch die Sucheinheit ausgeführten Verarbeitens auf der Grundlage der ermittelten Zuverlässigkeit (6),
wobei die Bildanalysevorrichtung eingerichtet ist, Folgendes auszuführen:
- Bestimmen, ob die ermittelte Zuverlässigkeit in einem ersten Einzelbild des Bildes eine vorgegebene erste Zuverlässigkeitsbedingung erfüllt (6),
- Speichern, in einem Speicher (7), einer Position des in dem ersten Einzelbild ermittelten Bildbereichs und Steuern der Sucheinheit derart, dass Abschätzung des Zustands des zu ermittelnden Objekts in einem zweiten Einzelbild, das dem ersten Einzelbild nachfolgt, ausgeführt wird, wobei die gespeicherte Position des Bildbereichs als eine Referenz genommen wird, wenn bestimmt wird, dass die in dem ersten Einzelbild ermittelte Zuverlässigkeit die Zuverlässigkeitsbedingung in dem ersten Einzelbild erfüllt (6),
- Bestimmen, ob eine Änderung am abgeschätzten Zustand des zu ermittelnden Objekts in dem zweiten Einzelbild im Vergleich zu dem ersten Einzelbild eine vorgegebene Bestimmungsbedingung erfüllt (6),
- Steuern des Ermittelns des Bildbereichs, der das zu ermittelnde Objekt enthält und Abschätzen des Zustands des zu ermittelnden Objekts derart, dass Abschätzungsverarbeitung für den Zustand des zu ermittelnden Objekts in einem dritten Einzelbild, das dem zweiten Einzelbild nachfolgt, ausgeführt wird, wobei die gespeicherte Position des Bildbereichs als eine Referenz genommen wird, wenn bestimmt wird, dass die Änderung des Zustands des zu ermittelnden Objekts von dem ersten Einzelbild die Bestimmungsbedingung erfüllt (6); und
- Löschen der Position des in dem Speicher gespeicherten Bildbereichs und Steuern der Ermittlung des Bildbereichs, der das zu ermittelnde Objekt enthält und Abschätzen des Zustands des zu ermittelnden Objekts derart, dass das durch die Sucheinheit ausgeführte Verarbeiten im dritten Einzelbild das dem zweiten Einzelbild nachfolgt, ab dem Ausführen des Ermittelns für den Bildbereich ausgeführt wird, wenn bestimmt wird, dass die Änderung des Zustands des zu ermittelnden Objekts von dem ersten Einzelbild die Bestimmungsbedingung nicht erfüllt (6).

(Anhang 2)
Bildanalyseverfahren, ausgeführt durch eine Vorrichtung, die einen Hardware-Prozessor (11A) und einen Speicher (11B), in dem ein durch den Hardware-Prozessor (11 A) auszuführendes Programm gespeichert ist, enthält, wobei das Bildanalyseverfahren umfasst:

einen Suchschritt (S22) des Ausführens, durch den Hardware-Prozessor (11A), des Verarbeitens des Ermittelns eines Bildbereichs, der das zu ermittelnde Objekt enthält, in Einheiten von Einzelbildern von dem in Zeitreihenfolge eingegebenen Bild, und Abschätzen des Zustands des zu ermittelnden Objekts auf der Grundlage des ermittelten Bildbereichs;
einen Zuverlässigkeitsermittlungsschritt (S23) des Ermittelns, durch den Hardware-Prozessor (11A), einer Zuverlässigkeit, welche die Wahrscheinlichkeit des durch den Suchschritt abgeschätzten Zustands des zu ermittelnden Objekts angibt;
einen ersten Bestimmungsschritt (S25) des Bestimmens, durch den Hardware-Prozessor (11A), ob eine durch den Zuverlässigkeitsermittlungsschritt ermittelte Zuverlässigkeit in einem ersten Einzelbild des Bildes eine vorgegebene erste Zuverlässigkeitsbedingung erfüllt;
einen ersten Steuerschritt (S31) des Speicherns, durch den Hardware-Prozessor (11A), in einem Speicher (7), einer Position eines durch den Suchschritt in dem ersten Einzelbild ermittelten Bildbereichs und des Steuerns, durch den Hardware-Prozessor (11A), des Verarbeitens des Suchschritts derart, dass Abschätzung für den Zustand des zu ermittelnden Objekts in einem zweiten Einzelbild, das dem ersten Einzelbild nachfolgt ausgeführt wird, wobei die gespeicherte Position des Bildbereichs als eine Referenz genommen wird, wenn bestimmt wird, dass die in dem ersten Einzelbild ermittelte Zuverlässigkeit die Zuverlässigkeitsbedingung erfüllt;
einen zweiten Bestimmungsschritt (S25) des Bestimmens, durch den Hardware-Prozessor (11A), ob eine Änderung am durch den Suchschritt (S22) abgeschätzten Zustand des zu ermittelnden Objekts in dem zweiten Einzelbild im Vergleich zu dem ersten Einzelbild eine vorgegebene Bestimmungsbedingung erfüllt;
einen zweiten Steuerschritt (S26) des Steuerns, durch den Hardware-Prozessor (11A), des Verarbeitens des Suchschritts (S22) derart, dass Abschätzungsverarbeitung für den Zustand des zu ermittelnden Objekts in einem dritten Einzelbild, das dem zweiten Einzelbild nachfolgt, ausgeführt wird, wobei die gespeicherte Position des Bildbereichs als eine Referenz genommen wird, wenn bestimmt wird, dass die Änderung des Zustands des zu ermittelnden Objekts von dem ersten Einzelbild die Bestimmungsbedingung erfüllt; und
einen dritten Steuerschritt (S27) des Löschens, durch den Hardware-Prozessor (11A), der Position des in dem Speicher (7) gespeicherten Bildbereichs und des Steuerns, durch den Hardware-Prozessor (11A), des Suchschritts derart, dass das Verarbeiten des Suchschritts (S22) im dritten Einzelbild, das dem zweiten Einzelbild nachfolgt, ab dem Ausführen des Ermittelns für den Bildbereich ausgeführt wird, wenn bestimmt wird, dass die Änderung des Zustands des zu ermittelnden Objekts von dem ersten Einzelbild die Bestimmungsbedingung nicht erfüllt.

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2018077885 [0001]
JP 4093273 [0114, 0140]

Claims

Bildanalysevorrichtung, umfassend: eine Sucheinheit, eingerichtet, das Verarbeiten des Ermittelns eines Bildbereichs auszuführen, der ein zu ermittelndes Objekt enthält, in Einheiten von Einzelbildern von einem in Zeitreihenfolge eingegebenen Bild, und einen Zustand des zu ermittelnden Objekts auf der Grundlage des ermittelten Bildbereichs abzuschätzen; einen Zuverlässigkeitsdetektor, eingerichtet, eine Zuverlässigkeit zu ermitteln, welche die Wahrscheinlichkeit des durch die Sucheinheit abgeschätzten Zustands des zu ermittelnden Objekts angibt; und ein Suchsteuergerät, eingerichtet, das durch die Sucheinheit ausgeführte Verarbeiten auf der Grundlage der durch den Zuverlässigkeitsdetektor ermittelten Zuverlässigkeit zu steuern, wobei das Suchsteuergerät enthält: eine erste Bestimmungseinheit, eingerichtet, zu bestimmen, ob eine durch den Zuverlässigkeitsdetektor ermittelte Zuverlässigkeit in einem ersten Einzelbild des Bildes eine vorgegebene erste Zuverlässigkeitsbedingung erfüllt, ein erstes Steuergerät, eingerichtet, in einem Speicher eine Position eines durch die Sucheinheit in dem ersten Einzelbild ermittelten Bildbereichs zu speichern und eingerichtet, die Sucheinheit derart zu steuern, dass Abschätzungsverarbeitung für den Zustand des zu ermittelnden Objekts in einem zweiten Einzelbild, das dem ersten Einzelbild nachfolgt, ausgeführt wird, wobei die gespeicherte Position des Bildbereichs als eine Referenz genommen wird, wenn bestimmt wird, dass die in dem ersten Einzelbild ermittelte Zuverlässigkeit die Zuverlässigkeitsbedingung erfüllt, eine zweite Bestimmungseinheit, eingerichtet, zu bestimmen, ob eine Änderung am durch die Sucheinheit abgeschätzten Zustand des zu ermittelnden Objekts in dem zweiten Einzelbild im Vergleich zu dem ersten Einzelbild eine vorgegebene Bestimmungsbedingung erfüllt, ein zweites Steuergerät, eingerichtet, die Sucheinheit derart zu steuern, dass Abschätzungsverarbeitung für den Zustand des zu ermittelnden Objekts in einem dritten Einzelbild, das dem zweiten Einzelbild nachfolgt, ausgeführt wird, wobei die gespeicherte Position des Bildbereichs als eine Referenz genommen wird, wenn bestimmt wird, dass die Änderung des Zustands des zu ermittelnden Objekts von dem ersten Einzelbild die Bestimmungsbedingung erfüllt, und ein drittes Steuergerät, eingerichtet, die Position des in dem Speicher gespeicherten Bildbereichs zu löschen und eingerichtet, die durch die Sucheinheit ausgeführte Verarbeitung derart zu steuern, dass die durch die Sucheinheit im dritten Einzelbild, das dem zweiten Einzelbild nachfolgt, ausgeführte Verarbeitung ab dem Ausführen des Ermittelns für den Bildbereich ausgeführt wird, wenn bestimmt wird, dass die Änderung des Zustands des zu ermittelnden Objekts von dem ersten Einzelbild die Bestimmungsbedingung nicht erfüllt.
Bildanalysevorrichtung nach Anspruch 1, wobei die Sucheinheit ein menschliches Gesicht als das zu ermittelnde Objekt einsetzt und zumindest eines ausgewählt aus den Positionen mehrerer zuvor eingestellter Merkmalpunkte, die mehreren Organen entsprechen, welche das menschliche Gesicht ausmachen, einer Ausrichtung eines Gesichts und/oder einer Sichtlinienrichtung des Gesichts abschätzt.
Bildanalysevorrichtung nach Anspruch 2, wobei die Sucheinheit das Verarbeiten des Abschätzens der Positionen der mehreren zuvor eingestellten Merkmalpunkte für die mehreren Organe, welche das menschliche Gesicht ausmachen, in dem Bildbereich ausführt, und die zweite Bestimmungseinheit als die Bestimmungsbedingung einen ersten Schwellenwert aufweist, der einen zulässigen Umfang an Änderung der Position zwischen Einzelbildern für eine Position eines jeden Merkmalpunkts definiert, abgeschätzt durch die Sucheinheit, und bestimmt, ob ein Umfang einer Änderung der Position des Merkmalpunkts zwischen dem ersten Einzelbild und dem zweiten Einzelbild den ersten Schwellenwert übersteigt.
Bildanalysevorrichtung nach Anspruch 2, wobei die Sucheinheit das Verarbeiten des Abschätzens der Ausrichtung des menschlichen Gesichts in Bezug auf eine Referenzrichtung aus dem Bildbereich ausführt, und die zweite Bestimmungseinheit als die Bestimmungsbedingung einen zweiten Schwellenwert aufweist, der einen zulässigen Umfang an Änderung der Ausrichtung des menschlichen Gesichts zwischen Einzelbildern definiert und bestimmt, ob ein Umfang einer Änderung der Ausrichtung des menschlichen Gesichts zwischen dem ersten Einzelbild und dem zweiten Einzelbild den zweiten Schwellenwert übersteigt.
Bildanalysevorrichtung nach Anspruch 2, wobei die Sucheinheit das Verarbeiten des Abschätzens der Sichtlinie des menschlichen Gesichts ausführt, und die zweite Bestimmungseinheit als die Bestimmungsbedingung einen dritten Schwellenwert aufweist, der einen zulässigen Umfang an Änderung der Sichtlinienrichtung des zu ermittelnden Objekts zwischen Einzelbildern definiert und bestimmt, ob ein Umfang einer Änderung der Sichtlinienrichtung des menschlichen Gesichts zwischen dem ersten Einzelbild und dem zweiten Einzelbild den dritten Schwellenwert übersteigt.
Bildanalyseverfahren, ausgeführt durch eine Vorrichtung, welche einen Zustand eines zu ermittelnden Objekts auf der Grundlage eines Bilds abschätzt, das in Zeitreihenfolge eingegeben wird, wobei das Bildanalyseverfahren umfasst: einen Suchschritt des Ausführens des Verarbeitens des Ermittelns eines Bildbereichs, der das zu ermittelnde Objekt enthält, in Einheiten von Einzelbildern von dem in Zeitreihenfolge eingegebenen Bild, und des Abschätzens des Zustands des zu ermittelnden Objekts auf der Grundlage des ermittelten Bildbereichs; einen Zuverlässigkeitsermittlungsschritt des Ermittelns einer Zuverlässigkeit, welche die Wahrscheinlichkeit des durch den Suchschritt abgeschätzten Zustands des zu ermittelnden Objekts angibt; einen ersten Bestimmungsschritt des Bestimmens, ob eine durch den Zuverlässigkeitsermittlungsschritt ermittelte Zuverlässigkeit in einem ersten Einzelbild des Bildes eine vorgegebene erste Zuverlässigkeitsbedingung erfüllt; einen ersten Steuerschritt des Speicherns, in einem Speicher, einer Position eines durch den Suchschritt in dem ersten Einzelbild ermittelten Bildbereichs und des Steuerns des Verarbeitens des Suchschritts derart, dass Abschätzung für den Zustand des zu ermittelnden Objekts in einem zweiten Einzelbild, das dem ersten Einzelbild nachfolgt, ausgeführt wird, wobei die gespeicherte Position des Bildbereichs als eine Referenz genommen wird, wenn bestimmt wird, dass die in dem ersten Einzelbild ermittelte Zuverlässigkeit die Zuverlässigkeitsbedingung erfüllt; einen zweiten Bestimmungsschritt des Bestimmens, ob eine Änderung am durch den Suchschritt abgeschätzten Zustand des zu ermittelnden Objekts in dem zweiten Einzelbild im Vergleich zu dem ersten Einzelbild eine vorgegebene Bestimmungsbedingung erfüllt; einen zweiten Steuerschritt des Steuerns des Verarbeitens des Suchschritts derart, dass Abschätzungsverarbeitung für den Zustand des zu ermittelnden Objekts in einem dritten Einzelbild, das dem zweiten Einzelbild nachfolgt, ausgeführt wird, wobei die gespeicherte Position des Bildbereichs als eine Referenz genommen wird, wenn bestimmt wird, dass die Änderung des Zustands des zu ermittelnden Objekts von dem ersten Einzelbild die Bestimmungsbedingung erfüllt; und einen dritten Steuerschritt des Löschens der Position des in dem Speicher gespeicherten Bildbereichs und des Steuerns des Verarbeitens des Suchschritts derart, dass das Verarbeiten des Suchschritts im dritten Einzelbild, das dem zweiten Einzelbild nachfolgt, ab dem Ausführen des Ermittelns für den Bildbereich ausgeführt wird, wenn bestimmt wird, dass die Änderung des Zustands des zu ermittelnden Objekts von dem ersten Einzelbild die Bestimmungsbedingung nicht erfüllt.
Programm, das bewirkt, dass ein Hardwareprogramm, welches in der Bildanalysevorrichtung enthalten ist, das Verarbeiten durch jede der in der Bildanalysevorrichtung nach einem der Ansprüche 1 bis 5 enthaltenen Einheiten ausführt.