DE102018131805A1

DE102018131805A1 - Vorrichtung zum erfassen einer gesichtsposition

Info

Publication number: DE102018131805A1
Application number: DE102018131805.7A
Authority: DE
Inventors: Yoshio Matsuura
Original assignee: Omron Corp; Omron Tateisi Electronics Co
Current assignee: Omron Corp
Priority date: 2017-12-11
Filing date: 2018-12-11
Publication date: 2019-06-13
Also published as: JP6791108B2; CN110059530B; US20190188878A1; JP2019105906A; CN110059530A; US10776944B2

Abstract

Eine Vorrichtung zum Erfassen einer Gesichtsposition enthält: einen Bildanalysator, der dazu eingerichtet ist, ein Bild eines durch eine Abbildungseinheit abgebildeten Gesichts zu analysieren und eine Positionsbeziehung zwischen mindestens zwei charakteristischen Punkten in dem Gesicht zu entnehmen; und eine Gesichtspositionsberechnungsvorrichtung, die zum Berechnen einer Position des Gesichts eingerichtet ist. Die Gesichtspositionsberechnungsvorrichtung berechnet bei Bedienung eines Bedienbildschirms eine Position des Gesichts in einem Raum gemäß Positionsbeziehungen zwischen dem abgebildeten Gesicht, der Abbildungseinheit und einer Bedieneinheit, und, außer bei der Bedienung, gemäß der Positionsbeziehung zwischen den mindestens zwei charakteristischen Punkten, die der Bildanalysator aus dem abgebildeten Gesicht entnimmt, und Positionsbeziehungen zwischen mehreren Positionen des Gesichts und mehreren der mindestens zwei charakteristischen Punkte, die den mehreren Gesichtspositionen entsprechen, welche bei jeweiligen Bedienungen erhalten wurden.

Description

QUERVERWEIS AUF ZUGEHÖRIGE ANMELDUNG
Diese Anmeldung basiert auf der japanischen Patentanmeldung mit der Nr. 2017-236658, die am 11. Dezember 2017 beim japanischen Patentamt eingereicht wurde, wobei deren gesamter Inhalt hierin durch Bezugnahme aufgenommen ist.
GEBIET DER ERFINDUNG
Die vorliegende Erfindung betrifft eine Vorrichtung zum Erfassen der Gesichtsposition eines Fahrzeugführers oder dergleichen.
STAND DER TECHNIK
In einem Fahrzeug besteht der Bedarf nach einer Anwendung, die dazu eingerichtet ist, zu bestimmen, wohin ein Fahrer schaut, und entsprechend eine vorbestimmte Steuerung durchzuführen. Beispielsweise wird in einem Fall, in dem der Fahrer einen Rückspiegel betrachtet, eine Nachricht oder ein Bild auf dem Rückspiegel angezeigt, oder es wird in einem Fall, in dem der Fahrer ein Anzeigeinstrument nicht beobachtet, wenn der Fahrer das Anzeigeinstrument prüfen soll, eine Warnung an den Fahrer ausgegeben. Beim Bestimmen eines solchen visuell erkannten Abschnitts ist es notwendig, die Blickrichtung des Fahrers und die Gesichtsposition in dem Raum (zum Beispiel die Entfernung von einer Referenzposition) zu erfassen.
Ein Beispiel eines Detektors des Gesichts des Fahrers ist ein Fahrerüberwachungsgerät mit einer Kamera. Das Fahrerüberwachungsgerät ist eine Vorrichtung, die den Zustand eines Fahrers gemäß dem von der Kamera aufgenommenen Gesichtsbild des Fahrers überwacht und eine vorbestimmte Steuerung durchführt, beispielsweise einen Alarm ausgibt, wenn der Fahrer während des Fahrens einnickt oder zur Seite schaut. Aus dem Gesichtsbild, das durch das Fahrerüberwachungsgerät erhalten wird, können Informationen über die Blickrichtung erhalten werden; Informationen über die Gesichtsposition in dem Raum können jedoch nicht erhalten werden. Daher ist es unmöglich, nur anhand des Gesichtsbilds, das durch das Fahrerüberwachungsgerät erhalten wird, zu bestimmen, wohin der Fahrer schaut.
Die JP 2007-230369 A offenbart, dass die Gesichtsrichtung bzw. -ausrichtung (Winkel) und die Blickrichtung eines Fahrers aus dem Gesichtsbild bzw. anhand des Gesichtsbilds des Fahrers erfasst werden und dass dementsprechend eine vorbestimmte Steuerung (Lautstärkeregelung der Lautsprecher oder dergleichen) einer fahrzeuginternen Vorrichtung ausgeführt wird. Da es jedoch nicht möglich ist, die Gesichtsposition in dem Raum mit diesem Verfahren zu erfassen, ist es unmöglich zu bestimmen, wohin der Fahrer schaut. Darüber hinaus offenbaren jede der JP 2012 - 208714 A und der JP 2014-49023 A , dass eine auf einem Touch Panel erfasste gedrückte Stelle gemäß der relativen Positionsbeziehung zwischen dem Gesicht eines Benutzers und dem Touch Panel korrigiert wird. Es ist jedoch auch nach diesen Literaturen nicht möglich, die Gesichtsposition in dem Raum zu erfassen.
Als Verfahren zum Erfassen der Gesichtsposition in dem Raum ist es denkbar, mehrere Kameras vorzusehen oder einen dezidierten Sensor vorzusehen. Bei diesen Verfahren nimmt jedoch die Anzahl der Komponenten zu, die Konfiguration wird kompliziert und die Kosten sind hoch.
KURZDARSTELLUNG
Eine Aufgabe der vorliegenden Erfindung besteht darin, eine Vorrichtung zum Erfassen einer Gesichtsposition zu realisieren, die eine Gesichtsposition in einem Raum ohne komplizierte Konfiguration erfassen kann.
Eine Vorrichtung zum Erfassen einer Gesichtsposition gemäß der vorliegenden Erfindung enthält bzw. umfasst: eine Bilderfassungs- bzw. Abbildungseinheit, die dazu eingerichtet ist, ein Gesicht eines Benutzers abzubilden, eine Bedieneinheit, die dazu eingerichtet ist, eine vorbestimmte Eingabe von dem Benutzer, der einen Bedienbildschirm bedient bzw. betätigt, zu empfangen; einen Bildanalysator, der dazu eingerichtet ist, ein Bild des durch die Abbildungseinheit abgebildeten Gesichts zu analysieren und eine Positionsbeziehung zwischen mindestens zwei charakteristischen Punkten in dem Gesicht bzw. des Gesichts in dem bzw. aus dem Bild zu entnehmen; und eine Gesichtspositionsberechnungsvorrichtung, die dazu eingerichtet ist, eine Position des von der Bilderfassungseinheit bzw. Abbildungseinheit abgebildeten Gesichts zu berechnen. Bei einer Betätigung bzw. Bedienung des Bedienbildschirms berechnet die Gesichtspositionsberechnungsvorrichtung eine Position des Gesichts in einem Raum gemäß Positionsbeziehungen zwischen dem abgebildeten Gesicht, der Abbildungseinheit und der Bedieneinheit. Außer bei der Betätigung bzw. Bedienung berechnet die Gesichtspositionsberechnungsvorrichtung eine Position des Gesichts in dem Raum gemäß der Positionsbeziehung zwischen den mindestens zwei charakteristischen Punkten, die der Bildanalysator aus dem abgebildeten Gesicht entnimmt, und Positionsbeziehungen zwischen mehreren Positionen des Gesichts und mehreren charakteristischen Punkten, die jeweils den mehreren Positionen des Gesichts entsprechen, welche bei jeweiligen Betätigungen bzw. Bedienungen erhalten wurden.
Gemäß einer solchen Vorrichtung zum Erfassen einer Gesichtsposition wird bei Betätigung bzw. Bedienung der Bedieneinheit die Positionsbeziehung zwischen charakteristischen Punkten (zum Beispiel dem Abstand zwischen den Augen) aus einem Gesichtsbild entnommen, und eine Gesichtsposition in dem Raum wird gemäß den Positionsbeziehungen zwischen dem abgebildeten Gesicht, der Abbildungseinheit und der Bedieneinheit berechnet. Wenn die Bedieneinheit nicht betätigt bzw. bedient wird, wird eine Gesichtsposition in dem Raum gemäß der Positionsbeziehung zwischen den aus einem Gesichtsbild entnommenen charakteristischen Punkten und Positionsbeziehungen zwischen mehreren Gesichtspositionen und charakteristischen Punkten, die bei jeweiligen Betätigungen bzw. Bedienungen erhalten werden, berechnet. Daher ist es möglich, die Gesichtsposition in dem Raum mit einer einfachen Konfiguration zu erfassen, ohne mehrere Abbildungseinheiten vorzusehen oder einen dezidierten Sensor vorzusehen.
Bei der vorliegenden Erfindung kann die Gesichtspositionsberechnungsvorrichtung bei Betätigung bzw. Bedienung des Bedienbildschirms geometrisch eine Position des Gesichts in dem Raum gemäß einem Winkel des Gesichts in Bezug auf die Abbildungseinheit, einem Winkel der Blickrichtung bzw. eines Blickrichtungswinkels des Benutzers, der den Bedienbildschirm betrachtet, und einer Entfernung von der Abbildungseinheit zu einem Bedienpunkt auf dem Bedienbildschirm berechnen.
Die vorliegende Erfindung kann eine Einheit zum Erzeugen eines annähernden Ausdrucks bzw. Näherungsausdrucks enthalten, welche dazu eingerichtet ist, einen annähernden Ausdruck bzw. Näherungsausdruck zur Berechnung einer Position des Gesichts aus der Positionsbeziehung der mindestens zwei charakteristischen Punkte zu erzeugen. Die Einheit zum Erzeugen eines Näherungsausdrucks sammelt statistische Daten, die durch Zuordnung der Positionsbeziehung der mindestens zwei charakteristischen Punkte, welche durch den Bildanalysator bei jeder Betätigung bzw. Bedienung des Bedienbildschirms entnommen werden, zu einer Position des Gesichts, welche durch die Gesichtspositionsberechnungsvorrichtung bei jeder Betätigung bzw. Bedienung des Bedienbildschirms berechnet wird, erhalten werden, und erzeugt den Näherungsausdruck gemäß den statistischen Daten.
In der vorliegenden Erfindung kann die Einheit zum Erzeugen eines Näherungsausdrucks den Näherungsausdruck jedes Mal aktualisieren, wenn der Bedienbildschirm bedient wird.
Die vorliegende Erfindung kann ferner eine Bestimmungseinheit für einen visuell erkannten bzw. betrachteten Abschnitt bzw. eine Einheit zur Bestimmung eines visuell erkannten bzw. betrachteten Abschnitts umfassen, die dazu eingerichtet ist, einen Abschnitt, den der Benutzer visuell erkennt bzw. betrachtet, zu bestimmen, entsprechend bzw. gemäß einer Position des Gesichts in dem Raum, die die Gesichtspositionsberechnungsvorrichtung berechnet, und einer Blickrichtung des Benutzers, die der Bildanalysator entnimmt.
In der vorliegenden Erfindung kann die Position des Gesichts in dem Raum eine Entfernung von der Abbildungseinheit zu einem vorbestimmten Teil des Gesichts sein.
In der vorliegenden Erfindung kann die Bedieneinheit aus einem Touch Panel bzw. interaktiven Bedienfeld bzw. Bildschirm-Tastfeld gebildet sein. Dieses Touch Panel kann ein Touch Panel einer an einem Fahrzeug montierten Fahrzeugnavigationsvorrichtung sein.
In der vorliegenden Erfindung kann die Abbildungseinheit eine Kamera eines Fahrerüberwachungsgeräts sein, das an einem Fahrzeug montiert ist, und dazu eingerichtet ist, den Zustand eines Fahrers zu überwachen.
Gemäß der vorliegenden Erfindung ist es möglich, eine Vorrichtung zum Erfassen einer Gesichtsposition bereitzustellen, die dazu in der Lage ist, die Gesichtsposition in dem Raum mit einer einfachen Konfiguration zu erfassen.
Figurenliste

1 ist ein Blockdiagramm einer Vorrichtung zum Erfassen einer Gesichtsposition gemäß einer Ausführungsform der vorliegenden Erfindung.
2 ist eine Darstellung zur Erläuterung der Abbildung des Gesichts eines Fahrers.
3 ist eine Darstellung zur Erläuterung einer Blickrichtung eines Fahrers.
4 ist eine Darstellung zur Erläuterung eines Prinzips zur Erfassung einer Gesichtsposition gemäß der vorliegenden Erfindung.
5 ist ein Diagramm, das einen Näherungsausdruck zur Berechnung einer Gesichtsposition veranschaulicht.
6 ist ein Flussdiagramm, das den Betrieb der Vorrichtung zum Erfassen einer Gesichtsposition veranschaulicht.
7 ist ein Blockdiagramm einer Vorrichtung zum Erfassen einer Gesichtsposition gemäß einer anderen Ausführungsform.
8 ist ein Flussdiagramm, dass den Betrieb gemäß der anderen Ausführungsform veranschaulicht.

DETAILLIERTE BESCHREIBUNG
Ausführungsformen einer Vorrichtung zum Erfassen einer Gesichtsposition gemäß der vorliegenden Erfindung werden nachstehend unter Bezugnahme auf die Zeichnungen beschrieben. Im Folgenden wird als Beispiel eine Vorrichtung beschrieben, die an einem Fahrzeug montiert ist und zum Erfassen der Gesichtsposition des Fahrers eingerichtet ist.
Zuerst wird die Konfiguration der Vorrichtung zum Erfassen einer Gesichtsposition unter Bezugnahme auf 1 beschrieben. In 1 ist eine Vorrichtung zum Erfassen einer Gesichtsposition 100 aus einem Fahrerüberwachungsgerät 10, einem Touch Panel 11 bzw. interaktiven Bedienfeld bzw. Bildschirm-Tastfeld, einem Bedienpunktdetektor 12, einer Gesichtspositionsberechnungsvorrichtung 13, einer Einheit zum Erzeugen eines annähernden Ausdrucks bzw. Näherungsausdrucks 14 und einer Steuereinrichtung 30 gebildet. Das Fahrerüberwachungsgerät 10 ist eine Vorrichtung, die dazu eingerichtet ist, zu überwachen, ob sich der Fahrer in einem normalen Zustand befindet oder nicht, während das Gesicht des Fahrers abgebildet wird, und umfasst eine Kamera 1, einen Signalprozessor 2, einen Bildanalysator 3 und einen Fahrerzustandsdetektor 4.
Wie in 2 veranschaulicht, ist die Kamera 1 beispielsweise auf einem Armaturenbrett 52 des Fahrersitzes eines Fahrzeugs V angeordnet. Die Installationsposition und der Installationswinkel der Kamera 1 sind so eingestellt, dass die Kamera 1 ein Gesicht 50a eines auf einem Sitz 51 sitzenden Fahrers 50 abbilden kann. Gestrichelte Linien veranschaulichen den Bilderfassungs- bzw. Abbildungsbereich der Kamera 1. Die Kamera 1 bildet in der vorliegenden Erfindung eine „Abbildungseinheit“ bzw. „Bilderfassungseinheit“ und weist eine Bilderfassungs- bzw. Abbildungsvorrichtung wie einen CMOS-Bildsensor auf. Das Fahrzeug V ist beispielsweise ein vierrädriges Kraftfahrzeug. Der Fahrer 50 ist ein Beispiel eines „Benutzers“ in der vorliegenden Erfindung.
Der Signalprozessor 2 führt Prozesse aus, wie beispielsweise das Umwandeln eines Bildsignals des von der Kamera 1 abgebildeten Gesichts in ein digitales Signal. Der Bildanalysator 3 analysiert ein Gesichtsbild gemäß dem von dem Signalprozessor 2 ausgegebenen Bildsignal, entnimmt charakteristische Punkte (z. B. Augen) und erfasst den Gesichtswinkel, die Blickrichtung, die Bewegung der Augenlider und dergleichen. Der Fahrerzustandsdetektor 4 erfasst den Zustand des Fahrers 50 gemäß dem von dem Bildanalysator 3 erhaltenen Analyseergebnis. Beispielsweise erfasst der Fahrerzustandsdetektor 4 in einem Fall, in dem die Augenlider für mehr als eine bestimmte Zeitspanne geschlossen sind, dass der Fahrer 50 am Einschlafen ist. In einem Fall, in dem die Blickrichtung auch während der Fahrt zur Seite gerichtet ist, erfasst der Fahrerzustandsdetektor 4 den Fahrer 50, als während der Fahrt zur Seite schauend. Das Erfassungsergebnis, das durch den Fahrerzustandsdetektor 4 erhalten wird, wird über einen CAN-Kommunikator (Controller Area Network Communicator) 20 an eine nicht veranschaulichte, im Fahrzeug montierte, elektronische Steuereinrichtung (Electronic Control Unit, ECU) gesendet. Die ECU führt eine vorbestimmte Steuerung (beispielsweise Ausgabe eines Alarms) an dem Fahrzeug gemäß dem Erfassungsergebnis durch.
Das Touch Panel 11 ist ein Beispiel einer „Bedieneinheit“ in der vorliegenden Erfindung. In der Ausführungsform ist das Touch Panel 11 ein Touch Panel einer Fahrzeugnavigationsvorrichtung, die an dem Fahrzeug montiert ist. Wie in den 2 und 3 veranschaulicht, ist das Touch Panel 11 neben der Kamera 1 auf dem Armaturenbrett 52 des Fahrersitzes des Fahrzeugs V vorgesehen. Wie in 3 veranschaulicht, weist das Touch Panel 11 einen Bedienbildschirm 11a auf. Das Touch Panel 11 empfängt eine vorbestimmte Eingabe, wenn der Fahrer 50 den Bedienbildschirm 11a bedient bzw. betätigt.
Der Bedienpunktdetektor 12 ist eine Schaltung, die einen Bedienpunkt P ( 3), d. h. die Stelle, an der ein Drückvorgang bzw. eine Drückbedienung bzw. eine Drückbetätigung ausgeführt wird, auf dem Bedienbildschirm 11a erfasst. Der Position des Bedienpunkts P wird durch XY-Koordinaten von nicht dargestellten Schalterelektroden bestimmt, die in einer Matrix angeordnet sind, und die Schalterelektrode, die in dem Abschnitt angeordnet ist, in dem ein Drückvorgang ausgeführt wird, wird elektrisch leitfähig bzw. leitend. Somit wird der Bedienpunkt P erfasst.
Wenn der Bedienbildschirm 11a des Touch Panels 11 betätigt bzw. bedient wird, berechnet die Gesichtspositionsberechnungsvorrichtung 13 die Position des von der Kamera 1 abgebildeten Gesichts 50a gemäß einem Parameter Δx, der aus dem Erfassungsergebnis in dem Bedienpunktdetektor bzw. des Bedienpunktdetektors 12 erhalten wird, und Parametern θ_d und θ_f , die aus dem Analyseergebnis in dem Bildanalysator bzw. des Bildanalysators 3 erhalten werden. Diese Parameter und der arithmetische Ausdruck der Gesichtsposition werden später detailliert beschrieben. In der Ausführungsform wird eine Entfernung D von der Kamera 1 zu dem in 2 dargestellten Gesicht 50a als die Gesichtsposition in dem Raum (absolute Position) berechnet. Da die Position der Kamera 1 in dem Raum im Voraus bestimmt wird, kann, wenn die Entfernung D zu dem Gesicht 50a in Bezug auf die Kameraposition bekannt ist, die Position des Gesichts 50a in dem Raum bestimmt werden. Das Berechnungsergebnis (Entfernung D) in der bzw. der Gesichtspositionsberechnungsvorrichtung 13 wird über den CAN-Kommunikator 20 an die oben beschriebene ECU gesendet. Zusätzlich erfasst bzw. erlangt die Gesichtspositionsberechnungsvorrichtung 13 einen später zu beschreibenden Parameter Δd von dem Bildanalysator 3. Die Entfernung D und der Parameter Δd werden an die Einheit zum Erzeugen eines Näherungsausdrucks 14 gesendet.
Die Einheit zum Erzeugen eines Näherungsausdrucks 14 sammelt statistische Daten, die durch Zuordnen der Gesichtsposition (Entfernung D) und des Parameters Δd (wird später beschrieben) zueinander erhalten werden, wenn der Bedienbildschirm 11a betätigt bzw. bedient wird, und erzeugt einen annähernden Ausdruck Fn bzw. einen Näherungsausdruck Fn zum Berechnen der Position des Gesichts 50a in dem Raum gemäß den statistischen Daten. Die Gesichtspositionsberechnungsvorrichtung 13 berechnet die Position des Gesichts 50a unter Verwendung dieses Näherungsausdrucks Fn, wenn der Bedienbildschirm 11a nicht betätigt bzw. nicht bedient wird. 5 veranschaulicht ein Beispiel des Näherungsausdrucks Fn, und die Details des Näherungsausdrucks Fn werden später beschrieben.
Die Steuereinrichtung 30 ist aus einem Mikrocomputer, der eine CPU, einen Speicher und dergleichen umfasst, gebildet, und steuert integral den Betrieb der Vorrichtung zum Erfassen einer Gesichtsposition 100. Aus diesem Grund ist die Steuereinrichtung 30 mit jeder Einheit der Vorrichtung zum Erfassen einer Gesichtsposition 100 über eine Signalleitung (nicht dargestellt) verbunden und kommuniziert mit jeder Einheit.
Es sei angemerkt, dass die Funktionen des Bildanalysators 3, des Fahrerzustandsdetektors 4, der Gesichtspositionsberechnungsvorrichtung 13 und der Einheit zum Erzeugen eines Näherungsausdrucks 14 tatsächlich durch Software realisiert werden.
Als nächstes wird das Prinzip der Erfassung der Gesichtsposition in dem Raum unter Verwendung der oben beschriebenen Vorrichtung zum Erfassen einer Gesichtsposition 100 beschrieben.
Wie 3 veranschaulicht, wird der Fahrer 50 in einem Fall, in dem der Fahrer 50 das Touch Panel 11 bedient, unvermeidlich den Bedienbildschirm 11a sehen. Aus diesem Grund ist die Blickrichtung des Fahrers 50 (durch einen Pfeil angedeutet) zu dem Bedienpunkt P auf dem Bedienbildschirm 11a gerichtet. Bei der vorliegenden Erfindung wird die Gesichtsposition unter Verwendung dieses Verhaltens erfasst.
Wie 4 veranschaulicht, wird in einem Fall, in dem eine Betätigung bzw. Bedienung auf dem Bedienpunkt P des Bedienbildschirms 11a des Touch Panels 11 ausgeführt wird, die Entfernung Δx von der Kamera 1 zu dem Bedienpunkt P anhand des Erfassungsergebnisses des Bedienpunktdetektors 12 bestimmt. Zusätzlich werden aus dem von der Kamera 1 abgebildeten Bild des Gesichts 50a zwei Parameter erhalten, d. h., der Winkel des Gesichts 50a in Bezug auf die Kamera 1 (nachstehend als ein „Gesichtswinkel“ bezeichnet) θ_d und der Winkel der Blickrichtung des Fahrers 50, der auf den Bedienbildschirm 11a schaut, (nachstehend als ein „Blickrichtungswinkel“ bezeichnet) θ_f. Ferner wird aus dem Bild des Gesichts 50a die Positionsbeziehung zwischen den Augen 50b, 50c, welche charakteristische Punkte sind, d. h., ein Abstand Δd zwischen den Augen, ermittelt bzw. erlangt.
In 4 wird die folgende geometrische Beziehung zwischen der Entfernung D, die die Position des Gesichts 50a in dem Raum darstellt, und den Parametern Δx, θ_d , θ_f festgelegt. $D \cdot sin θ_{d} + (D \cdot cos θ_{d}) \cdot tan θ_{f} = Δ x$
Aus diesem Grund kann die Entfernung D aus dem folgenden arithmetischen Ausdruck berechnet werden. $D = Δ x/ (sin θ_{d} + cos θ_{d} \cdot tan θ_{f})$
Es sei angemerkt, dass in 4 die Entfernung D die Entfernung von der Mitte der vorderen Oberfläche der Kamera 1 zu dem Mittelpunkt zwischen den Augen 50b, 50c auf dem Gesicht 50a ist. Der Gesichtswinkel θ_d ist der Winkel zwischen der optischen Achse der Kamera 1 und einer geraden Linie, die die Entfernung D darstellt. Der Blickrichtungswinkel θ_f ist der Winkel zwischen der geraden Linie, die den Bedienpunkt P und einen vorbestimmten Teil (hier den Mittelpunkt zwischen den Augen 50b, 50c) des Gesichts verbindet, und einer senkrechten Linie, die parallel zu der optischen Achse der Kamera 1 verläuft, und den vorbestimmten Abschnitt bzw. vorbestimmten Teil kreuzt bzw. schneidet.
Jedes Mal, wenn der Bedienbildschirm 11a betätigt bzw. bedient wird, berechnet die Gesichtspositionsberechnungsvorrichtung 13 die Entfernung D aus dem obigen arithmetischen Ausdruck (1) unter Verwendung der Parameter Δx, θ_d , θ_f , die erhalten werden, wenn die Betätigung bzw. Bedienung ausgeführt wird, und berechnet somit die Gesichtsposition in dem Raum. Danach gibt die Gesichtspositionsberechnungsvorrichtung 13 die berechnete Entfernung D und den Abstand Δd zwischen den Augen, der von bzw. aus dem Gesichtsbild ermittelt bzw. erlangt wurde, an die Einheit zum Erzeugen eines Näherungsausdrucks 14 aus. Die Einheit zum Erzeugen eines Näherungsausdrucks 14 speichert die Entfernung D, die sie von der Gesichtspositionsberechnungsvorrichtung 13 empfangen hat, und den Abstand Δd zwischen den Augen in Zuordnung zueinander bzw. einander zugeordnet, jedes Mal wenn der Bedienbildschirm 11a betätigt bzw. bedient wird. Als Ergebnis sammelt die Einheit zum Erzeugen eines Näherungsausdrucks 14 diskrete statistische Daten, die durch Zuordnung von D und Δd zueinander erhalten werden, wie in 5 veranschaulicht. Gemäß diesen statistischen Daten erzeugt die Einheit zum Erzeugen eines Näherungsausdrucks 14 den annähernden Ausdruck Fn bzw. den Näherungsausdruck Fn zum Berechnen der Entfernung D (der Gesichtsposition in dem Raum) aus dem Abstand Δd zwischen den Augen. Als Schätz- bzw. Annäherungs- bzw. Näherungsverfahren kann in diesem Fall ein bekanntes Verfahren wie ein Interpolationsverfahren oder ein Verfahren der kleinsten Quadrate verwendet werden. Es sei angemerkt, dass der Näherungsausdruck Fn jedes Mal neu geschrieben und aktualisiert wird, wenn der Näherungsausdruck Fn neu berechnet wird.
Wie oben beschrieben, berechnet die Gesichtspositionsberechnungsvorrichtung 13 die Entfernung D, welche die Gesichtsposition in dem Raum ist, unter Verwendung des obigen Näherungsausdrucks Fn, wenn der Bedienbildschirm 11a nicht bedient bzw. betätigt wird. Da die Kamera 1 das Gesicht 50a kontinuierlich abbildet, auch wenn der Bedienbildschirm 11a nicht bedient bzw. nicht betätigt wird, ist es möglich, den Abstand Δd zwischen den Augen durch den Bildanalysator 3 in Echtzeit zu erfassen bzw. zu erlangen. Daher ist es durch Anwenden des erfassten Δd auf den Näherungsausdruck Fn möglich, die Gesichtsposition zu berechnen, die erhalten wird, wenn der Bedienbildschirm 11a nicht betätigt bzw. nicht bedient wird.
Informationen über die Gesichtsposition (Entfernung D), die auf diese Weise von der Gesichtspositionsberechnungsvorrichtung 13 berechnet werden, werden zusammen mit Informationen wie der Blickrichtung (dem Blickrichtungswinkel θ_f ), die von dem Bildanalysator 3 entnommen wurden, über den CAN-Kommunikator 20 an die vorbestimmte ECU übertragen. Die vorbestimmte ECU bestimmt den Abschnitt (beispielsweise ein auf dem Armaturenbrett 52 vorgesehenes Anzeigeinstrument), den der Fahrer 50 aktuell visuell erkennt bzw. betrachtet, gemäß Informationen wie der Gesichtsposition und der Blickrichtung.
Wie oben beschrieben wird bei der Ausführungsform, wenn das Touch Panel 11 betätigt bzw. bedient wird, der Abstand Δd zwischen den Augen aus dem Gesichtsbild entnommen, und die Entfernung D von der Kamera 1 zu dem Gesicht 50a, d. h., die Position des Gesichts 50a in dem Raum, wird geometrisch berechnet, gemäß der Entfernung Δx, die durch den Bedienpunkt P bestimmt wird, dem Gesichtswinkel θ_d und dem Blickrichtungswinkel θ_f , welche aus dem Gesichtsbild ermittelt bzw. erhalten werden (dem obigen arithmetischen Ausdruck (1)). Zusätzlich werden die statistischen Daten, die durch Zuordnung des Abstands Δd zwischen den Augen zu der Entfernung D zu diesem Zeitpunkt erhalten werden, gesammelt, und der Näherungsausdruck Fn wird aus den gesammelten statistischen Daten erzeugt. Wenn das Touch Panel 11 nicht betätigt bzw. nicht bedient wird, wird die Entfernung D gemäß dem aus dem Gesichtsbild entnommenen Abstand Δd zwischen den Augen und dem Näherungsausdruck Fn berechnet. Daher ist es möglich, die Position des Gesichts 50a in dem Raum mit einer einfachen Konfiguration zu erfassen, ohne mehrere Kameras vorzusehen oder einen dezidierten Sensor vorzusehen. Da insbesondere die Kamera des an dem Fahrzeug montierten Fahrerüberwachungsgeräts 10 als die Kamera 1 verwendet wird und das ebenfalls an dem Fahrzeug montierte Touch Panel der Fahrzeugnavigationsvorrichtung als das Touch Panel 11 verwendet wird, ist eine Veränderung der Software ohne Hinzufügen einer redundanten Komponente ausreichend.
6 ist ein Flussdiagramm, das den Betrieb der Vorrichtung zum Erfassen einer Gesichtsposition 100 veranschaulicht. Das Fahrerüberwachungsgerät 10 führt die Schritte S1 bis S4 aus, die Gesichtspositionsberechnungsvorrichtung 13 führt die Schritte S5 bis S11 aus, und die Einheit zum Erzeugen eines Näherungsausdrucks 14 führt die Schritte S12 bis S14 aus.
In Schritt S1 wird das Fahrerüberwachungsgerät 10 gemäß einer Betätigung eines (nicht dargestellten) Zündschalters oder dergleichen aktiviert. In Schritt S2 beginnt die Kamera 1, das Gesicht 50a des Fahrers 50 abzubilden. Diese Abbildung wird fortgesetzt, während das Fahrerüberwachungsgerät 10 arbeitet. In Schritt S3 analysiert der Bildanalysator 3 das von der Kamera 1 aufgenommene Gesichtsbild. In Schritt S4 wird der Abstand Δd (4) zwischen den Augen 50b, 50c, die charakteristische Punkte sind, aus dem Gesichtsbild entnommen. Es sei angemerkt, dass der Fahrerzustandsdetektor 4 den Zustand des Fahrers gemäß dem Analyseergebnis in Schritt S3 erfasst; da dies jedoch nicht direkt auf die vorliegende Erfindung bezogen ist, wird dieser Schritt in 6 weggelassen.
In Schritt S5 wird die Entfernung D (4), die die Position des Gesichts 50a in dem Raum ist, unter Verwendung des in Schritt S4 entnommenen Abstands Δd zwischen den Augen und des Näherungsausdrucks Fn, den die Einheit zum Erzeugen eines Näherungsausdrucks 14 bereits berechnet hat, berechnet. In Schritt S6 wird bestimmt, ob der Bedienbildschirm 11a des Touch Panels 11 betätigt bzw. bedient wird oder nicht, gemäß bzw. in Abhängigkeit von dem Vorhandensein oder Nichtvorhandensein eines Erfassungssignals von dem Bedienpunktdetektor 12. In einem Fall, in dem der Bedienbildschirm 11a nicht betätigt bzw. nicht bedient wird (Schritt S6; NEIN), kehrt der Prozess zu Schritt S2 zurück, und der oben beschriebene Vorgang wird wiederholt. In einem Fall, in dem der Bedienbildschirm 11a betätigt bzw. bedient wird (Schritt S6; JA), schreitet der Prozess zu Schritt S7 voran.
In Schritt S7 wird die Entfernung Δx (4) von der Kamera 1 zu dem Bedienpunkt P gemäß der Position des Bedienpunktes P erlangt bzw. erfasst, welche der Bedienpunktdetektor 12 erfasst. In Schritt S8 wird der aus dem Gesichtsbild entnommene Gesichtswinkel θ_d (4) erlangt bzw. erfasst. In Schritt S9 wird der aus dem Gesichtsbild entnommene Blickrichtungswinkel θ_f (4) erlangt bzw. erfasst. In Schritt S10 wird der Abstand Δd (4) zwischen den Augen 50b, 50c, der aus dem Gesichtsbild entnommen wurde, erlangt bzw. erfasst. In Schritt S11 wird die Entfernung D aus dem obigen arithmetischen Ausdruck (1) unter Verwendung von in den Schritten S7 bis S9 erlangten bzw. erfassten Δx, θ_d , θ_f berechnet, und die Position des Gesichts 50a in dem Raum wird geometrisch berechnet.
In Schritt S12 werden die in Schritt S11 berechnete Entfernung D und der in Schritt S10 erlangte bzw. erfasste Abstand Δd zwischen den Augen einander zugeordnet bzw. in Zuordnung zueinander gespeichert. In Schritt S13, wird der Näherungsausdruck Fn zum Berechnen der Entfernung D unter Verwendung der statistischen Daten D und Δd, die in Schritt S12 gespeichert wurden, erzeugt. In Schritt S14 wird der zuletzt erzeugte Näherungsausdruck Fn auf den dieses Mal in Schritt S13 erzeugten Näherungsausdruck Fn aktualisiert. Danach kehrt der Prozess zu Schritt S2 zurück, und die oben beschriebene Reihe von Prozessen wird wiederholt. Daher wird die Aktualisierung des Näherungsausdrucks Fn in Schritt S14 jedes Mal durchgeführt, wenn der Bedienbildschirm 11a des Touch Panels 11 betätigt bzw. bedient wird.
7 veranschaulicht eine Vorrichtung zum Erfassen einer Gesichtsposition 200 gemäß einer anderen Ausführungsform der vorliegenden Erfindung. In 7 sind Teile, die mit denen in 1 identisch sind, mit identischen Bezugszeichen versehen.
In der Vorrichtung zum Erfassen einer Gesichtsposition 200 von 7 wurde der Konfiguration der Vorrichtung zum Erfassen einer Gesichtsposition 100 von 1 eine Bestimmungseinheit für einen visuell erkannten Abschnitt 15 bzw. eine Einheit zur Bestimmung eines visuell erkannten bzw. betrachteten Abschnitts 15 hinzugefügt. In dem Fall von 1 bestimmt die ECU-Seite den Abschnitt, den der Fahrer 50 visuell erkennt bzw. betrachtet. In dem Fall von 7 bestimmt die Vorrichtung zum Erfassen einer Gesichtsposition 200 den Abschnitt, den der Fahrer 50 visuell erkennt bzw. betrachtet.
In 7 ist die Bestimmungseinheit für einen visuell erkannten Abschnitt 15 zwischen einer Gesichtspositionsberechnungsvorrichtung 13 und einem CAN-Kommunikator 20 vorgesehen, und erlangt bzw. erfasst eine Entfernung D, die die Gesichtsposition in einem Raum darstellt, von der Gesichtspositionsberechnungsvorrichtung 13. Zusätzlich erlangt bzw. erfasst die Bestimmungseinheit für einen visuell erkannten Abschnitt 15 einen Blickrichtungswinkel θ_f , der eine Blickrichtung darstellt, von einem Bildanalysator 3. Wenn die Entfernung D und der Blickrichtungswinkel θ_f bestimmt werden, kann der Abschnitt, den der Fahrer 50 visuell erkennt bzw. betrachtet, bestimmt werden. Daher bestimmt die Bestimmungseinheit für einen visuell erkannten Abschnitt 15 den visuell erkannten bzw. betrachteten Abschnitt gemäß D und θ_f . Das Bestimmungsergebnis wird über einen CAN-Kommunikator 20 an eine vorbestimmte ECU gesendet. Da andere Punkte mit denen der Vorrichtung zum Erfassen einer Gesichtsposition 100 von 1 identisch sind, wird die Beschreibung der Abschnitte, die sich mit denen in 1 überschneiden, weggelassen.
8 ist ein Flussdiagramm, das den Betrieb der Vorrichtung zum Erfassen einer Gesichtsposition 200 von 7 veranschaulicht. In 8 sind Schritte, die mit denen in 6 identisch sind, mit identischen Bezugszeichen bezeichnet. Der Unterschied zwischen dem Flussdiagramm von 8 und dem von 6 ist, dass Schritt S4 in 6 durch Schritt S4a ersetzt ist und Schritt S5a nach Schritt S5 in 8 hinzugefügt ist. In Schritt S4a wird ein Blickrichtungswinkel θ_f zusätzlich zu einem Abstand Δd zwischen Augen von bzw. aus einem Gesichtsbild entnommen. In Schritt S5a wird gemäß dem in Schritt S4a entnommenen Blickrichtungswinkel θ_f und einer in Schritt S5 berechneten Gesichtsposition (Entfernung D) der Abschnitt ermittelt, den ein Fahrer 50 visuell erkennt bzw. betrachtet. Da andere Schritte mit denen in 6 identisch sind, wird die Beschreibung der Schritte, die sich mit denen in 6 überschneiden, weggelassen.
In der vorliegenden Erfindung können zusätzlich zu den oben beschriebenen Ausführungsformen verschiedene Ausführungsformen verwendet werden, die im Folgenden beschrieben werden.
In den obigen Ausführungsformen wird ein Beispiel beschrieben, bei dem der Näherungsausdruck Fn aus den statistischen Daten ermittelt wird, welche durch Zuordnung des Abstands Δd zwischen den Augen (der Positionsbeziehung der charakteristischen Punkte) zu der Entfernung D zu dem Gesicht (die Gesichtsposition in dem Raum) erhalten werden, wenn der Bedienbildschirm 11a betätigt bzw. nicht bedient wird, und die Gesichtsposition wird unter Verwendung dieses Näherungsausdrucks Fn berechnet, wenn der Bedienbildschirm 11a nicht betätigt bzw. nicht bedient wird. Die vorliegende Erfindung ist jedoch nicht darauf beschränkt. Zum Beispiel kann eine Tabelle bereitgestellt werden, die erhalten wird, indem Abstände Δd zwischen den Augen zu der Entfernung D zu einem Gesicht zugeordnet werden, die erhalten werden, wenn Betätigungen bzw. Bedienungen auf einem Bedienbildschirm 11a ausgeführt wird. Wenn der Bedienbildschirm 11a nicht betätigt bzw. nicht bedient wird, kann die Entfernung D, die dem Abstand Δd zwischen den Augen, der aus einem Gesichtsbild erhalten wird, entspricht, durch Bezugnahme auf diese Tabelle entnommen werden, um die Gesichtsposition zu berechnen.
In den obigen Ausführungsformen wird der Abstand Δd zwischen den Augen 50b, 50c als ein Beispiel der Positionsbeziehung der charakteristischen Punkte des Gesichts verwendet. Die vorliegende Erfindung ist jedoch nicht auf dieses Beispiel beschränkt. Zum Beispiel können die Entfernung zwischen den Ohren, die Entfernung zwischen Augenbrauen, die Entfernung zwischen einem Auge und einem Ohr, die Entfernung zwischen einer Nase und einem Ohr oder dergleichen als die Positionsbeziehung von charakteristischen Punkten verwendet werden. Darüber hinaus sind mindestens zwei charakteristische Punkte ausreichend; es können jedoch drei oder mehr charakteristische Punkte verwendet werden. Ferner ist die Positionsbeziehung zwischen den charakteristischen Punkten nicht auf den Abstand (Entfernung) beschränkt und kann ein Winkel sein.
In den obigen Ausführungsformen wird die Entfernung D von der Kamera 1 zu dem vorbestimmten Teil des Gesichts 50a als der Parameter verwendet, der die Gesichtsposition in dem Raum darstellt. Die vorliegende Erfindung ist jedoch nicht darauf beschränkt, und eine Entfernung D von einem anderen Abschnitt als der Kamera 1 zu einem vorbestimmten Teil des Gesichts 50a kann die Gesichtsposition in dem Raum darstellen. Darüber hinaus ist die Gesichtsposition in dem Raum nicht auf die Entfernung D beschränkt und kann durch Koordinatenwerte dargestellt werden.
In den obigen Ausführungsformen wird ein Beispiel beschrieben, bei dem die Entfernung D aus dem arithmetischen Ausdruck (1) jedes Mal berechnet wird, wenn das Touch Panel 11 betätigt bzw. bedient wird. Die vorliegende Erfindung ist jedoch nicht auf dieses Beispiel beschränkt. Zum Beispiel kann eine Entfernung D nach jeweils zwei oder drei Betätigungen bzw. Bedienungen berechnet werden. In diesem Fall wird, wenn eine Betätigung bzw. Bedienung durchgeführt wird aber die Entfernung D nicht berechnet wird, die Entfernung D anhand des Näherungsausdrucks Fn berechnet.
In den obigen Ausführungsformen wird das Touch Panel 11 als ein Beispiel der Bedieneinheit verwendet. Die Bedieneinheit kann jedoch beispielsweise eine Platine oder eine Platte sein, auf der mehrere Druckknöpfe nebeneinander angeordnet sind.
In den obigen Ausführungsformen wird ein Beispiel beschrieben, bei dem die Steuereinrichtung 30 getrennt von dem Bildanalysator 3, dem Fahrerzustandsdetektor 4, der Gesichtspositionsberechnungsvorrichtung 13 und der Einheit zum Erzeugen eines Näherungsausdrucks 14 vorgesehen wird. Der Bildanalysator 3, der Fahrerzustandsdetektor 4, die Gesichtspositionsberechnungsvorrichtung 13 und die Einheit zum Erzeugen eines Näherungsausdrucks 14 können jedoch in der Steuereinrichtung 30 eingebaut sein.
In den obigen Ausführungsformen wird die Vorrichtung zum Erfassen einer Gesichtsposition zum Erfassen des Gesichts eines Fahrzeugführers als ein Beispiel beschrieben. Die vorliegende Erfindung kann jedoch auch auf eine Vorrichtung zum Erfassen einer Gesichtsposition für andere Zwecke angewandt werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2007230369 A [0005]
JP 2012 [0005]
JP 208714 A [0005]
JP 2014049023 A [0005]

Claims

Vorrichtung zum Erfassen einer Gesichtsposition, umfassend: eine Abbildungseinheit, die dazu eingerichtet ist, ein Gesicht eines Benutzers abzubilden; eine Bedieneinheit, die einen Bedienbildschirm umfasst und dazu eingerichtet ist, eine vorbestimmte Eingabe von dem den Bedienbildschirm bedienenden Benutzer zu empfangen; einen Bildanalysator, der dazu eingerichtet ist, ein von der Abbildungseinheit abgebildetes Bild des Gesichts zu analysieren und eine Positionsbeziehung von mindestens zwei charakteristischen Punkten in dem Gesicht zu entnehmen; und eine Gesichtspositionsberechnungsvorrichtung, die dazu eingerichtet ist, eine Position des von der Abbildungseinheit abgebildeten Gesichts zu berechnen, wobei die Gesichtspositionsberechnungsvorrichtung dazu eingerichtet ist, eine Position des Gesichts in einem Raum gemäß Positionsbeziehungen zwischen dem abgebildeten Gesicht, der Abbildungseinheit und der Bedieneinheit bei Bedienung des Bedienbildschirms zu berechnen, und wobei die Gesichtspositionsberechnungsvorrichtung dazu eingerichtet ist, eine Position des Gesichts in dem Raum gemäß der Positionsbeziehung zwischen den mindestens zwei charakteristischen Punkten, die der Bildanalysator von dem abgebildeten Gesicht entnimmt, und Positionsbeziehungen zwischen mehreren Positionen des Gesichts und mehreren der mindestens zwei charakteristischen Punkte zu berechnen, die den mehreren Positionen des Gesichts entsprechen, welche bei jeweiligen Bedienungen erhalten wurden, außer bei der Bedienung.
Vorrichtung zum Erfassen einer Gesichtsposition nach Anspruch 1, wobei bei Bedienung des Bedienbildschirms, die Gesichtspositionsberechnungsvorrichtung eine Position des Gesichts in dem Raum gemäß einem Winkel des Gesichts in Bezug auf die Abbildungseinheit, einem Winkel der Blickrichtung des Benutzers, der den Bedienbildschirm betrachtet, und einer Entfernung von der Abbildungseinheit zu einem Bedienpunkt auf dem Bedienbildschirm geometrisch berechnet.
Vorrichtung zum Erfassen einer Gesichtsposition nach Anspruch 1 oder 2, die ferner eine Einheit zum Erzeugen eines Näherungsausdrucks umfasst, welche dazu eingerichtet ist, einen Näherungsausdruck zur Berechnung einer Position des Gesichts aus der Positionsbeziehung der mindestens zwei charakteristischen Punkte zu erzeugen, wobei die Einheit zum Erzeugen eines Näherungsausdrucks dazu eingerichtet ist, statistische Daten zu sammeln, die durch Zuordnung einer Positionsbeziehung der mindestens zwei charakteristischen Punkte, welche durch den Bildanalysator bei jeder Bedienung des Bedienbildschirms entnommen werden, zu einer Position des Gesichts, die von der Gesichtspositionsberechnungsvorrichtung bei jeder Bedienung des Bedienbildschirms berechnet wird, erhalten werden, und dazu eingerichtet ist, den Näherungsausdruck gemäß den statistischen Daten zu erzeugen.
Vorrichtung zum Erfassen einer Gesichtsposition nach Anspruch 3, wobei die Einheit zum Erzeugen eines Näherungsausdrucks den Näherungsausdruck jedes Mal aktualisiert, wenn der Bedienbildschirm bedient wird.
Vorrichtung zum Erfassen einer Gesichtsposition nach einem der Ansprüche 1 bis 4, ferner umfassend eine Bestimmungseinheit für einen visuell erkannten Abschnitt, die dazu eingerichtet ist, einen Abschnitt, den der Benutzer visuell erkennt, zu bestimmen, gemäß einer Position des Gesichts in dem Raum, die die Gesichtspositionsberechnungsvorrichtung berechnet, und einer Blickrichtung des Benutzers, die der Bildanalysator entnimmt.
Vorrichtung zum Erfassen einer Gesichtsposition nach einem der Ansprüche 1 bis 5, wobei die Position des Gesichts in dem Raum eine Entfernung von der Abbildungseinheit zu einem vorbestimmten Teil des Gesichts ist.
Vorrichtung zum Erfassen einer Gesichtsposition nach einem der Ansprüche 1 bis 6, wobei die Bedieneinheit aus einem Touch Panel gebildet ist.
Vorrichtung zum Erfassen einer Gesichtsposition nach Anspruch 7, wobei das Touch Panel ein Touch Panel einer an einem Fahrzeug montierten Fahrzeugnavigationsvorrichtung ist.
Vorrichtung zum Erfassen einer Gesichtsposition nach einem der Ansprüche 1 bis 8, wobei die Abbildungseinheit eine Kamera eines Fahrerüberwachungsgeräts ist, das an einem Fahrzeug montiert ist, und dazu eingerichtet ist, einen Zustand eines Fahrers zu überwachen.