DE112014006382B4

DE112014006382B4 - Anzeigesteuervorrichtung, Anzeigesteuerverfahren der Anzeigesteuervorrichtung, Augen-Blickrichtungs-Detektionssystem und Kalibrations-Steuerverfahren von Augen-Blickrichtungs-Detektionssystem

Info

Publication number: DE112014006382B4
Application number: DE112014006382.7T
Authority: DE
Inventors: Asako SHIGETA; Takahisa Aoyagi; Tetsuji Haga
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2014-02-19
Filing date: 2014-02-19
Publication date: 2019-01-17
Anticipated expiration: 2034-02-20
Also published as: CN106028913B; WO2015125243A1; DE112014006382T5; JP6214752B2; JPWO2015125243A1; CN106028913A; US9785235B2; US20160342205A1

Abstract

Anzeigesteuervorrichtung (2) zum Verwenden eines Anzeigeobjekts, das durch eine Anzeigeeinheit (3) angezeigt wird, als ein Blickzielobjekt (4) und zum Steuern der Kalibrierung einer Augen-Blickrichtung-Detektionsvorrichtung (1) basierend auf dem Blickzielobjekt (4), wobei die Anzeigesteuervorrichtung (2) umfasst:
eine Augen-Blickzustands-Bestimmungseinheit (20) zum Bestimmen, basierend auf Augen-Blickrichtungs-Detektionsinformation, welche durch die Augen-Blickrichtung-Detektionsvorrichtung (1) detektiert ist, und Anzeigeinformation des Blickzielobjekts (4), ob ein Subjekt das in Augen-Blickrichtung des Subjekts existierende Blickzielobjekt (4) anblickt,
eine Augen-Blickführungseinheit (22) zum Ausgeben von Anzeigeinformation des Blickzielobjektes (4) und von Bildschirm-Steuerinformation, die sich auf einen Anzeigemodus des Blickzielobjektes (4) bezieht, und zum Führen eines Augen-Blicks des Subjektes, durch Ändern des Anzeigemodus des Blickzielobjekts (4), wenn das Subjekt als das Blickzielobjekt (4) anblickend bestimmt ist,
eine Anzeigesteuereinheit (23) zum Ausgeben von AnzeigeSteuerinformation zum Steuern der Anzeigeeinheit (3), basierend auf der durch die Augen-Blickführungseinheit (22) ausgegebenen Bildschirm-Steuerinformation, und
eine Kalibrierungssteuerungseinheit (21) zum Ausgeben eines Kalibrierungs-Steuersignals zur Augen-Blickrichtung-Detektionsvorrichtung (1), wenn das Subjekt als das Blickzielobjekt (4) anblickend festgestellt ist,
wobei das Blickzielobjekt (4) ein Icon oder eine Taste ist, das/die durch ein als die Anzeigeeinheit (3) fungierendes intelligentes Paneel oder durch die Anzeigeeinheit einer Autonavigationsvorrichtung angezeigt ist, oder eine Markierung, die durch ein Head-Up-Display als die Anzeigeeinheit (3) angezeigt ist, und
wobei die Augen-Blickführungseinheit (22) ein erstes Blickzielobjekt (4), von dem festgestellt ist, dass es vom Subjekt angeblickt wird, und ein zweites Blickzielobjekt (4), das nachfolgend zum ersten Blickzielobjekt (4) anzublicken ist, an unterschiedlichen Positionen auf der Anzeigeeinheit (3) anordnet, und
wobei das zweite Blickzielobjekt (4) eine Bestimmungstaste zum Bestimmen einer Manipulation ist, die unter Verwendung des ersten Blickzielobjekts (4) ausgewählt ist.

Description

TECHNISCHES GEBIET
Die vorliegende Erfindung bezieht sich auf eine Anzeigesteuervorrichtung zum Steuern der Kalibrierung von Augen-Blickrichtung-Detektionsinformation, die durch eine Augen-Blickrichtung-Detektionsvorrichtung durchgeführt wird, ein Steuerverfahren der Anzeigesteuervorrichtung, ein Augen-Blickrichtungs-Detektionssystem und ein Kalibrierungs-Steuerverfahren des Augen-Blickrichtungs-Detektionssystems.
HINTERGRUND
In den letzten Jahren sind Systeme vorgeschlagen worden, die verschiedene Arten von Verarbeitung unter Verwendung einer Augen-Blickrichtung eines Subjekts (z.B. Fahrer) durchführen, die durch eine Augen-Blickrichtung-Detektionsvorrichtung detektiert worden ist. Beispielsweise sind viele Systeme vorgeschlagen worden, die die Augen-Blickrichtung-Detektionsinformation verwenden, wie etwa eine Detektionsvorrichtung zum Detektieren unaufmerksamen Fahrens und schläfrigen Fahrens und eine Mensch-Maschine-Schnittstelle (HMI, human-machine interface) zum Manipulieren eines intelligenten Paneels oder dergleichen, basierend auf einem Augen-Blick.
Zusätzlich sind verschiedene Verfahren der Augen-Blickrichtung-Detektion in der Augen-Blickrichtung-Detektionsvorrichtung vorgeschlagen worden. Ein bekanntes Verfahren ist ein Hornhaut-Reflektionsverfahren. Beim Hornhaut-Reflektionsverfahren wird ein Auge eines Detektionssubjekts mit Licht einer Infrarotlicht emittierenden Diode (Infrarot-LED) bestrahlt und wird eine Augen-Blickrichtung detektiert, basierend auf einer Positionsbeziehung zwischen einem reflektierten Bild auf der Hornhautoberfläche des Auges und der Pupille.
Die durch die Augen-Blickrichtung-Detektionsvorrichtung durchgeführte Augen-Blickrichtung-Detektion involviert allgemein Detektionsfehler, die aus individuellen Differenzen der Subjekte herrühren. Es ist daher nötig, eine Detektionsgenauigkeit sicherzustellen, indem eine sogenannte Kalibration zum Korrigieren von Detektionsfehlern jedes Subjekts ausgeführt wird. Zusätzlich, selbst im Falle eines idealen Subjekts, falls die Umgebung über die Zeit, die ab der vorherigen Kalibrierung verstreicht, variiert, kann wiederum ein Detektionsfehler erzeugt werden. Es ist daher wünschenswert, die Kalibrierung periodisch auszuführen.
Die durch eine Augen-Blickrichtung-Detektionsvorrichtung durchgeführte Kalibrierung erfordert im Wesentlichen die Messung von zwei oder mehr Referenzpunkten. Mit steigender Anzahl von gemessenen Referenzpunkten gleichen sich Variationen bei der Augen-Blickrichtung-Detektionsinformation mehr aus und verbessert sich die Kalibrierungsgenauigkeit entsprechend. Beispielsweise wird es in einer Vorrichtung mit einer rechtwinkligen Anzeigeeinheit allgemein für wünschenswert gehalten, eine Kalibrierung der Augen-Blickrichtung-Detektionsinformation prompt durchzuführen, insbesondere an vier Punkten nahe den Eckenbereichen und dem Zentralpunkt der Anzeigeeinheit, welcher die Schnittstelle von diagonalen Linien ist.
Jedoch erfordert die Messung vieler Referenzpunkte (z.B. 5 Punkte im oben beschriebenen Beispiel) eine für ein Subjekt mühsame Manipulation. Beispielsweise muss das Subjekt Augen auf jeden von 5 vordefinierten Referenzpunkte wenden, was dem Subjekt eine Bürde auferlegt. Somit wird eine Vorrichtung zur automatischen Anforderung von Kalibrierung ohne Intention eines Subjekts verlangt. Eine solche Vorrichtung wird in den nachfolgenden Dokumenten vorgeschlagen.
Beispielsweise wird in den in Patentdokumenten 1 und 2 vorgeschlagenen Vorrichtungen die Kalibrierung automatisch ausgeführt, ohne Absicht eines Fahrers unter Verwendung von Fahrzeugausrüstung, als einem Blickzielobjekt, das als ein Referenzpunkt dient.
Hier beinhalten Beispiele der als ein Blickzielobjekt verwendeten Fahrzeugausrüstung einen Innenrückspiegel, einen Seitenspiegel, ein Navigationssystem, eine Klimaanlage, ein Head-Up-Display und dergleichen.
In Patentdokument 1 wird eine Augen-Blickrichtung eines Fahrers detektiert und basierend auf dem Ergebnis wird eine Fahrzeugausrüstung, auf welche der Fahrer blickt, abgeschätzt. Dann wird die Richtung der vom Fahrer angeblickten Fahrzeugausrüstung als eine Referenz einer Augen-Blickrichtung vordefiniert und wird eine Kalibrierung basierend auf der Differenz zwischen der Referenz-Augen-Blickrichtung und der durch eine Augen-Blickrichtung-Detektionsvorrichtung detektierten Augen-Blickrichtung ausgeführt. Zusätzlich wird in Patentdokument 2 eine Kalibrierung einer Augen-Blickrichtung-Detektionsvorrichtung ausgeführt, indem ein Augen-Blick, der ermittelt wird, wenn ein Fahrer jede Vorrichtung manipuliert, mit der Position einer entsprechenden manipulierten Vorrichtung assoziiert wird. Zusätzlich offenbart Patentdokument 2 auch einen Fall des Abschätzens, basierend auf dem Verteilungszustand von Blickpunkten des Fahrers, dass das Blickzielobjekt im Zentrum des Verteilungszustands existiert.
ZITATELISTE
PATENTDOKUMENTE

Patentdokument 1: JP 2010-30361 A
Patentdokument 2: JP 1997-238905 A (JP HO9-238905 A)

ZUSAMMENFASSUNG DER ERFINDUNG
DURCH DIE ERFINDUNG ZU LÖSENDE PROBLEME
In den Patentdokumenten 1 und 2 wird von einem Fahrer aus sichtbare Fahrzeugausrüstung als ein Blickzielobjekt verwendet, zum Zwecke des Abschließens der Kalibrierung, ohne den Fahrer darauf aufmerksam zu machen.
Jedoch ist es nicht bekannt, wann die Fahrzeugausrüstung von Fahrer angeblickt wird. Es kann daher lange Zeit erfordern, bis zwei oder mehr Referenzpunkte gemessen sind.
Somit kann im in Patentdokumenten 1 und 2 offenbartem Stand der Technik eine richtige Kalibrierung nicht prompt durchgeführt werden. Als Ergebnis kann sich ein Zustand, in dem eine Augen-Blickrichtung-Detektionsinformation einen Detektionsfehler enthält, eine lange Zeit fortsetzen. Während dieser Zeitperiode gibt es keine Garantie, dass ein die oben beschriebene Augen-Blickrichtung-Detektionsvorrichtung verwendendes System genau bedient werden kann.
Zusätzlich ist in Patentdokumenten 1 und 2, da Fahrzeugausrüstung als ein Blickzielobjekt verwendet wird, die Größe des Blickzielobjekts größer als diejenige des üblicherweise zur Kalibrierung verwendeten Blickzielobjekts. Aus diesem Grund ist es unwahrscheinlich, dass der Fahrer intensiv auf beispielsweise einen vorbestimmten Referenzpunkt blickt und es gibt ein Problem, das die Variation bei der durch die Augen-Blickrichtung-Detektionsvorrichtung ermittelten Augen-Blickrichtung-Detektionsinformation groß wird. Somit, selbst falls dieselbe Fahrzeugausrüstung betrachtet wird, ist die Variation bei der Augen-Blickrichtung groß, so dass es schwierig ist, die Kalibrations-Genauigkeit zu verbessern.
Weiterhin, wenn ein Innnenrückspiegel und ein Seitenspiegel als Blickzielobjekte verwendet werden, wie in Patentdokument 2, wird ein Hindernis nicht immer im zentralen Teil des Innnenrückspiegels und des Seitenspiegels reflektiert. Somit, beispielsweise selbst falls eine als ein Referenzpunkt dienende Augen-Blickrichtung als der zentrale Teil des Innnenrückspiegels eingestellt wird, blickt der Fahrer nicht immer den zentralen Teil des Innnenrückspiegels an und als Ergebnis tritt eine Abweichung auf.
Aus diesem Grund, selbst im Falle der Detektion einer Augen-Blickrichtung unter Verwendung des Verteilungszustands von Blickpunkten, die gesammelt werden, wenn ein Fahrer ein Hindernis durch einen Spiegel betrachtet, gibt es eine hohe Wahrscheinlichkeit, dass Detektionsergebnisse beeinträchtigt sind.
Weiterhin, falls eine Kalibrierung basierend auf dem Verteilungszustand von Blickpunkten durchgeführt wird, auf welche der Fahrer geblickt hat, muss der Fahrer viele Male auf den Innnenrückspiegel oder den Seitenspiegel blicken, was Zeit erfordert.
Weiterhin, wenn ein Bedienungsschalter einer Fahrzeugvorrichtung als ein Blickzielobjekt verwendet wird, bedient der Fahrer nicht immer den Bedienschalter unter Anblicken des Zentralpunktes des Bedienschalters. In diesem Fall, falls der Bedienschalter kleiner gemacht wird, steht zu erwarten, dass die Variation bei der Augen-Blickrichtung-Detektionsinformation kleiner wird. Falls jedoch der Bedienschalter kleiner gemacht ist, gibt es Bedenken, dass die Sichtbarkeit des Bedienschalters oder die Bedienbarkeit der Vorrichtung, die den Bedienschalter verwendet, sich verschlechtert.
Die vorliegende Erfindung ist zum Lösen der oben beschriebenen Probleme gemacht worden und eine Aufgabe der vorliegenden Erfindung ist es, eine Kalibrierungs-Steuervorrichtung und eine Kalibrierungs-Steuerverfahren zu erhalten, die genau und angemessen eine Kalibrierung zur menschlichen Blickrichtungsdetektion eines Subjektes durchführen können, und ein dieselben verwendendes Augen-Blickrichtung-Detektionssystem.
Die vorliegende Erfindung ist gemacht worden, um die vorstehend genannten Probleme zu lösen und eine Aufgabe der vorliegenden Erfindung ist es, eine Anzeigesteuervorrichtung, ein Anzeigesteuerverfahren der Anzeigesteuervorrichtung, ein Augen-Blickrichtung-Detektionssystem und ein Kalibrierungs-Steuerverfahren des Augen-Blickrichtung-Detektionssystems zu erhalten, welche Kalibrierung von Augen-Blickrichtung-Detektionsinformation eines Subjektes genau und prompt durchführen können.
MITTEL ZUM LÖSEN DER PROBLEME
Eine Anzeigesteuervorrichtung gemäß der vorliegenden Erfindung wird durch die Merkmale des Anspruchs 1 definiert, ein Steuerverfahren ist in Anspruch 14 angegeben, ein Augen-Blickrichtungs-Detektionssystem gemäß Erfindung umfasst die Merkmale des Anspruchs 15, und ein Kalibrierungssteuerverfahren die Merkmale des Anspruchs 17.
Weitere vorteilhafte Ausgestaltungen sind den abhängigen Ansprüchen zu entnehmen.
EFFEKTE DER ERFINDUNG
Gemäß der vorliegenden Erfindung gibt es einen Effekt, der genaue und prompte Kalibrierung von Augen-Blickrichtung-Detektionsinformation eines Subjektes ermöglicht.
Figurenliste

1 ist ein Blockdiagramm, welches eine Konfiguration eines Augen-Blickrichtung-Detektionssystems gemäß einer ersten Ausführungsform der vorliegenden Erfindung illustriert;
2 ist ein Blockdiagramm, das eine Konfiguration einer Augen-Blickrichtung-Detektionsvorrichtung in 1 illustriert;
3 ist ein Blockdiagramm, welches eine Konfiguration einer Augen-Blickzustands-Bestimmungseinheit in 1 illustriert;
4 ist ein Blockdiagramm, das eine Konfiguration einer Kalibrierung-Steuereinheit in 1 illustriert;
5 ist ein Blockdiagramm, das eine Konfiguration einer Augen-Blick-Führungseinheit in 1 illustriert;
6 ist ein Blockdiagramm, welches eine Konfiguration einer Anzeigesteuereinheit in 1 illustriert;
7 ist ein Flussdiagramm, das einen Betrieb einer Anzeigesteuervorrichtung gemäß einer ersten Ausführungsform der vorliegenden Erfindung illustriert;
8 ist ein Diagramm, das ein Beispiel eines Anzeigebildschirms zum Durchführen von Augen-Blickführung durch Herunterskalieren eines Blickzielobjektes zu einem Referenzpunkt illustriert;
9 ist ein Diagramm, das ein Beispiel eines Anzeigebildschirms zum Durchführen von Augen-Blickführung durch Anordnen eines Blickzielobjektes und eines als Nächstes anzublickenden Zielobjekts an verschiedenen Positionen illustriert;
10 ist ein Diagramm, das ein Beispiel eines Anzeigebildschirms zum Durchführen von Augen-Blickführung durch Bewegen eines Blickzielobjekts illustriert;
11 ist ein Diagramm, welches ein anderes Beispiel eines Anzeigebildschirms zum Durchführen von Augen-Blickführung durch Bewegen eines Blickzielobjektes illustriert;
12 ist ein Diagramm, welches ein Beispiel eines Anzeigebildschirms zum Durchführen von Augen-Blickführung illustriert, wenn ein Bildschirm übergeht;
13 ist ein Flussdiagramm, welches eine Aufhebverarbeitung eines Augen-Blickführungsmodus illustriert; und
14 ist ein Blockdiagramm, welches eine Konfiguration eines Augen-Blickrichtung-Detektionssystems gemäß einer zweiten Ausführungsform der vorliegenden Erfindung illustriert.

MODI ZUM AUSFÜHREN DER ERFINDUNG
Zum detaillierteren Beschreiben der vorliegenden Erfindung werden einige Ausführungsformen zum Ausführen der vorliegenden Erfindung unten gemäß den beigefügten Zeichnungen beschrieben.
Erste Ausführungsform
1 ist ein Blockdiagramm, das eine Konfiguration eines Augen-Blickrichtung-Detektionssystems gemäß einer ersten Ausführungsform der vorliegenden Erfindung illustriert. Das in 1 illustriert Augen-Blickrichtung-Detektionssystem ist ein an einem beweglichen Körper wie etwa einem Fahrzeug montiertes System, welches eine Augen-Blickrichtung eines Fahrers detektiert, der als ein Subjekt dient, und beinhaltet eine Augen-Blickrichtung-Detektionsvorrichtung 1, eine Anzeigesteuervorrichtung 2 und ein Anzeigeeinheit 3.
Die Augen-Blickrichtung-Detektionsvorrichtung 1 ist vor dem Fahrer innerhalb eines Fahrzeuginnenraums installiert und gibt Augen-Blickrichtung-Detektionsinformation einschließlich einer Augen-Blickrichtung des Fahrers aus. Die Augen-Blickrichtung-Detektionsinformation des Subjektes, welche durch die Augen-Blickrichtung-Detektionsvorrichtung 1 detektiert worden ist, wird in beispielsweise einer Detektionsvorrichtung zum Detektieren unaufmerksamen Fahrens und schläfrigen Fahrens und einer HMI zum Manipulieren eines intelligenten Paneels oder dergleichen basierend auf einem Augen-Blick verwendet.
Die Anzeigesteuervorrichtung 2 verwendet ein durch die Anzeigeeinheit 3 angezeigtes Anzeigeobjekt als ein Zielblickobjekt und steuert die Kalibrierung der durch die Augen-Blickrichtung-Detektionsvorrichtung 1 ausgegebenen Augen-Blickrichtung-Detektionsinformation, basierend auf diesem Blickzielobjekt und enthält eine Augen-Blickzustands-Bestimmungseinheit 20, eine Kalibrierungs-Steuereinheit 21, eine Augen-Blick-Führungseinheit 22 und eine Anzeigesteuereinheit 23.
Das Blickzielobjekt ist ein durch die Anzeigeeinheit 3 angezeigtes vordefiniertes Anzeigeobjekt und wird als einen Referenzpunkt, der von dem Fahrer anzublicken ist, verwendet. Beispiele des Blickzielobjekts beinhalten ein Icon und eine Taste, die durch ein intelligentes Paneel angezeigt werden, das als eine Anzeigeeinheit fungiert, oder durch eine Anzeigeeinheit einer Autonavigationsvorrichtung und eine Markierung, die durch ein Head-Up-Display (nachfolgend als „HUD“ abgekürzt), das als Anzeigeeinheit fungiert, angezeigt wird. Zusätzlich wird der Referenzpunkt freiwillig gemäß der Anzeigeeinheit definiert und wird an einer Position eingestellt, die zum Ausführen der Kalibrierung der Augen-Blickrichtung-Detektionsinformation wünschenswert ist. Zusätzlich ist oben der Fall von 5 Referenzpunkten als ein Beispiel von Referenzpunkten beschrieben worden. Jedoch kann die Anzahl von einzustellenden Referenzpunkten kleiner als 5 sein, oder kann im Gegensatz größer als 5 sein, gemäß der anzuwendenden Anzeigeeinheit.
Die Anzeigeeinheit 3 ändert die Bildschirmanzeige gemäß der durch die Anzeigesteuervorrichtung 2 erhaltenen Anzeigesteuerinformation und ist vor dem Fahrer innerhalb des Fahrzeuginnenraums zum Beispiel installiert.
Zusätzlich kann die Anzeigeeinheit 3 eine Anzeigevorrichtung zum Anzeigen von Fahrzeuginformation, Navigationsinformation, Audio-Information, Klimaanlageninformation, etc., wie ein intelligentes Paneel sein. Zusätzlich kann die Anzeigeeinheit 3 eine Autonavigationsvorrichtung, ein Anzeigeaudio, ein HUD oder dergleichen sein.
Man beachte, dass die durch die unterbrochene Linie in 1 angegebenen Informationsflüsse lediglich in später zu beschreibenden Ausführungsformen erforderlich sind, und nicht immer erforderlich sind. Somit werden die durch unterbrochene Linien angezeigten Informationsflüsse in entsprechenden Teilen, in welchen Erläuterung davon erforderlich sind, beschrieben, und die Beschreibungen derselben werden hier weggelassen.
In 1 detektiert die Augen-Blickrichtung-Detektionsvorrichtung 1 eine Augen-Blickrichtung des Fahrers und liefert die Augen-Blickrichtung-Detektionsinformation an die Augen-Blickzustands-Bestimmungseinheit 20. Die Augen-Blickzustands-Bestimmungseinheit 20 ermittelt die Augen-Blickrichtung-Detektionsinformation und zeigt Information eines Blickzielobjektes, das aus der Augen-Blick-Führungseinheit 22 zu erhalten ist, an, was später beschrieben wird. Basierend auf diesen Informationsteilen, bestimmt die Augen-Blickzustands-Bestimmungseinheit 20, ob ein Blickzielobjekt, wie etwa das oben beschriebene Icon oder dergleichen, in der Augen-Blickrichtung des Fahrers existiert. Wenn ein Blickzielobjekt existiert, bestimmt die Augen-Blickzustands-Bestimmungseinheit 20 weiter, ob der Fahrer auf das Blickzielobjekt blickt. Die Augen-Blickzustands-Bestimmungseinheit 20 gibt die Augen-Blickzustands-Information als Ergebnis dieser Bestimmungen aus. Die Augen-Blickzustands-Information wird an die Kalibrierungs-Steuereinheit 21 und die Augen-Blick-Führungseinheit 22 gegeben.
Die Augen-Blick-Führungseinheit 22 führt den Augen-Blick des Fahrers, basierend auf den Augen-Blickzustands-Informationen. Wenn beispielsweise festgestellt wird, dass der Fahrer auf ein spezifisches Icon als ein Blickzielobjekt blickt, führt, durch Herunterskalieren des Anzeigebereichs dieses Icons zu einem Referenzpunkt, die Augen-Blick-Führungseinheit 22 den Augen-Blick des Fahrers zum Referenzpunkt. Mit anderen Worten führt durch Herunterskalieren des Anzeigebereichs dieses Icons zum Referenzpunkt die Augen-Blick-Führungseinheit 22 den Augen-Blick des Fahrers zum Referenzpunkt, ohne dass der Fahrer darauf aufmerksam würde. Dies wird in der nachfolgenden Weise implementiert. Wenn festgestellt wird, dass der Fahrer auf ein spezifisches Icon blickt, liefert die Augen-Blick-Führungseinheit 22 Bildschirmsteuerinformation an die Anzeigesteuereinheit 23, um so den Anzeigebereich des Icons zum Referenzpunkt hin herunter zu skalieren, wodurch eine Augen-Blickführung durchgeführt wird. Beim Empfangen der Bildschirmsteuerinformation erzeugt die Anzeigesteuereinheit 23 Anzeigesteuerinformation, basierend auf der Bildschirmsteuerinformation und skaliert das Icon zum Referenzpunkt auf der Anzeigeeinheit 3 herunter.
Die Augen-Blick-Führungseinheit 22 gibt des weiteren Anzeigeinformation des Blickzielobjekts aus. Die Anzeigeinformation beinhaltet eine Position eines Icons, das als ein Blickzielobjekt dient, das heißt Positionsinformation eines Referenzpunkts und dergleichen.
Die Anzeigeinformation des Blickzielobjekts wird an die Augen-Blickrichtung-Detektionsvorrichtung 1 und die Augen-Blickzustands-Bestimmungseinheit 20 gegeben. Mit anderen Worten gibt die Augen-Blickrichtung-Detektionsvorrichtung 1 Augen-Blickrichtung-Detektionsinformation aus und erhält Anzeigeinformation eines Blickzielobjekts. Zu dieser Zeit, falls die Position des Blickzielobjekts identifiziert werden kann, kann die Augen-Blickrichtung-Detektionsvorrichtung 1 die Augen-Blickrichtung des Fahrers berechnen. Somit wird die Augen-Blickrichtung-Detektionsvorrichtung 1 fähig, die Augen-Blickrichtung-Detektionsinformation basierend auf der Augen-Blickrichtung-Detektionsinformation und der Augen-Blickrichtung des Fahrers, die durch die oben beschriebene Berechnung ermittelt wird, zu kalibrieren.
Derweil werden das Ausführungs-Timing der Kalibrierung und dergleichen anhand eines Kalibrierungs-Steuersignals eingestellt, das durch die Kalibrierungs-Steuereinheit 21 an die Augen-Blickrichtung-Detektionsvorrichtung 1 zu geben ist. Spezifisch, wenn beispielsweise der Fahrer auf ein spezifisches Icon blickt, und eine vorbestimmte Zeit verstrichen ist, wird festgestellt, dass der Zustand stabil ist, basierend auf der aus der Augen-Blickzustands-Bestimmungseinheit 20 ausgegebenen Augen-Blickzustands-Information, und dann wird die Ausführungsanweisung der Kalibrierung von Augen-Blickrichtung-Detektionsinformation zu der Zeit erteilt, unter Verwendung des Kalibrierungs-Steuersignals.
Man beachte, dass die oben beschriebene Operation jeder Einheit kurz als Beispiel beschrieben worden ist und die Details derselben unten beschrieben werden. Zusätzlich werden gestrichelte Linienteile später nach Bedarf beschrieben.
2 ist ein Blockdiagramm, welches eine Konfiguration der Augen-Blickrichtung-Detektionsvorrichtung 1 in 1 zeigt. Wie in 2 illustriert, beinhaltet die Augen-Blickrichtung-Detektionsvorrichtung 1 eine Infrarot-LED (Licht-Emissions-Diode) 10, eine Augen-Blick-Detektionskamera 11, eine Augen-Blickrichtung-Detektionseinheit 12, eine Kalibrierungseinheit 13 und einen Speicher 14.
Eine Infrarot-LED 10 ist eine LED zum Emittieren von Infrarotlicht verschiedener Muster auf Augen des Fahrers. Beispielsweise emittiert die Infrarot-LED 10 Nah-Infrarotlicht, für welches menschliche Augen weniger sensitiv sind. Zusätzlich erfasst die Augen-Blick-Detektionskamera 11 ein Bild des Gesichts oder von Augen des Fahrers, das durch die Infrarot-LED 10 mit Infrarotlicht bestrahlt wird. Für die Augen-Blick-Detektionskamera 11 wird eine CCD, die Infrarotlicht oder dergleichen aufnehmen kann, verwendet.
Die Augen-Blickrichtung-Detektionseinheit 12 führt Bildanalyse von durch die Augen-Blick-Detektionskamera 11 aufgenommenen Bilddaten durch, zum Detektieren und Ausgeben von Augen-Blickrichtung-Detektionsinformation, welche die Augen-Blickrichtung angibt. Als Detektionsverfahren der Augen-Blickrichtung-Detektionsinformation ist allgemein eine Hornhaut-Reflektionsmethode, die Infrarotlicht verwendet, bekannt. Jedoch können andere Verfahren verwendet werden. Weiter kann nur die Augen-Blick-Detektionskamera 11 ohne Verwendung der Infrarot-LED 10 verwendet werden und kann die Augen-Blickrichtung durch Bildanalyse aus den aufgenommenen Bilddaten detektiert werden.
Die Kalibrierungseinheit 13 weist eine Funktion des Durchführens einer Kalibrierungsverarbeitung der durch die Augen-Blickrichtung-Detektionseinheit 12 ermittelten Augen-Blickrichtung-Detektionsinformation auf. Spezifischer führt die Kalibrierungseinheit 13 Kalibrierung von Augen-Blickrichtung-Detektionsinformation basierend auf der durch die Augen-Blickrichtung-Detektionseinheit 12 ermittelten Augen-Blickrichtung-Detektionsinformation und Anzeigeinformation des in Augen-Blickrichtung existierenden Blickzielobjekts aus. Das Ausführungs-Timing der Kalibrierung wird anhand von Kalibrierungs-Steuerinformation aus der Kalibrierungs-Steuereinheit 21 eingestellt.
Beispielsweise ermittelt die Kalibrierungseinheit 13 Augen-Blickrichtung-Detektionsinformation, welche durch die Augen-Blickrichtung-Detektionseinheit 12 ermittelt ist. Zusätzlich ermittelt die Kalibrierungseinheit 13 aus der Anzeigesteuervorrichtung 2 Anzeigeinformation des in der Augen-Blickrichtung, die durch die Augen-Blickrichtung-Detektionseinheit 12 detektiert ist, existierenden Blickzielobjekts. Beispiele der Anzeigeinformation des Blickzielobjekts beinhalten Daten zu Position, Größeninformation, Bewegungszustand und dergleichen des entsprechenden Icons oder dergleichen. Unter Verwendung dieser Informationsteile werden Kalibrierungsdaten für Augen-Blickrichtung-Detektionsinformation berechnet. Die durch die Kalibrierungseinheit 13 berechneten Kalibrierungsdaten werden in der Augen-Blickrichtung-Detektionseinheit 12 eingestellt. Zusätzlich korrigiert unter Verwendung der Kalibrierungsdaten die Augen-Blickrichtung-Detektionseinheit 12 Rechenverarbeitung des Detektierens der Augen-Blickrichtung. Kalibrierte Augen-Blickrichtung-Detektionsinformation kann dadurch berechnet werden.
Der Speicher 14 ist eine Speichereinheit zum Speichern von Information, welche für die Berechnung von Kalibrierungsdaten zu verwenden ist. Beispielsweise speichert die Kalibrierungseinheit 13 Augen-Blickrichtung-Detektionsinformation, die ermittelt wird, wenn der Fahrer auf ein vorbestimmtes Blickzielobjekt im Speicher 14 blickt. Zusätzlich speichert als Anzeigeinformation des Blickzielobjekts, welches durch die Augen-Blickrichtung-Detektionseinheit 12 detektiert wird, die Kalibrierungseinheit 13 Daten zum Anzeigebereich, die Position eines Referenzpunkts, den Bewegungszustand und dergleichen des Blickzielobjekts. Diese Informationsstücke werden im Speicher 14 als Information akkumuliert, die ermittelt wird, wenn ein identisches Blickzielobjekt betrachtet worden ist. Dann wird in der Kalibrierungseinheit 13 und dergleichen eine vorbestimmte Verarbeitung, wie etwa Berechnen eines Durchschnittswerts oder eines gleitenden Durchschnitts an den akkumulierten Informationsteilen durchgeführt. Dann werden die für das ganze Blickzielobjekt wahrscheinlichen Kalibrierungsdaten berechnet und verwendet.
Weiter, wie oben beschrieben, können alle Informationsteile, die im Speicher 14 akkumuliert und gespeichert sind, einer Verarbeitung wie etwa Mittelbildung zur Berechnung von Kalibrierungsdaten unterworfen werden. Alternativ kann durch Berechnen von Normalverteilung und dergleichen ein Teil der Information, welche eine Reliabilität eines vorbestimmten Niveaus oder größer aufweist, zur Verwendung bei der Berechnung extrahiert werden.
3 ist ein Blockdiagramm, welches eine Konfiguration der Augen-Blickzustands-Bestimmungseinheit 20 in 1 illustriert. Die Augen-Blickzustands-Bestimmungseinheit 20 bestimmt, ob der Fahrer ein Blickzielobjekt in der Augen-Blickrichtung anblickt, basierend auf der durch die Augen-Blickrichtung-Detektionsvorrichtung 1 detektierten Augen-Blickrichtung-Detektionsinformation und der Anzeigeinformation des Blickzielobjekts aus der Augen-Blick-Führungseinheit 22. Als eine Konfiguration zum Implementieren der oben beschriebenen Operation, wie in 3 illustriert, beinhaltet die Augen-Blickzustands-Bestimmungseinheit 20 eine Zielobjekt-Bestimmungseinheit 200 und eine Blickzustands-Bestimmungseinheit 201.
Die Zielobjekt-Bestimmungseinheit 200 bestimmt, ob ein Blickzielobjekt in der Augen-Blickrichtung des Fahrers existiert, basierend auf der durch die Augen-Blickrichtung-Detektionsvorrichtung 1 detektierten Augen-Blickrichtung-Detektionsinformation und der Anzeigeinformation des Blickzielobjekts aus der Augen-Blick-Führungseinheit 22.
Beispielsweise bestimmt die Zielobjekt-Bestimmungseinheit 200, ob ein Icon oder dergleichen, das als ein vorbestimmtes Blickzielobjekt dient, in einer Anzeigenregion existiert, die innerhalb eines vorbestimmten Bereichs ab der Augen-Blickrichtung des Fahrers auf der Anzeigeeinheit 3 dient. Hier wird die Phrase „innerhalb des vorbestimmten Bereichs“ verwendet, um den Bereich innerhalb eines Kreises mit einem Radius von beispielsweise etwa 4 bis 5 cm anzugeben, der auf der Anzeigeeinheit 3 um den Zentralpunkt gezeichnet ist, der auf der durch die Augen-Blickrichtung-Detektionsvorrichtung 1 detektierten Augen-Blickrichtung lokalisiert ist.
Zusätzlich wird ein Versatzfehler der Augen-Blickrichtung auf der Stufe, bei der eine Kalibrierung nie durchgeführt worden ist, groß. Es wird daher erwogen, dass, selbst falls der Fahrer auf ein Blickzielobjekt blickt, das Blickzielobjekt nicht in der Anzeigenregion beinhaltet ist, die innerhalb des oben beschriebenen vorbestimmten Bereichs der Augen-Blickrichtung des Fahrers fällt. In diesem Fall kann die Zielobjekt-Bestimmungseinheit 200 bestimmen, dass der Fahrer auf das Blickzielobjekt am nächsten in Augen-Blickrichtung geblickt hat. Zusätzlich, auch wenn eine Mehrzahl von Blickzielobjekten innerhalb des Bereichs eines Kreises mit einem Radius von 4 bis 5 cm existiert, der auf der Anzeigeeinheit 3 um den auf der Augen-Blickrichtung des Fahrers lokalisierten Zentralpunkt gezeichnet ist, wird ein an einer Position am nächsten an der Augen-Blickrichtung des Fahrers angezeigtes Anzeigeobjekt als das Blickzielobjekt verwendet.
Die Blickzustands-Bestimmungseinheit 201 bestimmt einen Fahrerzustand des Blickens auf ein Blickzielobjekt, basierend auf der durch die Augen-Blickrichtung-Detektionsvorrichtung 1 detektierten Augen-Blickrichtung-Detektionsinformation.
Beispielsweise in einem Zustand, in welchem die durch die Augen-Blickrichtung-Detektionsvorrichtung 1 detektierte Augen-Blickrichtung-Detektionsinformation weniger Variation enthält, wird festgestellt, dass der Fahrer auf das Blickzielobjekt blickt. Andererseits wird in einem Zustand, in welchem die Augen-Blickrichtung-Detektionsinformation des Fahrers signifikant variiert, festgestellt, dass der Fahrer nicht auf das Blickzielobjekt blickt, und sich der Augen-Blick bewegt. Daher wird die Bestimmung, dass der Fahrer auf das Blickzielobjekt blickt, basierend auf der Tatsache durchgeführt, dass die Augen-Blickrichtung-Detektionsinformation beispielsweise innerhalb eines Bereichs derselben Fläche wie diejenige des Anzeigebereichs des Blickzielobjekts fällt. Alternativ, selbst wenn die Augen-Blickrichtung-Detektionsinformation außerhalb des Bereichs der Fläche fällt, falls der Durchschnitt der Augen-Blickrichtung-Detektionsinformation innerhalb des Bereichs der Fläche lokalisiert ist, kann festgestellt werden, dass der Fahrer auf das Blickzielobjekt blickt.
Zusätzlich gibt die Blickzustands-Bestimmungseinheit 201 Augen-Blickzustands-Information an die Kalibrierungs-Steuereinheit 21 und die Augen-Blick-Führungseinheit 22 aus. Hier beinhaltet die Augen-Blickzustands-Information Information, die angibt, ob ein Blickzielobjekt in der Augen-Blickrichtung des Fahrers existiert und Information hinsichtlich des Blickzustands, der beinhaltet, ob der Fahrer das Blickzielobjekt anblickt.
4 ist ein Blockdiagramm, das eine Konfiguration der Kalibrierungs-Steuereinheit 21 in 1 illustriert. Die Kalibrierungs-Steuereinheit 21 erzeugt und gibt die Kalibrierungs-Steuerinformation zum Steuern der Kalibrierungsverarbeitung der Augen-Blickrichtung-Detektionsinformation des Fahrers, welche durch die Augen-Blickrichtung-Detektionsvorrichtung 1 ermittelt wird, aus. Als Konfiguration zum Implementieren der oben beschriebenen Operation, wie in 4 illustriert, beinhaltet die Kalibrierungs-Steuereinheit 21 eine Steuerbestimmungseinheit 210 und eine Steuerbefehlsausgabeeinheit 211.
Die Steuerbestimmungseinheit 210 bestimmt Steuerangelegenheiten der Kalibrierungsverarbeitung basierend auf der Augen-Blickzustands-Information, welche durch die Augen-Blickzustands-Bestimmungseinheit 20 gegeben ist, das heißt der Existenz oder Abwesenheit eines Blickzielobjekts und des Blickzustands. Zusätzlich gibt basierend auf dieser Bestimmung die Steuerbestimmungseinheit 210 angemessene Kalibrierungs-Steuerinformation an die Steuerbefehlsausgabeeinheit 211 aus.
Wenn beispielsweise detektiert wird, dass ein Blickzielobjekt in der Augen-Blickrichtung des Fahrers existiert und dass der Fahrer auf das Blickzielobjekt blickt, bestimmt die Steuerbestimmungseinheit 210, die Kalibrierung der Augen-Blickrichtung-Detektionsinformation für die Augen-Blickrichtung-Detektionsvorrichtung 1 zu starten.
In Reaktion auf diese Bestimmung gibt die Steuerbefehlsausgabeeinheit 211 Kalibrierungs-Steuerinformation, die angibt, dass eine Kalibrierung zu starten ist, an die Augen-Blickrichtung-Detektionsvorrichtung 1 aus. Spezifisch gibt die Steuerbefehlsausgabeeinheit 211 einen Kalibrierungsdatensicherungs-Startbefehl an die Augen-Blickrichtung-Detektionseinheit 12 der Augen-Blickrichtung-Detektionsvorrichtung 1 aus.
Zu dieser Zeit gibt die in 1 illustrierte Augen-Blick-Führungseinheit 22 Anzeigeinformation des Blickzielobjekts, die Positionsinformation des Blickzielobjekts, auf welches der Fahrer blickt, beinhaltet, wenn die Steuerbefehlsausgabeeinheit 211 den Kalibrierungsdatensicherungs-Startbefehl an die Augen-Blickrichtung-Detektionsvorrichtung 1 ausgibt, aus. Als Ergebnis ermittelt die Augen-Blickrichtung-Detektionseinheit 12 die detektierte Augen-Blickrichtung des Fahrers und die Position des Blickzielobjekts (den wahren Wert der Augen-Blickrichtung des Fahrers).
Zusätzlich, wie später beschrieben, beinhalten durch die Steuerbefehlsausgabeeinheit 211 ausgegebene Steuerbefehle Steuerbefehle wie etwa beispielsweise einen Kalibrierungsdatensicherungs-Startbefehl, einen Kalibrierungsdatensicherungs-Stoppbefehl, einen Kalibrierungsdaten-Rechenbefehl und einen Kalibrierungsdaten-Aktualisierungsbefehl.
5 ist ein Blockdiagramm, das eine Konfiguration der Augen-Blick-Führungseinheit 22 in 1 illustriert. Die Augen-Blick-Führungseinheit 22 führt Augen-Blickführung eines Fahrers unter Verwendung eines Blickzielobjekts durch, das festgestellt worden ist, vom Fahrer angeblickt zu werden, durch die Augen-Blickzustands-Bestimmungseinheit 20. Als eine Konfiguration zum Implementieren der oben beschriebenen Operation, wie in 5 illustriert, beinhaltet die Augen-Blick-Führungseinheit 22 eine Anzeigenanordnungs-Änderungseinheit 220 und eine Zielobjekt-Anzeigeänderungseinheit 221.
Die Anzeigenanordnungs-Änderungseinheit 220 ändert die Anzeigeanordnung eines Blickzielobjekts, basierend auf Augen-Blickzustands-Information, die aus der Augen-Blickzustands-Bestimmungseinheit 20 eingegeben wird, und aktueller Anordnungsinformation, die aus einer Anzeigezustands-Verwaltungseinheit 222 ermittelt wird.
Wenn beispielsweise der Fahrer als ein erstes Blickzielobjekt anblickend bestimmt worden ist, erzeugt die Anzeigenanordnungs-Änderungseinheit 220 Bildschirmanordnungs-Änderungsinformation zum Anordnen eines zweiten Blickzielobjekts, das nachfolgend zum ersten Blickzielobjekt anzublicken ist, an einer anderen Position als der Position des ersten Blickzielobjekts und gibt die erzeugte Bildschirmanordnungs-Änderungsinformation an die Anzeigezustands-Verwaltungseinheit 222 aus.
In einem Beispielfall ist das erste Blickzielobjekt eine Auswahltaste von Bedienobjekten und entspricht das zweite Blickzielobjekt der Bestimmungstaste zum Bestimmen eines Bedienobjekts, das unter Verwendung der Auswahltaste ausgewählt wurde. Zu dieser Zeit ordnet die Anzeigenanordnungs-Änderungseinheit 220 die Bestimmungstaste, die als das zweite Blickzielobjekt dient, auf der Diagonalen der Anzeigeeinheit 3 in Bezug auf die Auswahltaste, die als das erste Blickzielobjekt dient, an. Das heißt, dass die Anzeigenanordnungs-Änderungseinheit 220 die Anordnungsinformation der Auswahltaste, die als das erste Blickzielobjekt dient, als aktuelle Anordnungsinformation aus der Anzeigezustands-Verwaltungseinheit 222 einnimmt. Basierend auf dieser Information gibt die Anzeigenanordnungs-Änderungseinheit 220 an die Anzeigezustands-Verwaltungseinheit 222 Bildschirmanordnungs-Änderungsinformation zum Anweisen aus, dass die Bestimmungstaste, die als das zweite Blickzielobjekt dient, auf der Diagonalen der Anzeigeeinheit 3 anzuordnen ist. Basierend auf der oben beschriebenen Bildschirmanordnungs-Änderungsinformation aus der Anzeigeanordnungs-Änderungseinheit gibt die Anzeigezustands-Verwaltungseinheit 222 eine Bildschirmsteuerinformation an die Anzeigesteuereinheit 23 aus. Gleichzeitig gibt die Anzeigezustands-Verwaltungseinheit 222 Anzeigeinformation des Blickzielobjekts an die Augen-Blickzustands-Bestimmungseinheit 20 und die Augen-Blickrichtung-Detektionsvorrichtung 1 aus. Auf diese Weise führt die Augen-Blick-Führungseinheit 22 den Augen-Blick des Fahrers zum Bewegen auf der Diagonale, nachdem der Fahrer die Auswahltaste anblickt, um die Bestimmungstaste zu erreichen. Mit dieser Konfiguration kann an jedem der zwei Punkte, die Diagonalpositionen der Anzeigeeinheit 3 sind, die Kalibrierung der Augen-Blickrichtung-Detektionsinformation ausgeführt werden.
Man beachte, dass die als das erste Blickzielobjekt dienende Auswahltaste und die als das zweite Blickzielobjekt dienende Bestimmungstaste nicht gleichzeitig gezeichnet werden müssen. Beispielsweise kann im Übergang vom ersten Bildschirm, der eine Auswahltaste anzeigt, die das erste Blickzielobjekt ist, zu einem zweiten Bildschirm, der eine Bestimmungstaste anzeigt, die das zweite Blickzielobjekt ist, die Anordnung, in welche die Position der Auswahltaste auf dem ersten Bildschirm und die Position der Bestimmungstaste auf dem zweiten Bildschirm zueinander diagonal werden, verwendet werden.
Die Zielobjekt-Anzeigeänderungseinheit 221 ändert einen Anzeigemodus eines Blickzielobjekts, basierend auf aus der Augen-Blickzustands-Bestimmungseinheit 20 eingegebener Augen-Blickzustands-Information und aus der Anzeigezustands-Verwaltungseinheit 222 ermittelter aktueller Anzeigeinformation. Die Zielobjekt-Anzeigeänderungseinheit 221 erzeugt Anzeigeänderungsinformation, welche die Änderung eines Anzeigemodus anzeigt, wie etwa beispielsweise das Reduktionsverhältnis, mit welchem das Blickzielobjekt herunter skaliert wird und die Position eines Referenzpunkts, der beim Herunterskalieren gesetzt wird, und einen Bewegungswinkel (Bewegungsrichtung) und eine Bewegungsgeschwindigkeit, mit welcher das Blickzielobjekt auf einem Bildschirm bewegt wird, und gibt die erzeugte Anzeigeänderungsinformation an die Anzeigezustands-Verwaltungseinheit 222 aus.
Hier, wenn beispielsweise der Fahrer als ein Blickzielobjekt anblickend festgestellt wird, wird, indem das Blickzielobjekt zu einem Referenzpunkt herunter skaliert wird, der Augen-Blick des Fahrers so geführt, dass der Fahrer auf den Referenzpunkt blickt. Als Ergebnis wird der Blick des Fahrers zum Referenzpunkt geführt, egal welchen Teil des Blickzielobjekts der Fahrer betrachtet. Somit kann durch Ausführen der Kalibrierung unter der Annahme, dass die wahre Augen-Blickrichtung des Fahrers der Referenzpunkt ist, die Kalibrierung der Blickrichtungs-Detektionsinformation genau ausgeführt werden.
Weiter, durch Bewegen eines Blickzielobjekts, das als vom Fahrer angeblickt werdend bestimmt ist, zu einer vorbestimmten Richtung, wird der Augen-Blick des Fahrers geführt, so dass er der Bewegung des Blickzielobjekts folgt. Als Ergebnis, durch Vergleichen der Winkelinformation, die die Bewegung des Augen-Blicks anzeigt, der durch die Augen-Blickrichtung-Detektionsvorrichtung 1 detektiert wird, mit der aus der Bewegungsinformation des tatsächlich bewegten Blickzielobjekts ermittelten wahren Winkelinformation kann die Kalibrierung für den Winkel, um welchen der Augen-Blick sich geändert hat, ausgeführt werden.
Zusätzlich empfängt die Anzeigezustands-Verwaltungseinheit 222 die oben beschriebene Bildschirmanordnungs-Änderungsinformation oder Anzeigeinformation und erzeugt Bildschirmsteuerinformation, basierend auf diesen Informationsstücken, um die erzeugte Bildschirmsteuerinformation der Anzeigesteuereinheit 23 zuzuführen. Gleichzeitig gibt die Anzeigezustands-Verwaltungseinheit 222 Anzeigeinformation des Blickzielobjekts zu der Augen-Blickzustands-Bestimmungseinheit 20 und der Augen-Blickrichtung-Detektionsvorrichtung 1 aus.
6 ist ein Blockdiagramm, das eine Konfiguration der Anzeigesteuereinheit 23 in 1 illustriert. Die Anzeigesteuereinheit 23 steuert die Anzeige der Anzeigeeinheit 3. Zusätzlich leitet die Anzeigesteuereinheit 23 den Augen-Blick eines Fahrers auf die Anzeigeeinheit 3 durch Erzeugen von Anzeigesteuerinformation anhand der aus der Augen-Blick-Führungseinheit 22 eingegebenen Bildschirmsteuerinformation und Zuführen der erzeugten Anzeigesteuerinformation an die Anzeigeeinheit 3. Als eine Konfiguration zum Implementieren der oben beschriebenen Operation, wie in 6 illustriert, beinhaltet die Anzeigesteuereinheit 23 eine Bildschirmsteuerinformations-Verarbeitungseinheit 230 und eine Anzeigenausgabeeinheit 231.
Basierend auf der aus der Augen-Blick-Führungseinheit 22 eingegebenen Bildschirmsteuerinformation erzeugt die Bildschirmsteuerinformations-Verarbeitungseinheit 230 Anzeigeinformation, um so eine Anzeige gemäß der Bildschirmsteuerinformation durchzuführen und gibt die erzeugte Anzeigeinformation an die Anzeigenausgabeeinheit 231 aus.
Basierend auf der aus der Bildschirmsteuerinformations-Verarbeitungseinheit 230 eingegebenen Anzeigeinformation erzeugt die Anzeigenausgabeeinheit 231 Anzeigesteuerinformation und gibt die erzeugte Anzeigesteuerinformation an die Anzeigeeinheit 3 aus. Als Ergebnis, basierend auf der durch die Bildschirmsteuerinformations-Verarbeitungseinheit 230 erzeugten Anzeigeinformation, führt die Anzeigeeinheit 3 eine Anzeige zum Führen des Augen-Blicks des Fahrers durch.
Jede von der Augen-Blickzustands-Bestimmungseinheit 20, der Kalibrierungs-Steuereinheit 21, der Augen-Blick-Führungseinheit 22 und der Anzeigesteuereinheit 23 können als ein spezifisches Mittel implementiert werden, in welchem Hardware und Software miteinander kooperieren, beispielsweise durch einen Mikrocomputer, der ein Programm ausführt, in welchem eine Verarbeitung, die für die erste Ausführungsform spezifisch ist, beschrieben ist. Man beachte, dass das oben beschriebene Programm beispielsweise in den Nurlesespeicher (ROM), der elektrisch mit dem Mikrocomputer verbunden ist, geschrieben werden kann. Zusätzlich kann das RAM (Wahlfreizugriffsspeicher), welches elektrisch mit dem Mikrocomputer verbunden ist, als eine Speichervorrichtung zum zeitweiligen Speichern von Ergebnissen der verschiedenen durch den Mikroprozessor ausgeführten Berechnungen verwendet werden.
Als Nächstes wird ein Betrieb beschrieben.
7 ist ein Flussdiagramm, das einen Betrieb der Anzeigesteuervorrichtung 2 gemäß der ersten Ausführungsform der vorliegenden Erfindung illustriert. 7 illustriert ein Beispiel der Durchführung der Kalibrierung von Augen-Blickrichtung-Detektionsinformation eines Fahrers, die durch die in 1 illustrierte Augen-Blickrichtung-Detektionsvorrichtung 1 detektiert wird. Hier wird angenommen, dass der Betrieb der Flussdiagramms in 7 bei Schlüsseleinschalten gestartet wird.
Zusätzlich, wenn Strom an jede Konfiguration des in 1 illustrierten Augen-Blickrichtung-Detektionssystems angelegt wird, wird angenommen, dass eine erforderliche Initialisierungs-Verarbeitung ausgeführt wird, als Vorverarbeitung in sowohl der Augen-Blickrichtung-Detektionsvorrichtung 1, als auch der Anzeigesteuervorrichtung 2 und der Anzeigeeinheit 3. In der Initialisierung kann die Kalibrierungseinheit 13 der Augen-Blickrichtung-Detektionsvorrichtung 1 Kalibrierungsdaten, die bereits im Speicher 14 registriert sind, einlesen und die eingelesenen Kalibrierungsdaten in der Augen-Blickrichtung-Detektionseinheit 12 einstellen.
Nach Abschluss der Initialisierungs-Verarbeitung startet die Augen-Blickrichtung-Detektionsvorrichtung 1 die Augen-Blickrichtung-Detektion des Fahrers und gibt sequentiell die ermittelte Augen-Blickrichtung-Detektionsinformation an die Anzeigesteuervorrichtung 2 aus.
Basierend auf der aus der Augen-Blickrichtung-Detektionsvorrichtung 1 eingegebenen Augen-Blickrichtung-Detektionsinformation und Anzeigeinformation eines Blickzielobjekts, welches durch die Augen-Blick-Führungseinheit 22 gegeben wird, bestimmt die Augen-Blickzustands-Bestimmungseinheit 20 der Anzeigesteuervorrichtung 2, ob ein Blickzielobjekt in einer Anzeigeregion der Anzeigeeinheit 3 existiert, die nahe der Augen-Blickrichtung des Fahrers lokalisiert ist, und der Fahrer im Blickzustand des Blickens auf das Blickzielobjekt ist (Schritt ST1).
Spezifisch, basierend auf der durch die Augen-Blickrichtung-Detektionsvorrichtung 1 detektierten Augen-Blickrichtung-Detektionsinformation und der Anzeigeinformation des Blickzielobjekts, das aus der Augen-Blick-Führungseinheit 22 eingegeben worden ist, bestimmt die Zielobjekt-Bestimmungseinheit 200 der Augen-Blickzustands-Bestimmungseinheit 20, ob ein vom Fahrer angeblicktes Blickzielobjekt bei den aktuell durch die Anzeigeeinheit 3 angezeigten Blickzielobjekten existiert.
Beispielsweise wie oben beschrieben, wenn ein Blickzielobjekt in einem Blickrichtung eines Kreises mit einem Radius von 4 bis 5 cm existiert, der auf die Anzeigeeinheit 3 um die Augen-Blickrichtung des Fahrers herum gezeichnet ist, wird festgestellt, dass das Blickzielobjekt in der Anzeigeregion der Anzeigeeinheit 3 existiert, die nahe der Augen-Blickrichtung des Fahrers lokalisiert ist. Jedoch wird in einem Fall, bei dem Kalibrierung der Augen-Blickrichtung-Detektionsvorrichtung 1 niemals durchgeführt worden ist, das an einer Position am nächsten an der Augen-Blickrichtung des Fahrers angezeigte Anzeigeobjekt als das Blickzielobjekt verwendet. Zusätzlich, auch wenn eine Mehrzahl von Blickzielobjekten innerhalb eines Bereichs eines Kreises mit einem Radius von 4 bis 5 cm existiert, der auf die Anzeigeeinheit 3 um die Augen-Blickrichtung des Fahrers herum gezeichnet wird, wird das an einer Position am nächsten an der Augen-Blickrichtung des Fahrers angezeigte Anzeigeobjekt als das Blickzielobjekt verwendet.
Wenn beispielsweise die Variation bei der Augen-Blickrichtung-Detektionsinformation des Fahrers innerhalb eines vorbestimmten Bereichs verbleibt (z.B. innerhalb eines Bereichs mit einer Fläche im Wesentlichen gleich der Anzeigenfläche des Blickzielobjekts), bis eine vorbestimmte Zeit (z.B. 0,5 s) verstreicht, wird festgestellt, dass der Fahrer das Blickzielobjekt anblickt. Alternativ, wenn ein Durchschnittswert von Bewegungsbeträgen des Augen-Blicks in einer vorbestimmten Zeit innerhalb eines Bereichs liegt, der diese Fläche aufweist, wird festgestellt, dass der Fahrer das Blickzielobjekt anblickt.
Wenn kein Blickzielobjekt nahe der Augen-Blickrichtung des Fahrers existiert, oder der Fahrer ersichtlich nicht das Blickzielobjekt nahe der Augen-Blickrichtung anblickt (Schritt ST1, NEIN), geht die Verarbeitung zur Verarbeitung im Schritt ST1 zurück und wird die oben beschriebene Bestimmung wiederholt.
Wenn andererseits ein Blickzielobjekt nahe der Augen-Blickrichtung des Fahrers existiert und der Fahrer das Blickzielobjekt anblickt (Schritt ST1, JA), gibt die Augen-Blickzustands-Bestimmungseinheit 20 an die Augen-Blick-Führungseinheit 22 Information über die Existenz oder Abwesenheit eines Blickzielobjekts, welches der Fahrer anblickt (falls ein solches Blickzielobjekt existiert, wird eine Identifikationsnummer des Blickzielobjekts als die Information ausgegeben) und den Blickzustand desselben aus.
Basierend auf dem Blickzielobjekt, das als vom Fahrer angeblickt festgestellt wird, erzeugt die Augen-Blick-Führungseinheit 22 Bildschirmsteuerinformation zur Anweisung der Augen-Blickführung des Fahrers und gibt die erzeugte Bildschirmsteuerinformation an die Anzeigesteuereinheit 23 aus (Schritt ST2). Dann gibt anhand der aus der Augen-Blick-Führungseinheit 22 eingegebenen Bildschirmsteuerinformation die Anzeigesteuereinheit 23 ein Anzeigesteuersignal zur Anzeigeeinheit 3 aus, um so die Anzeigeeinheit 3 zu veranlassen, eine Anzeige zum Führen des Augen-Blicks des Fahrers durchzuführen (Schritt ST3).
Nachfolgend wird sowohl der Betrieb der Zielobjekt-Anzeigeänderungseinheit 221 als auch der Betrieb der Anzeigenanordnungs-Änderungseinheit 220 beschrieben.
Zuerst erzeugt die Zielobjekt-Anzeigeänderungseinheit 221 der Augen-Blick-Führungseinheit 22 Anweisungsinformation zum Ändern eines Anzeigemodus eines Blickzielobjekts, basierend auf dem Blickzustand des Blickzielobjekts.
Beispielsweise basierend auf der aus der Augen-Blickzustands-Bestimmungseinheit 20 erhaltenen Augen-Blickzustands-Information wird ein Blickzielobjekt, das als vom Fahrer angeblickt festgestellt wird, aus der Identifikationsnummer des Blickzielobjekts identifiziert. Dann weist die Zielobjekt-Anzeigeänderungseinheit 221 eine Funktion des Erzeugens, wenn detektiert wird, dass das Blickzielobjekt nicht herunter skaliert ist, basierend auf der aktuellen Anzeigeinformation des identifizierten Blickzielobjekts, von Anzeigeänderungsinformation zum Durchführen der Anzeige, um so das Blickzielobjekt zu einem vordefinierten Referenzpunkt herunter zu skalieren. Alternativ hat die Zielobjekt-Anzeigeänderungseinheit 221 eine Funktion des Erzeugens von Anzeigeänderungsinformation zum Bewegen eines Blickzielobjekts auf der Anzeigeeinheit 3, basierend auf der aktuellen Anzeigeinformation des identifizierten Blickzielobjekts. Basierend auf diesen Teilen von Anzeigeänderungsinformation erzeugt die Anzeigezustands-Verwaltungseinheit 222 Bildschirmsteuerinformationen und gibt die erzeugten Bildschirmsteuerinformationen an die Anzeigesteuereinheit 23 aus. Hier ist die Bildschirmsteuerinformation bezüglich des identifizierten Blickzielobjekts beispielsweise Information über ein Verkleinerungsverhältnis, mit welchem das Blickzielobjekt herunter skaliert wird, der Position eines Referenzpunkts, der beim Herunterskalieren eingestellt wird, der Geschwindigkeit des Herunterskalierens oder dergleichen, oder Information, die den Bewegungswinkel (Bewegungsrichtung) und die Bewegungsgeschwindigkeit, mit welcher das Blickzielobjekt auf dem Bildschirm bewegt wird, angibt. Basierend auf der aus der Augen-Blick-Führungseinheit 22 eingegebenen Bildschirmsteuerinformation erzeugt die Bildschirmsteuerinformations-Verarbeitungseinheit 230 der Anzeigesteuereinheit 23 Anzeigeinformation, um die Anzeigeeinheit 3 zu veranlassen, eine Anzeige gemäß der Bildschirmsteuerinformation durchzuführen, und gibt die erzeugte Anzeigeinformation an die Anzeigenausgabeeinheit 231 aus. Bei Empfangen der Anzeigeinformation erzeugt die Anzeigenausgabeeinheit 231 Anzeigesteuerinformation und gibt die erzeugte Anzeigesteuerinformation an die Anzeigeeinheit 3 aus. Dann wird der Anzeigemodus des Blickzielobjekts auf der Anzeigeeinheit 3 zu einem Anzeigemodus zum Führen des Augen-Blicks des Fahrers verändert. Die Details der Anzeige werden später unter Verwendung von 8, 10 und 11 beschrieben.
Zusätzlich ändert, basierend auf der Identifikationsnummer und dem Blickzustand des Blickzielobjekts, von dem festgestellt ist, dass es der Fahrer anblickt, die Anzeigeanordnungs-Änderungseinheit 220 der Augen-Blick-Führungseinheit 22 die Anordnung auf der Anzeigeeinheit 3 des Blickzielobjekts, das nachfolgend angeblickt werden soll, zu dem Blickzielobjekt, das als angeblickt festgestellt ist.
Wenn beispielsweise das Blickzielobjekt aus der Identifikationsnummer des Blickzielobjekts bestimmt wird, ein Anzeigeobjekt eines vorbestimmten Typs zu sein, beispielsweise eine Auswahltaste, die sich auf ein Manipulationsobjekt des Auswählens einer Funktion bezieht, wird das Blickzielobjekt als das erste Blickzielobjekt verwendet. Zusätzlich wird die Bestimmungstaste zum Bestimmen eines Manipulationsobjektes, das nachfolgend zur Auswahltaste anzublicken ist, als das zweite Blickzielobjekt verwendet. In diesem Fall weist die Anzeigenanordnungs-Änderungseinheit 220 eine Funktion des Ermittelns aktueller Anzeigeinformation aus der Anzeigezustands-Verwaltungseinheit 222, Erzeugen von Bildschirmanordnungs-Änderungsinformation zum Anordnen des zweiten Blickzielobjekts an einer anderen Position als der Position des ersten Blickzielobjekts, basierend auf der ermittelten aktuellen Anzeigeinformation, und Ausgeben der erzeugten Bildschirmanordnungs-Änderungsinformation an die Anzeigezustands-Verwaltungseinheit 222 auf. Die Anzeigezustands-Verwaltungseinheit 222 erzeugt Bildschirmsteuerinformation, basierend auf der Bildschirmanordnungs-Änderungsinformation und gibt die erzeugte Bildschirmsteuerinformation an die Anzeigesteuereinheit 23 aus.
Basierend auf der Bildschirmsteuerinformation, die aus der Augen-Blick-Führungseinheit 22 eingegeben ist, erzeugt die Bildschirmsteuerinformations-Verarbeitungseinheit 230 der Anzeigesteuereinheit 23 Anzeigeinformation, um die Anzeigeeinheit 3 zu veranlassen, eine Anzeige gemäß der Bildschirmsteuerinformation durchzuführen und gibt die erzeugte Anzeigeinformation an die Anzeigenausgabeeinheit 231 aus. Beim Empfangen der Anzeigeinformation erzeugt die Anzeigenausgabeeinheit 231 Anzeigesteuerinformation und gibt die erzeugte Anzeigesteuerinformation an die Anzeigeeinheit 3 aus. Die Details der Anzeige werden später unter Verwendung von 9 und 12 beschrieben.
Die Augen-Blick-Führungseinheit 22 gibt Anzeigeinformation des Blickzielobjekts einschließlich der Position des Blickzielobjekts an die Augen-Blickzustands-Bestimmungseinheit 20 aus und gibt auch die Anzeigeinformation an die Augen-Blickrichtung-Detektionsvorrichtung 1 aus (Schritt ST4). Die Augen-Blickrichtung-Detektionsvorrichtung 1 erhält dadurch Augen-Blickrichtung-Detektionsinformation und Anzeigeinformation des Blickzielobjekts, welche die wahre Augen-Blickrichtung angibt. Somit, indem sie beide verglichen werden, kann die Augen-Blickrichtung-Detektionsvorrichtung 1 eine Berechnung der Kalibrierung ausführen, um so die Augen-Blickrichtung-Detektionsinformation an die wahre Augen-Blickrichtung anzugleichen.
Die Kalibrierungs-Steuereinheit 21 gibt ein Kalibrierungs-Steuersignal an die Augen-Blickrichtung-Detektionsvorrichtung 1 aus (Schritt ST5). Beispielsweise, nachdem bestimmt worden ist, dass der Fahrer ein Blickzielobjekt anblickt (Schritt ST1) und die Anzeigeeinheit 3 eine Anzeige für Augen-Blickführung durchführt (Schritt ST2, Schritt ST3), gibt die Kalibrierungs-Steuereinheit 21 einen Kalibrierungsdatensicherungs-Startbefehl zum Anweisen der Augen-Blickrichtung-Detektionsvorrichtung 1, das Messen von Kalibrierungsdaten zu starten, und die gemessenen Kalibrierungsdaten zu speichern, aus. Hier beziehen sich die Kalibrierungsdaten auf Information, die zum Ausführen einer Kalibrierung der Augen-Blickrichtung-Detektionsinformation erforderlich ist, und beziehen sich beispielsweise auf Information, die sich auf eine Differenz zwischen der Augen-Blickrichtung-Detektionsinformation und der wahren Augen-Blickrichtung des Fahrers bezieht.
Die Augen-Blickrichtung-Detektionsvorrichtung 1 misst dadurch Kalibrierungsdaten bei einer Frequenz von beispielsweise 30 Mal pro Sekunde (30 Hz) und sichert die gemessenen Kalibrierungsdaten im Speicher 14. Es ist anzumerken, dass eine ausreichende Anzahl von Abtastungen, die im Speicher 14 zu speichern sind, etwa 30 an jedem Referenzpunkt beträgt. Das heißt, dass nachdem festgestellt wird, dass der Augen-Blick in 0,5 Sekunden stabilisiert ist, was eine Bedingung dafür ist, zu bestimmen, dass der Fahrer darauf blickt, kann die Kalibrierung am Referenzpunkt in etwa 1 Sekunde beendet werden. Somit ist es ausreichend, dass die Kalibrierungs-Steuereinheit 21 einen Kalibrierungsdatensicherungs-Stoppbefehl nach einer vorbestimmten Zeit (z.B. 1 bis 2 Sekunden) von dann, wenn die Kalibrierungs-Steuereinheit 21 den oben beschriebenen Kalibrierungsdatensicherungs-Startbefehl ausgibt, ausgibt. In Reaktion auf den Kalibrierungsdatensicherungs-Stoppbefehl wird das Sichern der Kalibrierungsdaten in den Speicher 14 gestoppt.
Falls Proben von Kalibrierungsdaten gesammelt werden, kann die Kalibrierungseinheit 13 zuverlässige Kalibrierungsdaten berechnen. Somit gibt nach Ausgeben des Kalibrierungsdatensicherungs-Stoppbefehls die Kalibrierungs-Steuereinheit 21 einen Kalibrierungsdaten-Rechenbefehl an die Augen-Blickrichtung-Detektionsvorrichtung 1 aus. Basierend auf dem Kalibrierungsdaten-Rechenbefehl berechnet die Kalibrierungseinheit 13 Kalibrierungsdaten. Dann werden die ermittelten Kalibrierungsdaten in den Speicher 14 übertragen und Speicherung oder Informationsaktualisierung wird durchgeführt. Somit gibt nachfolgend zum Kalibrierungsdaten-Rechenbefehl die Kalibrierungs-Steuereinheit 21 einen Kalibrierungsdaten-Aktualisierungsbefehl an die Augen-Blickrichtung-Detektionsvorrichtung 1 aus (Schritt ST5).
Wie oben beschrieben, beinhalten Steuerbefehle in Schritt ST5 einen Kalibrierungsdatensicherungs-Startbefehl, einen Kalibrierungsdatensicherungs-Stoppbefehl, einen Kalibrierungsdaten-Rechenbefehl, einen Kalibrierungsdaten-Aktualisierungsbefehl und dergleichen.
Zusätzlich wird in der obigen Beschreibung der Kalibrierungsdatensicherungs-Stoppbefehl ausgegeben, nach der vorbestimmten Zeit von 1 bis 2 Sekunden nach der Ausgabe des Kalibrierungsdatensicherungs-Startbefehls. Nichts desto weniger, wenn festgestellt wird, dass der Fahrer das Anblicken des Blickzielobjekts vor dem Verstreichen der vorbestimmten Zeit stoppt, wird ein Kalibrierungsdatensicherungs-Stoppbefehl prompt ausgegeben. Dies liegt daran, dass in einem Zustand, in welchem der Fahrer nicht ein Blickzielobjekt anblickt, eine Kalibrierung von Augen-Blickrichtung-Detektionsinformation für das Blickzielobjekt nicht ausgeführt werden kann.
Alternativ kann die folgende Verarbeitung verwendet werden: der Kalibrierungsdatensicherungs-Startbefehl wird in Reaktion auf das Drücken eines vorbestimmten Schalters durch den Fahrer ausgegeben und der Kalibrierungsdatensicherungs-Stoppbefehl wird in Reaktion auf das Drücken des Schalters erneut ausgegeben. Dies liegt daran, dass, weil eine Kalibrierung basierend auf der Absicht des Fahrers ausgeführt wird, vom Fahrer angenommen wird, dass er ein Blickzielobjekt während der Periode anblickt.
Weiterhin kann im Falle einer Vorrichtung, in welcher, nachdem der Fahrer eine Manipulationstaste angelegt hat, das Manipulationsobjekt durch Drücken einer Bestimmungstaste zum Bestimmen dieses Manipulationsobjektes bestimmt ist, die folgende Verarbeitung verwendet werden: der Kalibrierungsdatensicherungs-Startbefehl wird ausgegeben, wenn der Augen-Blick des Fahrers sich vom Blick auf die Manipulationstaste wegbewegt hat und es wird festgestellt, dass der Fahrer auf die Bestimmungstaste blickt; und es wird der Kalibrierungsdatensicherungs-Stoppbefehl ausgegeben, wenn der Fahrer die Bestimmungstaste drückt. Dies liegt daran, dass, wenn der Fahrer die Bestimmungstaste drückt, festgestellt wird, dass die vorbestimmte Zeit von etwa 1 bis 2 Sekunden ausreichend verstrichen ist, seit festgestellt wurde, dass der Fahrer die Bestimmungstaste anblickt, bis die Bestimmungstaste gedrückt wird.
Die Augen-Blickrichtung-Detektionseinheit 12 korrigiert die Rechenverarbeitung des Detektierens einer Augen-Blickrichtung unter Verwendung der Kalibrierungsdaten, welche durch die oben beschriebene Verarbeitung erhalten werden. Eine kalibrierte Augen-Blickrichtungsdetektion kann dadurch für jeden Fahrer ausgeführt werden.
Zusätzlich, selbst im Falle eines identischen Fahrers, falls die Umgebung mit der Zeit, die ab der Ausführung der Kalibrierung, verstreicht, kann wiederum ein Detektionsfehler erzeugt werden. Somit ist es wünschenswert, eine Kalibrierungsverarbeitung periodisch oder zu einem Zeitpunkt auszuführen, gemäß jedem vorbestimmten Auslöser (z.B. wenn der Fahrer in das Fahrzeug gelangt oder dergleichen). In dieser ersten Ausführungsform wird das Flussdiagramm in 7 ausgelöst durch Taste-Ein ausgeführt. Somit wird die Kalibrierung der Augen-Blickrichtung-Detektionsinformation jedes Mal durchgeführt, wenn Taste-Ein durchgeführt wird. Es ist anzumerken, dass der Anforderungsauslöser der Kalibrierung nicht auf Taste-Ein beschränkt ist und verschiedene Modi von Fachleuten erdacht werden können.
Als Nächstes wird eine Augen-Blickführungs-Verarbeitung unter Verwendung eines spezifischen Beispiels beschrieben.
8 ist ein Diagramm, das ein Beispiel eines Anzeigebildschirms zum Durchführen einer Augen-Blickführung durch Herunterskalieren eines Blickzielobjekts illustriert. 8(a) illustriert einen Fall, in welchem die Anzeigeeinheit 3 eine Instrumentenpaneel-Anzeige ist, die auf einem Instrumentenpaneel (nachfolgend als „IP“ abgekürzt) angeordnet ist, die am Fahrersitz bereitgestellt wird. Zusätzlich illustriert 8(b) einen Fall, in welchem die Anzeigeeinheit 3 ein HUD zum Projektionsanzeigen von Informationen auf einer Windschutzscheibe ist, das vor dem Fahrersitz bereitgestellt ist, eine Projektionsplatte, die zwischen dem Lenkrad und der Windschutzscheibe vorgesehen ist, oder dergleichen. Die Augen-Blickrichtung-Detektionsvorrichtung 1 ist an einer Position nahe der Anzeigeeinheit 3 vorgesehen, die zum Fahrer weist, und emittiert Licht einer Infrarot-Lichtemissionsdiode an den Fahrer.
In der vorliegenden Ausführungsform, wie in 8(a) und 8(c) illustriert, wird ein durch die Anzeigeeinheit 3 auf einem Anzeigebildschirm 3a anzuzeigendes Anzeigeobjekt als ein Blickzielobjekt 4, welches durch den Fahrer anzublicken ist, verwendet. Beispielsweise wird ein vordefiniertes Icon-Bild, Tastenbild, Markierung oder dergleichen als das Blickzielobjekt 4 verwendet und wird die Identifikationsnummer zum Identifizieren jeder dieser Anzeigeobjekte in der Augen-Blick-Führungseinheit 22 eingestellt.
Es ist anzumerken, dass als das Blickzielobjekt 4 jedes auf der Anzeigeeinheit 3 angezeigte Anzeigeobjekt als ein Blickzielobjekt verwendet werden kann, oder ein vorbestimmtes Anzeigeobjekt als das Blickzielobjekt verwendet werden kann. Zusätzlich, wie durch eine gestrichelte Linie in 8(a) oder 8(b) abgegeben, kann das Blickzielobjekt 4 auf dem zentralen Teil der Anzeigeeinheit 3 eingestellt sein.
Wenn die Augen-Blickzustands-Bestimmungseinheit 20 feststellt, dass der Fahrer ein gewisses Blickzielobjekt 4 aus auf dem Anzeigebildschirm 3a angezeigten Blickzielobjekten 4 anblickt, erzeugt die Zielobjekt-Anzeigeänderungseinheit 221 der Augen-Blick-Führungseinheit 22 Anzeigeänderungsinformation zum Herunterskalieren dieses Blickzielobjekts 4, das von dem Fahrer angeblickt wird, zu einem Referenzpunkt. Die Anzeigeänderungsinformation ist Information über das Verkleinerungsverhältnis des Herunterskalierens des Blickzielobjekts 4, der Position des Referenzpunkts, der beim Herunterskalieren eingestellt wird, der Geschwindigkeit des Herunterskalierens oder dergleichen.
Basierend auf der Anzeigeänderungsinformation und aktueller Anzeigeinformation erzeugt die Anzeigezustands-Verwaltungseinheit 222 Bildschirmsteuerinformation und gibt die erzeugte Bildschirmsteuerinformation an die Anzeigesteuereinheit 23 aus. Beim Empfangen der Bildschirmsteuerinformation erzeugt die Anzeigesteuereinheit 23 Anzeigesteuerinformation und gibt die erzeugte Anzeigesteuerinformation an die Anzeigeeinheit 3 aus. Als Ergebnis, im Falle der in 8(a) illustrierten IP-Anzeige, wird ein oberes linkes Blickzielobjekt 4 auf solche Weise angezeigt, dass es graduell zum Zentrum desselben herunterskaliert wird. Ähnlich wird im Falle des in 8(b) illustrierten HUD ein oberes rechtes Blickzielobjekt 4 auf solche Weise angezeigt, dass es graduell zu einem Zentrum desselben herunterskaliert wird. Hier wird als die Herunterskalieranzeige des Blickzielobjekts 4 jene in 8(c) illustrierte erwogen werden können. Als eine von der Herunterskalieranzeige wird das Zentrum des Blickzielobjekts 4 als der Referenzpunkt eingestellt und wird das Blickzielobjekt 4 angezeigt, während es graduell zum Referenzpunkt herunterskaliert wird. Alternativ, wenn das Blickzielobjekt eine rechteckige Form aufweist, wird irgendein Punkt von vier Ecken des Rechtecks als der Referenzpunkt eingestellt und wird das Blickzielobjekt 4 angezeigt, während es graduell zum Referenzpunkt herunterskaliert wird. Das heißt, dass beim Herunterskalieren des Blickzielobjekts das Blickzielobjekt nicht notwendigerweise zum Zentrum des Blickzielobjekts herunterskaliert werden muss. Auf diese Weise blickt der Fahrer auf das Blickzielobjekt, und nachfolgend wird der Augen-Blick des Fahrers zum Referenzpunkt geführt, durch die Anzeigeänderung, in welcher die Anzeigegröße des Blickzielobjekts herunterskaliert wird.
Folglich kommt der Fahrer dazu, den Referenzpunkt des Blickzielobjekts 4 anzublicken, so dass die Kalibrierungsgenauigkeit der Augen-Blickrichtung-Detektionsinformation im Referenzpunkt verbessert wird.
9 ist ein Diagramm, das ein Beispiel eines Anzeigebildschirms zum Durchführen von Augen-Blickführung illustriert, indem ein Blickzielobjekt und ein als Nächstes anzublickendes Zielobjekt an unterschiedlichen Positionen angeordnet werden, und 9(a) und 9(b) illustrieren einen Fall, in welche die Anzeigeeinheit 3 eine IP-Anzeige ist. In den 9(a) und 9(b) ist eine Mehrzahl von Auswahltasten, die als die ersten Blickzielobjekte dienen, auf der linken Seite des Anzeigebildschirms angeordnet. Andererseits sind die Bestimmungstaste 4b und die Abbruchtaste 4c, die als zweite Blickzielobjekte dienen, auf der unteren rechten Ecke bzw. der oberen rechten Ecke des Bildschirms angeordnet. Hier, wie oben beschrieben, ist die Auswahltaste eine Taste, die ein Funktionsobjekt repräsentiert, und ist die Bestimmungstaste eine Taste zum Bestimmen des unter Verwendung der Auswahltaste ausgewählten Funktionsobjekts. Zusätzlich ist die Abbruchtaste eine Taste zum Abbrechen des Funktionsobjekts, das durch die Auswahltaste ausgewählt ist, und eine Taste zum Aufheben einer Taste, die einmal zum Auswählen einer anderen Auswahltaste ausgewählt ist.
Hier, wenn der Fahrer die obere linke Auswahltaste 4a als das erste Blickzielobjekt anblickt, wird die Auswahltaste 4a auf solche Weise angezeigt, dass sie graduell herunterskaliert wird, und werden Kalibrierungsdaten für die Auswahltaste 4a in diesem Zustand erfasst. Dies wird durch Durchführen der nachfolgenden Sequenz ausgeführt. Im Flussdiagramm im 7 wird festgestellt, dass der Fahrer in einem Zustand ist, in dem er die obere linke Auswahltaste 4a (Schritt ST1) anblickt, wird die Auswahltaste 4a angezeigt, in den Schritten ST2 und ST3 herunterskaliert zu werden, wird Anzeigeinformation der als das Blickzielobjekt dienenden Auswahltaste 4a im Schritt ST4 ausgegeben und wird im Schritt ST5 ein Kalibrierung-Steuersignal ausgegeben.
Als Nächstes, wenn der Fahrer die Bestimmungstaste 4b als das zweite Blickzielobjekt anblickt, wird die Bestimmungstaste 4b ähnlich auf solche Weise angezeigt, dass sie graduell herunterskaliert wird, und werden Kalibrierungsdaten für die Bestimmungstaste 4b in diesem Zustand erfasst. Auch in diesem Fall wird das oben beschriebene Flussdiagramm in 7 ähnlicher Weise ausgeführt. Als Ergebnis, wenn der Augen-Blick des Fahrers sich wie durch die durchgezogene Linie in 9b angegeben bewegt, kann die Kalibrierung der Augen-Blickrichtung-Detektionsinformation an zwei Punkten auf der Diagonale der Anzeigeeinheit 3 ausgeführt werden. Alternativ, wenn der Fahrer die Abbruchtaste 4c als das zweite Blickzielobjekt anblickt, wird die Abbruchtaste 4c in solcher Weise ähnlich als graduell herunter zu skalieren angezeigt, und werden Kalibrierungsdaten für die Abbruchtaste 4c in diesem Zustand erfasst. Als Ergebnis, wenn der Augen-Blick des Fahrers sich wie durch die gestrichelte Linie b in 9(b) bewegt, kann Kalibrierung der Augen-Blickrichtung-Detektionsinformation an zwei Punkten auf einer Seite der Anzeigeeinheit 3 ausgeführt werden.
Es ist anzumerken, dass unbekannt ist, welche der Auswahltasten 4 der Fahrer als das erste Blickzielobjekt anblickt.
Jedoch, im in 9 illustrierten Beispiel, wenn die untere linke Auswahltaste 4 auf dem Anzeigebildschirm ausgewählt wird, falls die Bestimmungstaste 4b nachfolgend angeblickt wird, kann die Kalibrierung der Augen-Blickrichtung-Detektionsinformation an zwei Punkten auf einer Seite der Anzeigeeinheit 3 ausgeführt werden. Ähnlich, falls die Abbruchtaste 4c statt der Bestimmungstaste 4b angeblickt wird, kann die Kalibrierung der Augen-Blickrichtung-Detektionsinformation an zwei Punkten der Diagonale der Anzeigeeinheit 3 ausgeführt werden.
Weiter, da erwogen wird, dass der Fahrer sehr wahrscheinlich nachfolgend die Bestimmungstaste 4b anblickt, nachdem er eine Auswahltaste angeblickt hat, wenn die untere linke Auswahltaste 4 auf dem Anzeigebildschirm ausgewählt wird, können die Anzeigen der Bestimmungstaste 4b und der Abbruchtaste 4c gegeneinander ausgetauscht werden. Um die Kalibrierungsgenauigkeit der Augen-Blickrichtung-Detektionsinformation zu verbessern, ist es zuerst wünschenswert, Kalibrierungsdaten an zwei Punkten auf der Diagonalen der Anzeigeeinheit 3 statt an zwei Punkten auf einer Seite der Anzeigeeinheit 3 zu erfassen. Somit, durch Ändern der Position der Bestimmungstaste, der Abbruchtaste und dergleichen gemäß der Auswahltaste, auf welche der Fahrer blickt, kann die Genauigkeit der Kalibrierung der Augen-Blickrichtung-Detektionsinformation verbessert werden. In diesem Fall wird im Flussdiagramm in 7, nachdem die untere linke Auswahltaste 4a als in den Schritten ST2 und ST3 herunter zu skalieren angezeigt wird, die Anordnungen der Bestimmungstaste 4b und der Abbruchtaste 4c gegeneinander ausgetauscht. Dies wird durch die Anzeigenanordnungs-Änderungseinheit 220 der Augen-Blick-Führungseinheit 22 ausgeführt. Dann, wenn festgestellt wird, dass der Fahrer die Bestimmungstaste anblickt, die sich bewegt hat, um oben rechts angezeigt zu werden, im Flussdiagramm in 7, wird die Bestimmungstaste, die bewegt worden ist, um oben rechts angezeigt zu werden, als herunter zu skalieren angezeigt, und es werden Kalibrierungsdaten erfasst.
In der vorliegenden Ausführungsform, indem man sich die Tatsache zunutze macht, dass die Bestimmungstaste 4b allgemein zum endgültigen Bestimmen der unter Verwendung der Auswahltaste 4a ausgewählten Bedienung manipuliert wird, wenn das als vom Fahrer anzublickende Blickzielobjekt eine Auswahltaste (erstes Blickzielobjekt) 4a ist, wird die Bestimmungstaste (zweites Blickzielobjekt) 4b, das nachfolgend zur Auswahltaste anzublicken ist, an einer anderen Position als der Position der Auswahltaste 4a auf dem Anzeigebildschirm 3a der Anzeigeeinheit 3 angeordnet.
Als Ergebnis, wenn der Fahrer die Auswahltaste 4a anblickt, wird eine Anzeigengröße der Auswahltaste 4a herunterskaliert und wird der Augen-Blick zum Referenzpunkt geführt. Dann wird der Augen-Blick von diesem Blickzustand zur Bestimmungstaste 4b geführt.
Spezifisch erzeugt die Zielobjekt-Anzeigeänderungseinheit 221 der Augen-Blick-Führungseinheit 22 Anzeigeänderungsinformation zum Herunterskalieren eines Blickzielobjekts, basierend auf dem Blickzustand des Blickzielobjekts.
Die Anzeigezustands-Verwaltungseinheit 222 gibt Bildschirmsteuerinformation, basierend auf einem aktuellen Anzeigezustand und der Anzeigeänderungsinformation, aus. Die Bildschirmsteuerinformation wird zum Durchführen von einer Anweisung verwendet, um so einen Anzeigemodus zu erzielen, in welchem das Blickzielobjekt zum Referenzpunkt ab dem aktuellen Anzeigezustand herunterskaliert wird. Als Ergebnis wird das Blickzielobjekt graduell zum Referenzpunkt herunterskaliert, bis das Blickzielobjekt zu einer vorbestimmten Größe wird. Hier bezieht sich die vorbestimmte Größe auf einen Zustand, in welchem das Blickzielobjekt klein genug ist, um Kalibrierungsdaten zu erfassen, und bezieht sich beispielsweise auf ein Rechteck mit einer Seite von etwa 5 mm bis 1 cm oder einen Kreis mit einem Durchmesser einer solchen Größe oder andere Formen.
Wie oben beschrieben, wird durch Anordnen der Auswahltaste 4a und der Bestimmungstaste 4b an zueinander unterschiedlichen Positionen auf dem Anzeigebildschirm 3a der Augen-Blick des Fahrers natürlich von der Auswahltaste 4a zur Bestimmungstaste 4b geleitet.
Somit kann die Kalibrierungszeit verkürzt werden und kann die Kalibrierungsgenauigkeit verbessert werden.
Hier ist die Beschreibung für einen Fall gegeben worden, bei dem die Auswahltaste als das Blickzielobjekt verwendet wird und die Bestimmungstaste 4b als das Blickzielobjekt verwendet wird, das nachfolgend der Auswahltaste 4a anzublicken ist. Jedoch ist diese Ausführungsform nicht auf einen solchen Fall beschränkt.
Beispielsweise basierend auf den Icon-Bedienverläufen, die unabhängig von Bedienpersonen gesammelt werden, wird ein Auswahlverhältnis, bei welchem eine entsprechendes Icon nachfolgend einem Icon ausgewählt wird, das der Fahrer zuerst angeblickt hat (erstes Blickzielobjekt) erhalten und kann ein Icon mit dem Auswahlverhältnis einen Schwellenwert übersteigend als zweites Blickzielobjekt verwendet werden.
10 zeigt ein Beispiel eines Anzeigebildschirms zum Durchführen von Augen-Blickführung durch Bewegen eines Blickzielobjekts und 10(a) bis 10(d) illustrieren einen Fall, in welchem die Anzeigeeinheit 3 eine IP-Anzeige ist.
Spezifisch, wenn basierend auf der Augen-Blickzustands-Information bestimmt wird, dass der Fahrer ein Blickzielobjekt anblickt, erzeugt die Zielobjekt-Anzeigeänderungseinheit 221 Anzeigeänderungsinformation zum Bewegen des Blickzielobjekts. Die Anzeigeänderungsinformation repräsentiert einen Bewegungswinkel (die Richtung c1) und eine Bewegungsgeschwindigkeit, mit welcher das Blickzielobjekt bewegt wird, und dergleichen. Durch Ermitteln aktueller Anzeigeinformation aus der Anzeigezustands-Verwaltungseinheit 222 und Ausgeben von Anzeigeänderungsinformation an die Anzeigezustands-Verwaltungseinheit 222 bewegt die Zielobjekt-Anzeigeänderungseinheit 221 das Blickzielobjekt 4 von beispielsweise der linken Seite zur rechten Seite auf dem Anzeigebildschirm 3a, wie in 10(b) illustriert.
Auf diese Weise wird durch die Anzeigeänderung des Bewegens des Blickzielobjekts 4, welches der Fahrer anblickt, der Augen-Blick des Fahrers in einer vorbestimmten Richtung c1 geleitet. Somit wird der Augen-Blick so geleitet, dass Kalibrierungsdaten für das Blickzielobjekt vor und nach der Bewegung ermittelt werden können. Als Ergebnis wird die Kalibrierungsgenauigkeit verbessert.
Es muss nämlich in der ersten Ausführungsform das Blickzielobjekt nicht notwendigerweise herunterskaliert werden. Es ist anzumerken, dass das Blickzielobjekt vom Zustand in 10(a) zum Zustand in 10(b) bewegt werden kann, indem das oben beschriebene Flussdiagramm in 7 ausgeführt wird.
Weiter kann als ein zu bewegendes Blickzielobjekt 4 beispielsweise ein geöffnetes Mail-Icon berücksichtigt werden, wie in 10(c) illustriert. Wenn eine geöffnete Mail (Postnachricht) gelöscht wird, wird das als das Blickzielobjekt 4 dienende Mail-Icon in der Richtung c2 zu einem Mülleimer-Icon 4d bewegt, wie in 10(d) illustriert, als wenn das Mail-Icon in das Mülleimer-Icon weggeworfen würde.
Durch die Verarbeitung wird der Augen-Blick des Fahrers von der Position, an der der Fahrer das Mail-Icon zuerst angeblickt hat, zur Position des Trash-Icons 4d geleitet. Zu dieser Zeit können durch Anordnen des Mail-Icons und des Trash-Icons 4d auf der Diagonale Kalibrierungsdaten ähnlich zu dem Fall der Auswahltaste und der Bestimmungstaste erfasst werden.
11 ist ein Diagramm, das ein anderes Beispiel eines Anzeigebildschirms zum Durchführen einer Augen-Blickführung durch Bewegen eines Blickzielobjekts illustriert, und 11(a) bis 11(c) illustrieren einen Fall, in welchem die Anzeigeeinheit 3 eine IP-Anzeige ist.
Die Anzeigeregion d ist die Position, wo die Kalibrierungsgenauigkeit der Augen-Blickrichtung-Detektionsinformation am schlechtesten ist, von Positionen (Anzeigeregionen) auf dem Anzeigebildschirm 3a der Anzeigeeinheit 3. Hier kann die Position, an der die Kalibrierungsgenauigkeit die schlechteste ist, als eine Position angesehen werden, an der eine Kalibrierung noch nie ausgeführt worden ist, oder eine Position, an der die Genauigkeit von Positionen, an denen die Kalibrierung in der Vergangenheit durchgeführt worden ist, am schlechtesten ist. In der vorliegenden Ausführungsform wird das Blickzielobjekt zur Anzeigeregion d bewegt, wo die Kalibrierungsgenauigkeit am schlechtesten ist und in einem herunterskalierten Zustand gebracht. Zusätzlich, wie durch die gestrichelte Linie in 1 als einem Beispiel abgegeben, wird die Position, an der die Kalibrierungsgenauigkeit der Augen-Blickrichtung-Detektionsinformation in der vergangenen Kalibrierung die schlechteste ist, aus der Augen-Blickrichtung-Detektionsvorrichtung 1 ermittelt. Beispielsweise kann sich auf die Kalibrierungsgenauigkeit beziehende Kalibrierungsgenauigkeitsinformation in die Augen-Blick-Führungseinheit 22 eingeführt werden. Es ist anzumerken, dass andere gestrichelte Linienteile hier nicht notwendig sind und später beschrieben werden.
Spezifisch, basierend auf der Information über die Position, an der die Kalibrierungsgenauigkeit am schlechtesten ist, die aus der Augen-Blickrichtung-Detektionsvorrichtung 1 erhalten wird, und aus der Anzeigezustands-Verwaltungseinheit 222 erhaltener aktueller Anzeigeinformation erzeugt die Zielobjekt-Anzeigeänderungseinheit 221 der Augen-Blick-Führungseinheit 22 Anzeigeänderungsinformation, um das Blickzielobjekt 4 zur Anzeigeregion d zu bewegen. Zusätzlich, basierend auf der aus der Anzeigezustands-Verwaltungseinheit erhaltenen aktuellen Anzeigeinformation, erzeugt die Zielobjekt-Anzeigeänderungseinheit 221 Anzeigeänderungsinformation zum graduellen Herunterskalieren des Blickzielobjekts. Die Anzeigeänderungsinformation zum Erzielen von beidem wird an die Anzeigezustands-Verwaltungseinheit 222 gegeben. Basierend auf der Anzeigeänderungsinformation erzeugt die Anzeigezustands-Verwaltungseinheit 222 Bildschirmsteuerinformation zum Bewegen des Blickzielobjekts 4 zur Anzeigeregion d, während das Blickzielobjekt 4 herunterskaliert wird. Durch die Verarbeitung, wie in 11(b) illustriert, wird das Blickzielobjekt 4 zur Anzeigeregion d bewegt, während es herunterskaliert wird. Durch Durchführen der oben beschriebenen Verarbeitung wird die Kalibrierung in der Anzeigeregion d ausgeführt. Die Kalibrierungsgenauigkeit in der Anzeigeregion d kann entsprechend verbessert werden.
Zusätzlich, außer im Fall, in welchem das Blickzielobjekt bewegt wird, während es herunterskaliert wird, um die Anzeigeregion d zu erreichen, wie in 11(c) illustriert, kann das Blickzielobjekt zu dem Zeitpunkt herunterskaliert werden, wenn das Blickzielobjekt die Anzeigeregion d erreicht. Alternativ ist die Herunterskalieranzeige des Blickzielobjekts nicht notwendigerweise erforderlich und kann weggelassen werden.
Zusätzlich wird in der obigen Beschreibung ein Beispiel beschrieben, in welchem das Blickzielobjekt zur Anzeigeregion d bewegt wird, welche die Position enthält, an der die Kalibrierungsgenauigkeit am schlechtesten ist. Jedoch muss das Blickzielobjekt nicht notwendigerweise zu einem vorbestimmten Referenzpunkt zu bewegen sein und es ist nur erforderlich, dass das Blickzielobjekt grundlegend vorzugsweise zur Anzeigeregion d bewegt wird. Diese liegt daran, dass berücksichtigt werden kann, dass beispielsweise selbst wenn die Kalibrierungsgenauigkeit gut ist, falls es eine Anzeigeregion gibt, wo die Kalibrierung der Augen-Blickrichtung-Detektionsinformation seit Einschalten niemals ausgeführt worden ist, die Anzeigeregion zuerst priorisiert wird.
12 ist ein Diagramm, das ein Beispiel eines Anzeigebildschirms zum Durchführen von Augen-Blickführung illustriert, wenn ein Bildschirm übergeht, und 12(a) bis 12(c) zeigen einen Fall, in welchem die Anzeigeeinheit 3 eine IP-Anzeige ist.
In 12(a) ist ein herunterskaliertes Icon A, welches der Fahrer anblickt (erstes Blickzielobjekt) mit einem Icon (zweites Blickzielobjekt) 4-1 assoziiert, das nachfolgend zum Icon A anzublicken ist. Beispielsweise wird die oben beschriebene Assoziierung ausgeführt, durch Ermitteln, basierend auf Icon-Manipulationsverläufen, die unabhängig von manipulierenden Personen gesammelt werden, des Auswahlverhältnisses der nachfolgend zum Icon, welches der Fahrer zuerst angeblickt hat (erstes Blickzielobjekt) ausgewählten Icon-Manipulation, und Verwenden eines Icons entsprechend einer Manipulation mit einem Auswahlverhältnis, das einen Schwellenwert übersteigt, als das zweite Blickzielobjekt. Hier kann die Assoziierung basierend auf den Icon-Manipulationsverläufen leicht durch einen Fachmann nachvollzogen werden, so dass die Beschreibung hier weggelassen wird.
Im Betrieb in 12, wenn aus der Identifikationsnummer des Blickzielobjekts festgestellt wird, dass ein Blickzielobjekt das erste Blickzielobjekt ist, identifiziert die Anzeigenanordnungs-Änderungseinheit 220 der Augen-Blick-Führungseinheit 22 das zweite Blickzielobjekt, das nachfolgend zum ersten Blickzielobjekt anzublicken ist. Hier ist das zweite Blickzielobjekt, das nachfolgend dem ersten Blickzielobjekt anzublicken ist, das Blickzielobjekt 4-1 mit dem höchsten Auswahlverhältnis.
Als Nächstes erzeugt die Anzeigenanordnungs-Änderungseinheit 220 Bildschirmanordnungs-Änderungsinformation zum Anordnen des zweiten Blickzielobjekts an einer Position diagonal zum ersten Blickzielobjekt auf einem Anzeigebildschirm 3a-2, welches sich vom Anzeigebildschirm 3a-1 unterscheidet, der das erste Blickzielobjekt anzeigt, und nach Übergang vom Anzeigebildschirm 3a-1 angezeigt wird, und gibt die erzeugte Bildschirmanordnungs-Änderungsinformation aus.
Basierend auf der Bildschirmanordnungs-Änderungsinformation ordnet die Anzeigesteuereinheit 23 das Blickzielobjekt 4-1, welches als das zweite Blickzielobjekt dient, auf dem Anzeigebildschirm 3a-2 an der Position diagonal zum Blickzielobjekt A an, das als das erste Blickzielobjekt dient, das auf dem Anzeigebildschirm 3a-1 angezeigt wurde.
In der vorliegenden Ausführungsform geht ein Bildschirm von dem Anzeigebildschirm (erster Anzeigebildschirm) 3a-1, der das erste Blickzielobjekt anzeigt, das als vom Fahrer angeblickt festgestellt ist, zum Anzeigebildschirm (zweiter Anzeigebildschirm) 3a-2, der das zweite Blickzielobjekt anzeigt, über. Zu dieser Zeit werden die ersten und zweiten Blickzielobjekte jeweils auf den Anzeigebildschirmen 3a-1 und 3a-2 angeordnet, an zueinander diagonalen Positionen.
Wie beispielsweise in 12(b) illustriert, wenn der „Audio“-Knopf auf dem Anzeigebildschirm 3a-1 manipuliert wird, wird der „Künstler“-Knopf zum Auswählen des Künstlers von Musik, der sehr wahrscheinlich nachfolgend zum „Audio“-Knopf manipuliert wird, an der diagonalen Position auf dem Anzeigebildschirm 3a-2 angeordnet.
Mit dieser Konfiguration wird durch den Bildschirmübergang der Augen-Blick des Fahrers längs einer diagonalen Linie geleitet, wie in 12(c) illustriert, und um eine Distanz a bewegt. Als Ergebnis können die zur Kalibrierung erforderlichen Kalibrierungsdaten effektiv zweidimensional, nämlich vertikal und horizontal, erfasst werden, so dass die Kalibrierungsgenauigkeit prompt verbessert werden kann.
Es ist anzumerken, dass im Obigen ein Beispiel gegeben wird, in welchem das zweite Blickzielobjekt auf der Diagonalposition in Bezug auf das erste Blickzielobjekt angezeigt ist. Jedoch ist diese Ausführungsform nicht auf einen solchen Fall beschränkt. Beispielsweise in 12(a), wenn festgestellt wird, dass das Blickzielobjekt A angeblickt wird, kann im nachfolgenden Bildschirmübergang das Blickzielobjekt 4-1 an jeglicher Position wie etwa oben rechts, unten links, Bildschirmzentralteil oder dergleichen angezeigt werden. Eine solche nicht-mandatorische Anzeigeposition kann unter Berücksichtigung verschiedener Bedingungen wie Kalibrierungsgenauigkeit, dem Status eines Referenzpunkts, bei dem eine Kalibrierung niemals ausgeführt worden ist, und dergleichen eingestellt werden.
Weiterhin wird in der oben beschriebenen Kalibrierungsverarbeitung eine Anzeige zum Führen des Augen-Blicks des Fahrers in der Anzeigeeinheit 3 durchgeführt. Falls die Anzeige zum Führen des Augen-Blicks des Fahrers konstant durchgeführt wird, fühlt sich der Fahrer unwohl.
Somit, falls die Kalibrierungsgenauigkeit der Augen-Blickrichtung-Detektionsinformation einen vorbestimmten Schwellenwert A übersteigt, kann die Genauigkeit der Augen-Blickrichtung-Detektionsinformation als ausreichend festgestellt werden und in einem solchen Fall wird der Augen-Blickführungsmodus aufgehoben. Hier wird der vorbestimmte Schwellenwert A auf einen angemessenen Wert eingestellt, der bestimmt wird, Manipulation ohne größere Probleme beim Manipulieren der Vorrichtung zu ermöglichen, basierend auf Augen-Blickrichtung-Detektionsinformation.
13 ist ein Flussdiagramm, das eine Abbruchverarbeitung des Augen-Blickführungsmodus illustriert.
Das Flussdiagramm in 13 wird gestartet, durch eine Einschaltoperation eines Schlüsselschalters ausgelöst und ohne direkte Relation zum in 7 illustrierten Flussdiagramm ausgeführt. In der in diesem Flussdiagramm gezeigten Steueridee wird eine Anzeige zum Führen des Augen-Blicks des Fahrers eine vorbestimmte Zeit lang (z.B. 5 bis 10 Minuten) ab Schlüssel-Ein ausgeführt. Dann, wenn festgestellt wird, dass die Genauigkeit der Augen-Blickrichtung-Detektionsinformation der Augen-Blickrichtung-Detektionsvorrichtung 1 eine ausreichende Genauigkeit zum Manipulieren der Zielvorrichtung zu einem Zeitpunkt aufweist, zu welchem 5 bis 10 Minuten vergangen sind, wird die Anzeige zum Führen des Augen-Blicks des Fahrers beendet. Wenn andererseits die Genauigkeit der Augen-Blickrichtung-Detektionsinformation der Augen-Blickrichtung-Detektionsvorrichtung 1 keine hinreichende Genauigkeit zum Manipulieren der Zielvorrichtung aufweist, wird die Anzeige zum Führen des Augen-Blicks des Fahrers weiter für etwa 5 bis 10 Minuten ausgeführt und es wird festgestellt, ob die oben beschriebene ausreichende Genauigkeit erfüllt wird. Aufgrund einer solchen Verarbeitung wird eine zu häufige Ausführung der Anzeige zum Führen des Augen-Blicks des Fahrers unterdrückt.
Unten wird eine Beschreibung gemäß dem Flussdiagramm in 13 gegeben.
Zuerst startet die Kalibrierungs-Steuereinheit 21 einen durch ein Schlüssel-Ein ausgelösten Timer und der Timer bestimmt, ob eine vorbestimmte Zeit (z.B. 10 Minuten) verstrichen ist (Schritt ST11). In diesem Schritt, wenn die vorbestimmte Zeit nicht verstrichen ist (Schritt ST11; NEIN), wird die Bestimmung in Schritt ST11 wiederholt.
Wenn die vorbestimmte Zeit verstrichen ist (Schritt ST11, JA), bestimmt die Kalibrierungs-Steuereinheit 21, ob die in der ab dem Schlüssel-Ein bis zur vorbestimmten Zeit durchgeführte Verarbeitung erhaltene Kalibrierungsgenauigkeit einen vorbestimmten Schwellenwert A übersteigt (Schritt ST12). Oben wird beschrieben, dass Kalibrierungsgenauigkeits-Information durch die Augen-Blickrichtung-Detektionsvorrichtung 1 an die Augen-Blick-Führungseinheit 22 gegeben wird. Hier kann die Information auch an die Kalibrierungs-Steuereinheit 21 gegeben werden. Dies wird durch eine gestrichelte Linie in 1 zur Referenz angezeigt.
Wenn festgestellt wird, dass die Kalibrierungsgenauigkeit den Schwellenwert A übersteigt (Schritt ST12, JA), weist die Kalibrierungs-Steuereinheit 21 die Augen-Blickrichtung-Detektionsvorrichtung 1 an, die Kalibrierungsverarbeitung zu stoppen und teilt der Augen-Blick-Führungseinheit 22 dieses Bestimmungsergebnis mit.
Beim Empfangen dieses Bestimmungsergebnisses bricht die Augen-Blick-Führungseinheit 22 den Augen-Blickführungsmodus ab (Schritt ST13). Zu dieser Zeit erzeugt die Augen-Blick-Führungseinheit 22 keine Bildschirmanordnungs-Änderungsinformation und Anzeigeänderungsinformation für die Augen-Blickführung und führt die Anzeigeeinheit 3 keine Anzeige zum Führen des Augen-Blicks des Fahrers durch.
Andererseits, wenn festgestellt wird, dass die Kalibrierungsgenauigkeit gleich oder kleiner dem Schwellenwert A ist (Schritt ST12, NEIN), setzt die Kalibrierungs-Steuereinheit 21 die Kalibrierungsverarbeitung, die durch die Augen-Blickrichtung-Detektionsvorrichtung 1 durchgeführt wird, fort (ST14). Es wird nämlich durch Initialisieren des Timers im Schritt ST15 und Rückkehren der Verarbeitung zum Schritt ST11 die Anzeige zum Führen des Augen-Blicks des Fahrers weiter ausgeführt, bis die vorgegebene Zeit ab diesem Zeitpunkt verstreicht.
Zusätzlich ist in der obigen ersten Ausführungsform ein spezifisches Icon oder dergleichen als ein Beispiel eines vorbestimmten Blickzielobjekts beschrieben worden. Jedoch muss das Blickzielobjekt nicht notwendigerweise vordefiniert sein.
Unter Verwendung jeglichen Icons oder dergleichen, auf welches der Fahrer als das Blickzielobjekt blickt, kann die Augen-Blickführung des Fahrers in ähnlicher Weise wie oben durchgeführt werden.
Wie oben beschrieben, können gemäß der ersten Ausführungsform, da der Augen-Blick des Fahrers zu einer vorbestimmten Richtung oder Position geleitet wird, durch Messen von Kalibrierungsdaten vor und nach dem Führen, Kalibrierungsdaten an einer Mehrzahl von Referenzpunkten ermittelt werden. Zusätzlich, indem der Augen-Blick zu einer vorbestimmten Richtung oder Position geleitet wird, können Kalibrierungsdaten für einen Bewegungswinkel des Augen-Blicks ermittelt werden. Mit dieser Konfiguration kann die Kalibrierung der Augen-Blickrichtungsdetektion genau und prompt durchgeführt werden.
Zusätzlich wird gemäß der ersten Ausführungsform, da die Augen-Blick-Führungseinheit 22 ein Blickzielobjekt, das als von dem Fahrer angeblickt bestimmt worden ist, zu einem Referenzpunkt herunterskaliert, der Augen-Blick des Fahrers zum Referenzpunkt des Blickzielobjekts geleitet, so dass die Messgenauigkeit jedes Referenzpunkts verbessert werden kann. Mit dieser Konfiguration kann die Kalibrierungsgenauigkeit verbessert werden.
Weiterhin ordnet gemäß der ersten Ausführungsform die Augen-Blick-Führungseinheit 22 das erste Blickzielobjekt, das als vom Fahrer angeblickt bestimmt ist, und das zweite Blickzielobjekt, das nachfolgend zum ersten Blickzielobjekt angeblickt werden soll, an unterschiedlichen Positionen auf der Anzeigeeinheit 3 an. Bei dieser Konfiguration wird der Augen-Blick des Fahrers vom ersten Blickzielobjekt zum zweiten Blickzielobjekt geleitet und kann die Kalibrierung der Augen-Blickrichtung-Detektionsinformation genau und prompt durchgeführt werden.
Weiter sind gemäß der ersten Ausführungsform die ersten und zweiten Blickzielobjekte an diagonalen Positionen auf dem Anzeigebildschirm 3a der Anzeigeeinheit 3 angeordnet. Mit dieser Konfiguration können Kalibrierungsdaten zweidimensional ermittelt werden, nämlich vertikal und horizontal, und kann eine Kalibrierung der Augen-Blickrichtung-Detektionsinformation genau und prompt durchgeführt werden.
Weiterhin, gemäß der ersten Ausführungsform, wenn der Bildschirm vom ersten Anzeigebildschirm, auf welchem ein erstes Blickzielobjekt, das angeblickt wird, angezeigt wird, zum zweiten Anzeigebildschirm übergeht, wird das zweite Blickzielobjekt an der Position diagonal zum ersten Blickzielobjekt angeordnet.
Mit dieser Konfiguration kann eine Kalibrierung der Augen-Blickrichtung-Detektionsinformation ebenfalls genau und prompt ebenfalls durchgeführt werden.
Weiterhin bewegt gemäß der ersten Ausführungsform die Augen-Blick-Führungseinheit 22 das Blickzielobjekt, das als vom Fahrer angeblickt bestimmt ist, in einer vorbestimmten Richtung auf dem Anzeigebildschirm 3a der Anzeigeeinheit 3.
Mit dieser Konfiguration kann die Kalibrierung der Augen-Blickrichtung-Detektionsinformation genau und prompt durchgeführt werden.
Weiterhin wird gemäß der ersten Ausführungsform ein Blickzielobjekt zu einer vorbestimmten Position auf dem Anzeigebildschirm 3a der Anzeigeeinheit 3 bewegt. Bei dieser Konfiguration kann eine Kalibrierung der Augen-Blickrichtung-Detektionsinformation genau und prompt durchgeführt werden.
Weiterhin, gemäß der ersten Ausführungsform, wird ein Blickzielobjekt vorzugsweise zu der Position bewegt, an welcher die Kalibrierungsgenauigkeit der Augen-Blickrichtungsdetektion am schlechtesten ist, aus vordefinierten Positionen auf dem Anzeigebildschirm 3a der Anzeigeeinheit 3. Zusätzlich wird wünschenswerter Weise das Blickzielobjekt in einen herunterskalierten Zustand gebracht. Bei dieser Konfiguration, da eine Kalibrierung an der entsprechenden Position ausgeführt wird, kann die Kalibrierungsgenauigkeit an der entsprechenden Position prompt verbessert werden.
Weiterhin, gemäß der ersten Ausführungsform, steuert die Kalibrierungs-Steuereinheit 21 die Kalibrierung anhand einer vorbestimmten Bedienung. Bei dieser Konfiguration können Kalibrierungsstart und -ende zu angemessenen Zeitpunkten durchgeführt werden.
Insbesondere wenn diese Bedienung eine Fahrerschalterbedienung ist, kann Kalibrierung zu einem vom Fahrer beabsichtigten Zeitpunkt durchgeführt werden.
Zusätzlich, wenn das Verstreichen von Zeit von dann, wenn der Fahrer auf ein Blickzielobjekt geblickt hat, als das oben beschriebene Timing verwendet wird, kann eine Kalibrierungsmessung durchgeführt werden, ohne den Fahrer darauf aufmerksam zu machen. Beispielsweise ist dies für den Fall der Durchführung der Kalibrierung, während der Fahrer das Fahrzeug fährt, geeignet.
Weiterhin, gemäß der ersten Ausführungsform, bricht die Augen-Blick-Führungseinheit 22 die Augen-Blickführung ab, wenn die Kalibrierungsgenauigkeit der Augen-Blickrichtung-Detektionsinformation ausreichend hoch ist, einen vorbestimmten Schwellenwert übersteigend. Mit dieser Konfiguration kann eine konstante Ausführung der Anzeige zum Führen des Augen-Blicks des Fahrers unterdrückt werden und kann verhindert werden, dass der Fahrer sich unwohl fühlt.
Zweite Ausführungsform
14 ist ein Blockdiagramm, welches eine Konfiguration eines Augen-Blickrichtung-Detektionssystems gemäß einer zweiten Ausführungsform der vorliegenden Erfindung illustriert. Eine durch eine Augen-Blickrichtung-Detektionseinheit 12 detektierte Augen-Blickrichtung-Detektionsinformation beinhaltet einen Detektionsfehler, der von individuellen Differenzen von Fahrern herrührt. Somit, um die Detektionsgenauigkeit von Augen-Blickrichtung-Detektionsinformation sicherzustellen, ist es wünschenswert, eine Kalibrierung für jeden Fahrer auszuführen.
Ähnlich zur ersten Ausführungsform, ist das in 14 illustrierte Augen-Blickrichtung-Detektionssystem ein System, das auf einem beweglichen Körper wie etwa einem Fahrzeug montiert ist, um die Augen-Blickrichtung eines Fahrers zu detektieren, und beinhaltet eine Augen-Blickrichtung-Detektionsvorrichtung 1, eine Anzeigesteuervorrichtung 2A und eine Anzeigeeinheit 3. Hier werden in 14 Konfigurationen ähnlich zu jenen in 1 dieselben Bezugszeichen wie in 1 zugewiesen und deren Beschreibung wird weggelassen.
Zusätzlich zu den Konfigurationen in der ersten Ausführungsform beinhaltet die Anzeigesteuervorrichtung 2A gemäß der zweiten Ausführungsform eine persönliche Authentifizierungseinheit 24. Die persönliche Authentifizierungseinheit 24 authentifiziert einen Fahrer basierend auf Authentifizierungsinformation jedes Fahrers. Beispielsweise beinhalten Beispiele der Authentifizierungsinformation fotografische Information, welche durch Fotografieren eines Gesichts eines Fahrers ermittelt werden, biologische Information des Fahrers, Vorrichtungsinformation eines vom Fahrer besessenen Mobilendgeräts und dergleichen.
Durch Prüfen dieser Informationsteile mit Registrierungsinformation jedes individuellen Fahrers authentifiziert die persönliche Authentifizierungseinheit 24 den Fahrer, um zu verifizieren, ob der Fahrer ein vorregistrierter Fahrer ist. Das durch die persönliche Authentifizierungseinheit 24 ermittelte Authentifizierungsergebnis wird an eine Kalibrierungs-Steuereinheit 21 ausgegeben.
Die Kalibrierungs-Steuereinheit 21 weist die Augen-Blickrichtung-Detektionsvorrichtung 1 an, Kalibrierung für den durch die persönliche Authentifizierungseinheit 24 authentifizierten Fahrer durchzuführen.
Beispielsweise bringt die Kalibrierungs-Steuereinheit 21 die Kalibrierungseinheit 13 dazu, Kalibrierungsdaten von Augen-Blickrichtung-Detektionsinformation für den durch die persönliche Authentifizierungseinheit 24 authentifizierten Fahrer zu berechnen. Somit werden Kalibrierungsdaten in einem Speicher 14 in Assoziierung mit jedem Individuum gespeichert.
Zusätzlich bringt die Kalibrierungs-Steuereinheit 21 die Augen-Blickrichtung-Detektionseinheit 12 dazu, die Berechnungsverarbeitung des Detektierens einer Augen-Blickrichtung zu korrigieren, unter Verwendung von Kalibrierungsdaten, die dem durch die persönliche Authentifizierungseinheit 24 authentifizierten Fahrer entsprechen, aus im Speicher 14 gespeicherten Kalibrierungsdaten.
Mit dieser Konfiguration kann die Kalibrierung der Augen-Blickrichtung-Detektionsinformation für jeden durch die persönliche Authentifizierungseinheit 24 authentifizierten Fahrer ausgeführt werden.
Ähnlich zur oben beschriebenen ersten Ausführungsform können jede der Augen-Blickzustands-Bestimmungseinheit 20, der Kalibrierungs-Steuereinheit 21, der Augen-Blick-Führungseinheit 22, der Anzeigesteuereinheit 23 und der persönlichen Authentifizierungseinheit 24 als ein spezifisches Mittel implementiert werden, in welchem Hardware und Software miteinander kooperieren, beispielsweise durch einen Mikrocomputer, der ein Programm ausführt, in welchem eine Verarbeitung, die für die zweite Ausführungsform spezifisch ist, beschrieben ist.
Wie oben beschrieben, beinhaltet gemäß der zweiten Ausführungsform die Anzeigesteuervorrichtung 2A weiter die persönliche Authentifizierungseinheit 24, um ein Subjekt zu authentifizieren. Mit dieser Konfiguration kann die Kalibrierungs-Steuereinheit 21 Kalibrierung von Augen-Blickrichtung-Detektionsinformation ausführen, welche durch die Augen-Blickrichtung-Detektionsvorrichtung 1 für jedes Subjekt ausgegeben wird, unter Verwendung von Kalibrationsdaten für jedes durch die persönliche Authentifizierungseinheit 24 authentifizierten Objekts.
INDUSTRIELLE ANWENDBARKEIT
Die Anzeigesteuervorrichtung gemäß der vorliegenden Erfindung kann eine Kalibrierung einer Augen-Blickrichtung-Detektionsinformation eines Subjektes genau und rasch durchführen. Somit ist beispielsweise die Anzeigesteuervorrichtung für ein Fahrunterstützungssystem geeignet, um das Fahren unter Verwendung einer Augen-Blickrichtung eines Fahrers zu unterstützen.
Bezugszeichenliste

1: Augen-Blickrichtung-Detektionsvorrichtung
2, 2A: Kalibrierungs-Steuervorrichtung
3: Anzeigeeinheit
3a, 3a-1, 3a-2, 3b: Anzeigebildschirm
4, 4b, 4c, 4d, 4-1 bis 4-4: Blickzielobjekt
4a: Herunterskaliertes Blickzielobjekt
5: Schalter
10: Infrarot-LED
11: Augen-Blickdetektionskamera
12: Augen-Blickrichtung-Detektionseinheit
13: Kalibrierungseinheit
14: Speicher
20: Augen-Blickzustands-Bestimmungseinheit
21: Kalibrierungs-Steuereinheit
22: Augen-Blick-Führungseinheit
23: Anzeigesteuereinheit
24: Persönliche Authentifizierungseinheit
200: Zielobjekt-Bestimmungseinheit
201: Blickzustands-Bestimmungseinheit
210: Steuerbestimmungseinheit
211: Steuerbefehlsausgabeeinheit
220: Anzeigenanordnungs-Änderungseinheit
221: Zielobjekt-Anzeigeänderungseinheit
230: Anzeigezustands-Verwaltungseinheit
231: Anzeigenausgabeeinheit

Claims

Anzeigesteuervorrichtung (2) zum Verwenden eines Anzeigeobjekts, das durch eine Anzeigeeinheit (3) angezeigt wird, als ein Blickzielobjekt (4) und zum Steuern der Kalibrierung einer Augen-Blickrichtung-Detektionsvorrichtung (1) basierend auf dem Blickzielobjekt (4), wobei die Anzeigesteuervorrichtung (2) umfasst: eine Augen-Blickzustands-Bestimmungseinheit (20) zum Bestimmen, basierend auf Augen-Blickrichtungs-Detektionsinformation, welche durch die Augen-Blickrichtung-Detektionsvorrichtung (1) detektiert ist, und Anzeigeinformation des Blickzielobjekts (4), ob ein Subjekt das in Augen-Blickrichtung des Subjekts existierende Blickzielobjekt (4) anblickt, eine Augen-Blickführungseinheit (22) zum Ausgeben von Anzeigeinformation des Blickzielobjektes (4) und von Bildschirm-Steuerinformation, die sich auf einen Anzeigemodus des Blickzielobjektes (4) bezieht, und zum Führen eines Augen-Blicks des Subjektes, durch Ändern des Anzeigemodus des Blickzielobjekts (4), wenn das Subjekt als das Blickzielobjekt (4) anblickend bestimmt ist, eine Anzeigesteuereinheit (23) zum Ausgeben von AnzeigeSteuerinformation zum Steuern der Anzeigeeinheit (3), basierend auf der durch die Augen-Blickführungseinheit (22) ausgegebenen Bildschirm-Steuerinformation, und eine Kalibrierungssteuerungseinheit (21) zum Ausgeben eines Kalibrierungs-Steuersignals zur Augen-Blickrichtung-Detektionsvorrichtung (1), wenn das Subjekt als das Blickzielobjekt (4) anblickend festgestellt ist, wobei das Blickzielobjekt (4) ein Icon oder eine Taste ist, das/die durch ein als die Anzeigeeinheit (3) fungierendes intelligentes Paneel oder durch die Anzeigeeinheit einer Autonavigationsvorrichtung angezeigt ist, oder eine Markierung, die durch ein Head-Up-Display als die Anzeigeeinheit (3) angezeigt ist, und wobei die Augen-Blickführungseinheit (22) ein erstes Blickzielobjekt (4), von dem festgestellt ist, dass es vom Subjekt angeblickt wird, und ein zweites Blickzielobjekt (4), das nachfolgend zum ersten Blickzielobjekt (4) anzublicken ist, an unterschiedlichen Positionen auf der Anzeigeeinheit (3) anordnet, und wobei das zweite Blickzielobjekt (4) eine Bestimmungstaste zum Bestimmen einer Manipulation ist, die unter Verwendung des ersten Blickzielobjekts (4) ausgewählt ist.
Anzeigesteuervorrichtung (2) gemäß Anspruch 1, wobei die Augen-Blickführungseinheit (22) das Blickzielobjekt (4), von dem festgestellt ist, dass es durch das Subjekt angeblickt wird, zu einem Referenzpunkt herunterskaliert.
Anzeigesteuervorrichtung (2) gemäß Anspruch 1, wobei die Augen-Blickführungseinheit (22) die ersten und zweiten Blickzielobjekte (4) an diagonalen Positionen auf einem Anzeigebildschirm (3a) der Anzeigeeinheit (3) anordnet.
Anzeigesteuervorrichtung (2) gemäß Anspruch 1, wobei, wenn ein Bildschirm von einem ersten Anzeigebildschirm (3a), der das erste Blickzielobjekt (4) anzeigt, zu einem zweiten Anzeigebildschirm (3a), der das zweite Blickzielobjekt (4) anzeigt, übergeht, die Augen-Blickführungseinheit (22) jeweils die ersten und zweiten Blickzielobjekte (4) auf den ersten und zweiten Anzeigebildschirmen (3a) an zueinander diagonalen Positionen anordnet.
Anzeigesteuervorrichtung (2) gemäß Anspruch 1, wobei die Augen-Blickführungseinheit (22) das Blickzielobjekt (4), von dem bestimmt ist, dass es vom Subjekt angeblickt wird, in einer vorbestimmten Richtung auf einem Anzeigebildschirm (3a) der Anzeigeeinheit (3) bewegt.
Anzeigesteuervorrichtung (2) gemäß Anspruch 1, wobei die Augen-Blickführungseinheit (22) das Blickzielobjekt (4) zu einer vorbestimmten Position auf einem Anzeigebildschirm (3a) der Anzeigeeinheit (3) bewegt.
Anzeigesteuervorrichtung (2) gemäß Anspruch 6, wobei die Augen-Blickführungseinheit (22) das Blickzielobjekt (4) zu einem Referenzpunkt bewegt, an welchem die Kalibrierungsgenauigkeit von Augen-Blickrichtung-Detektionsinformation am schlechtesten ist, von einer Mehrzahl von Referenzpunkten, die auf einem Anzeigebildschirm (3a) der Anzeigeeinheit (3) vordefiniert sind, und das Blickzielobjekt (4) in einen Herunterskalierzustand bringt.
Anzeigesteuervorrichtung (2) gemäß Anspruch 1, weiter umfassend einen persönlichen Authentifikator zum Authentifizieren des Subjekts, wobei die Kalibrierungssteuerungseinheit (21) ein Kalibrierungssteuersignal zusammen mit persönlicher Erkennungsinformation eines Subjekts, das durch den persönlichen Authentifikator authentifiziert ist, ausgibt.
Anzeigesteuervorrichtung (2) gemäß Anspruch 1, wobei die Kalibrierungssteuerungseinheit (21) das Kalibrierungssteuersignal gemäß einer vorbestimmten Bedienung ausgibt.
Anzeigesteuervorrichtung (2) gemäß Anspruch 9, wobei, wenn eine Schaltermanipulation, die durch ein Subjekt durchgeführt wird, empfangen wird, die Kalibrierungssteuerungseinheit (21) als das Kalibrierungssteuersignal zumindest einen Kalibrierungsdaten-Sicherungsstartbefehl oder einen Sicherungsstoppbefehl ausgibt.
Anzeigesteuervorrichtung (2) gemäß Anspruch 9, wobei, wenn der Augen-Blickzustandsbestimmungseinheit (20) bestimmt, dass das Subjekt das Blickzielobjekt (4) anblickt, die Kalibrierungssteuerungseinheit (21) als das Kalibrierungssteuersignal zumindest einen Kalibrierungsdaten-Sicherungsstartbefehl ausgibt.
Anzeigesteuervorrichtung (2) gemäß Anspruch 9, wobei, wenn ein Blickzustand des Subjekts eine vorbestimmte Zeit passiert hat, die Kalibrierungssteuerungseinheit (21) als das Kalibrierungssteuersignal zumindest einen Kalibrierungsdatensicherungs-Stoppbefehl ausgibt.
Anzeigesteuervorrichtung (2) gemäß Anspruch 1, wobei der Augen-Blickführungseinheit (22) die Augen-Blickführung aufhebt, wenn eine Kalibrierungsgenauigkeit der Augen-Blickrichtung-Detektionsvorrichtung (1) einen vorbestimmten Schwellenwert übersteigt.
Steuerverfahren einer Anzeigesteuervorrichtung (2) zur Verwendung eines durch eine Anzeigeeinheit (3) angezeigten Anzeigeobjekts als ein Blickzielobjekt (4), und zum Steuern der Kalibrierung einer Augen-Blickrichtung-Detektionsvorrichtung (1) basierend auf dem Blickzielobjekt (4), wobei das Steuerverfahren umfasst: Bestimmen, in einer Blickzustandsbestimmungseinheit (20), basierend auf durch die Augen-Blickrichtung-Detektionsvorrichtung (1) detektierter Augen-Blickrichtung-Detektionsinformation und Anzeigeinformation des Blickzielobjekts (4), ob ein Subjekt auf das in einer Augen-Blickrichtung des Subjekts existierende Blickzielobjekt (4) blickt; Ausgeben, in einer Augen-Blickführungseinheit (22), von Anzeigeinformation des Blickzielobjekts (4) und Bildschirmsteuerinformation, die sich auf einen Anzeigemodus des Blickzielobjekts (4) bezieht, und Führen eines Augen-Blicks des Subjekts durch Ändern des Anzeigemodus des Blickzielobjekts (4), wenn das Subjekt als das Blickzielobjekt (4) anblickend bestimmt wird; Ausgeben, in einer Anzeigesteuerungseinheit (23), von Anzeigesteuerinformation zum Steuern der Anzeigeeinheit (3), basierend auf der durch die Augen-Blickführungseinheit (22) ausgegebenen Bildschirmsteuerinformation; und Ausgeben, in einer Kalibrierungssteuerungseinheit (21), eines Kalibrierungssteuersignals zu der Augen-Blickrichtung-Detektionsvorrichtung (1), wenn das Subjekt als das Blickzielobjekt (4) anblickend bestimmt wird, wobei das Blickzielobjekt (4) ein Icon oder eine Taste ist, das/die durch ein als die Anzeigeeinheit (3) fungierendes intelligentes Paneel oder durch die Anzeigeeinheit (3) einer Autonavigationsvorrichtung angezeigt ist, oder eine Markierung, die durch ein Head-Up-Display als die Anzeigeeinheit (3) angezeigt ist, und wobei die Augen-Blickführungseinheit (22) ein erstes Blickzielobjekt (4), von dem festgestellt ist, dass es vom Subjekt angeblickt wird, und ein zweites Blickzielobjekt (4), das nachfolgend zum ersten Blickzielobjekt (4) anzublicken ist, an unterschiedlichen Positionen auf der Anzeigeeinheit (3) anordnet, und wobei das zweite Blickzielobjekt (4) eine Bestimmungstaste zum Bestimmen einer Manipulation ist, die unter Verwendung des ersten Blickzielobjekts (4) ausgewählt ist.
Augen-Blickrichtung-Detektionssystem, das eine Augen-Blickrichtung-Detektionsvorrichtung (1) zum Detektieren einer Augen-Blickrichtung eines Subjekts, eine Anzeigesteuervorrichtung (2) zur Verwendung eines durch eine Anzeigeeinheit (3) angezeigten Anzeigeobjekts als ein Blickzielobjekt (4) und zum Steuern der Kalibrierung der Augen-Blickrichtung-Detektionsinformation basierend auf dem Blickzielobjekt (4), und eine Anzeigeeinheit (3) zum Durchführen von Anzeige, basierend auf Anzeigesteuerinformation aus der Anzeigesteuervorrichtung (2), enthält, wobei die Anzeigesteuervorrichtung (2) die Anzeigesteuervorrichtung (2) zur Verwendung eines Anzeigeobjekts ist, das durch die Anzeigeeinheit (3) angezeigt wird, als ein Blickzielobjekt (4), und zum Steuern von Kalibrierung der Augen-Blickrichtung-Detektionsvorrichtung (1), basierend auf dem Blickzielobjekt (4), und beinhaltet: eine Augen-Blick-Zustandbestimmungseinheit (20) zum Bestimmen, basierend auf der durch die Augen-Blickrichtung-Detektionsvorrichtung (1) detektierten Augen-Blickrichtung-Detektionsinformation und Anzeigeinformation des Blickzielobjekts (4), ob ein Subjekt das Blickzielobjekt (4), das in einer Augen-Blickrichtung des Subjekts existiert, anblickt; eine Augen-Blickführungseinheit (22) zum Ausgeben von Anzeigeinformation des Blickzielobjekts (4) und Bildschirmsteuerinformation, die sich auf einen Anzeigemodus des Blickzielobjekts (4) bezieht, und zum Führen eines Augen-Blicks des Subjekts durch Ändern des Anzeigemodus des Blickzielobjekts (4), wenn das Subjekt als das Blickzielobjekt (4) anblickend bestimmt wird; eine Anzeigensteuereinheit (23) zum Ausgeben von Anzeigesteuerinformation zum Steuern der Anzeigeeinheit (3), basierend auf der durch die Augen-Blickführungseinheit (22) ausgegebenen Bildschirmsteuerinformation; und eine Kalibrierungssteuerungseinheit (21) zum Ausgeben eines Kalibrierungssteuersignals zur Augen-Blickrichtung-Detektionsvorrichtung (1), wenn das Subjekt als das Blickzielobjekt (4) anblickend bestimmt wird, wobei das Blickzielobjekt (4) ein Icon oder eine Taste ist, das/die durch ein als die Anzeigeeinheit (3) fungierendes intelligentes Paneel oder durch die Anzeigeeinheit (3) einer Autonavigationsvorrichtung angezeigt ist, oder eine Markierung, die durch ein Head-Up-Display als die Anzeigeeinheit (3) angezeigt ist, und wobei die Augen-Blickführungseinheit (22) ein erstes Blickzielobjekt (4), von dem festgestellt ist, dass es vom Subjekt angeblickt wird, und ein zweites Blickzielobjekt (4), das nachfolgend zum ersten Blickzielobjekt (4) anzublicken ist, an unterschiedlichen Positionen auf der Anzeigeeinheit (3) anordnet, und wobei das zweite Blickzielobjekt (4) eine Bestimmungstaste zum Bestimmen einer Manipulation ist, die unter Verwendung des ersten Blickzielobjekts (4) ausgewählt ist, und wobei die Augen-Blickrichtung-Detektionsvorrichtung (1) beinhaltet: eine Augen-Blickrichtung-Detektionseinheit (12) zum Detektieren von Augen-Blickrichtung-Detektionsinformation des Subjekts; eine Kalibrierungseinheit (13) zum Berechnen von Kalibrierungsdaten gemäß einem durch die Anzeigesteuervorrichtung (2) ausgegebenen Kalibrierungssteuersignal, basierend auf durch die Augen-Blickrichtung-Detektionseinheit (12) detektierter Augen-Blickdetektions-Richtungsinformation und Anzeigeninformation des Blickzielobjekts (4), erhalten aus der Anzeigesteuervorrichtung (2); und eine Speichereinheit (14) zum Speichern der Kalibrierungsdaten.
Augen-Blickrichtung-Detektionssystem gemäß Anspruch 15, wobei die Kalibrierungseinheit (13) der Augen-Blickrichtung-Detektionsvorrichtung (1) das Kalibrierungssteuersignal zusammen mit persönlicher Erkennungsinformation des Subjekts ausgibt.
Kalibrierungssteuerverfahren eines Augen-Blickrichtung-Detektionssystems, das eine Augen-Blickrichtung-Detektionsvorrichtung (1) zum Detektieren einer Augen-Blickrichtung eines Subjekts, eine Anzeigesteuervorrichtung (2) zur Verwendung eines durch eine Anzeigeeinheit (3) angezeigten Anzeigeobjektes, als ein Blickzielobjekt (4), und zum Steuern der Kalibrierung der Augen-Blickrichtung-Detektionsvorrichtung (1) basierend auf dem Blickzielobjekt (4), und eine Anzeigeeinheit (3) zum Durchführen von Anzeige, basierend auf der Anzeigesteuerinformation aus der Anzeigesteuervorrichtung (2), beinhaltet, wobei das Kalibrierungs-Steuerverfahren ein Verfahren des Verwendens eines durch die Anzeigeeinheit (3) angezeigten Anzeigeobjekts als ein Blickzielobjekt (4) und des Steuerns der Kalibrierung der Augen-Blickrichtung-Detektionsvorrichtung (1) basierend auf dem Blickzielobjekt (4) ist, und umfasst: Bestimmen, in einer Augen-Blickzustandbestimmungseinheit (20), basierend auf durch die Augen-Blickrichtung-Detektionsvorrichtung (1) detektierter Augen-Blickrichtung-Detektionsinformation und Anzeigeinformation des Blickzielobjekts (4), ob ein Subjekt das Blickzielobjekt (4), das in der Augen-Blickrichtung des Subjekts existiert, anblickt; Ausgeben, in einer Augen-Blickführungseinheit (22), von Anzeigeinformation des Blickzielobjekts (4) und von Bildschirmsteuerinformation, die sich auf einen Anzeigemodus des Blickzielobjekts (4) bezieht, und Führen eines Augen-Blicks des Subjektes durch Ändern des Anzeigemodus des Blickzielobjekts (4), wenn das Subjekt als das Blickzielobjekt (4) anblickend bestimmt wird; Ausgeben, in einer Anzeigesteuereinheit (23), von Anzeigesteuerinformation zum Steuern der Anzeigeeinheit (3), basierend auf der durch die Augen-Blickführungseinheit (22) ausgegebenen Bildschirmsteuerinformation; Ausgeben, in einer Kalibrierungssteuerungseinheit (21), eines Kalibrierungssteuersignals zu einer Augen-Blickrichtung-Detektionsvorrichtung (1), wenn das Subjekt als das Blickzielobjekt (4) anblickend bestimmt wird; Detektieren, in einer Augen-Blickrichtungsdetektionseinheit (12), einer Augen-Blickrichtung-Detektionsinformation des Subjekts; Berechnen, in einer Kalibrierungseinheit (13), von Kalibrierungsdaten anhand eines durch die Anzeigesteuervorrichtung (2) ausgegebenen Kalibrierungssteuersignals, basierend auf der durch die Augen-Blickrichtungsdetektionsvorrichtung (1) detektierten Augen-Blickrichtung-Detektionsinformation und von Anzeigeinformation des Blickzielobjekts (4), die aus der Anzeigesteuervorrichtung (2) erhalten wird; und Speichern, in einer Speichereinheit (14), der Kalibrierungsdaten, wobei das Blickzielobjekt (4) ein Icon oder eine Taste ist, das/die durch ein als die Anzeigeeinheit (3) fungierendes intelligentes Paneel oder durch die Anzeigeeinheit einer Autonavigationsvorrichtung angezeigt ist, oder eine Markierung, die durch ein Head-Up-Display als die Anzeigeeinheit (3) angezeigt ist, und wobei die Augen-Blickführungseinheit (22) ein erstes Blickzielobjekt (4), von dem festgestellt ist, dass es vom Subjekt angeblickt wird, und ein zweites Blickzielobjekt (4), das nachfolgend zum ersten Blickzielobjekt (4) anzublicken ist, an unterschiedlichen Positionen auf der Anzeigeeinheit (3) anordnet, und wobei das zweite Blickzielobjekt (4) eine Bestimmungstaste zum Bestimmen einer Manipulation ist, die unter Verwendung des ersten Blickzielobjekts (4) ausgewählt ist.