DE102015204283A1

DE102015204283A1 - Verfahren und Vorrichtung zur Erfassung der Blickrichtung einer Person

Info

Publication number: DE102015204283A1
Application number: DE102015204283.9A
Authority: DE
Inventors: Andreas Voelkel
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2015-03-10
Filing date: 2015-03-10
Publication date: 2016-09-15
Also published as: CN107405068A; WO2016142077A1; US20180055353A1; JP2018510701A; EP3267869A1

Abstract

Ein Verfahren zur Erfassung der Blickrichtung einer Person mit Sehhilfe umfasst die Schritte des Bereitstellens mindestens einer optischen Eigenschaft einer Sehhilfe der Person; des Beobachtens zumindest eines Auges der Person und des Korrigierens ermittelter Daten der Beobachtung basierend auf der mindestens einen optischen Eigenschaft der Sehhilfe. Eine Vorrichtung (1) eingerichtet zur Erfassung der Blickrichtung einer Person, umfasst eine Beobachtungseinrichtung (2) eingerichtet zur Beobachtung zumindest eines Auges der Person, einen Datensatz (5) enthaltend mindestens eine optische Eigenschaft einer Sehhilfe der Person und eine Recheneinrichtung (3) eingerichtet zur Korrektur der Beobachtung basierend auf dem Datensatz (5).

Description

Die vorliegende Erfindung betrifft ein Verfahren zur Erfassung der Blickrichtung einer Person, eine Vorrichtung eingerichtet zur Erfassung der Blickrichtung einer Person sowie ein Computerprogrammprodukt.
Stand der Technik
Blickrichtungserfassungssysteme sind beispielsweise aus Fahrzeugen oder elektronischen Geräten, beispielsweise der Unterhaltungselektronik oder Verbraucherelektronik, bekannt. Derartige Blickrichtungserfassungssysteme erfassen üblicherweise die Position und Größe der Pupille der beobachteten Person.
Derartige Systeme berücksichtigen eventuell vorhandene Sehhilfen wie zum Beispiel eine Brille oder Kontaktlinse nicht. Je nach Stärke und Geometrie der Sehhilfe kann es daher zu einer inkorrekten Interpretation der erfassten Pupillenposition und -größe in den Blickwinkel kommen, da entsprechende Blickverzerrungen durch die verwendete Sehhilfe nicht berücksichtigt werden.
Offenbarung der Erfindung
Erfindungsgemäß wird ein Verfahren zur Erfassung der Blickrichtung einer Person mit Sehhilfe zur Verfügung gestellt mit den Schritten:

– Bereitstellen mindestens einer optischen Eigenschaft einer Sehhilfe der Person;
– Beobachten zumindest eines Auges der Person; und
– Korrigieren ermittelter Daten der Beobachtung basierend auf der mindestens einen optischen Eigenschaft der Sehhilfe.

Das erfindungsgemäße Verfahren hat den Vorteil, dass die Robustheit der Blickrichtungsdetektion erhöht wird, indem viele Interpretationen der Bildinformationen vermieden werden können, welche durch optische Verzerrungen einer Sehhilfe hervorgerufen werden. Damit wird die Blicksteuerung einem größeren Benutzerkreis zugänglich, als aktuell aufgrund der festen Verzerrungstoleranzen der Bildinformationen möglich ist.
Zur Korrektur der Daten der Beobachtung kann mindestens ein Bild aufgenommen werden und das Bild kann anhand der mindestens einen optischen Eigenschaft bearbeitet werden. Dieses bildgebende Verfahren kann auf einem oder mehreren Einzelbildern oder auf einer Sequenz von Bildern wie beispielsweise einem Videofilm oder Videostream basieren. Diese Bildverarbeitung oder Bildbearbeitung hat den Vorteil, dass zahlreiche bereits bewährte Algorithmen zur Verfügung stehen.
Zur Korrektur der Daten aus der Beobachtung können unter Verwendung der mindestens einen optischen Eigenschaft analysiert werden. Hierbei können beispielsweise nur bestimmte Teile oder Bereiche wie zum Beispiel der Bereich der Sehhilfe analysiert oder verarbeitet werden. Dadurch kann Rechenleistung eingespart werden.
Die mindestens eine optische Eigenschaft kann mindestens einen der Parameter Brechung, Stärke, Sphäre, Achse und Zylinder umfassen. Diese mindestens eine optische Eigenschaft ist gut geeignet, die optischen Eigenschaften der Sehhilfe zu beschreiben und darauf basierend eine entsprechende Korrektur zu ermöglichen.
Die mindestens eine optische Eigenschaft kann in ein Modell, ein Parameterfeld, einen Vektor und/oder eine Matrix überführt werden. Diese Ansätze erlauben eine einfache Korrektur des beobachteten oder erfassten Auges der Person durch eine Interaktion von Bild oder Datensatz mit dem Modell, Parameterfeld, Vektor und/oder der Matrix. Beispielsweise können die optischen Eigenschaften in einen Abbildungsvektor oder eine Abbildungsmatrix überführt werden, der dann auf die erfassten Daten des Auges angewandt wird, um so die durch die Sehhilfe hervorgerufene Verzerrung zu eliminieren.
Die Korrektur kann zumindest während einer Kalibrierungsphase der Erfassung angewandt werden. Wenn bei der Blickrichtungserfassung eine initiale Kalibrierung vorgesehen ist, kann die Korrektur direkt in dieser Phase durchgeführt werden, so dass der spätere Rechenaufwand reduziert wird. Es kann auch vorgesehen sein, dass trotz Korrektur in einer Kalibrierungsphase zusätzlich bei der eigentlichen Erfassung weiter korrigiert wird, um beispielsweise die Genauigkeit zu erhöhen.
Eine erfindungsgemäße Vorrichtung eingerichtet zur Erfassung der Blickrichtung einer Person umfasst eine Beobachtungseinrichtung eingerichtet zur Beobachtung zumindest eines Auges der Person, einen Datensatz enthaltend mindestens eine optische Eigenschaft einer Sehhilfe der Person und eine Recheneinrichtung eingerichtet zur Korrektur der Beobachtung basierend auf dem Datensatz.
Unter einer Vorrichtung kann ein elektrisches Gerät beziehungsweise Steuergerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuersignale ausgibt. Auch kann eine Vorrichtung ein oder mehrere Assistenzsysteme eines Fahrzeugs umfassen. Es gelten die gleichen Vorteile und Modifikationen wie zuvor beschrieben.
Die Vorrichtung kann Teil eines Fahrerbeobachtungssystems eines Fahrzeugs sein. Bei dem Fahrzeug kann es sich um ein Kraftfahrzeug handeln, insbesondere ein straßengebundenes Fahrzeug, beispielsweise ein Personenkraftwagen, ein Lastkraftwagen oder ein Zweirad. Die Vorrichtung bietet sich insbesondere für Fahrzeuge an, da eine sehr genaue Erkennung der Blickrichtung eines Fahrers eines Fahrzeugs entscheidend zur Verkehrssicherheit beitragen kann.
Die Vorrichtung kann Teil eines elektronischen Geräts sein. Die verbesserte Erfassung der Blickrichtung kann auch bei elektronischen Geräten wie zum Beispiel aus dem Bereich der Unterhaltungselektronik eine erhöhte Verbreitung oder Akzeptanz fördern.
Ein erfindungsgemäßes Steuergerät für ein Kraftfahrzeug ist eingerichtet zur Durchführung eines zuvor beschriebenen Verfahrens. Die Integration in ein Steuergerät eines Kraftfahrzeuges erlaubt einen schnellen und zuverlässigen Zugriff auf die benötigten Daten und eine schnelle und zielgerichtete Korrektur für die Belange im Straßenverkehr.
Weiter schlägt die Erfindung ein Computerprogrammprodukt mit computerausführbarem Programmcode zur Durchführung des obigen Verfahrens vor, wenn das Programm auf einer Vorrichtung ausgeführt wird. Es gelten die gleichen Vorteile und Modifikationen wie zuvor beschrieben.
Zeichnungen
Ausführungsbeispiele der Erfindung werden anhand der Zeichnungen der nachfolgenden Beschreibung näher erläutert. Es zeigt:
1 eine schematische Darstellung eines Verfahrens und einer Vorrichtung zur Erfassung der Blickrichtung einer Person mit Sehhilfe.
Ausführungsformen der Erfindung
1 zeigt ein System oder eine Vorrichtung 1 zur Erfassung der Blickrichtung einer Person. Die Vorrichtung 1 umfasst eine Beobachtungseinrichtung 2, beispielsweise in Form einer oder mehrerer Fahrerbeobachtungskameras. Die Beobachtungseinrichtung 2 nimmt einzelne Bilder oder Sequenzen von Bildern auf und stellt diese einer Recheneinrichtung 3, wie beispielsweise einem Steuergerät eines Assistenzsystems, zur Verfügung. In der Recheneinrichtung 3 werden das oder die Bilder der Beobachtungseinrichtung 2 ausgewertet. Dazu können zunächst eine oder beide Pupillen in den Daten der Beobachtungseinrichtung 2 lokalisiert werden und anschließend kann aus der Position und Größe der Pupille oder der Pupillen beispielsweise ein Blickrichtungsvektor gebildet werden. Dieser Blickrichtungsvektor gibt an, in welche Richtung die beobachtete Person blickt. Auch kann angegeben werden, auf was oder in welcher Entfernung der Blick der Person fokussiert ist.
Wenn die beobachtete Person eine Sehhilfe wie zum Beispiel eine Brille oder Kontaktlinse verwendet, befindet sich das Auge beziehungsweise die Pupille aus Sicht der Beobachtungseinrichtung 2 hinter der Sehhilfe. Deshalb verläuft der optische Pfad der Beobachtungseinrichtung 2 durch die Optik der Sehhilfe, so dass das Auge beziehungsweise die Pupille gemäß der optischen Eigenschaften der Sehhilfe verzerrt ist.
Um trotz verwendeter Sehhilfe eine korrekte Erfassung der Blickrichtung zu ermöglichen, werden zunächst in einem externen System 4 die Eigenschaften beziehungsweise die optischen Eigenschaften der Sehhilfe der Person ermittelt. Dieses externe System, das zum Beispiel bei einem Augenarzt oder Optiker oder dem Hersteller der Sehhilfe zum Einsatz kommt, erstellt einen Datensatz 5 mit mindestens einer optischen Eigenschaft der Sehhilfe. Dieser Datensatz 5 wird der Vorrichtung 1 zur Verfügung gestellt. Der Datensatz 5 kann kabellos oder kabelgebunden, beispielsweise mittels eines Smartphones, USB-Sticks, einer E-Mail oder SMS von dem externen System 4 an die Vorrichtung 1 übertragen werden.
Üblicherweise legt ein Fahrerbeobachtungssystem einen Fahrerdatensatz 6 an, der primär zur Identifizierung des Fahrers dient und darüber hinaus für erweiterte Funktionen wie zum Beispiel Komfortfunktionen genutzt werden kann. Der Datensatz 5 mit den optischen Eigenschaften der Sehhilfe wird optional in den Fahrerdatensatz 6 übertragen und in diesen integriert. Auf diese Weise werden die optischen Eigenschaften der Sehhilfe exakt der Person zugeordnet, welche diese Sehhilfe trägt. Der Datensatz 5 beziehungsweise die optische Eigenschaft umfasst mindestens einen der Parameter Brechung, Stärke, Sphäre, Achse und Zylinder. Anhand dieser Werte oder Parameter kann die Sehhilfe optisch beschrieben werden.
Das Fahrerbeobachtungssystem kann eine Kalibrierungsfunktion 7 umfassen, welche üblicherweise bei dem ersten Kontakt der Person mit der Vorrichtung 1 aufgerufen werden kann. Die Kalibrierungsfunktion 7 kann optische Merkmale darstellen, deren Position der Vorrichtung 1 bekannt sind und die Person auffordern, den Blick auf diese Merkmale zu fokussieren. Durch die Beobachtung, Erfassung und/oder Aufzeichnung der Person beziehungsweise der Augen und/oder der Pupillen der Person beim Blick auf die bekannte Markierung kann so eine Kalibrierung der Vorrichtung 1 auf die jeweilige Person stattfinden. Dazu können der Kalibrierungsfunktion 7 die optischen Eigenschaften beziehungsweise der Datensatz 5 zur Verfügung gestellt werden, so dass bereits bei der Kalibrierung die optischen Eigenschaften der Sehhilfe der Person berücksichtigt werden.
Die Kalibrierungsfunktion 7 erzeugt einen Blickrichtungskalibrierungsdatensatz 8, in dem die spezifischen Kalibrierungsdaten enthalten sind. In diesem Blickrichtungskalibrierungsdatensatz 8 können auch Daten aus dem Fahrerdatensatz 6 einfließen. Entsprechend können die optischen Eigenschaften der Sehhilfe beziehungsweise der Datensatz 5 über den Fahrerdatensatz 6 und/oder über die Kalibrierungsfunktion 7 in den Blickrichtungskalibrierungsdatensatz 8 einfließen. Die optischen Eigenschaften der Sehhilfe werden der Recheneinrichtung 3 entweder über den Datensatz 5 direkt zur Verfügung gestellt oder über den Blickrichtungskalibrierungsdatensatz 8 indirekt zur Verfügung gestellt. In der Recheneinrichtung 3 werden die von der Beobachtungseinrichtung 2 stammenden Daten basierend auf mindestens einer optischen Eigenschaft der Sehhilfe korrigiert, so dass die durch die Sehhilfe entstehenden optischen Verzerrungen algorithmisch eliminiert werden. Dies kann bereits in einer Kalibrierungsphase und/oder im Beobachtungsbetrieb erfolgen.
Dazu kann die Recheneinrichtung 3 aus dem Datensatz 5 beziehungsweise der mindestens einen optischen Eigenschaft der Sehhilfe ein Modell, ein Parameterfeld, einen Vektor und/oder eine Matrix berechnen. Für das jeweils gewählte Konstrukt dienen die Daten aus der Beobachtungseinrichtung 2 als Eingangsgrößen, beziehungsweise es wird das gewählte Konstrukt auf die Daten der Beobachtungseinrichtung 2 angewendet. Im Falle eines Modells dienen die Daten aus der Beobachtungseinrichtung 2 als Eingangsgrößen und die Ausgangsgröße des Modells ist eine entzerrte Darstellung aus der Beobachtungseinrichtung 2. Über ein Parameterfeld kann die Verarbeitung der Daten aus der Beobachtungseinrichtung 2 parametriert werden, beispielsweise als Filtereinstellungen. Ein Vektor oder eine Matrix können als optische Abbildung oder Transformation auf die Daten der Beobachtungseinrichtung 2 angewendet werden.
Die beschriebenen Ansätze können auf die kompletten Daten beziehungsweise das vollständige Bild aus der Beobachtungseinrichtung 2 angewandt werden. Um den Rechenaufwand zu verringern beziehungsweise die Verarbeitungsgeschwindigkeit zu erhöhen, ist es möglich, lediglich bestimmte Bereiche zu bearbeiten. Dazu können bestimmte Bereiche wie beispielsweise die Pupillen, die Augen, ein bestimmter Bereich um die Pupillen und/oder Augen oder die räumliche Erstreckung der Sehhilfe verwendet werden, um so die Gebiete der Beobachtung beziehungsweise der Daten oder des Bildes aus der Beobachtungseinrichtung 2 zu definieren.
Auf diesen Bereich werden dann das Modell, das Parameterfeld, der Vektor und/oder die Matrix angewandt. Das Ergebnis ist eine robuste und in Echtzeit korrigierte Blickrichtung, welche einem weiteren System 9 beziehungsweise einem Softwaremodul oder einer Softwareroutine zur Verfügung gestellt werden kann. Die weitere Verarbeitung der Blickrichtung kann auch in der Recheneinrichtung 3 durchgeführt werden.
Obwohl die Erfindung im Detail durch bevorzugte Ausführungsbeispiele näher illustriert und beschrieben wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen.

Claims

Verfahren zur Erfassung der Blickrichtung einer Person mit Sehhilfe, gekennzeichnet durch die Schritte: – Bereitstellen mindestens einer optischen Eigenschaft einer Sehhilfe der Person; – Beobachten zumindest eines Auges der Person; und – Korrigieren ermittelter Daten der Beobachtung basierend auf der mindestens einen optischen Eigenschaft der Sehhilfe.
Verfahren nach Anspruch 1, wobei zur Korrektur der Daten der Beobachtung mindestens ein Bild aufgenommen wird und das Bild anhand der mindestens einen optischen Eigenschaft bearbeitet wird.
Verfahren nach Anspruch 1, wobei zur Korrektur der Daten aus der Beobachtung zumindest ein Teil der Daten unter Verwendung der mindestens einen optischen Eigenschaft analysiert wird.
Verfahren nach einem der Ansprüche 1 bis 3, wobei die mindestens eine optische Eigenschaft mindestens einen der Parameter Brechung, Stärke, Sphäre, Achse und Zylinder umfasst.
Verfahren nach einem der Ansprüche 1 bis 4, wobei die mindestens eine optische Eigenschaft in ein Modell, ein Parameterfeld, einen Vektor und/oder eine Matrix überführt wird.
Verfahren nach einem der Ansprüche 1 bis 5, wobei die Korrektur zumindest während einer Kalibrierungsphase der Erfassung angewandt wird.
Vorrichtung eingerichtet zur Erfassung der Blickrichtung einer Person, gekennzeichnet durch eine Beobachtungseinrichtung (2) eingerichtet zur Beobachtung zumindest eines Auges der Person, einen Datensatz (5) enthaltend mindestens eine optische Eigenschaft einer Sehhilfe der Person und eine Recheneinrichtung (3) eingerichtet zur Korrektur der Beobachtung basierend auf dem Datensatz (5).
Vorrichtung nach Anspruch 7, wobei die Vorrichtung (1) Teil eines Fahrerbeobachtungssystems eines Fahrzeugs ist.
Vorrichtung nach Anspruch 7 oder 8, wobei die Vorrichtung (1) Teil eines elektronischen Geräts ist.
Steuergerät für ein Kraftfahrzeug eingerichtet zur Durchführung eines Verfahrens nach einem der Ansprüche 1 bis 6.
Computerprogrammprodukt mit computerausführbarem Programmcode zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 6, wenn das Programm auf einer Vorrichtung ausgeführt wird.