DE102014008852A1 - Kalibrierung eines Kraftfahrzeug-Eyetrackingsystems - Google Patents

Kalibrierung eines Kraftfahrzeug-Eyetrackingsystems Download PDF

Info

Publication number
DE102014008852A1
DE102014008852A1 DE102014008852.9A DE102014008852A DE102014008852A1 DE 102014008852 A1 DE102014008852 A1 DE 102014008852A1 DE 102014008852 A DE102014008852 A DE 102014008852A DE 102014008852 A1 DE102014008852 A1 DE 102014008852A1
Authority
DE
Germany
Prior art keywords
tracking system
eye tracking
calibration
calibration profile
motor vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE102014008852.9A
Other languages
English (en)
Other versions
DE102014008852B4 (de
Inventor
Tahar Bouaziz
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Audi AG
Original Assignee
Audi AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Audi AG filed Critical Audi AG
Priority to DE102014008852.9A priority Critical patent/DE102014008852B4/de
Publication of DE102014008852A1 publication Critical patent/DE102014008852A1/de
Application granted granted Critical
Publication of DE102014008852B4 publication Critical patent/DE102014008852B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/90Calibration of instruments, e.g. setting initial or reference parameters; Testing of instruments, e.g. detecting malfunction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149Instrument input by detecting viewing direction not otherwise provided for

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Transportation (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Chemical & Material Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Combustion & Propulsion (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Educational Technology (AREA)
  • Pathology (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Psychiatry (AREA)
  • Hospice & Palliative Care (AREA)
  • Developmental Disabilities (AREA)
  • General Physics & Mathematics (AREA)
  • Child & Adolescent Psychology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Anpassen eines Eyetrackingsystems (12) eines Kraftfahrzeugs (10) an einen Benutzer (34), wobei eine beim Betrachten einer vorbestimmten Bildsequenz (40) vom Benutzer (34) eingenommene Augenstellung erfasst und aus der erfassten Augenstellung ein nutzerspezifisches Kalibrierprofil (20) für das Eyetrackingsystem (12) erzeugt wird. Der Erfindung liegt die Aufgabe zugrunde, das Eyetrackingsystem (12) an einen spezifischen Benutzer (34) anzupassen. Die Augenstellung wird hierzu durch eine von dem Eyetrackingsystem (12) verschiedene Erfassungseinrichtung (32) erfasst und eine Kalibiereinrichtung (38) erzeugt ein vorläufiges Kalibrierprofil (50) für die Erfassungseinrichtung (32). Eine Transformationseinrichtung (52, 52') wandelt dann das vorläufige Kalibrierprofil (50) mittels einer vorbestimmten Abbildungsvorschrift (54) in das Kalibierprofil (20) für das Eyetrackingsystem (12) um.

Description

  • Die Erfindung betrifft ein Verfahren zum Anpassen eines Eyetrackingsystems eines Kraftfahrzeugs an einen Benutzer. Mit anderen Worten wird das Eyetrackingsystem für den Benutzer kalibriert. Hierbei wird eine Augenstellung des Benutzers erfasst, die er beim Betrachten einer Bildsequenz einnimmt. Aus der erfassten Augenstellung wird dann ein nutzerspezifisches Kalibrierprofil für das Eyetrackingsystem erzeugt. Eine andere Bezeichnung für Eyetracking ist Blickrichtungserkennung.
  • Das Kalibrieren eines Eyetrackingsystems ist beispielsweise in der WO 2013/059940 A1 beschrieben. Danach benutzt der Benutzer das Eyetrackingsystem, während ihm eine Bildsequenz angezeigt wird, bei welcher bekannt ist, wohin der Benutzer schauen müsste. Anhand der ermittelten Augenstellung und der für die Bildsequenz vorgesehene Sollstellung der Augen kann dann das Kalibrierprofil für den Benutzer erstellt werden.
  • Eine solche Selbstkalibrierung eines Eyetrackers ist im Zusammenhang mit einer Datenbrille auch aus der DE 10 2009 049 073 A1 bekannt. Hierbei wird die Kalibrierung eines Eyetrackingsystems im Zusammenhang mit der Kalibrierung einer Anzeigeeinrichtung für einen Virtual-Reality-Effect kombiniert.
  • Aus der US 2012/0235902 A1 ist eine Datenbrille mit einer Selbstkalibrierung für eine Gestenerkennung bekannt. Die Selbstkalibrierung kann über ein Smartphone oder eine andere Fernbedienung ausgelöst werden.
  • Die aus dem Stand der Technik bekannten Eyetrackingsysteme weisen den Nachteil auf, dass man sie benutzen muss, um sie zu kalibrieren.
  • Im Zusammenhang mit Kraftfahrzeugen ist ebenfalls der Einsatz von Eyetrackingsystemen bekannt, um anhand der Blickrichtung eines Benutzers unterschiedliche Funktionen im Kraftfahrzeug nur per Blick aktivieren oder bedienen zu können. Beispielsweise kann bei einem Infotainmentsystem eines Kraftfahrzeugs eine Auswahl eines Menüeintrags aus einem Bedienmenü blickrichtungsgesteuert erfolgen.
  • Da heutige Eyetrackingsysteme bei der ersten Anwendung durch einen bestimmten Benutzer eine Kalibrierung benötigen, muss der Benutzer sich in das Kraftfahrzeug setzen und eine bestimmte Bedienaufgabe durchzuführen, beispielsweise Punkte auf einer Anzeigeeinrichtung fokussieren. Dies kann für einen Benutzer im Zusammenhang mit einem Neuwagenkauf sehr umständlich sein, insbesondere wenn das Eyetrackingsystem auch bei Fahraufgaben unterstützen, also eine Fahrerassistenz bereitstellen soll. Falls der Benutzer das Eyetrackingsystem bis dahin noch nicht kalibriert hat, kann dies zu einer unerwünschten Ablenkung bei den ersten Fahrten führen.
  • Der Erfindung liegt die Aufgabe zugrunde, ein Eyetrackingsystem eines Kraftfahrzeugs an einen spezifischen Benutzer anzupassen.
  • Die Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Weiterbildungen der Erfindung ergeben sich durch die Merkmale der abhängigen Patentansprüche.
  • Das erfindungsgemäße Verfahren geht von dem eingangs beschriebenen Kalibriervorgang aus, bei welchem eine beim Betrachten einer vorbestimmten Bildsequenz vom Benutzer eingenommene Augenstellung erfasst und aus der erfassten Augenstellung ein nutzerspezifisches Kalibrierprofil für das Eyetrackingsystem erzeugt wird. Mit diesem Kalibrierprofil kann also das Eyetrackingsystem dahingehend an den Benutzer angepasst werden, dass nachher in bekannter Weise eine von dem Eyetrackingsystem erfasste Augenstellung korrekt in diejenige Koordinate eines Punktes auf einer Anzeigeeinrichtung umgerechnet wird, welchen der Benutzer tatsächlich betrachtet.
  • Bei dem erfindungsgemäßen Verfahren wird nun für den beschriebenen Kalibriervorgang die Augenstellung nicht mit dem Eyetrackingsystem erfasst, sondern durch eine von dem Eyetrackingsystem verschiedene Erfassungseinrichtung. Mit anderen Worten muss der Benutzer also nicht im Kraftfahrzeug sitzen. Mittels der Daten, welche die erfasste Augenstellung beschreiben, wird dann durch eine Kalibriereinrichtung ein vorläufiges Kalibrierprofil für diese Erfassungseinrichtung erzeugt. Mit anderen Worten kann also insbesondere ein anderes Eyetrackingsystem verwendet und dies in an sich bekannter Weise kalibriert werden. Hierdurch erhält man das vorläufige Kalibrierprofil. Erfindungsgemäß wird nun das vorläufige Kalibrierprofil durch eine Transformationseinrichtung in das Kalibrierprofil für das Eyetrackingsystem umgewandelt. Hierzu wird durch die Transformationseinrichtung eine vorbestimmte Abbildungsvorschrift genutzt, welche beschreibt, wie Kalibrierdaten des vorläufigen Kalibrierprofils umzuwandeln sind, damit sich Kalibrierdaten für das Kalibrierprofil des Eyetrackingsystems ergeben.
  • Die Erfindung weist den Vorteil auf, dass das Kalibrierprofil für das Eyetrackingsystem des Kraftfahrzeugs bereits erzeugt werden kann, bevor der Benutzer das erste Mal das Kraftfahrzeug benutzt. Das Kalibrierprofil kann einfach in dem Eyetrackingsystem des Kraftfahrzeugs gespeichert werden. Besteigt dann der Benutzer das erste Mal das Kraftfahrzeug und benutzt dessen Eyetrackingsystem, so ist dieses bereits an den Benutzer angepasst, das heißt benutzerspezifisch kalibriert.
  • Falls das Kraftfahrzeug zwei Eyetrackingsysteme aufweist, kann natürlich auch das vorläufige Kalibrierprofil mit einem der Eyetrackingsysteme und dann mittels der Transformationseinrichtung das Kalibrierprofil für das andere Eyetrackingsystem erzeugt werden. Bevorzugt ist aber eine von dem Kraftfahrzeug verschiedene Anpassungsvorrichtung vorgesehen, welche sowohl eine Anzeigeeinrichtung zum Anzeigen der Bildsequenz, also beispielsweise einen Monitor, und die Erfassungseinrichtung zum Erfassen der Augenstellung sowie die Kalibriereinrichtung zum Erzeugen des vorläufigen Kalibrierprofils aufweist. Die Anpassungsvorrichtung ist also bevorzugt ein fahrzeugexternes, selbstkalibrierendes Eyetrackingsystem.
  • Es ergeben sich nun zwei verschiedene Weiterbildungen der Erfindung, die auch zu zwei unterschiedlichen Vorrichtungen führen.
  • In einer Ausführungsform kann durch die fahrzeugexterne Anpassungsvorrichtung auch die Transformationseinrichtung bereitgestellt sein. Mit anderen Worten wird also durch das fahrzeugexterne Kalibriergerät bereits das fertige Kalibrierprofil für das Eyetrackingsystem des Kraftfahrzeugs bereitgestellt.
  • In diesem Zusammenhang sieht die Erfindung auch eine solche fahrzeugexterne Anpassungsvorrichtung für ein Eyetrackingsystem eines Kraftfahrzeugs vor, die die beschriebene Anzeigeeinrichtung für die Bildsequenz, die Erfassungseinrichtung für die Erfassung der Augenstellung und die Kalibriereinrichtung für die Selbstkalibrierung aufweist. Die erfindungsgemäße Anpassungsvorrichtung kennzeichnet sich durch eine eigene Transformationseinrichtung aus, die dazu ausgelegt ist, das vorläufige Kalibrierprofil mittels einer vorbestimmten Abbildungsvorschrift in ein Kalibrierprofil für das Eyetrackingsystem umzuwandeln. Eine solche Anpassungsvorrichtung weist den Vorteil auf, dass sie ein unmittelbar ohne weitere Anpassungsschritte in einem Kraftfahrzeug verwendbares Kalibrierprofil für ein Eyetrackingsystem bereitstellen kann.
  • Gemäß einer anderen Ausführungsform der Erfindung wird durch die Anpassungsvorrichtung dagegen nur das vorläufige Kalibrierprofil bereitgestellt. Hier ist nun vorgesehen, dass das vorläufige Kalibrierprofil durch das Eyetrackingsystem des Kraftfahrzeugs selbst mittels der Abbildungsvorschrift umgewandelt wird. Die Transformationseinrichtung ist also durch das Eyetrackingsystem des Kraftfahrzeugs selbst bereitstellt.
  • In diesem Zusammenhang sieht die Erfindung ein Eyetrackingsystem oder eine Eyetrackingvorrichtung für ein Kraftfahrzeug vor, welches aufweist: eine Empfangseinrichtung zum Empfangen eines vorläufigen Kalibrierprofils für eine von dem Eyetrackingsystem verschiedene Erfassungseinrichtung. Das Eyetrackingsystem des Kraftfahrzeugs kann also das vorläufige Kalibrierprofil empfangen. Des Weiteren weist das Eyetrackingsystem eine Transformationseinrichtung auf, die dazu ausgelegt ist, dieses empfangene vorläufige Kalibrierprofil mittels einer vorbestimmten Abbildungsvorschrift in ein Kalibrierprofil für das Eyetrackingsystem umzuwandeln. Hierdurch ergibt sich der Vorteil, dass der Benutzer ein allgemeingültiges Standard-Kalibrierprofil, nämlich das vorläufige Kalibrierprofil, benutzen kann und dies an das Eyetrackingsystem übertragen kann, welches dann das Standard-Kalibrierprofil in ein Kalibrierprofil umwandelt, welches von dem Eyetrackingsystem genutzt werden kann. Der Benutzer kann also mit einem einzigen vorläufigen Kalibrierprofil eine Kalibrierung mehrerer der erfindungsgemäßen Eyetrackingsysteme vornehmen. Diese wandeln bei Bedarf das vorläufige Kalibrierprofil in ein spezifisches Kalibrierprofil für das jeweilige Eyetrackingsystem um.
  • Um das Kalibrieren des Kraftfahrzeug-Eyetrackingsystems noch weiter zu vereinfachen, sieht eine Ausführungsform der Erfindung vor, dass das vorläufige Kalibrierprofil oder das Kalibrierprofil für das Eyetrackingsystem über eine Kommunikationsverbindung in das Kraftfahrzeug übertragen werden.
  • Bei der Kommunikationsverbindung kann es sich um eine Funkverbindung handeln, wie sie beispielsweise mittels WLAN (Wireless Local Area Network) oder mittels Mobilfunk (GSM, UMTS, LTE) aufgebaut werden kann. Es kann auch eine drahtgebundene Kommunikationsverbindung vorgesehen sein, wie sie beispielsweise auf Grundlage des Ethernet-Standards aufgebaut werden kann.
  • Die bereits beschriebene Abbildungsvorschrift zum Umwandeln des vorläufigen Kalibrierprofils in das Fahrzeug-Kalibrierprofil ist dazu ausgelegt, Profildaten des vorläufigen Kalibrierprofils in Profildaten umzuwandeln, die zum Kalibrieren des Eyetrackingsystems des Kraftfahrzeugs geeignet sind. Hierzu kann die Abbildungsvorschrift eine geometrische Transformation einer Geometrie der Erfassungseinrichtung auf eine Geometrie des Eyetrackingsystems umfassen. Hierdurch kann dann in vorteilhafter Weise eine relative Lage des Erfassungssystems, also beispielsweise einer Kamera, zu der vom Benutzer zu betrachtenden Anzeigeeinrichtung, beispielsweise einem Bildschirm, angepasst oder umgerechnet oder transformiert werden. Mit anderen Worten wird z. B. ein Koordinatensystem X der fahrzeugexternen Anpassungsvorrichtung an ein Koordinatensystem Y des Eyetrackingsystems des Kraftfahrzeugs angepasst.
  • Im Zusammenhang mit dem erfindungsgemäßen Eyetrackingsystem, das im Kraftfahrzeug bereitgestellt wird und eine eigene Transformationseinrichtung aufweist, sieht eine Weiterbildung der Erfindung eine Nachschärfung der Profildaten vor. Dies geschieht während des Betriebs des Eyetrackingsystems, nachdem dieses also mit dem beschriebenen Kalibrierprofil kalibriert oder angepasst wurde und während der Benutzer bereits mindestens eine Funktion des Kraftfahrzeugs mittels des Eyetrackingsystems bedient. Während des Betriebs werden Stellungsdaten einer Augenstellung des Benutzers durch eine Erfassungseinrichtung des Eyetrackingsystems erfasst, also beispielsweise durch eine Kamera die Augenstellung ermittelt. Anhand der Stellungsdaten wird durch eine Korrektureinrichtung eine Fehlkalibrierung erkannt. Beispielsweise kann auf Grundlage einer statistischen Analyse ermittelt werden, dass bei dem Eyetrackingsystem die Blickrichtungserkennung stets zunächst Koordinaten auf der Anzeigeeinrichtung ermittelt, die neben ein bestimmtes Icon oder anderes graphisches Objekt deuten und der Benutzer dann stets zunächst durch Ändern der Augenstellung einen Korrekturschritt auf das graphische Objekt hin macht. Wenn also beispielsweise die ersten Koordinaten stets links neben ein graphisches Objekt weisen und dann innerhalb einer vorbestimmten Zeit, beispielsweise innerhalb von einer Sekunde oder zwei Sekunden, eine Korrektur nach rechts auf das graphische Objekt erfolgt, so ist davon auszugehen, dass eine Fehlkalibrierung vorliegt, die der Benutzer durch gezieltes Daneben-Gucken ausgleicht.
  • Die Korrektureinrichtung verändert dann in Abhängigkeit von der erkannten Fehlkalibrierung das Kalibrierprofil für das Eyetrackingsystem, um hierdurch die Fehlkalibrierung zu verringern. Beispielsweise wird also ein Offset für die Erkennung der Augenstellung eingeführt, so dass in dem beschriebenen Beispiel schon der erste Blick auf das graphische Objekt richtig durch das Eyetrackingsystem erkannt wird.
  • Zu der Erfindung gehört schließlich auch ein Kraftfahrzeug, das eine Ausführungsform des erfindungsgemäßen Eyetrackingsystems aufweist. Das erfindungsgemäße Kraftfahrzeug ist bevorzugt als Kraftwagen, insbesondere als Personenkraftwagen ausgestaltet.
  • Im Folgenden ist ein Ausführungsbeispiel der Erfindung beschrieben. Hierzu zeigt die einzige Figur (Fig.) eine schematische Darstellung einer Ausführungsform der erfindungsgemäßen Anpassungsvorrichtung.
  • Bei dem im Folgenden erläuterten Ausführungsbeispiel handelt es sich um eine bevorzugte Ausführungsform der Erfindung. Bei dem Ausführungsbeispiel stellen aber die beschriebenen Komponenten der Ausführungsform jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden und damit auch einzeln oder in einer anderen als der gezeigten Kombination als Bestandteil der Erfindung anzusehen sind. Des Weiteren ist die beschriebene Ausführungsform auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.
  • Die Erfindung zeigt ein Kraftfahrzeug 10, bei dem es sich um einen Kraftwagen, insbesondere einen Personenkraftwagen, handeln kann. Das Kraftfahrzeug 10 kann ein in an sich bekannter Weise ausgestaltetes Eyetrackingsystem 12 aufweisen, mittels welchem beispielsweise ein Infotainmentsystem 14 des Kraftfahrzeugs 10 blickrichtungsgesteuert bedient werden kann. Beispielsweise kann auf einem Bildschirm ein Menü 16 mit Menüeinträgen 18 angezeigt und von einem Benutzer einer davon ausgewählt werden, indem einer der Menüeinträge 18 angeschaut wird. Das Eyetrackingsystem 12 erfasst dann die Augenstellung des Benutzers und erkennt anhand der Augenstellung, welche Koordinate auf dem Bildschirm, also insbesondere welcher Menüeintrag 18, gerade angeblickt wird. Es kann aus vorgesehen sein, dass anhand der Augenstellung ein Blickrichtungsvektor erzeugt wird, welcher beschreibt, wohin der Benutzer gerade blickt.
  • Damit ausgehend von beispielsweise Kamerabilddaten einer Kamera des Eyetrackingsystems 12, oder allgemein einer Erfassungseinrichtung für die Augenstellung, eine korrekte Berechnung der Koordinaten erfolgt, ist in dem Eyetrackingsystem 12 ein Kalibrierprofil 20 für den aktuellen Benutzer gespeichert. Das Kalibrierprofil 20 kann eine Zuordnungsvorschrift von erfasster Augenstellung zu Koordinaten auf dem Bildschirm des Infotainmentsystems 14 oder eine Zuordnungsvorschrift von erfasster Augenstellung zu einem Blickrichtungsvektor aufweisen.
  • Bei dem Kraftfahrzeug 10 ist es nicht nötig, dass man in das Kraftfahrzeug 10 einsteigt und das Eyetrackingsystem 12 benutzt, um das Kalibrierprofil 20 zu erstellen. Das Kalibrierprofil 20 kann bei dem Kraftfahrzeug 10 über eine Empfangseinrichtung 22 des Kraftfahrzeugs 10 von außerhalb des Kraftfahrzeugs 10 empfangen worden sein. Hierzu kann durch die Empfangseinrichtung 22, beispielsweise ein Mobilfunkmodul oder ein WLAN-Modul, eine Funkverbindung 24 zu einer fahrzeugexternen Anpassungsvorrichtung 26 aufgebaut worden sein. Die Funkverbindung 24 kann auch von Seiten der Anpassungsvorrichtung 26 durch eine Sendeeinrichtung 28 der Anpassungsvorrichtung 26 aufgebaut worden sein. Die Kommunikationsverbindung kann auch über das Internet aufgebaut worden sein.
  • Zum Erzeugen des Kalibrierprofils 20 kann die Anpassungsvorrichtung 26 ein eigenes Eyetrackingsystem 30 mit einer Erfassungseinrichtung 32 zum Erfassen einer Augenstellung eines Benutzers 34 sowie mit einer Anzeigeeinrichtung 36 zum Anzeigen von Bildinformationen, insbesondere einer Bildsequenz, aufweisen. Das Eyetrackingsystem 30 kann selbstkalibrierend sein, das heißt es kann eine eigene Kalibriereinrichtung 38 aufweisen. Die Kalibriereinrichtung 38 kann die Anzeigeeinrichtung 36 ansteuern und hierdurch eine Bildsequenz 40 anzeigen. Die Bildsequenz 40 kann beispielsweise ein graphisches Objekt 42, beispielsweise ein Kreuz oder einen Punkt oder auch eine Figur, umfassen, die sich entlang einer vorbestimmten Bewegungsbahn 44 auf der Anzeigeeinrichtung 36 bewegen kann. Der Benutzer 34 muss mit den Augen dem graphischen Objekt 42 folgen. Dabei wird die Augenstellung des Benutzers 34 durch die Erfassungseinrichtung 32 erfasst und es werden Stellungsdaten 46 an die Kalibriereinrichtung 38 übertragen. Von der Bildsequenz ist bekannt, wo sich das graphische Objekt befindet, d. h. die Koordinaten des graphischen Objekts sind bekannt. Die erfasste Augenstellung beim Betrachten des Objekts und die Koordinaten, die das Objekt dabei aufweist, sind also bekannt.
  • Die Kalibriereinrichtung 38 kann dann in an sich bekannter Weise aus den Stellungsdaten 48 in vorläufiges Kalibrierprofil 50 erzeugen, mittels welchem sich das Eyetrackingsystem 30 kalibrieren lässt.
  • Das vorläufige Kalibrierprofil 50 wird bei der Anpassungsvorrichtung 26 genutzt, um auf das Kalibrierprofil 20 für das Eyetrackingsystem 12 des Kraftfahrzeugs 10 zu erzeugen. Hierzu weist die Anpassungsvorrichtung 26 eine Transformationseinrichtung 52 auf, welche eine Abbildungsvorschrift 54 gespeichert hat, durch welche angegeben ist, wie aus Kalibrierdaten des vorläufigen Kalibrierprofils 50 für das Eyetrackingsystem 30 Kalibrierdaten für das Kalibierprofil 20 des Eyetrackingsystems 12 berechnet werden können. Eine solche Abbildungsvorschrift 54 kann durch einfache Versuche und/oder geometrische Berechnungen und/oder in Abhängigkeit von der Geometrie der Anpassungsvorrichtung 26 und der Geometrie des Eyetrackingsystems 12 ermittelt werden. Insbesondere wird die relative Lage der Erfassungseinrichtung 32 zur Anzeigeeinrichtung 36 einerseits und die relative Lage des Eyetrackingsystems 12 zu der zu betrachtenden Anzeigeeinrichtung im Kraftfahrzeug 10 andererseits zugrunde gelegt.
  • Das Kalibrierprofil 20 kann dann von der Transformationseinrichtung 52 an die Sendeeinrichtung 28 übertragen werden, welcher das Kalibrierprofil 20 über die Funkverbindung 24 an den Empfänger 22 übertragen kann, damit das Kalibrierprofil 20 dann in dem Eyetrackingsystem 12 gespeichert werden kann.
  • Es kann auch vorgesehen sein, dass die Transformationseinrichtung 52 nicht Bestandteil der Anpassungsvorrichtung 26, sondern Bestandteil des Eyetrackingsystems 12 ist, was in der Fig. durch eine Transformationseinrichtung 52' im Eyetrackingsystem 12 veranschaulicht ist. Dann kann die Kalibriereinrichtung 38 das vorläufige Kalibrierprofil 50 anstelle des Kalibrierprofils 20 mittels der Sendeeinrichtung 28 über die Funkverbindung 24 an den Empfänger 22 übertragen. Der Empfänger 22 überträgt dann das empfangene vorläufige Nutzerprofil 50 an die Transformationseinrichtung 52'. In diesem Fall kann die Anpassungsvorrichtung 26 dann z. B. ein an sich aus dem Stand der Technik bekanntes Eyetrackingsystem mit Selbstkalibrierung sein. Die Transformation wird dann durch das Eyetrackingsystem 12 des Kraftfahrzeugs durchgeführt.
  • Nachdem der Benutzer 34 nun die Anpassungsvorrichtung 26 genutzt hat, kann er in das Kraftfahrzeug 10 einsteigen und das Eyetrackingsystem 12 ohne eine vorherige Kalibrierphase im Kraftfahrzeug 10 nutzen.
  • Die Anpassungsvorrichtung 26 kann als stationäres Gerät beispielsweise bei einem Kraftfahrzeughändler aufgebaut sein. Mit der Anpassungsvorrichtung 26 ist eine Remote-Kalibrierung also Fernkalibrierung ermöglicht. Das Gerät kann zum Beispiel die Form einer Brille haben oder eine kurze Simulation auf einem Aufbau mit Screen und Sensoren umfassen. Der Benutzer 34 bekommt beim Bestellen seines Fahrzeugs eine kurze Bedienaufgabe durchzuführen, die auch einen unterhaltsamen, lustigen Inhalt aufweisen kann, um hierdurch die Aufmerksamkeit des Benutzers 34 besonders intensiv auf bestimmte graphische Objekte zu lenken. Beispielsweise kann der Benutzer 34 sein bestelltes Fahrzeug als 3D-Modell angezeigt bekommen, damit er dieses Modell mit seinen Blicken bewegt, Türen des Modells durch Blicksteuerung öffnet und/oder weitere Funktionen bedient. Ohne dass der Benutzer 34 es hierbei merkt, können durch die Sensoren der Erfassungseinrichtung die Parameter/Daten für das Erstellen des Nutzerprofils erfasst werden, also insbesondere die Stellungsdaten 48.
  • Bei Lieferung des Kraftfahrzeugs 10 braucht der Benutzer 34 dann keine Kalibrierung mehr, da das Eyetrackingsystem 12 bereits seine Parameter oder zumindest einige davon bereits gespeichert hat. Es kann eine Nachschärfung der Kalibrierung im Kraftfahrzeug 10 ermöglicht oder vorgesehen sein. Diese läuft allerdings im Hintergrund, ohne dass hierbei die Bedienfunktion unterbrochen werden muss und belästigt daher den Benutzer 34 nicht. Der Benutzer 34 kann also direkt mit dem Kraftfahrzeug 10 losfahren und das Eyetrackingsystem 12 nutzen.
  • Insgesamt zeigt das Beispiel, wie durch die Erfindung eine Remote-Kalibrierung für ein Eyetrackingsystem 12 bereitgestellt werden kann.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • WO 2013/059940 A1 [0002]
    • DE 102009049073 A1 [0003]
    • US 2012/0235902 A1 [0004]

Claims (10)

  1. Verfahren zum Anpassen eines Eyetrackingsystems (12) eines Kraftfahrzeugs (10) an einen Benutzer (34), wobei eine beim Betrachten einer vorbestimmten Bildsequenz (40) vom Benutzer (34) eingenommene Augenstellung erfasst und aus der erfassten Augenstellung ein nutzerspezifisches Kalibrierprofil (20) für das Eyetrackingsystem (12) erzeugt wird, dadurch gekennzeichnet, dass die Augenstellung durch eine von dem Eyetrackingsystem (12) verschiedene Erfassungseinrichtung (32) erfasst wird, eine Kalibiereinrichtung (38) ein vorläufiges Kalibrierprofil (50) für die Erfassungseinrichtung (32) erzeugt und eine Transformationseinrichtung (52, 52') das vorläufige Kalibrierprofil (50) in das Kalibierprofil (20) für das Eyetrackingsystem (12) umwandelt.
  2. Verfahren nach Anspruch 1, wobei eine Anzeigeeinrichtung (36) zum Anzeigen der Bildsequenz (40), die Erfassungseinrichtung (32) und die Kalibriereinrichtung (38) durch eine von dem Kraftfahrzeug (10) verschiedene Anpassungsvorrichtung (26) bereitgestellt sind.
  3. Verfahren nach Anspruch 2, wobei die Transformationseinrichtung (52) durch die Anpassungsvorrichtung (26) bereitgestellt wird.
  4. Verfahren nach Anspruch 1, wobei die Transformationseinrichtung (52') durch das Eyetrackingsystem (12) bereitgestellt wird.
  5. Verfahren nach einem der vorhergehenden Ansprüche, wobei das vorläufige Kalibrierprofil (50) für die Erfassungseinrichtung (32) oder das Kalibrierprofil (20) für das Eyetrackingsystem (12) über eine Kommunikationsverbindung (24) in das Kraftfahrzeug (10) übertragen werden.
  6. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Abbildungsvorschrift (54) eine geometrische Transformation einer Geometrie der Erfassungseinrichtung (52) auf eine Geometrie des Eyetrackingsystems (12) umfasst.
  7. Anpassungsvorrichtung (26) für ein Eyetrackingsystem (12) eines Kraftfahrzeugs (10), mit einer Anzeigeeinrichtung (36) zum Anzeigen der Bildsequenz (40), einer Erfassungseinrichtung (32) zum Erfassen einer Augenstellung eines Benutzers (34) beim Anzeigen der Bildsequenz (40), einer Kalibiereinrichtung (38) zum Erzeugen eines vorläufigen Kalibrierprofils (50) für die Erfassungseinrichtung (32), dadurch gekennzeichnet, dass die Anpassungsvorrichtung (26) eine Transformationseinrichtung (50) aufweist, die dazu ausgelegt ist, das vorläufige Kalibrierprofil (50) mittels einer vorbestimmten Abbildungsvorschrift (54) in ein Kalibierprofil (20) für das Eyetrackingsystem (12) umzuwandeln.
  8. Eyetrackingsystem (12) für ein Kraftfahrzeug (10), dadurch gekennzeichnet, dass das Eyetrackingsystem (12) aufweist: – eine Empfangseinrichtung (22) zum Empfangen eines vorläufigen Kalibrierprofils (50) für eine von dem Eyetrackingsystem (12) verschiedene Erfassungseinrichtung (32) zum Erfassen einer Augenstellung eines Benutzers (34) und – eine Transformationseinrichtung (52'), die dazu ausgelegt ist, das vorläufige Kalibrierprofil (50) mittels einer vorbestimmten Abbildungsvorschrift (54) in ein Kalibierprofil (20) für das Eyetrackingsystem (12) umzuwandeln.
  9. Eyetrackingsystem (12) nach Anspruch 8, wobei eine Korrektureinrichtung des Eyetrackingsystems (12) dazu ausgelegt ist, bei einem Betrieb des Eyetrackingsystems (12) mit dem Kalibrierprofil (20) für das Eyetrackingsystem (12) in Abhängigkeit von Stellungsdaten einer durch eine Erfassungseinrichtung des Eyetrackingsystems (12) erfassten Augenstellung eine Fehlkalibrierung zu erkennen und in Abhängigkeit von der erkannten Fehlkalibrierung das Kalibrierprofil (20) für das Eyetrackingsystem (12) zur Verringerung der Fehlkalibrierung zu verändern.
  10. Kraftfahrzeug (10) mit einem Eyetrackingsystem (12) nach einem der Ansprüche 8 oder 9.
DE102014008852.9A 2014-06-14 2014-06-14 Kalibrierung eines Kraftfahrzeug-Eyetrackingsystems Active DE102014008852B4 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102014008852.9A DE102014008852B4 (de) 2014-06-14 2014-06-14 Kalibrierung eines Kraftfahrzeug-Eyetrackingsystems

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102014008852.9A DE102014008852B4 (de) 2014-06-14 2014-06-14 Kalibrierung eines Kraftfahrzeug-Eyetrackingsystems

Publications (2)

Publication Number Publication Date
DE102014008852A1 true DE102014008852A1 (de) 2015-12-17
DE102014008852B4 DE102014008852B4 (de) 2024-07-04

Family

ID=54706079

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102014008852.9A Active DE102014008852B4 (de) 2014-06-14 2014-06-14 Kalibrierung eines Kraftfahrzeug-Eyetrackingsystems

Country Status (1)

Country Link
DE (1) DE102014008852B4 (de)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017211817A1 (de) 2016-06-10 2017-12-14 Volkswagen Aktiengesellschaft Bedienvorrichtung mit eyetrackereinheit und verfahren zum kalibrieren einer eyetrackereinheit einer bedienvorrichtung
DE102017214546A1 (de) * 2017-08-21 2019-02-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Betreiben eines Assistenzsystems für ein Fahrzeug und Assistenzsystem
DE102017214513A1 (de) * 2017-08-21 2019-02-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Betreiben eines Assistenzsystems für ein Fahrzeug und Assistenzsystem
CN110855733A (zh) * 2018-08-21 2020-02-28 上海擎感智能科技有限公司 车辆介绍方法、***、服务器及车辆
CN111190482A (zh) * 2018-11-15 2020-05-22 托比股份公司 用于校准眼睛追踪器的方法和装置
DE102020123744A1 (de) 2020-09-11 2022-03-17 Bayerische Motoren Werke Aktiengesellschaft Bestimmen einer Blickrichtung einer Person

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009049073A1 (de) 2009-10-12 2011-04-21 Metaio Gmbh Verfahren zur Darstellung von virtueller Information in einer Ansicht einer realen Umgebung
US20120235902A1 (en) 2009-10-13 2012-09-20 Recon Instruments Inc. Control systems and methods for head-mounted information systems
WO2013059940A1 (en) 2011-10-27 2013-05-02 Tandemlaunch Technologies Inc. System and method for calibrating eye gaze data
WO2014020323A1 (en) * 2012-07-30 2014-02-06 Haddon John Cursor movement device

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8510166B2 (en) 2011-05-11 2013-08-13 Google Inc. Gaze tracking system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009049073A1 (de) 2009-10-12 2011-04-21 Metaio Gmbh Verfahren zur Darstellung von virtueller Information in einer Ansicht einer realen Umgebung
US20120235902A1 (en) 2009-10-13 2012-09-20 Recon Instruments Inc. Control systems and methods for head-mounted information systems
WO2013059940A1 (en) 2011-10-27 2013-05-02 Tandemlaunch Technologies Inc. System and method for calibrating eye gaze data
WO2014020323A1 (en) * 2012-07-30 2014-02-06 Haddon John Cursor movement device

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017211817A1 (de) 2016-06-10 2017-12-14 Volkswagen Aktiengesellschaft Bedienvorrichtung mit eyetrackereinheit und verfahren zum kalibrieren einer eyetrackereinheit einer bedienvorrichtung
DE102016210288A1 (de) 2016-06-10 2017-12-14 Volkswagen Aktiengesellschaft Bedienvorrichtung mit Eyetrackereinheit und Verfahren zum Kalibrieren einer Eyetrackereinheit einer Bedienvorrichtung
US10635170B2 (en) 2016-06-10 2020-04-28 Volkswagen Aktiengesellschaft Operating device with eye tracker unit and method for calibrating an eye tracker unit of an operating device
DE102017214546A1 (de) * 2017-08-21 2019-02-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Betreiben eines Assistenzsystems für ein Fahrzeug und Assistenzsystem
DE102017214513A1 (de) * 2017-08-21 2019-02-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Betreiben eines Assistenzsystems für ein Fahrzeug und Assistenzsystem
DE102017214546B4 (de) 2017-08-21 2023-02-02 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Betreiben eines Assistenzsystems für ein Fahrzeug und Assistenzsystem
US11640199B2 (en) 2017-08-21 2023-05-02 Bayerische Motoren Werke Aktiengesellschaft Method for operating an assist system for a vehicle, and assist system
CN110855733A (zh) * 2018-08-21 2020-02-28 上海擎感智能科技有限公司 车辆介绍方法、***、服务器及车辆
CN111190482A (zh) * 2018-11-15 2020-05-22 托比股份公司 用于校准眼睛追踪器的方法和装置
CN111190482B (zh) * 2018-11-15 2024-01-26 托比股份公司 用于校准眼睛追踪器的方法和装置
DE102020123744A1 (de) 2020-09-11 2022-03-17 Bayerische Motoren Werke Aktiengesellschaft Bestimmen einer Blickrichtung einer Person

Also Published As

Publication number Publication date
DE102014008852B4 (de) 2024-07-04

Similar Documents

Publication Publication Date Title
DE102014008852A1 (de) Kalibrierung eines Kraftfahrzeug-Eyetrackingsystems
EP2752036B1 (de) Kraftfahrzeug
DE102011084264A1 (de) Verfahren und Vorrichtung zum Kalibrieren eines Umfeldsensors
DE102011018555A1 (de) Schnittstelle zur Datenübertragung in einem Kraftfahrzeug und Computerprogrammprodukt
WO2017211817A1 (de) Bedienvorrichtung mit eyetrackereinheit und verfahren zum kalibrieren einer eyetrackereinheit einer bedienvorrichtung
DE102013016096A1 (de) Kraftfahrzeugkonfiguration mittels Kommunikationsendgerät
DE102017211748A1 (de) Verfahren zum Betreiben einer Ausgabeeinrichtung eines Kraftfahrzeugs, Fahrerassistenzeinrichtung, und Kraftfahrzeug
DE102015214802A1 (de) Verfahren und Vorrichtung zum Leiten eines Fahrzeugs
DE102016224122A1 (de) Verfahren zum Betreiben einer VR-Brille in einem Innenraum eines Kraftfahrzeugs sowie Steuervorrichtung und Kraftfahrzeug
DE102018131805A1 (de) Vorrichtung zum erfassen einer gesichtsposition
DE102020105196A1 (de) Verfahren zum Betreiben einer Datenbrille in einem Kraftfahrzeug sowie System mit einem Kraftfahrzeug und einer Datenbrille
DE102018215186A1 (de) Konzept zum Überwachen und Planen einer Bewegung eines Fortbewegungsmittels
DE102013019909A1 (de) Lageabhängiges Steuern eines Kommunikationsgeräts in der Nähe eines Kraftfahrzeugs
DE102015225374A1 (de) Anordnung, Fortbewegungsmittel und Verfahren zur Führung eines Fortbewegungsmittels
DE102016206694A1 (de) Assistenzsystem und Verfahren eines hochautomatisierten Fahrzeugs zur Verbesserung des Zusammenwirkens mit anderen Verkehrsteilnehmern
DE102013224279A1 (de) Verfahren und System zum Bereitstellen eines Assistenzvorschlages für einen Benutzer eines Kraftfahrzeuges
DE102014008204A1 (de) Kraftfahrzeug mit Medienwiedergabe
DE102017006924A1 (de) Verfahren und System zur Fernsteuerung einer Funktion eines Fahrzeuges
WO2016156377A1 (de) Verfahren zum bereitstellen von höheninformationen eines objekts in einem umgebungsbereich eines kraftfahrzeugs an einer kommunikationsschnittstelle, sensoreinrichtung, verarbeitungseinrichtung und kraftfahrzeug
EP3802204B1 (de) Computerprogrammprodukt zum elektrischen einstellen eines fahrzeugsitzes, einstellsystem und fahrzeug
WO2020224985A1 (de) Verfahren zum durchführen eines rangiervorgangs eines kraftfahrzeugs mit aufmerksamkeitsbeurteilung eines nutzers sowie rangierassistenzsystem für ein kraftfahrzeug
DE102013007256A1 (de) Verfahren zum personalisierten Betreiben einer graphischen Benutzeroberfläche eines Kraftwagens und Kraftwagen mit einer solchen graphischen Benutzeroberfläche
DE102012023409A1 (de) Verfahren zur Einstellung von Fahrzeugeinbauten
WO2016184972A1 (de) Verfahren zum betreiben einer datenbrille in einem kraftfahrzeug und system mit einer datenbrille
DE102017218100A1 (de) Verfahren und Vorrichtung zum Konfigurieren von Fahrzeugfunktionen

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R082 Change of representative

Representative=s name: HOFSTETTER, SCHURACK & PARTNER - PATENT- UND R, DE

R018 Grant decision by examination section/examining division