DE102016010763A1 - Device for determining the direction of sight - Google Patents

Device for determining the direction of sight Download PDF

Info

Publication number
DE102016010763A1
DE102016010763A1 DE102016010763.4A DE102016010763A DE102016010763A1 DE 102016010763 A1 DE102016010763 A1 DE 102016010763A1 DE 102016010763 A DE102016010763 A DE 102016010763A DE 102016010763 A1 DE102016010763 A1 DE 102016010763A1
Authority
DE
Germany
Prior art keywords
vehicle occupant
pupil
unit
glasses
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102016010763.4A
Other languages
German (de)
Inventor
Fridtjof Stein
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Daimler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler AG filed Critical Daimler AG
Priority to DE102016010763.4A priority Critical patent/DE102016010763A1/en
Publication of DE102016010763A1 publication Critical patent/DE102016010763A1/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114—Tracking parts of the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Psychiatry (AREA)
  • Hospice & Palliative Care (AREA)
  • Child & Adolescent Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Eye Examination Apparatus (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Erfindung betrifft eine Vorrichtung (2) zur Blickrichtungsermittlung eines Fahrzeuginsassen (F), insbesondere eines Fahrzeugführers, umfassend eine Fahrzeuginsassenbeobachtungskamera (3), deren Erfassungsbereich (E) auf den Fahrzeuginsassen (F) ausgerichtet ist, und eine Blickrichtungsermittlungseinheit (4). Erfindungsgemäß umfasst die Vorrichtung (2) eine Brille (5) für den Fahrzeuginsassen (F), welche zumindest eine Erfassungseinheit (6) zur Erfassung eines Pupillenstandes und/oder einer Pupillenbewegung des Fahrzeuginsassen (F) und zumindest eine Sendeeinheit (7) zum Senden des erfassten Pupillenstandes und/oder der erfassten Pupillenbewegung an die Blickrichtungsermittlungseinheit (4) aufweist.The invention relates to a device (2) for determining the direction of sight of a vehicle occupant (F), in particular a vehicle driver, comprising a vehicle occupant observation camera (3) whose detection area (E) is aligned with the vehicle occupant (F) and a sight line determination unit (4). According to the invention, the device (2) comprises spectacles (5) for the vehicle occupant (F), which comprise at least one detection unit (6) for detecting a pupil position and / or a pupil movement of the vehicle occupant (F) and at least one transmission unit (7) for transmitting the having detected pupil level and / or the detected pupil movement to the viewing direction determination unit (4).

Description

Die Erfindung betrifft eine Vorrichtung zur Blickrichtungsermittlung nach den Merkmalen des Oberbegriffs des Anspruchs 1.The invention relates to a device for determining the direction of sight according to the features of the preamble of claim 1.

Aus dem Stand der Technik ist eine Vorrichtung zur Ermittlung einer Blickrichtung eines Fahrzeugführers allgemein bekannt. Diese Vorrichtung umfasst eine Kamera, welche den Fahrzeugführer beobachtet, wobei eine Blickrichtung anhand einer Kopfstellung und eines Pupillenstandes und/oder einer Pupillenbewegung des Fahrzeugführers ermittelt wird.From the prior art, a device for determining a line of sight of a vehicle driver is well known. This device comprises a camera, which observes the vehicle driver, wherein a viewing direction is determined on the basis of a head position and a pupil level and / or a pupil movement of the vehicle driver.

Der Erfindung liegt die Aufgabe zu Grunde, eine gegenüber dem Stand der Technik verbesserte Vorrichtung zur Blickrichtungsermittlung anzugeben.The invention is based on the object of specifying a comparison with the prior art improved device for viewing direction determination.

Die Aufgabe wird erfindungsgemäß gelöst durch eine Vorrichtung zur Blickrichtungsermittlung mit den Merkmalen des Anspruchs 1.The object is achieved by a device for viewing direction determination with the features of claim 1.

Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.Advantageous embodiments of the invention are the subject of the dependent claims.

Eine Vorrichtung zur Blickrichtungsermittlung eines Fahrzeuginsassen, insbesondere eines Fahrzeugführers, umfasst eine Fahrzeug insassenbeobachtungskamera, deren Erfassungsbereich auf den Fahrzeuginsassen ausgerichtet ist, und eine Blickrichtungsermittlungseinheit.A device for determining the direction of sight of a vehicle occupant, in particular of a vehicle driver, comprises a vehicle occupant observation camera whose detection area is aligned with the vehicle occupant, and a sight line determination unit.

Erfindungsgemäß umfasst die Vorrichtung eine Brille für den Fahrzeuginsassen, welche zumindest eine Erfassungseinheit zur Erfassung eines Pupillenstandes und/oder einer Pupillenbewegung des Fahrzeuginsassen und zumindest eine Sendeeinheit zum Senden des erfassten Pupillenstandes und/oder der erfassten Pupillenbewegung an die Blickrichtungsermittlungseinheit aufweist.According to the invention, the device comprises spectacles for the vehicle occupant, which has at least one detection unit for detecting a pupil level and / or a pupil movement of the vehicle occupant and at least one transmitting unit for transmitting the detected pupil level and / or the detected pupil movement to the viewing direction determination unit.

Durch diese erfindungsgemäße Lösung wird die Blickrichtungsermittlung insbesondere bei einem Brille tragenden Fahrzeuginsassen verbessert oder bei schwierigen Umgebungsbedingungen, beispielsweise bei ungünstigen Beleuchtungsbedingungen, wird sie durch die erfindungsgemäße Lösung ermöglicht.By this solution according to the invention the viewing direction determination is improved in particular in a spectacle-wearing vehicle occupant or in difficult environmental conditions, for example in unfavorable lighting conditions, it is made possible by the inventive solution.

Eine solche Ermittlung einer jeweiligen Blickrichtung eines Fahrzeuginsassen, insbesondere eines Fahrzeugführers, ist beispielsweise für ein assistiertes oder teilautonomes oder autonomes Fahren eines Fahrzeugs erforderlich, da es in diesen Fällen wichtig ist, zu wissen, in welche Richtung der Fahrzeugführer sieht, um Reaktionszeiten bei einer möglicherweise erforderlichen Fahraufgabenübergabe an den Fahrzeugführer zu ermitteln oder den Fahrzeugführer auf Gefahren hinzuweisen, die er momentan nicht wahrnimmt, da sie sich nicht in seinem Sehfeld befinden.Such a determination of a particular line of sight of a vehicle occupant, in particular a driver, is required, for example, for an assisted or partially autonomous or autonomous driving of a vehicle, since in these cases it is important to know in which direction the driver sees to possibly reaction times Determine the required driving task to the driver or to warn the driver of dangers that he is currently not aware because they are not in his field of vision.

Aus dem Stand der Technik ist es bekannt, diese Blickrichtungsermittlung mit der Fahrzeuginsassenbeobachtungskamera durchzuführen, deren Erfassungsbereich auf den Fahrzeuginsassen, insbesondere auf den Fahrzeugführer, ausgerichtet ist. Die Fahrzeuginsassenbeobachtungskamera mit der angeschlossenen Blickrichtungsermittlungseinheit ermittelt die Blickrichtung anhand von Kopfstellung und Pupillenstand und/oder Pupillenbewegung. Die Ermittlung dieser Daten wird jedoch deutlich erschwert bei ungünstigen Beleuchtungsbedingungen oder wenn der Fahrzeuginsasse, insbesondere Fahrzeugführer, eine Brille trägt. Beispielsweise sind Lichtreflexe, Schmutz auf dem Brillenglas und/oder eine Tönung des Brillenglases problematisch.From the prior art, it is known to perform this viewing direction determination with the vehicle occupant observation camera whose detection range is aligned with the vehicle occupant, in particular with the driver. The vehicle occupant observation camera with the attached sight line determination unit determines the viewing direction based on head position and pupil level and / or pupil movement. However, the determination of these data is made much more difficult under unfavorable lighting conditions or when the vehicle occupant, in particular driver, wearing glasses. For example, light reflections, dirt on the spectacle lens and / or a tint of the spectacle lens are problematic.

Durch die erfindungsgemäße Lösung werden diese Probleme vermieden, da der Pupillenstand und/oder die Pupillenbewegung mittels der Brille erfasst werden bzw. wird, welche zweckmäßigerweise als eine pupillenverfolgende Brille ausgebildet ist. D. h. diese Brille erfasst mittels ihrer zumindest einen Erfassungseinheit, zweckmäßigerweise mittels zweier jeweils einer Pupille zugeordneten Erfassungseinheiten, den Pupillenstand und/oder die Pupillenbewegung des Fahrzeuginsassen, insbesondere des Fahrzeugführers, und sendet diese erfassten Daten zum jeweiligen Pupillenstand und/oder zur Pupillenbewegung mittels ihrer Sendeeinheit an die Blickrichtungsermittlungseinheit. Mittels der Fahrzeuginsassenbeobachtungskamera wird zusätzlich zu diesen Daten eine jeweilige Kopfstellung des Fahrzeuginsassen ermittelt.The solution according to the invention avoids these problems, since the pupil level and / or the pupil movement are detected by means of the spectacles, which is expediently designed as pupil-tracking spectacles. Ie. these spectacles captured by means of its at least one detection unit, expediently by means of two each associated with a pupil detection units, the pupil level and / or the pupil movement of the vehicle occupant, in particular the driver, and sends this data collected to the respective pupil and / or pupil movement by means of its transmitting unit to the sight detection unit. By means of the vehicle occupant observation camera, a respective head position of the vehicle occupant is determined in addition to these data.

In der Blickrichtungsermittlungseinheit wird dann aus der Kopfstellung sowie aus dem Pupillenstand und/oder der Pupillenbewegung die Blickrichtung des Fahrzeuginsassen, insbesondere des Fahrzeugführers, ermittelt. Die ermittelte Blickrichtung kann dann von einem oder mehreren Assistenzsystemen des Fahrzeugs, insbesondere von einem Assistenzsystem zum assistierten oder teilautonomen oder autonomen Fahren des Fahrzeugs, verwendet werden.In the line of sight determination unit, the viewing direction of the vehicle occupant, in particular of the vehicle driver, is then determined from the head position as well as from the pupil position and / or the pupil movement. The determined viewing direction can then be used by one or more assistance systems of the vehicle, in particular by an assistance system for assisted or partially autonomous or autonomous driving of the vehicle.

Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.Embodiments of the invention are explained in more detail below with reference to drawings.

Dabei zeigen:Showing:

1 schematisch ein Fahrzeug mit einem Fahrzeuginsassen und einer Vorrichtung zur Blickrichtungsermittlung des Fahrzeuginsassen, 1 1 schematically shows a vehicle with a vehicle occupant and a device for determining the direction of sight of the vehicle occupant,

2 schematisch eine Brille, und 2 schematically a pair of glasses, and

3 schematisch eine Vorrichtung zur Blickrichtungsermittlung eines Fahrzeuginsassen. 3 schematically a device for viewing direction determination of a vehicle occupant.

Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.Corresponding parts are provided in all figures with the same reference numerals.

1 zeigt eine schematische Darstellung eines Fahrzeugs 1 mit einem Fahrzeuginsassen F, insbesondere einem Fahrzeugführer. Das Fahrzeug 1 weist eine Vorrichtung 2 zur Blickrichtungsermittlung des Fahrzeuginsassen F auf. Eine solche Ermittlung einer jeweiligen Blickrichtung des Fahrzeuginsassen F, insbesondere des Fahrzeugführers, ist beispielsweise für ein assistiertes oder teilautonomes oder autonomes Fahren des Fahrzeugs 1 erforderlich, da es in diesen Fällen wichtig ist, zu wissen, in welche Richtung der Fahrzeugführer sieht, um Reaktionszeiten bei einer möglicherweise erforderlichen Fahraufgabenübergabe an den Fahrzeugführer zu ermitteln oder den Fahrzeugführer auf Gefahren hinzuweisen, die er momentan nicht wahrnimmt, da sie sich nicht in seinem Sehfeld befinden. 1 shows a schematic representation of a vehicle 1 with a vehicle occupant F, in particular a driver. The vehicle 1 has a device 2 for viewing direction determination of the vehicle occupant F. Such a determination of a respective viewing direction of the vehicle occupant F, in particular of the driver, is for example for an assisted or partially autonomous or autonomous driving of the vehicle 1 required because in these cases it is important to know in which direction the driver sees to determine reaction times in a possibly necessary driving task to the driver or to alert the driver to hazards that he does not currently perceive because they are not in his field of vision.

Die Vorrichtung 2 zur Blickrichtungsermittlung umfasst eine Fahrzeuginsassenbeobachtungskamera 3, deren Erfassungsbereich E auf den Fahrzeuginsassen F, im dargestellten Beispiel auf den Fahrzeugführer, ausgerichtet ist, und eine mit der Fahrzeuginsassenbeobachtungskamera 3 verbundene Blickrichtungsermittlungseinheit 4.The device 2 for sight line determination comprises a vehicle occupant observation camera 3 whose coverage area E is directed to the vehicle occupant F, in the example shown to the driver, and one with the vehicle occupant observation camera 3 Connected line of sight determination unit 4 ,

Aus dem Stand der Technik ist es bekannt, zur Ermittlung der Blickrichtung mittels der Fahrzeuginsassenbeobachtungskamera 3 eine Kopfstellung sowie einen Pupillenstand und/oder eine Pupillenbewegung des Fahrzeuginsassen F, in diesem Beispiel des Fahrzeugführers, zu ermitteln und in der Blickrichtungsermittlungseinheit 4 anhand dieser ermittelten Daten die Blickrichtung zu ermitteln. Die Ermittlung dieser Daten wird jedoch deutlich erschwert bei ungünstigen Beleuchtungsbedingungen oder wenn der Fahrzeuginsasse F, hier der Fahrzeugführer, Brillenträger ist. Beispielsweise sind Lichtreflexe, Schmutz auf dem Brillenglas und/oder eine Tönung des Brillenglases problematisch.From the prior art it is known to determine the viewing direction by means of the vehicle occupant observation camera 3 a head position and a pupil level and / or a pupil movement of the vehicle occupant F, in this example, the driver to determine and in the viewing direction determination unit 4 to determine the viewing direction based on this data. However, the determination of these data is made much more difficult under unfavorable lighting conditions or when the vehicle occupant F, here the driver, wearing glasses. For example, light reflections, dirt on the spectacle lens and / or a tint of the spectacle lens are problematic.

Daher weist die hier beschriebene Vorrichtung 2 zur Blickrichtungsermittlung zusätzlich eine Brille 5 für den Fahrzeuginsassen F auf, welche zweckmäßigerweise als eine pupillenverfolgende Brille 5 ausgebildet ist. Diese Brille 5 ermöglicht insbesondere die Detektion von Augen des Fahrzeuginsassen F und deren Ausrichtung, d. h. insbesondere die Erfassung eines Pupillenstandes und/oder einer Pupillenbewegung.Therefore, the device described here 2 to determine the direction of sight additionally glasses 5 for the vehicle occupant F, which expediently as pupil-tracking spectacles 5 is trained. These glasses 5 allows in particular the detection of eyes of the vehicle occupant F and their orientation, ie in particular the detection of a pupil level and / or a pupil movement.

Zu diesem Zweck weist die Brille 5 zumindest eine Erfassungseinheit 6 zur Erfassung des Pupillenstandes und/oder der Pupillenbewegung des Fahrzeuginsassen F auf. Des Weiteren weist die Brille 5 zumindest eine Sendeeinheit 7 zum Senden des erfassten Pupillenstandes und/oder der erfassten Pupillenbewegung an die Blickrichtungsermittlungseinheit 4 auf. Ein Ausführungsbeispiel einer solchen Brille 5, welche der Fahrzeuginsasse F in 1 und 3 trägt, ist in 2 näher dargestellt.For this purpose, the glasses points 5 at least one registration unit 6 for detecting the pupil level and / or the pupil movement of the vehicle occupant F. Furthermore, the glasses are pointing 5 at least one transmitting unit 7 for transmitting the detected pupil level and / or the detected pupil movement to the sight line determination unit 4 on. An embodiment of such glasses 5 which the vehicle occupant F in 1 and 3 carries is in 2 shown in more detail.

In dem dargestellten vorteilhaften Beispiel weist die Brille 5 zwei solche Erfassungseinheiten 6 zur Erfassung des Pupillenstandes und/oder der Pupillenbewegung des Fahrzeuginsassen F auf, welche jeweils einer Pupille des Fahrzeuginsassen F zugeordnet sind. Die jeweilige Erfassungseinheit 6 ist zweckmäßigerweise als ein optischer Sensor ausgebildet oder umfasst einen solchen optischen Sensor. Beispielsweise ist die jeweilige Erfassungseinheit 6 als eine Kamera ausgebildet. Des Weiteren umfasst die hier dargestellte Ausführungsform der Brille 5 eine Verarbeitungseinheit 8 zur Verarbeitung von Daten der Erfassungseinheiten 6.In the illustrated advantageous example, the glasses 5 two such registration units 6 for detecting the pupil level and / or the pupil movement of the vehicle occupant F, which are each associated with a pupil of the vehicle occupant F. The respective registration unit 6 is expediently designed as an optical sensor or comprises such an optical sensor. For example, the respective detection unit 6 formed as a camera. Furthermore, the embodiment illustrated here comprises the spectacles 5 a processing unit 8th for processing data of the recording units 6 ,

Durch diese Lösung werden die oben geschilderten Probleme vermieden, denn der Pupillenstand und/oder die Pupillenbewegung werden mittels der Brille 5 erfasst. D. h. diese Brille 5 erfasst mittels ihrer zumindest einen Erfassungseinheit 6, zweckmäßigerweise, wie im dargestellten Beispiel, mittels der beiden jeweils einer Pupille zugeordneten Erfassungseinheiten 6, den Pupillenstand und/oder die Pupillenbewegung des Fahrzeuginsassen F, im dargestellten Beispiel des Fahrzeugführers, und sendet diese erfassten Daten zum jeweiligen Pupillenstand und/oder zur Pupillenbewegung mittels ihrer Sendeeinheit 7 an die Blickrichtungsermittlungseinheit 4, wie in den 1 und 3 gezeigt. Die oben geschilderten Probleme bei der Erfassung des Pupillenstandes und/oder der Pupillenbewegung treten bei dieser Lösung nicht mehr auf, da die Erfassungseinheit 6 oder zweckmäßigerweise die beiden Erfassungseinheiten 6 der Brille 5 in unmittelbarer Nähe der Pupillen angeordnet sind und insbesondere kein Brillenglas dazwischen angeordnet ist, welches die Erfassung aufgrund von Schmutz, Lichtreflexen und/oder seiner Tönung erschweren oder verhindern könnte.By this solution, the above-described problems are avoided because the pupil level and / or the pupil movement by means of the glasses 5 detected. Ie. these glasses 5 detected by means of at least one detection unit 6 , Expediently, as in the example shown, by means of the two each associated with a pupil detection units 6 , the pupil level and / or the pupil movement of the vehicle occupant F, in the illustrated example of the vehicle driver, and sends this acquired data to the respective pupil level and / or to the pupil movement by means of its transmitting unit 7 to the sight line determination unit 4 as in the 1 and 3 shown. The above-described problems in the detection of the pupil level and / or the pupil movement no longer occur in this solution, since the detection unit 6 or expediently the two detection units 6 the glasses 5 are arranged in the immediate vicinity of the pupils and in particular no spectacle lens is arranged therebetween, which could complicate or prevent the detection due to dirt, light reflections and / or its tinting.

Bei Verwendung dieser Brille 5 ist somit die Erfassung des Pupillenstand und/oder der Pupillenbewegung mittels der Fahrzeuginsassenbeobachtungskamera 3 nicht mehr erforderlich. Mittels der Fahrzeuginsassenbeobachtungskamera 3 wird daher bei Verwendung der Brille 5 zusätzlich zu den von der Brille 5 erfassten Daten bezüglich des Pupillenstandes und/oder der Pupillenbewegung nur die jeweilige Kopfstellung des Fahrzeuginsassen F ermittelt, d. h. die Fahrzeuginsassenbeobachtungskamera 3 detektiert den Kopf des Fahrzeuginsassen F, hier des Fahrzeugführers, und dessen Ausrichtung. Die oben beschriebenen Probleme haben auf die Ermittlung der Kopfstellung mittels der Fahrzeuginsassenbeobachtungskamera 3 keinen Einfluss oder sind vernachlässig bar.When using these glasses 5 is thus the detection of the pupil level and / or the pupil movement by means of the vehicle occupant observation camera 3 not necessary anymore. By means of the vehicle occupant observation camera 3 is therefore when using the glasses 5 in addition to those of the glasses 5 detected data with respect to the pupil level and / or the pupil movement only determines the respective head position of the vehicle occupant F, ie the vehicle occupant observation camera 3 Detects the head of the vehicle occupant F, here the driver, and its orientation. The problems described above have on the determination of the head position by means of Passenger observation camera 3 no influence or negligible.

In der Blickrichtungsermittlungseinheit 4 wird dann aus der Kopfstellung sowie aus dem Pupillenstand und/oder der Pupillenbewegung die Blickrichtung des Fahrzeuginsassen F, insbesondere des Fahrzeugführers, ermittelt. Die ermittelte Blickrichtung kann dann von einem oder mehreren Assistenzsystemen des Fahrzeugs 1, insbesondere von einem Assistenzsystem zum assistierten oder teilautonomen oder autonomen Fahren des Fahrzeugs 1, verwendet werden.In the line of sight determination unit 4 The viewing direction of the vehicle occupant F, in particular of the vehicle driver, is then determined from the head position as well as from the pupil position and / or the pupil movement. The determined viewing direction can then be from one or more assistance systems of the vehicle 1 , in particular by an assistance system for assisted or semi-autonomous or autonomous driving of the vehicle 1 , be used.

Die Sendeeinheit 7 der Brille 5, mittels welcher der erfasste Pupillenstand und/oder die erfasste Pupillenbewegung an die Blickrichtungsermittlungseinheit 4 gesendet werden, ist zweckmäßigerweise als eine funkbasierte Sendeeinheit 7 ausgebildet. Die Blickrichtungsermittlungseinheit 4 oder eine andere mit der Blickrichtungsermittlungseinheit 4 verbundene Komponente der Vorrichtung 2 weist zweckmäßigerweise eine zur Sendeeinheit 7 korrespondierende Empfangseinheit 9 auf.The transmitting unit 7 the glasses 5 by means of which the detected pupil level and / or the detected pupil movement to the viewing direction determination unit 4 is sent, is expediently as a radio-based transmitting unit 7 educated. The sight line detection unit 4 or another with the sight line determination unit 4 connected component of the device 2 has expediently one to the transmitting unit 7 corresponding receiving unit 9 on.

Das Übertragen des erfassten Pupillenstandes und/oder der erfassten Pupillenbewegung mittels der Sendeeinheit 7 an die Empfangseinheit 9 erfolgt beispielsweise mittels einer Nahfeldkommunikation N, zum Beispiel mittels Bluetooth.The transmission of the detected pupil level and / or the detected pupil movement by means of the transmitting unit 7 to the receiving unit 9 takes place for example by means of a near field communication N, for example by means of Bluetooth.

Die Brille 5 ist zweckmäßigerweise als eine Sonnenbrille und/oder als eine sehschärfenverbessernde Brille 5 ausgebildet. Beispielsweise ist die Brille 5 als eine so genannte intelligente Brille 5 ausgebildet, welche ihre sehschärfenverbessernden Eigenschaften automatisch verändern kann. Derartige Brillen 5 weisen, um dies zu ermöglichen, bereits die Erfassungseinheiten 6 und die Verarbeitungseinheit 8 zur Verarbeitung der Daten der Erfassungseinheiten 6 auf. Eine solche Brille 5 kann durch eine entsprechende Modifikation, d. h. insbesondere durch das Vorsehen der Sendeeinheit 7 und deren Kopplung mit der Verarbeitungseinheit 8, für die Vorrichtung 2 verwendet werden.The glasses 5 is expediently as a pair of sunglasses and / or as a glasses to improve vision 5 educated. For example, the glasses 5 as a so-called smart glasses 5 trained, which can change their Sehschfefenverbessernden properties automatically. Such glasses 5 To make this possible, already have the detection units 6 and the processing unit 8th for processing the data of the recording units 6 on. Such glasses 5 can by a corresponding modification, ie in particular by the provision of the transmitting unit 7 and their coupling to the processing unit 8th , for the device 2 be used.

Alternativ zu einer solchen als Sonnenbrille und/oder als sehschärfenverbessernde Brille 5 ausgebildeten Brille 5 kann, falls die Sonnenbrillenfunktion und/oder Sehschärfenverbesserungsfunktion nicht erforderlich sind bzw. ist, die Brille 5 beispielsweise lediglich als Brillengestell ausgebildet sein oder es kann an Stelle der Brille 5 eine andere Halterung für die Erfassungseinheit 6 oder zweckmäßigerweise die beiden Erfassungseinheiten 6 sowie für die Verarbeitungseinheit 8 und die Sendeeinheit 7 vorgesehen sein. In einer vorteilhaften Ausführungsform ist jedoch vorgesehen, dass, wenn der Fahrzeuginsasse F, insbesondere der Fahrzeugführer, weder eine Sonnenbrille noch eine sehschärfenverbessernde Brille 5 benötigt, die Erfassung des Pupillenstandes und/oder der Pupillenbewegung auf die oben beschriebene, aus dem Stand der Technik bekannte Weise mittels der Fahrzeuginsassenbeobachtungskamera 3 durchgeführt wird, so dass es dann für den Fahrzeuginsassen F, insbesondere den Fahrzeugführer, nicht erforderlich ist, die Brille 5 oder eine andere Halterung zu tragen.Alternatively to such as sunglasses and / or as eyesight improving glasses 5 trained glasses 5 may, if the sunglass function and / or visual acuity function is not required, the glasses 5 For example, be designed only as a spectacle frame or it may be in place of the glasses 5 another holder for the detection unit 6 or expediently the two detection units 6 as well as for the processing unit 8th and the transmitting unit 7 be provided. In an advantageous embodiment, however, it is provided that, when the vehicle occupant F, in particular the driver, neither a pair of sunglasses nor a pair of glasses improving vision 5 requires the detection of the pupil level and / or the pupil movement in the manner described above, known from the prior art by means of the vehicle occupant observation camera 3 is carried out so that it is then not necessary for the vehicle occupant F, in particular the driver, the glasses 5 or to wear another holder.

Somit wird, wenn der Fahrzeuginsasse F, dessen Blickrichtung zu ermitteln ist, in diesem Beispiel der Fahrzeugführer, die Brille 5 verwendet, mittels der Brille 5 die Detektion der Augen und deren Ausrichtung durchgeführt, d. h. es wird insbesondere der Pupillenstand und/oder die Pupillenbewegung des Fahrzeuginsassen F mittels der Erfassungseinheiten 6 der Brille 5 erfasst, mittels der Verarbeitungseinheit 8 der Brille 5 ausgewertet und mittels der Sendeeinheit 7 der Brille 5 an die Blickrichtungsermittlungseinheit 4 gesendet. Des Weiteren wird mittels der Fahrzeuginsassenbeobachtungskamera 3 der Kopf des Fahrzeuginsassen F detektiert und dessen Ausrichtung erfasst, d. h. es wird die Kopfstellung des Fahrzeuginsassen F ermittelt. In der Blickrichtungsermittlungseinheit 4 wird aus der ermittelten Kopfstellung sowie aus dem ermittelten Pupillenstand und/oder der ermittelten Pupillenbewegung des Fahrzeuginsassen F die Blickrichtung ermittelt. Dadurch wird eine sehr genaue Ermittlung der Blickrichtung des Fahrzeuginsassen F, im dargestellten Beispiel des Fahrzeugführers, auch unter den oben beschriebenen schwierigen Bedingungen ermöglicht.Thus, when the vehicle occupant F, whose line of sight is to be determined, in this example, the driver, the glasses 5 used, by means of glasses 5 the detection of the eyes and their alignment is performed, ie in particular the pupil level and / or the pupil movement of the vehicle occupant F by means of the detection units 6 the glasses 5 detected by means of the processing unit 8th the glasses 5 evaluated and by means of the transmitting unit 7 the glasses 5 to the sight line determination unit 4 Posted. Furthermore, by means of the vehicle occupant observation camera 3 the head of the vehicle occupant F detected and detected its orientation, ie it is the head position of the vehicle occupant F is determined. In the line of sight determination unit 4 the viewing direction is determined from the determined head position and from the determined pupil level and / or the determined pupil movement of the vehicle occupant F. This allows a very accurate determination of the line of sight of the vehicle occupant F, in the illustrated example of the driver, even under the difficult conditions described above.

Wenn die Brille 5 vom Fahrzeuginsassen F, dessen Blickrichtung zu ermitteln ist, im hier dargestellten Beispiel vom Fahrzeugführer, nicht verwendet wird, wird die Blickrichtung, wie bereits erwähnt, mittels der Vorrichtung 2 zweckmäßigerweise auf die bereits aus dem Stand der Technik bekannte Weise ermittelt. D. h. mittels der Fahrzeuginsassenbeobachtungskamera 3 wird der Kopf des Fahrzeuginsassen F detektiert und dessen Ausrichtung und somit die Kopfstellung ermittelt und zudem werden mittels der Fahrzeuginsassenbeobachtungskamera 3 die Augen des Fahrzeuginsassen F detektiert und deren Ausrichtung verfolgt, so dass der Pupillenstand und/oder die Pupillenbewegung erfasst werden können bzw. kann. Da der Fahrzeuginsasse F keine Brille 5 trägt, treten die oben beschriebenen Probleme bezüglich verschmutzter, getönter und/oder reflektierender Brillengläser nicht auf, so dass auch in diesem Fall die sehr genaue Blickrichtungsermittlung ermöglicht ist. In der Blickrichtungsermittlungseinheit 4 wird in diesem Fall aus der mittels der Fahrzeuginsassenbeobachtungskamera 3 ermittelten Kopfstellung sowie aus dem mittels der Fahrzeuginsassenbeobachtungskamera 3 ermittelten Pupillenstand und/oder aus der mittels der Fahrzeuginsassenbeobachtungskamera 3 ermittelten Pupillenbewegung die Blickrichtung des Fahrzeuginsassen F, hier des Fahrzeugführers, ermittelt.If the glasses 5 From the vehicle occupant F, whose viewing direction is to be determined, in the example shown here by the driver, is not used, the viewing direction, as already mentioned, by means of the device 2 expediently determined in the manner already known from the prior art. Ie. by means of the vehicle occupant observation camera 3 the head of the vehicle occupant F is detected and its orientation and thus the head position determined and also be by means of the vehicle occupant observation camera 3 the eyes of the vehicle occupant F detected and tracked their orientation, so that the pupil level and / or the pupil movement can be detected or can. Since the vehicle occupant F no glasses 5 carries, the problems described above with respect to soiled, tinted and / or reflective spectacle lenses do not occur, so that in this case, the very accurate viewing direction determination is possible. In the line of sight determination unit 4 in this case becomes out of the vehicle occupant observation camera 3 Determined head position and from the means of the vehicle occupant observation camera 3 determined pupil level and / or from the means of the vehicle occupant observation camera 3 determined pupil movement determines the viewing direction of the vehicle occupant F, here the driver.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

11
Fahrzeugvehicle
22
Vorrichtungcontraption
33
FahrzeuginsassenbeobachtungskameraPassenger observation camera
44
BlickrichtungsermittlungseinheitSight detection unit
55
Brilleglasses
66
Erfassungseinheitacquisition unit
77
Sendeeinheittransmission unit
88th
Verarbeitungseinheitprocessing unit
99
Empfangseinheitreceiver unit
Ee
Erfassungsbereichdetection range
FF
Fahrzeuginsassepassenger
NN
NahfeldkommunikationNear Field Communication

Claims (5)

Vorrichtung (2) zur Blickrichtungsermittlung eines Fahrzeuginsassen (F), insbesondere eines Fahrzeugführers, umfassend eine Fahrzeuginsassenbeobachtungskamera (3), deren Erfassungsbereich (E) auf den Fahrzeuginsassen (F) ausgerichtet ist, und eine Blickrichtungsermittlungseinheit (4), gekennzeichnet durch eine Brille (5) für den Fahrzeuginsassen (F), welche zumindest eine Erfassungseinheit (6) zur Erfassung eines Pupillenstandes und/oder einer Pupillenbewegung des Fahrzeuginsassen (F) und zumindest eine Sendeeinheit (7) zum Senden des erfassten Pupillenstandes und/oder der erfassten Pupillenbewegung an die Blickrichtungsermittlungseinheit (4) aufweist.Contraption ( 2 ) for viewing direction determination of a vehicle occupant (F), in particular of a vehicle driver, comprising a vehicle occupant observation camera ( 3 ) whose detection area (E) is aligned with the vehicle occupant (F), and a sight line determination unit (FIG. 4 ), characterized by glasses ( 5 ) for the vehicle occupant (F), which at least one registration unit ( 6 ) for detecting a pupil level and / or a pupil movement of the vehicle occupant (F) and at least one transmitting unit ( 7 ) for sending the detected pupil level and / or the detected pupil movement to the sight line determination unit ( 4 ) having. Vorrichtung (2) nach Anspruch 1, dadurch gekennzeichnet, dass die Brille (5) eine Verarbeitungseinheit (8) zur Verarbeitung von Daten der zumindest einen Erfassungseinheit (6) aufweist.Contraption ( 2 ) according to claim 1, characterized in that the glasses ( 5 ) a processing unit ( 8th ) for processing data of the at least one detection unit ( 6 ) having. Vorrichtung (2) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die zumindest eine Erfassungseinheit (6) einen optischen Sensor umfasst.Contraption ( 2 ) according to one of the preceding claims, characterized in that the at least one detection unit ( 6 ) comprises an optical sensor. Vorrichtung (2) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Brille (5) zwei Erfassungseinheiten (6) zur Erfassung des Pupillenstandes und/oder der Pupillenbewegung des Fahrzeuginsassen (F) aufweist, welche jeweils einer Pupille des Fahrzeuginsassen (F) zugeordnet sind.Contraption ( 2 ) according to one of the preceding claims, characterized in that the spectacles ( 5 ) two detection units ( 6 ) for detecting the pupil level and / or the pupil movement of the vehicle occupant (F), which are each assigned to a pupil of the vehicle occupant (F). Vorrichtung (2) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Sendeeinheit (7) als eine funkbasierte Sendeeinheit (7) ausgebildet ist.Contraption ( 2 ) according to one of the preceding claims, characterized in that the transmitting unit ( 7 ) as a radio-based transmitting unit ( 7 ) is trained.
DE102016010763.4A 2016-09-06 2016-09-06 Device for determining the direction of sight Withdrawn DE102016010763A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102016010763.4A DE102016010763A1 (en) 2016-09-06 2016-09-06 Device for determining the direction of sight

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102016010763.4A DE102016010763A1 (en) 2016-09-06 2016-09-06 Device for determining the direction of sight

Publications (1)

Publication Number Publication Date
DE102016010763A1 true DE102016010763A1 (en) 2017-04-13

Family

ID=58405905

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102016010763.4A Withdrawn DE102016010763A1 (en) 2016-09-06 2016-09-06 Device for determining the direction of sight

Country Status (1)

Country Link
DE (1) DE102016010763A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109799610A (en) * 2017-11-16 2019-05-24 Aptiv技术有限公司 Eye tracking apparatus

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109799610A (en) * 2017-11-16 2019-05-24 Aptiv技术有限公司 Eye tracking apparatus

Similar Documents

Publication Publication Date Title
EP1674324B2 (en) Agricultural working machine
DE102019008316A1 (en) Method for object recognition and distance determination
DE102014102017B4 (en) Driver surveillance camera system
DE102007047643A1 (en) Apparatus for detecting an eye condition and method for attaching the same
DE102018129741A1 (en) Device and method for controlling a display of a vehicle
DE102007049710A1 (en) Visual triggering of operations in a motor vehicle
DE102010055583A1 (en) Motor vehicle with a camera and method for operating a camera system in a motor vehicle
DE102016006346A1 (en) Vehicle with a recording device receiving a mobile terminal
DE102016002289A1 (en) Method for observing a driver of a vehicle
WO2018145916A1 (en) Operating device for a motor vehicle and method for operating an operating device
WO2018219688A1 (en) Method for operating a virtual reality system, and virtual reality system
DE102016010763A1 (en) Device for determining the direction of sight
DE102016214047A1 (en) Vehicle with adjustable head-up display
DE102011114583A1 (en) Stereo image reproduction system for use in operation microscope of stereo microscopy system, has adjusting device for adapting distance between eyepieces to eye distance of viewer, and control unit adjusting distance between images
WO2016184972A1 (en) Method for operating data glasses in a motor vehicle and system having data glasses
DE102019103360A1 (en) Method and device for operating a display system with data glasses
DE102014213020A1 (en) Takeover request for highly automated driving on data glasses
DE102015009184A1 (en) Apparatus and method for avoiding collisions of a vehicle with an object
DE102018214973A1 (en) Method and system for automatically recognizing a coupling maneuver of a motor vehicle to a trailer
DE102013210587A1 (en) Display system with data glasses
DE102014009522A1 (en) Method for detecting an environment of a vehicle
WO2004053566A1 (en) Pair of spectacle lenses
DE102017005056A1 (en) Method for operating a stereo camera system in a vehicle
DE102012014115A1 (en) Method for assisting driver during driving vehicle, involves detecting environment of vehicle by detection unit of vehicle, detection unit of other road user or detection unit of infrastructure
DE102014009638A1 (en) Method for detecting a viewing direction of a driver in a motor vehicle and viewing direction detection device for a motor vehicle

Legal Events

Date Code Title Description
R230 Request for early publication
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee