WO2017211817A1 - Bedienvorrichtung mit eyetrackereinheit und verfahren zum kalibrieren einer eyetrackereinheit einer bedienvorrichtung - Google Patents

Bedienvorrichtung mit eyetrackereinheit und verfahren zum kalibrieren einer eyetrackereinheit einer bedienvorrichtung Download PDF

Info

Publication number
WO2017211817A1
WO2017211817A1 PCT/EP2017/063698 EP2017063698W WO2017211817A1 WO 2017211817 A1 WO2017211817 A1 WO 2017211817A1 EP 2017063698 W EP2017063698 W EP 2017063698W WO 2017211817 A1 WO2017211817 A1 WO 2017211817A1
Authority
WO
WIPO (PCT)
Prior art keywords
displayed
user
screen
viewing direction
calibration data
Prior art date
Application number
PCT/EP2017/063698
Other languages
English (en)
French (fr)
Inventor
Omer Yosha
Janine Perkuhn
Stefan Schulz
Christian Tendyck
Thomas Werner
Thomas Schwarz
Original Assignee
Volkswagen Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen Aktiengesellschaft filed Critical Volkswagen Aktiengesellschaft
Priority to KR1020187030197A priority Critical patent/KR102182667B1/ko
Priority to US16/307,918 priority patent/US10635170B2/en
Priority to CN201780035890.1A priority patent/CN109313501A/zh
Publication of WO2017211817A1 publication Critical patent/WO2017211817A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • B60K35/654—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive the user being the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • B60K35/658—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive the instruments being ergonomically adjustable to the user
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/122—Instrument input devices with reconfigurable control functions, e.g. reconfigurable menus
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/141—Activation of instrument input devices by approaching fingers or pens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149—Instrument input by detecting viewing direction not otherwise provided for
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Definitions

  • the invention relates to a method for calibrating an eyetracker unit of an operating device.
  • the operating device By means of the operating device, at least one device can be controlled as a function of at least one user input.
  • the invention also includes the operating device for operating the at least one device.
  • the operating device is provided in particular for a motor vehicle.
  • a viewing direction of a user can be detected. For example, it can be detected which element on a screen a user is currently focusing or looking at.
  • Such an eyetracker unit is known, for example, from US 2015/0278599 A1. It also describes that the eyetracker unit must be calibrated so that the eye tracking units of the eye tracker unit can correctly calculate the coordinates of the viewpoint viewed or focused on the screen.
  • a method for calibrating an eyetracker unit of an operating device of a motor vehicle is known, for example, from DE 10 2014 008 852 A1. After that, a user has to look at a screen while his eyes are being filmed by means of an eye tracking system. Meanwhile, a graphic object is displayed on the screen, for example a cross. It is assumed that the user focusses this graphic object with the eyes, so that the coordinates of the focused area are known. The viewing direction data determined meanwhile by means of the eye tracking system can thus be mapped or transformed to the known coordinates.
  • user calibration of an eyetracker unit is performed by requiring a series of defined calibration points to be viewed by the user in turn for a short time. During this time, the eye tracking unit detects the viewing direction of the user and generates corresponding viewing direction information. These may be compared to the known coordinates of the calibration points to provide or generate calibration data for compensating for a difference.
  • This solution of active calibration by presenting defined calibration points takes time and prevents the user from experiencing immediate system interaction, i. the use of the operating device for operating the at least one device to start.
  • the invention has for its object to perform a calibration of an eyetracker unit of a user device with little time.
  • the invention provides a method for calibrating an eyetracker unit of an operating device.
  • the operating device By means of the operating device, at least one device can be controlled as a function of at least one user input.
  • a transformation rule or assignment function for assigning sight line indications of the eye tracker unit which are dependent on a current eye position or viewing direction of the user, is adapted or tuned to a coordinate of a screen (display). With calibrated eyetracker unit, the said user input can thus take place via the viewing direction.
  • At least one graphical element is displayed on each screen by a control unit of the operating device in at least one predetermined utilization step of the operating device.
  • the use step may provide, for example, that the user makes a user input on the screen.
  • a graphical element for example, a graphical control element for receiving the at least one user input for the operation of the at least one device can be displayed.
  • the use step may additionally or alternatively also consist in the user detecting or viewing displayed information.
  • the at least one graphical element can also comprise at least one output element which describes a device state of the at least one device, for example a current rotational speed of a motor.
  • the use step may be that the user receives information, for example, gets a media content displayed.
  • Such media content may be, for example, an image or a photograph or a video.
  • the at least one graphical element may comprise at least one media element for outputting a media content.
  • At least one line of sight is also determined or generated for the user viewing the screen by means of the eye tracker unit.
  • the eyetracker unit describes where a user's gaze is directed.
  • a view direction indication may be corresponding to, for example, coordinates of a viewing point determined by the eye tracker unit on the screen or a view direction vector.
  • an indication of the area actually considered or of the point actually considered also belongs to the determined direction of view direction.
  • this point actually considered by the user is determined by determining from the at least one displayed element an optically conspicuous or clear or salient element which fulfills a predetermined salience criterion and which the user must focus with the eyes to successfully perform the use step ,
  • a graphic element is salient can also depend on the graphical environment.
  • optically salient here means that it attracts the attention of the user because it provides a visual stimulus and / or is currently of material importance and / or interest to the user.
  • calibration data for calibrating the eye tracker unit are then generated.
  • the line of sight information is a vector or a coordinate
  • the calibration data may provide a correction vector to which the uncalibrated view direction indication is combined to thereby obtain the calibrated or corrected line of sight indication.
  • At least one parameter of a transformation in order to calculate the viewing direction data from sensor data of the eye tracker unit, be adapted such that a difference between the at least one sight direction indication on the one hand and the display position the optically salient element on the other hand is minimized.
  • the advantage of the method according to the invention is that the user can use the operating device in the at least one predetermined utilization step and meanwhile the required calibration data for calibrating the eye tracker unit are generated.
  • the operating device is thus available for immediate use.
  • the invention also includes optional developments, by the characteristics of which additional benefits.
  • Several embodiments of the invention relate to the salience criterion, i. The question of how the optically salient element can be determined from several displayed graphic elements.
  • a plurality of graphical elements are displayed, for example a plurality of output elements for describing different device states or multiple media elements, for example for describing the operating device in the context of a tutorial.
  • the several graphical elements are displayed in such a way that some are at times blurred and / or darkened and / or displayed only in gray levels and only a single during the use step sharp and / or unchanged bright and / or colored and / or by a marking element optically marked and thus rendered visually salient.
  • a plurality of graphic elements may be provided that these appear temporally one after the other and / or that one is currently displayed changing in size in a respective animation of its size and / or shape and / or position and / or position.
  • the graphical elements By successively appearing let the graphical elements is assumed that the last appearing element is perceived by the user as visually salient and is focused with the look.
  • By animating a graphic element it also acts as a visual salient.
  • the area within which the user holds the gaze focus can be selectively controlled.
  • a decreasing or increasing element can deliberately guide the focus of the user.
  • By changing the position a sequence of line of sight indications can be generated which describe a track on a display surface of the screen. If there is insufficient space to change the position, movement or animation can also be achieved by changing the position of the graphic element, for example by rotating.
  • a further possibility of determining an optically salient element from a plurality of graphic elements consists in determining which of the elements displayed has a largest salience value determined according to the salience criterion and the element with the greatest salience value is defined as an optically salient element.
  • the following characteristic variable can be determined, for example, for each graphical element: a number and / or length of contrast edges along which a predetermined minimum contrast is present; a measure known per se for the color contrast present in the graphic element; a measure known per se for the color contrast between the graphic element and an adjacent environment of the graphic element.
  • the influence that the respective properties of a graphical element have on the salience value can be determined by simple tests with test persons, for example by selecting several graphical elements that differ in value from at least one parameter (eg contrast, shape) Salience are arranged.
  • a salience value there is the advantage that an optically salient element can be determined from a plurality of displayed graphic elements even if there is no fixed sequence of the utilization step. This may for example be the case when viewing media content, such as pictures or photographs or videos, if at least one Media element each such media content is displayed and within the media content an optically salient element is to be determined.
  • the respective next graphical element to be served and / or considered can each be defined in advance as an optical salient element, if detected, for example or it has been recognized that the preceding optically salient element has been operated and / or viewed by the user.
  • the next element is then optically salient, because it is actively sought by the user with the look.
  • a single graphic element at a time, which is then defined as an optically salient element. This is especially provided for the case that only a single control element for receiving a user input is displayed. This can be provided, for example, if in a usage step the user is to log on or log in to the operating device and for this purpose has to move a slider with a finger on a touchscreen (touch screen), for example.
  • the calibration data is detected upon detection of this dwelling the direction of view information obtained during the stay generated.
  • the user has focused on a graphical element. It is based on that the optically salient element was focused, If it is a single graphic element that was displayed, this graphical element can be selected with high probability. It is also possible to determine the graphical element closest to the focusing area as an optically salient element, which is a further embodiment of the salience criterion.
  • At least one provisionally calibrated view direction indication can be calculated. Only at least one such view direction indication is used to generate the final configuration data corresponding to coordinates that satisfy a predetermined plausibility criterion. It is assumed here that the default calibration data falls below a predetermined maximum deviation and thus shows the coordinates which were generated by means of the default calibration data at a point which is less than a predetermined maximum distance from the actual focused point on the screen having. It can then be provided, for example, in the manner described, as an optically salient element, to select that graphic element which is closest to the coordinates.
  • the plausibility criterion can now state that the line of sight information should not be used or are implausible if the distance to each displayed graphic element determined on the basis of the default calibration data is greater than a predetermined minimum distance.
  • the viewing direction data determined during the stay thus describe a point cloud of several focused points.
  • a single correction vector can then be generated or calculated therefrom as calibration data.
  • the plausibility criterion may include that, when changing and / or moving the optically salient element, the coordinates of all gaze direction indications recognized as plausible must correspond to the relative position change, ie only corresponding line of sight information is selected.
  • the movement of the optically salient element results in a relative change in position between the respective ones
  • a sequence of at least two different optically salient elements can be represented, which have different positions on the screen.
  • optically salient elements follows the user with the eye these optically salient elements, so only those viewing direction information is selected, describe the coordinates on the screen, which correspond to the change between the optically salient elements relatively, so describe the same relative position change, as they change by the result in optically salient element. If a single optically salient element is moved, only those viewing direction indications are selected which describe coordinates on the screen which correspond to the relative position change, ie the movement of the optically salient element, that is to say describe this movement. Of course, due to the lack of final calibration, this can result in an offset or offset, which can then be compensated by means of the generated calibration data.
  • the sight direction indication for the calibration data generated before and / or during and / or after the touch event is preferably used when the touch event is detected.
  • screen coordinates of the touched graphical element and / or touch coordinates of the touch event are used to generate the calibration data.
  • a respective target indication for the line of sight or the focused area can be specified on the screen, i. a calibration point can be defined.
  • all those viewing direction indications which are associated with the touch event ie within a predetermined time period or within a predetermined time period before and / or after the touch event, can be used, as well as sight direction information determined during the touch event.
  • a control surface for inputting a touch operation for example a so-called button of a graphical user interface (GUI) and / or a keyboard for receiving a character string can be displayed. If then touches this control surface, so there is a Berntonereignis, so can the respective coordinate of the control surface or the respective key of the keyboard are used for generating the calibration data.
  • GUI graphical user interface
  • the swipe gesture can also be displayed as a graphical control a sliding element for entering a swipe gesture.
  • the swipe gesture takes place along a movement line.
  • a plurality of viewing direction indications describing a course of movement along the movement line can be received and used to generate the calibration data. It is assumed that the user following the swipe gesture on the screen with the eyes or with the gaze will follow his finger or other input object with which the swipe gesture is executed. For example, it is then also possible to base the said plausibility criterion, which indicates that only those viewing direction indications are used which correspond to the movement or the course of movement of the swipe gesture.
  • a video with a user manual for the operating device and / or the at least one device is displayed as a media element.
  • a so-called tutorial for the operating device is displayed or presented.
  • a graphic element currently displayed in the video and explained by a voice output and / or optically highlighted in the video is defined as the respective optically salient element. If, for example, a speed indicator of a combination instrument of a motor vehicle is being explained, it can be assumed that the user focuses a speed display shown in the video with his gaze.
  • the method may provide for generating calibration data for a single usage step or for multiple usage steps. If several utilization steps are carried out in succession, it can be provided that calibration data are generated in each case and the eyetracker unit is iteratively calibrated with the calibration data of each use step, that is to say stepwise several times in succession. This advantageously prevents the use of the eye tracker unit being impossible if the calibration data generated are incorrect. It can be provided that a change in the calibration data iteratively adjusted in one use step is kept smaller than a predetermined maximum value, ie the effect of the calibration data of a single use step is limited. By iterative calibration, it can also be achieved, for example, that after a user change, the eye tracker unit is iteratively adapted to the new user.
  • the operation of the operating device by means of the Eyetracker unit is first locked and only after a predetermined number of Use steps and thus calibration steps is unlocked.
  • a predetermined number of calibration steps it may also be provided that a change in the calibration data resulting after a calibration step is determined and the operation is enabled if the change by a calibration step is less than a predetermined maximum value. Then it can be assumed that the eyetracker unit is sufficiently precisely tailored to the user.
  • the control unit is set up to carry out an embodiment of the method according to the invention.
  • the control unit can have at least one microprocessor and / or at least one microcontroller.
  • the control unit can have a program code which is set up to carry out the embodiment of the method according to the invention.
  • the program code can be stored in a data memory of the control unit.
  • Fig. 1 is a schematic representation of a motor vehicle with a
  • Fig. 2 is a schematic representation of a display content to a
  • Use step of the operating device belongs and is used at the same time for generating calibration data according to an embodiment of the method according to the invention.
  • Fig. 3 is a schematic representation of a display content of another
  • the exemplary embodiment explained below is a preferred embodiment of the invention.
  • the described components of the embodiment each represent individual features of the invention that are to be considered independently of one another, which also each independently further develop the invention and thus also individually or in a different combination than the one shown as part of the invention.
  • the described embodiment can also be supplemented by further features of the invention already described.
  • Fig. 1 shows a bird's eye view of a partial view of a motor vehicle 10, which may be, for example, a motor vehicle, especially a passenger car or truck.
  • a motor vehicle especially a passenger car or truck.
  • 10 of the motor vehicle front wheels 1 1, a driver's seat 12, a steering wheel 13 and a center console 14 are shown.
  • an operating device 15 may be provided, by means of which at least one device 16 of the motor vehicle 10 can be operated.
  • the operating device 15 may be part of an infotainment system (information-entertainment system) of the motor vehicle 10, for example.
  • the at least one device 16 may be, for example, a radio and / or telephone and / or navigation system and / or an air conditioning device and / or a media player for video and / or audio files.
  • the operating device 15 may have a control unit 17, a touchscreen 18 and an eye tracking unit 19.
  • the touch screen 18 represents a screen.
  • the touch screen 18 may be arranged, for example, in the center console 14 of the motor vehicle. Instead of a touchscreen, an e. G. a head-up display or a non-touch-sensitive screen may be provided.
  • a detection area 20 of the eye tracker unit 19 may be aligned with the driver seat 12 so that a driver's line of sight can be detected.
  • the touchscreen 18 and the eye tracker unit 19 can each be configured in a manner known from the prior art.
  • the eyetracker unit 19 can generate sighting indications 21 and output them to the control unit 17.
  • the control unit 17 may output graphic data 22 for controlling a display content 23 to the touch screen 18.
  • the control unit 17 can receive from the touchscreen 18 touch data 24 which can describe coordinates of a touch event 25 on the touchscreen 18.
  • a touch event 25 may be, for example, a touch of a display surface of the touch screen 18 by a finger of a user, such as the driver.
  • a transformation or image 26 is provided by the control unit 17, which converts the line of sight information 21 into coordinates 27 which are the intersection of a line of sight vector describe the user's view with the display content 23 on the display surface of the touch screen 18.
  • the transformation 26 must be adapted by means of configuration data 28, as is known per se from the prior art.
  • the control unit 17 does not carry out the calibration in a separate calibration method or calibration step, for which the user can not use the operating device 18 for any other purpose. Instead, a use step of the operating device 15 is additionally used to generate calibration data 28.
  • this is shown by means of a use step 29 which provides for a so-called unlock, in which the user must execute a swipe gesture 31 along a movement path 32 on the touchscreen 18 by means of a serving object 30, for example his finger, for example an operating menu of the operating device 15 to get displayed on the touch screen 18.
  • a serving object 30 for example his finger, for example an operating menu of the operating device 15 to get displayed on the touch screen 18.
  • the user is shown a graphic element 33 by the control unit 17 on the touchscreen 18.
  • the graphical element 33 is an operating element which the user must touch with the operating object 30 and has to pull along the movement path 32.
  • he implicitly executes the swipe gesture 31 The assumption is made that the user also has his focus of the view on the executed movement at this moment.
  • an adjustment between actually recognized and signaled by the viewing direction information 21 focus and the estimated focus in the form of the position or coordinates of the element 33 can be made on the touch screen 18.
  • the user may be presented with certain control surfaces or buttons or sliders for operation (not shown). Again, it is to be assumed that the user has his focus at the moment of execution of the operating action on the respective interaction element, that is, the graphical control element.
  • an offset or a deviation between the actual user focus (directed to the respective graphical element 33) and the gaze direction 21 just determined by the eye tracker unit can be technically calculated and compensated by means of the configuration data 28.
  • this approach can be related to any graphical elements of a graphical user interface GUI.
  • a single item is displayed on the screen (see Fig. 2). If the operating device 15 recognizes the user focus by staying the viewing direction at a certain point or within a limited frame, the difference between the focus and the position of this element can be determined directly here and on the assumption that the user is currently looking at a single displayed element be adjusted or compensated by the calibration data 28.
  • the calculation and adaptation takes place on the basis of the viewpoints identified shortly before and / or after a touch event 25. Using mathematical methods known per se in the prior art, these are then calibrated to the fixed position of the displayed graphic element.
  • the calibration is hidden from the user and imperceptibly performed while performing certain operations or usage steps 29.
  • the measured values are preferably made plausible.
  • the procedure can still be optimized by first presenting presented elements very small and then zooming them to a predetermined, final size.
  • the operation of a slider even allows the evaluation of the user focus along a clearly defined line or trajectory 32 (slider course).
  • this results in more precise results since the measured values initially concentrate on a much smaller area, and on the other hand also increases the probability that the user will look at the element 33, since more animation demands his attention.
  • FIG. 3 Another embodiment is illustrated in FIG. 3, in which the active calibration is hidden from the user and imperceptible.
  • the display content 23 of the touchscreen 18 is illustrated in FIG. 3 over the time t for three consecutive time steps T1, 12, T3, while a video element is used as a media element with a tutorial explaining the eg target system to the user.
  • This can be designed as desired, adapted to the application.
  • a GUI application based on a tile design can be explained.
  • the user first enters the tutorial, in which the possibilities of the operating device are presented to him.
  • the GUI interface is initially not displayed, but gradually built up in the time steps T1, T2, T3. Tiles are displayed in any order and presented acoustically with a few words.
  • a default calibration or standard calibration 35 can be adapted on the basis of this in conjunction with the tiling position.
  • the measured values must be made plausible. This is possible since, with the aid of the default calibration 35, it is not possible to determine an absolute position of the gaze on the display content 23 of the GUI, but relative positions to one another. For example, if two presented tiles 34 are juxtaposed, then the recorded view data of the line of sight indications 21 must be adjacent to each other. Unplausible values can be discarded and neglected during calibration.
  • the presented approach can still be optimized by first presenting presented tiles very small and after a short time zooming them to the final size. On the one hand, this results in more accurate results because the measurements initially focus on a much smaller area, and on the other hand, it also increases the likelihood of the user looking at the tile, as more animation demands its attention.
  • the viewed surface can be analyzed with the display content 23 and examined for prominent points. This can be carried out either automatically during operation or in the case of a known display of the display contents 23 in advance. The user's attention will be focused on the points thus determined in the program flow of the use step (for example, the use step 29 in FIG. 2).
  • gaze data are collected as gaze direction data 21 and as Point cloud interpreted.
  • a transformation is determined which matches or maps this point cloud to minimize the previously determined points. This transformation can be used directly for the calibration correction of the default calibration 35 of the eye tracker unit.
  • the calibration can be dynamically adjusted at runtime - for example, if the structure changes or the user changes - as it runs continuously during program use.
  • the operating device 15 thus avoids the active user calibration, which is generally perceived as disturbing. Furthermore, the eye tracker unit 19 is preferably calibrated not only once at the beginning, which then allows no more setup or benefit change without recalibration, but adapts adaptively to changing circumstances. This allows the system to adapt adaptively when users switch.
  • a GUI contains areas that the user increasingly views and fixes for some time. This can be, for example, button or slider. These features are defined as interest points and set in advance. In the further course, these points are used with their known display position as calibration points.
  • the user operates the GUI as desired, not necessarily with his gaze, but also, for example, with an input object 30. Gaze data are collected during the operation as gaze direction data 21 and, as described above, matched or defined to the defined calibration points or interest points to correct the default calibration 35.
  • a least-squares method can be used or, for example, a RANSAC algorithm.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Kalibrieren einer Eyetrackereinheit (19) einer Bedienvorrichtung (15), wobei mittels der Bedienvorrichtung (15) zumindest ein Gerät in Abhängigkeit von zumindest einer Benutzereingabe gesteuert wird und wobei bei dem Verfahren durch eine Steuereinheit der Bedienvorrichtung (15) in zumindest einem vorbestimmten Nutzungsschritt (29) der Bedienvorrichtung (15) jeweils zumindest ein graphisches Element (33) angezeigt wird und zumindest eine Blickrichtungsangabe (21) zu dem einen Bildschirm (18) betrachtenden Benutzer mittels der Eyetrackereinheit (19) ermittelt wird. Die Erfindung sieht vor, dass aus dem zumindest einen angezeigten Element (33) ein optisch salientes Element (33), welches der Benutzer zum erfolgreichen Durchführen des Nutzungsschrittes (29) mit den Augen fokussieren muss, festgelegt wird und in Abhängigkeit von einer Anzeigeposition des optisch salienten Elements (33) auf dem Bildschirm (18) und in Abhängigkeit von der zumindest einen Blickrichtungsangabe (21) Kalibrierdaten (28) zum Kalibrieren der Eyetrackereinheit (19) erzeugt werden.

Description

Beschreibung
Bedienvorrichtung mit Eyetrackereinheit und Verfahren zum Kalibrieren einer
Eyetrackereinheit einer Bedienvorrichtung
Die Erfindung betrifft ein Verfahren zum Kalibrieren einer Eyetrackereinheit einer Bedienvorrichtung. Mittels der Bedienvorrichtung kann zumindest ein Gerät in Abhängigkeit von zumindest einer Benutzereingabe gesteuert werden. Zu der Erfindung gehört auch die Bedienvorrichtung zum Bedienen des zumindest einen Geräts. Die Bedienvorrichtung ist insbesondere für ein Kraftfahrzeug vorgesehen.
Mittels einer Eyetrackereinheit kann eine Blickrichtung eines Benutzers erfasst werden. So kann beispielsweise erkannt werden, welches Element auf einem Bildschirm ein Benutzer gerade fokussiert oder anblickt. Eine solche Eyetrackereinheit ist zum Beispiel aus der US 2015/0278599 A1 bekannt. Darin ist auch beschrieben, dass die Eyetrackereinheit kalibriert werden muss, damit aus den Blickrichtungsangaben der Eyetrackereinheit korrekt die Koordinaten des auf dem Bildschirm betrachteten oder fokussierten Blickpunkts berechnen zu können.
Ein Verfahren zum Kalibrieren einer Eyetrackereinheit einer Bedienvorrichtung eines Kraftfahrzeugs ist zum Beispiel aus der DE 10 2014 008 852 A1 bekannt. Danach muss ein Benutzer einen Bildschirm betrachten, während seine Augen mittels eines Eyetrackingsystems gefilmt werden. Auf dem Bildschirm wird währenddessen ein graphisches Objekt angezeigt, zum Beispiel ein Kreuz. Es wird davon ausgegangen, dass der Benutzer dieses graphische Objekt mit den Augen fokussiert, sodass die Koordinaten des fokussierten Bereichs bekannt sind. Die währenddessen mittels des Eyetrackingsystems ermittelten Blickrichtungsangaben können somit auf die bekannten Koordinaten abgebildet oder transformiert werden.
Aus der WO 2014/020323 A1 ist bekannt, den von einem Benutzer auf einen Bildschirm aktuell fokussierten Punkt dadurch herauszufinden, dass ein Mauszeiger auf dem Bildschirm dargestellt wird, den ein Benutzer mit einer Computermaus bedienen muss. Wenn der Benutzer an der Computermaus eine Taste klickt, wird davon ausgegangen, dass er in diesem Moment auf den Mauszeiger am Bildschirm blickt. Es wird also davon ausgegangen, dass die von der Eyetrackereinheit bereitgestellte Blickrichtungsangabe in diesem Moment mit der Position des Mauszeigers übereinstimmt. In einem Fachbeitrag von Ferra et al. (David Perra, Rohit Kumar Gupta, Jan-Micheal Frahm, "Adaptive Eye-Camera Calibration for Head-Worn Devices", CVPR - IEEE Conference on Computer Vision and Pattern Recognition, 2015) ist für eine am Kopf getragene Kamera beschrieben, wie in einem Kamerabild einer Umgebung optisch saliente Elemente erkannt werden können, die ein Benutzer mit hoher Wahrscheinlichkeit fokussiert.
Üblicherweise wird die Nutzerkalibrierung einer Eyetrackereinheit durchgeführt, indem eine Reihe von definierten Kalibrierpunkten vom Nutzer der Reihe nach für eine kurze Zeit angeschaut werden müssen. Die Eyetrackereinheit delektiert während dieser Zeit die Blickrichtung des Nutzers und erzeugt entsprechende Blickrichtungsangaben. Diese können mit den bekannten Koordinaten der Kalibrierpunkte verglichen werden, um hieraus Kalibrierdaten zum Ausgleichen eines Unterschieds bereitzustellen oder zu erzeugen.
Diese Lösung einer aktiven Kalibrierung durch Darstellen von definierten Kalibrierpunkten kostet Zeit und hindert den Benutzer daran, sofort mit der eigentlichen Systeminteraktion, d.h. der Benutzung der Bedienvorrichtung zum Bedienen des zumindest einen Geräts, zu beginnen.
Der Erfindung liegt die Aufgabe zugrunde, eine Kalibrierung einer Eyetrackereinheit einer Benutzervorrichtung mit geringem Zeitaufwand durchzuführen.
Die Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Weiterbildungen der Erfindung sind durch die abhängigen Patentansprüche, die folgende Beschreibung sowie die Figuren offenbart.
Durch die Erfindung ist ein Verfahren zum Kalibrieren einer Eyetrackereinheit einer Bedienvorrichtung bereitgestellt. Mittels der Bedienvorrichtung kann zumindest ein Gerät in Abhängigkeit von zumindest einer Benutzereingabe gesteuert werden. Durch das Kalibrieren wird eine Transformationsvorschrift oder Zuordnungsfunktion zum Zuordnen von Blickrichtungsangaben der Eyetrackereinheit, welche von einer aktuellen Augenposition oder Blickrichtung des Benutzers abhängig sind, zu einer Koordinate eines Bildschirms (Displays) angepasst oder abgestimmt. Bei kalibrierter Eyetrackereinheit kann somit die besagte Benutzereingabe über die Blickrichtung erfolgen.
Bei dem Verfahren wird durch eine Steuereinheit der Bedienvorrichtung in zumindest einem vorbestimmten Nutzungsschritt der Bedienvorrichtung jeweils auf dem Bildschirm zumindest ein graphisches Element angezeigt. Der Nutzungsschritt kann zum Beispiel vorsehen, dass der Benutzer eine Benutzereingabe an dem Bildschirm tätigt. Entsprechend kann als graphisches Element zum Beispiel ein graphisches Bedienelement zum Empfangen der zumindest einen Benutzereingabe für die Bedienung des zumindest einen Geräts angezeigt werden. Der Nutzungsschritt kann zusätzlich oder alternativ dazu auch darin bestehen, dass der Benutzer eine angezeigte Information erfasst oder betrachtet. Entsprechend kann das zumindest eine graphische Element auch zumindest ein Ausgabeelement umfassen, welches einen Gerätezustand des zumindest einen Geräts beschreibt, z.B. eine aktuelle Drehzahl eines Motors. Zusätzlich oder alternativ dazu kann der Nutzungsschritt darin bestehen, dass der Benutzer Informationen erhält, zum Beispiel einen Medieninhalt angezeigt bekommt. Ein solcher Medieninhalt kann zum Beispiel ein Bild oder eine Fotografie oder ein Video sein. Entsprechend kann das zumindest eine graphische Element zumindest ein Medienelement zum Ausgeben eines Medieninhalts umfassen.
Während des zumindest einen Nutzungsschritts wird auch zumindest eine Blickrichtungsangabe zu dem den Bildschirm betrachtenden Benutzer mittels der Eyetrackereinheit ermittelt oder erzeugt. Mit anderen Worten wird durch die Eyetrackereinheit beschrieben, wohin ein Blick des Benutzers ausgerichtet ist. Eine Blickrichtungsangabe kann entsprechend zum Beispiel Koordinaten eines durch die Eyetrackereinheit ermittelten Betrachtungspunkts auf dem Bildschirm oder ein Blickrichtungsvektor sein.
Zum Kalibrieren gehört zu der ermittelten Blickrichtungsangabe auch eine Angabe des tatsächlich betrachteten Bereichs oder der tatsächlich betrachteten Stelle, also z.B. Koordinaten eine Kalibrierpunkts. Indem bekannt ist, welchen Nutzungsschritt der Benutzer gerade an der Bedienvorrichtung ausführt, kann allgemein ermittelt werden, welches graphische Element der Benutzer gerade zumindest mit einer vorbestimmten Mindestwahrscheinlichkeit betrachtet. Bei dem erfindungsgemäßen Verfahren wird diese tatsächlich vom Benutzer betrachtete Stelle ermittelt, indem aus dem zumindest einen angezeigten Element ein optisch auffälliges oder deutliches oder salientes Element festgelegt wird, welches ein vorbestimmtes Salienzkriterium erfüllt und welches der Benutzer zum erfolgreichen Durchführen des Nutzungsschrittes mit den Augen fokussieren muss. Wann ein graphisches Element salient ist, kann auch von der graphischen Umgebung abhängen. Allgemein soll„optisch salient" hier bedeuten, dass es den Blick des Benutzers auf sich zieht, weil es einen visuellen Anreiz bietet und/oder für den Benutzer momentan inhaltlich von Bedeutung und/oder Interesse ist. In Abhängigkeit von einer Anzeigeposition des optisch salienten Elements auf dem Bildschirm und in Abhängigkeit von der zumindest einen Blickrichtungsangabe werden dann Kalibrierdaten zum Kalibrieren der Eyetrackereinheit erzeugt. Handelt es sich bei den Blickrichtungsangaben zum Beispiel jeweils um einen Vektor oder eine Koordinate, so können die Kalibrierdaten zum Beispiel einen Korrekturvektor vorsehen, mit welchem die un- kalibrierte Blickrichtungsangabe kombiniert wird, um hierdurch die kalibrierte oder korrigierte Blickrichtungsangabe zu erhalten. Es kann auch vorgesehen sein, zumindest einen Parameter einer Transformation, wie sie an sich aus dem Stand der Technik bekannt ist, um aus Sensordaten der Eyetrackereinheit die Blickrichtungsangaben zu berechnen, derart angepasst werden, dass eine Differenz zwischen der zumindest einen Blickrichtungsangabe einerseits und der Anzeigeposition des optisch salienten Elements andererseits minimiert wird.
Durch das erfindungsgemäße Verfahren ergibt sich der Vorteil, dass der Benutzer die Bedienvorrichtung in dem zumindest einen vorbestimmten Nutzungsschritt benutzen kann und währenddessen die benötigten Kalibrierdaten zum Kalibrieren der Eyetrackereinheit erzeugt werden. Die Bedienvorrichtung steht somit unmittelbar zur Nutzung zur Verfügung.
Zu der Erfindung gehören auch optionale Weiterbildungen, durch deren Merkmale sich zusätzliche Vorteile ergeben.
Mehrere Weiterbildungen der Erfindung betreffen das Salienzkriterium, d.h. die Frage, wie aus mehreren angezeigten graphischen Elementen das optisch saliente Element ermittelt werden kann.
So kann vorgesehen sein, dass mehrere graphische Elemente angezeigt werden, zum Beispiel mehrere Ausgabeelemente zum Beschreiben unterschiedlicher Gerätezustände oder mehrere Medienelemente zum Beispiel zum Beschreiben der Bedienvorrichtung im Rahmen eines Tutorials. Die mehreren grafischen Elemente werden dabei derart angezeigt, dass einige zeitweise unscharf und/oder abgedunkelt und/oder nur in Grau stufen angezeigt werden und nur ein einziges während des Nutzungsschritts scharf und/oder unverändert hell und/oder farbig und/oder durch ein Markierungselement optisch markiert und damit optisch salient dargestellt wird. In dem also nur ein einziges graphisches Element scharf/hell/farbig/markiert dargestellt wird und das übrige graphische Element oder die übrigen graphischen Elemente dagegen im Verhältnis zu einer sonstigen Darstellung zeitweise unscharf/abgedunkelt/in Graustufen dargestellt sind, ist davon auszugehen, dass der Benutzer das eine Element als optisch salient empfindet und fokussieren wird. Somit werden also die Wahrnehmungsreflexe des Menschen genutzt, um seine Aufmerksamkeit oder seinen Fokus oder Blick auf ein vorbestimmtes graphisches Element zu lenken oder zu ziehen.
Zusätzlich oder alternativ dazu kann bei mehreren angezeigten graphischen Elementen vorgesehen sein, dass diese zeitlich nacheinander erscheinend und/oder eines zur Zeit in einer jeweiligen Animation seiner Größe und/oder Form und/oder Position und/oder Lage verändernd angezeigt werden. Durch nacheinander Erscheinen-Lassen der graphischen Elemente ist davon auszugehen, dass das jeweils zuletzt erscheinende Element vom Benutzer als optisch salient empfunden wird und mit dem Blick fokussiert wird. Indem ein graphisches Element animiert wird, wirkt es ebenfalls als optisch salient. Indem hierbei dessen Größe verändert wird, kann die Fläche, innerhalb welcher der Benutzer den Blick- Fokus hält, gezielt gesteuert werden. So kann ein kleiner werdendes oder größer werdendes Element den Fokus des Benutzers gezielt führen. Durch Verändern der Position kann eine Folge von Blickrichtungsangaben erzeugt werden, die eine Spur auf eine Anzeigefläche des Bildschirms beschreiben. Falls ungenügend Platz zum Verändern der Position vorhanden ist, kann durch Verändern der Lage des graphischen Elements, also zum Beispiel durch Rotieren, ebenfalls eine Bewegung oder Animation erreicht werden.
Eine weitere Möglichkeit, aus mehreren graphischen Elementen ein optisch salientes Element zu ermitteln, besteht darin, dass ermittelt wird, welches der angezeigten Elemente einen größten, nach dem Salienzkriterium ermittelten Salienzwert aufweist und das Element mit dem größten Salienzwert als optisch salientes Element festgelegt wird. Zum Ermitteln eines Salienzwerts kann zum Beispiel zu jedem graphischen Element jeweils folgende Kenngröße ermittelt werden: eine Anzahl und/oder Länge von Kontrastkanten, entlang welchen ein vorbestimmter Mindestkontrast vorhanden ist; ein an sich bekanntes Maß für den im graphischen Element vorhandenen Farbkontrast; ein an sich bekanntes Maß für den Farbkontrast zwischen dem graphischen Element und einer angrenzenden Umgebung des graphischen Elements. Welchen Einfluss die jeweiligen Eigenschaften eines graphischen Elements auf den Salienzwert haben, kann durch einfache Versuche mit Testpersonen ermittelt werden, indem zum Beispiel mehrere graphische Elemente, die sich im Wert zumindest einer Kenngröße (z.B. Kontrast, Form) unterscheiden, von den Testpersonen gemäß der empfundenen Salienz geordnet werden. Durch Ermitteln eines Salienzwerts ergibt sich der Vorteil, dass ein optisch salientes Element aus mehreren angezeigten graphischen Elementen auch dann ermittelt werden kann, wenn kein fester Ablauf des Nutzungsschrittes vorliegt. Dies kann zum Beispiel bei der Betrachtung von Medieninhalten, wie z.B. Bildern oder Fotografieren oder Videos, der Fall sein, wenn durch zumindest ein Medienelement jeweils ein solcher Medieninhalt angezeigt wird und innerhalb des Medieninhalts ein optisch salientes Element ermittelt werden soll.
Falls der Ablauf des Nutzungsschrittes vorgegeben ist, also eine Reihenfolge der zu bedienenden oder zu betrachtenden graphischen Elemente bekannt ist, so kann das jeweils nächste zu bedienende und/oder zu betrachtende graphische Element jeweils im Voraus als optisches salientes Element festgelegt werden, wenn zum Beispiel detektiert oder erkannt wurde, dass das vorangegangene optisch saliente Element vom Benutzer bedient und/oder betrachtet wurde. Das nächste Element ist dann optisch salient, weil es vom Benutzer aktiv mit dem Blick gesucht wird.
Besonders bevorzugt ist es, nur ein einziges graphisches Element zur Zeit anzuzeigen, das dann als optisch salientes Element festgelegt wird. Dies ist insbesondere für den Fall vorgesehen, dass nur ein einziges Bedienelement zum Empfangen einer Benutzereingabe angezeigt wird. Dies kann zum Beispiel vorgesehen sein, wenn in einem Nutzungsschritt der Benutzer sich bei der Bedienvorrichtung einloggen oder anmelden soll und hierzu zum Beispiel mit dem Finger auf einem Touchscreen (Berührungsbildschirm) einen Schieber bewegen muss.
Im Zusammenhang mit einem vorgegebenen Ablauf eines Nutzungsschrittes, bei dem nacheinander mehrere graphische Elemente vom Benutzer fokussiert werden müssen, muss erkannt werden, wann der Benutzer ein bestimmtes graphisches Element fertig betrachtet hat und zum nächsten graphischen Element wechselt. Auch in einem anderen Fall, selbst wenn nur ein einziges graphisches Element angezeigt wird, fixiert oder fokussiert der Benutzer mit seinem Blick das optisch saliente Element von Anfang an und/oder nicht durchgehend oder dauerhaft. Um diejenigen Blickrichtungsangaben zu ermitteln, die zu dem Zeitraum des Fixierens oder Fokussierens des optisch salienten Elements gehören, ist bevorzugt vorgesehen, dass anhand der zumindest einen Blickrichtungsangabe der Eyetrackereinheit ein Verweilen eines Blicks des Benutzers innerhalb eines Fokussierbereichs mit einer vorbestimmten Bereichsgröße für mehr als eine vorbestimmte Mindestzeitdauer erkannt wird. Ändern sich also die Blickrichtungsangaben, die durch die Eyetrackereinheit nacheinander erzeugt werden, derart geringfügig, dass alle Koordinaten der Blickrichtungsangaben innerhalb des Fokussierbereichs mit vorbestimmter Bereichsgröße liegen, und dauert dieser Zustand für mindestens die vorbestimmte Mindestzeitdauer an, so werden bei Erkennen dieses Verweilens die Kalibrierdaten aus den Blickrichtungsangaben, die während des Verweilens ermittelt wurden, erzeugt. Hier kann davon ausgegangen werden, dass der Benutzer ein graphisches Element fokussiert hat. Es wird dabei zugrunde gelegt, dass das optisch saliente Element fokussiert wurde, Falls es sich um ein einziges graphisches Element handelt, dass angezeigt wurde, so kann dieses graphische Element mit hoher Wahrscheinlichkeit ausgewählt werden. Es kann auch das dem Fokussierbereich nächstliegende, angezeigte graphische Element als optisch salientes Element festgelegt werden, was eine weitere Ausführungsform des Salienzkriteriums ist.
Hierbei kann es aber auch vorkommen, dass der Benutzer während des Verweilens ein Objekt betrachtet, das sich neben dem Bildschirm befindet. Um sicherzustellen, dass überhaupt ein Element auf dem Bildschirm fokussiert ist, kann Folgendes vorgesehen sein. Anhand vorbestimmter Start-Kalibrierdaten oder Ausgangs-Kalibrierdaten oder Default- Kalibrierdaten kann zumindest eine vorläufig kalibrierte Blickrichtungsangabe berechnet werden. Nur zumindest eine solche Blickrichtungsangabe wird zum Erzeugen der finalen Konfigurationsdaten genutzt, die Koordinaten entsprechen, die ein vorbestimmtes Plausibilisierungskriterium erfüllen. Man geht hierbei davon aus, dass die Default- Kalibrierdaten eine vorbestimmte Höchstabweichung unterschreiten und somit die Koordinaten, die mittels der Default-Kalibrierdaten erzeugt wurden, auf einem Punkt zeigen, der einen Abstand kleiner als ein vorbestimmter Höchstabstand von dem tatsächlich fokussierten Punkt auf dem Bildschirm aufweist. Es kann und zum Beispiel dann vorgesehen sein, in der beschriebenen Weise als optisch salientes Element dasjenige graphische Element auszuwählen, das den Koordinaten am nächsten liegt.
Das Plausibilisierungskriterium kann nun besagen, dass die Blickrichtungsangaben nicht verwendet werden sollen oder unplausibel sind, falls der auf der Grundlage der Default- Kalibrierdaten ermittelte Abstand zu jedem angezeigten graphischen Element größer als ein vorbestimmter Mindestabstand ist.
Die während des Verweilens ermittelten Blickrichtungsangaben beschreiben also eine Punktwolke aus mehreren fokussierten Punkten. Mittels einer Methode der kleinsten Fehlerquadrate oder mittels eines RANSAC -Algorithmus kann dann zum Beispiel daraus als Kalibrierdaten ein einzelner Korrekturvektor erzeugt oder berechnet werden.
Falls mehrere Blickrichtungsangaben aus der Eyetrackereinheit empfangen werden, kann das Plausibilisierungskriterium umfassen, dass bei einem Wechsel und/oder einer Bewegung des optisch salienten Elements die Koordinaten aller als plausibel anerkannten Blickrichtungsangaben der relativen Positionsänderung entsprechen müssen, d.h. es werden nur entsprechende Blickrichtungsangaben ausgewählt. Durch die Bewegung des optisch salienten Elements ergibt sich eine relative Positionsänderung zwischen den jeweiligen aufeinander folgenden Darstellungen, Es kann also zum Beispiel eine Abfolge aus zumindest zwei unterschiedlichen optisch salienten Elemente dargestellt werden, die unterschiedliche Positionen auf dem Bildschirm aufweisen. Folgt der Benutzer mit dem Auge diesen optisch salienten Elementen, so werden nur solche Blickrichtungsangaben ausgewählt, die Koordinaten auf dem Bildschirm beschreiben, die dem Wechsel zwischen den optisch salienten Elementen relativ entsprechen, also die gleiche relative Positionsänderung beschreiben, wie sie sich durch den Wechsel des optisch salienten Elements ergeben. Falls ein einzelnes optisch salientes Element bewegt wird, so werden nur solche Blickrichtungsangaben ausgewählt, die Koordinaten auf dem Bildschirm beschreiben, die der relativen Positionsänderung, d.h. der Bewegung des optisch salienten Elements entsprechen, also diese Bewegung beschreiben. Hierbei kann sich natürlich aufgrund der fehlenden finalen Kalibrierung ein Offset oder Versatz ergeben, der dann mittels der erzeugten Kalibrierdaten ausgeglichen werden kann.
Falls der Bildschirm der Touchscreen ist und der Benutzer den Bildschirm berührt, kann ebenfalls mit großer Sicherheit davon ausgegangen werden, dass der Benutzer den Blick dabei auf die Berührstelle ausgerichtet hat. Wird mittels eines solchen Touchscreens die zumindest eine Benutzereingabe als Berührereignis erkannt, so wird bevorzugt bei erkanntem Berührereignis die jeweils vor und/oder während und/oder nach dem Berührereignis erzeugte Blickrichtungsangabe für die Kalibrierdaten verwendet. Zusätzlich oder alternativ dazu werden Bildschirm-Koordinaten des berührten graphischen Elements und/oder Berührkoordinaten des Berührereignisses zum Erzeugen der Kalibrierdaten zugrunde gelegt. Mit anderen Worten kann direkt aus dem Berührereignis und dessen Koordinaten auf dem Bildschirm bzw. den Koordinaten des durch das Berührereignis berührten graphischen Elements eine jeweilige Soll-Angabe für die Blickrichtung oder den fokussierten Bereich auf dem Bildschirm vorgegeben werden, d.h. ein Kalibrierpunkt definiert werden. Des Weiteren können all diejenigen Blickrichtungsangaben genutzt werden, die mit dem Berührereignis in Verbindung stehen, also innerhalb eines vorbestimmten Zeitraums oder innerhalb einer vorbestimmten Zeitdauer vor und/oder nach dem Berührereignis ermittelten Blickrichtungsangaben sowie während des Berührereignisses ermittelte Blickrichtungsangaben.
Um gezielt ein optisch salientes Element zum Empfangen eines Berührereignisses darzubieten, kann eine Bedienfläche zum Eingeben einer Tastbetätigung, also zum Beispiel ein sogenannter Button einer graphischen Benutzerschnittstelle (GUI - Graphical User Interface) und/oder eine Tastatur zum Empfangen einer Zeichenfolge angezeigt werden. Wird dann diese Bedienfläche berührt, ergibt sich also ein Berührereignis, so kann die jeweilige Koordinate der Bedienfläche oder der jeweiligen Taste der Tastatur zum Erzeugen der Kalibrierdaten zugrunde gelegt werden.
Es kann auch als graphisches Bedienelement ein Schiebelement zum Eingeben einer Wischgeste angezeigt werden. Die Wischgeste erfolgt hierbei entlang einer Bewegungslinie. Entsprechend können mehrere, einen Bewegungsverlauf entlang der Bewegungslinie beschreibende Blickrichtungsangaben empfangen und zum Erzeugen der Kalibrierdaten genutzt werden. Es wird davon ausgegangen, dass der Benutzer beim Ausführen der Wischgeste an den Bildschirm mit den Augen oder mit dem Blick seinem Finger oder einem anderen Eingabeobjekt folgt, mit welchem die Wischgeste ausgeführt wird. Es kann dann zum Beispiel auch das besagte Plausibilitätskriterium zugrunde gelegt werden, welches angibt, dass nur solche Blickrichtungsangaben genutzt werden, welche der Bewegung oder dem Bewegungsverlauf der Wischgeste entsprechen.
Im Zusammenhang mit dem Anzeigen eines Medienelements kann vorgesehen sein, dass als Medienelement ein Video mit einer Bedienungsanleitung für die Bedienvorrichtung und/oder das zumindest eine Gerät angezeigt wird. Es wird also ein sogenanntes Tutorial für die Bedienvorrichtung angezeigt oder präsentiert. Zu zumindest einem Zeitpunkt wird als jeweiliges optisch salientes Element ein momentan in dem Video angezeigtes und durch eine Sprachausgabe erklärtes und/oder in dem Video optisch hervorgehobenes graphisches Element festgelegt. Wird also zum Beispiel gerade ein Drehzahlanzeiger eines Kombiinstruments eines Kraftfahrzeugs erklärt, so ist davon auszugehen, dass der Benutzer einen in dem Video gezeigten Drehzahlanzeige mit dem Blick fokussiert.
Das Verfahren kann das Erzeugen von Kalibrierdaten zu einem einzelnen Nutzungsschritt oder zu mehreren Nutzungsschritten vorsehen. Werden mehreren Nutzungsschritte hintereinander durchgeführt, so kann vorgesehen sein, dass jeweils Kalibrierdaten erzeugt werden und mit den Kalibrierdaten jedes Nutzungsschritts die Eyetrackereinheit iterativ kalibriert wird, also schrittweise mehrmals nacheinander. Hierdurch ist in vorteilhafter Weise verhindert, dass bei fehlerhaft erzeugten Kalibrierdaten die Nutzung der Eyetrackereinheit unmöglich wird. Es kann vorgesehen sein, dass eine Veränderung der in einem Nutzungsschritt iterativ angepassten Kalibrierdaten kleiner als ein vorbestimmter Höchstwert gehalten wird, also die Auswirkung der Kalibrierdaten eines einzelnen Nutzungsschrittes begrenzt sind. Durch iteratives Kalibrieren kann zum Beispiel auch erreicht werden, dass nach einem Nutzerwechsel die Eyetrackereinheit iterativ an den neuen Nutzer angepasst wird. Es kann auch vorgesehen sein, dass die Bedienung der Bedienvorrichtung mittels der Eyetrackereinheit zunächst gesperrt wird und erst nach einer vorbestimmten Anzahl von Nutzungsschritten und damit Kalibrierschritten freigeschaltet wird. Alternativ zu einer vorbestimmten Anzahl von Kalibrierschritten kann auch vorgesehen sein, dass eine sich nach einem Kalibrierschritt ergebende Veränderung der Kalibrierdaten ermittelt wird und die Bedienung freigeschaltet wird, falls die Änderung durch einen Kalibrierschritt kleiner als ein vorbestimmter Höchstwert ist. Dann kann davon ausgegangen werden, dass die Eyetrackereinheit ausreichend genau auf den Nutzer abgestimmt ist.
Um das erfindungsgemäße Verfahren durchzuführen ist eine erfindungsgemäße Bedienvorrichtung für ein Kraftfahrzeug bereitgestellt, welche die Eyetrackereinheit, den Bildschirm sowie eine Steuereinheit aufweist. Die Steuereinheit ist dazu eingerichtet, eine Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Hierzu kann die Steuereinheit zumindest einen Mikroprozessor und/oder zumindest einen Mikrocontroller aufweisen. Des Weiteren kann die Steuereinheit einen Programmcode aufweisen, der dazu eingerichtet ist, die Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Der Programmcode kann in einem Datenspeicher der Steuereinheit gespeichert sein.
Im Folgenden ist ein Ausführungsbeispiel der Erfindung beschrieben. Hierzu zeigt:
Fig. 1 eine schematische Darstellung eines Kraftfahrzeugs mit einer
Ausführungsform der erfindungsgemäßen Bedienvorrichtung;
Fig. 2 eine schematische Darstellung eines Anzeigeinhalts, der zu einem
Nutzungsschritt der Bedienvorrichtung gehört und zugleich zum Erzeugen von Kalibrierdaten gemäß einer Ausführungsform des erfindungsgemäßen Verfahrens genutzt wird; und
Fig. 3 eine schematische Darstellung eines Anzeigeinhalts eines weiteren
Nutzungsschritts, der zugleich zum Erzeugen von Kalibrierdaten gemäß einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens genutzt wird.
Bei dem im Folgenden erläuterten Ausführungsbeispiel handelt es sich um eine bevorzugte Ausführungsform der Erfindung. Bei dem Ausführungsbeispiel stellen die beschriebenen Komponenten der Ausführungsform jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden und damit auch einzeln oder in einer anderen als der gezeigten Kombination als Bestandteil der Erfindung anzusehen sind. Des Weiteren ist die beschriebene Ausführungsform auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.
In den Figuren sind funktionsgleiche Elemente jeweils mit denselben Bezugszeichen versehen,
Fig. 1 zeigt aus einer Vogelperspektive eine Teilansicht eines Kraftfahrzeugs 10, bei dem es sich zum Beispiel um einen Kraftwagen, insbesondere einen Personenkraftwagen oder Lastkraftwagen handeln kann. Zur Orientierung sind von dem Kraftfahrzeug 10 Vorderräder 1 1 , ein Fahrersitz 12, ein Lenkrad 13 und eine Mittelkonsole 14 dargestellt.
In dem Kraftfahrzeug 10 kann eine Bedienvorrichtung 15 bereitgestellt sein, mittels welcher zumindest ein Gerät 16 des Kraftfahrzeugs 10 bedient werden kann. Die Bedienvorrichtung 15 kann zum Beispiel Bestandteil eines Infotainmentsystems (Information- Unterhaltungssystem) des Kraftfahrzeugs 10 sein. Bei dem zumindest einen Gerät 16 kann es sich zum Beispiel um ein Radio und/oder Telefon und/oder Navigationssystem und/oder eine Klimatisierungseinrichtung und/oder ein Medienwiedergabegerät für Video und/oder Audio-Dateien handeln. Die Bedienvorrichtung 15 kann eine Steuereinheit 17, einen Touchscreen 18 und eine Eyetrackereinheit 19 aufweisen. Der Touchscreen 18 stellt einen Bildschirm dar. Der Touchscreen 18 kann zum Beispiel in der Mittelkonsole 14 des Kraftfahrzeugs angeordnet sein. Anstelle eines Touchscreens kann auch ein z.B. eine Kopf- oben-Anzeige (Head-up-Display) oder eine nicht-berührungssensitiver Bildschirm bereitgestellt sein.
Ein Erfassungsbereich 20 der Eyetrackereinheit 19 kann zum Beispiel auf den Fahrersitzt 12 ausgerichtet sein, sodass eine Blickrichtung eines Fahrers erfasst werden kann. Der Touchscreen 18 und die Eyetrackereinheit 19 können jeweils in aus dem Stand der Technik bekannter Weise ausgestaltet sein. Im Betrieb kann die Eyetrackereinheit 19 Blickrichtungsangaben 21 erzeugen und an die Steuereinheit 17 ausgeben. Die Steuereinheit 17 kann Grafikdaten 22 zum Steuern eines Anzeigeinhalts 23 an den Touchscreen 18 ausgeben. Des Weiteren kann die Steuereinheit 17 von dem Touchscreen 18 Berührdaten 24 empfangen, welche Koordinaten eines Berührereignisses 25 auf dem Touchscreen 18 beschreiben können. Ein Berührereignis 25 kann zum Beispiel eine Berührung einer Anzeigefläche des Touchscreens 18 durch einen Finger eines Benutzers, zum Beispiel des Fahrers, sein. Damit anhand der Blickrichtungsangaben 21 erkannt werden kann, welchen Teil oder wo auf dem Anzeigeinhalt 23 der Benutzer seinen Blick gerichtet hat, ist durch die Steuereinheit 17 eine Transformation oder Abbildung 26 vorgesehen, welche die Blickrichtungsangaben 21 in Koordinaten 27 wandelt, welche den Schnittpunkt eines Blickrichtungsvektors des Blickes des Benutzers mit dem Anzeigeinhalt 23 auf der Anzeigefläche des Touchscreens 18 beschreiben. Hierzu muss die Transformation 26 mittels Konfigurationsdaten 28 angepasst sein, wie dies an sich aus dem Stand der Technik bekannt ist. Durch die Steuereinheit 17 wird die Kalibrierung allerdings nicht in einem separaten Kalibrierverfahren oder Kalibrierschritt durchgeführt, für welches der Benutzer die Bedienvorrichtung 18 für keinen anderen Verwendungszweck nutzen kann. Stattdessen wird ein Nutzungsschritt der Bedienvorrichtung 15 zusätzlich dazu genutzt, Kalibrierdaten 28 zu erzeugen.
In Fig. 2 ist dies anhand eines Nutzungsschritts 29 gezeigt, der einen sogenannten an Unlock vorsieht, bei welchem der Benutzer mittels eines Bedienen Objekts 30, beispielsweise seines Fingers, auf dem Touchscreen 18 eine Wischgeste 31 entlang einer Bewegungsbahn 32 ausführen muss, um zum Beispiel ein Bedienmenü der Bedienvorrichtung 15 auf dem Touchscreen 18 angezeigt zu bekommen. Als Orientierung ist dem Benutzer ein graphisches Element 33 durch die Steuereinheit 17 auf dem Touchscreen 18 angezeigt. Das graphische Element 33 ist ein Bedienelement, das der Benutzer mit dem Bedienobjekt 30 berühren muss und entlang der Bewegungsbahn 32 ziehen muss. Hierdurch führt er implizit die Wischgeste 31 aus. Dabei wird die Annahme getroffen, dass der Nutzer in diesem Moment auch seinen Fokus des Blickes auf der ausgeführten Bewegung hat. Somit kann eine Anpassung zwischen tatsächlich erkanntem und durch die Blickrichtungsangaben 21 signalisiertem Fokus und dem geschätzten Fokus in Form der Position oder Koordinaten des Elements 33 auf dem Touchscreen 18 vorgenommen werden. Genauso können dem Benutzer bestimmte Bedienflächen oder Buttons oder Slider zur Betätigung angezeigt werden (nicht dargestellt). Auch hier ist anzunehmen, dass der Nutzer seinen Fokus im Augenblick der Ausführung der Bedienhandlung auf dem jeweiligen Interaktionselement, das heißt dem graphischen Bedienelement, hat. Aufbauend auf dieser Grundlage lässt sich technisch ein Versatz bzw. eine Abweichung zwischen dem tatsächlichen Nutzerfokus (auf das jeweilige graphische Element 33 gerichtet) und dem gerade von der Eyetrackereinheit ermittelten Blickrichtungsangabe 21 berechnen und mittels der Konfigurationsdaten 28 ausgleichen.
Generell lässt sich dieser Ansatz auf beliebige graphische Elemente einer graphischen Benutzerschnittstelle GUI beziehen. In einer bevorzugten optimalen Anwendung wird nur ein einzelnes Element auf dem Bildschirm angezeigt (siehe Fig. 2). Erkennt die Bedienvorrichtung 15 anhand eines Verweilens der Blickrichtung auf einem bestimmten Punkt oder innerhalb eines begrenzten Rahmens den Nutzerfokus, kann hier unter der Annahme, dass der Benutzer gerade auf ein einziges angezeigtes Element blickt, die Differenz zwischen dem Fokus und der Position dieses Elements direkt und mittels der Kalibrierdaten 28 angepasst oder ausgeglichen werden.
Dabei erfolgt die Berechnung und Anpassung aufgrund der kurz vor und/oder nach einem Berührereignis 25 erkannten Blickpunkten. Mithilfe mathematischer Verfahren, die an sich aus dem Stand der Technik bekannt sind, werden diese dann auf die feststehende Position des angezeigten graphischen Elements kalibriert.
Somit ist bei der Bedienvorrichtung die Kalibrierung vor dem Nutzer verborgen und nicht wahrnehmbar durchgeführt, während er bestimmte Bedienabläufe oder Nutzungsschritte 29 ausführt.
Da aber nicht auszuschließen ist, dass der Nutzer auch zeitweise außerhalb des gewünschten und angezeigten Bereiches blickt, werden die Messwerte bevorzugt plausibilisiert. Optimiert werden kann die Vorgehensweise noch, indem präsentierte Elemente zunächst sehr klein dargestellt werden und danach auf eine vorbestimmte, finale Größe gezoomt werden. Die Bedienung eines Sliders erlaubt sogar die Auswertung des Nutzerfokus entlang einer klar definierten Linie oder Bewegungsbahn 32 (Sliderverlauf). Dies liefert zum einen präzisere Ergebnisse, da sich die Messwerte zunächst auf einer viel kleineren Fläche konzentrieren, und erhöht zum anderen auch die Wahrscheinlichkeit, dass der Nutzer auf das Element 33 blickt, da mehr Animation seine Aufmerksamkeit einfordert.
Eine weitere Ausführungsform ist in Fig. 3 veranschaulicht, bei welcher die aktive Kalibrierung vor dem Nutzer verborgen und nicht wahrnehmbar durchgeführt wird. Hierzu ist in Fig. 3 über der Zeit t zu drei aufeinander folgenden Zeitschritten T1 , 12, T3 jeweils der Anzeigeinhalt 23 des Touchscreens 18 veranschaulicht, während als ein Medienelement ein Video mit einem Tutorial geführt wird, welches dem Nutzer das z.B. Zielsystem erläutert. Dieses kann beliebig, dem Anwendungsfall angepasst gestaltet werden. So kann z.B. eine GUI-Applikation erläutert werden, welche auf einem Kacheldesign basiert. Beim ersten Systemstart gelangt der Nutzer zunächst in das Tutorial, in welchem ihm die Möglichkeiten der Bedienvorrichtung präsentiert werden. Die GUI-Oberfläche wird zunächst nicht angezeigt, sondern nach und nach in den Zeitschritten T1 , T2, T3 aufgebaut. Es werden Kacheln in beliebiger Reihenfolge eingeblendet und mit ein paar Worten akustisch vorgestellt. Es ist sehr wahrscheinlich, dass der Nutzer beim Einblenden der jeweils neuen Kachel 34 auf diese blickt. Werden in dieser Zeit Messwerte der Eyetrackereinheit als Blickrichtungsangaben 21 aufgezeichnet, so kann anhand dieser in Verbindung mit der Kachelposition eine Default-Kalibrierung oder Standard-Kalibrierung 35 angepasst werden.
Da auch hier nicht auszuschließen ist, dass der Nutzer auch mal eine Kachel nicht anblickt, müssen die Messwerte plausibilisiert werden. Dies ist möglich, da mithilfe der Default- Kalibrierung 35 zwar keine absolute Position des Blicks auf dem Anzeigeinhalt 23 der GUI ermittelt werden kann, jedoch relative Positionen zueinander. Lagen zum Beispiel zwei präsentierte Kacheln 34 nebeneinander, so müssen auch die aufgezeichneten Blickdaten der Blickrichtungsangaben 21 nebeneinander liegen. Nicht plausible Werte können verworfen und bei der Kalibrierung vernachlässigt werden.
Optimiert werden kann die vorgestellte Vorgehensweise noch, indem präsentierte Kacheln zunächst sehr klein dargestellt werden und nach kurzer Zeit auf die finale Größe gezoomt werden. Dies liefert zum einen präzisere Ergebnisse, da sich die Messwerte zunächst auf einer viel kleineren Fläche konzentrieren, und erhöht zum anderen auch die Wahrscheinlichkeit, dass der Nutzer auf die Kachel blickt, da mehr Animation seine Aufmerksamkeit einfordert.
Ebenfalls kann durch Ausblenden und/oder Abdunkeln bereits vorgestellter Kacheln 34 die Ablenkung des Nutzers reduziert und seine Aufmerksamkeit auf die aktuell präsentierte Kachel gelenkt werden. Dies ist in Fig. 3 durch eine gestrichelte Darstellung der bereits zum vorangegangenen Zeitschritt T1 , T2 angezeigten Kacheln 34 veranschaulicht.
Statt eines komplett leeren Anzeigeinhalts 23 der GUI zum Systemstart, welche sich erst nach und nach befüllt, kann diese auch schon zu Beginn vollständig vorhanden sein, jedoch mit abgedunkelten und/oder verschwommenen Inhalten. Die aktuell präsentierte Kachel würde hervorgehoben und anschließend wieder abgedunkelt werden.
Während die Bedienvorrichtung läuft, kann kontinuierlich kalibriert und nachkalibriert werden, ohne dass der Nutzer in der Programmnutzung beeinträchtigt wird. Hierzu kann die betrachtete Oberfläche mit dem Anzeigeinhalt 23 analysiert und auf markante Punkte hin untersucht werden. Dies kann entweder automatisiert während des Betriebs oder bei bekannter Darstellung der Anzeigeinhalte 23 im Voraus durchgeführt werden. Auf die so ermittelten Punkte wird sich im Programmablauf des Nutzungsschritts (zum Beispiel des Nutzungsschritts 29 in Fig. 2) die Aufmerksamkeit des Nutzers konzentrieren. Über einen definierten Zeitraum werden Blickdaten als Blickrichtungsangaben 21 gesammelt und als Punktwolke interpretiert. Es wird eine Transformation bestimmt, welche diese Punktwolke fehlerminimierend auf die zuvor ermittelten Punkte matcht oder abbildet. Diese Transformation kann direkt zur Kalibrierungskorrektur der Default-Kalibrierung 35 der Eyetrackereinheit genutzt werden. Des Weiteren kann die Kalibrierung dynamisch zur Laufzeit angepasst werden - wenn sich zum Beispiel der Aufbau ändert oder der Nutzer wechselt - da sie kontinuierlich während der Programmnutzung abläuft.
Die Bedienvorrichtung 15 vermeidet somit die aktive Nutzerkalibrierung, welche im Allgemeinen als störend empfunden wird. Des Weiteren wird die Eyetrackereinheit 19 bevorzugt nicht nur einmal zu Beginn kalibriert, was dann keinen Setup- oder Nutzenwechsel mehr ohne Neukalibrierung erlaubt, sondern passt sich adaptiv sich verändernden Verhältnissen an. So kann sich das System bei Nutzerwechsel adaptiv anpassen.
Typischerweise enthält eine GUI Bereiche, die vom Nutzer vermehrt angeschaut und auch einige Zeit fixiert werden. Dies können zum Beispiel Button oder Slider sein. Diese Features werden als Interest-Points (Aufmerksamkeits-Punkte) definiert und im Vorfeld festgelegt. Im weiteren Verlauf werden diese Punkte mit ihrer bekannten Anzeigeposition als Kalibrierpunkte genutzt. Wie oben beschreiben bedient der Nutzer die GUI wie gewünscht, nicht zwangsläufig mit seinem Blick, sondern zum Beispiel auch mit einem Eingabeobjekt 30. Es werden während der Bedienung Blickdaten als Blickrichtungsangaben 21 gesammelt und wie oben beschrieben auf die definierten Kalibrierpunkte oder Interest-Points gematcht oder abgebildet, um die Default-Kalibrierung 35 zu korrigieren. Hierfür kann eine kleinste- Fehlerquadrate-Methode verwendet werden oder beispielsweise ein RANSAC-Algorithmus.
Es ist ebenfalls möglich, eine Kalibrierung beim Visualisieren von Inhalten durchzuführen, in denen nicht bereits im Vorfeld Features oder Interest-Points extrahiert werden können, wie zum Beispiel beim Betrachten von Fotos oder Videos. In diesem Fall würden Interest-Points mittels Bildverarbeitung auf der Grundlage eines Salienzkriteriums extrahiert werden.
Insgesamt zeigt das Beispiel, wie durch die Erfindung eine automatische Eye-Tracking- Kalibrierung bereitgestellt werden kann. Bezugszeichenliste
Kraftfahrzeug
Vorderräder
Fahrersitz
Lenkrad
Mittelkonsole
Bedienvorrichtung
Gerät
Steuereinheit
Touchscreen
Eyetrackereinheit
Erfassungsbereich
Blickrichtungsangabe
Grafikdaten
Anzeigeinhalt
Berührdaten
Berührereignis
Transformation
Koordinaten
Kalibrierdaten
Nutzungsschritt
Eingabeobjekt
Wischgeste
Bewegungsbahn
Element
Kachel
Default-Kalibrierung

Claims

Patentansprüche
1 . Verfahren zum Kalibrieren einer Eyetrackereinheit (19) einer Bedienvorrichtung (15), wobei mittels der Bedienvorrichtung (15) zumindest ein Gerät in Abhängigkeit von zumindest einer Benutzereingabe gesteuert wird und wobei bei dem Verfahren durch eine Steuereinheit der Bedienvorrichtung (15) in zumindest einem vorbestimmten Nutzungsschritt (29) der Bedienvorrichtung (15) jeweils:
- auf einem Bildschirm (18) zumindest ein graphisches Bedienelement zum Empfangen der zumindest einen Benutzereingabe und/oder zumindest ein Ausgabeelement zum Beschreiben eines Gerätezustands des zumindest einen gesteuerten Geräts und/oder zumindest ein Medienelement zum Beschreiben eines Sachverhalts angezeigt wird, so dass während des Nutzungsschritts (29) zumindest ein graphisches Element (33) angezeigt wird, und
- zumindest eine Blickrichtungsangabe (21 ) zu dem den Bildschirm (18) betrachtenden Benutzer mittels der Eyetrackereinheit (19) ermittelt wird,
dadurch gekennzeichnet, dass
aus dem zumindest einen angezeigten Element (33) ein optisch salientes Element (33), welches ein vorbestimmtes Salienzkriterium erfüllt und welches der Benutzer zum erfolgreichen Durchführen des Nutzungsschrittes (29) mit den Augen fokussieren muss, festgelegt wird und in Abhängigkeit von einer Anzeigeposition des optisch salienten Elements (33) auf dem Bildschirm (18) und in Abhängigkeit von der zumindest einen Blickrichtungsangabe (21 ) Kalibrierdaten (28) zum Kalibrieren der Eyetrackereinheit (19) erzeugt werden.
2. Verfahren nach Anspruch 1 , wobei mehrere graphische Elemente (33) angezeigt werden, von denen eines oder einige zeitweise unscharf und/oder abgedunkelt und/oder nur in Graustufen und nur ein einziges während des Nutzungsschritts (29) scharf und/oder unverändert hell und/oder farbig und/oder durch ein Markierungselement optisch markiert und hierdurch optisch salient dargestellt wird.
3. Verfahren nach einem der vorhergehenden Ansprüche, wobei mehrere graphische Elemente (33) angezeigt werden und diese zeitlich nacheinander erscheinend und/oder eines zur Zeit in einer jeweiligen Animation seine Größe und/oder Form und/oder Position und/oder Lage verändernd angezeigt werden.
4. Verfahren nach einem der vorhergehenden Ansprüche, wobei mehrere graphische Elemente (33) angezeigt werden und ermittelt wird, welches der angezeigten Elemente (33) einen größten, nach dem Salienzkriterium ermittelten Salienzwert aufweist, und das Element (33) mit dem größten Salienzwert als optisch salientes Element (33) festgelegt wird.
5. Verfahren nach einem der vorhergehenden Ansprüche, wobei bei vorgegebenem Ablauf eines Nutzungsschritts (29) das jeweils nächste zu bedienende und/oder zu betrachtende graphische Element (33) im Voraus als optisch salientes Element (33) festgelegt wird,
6. Verfahren nach Anspruch 1 , wobei nur ein einziges graphisches Element (33), insbesondere ein Bedienelement zum Empfangen der zumindest einen Benutzereingabe, angezeigt und als optisch salientes Element (33) festgelegt wird.
7. Verfahren nach einem der vorhergehenden Ansprüche, wobei anhand der zumindest einen Blickrichtungsangabe (21 ) ein Verweilen eines Blicks des Benutzers innerhalb eines Fokussierbereichs mit einer vorbestimmten Bereichsgröße für mehr als eine vorbestimmte Mindestzeitdauer erkannt wird und bei Erkennen des Verweilens die Kalibrierdaten (28) aus Blickrichtungsangaben (21 ), die während des Verweilens ermittelt wurden, erzeugt werden.
8. Verfahren nach einem der vorhergehenden Ansprüche, wobei anhand vorbestimmter Default-Kalibrierdaten (35) zumindest eine vorläufig kalibrierte Blickrichtungsangabe berechnet wird und nur zumindest eine solche Blickrichtungsangabe (21 ) zum Erzeugen der Kalibrierdaten (28) genutzt wird, die Koordinaten (27) entsprechen, die ein vorbestimmtes Plausibilisierungsknterium erfüllen.
9. Verfahren nach Anspruch 8, wobei mehrere Blickrichtungsangaben (21 ) empfangen werden das Plausibilisierungskriterium umfasst, dass bei einem Wechsel und/oder einer Bewegung des optisch salienten Elements (33) die Koordinaten (27) aller ausgewählten Blickrichtungsangaben (21 ) der relativen Positionsänderung entsprechen müssen.
10. Verfahren nach einem der vorhergehenden Ansprüche, wobei der Bildschirm (18) als Touchscreen ausgestaltet ist und mittels des Bildschirms (18) die zumindest eines Benutzereingabe als Berührereignis (25) erkannt wird und bei erkanntem Berührereignis (25) die jeweils vor und/oder während und/oder nach dem Berührereignis (25) erzeugte Blickrichtungsangabe (21 ) und/oder Koordinaten (27) des berührten graphischen Elements (33) auf dem Bildschirm (18) und/oder Berührkoordinaten des Berührereignisses (25) zum Erzeugen der Kalibrierdaten (28) zugrunde gelegt werden.
1 1. Verfahren nach Anspruch 10, wobei eine Bedienfläche zum Eingeben einer Tastbetätigung und/oder eine Tastatur zum Empfangen einer Zeichenfolge angezeigt wird.
12. Verfahren nach Anspruch 10 oder 1 1 , wobei als graphisches Bedienelement ein Schiebelement zum Eingeben einer Wischgeste (31 ) entlang einer Bewegungslinie angezeigt wird und mehrere einen Bewegungsverlauf entlang der Bewegungslinie beschreibende Blickrichtungsangaben (21 ) empfangen und zum Erzeugen der Kalibrierdaten (28) genutzt werden.
13. Verfahren nach einem der vorhergehenden Ansprüche, wobei als Medienelement ein Video mit einer Bedienungsanleitung für die Bedienvorrichtung (15) und/oder das zumindest eine Geräte angezeigt wird und zu zumindest einem Zeitpunkt als jeweiliges optisch salientes Element (33) ein momentan in dem Video angezeigtes und durch eine Sprachausgabe erklärtes und/oder in dem Video optisch hervorgehobenes graphisches Element (33) festgelegt wird.
14. Verfahren nach einem der vorhergehenden Ansprüche, wobei mehrere Nutzungsschritte (29) hintereinander durchgeführt werden und jeweils Kalibrierdaten (28) erzeugt werden und mit den Kalibrierdaten (28) jedes Nutzungsschritts (29) die Eyetrackereinheit (19) iterativ kalibriert wird.
15. Bedienvorrichtung (15) für ein Kraftfahrzeug (10), aufweisend eine Eyetrackereinheit (19), einen Bildschirm (18) und eine Steuereinheit, die dazu eingerichtet ist, ein Verfahren nach einem der vorhergehenden Ansprüche durchzuführen.
PCT/EP2017/063698 2016-06-10 2017-06-06 Bedienvorrichtung mit eyetrackereinheit und verfahren zum kalibrieren einer eyetrackereinheit einer bedienvorrichtung WO2017211817A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020187030197A KR102182667B1 (ko) 2016-06-10 2017-06-06 눈 트래커 유닛을 포함하는 조작 장치 및 조작 장치의 눈 트래커 유닛을 교정하기 위한 방법
US16/307,918 US10635170B2 (en) 2016-06-10 2017-06-06 Operating device with eye tracker unit and method for calibrating an eye tracker unit of an operating device
CN201780035890.1A CN109313501A (zh) 2016-06-10 2017-06-06 具有眼动跟踪单元的操作装置和用于校准操作装置的眼动跟踪单元的方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102016210288.5 2016-06-10
DE102016210288.5A DE102016210288A1 (de) 2016-06-10 2016-06-10 Bedienvorrichtung mit Eyetrackereinheit und Verfahren zum Kalibrieren einer Eyetrackereinheit einer Bedienvorrichtung

Publications (1)

Publication Number Publication Date
WO2017211817A1 true WO2017211817A1 (de) 2017-12-14

Family

ID=59014639

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2017/063698 WO2017211817A1 (de) 2016-06-10 2017-06-06 Bedienvorrichtung mit eyetrackereinheit und verfahren zum kalibrieren einer eyetrackereinheit einer bedienvorrichtung

Country Status (5)

Country Link
US (1) US10635170B2 (de)
KR (1) KR102182667B1 (de)
CN (1) CN109313501A (de)
DE (1) DE102016210288A1 (de)
WO (1) WO2017211817A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10635170B2 (en) 2016-06-10 2020-04-28 Volkswagen Aktiengesellschaft Operating device with eye tracker unit and method for calibrating an eye tracker unit of an operating device

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017214513A1 (de) * 2017-08-21 2019-02-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Betreiben eines Assistenzsystems für ein Fahrzeug und Assistenzsystem
JP6479272B1 (ja) * 2018-01-05 2019-03-06 三菱電機株式会社 視線方向較正装置、視線方向較正方法および視線方向較正プログラム
US11393251B2 (en) 2018-02-09 2022-07-19 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
WO2019154511A1 (en) 2018-02-09 2019-08-15 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters using a neural network
EP3750028B1 (de) 2018-02-09 2022-10-19 Pupil Labs GmbH Vorrichtungen, systeme und verfahren zur vorhersage von blickbezogenen parametern
DE102018208402A1 (de) * 2018-05-28 2019-11-28 Bayerische Motoren Werke Aktiengesellschaft Funktionsüberprüfungssystem
CN109101110A (zh) * 2018-08-10 2018-12-28 北京七鑫易维信息技术有限公司 一种操作指令执行方法、装置、用户终端及存储介质
JP6668564B1 (ja) * 2018-08-29 2020-03-18 京セラ株式会社 ヘッドアップディスプレイ、ヘッドアップディスプレイシステム、および移動体
US11537202B2 (en) 2019-01-16 2022-12-27 Pupil Labs Gmbh Methods for generating calibration data for head-wearable devices and eye tracking system
US10936057B2 (en) 2019-04-09 2021-03-02 Samsung Electronics Co., Ltd. System and method for natural three-dimensional calibration for robust eye tracking
US11676422B2 (en) 2019-06-05 2023-06-13 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
CN110248091B (zh) * 2019-06-12 2021-06-04 Oppo广东移动通信有限公司 焦距调整方法及相关产品

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014020323A1 (en) 2012-07-30 2014-02-06 Haddon John Cursor movement device
WO2014192001A2 (en) * 2013-05-30 2014-12-04 Umoove Services Ltd. Smooth pursuit gaze tracking
US20150278599A1 (en) 2014-03-26 2015-10-01 Microsoft Corporation Eye gaze tracking based upon adaptive homography mapping
US20150331485A1 (en) * 2014-05-19 2015-11-19 Weerapan Wilairat Gaze detection calibration
DE102014008852A1 (de) 2014-06-14 2015-12-17 Audi Ag Kalibrierung eines Kraftfahrzeug-Eyetrackingsystems
US20160139665A1 (en) * 2014-11-14 2016-05-19 The Eye Tribe Aps Dynamic eye tracking calibration

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4396430B2 (ja) * 2003-11-25 2010-01-13 セイコーエプソン株式会社 視線誘導情報生成システムおよび視線誘導情報生成プログラム、並びに視線誘導情報生成方法
GB2412431B (en) 2004-03-25 2007-11-07 Hewlett Packard Development Co Self-calibration for an eye tracker
CN101872237B (zh) * 2009-04-23 2012-04-18 由田新技股份有限公司 瞳孔追踪方法与***及用于瞳孔追踪的校正方法与模组
US20100293460A1 (en) * 2009-05-14 2010-11-18 Budelli Joe G Text selection method and system based on gestures
EP2309307B1 (de) * 2009-10-08 2020-12-09 Tobii Technology AB Augenverfolgung mithilfe einer grafischen Prozessoreinheit
KR101709497B1 (ko) * 2010-07-29 2017-02-23 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
WO2012052061A1 (en) * 2010-10-22 2012-04-26 Institut für Rundfunktechnik GmbH Method and system for calibrating a gaze detector system
US8675966B2 (en) * 2011-09-29 2014-03-18 Hewlett-Packard Development Company, L.P. System and method for saliency map generation
WO2013059940A1 (en) 2011-10-27 2013-05-02 Tandemlaunch Technologies Inc. System and method for calibrating eye gaze data
AU2011253980B2 (en) * 2011-12-12 2014-05-29 Canon Kabushiki Kaisha Method, apparatus and system for identifying distracting elements in an image
US10109056B2 (en) * 2012-04-02 2018-10-23 Thomson Licensing Method for calibration free gaze tracking using low cost camera
FR2989874B1 (fr) * 2012-04-25 2015-07-31 Thales Sa Procede de calibrage d'un oculometre et dispositif associe
US9147248B2 (en) * 2012-12-21 2015-09-29 Tobii Technology Ab Hardware calibration of eye tracker
US20140191927A1 (en) * 2013-01-09 2014-07-10 Lg Electronics Inc. Head mount display device providing eye gaze calibration and control method thereof
WO2014125380A2 (en) * 2013-02-14 2014-08-21 The Eye Tribe Aps Systems and methods of eye tracking calibration
US9189095B2 (en) * 2013-06-06 2015-11-17 Microsoft Technology Licensing, Llc Calibrating eye tracking system by touch input
EP3992921A1 (de) * 2013-06-12 2022-05-04 3M Innovative Properties Company Präsentation von ergebnissen einer visuellen aufmerksamkeitsmodellierung
KR101532766B1 (ko) * 2013-08-16 2015-06-30 (주)뉴인 동적 레이어 기반의 컨텐츠 재생 시스템
DE102013019117A1 (de) * 2013-11-15 2015-05-21 Audi Ag Verfahren zum Kalibrieren einer Blickrichtungserfassungseinrichtung für ein Kraftfahrzeug, Kalibrierungseinrichtung und Kraftfahrzeug
EP2879018A1 (de) 2013-11-29 2015-06-03 Universiteit van Amsterdam Schätzung der Blickpunkt aus unkalibrierten Augenmesspunkten
JP2015153302A (ja) * 2014-02-18 2015-08-24 ソニー株式会社 表示制御装置、表示制御方法および記録媒体
CN106028913B (zh) 2014-02-19 2018-03-30 三菱电机株式会社 显示控制装置、显示控制装置的显示控制方法
US20150302585A1 (en) * 2014-04-22 2015-10-22 Lenovo (Singapore) Pte. Ltd. Automatic gaze calibration
US9727135B2 (en) * 2014-04-30 2017-08-08 Microsoft Technology Licensing, Llc Gaze calibration
DE102015204281A1 (de) * 2015-03-10 2016-09-15 Robert Bosch Gmbh Verfahren zur Kalibrierung einer Kamera für eine Blickrichtungserkennung in einem Fahrzeug, Vorrichtung für ein Kraftfahrzeug mit einer Kamera und mindestens einem weiteren Element und Computerprogrammprodukt
DE102016210288A1 (de) 2016-06-10 2017-12-14 Volkswagen Aktiengesellschaft Bedienvorrichtung mit Eyetrackereinheit und Verfahren zum Kalibrieren einer Eyetrackereinheit einer Bedienvorrichtung

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014020323A1 (en) 2012-07-30 2014-02-06 Haddon John Cursor movement device
WO2014192001A2 (en) * 2013-05-30 2014-12-04 Umoove Services Ltd. Smooth pursuit gaze tracking
US20150278599A1 (en) 2014-03-26 2015-10-01 Microsoft Corporation Eye gaze tracking based upon adaptive homography mapping
US20150331485A1 (en) * 2014-05-19 2015-11-19 Weerapan Wilairat Gaze detection calibration
DE102014008852A1 (de) 2014-06-14 2015-12-17 Audi Ag Kalibrierung eines Kraftfahrzeug-Eyetrackingsystems
US20160139665A1 (en) * 2014-11-14 2016-05-19 The Eye Tribe Aps Dynamic eye tracking calibration

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DAVID PERRA; ROHIT KUMAR GUPTA; JAN-MICHEAL FRAHM: "Adaptive Eye-Camera Calibration for Head-Worn Devices", CVPR - IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, 2015

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10635170B2 (en) 2016-06-10 2020-04-28 Volkswagen Aktiengesellschaft Operating device with eye tracker unit and method for calibrating an eye tracker unit of an operating device

Also Published As

Publication number Publication date
US20190265788A1 (en) 2019-08-29
KR102182667B1 (ko) 2020-11-25
KR20180122012A (ko) 2018-11-09
DE102016210288A1 (de) 2017-12-14
CN109313501A (zh) 2019-02-05
US10635170B2 (en) 2020-04-28

Similar Documents

Publication Publication Date Title
WO2017211817A1 (de) Bedienvorrichtung mit eyetrackereinheit und verfahren zum kalibrieren einer eyetrackereinheit einer bedienvorrichtung
EP3394708B1 (de) Verfahren zum betreiben eines virtual-reality-systems und virtual-reality-system
DE102014009303B4 (de) Verfahren zum Betreiben einer Virtual-Reality-Brille und System mit einer Virtual-Reality-Brille
DE102017218120A1 (de) Verfahren zur Bereitstellung einer haptischen Rückmeldung an einen Bediener einer berührungssensitiven Anzeigeeinrichtung
DE102012206247A1 (de) Verfahren und Vorrichtung zur Anzeige einer Hand eines Bedieners eines Bedienelements eines Fahrzeugs
DE102015201728A1 (de) Verfahren zum Auswählen eines Bedienelements eines Kraftfahrzeugs und Bediensystem für ein Kraftfahrzeug
WO2017054894A1 (de) Interaktives bediensystem und verfahren zum durchführen einer bedienhandlung bei einem interaktiven bediensystem
WO2014067774A1 (de) Verfahren und vorrichtung zum betreiben einer eingabevorrichtung
DE102012219814A1 (de) Bereitstellen einer Bedienungseingabe unter Verwendung eines Head-mounted Displays
DE102019118752A1 (de) Verfahren zur adaptiven Funktionsneubelegung von Bedienelementen eines Bildaufnahmesystems sowie zugehöriges Bildaufnahmesystem
DE112022002985T5 (de) Verfahren, system und computerprogramm zur berührungsstabilisierung
DE102017218718A1 (de) Verfahren, Vorrichtung und Fortbewegungsmittel zur Unterstützung einer Gestensteuerung für ein virtuelles Display
WO2013093040A1 (de) Verfahren und system zur darstellung mindestens eines bilds zumindest einer anwendung auf einer anzeigevorrichtung
DE102016225262A1 (de) Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
DE102016003073A1 (de) Verfahren zum Betreiben eines Virtual-Reality-Systems und Virtual-Reality-System
DE102015222682A1 (de) Verfahren zum Aktivieren eines Bedienelements eines Kraftfahrzeugs und Bediensystem für ein Kraftfahrzeug
WO2014114428A1 (de) Verfahren und system zum blickrichtungsabhängigen steuern einer mehrzahl von funktionseinheiten sowie kraftwagen und mobiles endgerät mit einem solchen system
WO2020011943A1 (de) Verfahren und benutzerschnittstelle zur erfassung einer eingabe mittels zeigegestik
DE102007026120B4 (de) Verfahren zur selbsttätigen Steuerung eines Zeigerelements in graphischen Nutzerschnittstellen eines digitalen Bildinformationssystems
WO2020052894A1 (de) Verfahren zum unterstützen eines benutzers beim durchführen eines scroll-vorgangs, vorrichtung und kraftfahrzeug
WO2019228780A1 (de) Konzept für die steuerung einer anzeige eines mobilen augmented-reality-gerätes
DE102018208833A1 (de) System und Verfahren für Ansteuerung der Kartennavigation eines Fahrzeuges
DE102013211046A1 (de) Verfahren und Vorrichtung zum Gewinnen eines Stellsignals aus einer Bediengeste
DE102012218155A1 (de) Erleichtern der Eingabe auf einer berührungsempfindlichen Anzeige in einem Fahrzeug
DE10144329A1 (de) Verfahren zum Bewegen und Positionieren eines Cursors auf einem Bildschirm sowie Vorrichtung zum Durchführen des Verfahrens

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 20187030197

Country of ref document: KR

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17728192

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17728192

Country of ref document: EP

Kind code of ref document: A1