DE102018108200A1

DE102018108200A1 - Systeme und Verfahren zur Verringerung von Aufmerksamkeitsverminderung während die Bereitschaft beibehalten wird mittels Augmented Reality in einem Fahrzeug

Info

Publication number: DE102018108200A1
Application number: DE102018108200.2A
Authority: DE
Inventors: James J. Kuffner jun.; Gill A. Pratt
Original assignee: Toyota Research Institute Inc
Current assignee: Toyota Motor Corp
Priority date: 2017-05-04
Filing date: 2018-04-06
Publication date: 2018-11-08
Anticipated expiration: 2038-04-07
Also published as: US10095228B1; US9904287B1; DE102018108200B4; JP6959176B2; JP2018206366A

Abstract

System und Verfahren und andere Ausführungsformen, die im Vorliegenden beschrieben sind, betreffen eine Verringerung von Aufmerksamkeitsverminderung eines Fahrzeugführers. In einer Ausführungsform umfasst das Verfahren das Überwachen des Bedieners, indem Bedienerzustandsinformationen mittels mindestens einem Sensor des Fahrzeugs gesammelt werden. Das Verfahren umfasst das Berechnen eines Konzentrationsniveaus des Bedieners gemäß einem Aufmerksamkeitsmodell und den Bedienerzustandsinformationen, um das Maß an Aufmerksamkeitsverminderung, das der Bediener aktuell erlebt, zu charakterisieren. Das Verfahren umfasst das Rendern, auf einer Augmented-Reality-Anzeige (AR-Anzeige), von mindestens einem grafischen Element in Abhängigkeit des Konzentrationsniveaus, um den Bediener dazu zu bringen, bezüglich einem Betrieb des Fahrzeugs und einer aktuellen Betriebsumgebung des Fahrzeugs aufmerksam zu bleiben.

Description

TECHNISCHES GEBIET
Der hier beschriebene Gegenstand betrifft allgemein Systeme und Verfahren zur Überwachung und Verhinderung/Verringerung von Aufmerksamkeitsverminderung und insbesondere die Verwendung von erweiterter Realität bzw. Augmented Reality (AR) in einem Fahrzeug, um eine Konzentration des Fahrzeugführers aufrechtzuerhalten.
HINTERGRUND
Autonome Fahrzeuge können eine Umgebung erfassen (z. B. Hindernisse, Straße, usw.) und autonom ohne menschlichen Eingriff oder zumindest teilweise ohne menschlichen Eingriff durch die Umgebung navigieren. Das heißt, autonome Fahrzeuge können gemäß verschiedener Autonomielevel betrieben werden. Zum Beispiel kann ein autonomes Fahrzeug gemäß der Level-2-Klassifizierung für autonomes Fahren der Society of Automotive Engineering (SAE) betrieben werden. Bei diesem autonomen Betriebsmodus verlässt sich ein autonomes Fahrzeug zumindest teilweise auf Übergaben vom autonomen Betrieb zur manuellen Steuerung durch einen Fahrzeugführer, wenn das Fahrzeug aufgrund verschiedener Umstände nicht autonom operieren kann oder sollte.
Allerdings können Übergaben, ob durch das Fahrzeug oder durch einen Eingriff des Fahrers initiiert, ohne große Vorankündigung erfolgen. Um Übergaben zuverlässig zu bewerkstelligen, sollte ein Bediener daher im Allgemeinen sowohl eine Handlungsbereitschaft beibehalten, sollte sich die Autonomie ausschalten, und aufmerksam bleiben, um zu überwachen und wahlweise tätig zu werden, wenn die Autonomie des Fahrzeugs es versäumt, eine gefährliche Situation zu erfassen.
Das Sicherstellen von Bereitschaft und Aufmerksamkeit des Bedieners bereitet verschiedene Schwierigkeiten. Zum Beispiel weil das Fahrzeug über lange Zeit ohne manuellen Eingriff von dem Bediener unter Level-2-Autonomie betrieben werden kann, können Bediener aufhören, die Umgebung des Fahrzeugs zu beachten, und zu träumen beginnen, anderen Tätigkeiten nachgehen und so weiter. Ferner können Ansätze wie hörbare Warnsignale eine Belästigung für den Bediener sein anstelle eines effektiven Garanten für Konzentration. Ferner können Ansätze, die erfordern, dass ein Bediener seine Hände an dem Lenkrad lässt und/oder dass er seine Augen nach vorne gerichtet hält, ebenfalls ineffektiv sein, da der Bediener die genannten Haltungen einnehmen kann, um einfach das Überwachungssystem zufriedenzustellen, während er trotzdem träumt oder sich auf andere Tätigkeiten konzentriert. Folglich versäumen es die genannten Ansätze, sowohl Bereitschaft als auch Aufmerksamkeit eines Fahrzeugführers aufrechtzuerhalten.
KURZFASSUNG
Ein Beispiel für ein Aufmerksamkeitssystem zur Verringerung von Aufmerksamkeitsverminderung wird hier vorgestellt. Im Kontext der Bedienung von einem Fahrzeug bezieht sich eine Aufmerksamkeitsverminderung allgemein auf eine Tendenz eines Fahrzeugführers, im Laufe der Zeit nicht mehr auf die Umgebung zu achten, wenn er nicht physisch beschäftigt ist, und sich daher weniger Aspekten in der Umgebung des Fahrzeugs und Aspekten bewusst zu sein, die möglicherweise die Bedienung des Fahrzeugs beeinflussen, wenn das Fahrzeug autonom betrieben wird. Dementsprechend wird in einer Ausführungsform das Aufmerksamkeitssystem in einem Fahrzeug implementiert, das autonom betrieben wird (z. B. SAE-Level 2), um eine Konzentration des Bedieners auf Aspekte der Fahrtätigkeit und der Umgebung zu erleichtern. Ferner wird das Aufmerksamkeitssystem beispielsweise gemeinsam mit anderen Systemen, wie beispielsweise Überwachungssystemen (z. B. Kameras für Eye-Tracking), einem Augmented-Reality-System (AR-System) und so weiter in dem Fahrzeug implementiert. Daher überwacht das Aufmerksamkeitssystem in einer Ausführungsform gleichzeitig einen Bediener des Fahrzeugs und steuert eine Augmented-Reality-Anzeige, um verschiedene Bilder zu rendern, die den Bediener veranlassen, sowohl aufmerksam für einen möglichen Bedarf zu sein, eine Steuerung von dem autonomen System zu übernehmen, als auch bereit zu sein, das Fahrzeug zu steuern, sollten die autonomen Systeme eine Übergabe zu manueller Steuerung ausführen.
In einer Ausführungsform wird ein System zur Verringerung von Aufmerksamkeitsverminderung eines Bedieners in einem Fahrzeug offenbart. Das System umfasst einen oder mehrere Prozessoren und einen Speicher, der kommunikationsfähig mit dem einen oder den mehreren Prozessoren gekoppelt ist. Der Speicher speichert ein Überwachungsmodul, das Anweisungen umfasst, die, wenn sie von dem einen oder den mehreren Prozessoren ausgeführt werden, den einen oder die mehreren Prozessoren veranlassen, den Bediener zu überwachen, indem Bedienerzustandsinformationen unter Verwendung von mindestens einem Sensor des Fahrzeugs gesammelt werden. Der Speicher speichert ein Aufmerksamkeitsmodul, das Anweisungen umfasst, die, wenn sie von dem einen oder den mehreren Prozessoren ausgeführt werden, den einen oder die mehreren Prozessoren veranlassen, ein Konzentrationsniveau des Bedieners gemäß einem Aufmerksamkeitsmodells und den Bedienerzustandsinformationen zu berechnen, um ein Maß an Aufmerksamkeitsverminderung, das der Bediener aktuell erlebt, zu charakterisieren. Der Speicher speichert ein Rendermodul, das Anweisungen umfasst, die, wenn sie von dem einen oder den mehreren Prozessoren ausgeführt werden, den einen oder die mehreren Prozessoren veranlassen, auf einer Augmented-Reality-Anzeige (AR-Anzeige) in dem Fahrzeug mindestens ein grafisches Element in Abhängigkeit des Konzentrationsniveaus zu rendern, um den Bediener dazu zu bringen, bezüglich einem autonomen Betrieb des Fahrzeugs und einer aktuellen Betriebsumgebung des Fahrzeugs aufmerksam zu bleiben.
In einer Ausführungsform wird ein nicht-flüchtiges, computerlesbares Medium zur Verringerung von Aufmerksamkeitsverminderung eines Bedieners in einem Fahrzeug offenbart. Das computerlesbare Medium speichert Anweisungen, die, wenn sie von dem einen oder den mehreren Prozessoren ausgeführt werden, den einen oder die mehreren Prozessoren veranlassen, die offenbarten Funktionen durchzuführen. Die Anweisungen umfassen Anweisungen, den Bediener zu überwachen, indem Bedienerzustandsinformationen mittels mindestens einem Sensor des Fahrzeugs gesammelt werden. Die Anweisungen umfassen Anweisungen, ein Konzentrationsniveau des Bedieners gemäß eines Aufmerksamkeitsmodells und den Bedienerzustandsinformationen zu berechnen, um das Maß an Aufmerksamkeitsverminderung, das der Bediener aktuell erlebt, zu charakterisieren. Die Anweisungen umfassen Anweisungen, auf einer Augmented-Reality-Anzeige (AR-Anzeige) in dem Fahrzeug mindestens ein grafisches Element in Abhängigkeit des Konzentrationsniveaus zu rendern, um den Bediener dazu zu bringen, bezüglich dem Betrieb des Fahrzeugs und einer aktuellen Betriebsumgebung des Fahrzeugs aufmerksam zu bleiben.
In einer Ausführungsform wird ein Verfahren zur Verringerung von Aufmerksamkeitsverminderung eines Bedieners in einem Fahrzeug mit einer Augmented-Reality-Anzeige (AR-Anzeige) offenbart. Das Verfahren umfasst das Überwachen des Bedieners durch das Sammeln von Bedienerzustandsinformationen unter Verwendung von mindestens einem Sensor des Fahrzeugs. Das Verfahren umfasst das Berechnen eines Konzentrationsniveaus des Bedieners gemäß einem Aufmerksamkeitsmodell und den Bedienerzustandsinformationen, um das Maß an Aufmerksamkeitsverminderung, das der Bediener aktuell erlebt, zu charakterisieren. Das Verfahren umfasst das Rendern von mindestens einem grafischen Element auf einer Augmented-Reality-Anzeige (AR-Anzeige) in dem Fahrzeug in Abhängigkeit des Konzentrationsniveaus, um den Bediener dazu zu bringen, bezüglich dem autonomen Betrieb des Fahrzeugs und einer aktuellen Betriebsumgebung des Fahrzeugs aufmerksam zu bleiben.
Figurenliste
Die beiliegende Zeichnung, die in der Spezifikation enthalten ist und einen Teil derselben bildet, stellt verschiedene Systeme, Verfahren und andere Ausführungsformen der Offenbarung dar. Es versteht sich, dass die dargestellten Elementgrenzen (z. B. Kästen, Gruppen von Kästen oder andere Formen) in den Figuren eine Ausführungsform der Grenzen darstellen. In manchen Ausführungsformen kann ein Element als mehrere Elemente ausgestaltet sein oder mehrere Elemente können als ein Element ausgestaltet sein. In manchen Ausführungsformen kann ein Element, das als innerer Bestandteil eines anderen Elements gezeigt wird, als externer Bestandteil implementiert sein und umgekehrt. Ferner können Elemente nicht maßstabsgetreu gezeichnet sein.

1 stellt eine Ausführungsform eines Fahrzeugs dar, in dem hier offenbarte Systeme und Verfahren implementiert sein können.
2 stellt eine Ausführungsform eines Aufmerksamkeitssystems dar, das mit dem Veranlassen eines Bedieners eines Fahrzeugs, sich auf Fahrtätigkeiten zu konzentrieren, assoziiert ist.
3 stellt ein Schema einer Rückkopplungsschleife zwischen Elementen des Aufmerksamkeitssystems aus 2 dar.
4 stellt eine Ausführungsform eines Verfahrens dar, das mit dem Rendern von Elementen in einem AR-System assoziiert ist, damit sich ein Fahrzeugführer konzentriert und daher die Aufmerksamkeit und Bereitschaft des Fahrzeugführers erhalten bleibt.
5 stellt eine Innenansicht eines Fahrzeugs und Elemente dar, die in einem AR-System angezeigt werden.
6 stellt eine Innansicht eines Fahrzeugs dar, die der Ansicht in 5 ähnlich ist, allerdings mit mehr Elementen dargestellt ist, die in einem AR-System angezeigt werden.
7 stellt eine Innenansicht eines Fahrzeugs und Elemente dar, die in einem AR-System angezeigt werden.
8 stellt eine Innansicht eines Fahrzeugs dar, die der Ansicht in 7 ähnlich ist, die allerdings mit mehr Elementen dargestellt ist, um einen Bediener mit Aufmerksamkeitsverminderung zur Konzentration zu rufen.
9 stellt eine Innenansicht eines Fahrzeugs und Elemente dar, die in einem AR-System angezeigt werden.
10 stellt ein Luftbild eines Fahrzeugs und Elemente in einer Umgebung dar, wie sie zur Anzeige in einem AR-System gerendert werden.

DETAILLIERTE BESCHREIBUNG
Systeme, Verfahren und andere Ausführungsformen, die mit einem Verringern von Aufmerksamkeitsverminderung und Sicherstellen einer Bereitschaft eines Fahrzeugführers mittels Augmented-Reality-Anzeige (AR-Anzeige), um einen Fahrzeugführer zur Konzentration zu rufen, assoziiert sind, werden offenbart. Wie zuvor erwähnt, kann ein Bediener gegenüber der Umgebung des Fahrzeugs und Aspekten, die die Bedienung des Fahrzeugs betreffen, unachtsam sein, wenn das Fahrzeug autonom betrieben wird. Daher kann der Bediener von einer Aufmerksamkeitsverminderung betroffen sein, während das Fahrzeug weiterhin autonom betrieben wird, da der Bediener sich nicht auf das, was das Fahrzeug tut, konzentrieren muss, damit das Fahrzeug weiter operiert. Im Allgemeinen ist die Aufmerksamkeitsverminderung des Bedieners eine Verschlechterung der Fähigkeit, gegenüber Ereignissen im Umfeld des Fahrzeugs im Laufe der Zeit aufmerksam zu bleiben (z. B. wachsam, achtsam, usw.). Daher betrifft in dem Kontext eines autonomen Fahrzeugs die Aufmerksamkeitsverminderung eine Tendenz eines Fahrzeugführers, im Laufe der Zeit nicht mehr auf die Bedienung des Fahrzeugs zu achten, wenn er das Fahrzeug nicht aktiv steuert/bedient. Folglich kann sich der Fahrzeugführer aufgrund der Aufmerksamkeitsverminderung nicht ausreichend auf den Betrieb des Fahrzeugs konzentrieren, um manuell einzugreifen und eine Übergabe zu initiieren, wenn das Fahrzeug nicht autonom gesteuert werden sollte. Wenn das Fahrzeug autonom betrieben wird und es eine Übergabe zur manuellen Steuerung durchführt, kann dem Fahrzeugführer ebenso die nötige Bereitschaft fehlen, das Fahrzeug zu steuern, da er nicht mehr auf die Fahrtätigkeiten und die aktuelle Betriebsumgebung des Fahrzeugs achtet.
Daher ist das Aufmerksamkeitssystem in einer Ausführungsform in einem Fahrzeug implementiert, das autonom betrieben wird (z. B. SAE-Level 2), um eine Konzentration des Bedieners auf Aspekte der Fahrtätigkeit und der aktuellen Betriebsumgebung zu erleichtem. Ferner wird das Aufmerksamkeitssystem beispielsweise gemeinsam mit anderen Systemen, wie beispielsweise Überwachungssystemen (z. B. Kameras für Eye-Tracking), einem Augmented-Reality-System (AR-System) und so weiter in dem Fahrzeug implementiert. In einer Ausführungsform überwacht das Aufmerksamkeitssystem gleichzeitig einen Bediener des Fahrzeugs, berechnet ein Konzentrationsniveau des Bedieners und steuert eine Augmented-Reality-Anzeige, um unterschiedliche Bilder zu rendern. Auf diese Weise, kann das Aufmerksamkeitssystem den Bediener veranlassen, sowohl aufmerksam für einen Eingriff bei der Bedienung des Fahrzeugs zu sein, wenn dies von dem Bediener für einen bestimmten Umstand als richtig erachtet wird, als auch bereit zu sein, das Fahrzeug zu steuern, sollten die autonomen Systeme eine Übergabe zu manueller Steuerung ausführen. Mit anderen Worten, indem dem Bediener durch das AR-System ein Erlebnis gegeben wird, das in Abhängigkeit eines aktuellen Konzentrationsniveaus des Bedieners erzeugt wird, kann das Aufmerksamkeitssystem es erleichtern, einen Bediener daran zu hindern, Aufmerksamkeitsverminderung zu erleben, und kann den Bediener dazu veranlassen, auf das Fahrzeug konzentriert zu bleiben, um eine Wahrscheinlichkeit zu erhöhen, dass der Bediener aufmerksam und bereit ist, das Fahrzeug zu steuern.
In 1 wird ein Beispiel eines Fahrzeugs 100 dargestellt. Wie hierin verwendet ist ein „Fahrzeug“ eine beliebige Art motorisierter Transport. In einer oder mehreren Ausführungsformen ist das Fahrzeug 100 ein Automobil. Während im Vorliegenden Anordnungen mit Bezug auf Automobile beschrieben werden, versteht es sich, dass Ausführungsformen nicht auf Automobile beschränkt sind. In manchen Ausführungsformen kann das Fahrzeug 100 eine beliebige andere Form motorisierter Transport sein, das, beispielsweise, zumindest teilautonom betrieben werden kann, ein Augmented-Reality-System (AR-System) umfasst oder Fähigkeiten, ein AR-System zu unterstützen, und das daher von der hier erörterten Funktionalität profitiert.
Das Fahrzeug 100 umfasst auch verschiedene Elemente. Es versteht sich, dass es für das Fahrzeug 100 in verschiedenen Ausführungsformen möglicherweise nicht erforderlich ist, alle in 1 gezeigten Elemente aufzuweisen. Das Fahrzeug 100 kann eine beliebige Kombination der verschiedenen, in 1 gezeigten Elemente aufweisen. Ferner kann das Fahrzeug 100 zusätzliche Elemente zu den in 1 gezeigten aufweisen.
In manchen Anordnungen kann das Fahrzeug 100 ohne eines oder mehrere der in 1 gezeigten Elemente implementiert werden. Obwohl die verschiedenen Elemente in 1 als innerhalb des Fahrzeugs 100 angeordnet gezeigt werden, versteht es sich, dass eines oder mehrere dieser Elemente außerhalb des Fahrzeugs 100 angeordnet sein können. Ferner können die gezeigten Elemente physisch durch größere Abstände getrennt sein.
Manche der möglichen Elemente in dem Fahrzeug 100 werden in 1 gezeigt und werden gemeinsam mit nachfolgenden Figuren beschrieben. Allerdings wird, um diese Beschreibung kurz zu halten, eine Beschreibung vieler der in 1 gezeigten Elemente nach der Erläuterung zu den 2-10 gegeben. Zudem versteht es sich, dass zum Zwecke der Einfachheit und einer klaren Darstellung, wo geeignet, Bezugszeichen in den verschiedenen Figuren wiederholt wurden, um entsprechende oder analoge Elemente anzugeben. Zudem erörtert die Erläuterung viele spezifische Details, um ein umfassendes Verständnis der hier beschriebenen Ausführungsformen zu fördern. Für den Fachmann versteht es sich allerdings, dass die hier beschriebenen Ausführungsformen unter Verwendung verschiedener Kombinationen dieser Elemente angewandt werden können.
In jedem Fall umfasst das Fahrzeug 100 ein Aufmerksamkeitssystem 170, das implementiert wird, um Verfahren und andere Funktionen wie hier offenbart durchzuführen, die die Verringerung von Aufmerksamkeitsverminderung und das Fördern der Konzentration des Fahrzeugführers betreffen. Zudem wird ein Augmented-Reality-System 180 als zusätzlicher Aspekt des Fahrzeugs 100 dargestellt. Es ist allerdings anzumerken, dass, während das AR-System 180 als Teilbestandteil des Fahrzeugs 100 dargestellt ist, das AR-System 180 in verschiedenen Ausführungsformen teilweise mit dem Fahrzeug integriert sein kann oder von dem Fahrzeug 100 getrennt sein kann. Daher kann das AR-System 180 in einer oder mehreren Ausführungsformen über eine Draht- oder drahtlose Verbindung mit dem Fahrzeug 100 kommunizieren, um die hier erörterte Funktionalität aufeinander abzustimmen. Ferner kann das AR-System 180 eine oder mehrere Anzeigen umfassen (z. B. integriert oder mobil) auf denen grafische Elemente für den Bediener und/oder Mitfahrer angezeigt werden.
Es versteht sich, dass das AR-System 180 viele verschiedene Formen annehmen kann, aber im Allgemeinen dazu dient, das Sehen von Objekten innerhalb einer echten Umgebung, die das Fahrzeug umgibt, zu erweitern oder anderweitig zu ergänzen. Das heißt, beispielsweise, dass das AR-System 180 Grafiken mittels einer oder mehreren AR-Anzeigen überlagen kann, um ein Erscheinungsbild zu verleihen, dass die Grafiken in der echten Welt integriert sind, beispielsweise durch die Windschutzscheibe des Fahrzeugs 100. Daher kann das AR-System 180 Anzeigen umfassen, die in der Windschutzscheibe, Seitenfenstern, Rückfenstern, Spiegeln und anderen Aspekten des Fahrzeugs 100 integriert sind. In weiteren Aspekten kann das AR-System 180 am Kopf getragene Anzeigen wie beispielsweise eine Brille umfassen. In jedem Fall dient das AR-System 180 zum Rendern von grafischen Elementen, die einen Zusatz zu den Objekten der echten Welt darstellen, Abwandlungen der Objekte in der echten Welt und/oder eine Kombination der beiden. In einer Ausführungsform verschmelzt eine AR-Anzeige des AR-Systems 180 ein Echtzeitbild einer Kamera (z. B. einer nach Außen gerichteten Kamera) von mindestens einem Teil der Umgebung des Fahrzeugs 100 mit künstlichen Objekten (z. B. gerenderten grafischen Elementen) des AR-Systems 180 und/oder des Aufmerksamkeitssystems 170. Zum Beispiel ist ein Monitor (d. h. eine AR-Anzeige) in oder knapp über einem Armaturenbrett des Fahrzeugs 100 integriert und wird gesteuert, eine verschmolzene Ansicht von grafischen Elementen anzuzeigen, die von dem AR-System 180 mit Bildern der Kamera von der echten Welt gerendert werden. Auf diese Art und Weise kann das AR-System 180 eine Ansicht eines Bedieners/Mitfahrers erweitern oder anderweitig abwandeln, um ein bereichertes/verbessertes, visuelles, sensorisches Ereignis zu verleihen. Die erwähnten Funktionen und Verfahren werden nach einer weiteren Erläuterung der Figuren deutlicher.
Unter Bezugnahme auf 2 ist eine Ausführungsform des Aufmerksamkeitssystems 170 aus 1 detaillierter dargestellt. Das Aufmerksamkeitssystem 170 wird als einen Prozessor 110 von dem Fahrzeug 100 aus 1 umfassend gezeigt. Dementsprechend kann der Prozessor 110 ein Teil des Aufmerksamkeitssystems 170 sein, das Aufmerksamkeitssystem 170 kann einen Prozessor umfassen, der separat von dem Prozessor 110 des Fahrzeugs 100 ist, oder das Aufmerksamkeitssystem 170 kann über einen Datenbus oder einen anderen Kommunikationsweg auf den Prozessor 110 zugreifen. In einer Ausführungsform umfasst das Aufmerksamkeitssystem 170 einen Speicher 210, der ein Überwachungsmodul 220, ein Aufmerksamkeitsmodul 230 und ein Rendermodul 240 umfasst. Der Speicher 210 ist ein Random Access Memory (RAM), ein Nurlesespeicher (ROM), eine Festplatte, ein Flash-Speicher oder ein anderer geeigneter Speicher zur Speicherung der Module 220, 230 und 240. Die Module 220, 230 und 240 sind beispielsweise computerlesbare Anweisungen, die, wenn sie von dem Prozessor 110 ausgeführt werden, den Prozessor 110 veranlassen, die verschiedenen hier offenbarten Funktionen durchzuführen.
Dementsprechend umfasst das Überwachungsmodul 220 im Allgemeinen Anweisungen, die dazu dienen, den Prozessor 110 zu steuern, Daten von Sensoren eines Sensorsystems 120 des Fahrzeugs 100 zu beschaffen. Mit anderen Worten, das Überwachungsmodul 220 umfasst Anweisungen, Bedienerzustandsinformationen 260 zu beziehen, die einen aktuellen geistigen Zustand des Bedieners beschreiben, aktuelle Handlungen des Bedieners, wohin ein Blick des Bedieners gerichtet sein kann, autonome Reaktionen des Bedieners, biologische Reaktionen/Zustände des Bedieners und so weiter. Es versteht sich, dass die vorliegende Offenbarung eine beispielhafte Liste der mit dem Bediener assoziierten Aspekte ist, die überwacht werden können, um die Bedienerzustandsinformationen 260 zu erzeugen; allerdings soll diese Liste nicht als einschränkend angesehen werden und wird als beispielhafte Liste an Möglichkeiten zum Zwecke dieser Erläuterung gegeben.
Dementsprechend können die Bedienerzustandsinformationen 260 beispielsweise Informationen über eine Blickrichtung umfassen, einen Pfad/Spur des Blicks, Herzfrequenz, Blutdruck, Atemfunktion, Blutsauerstoffgehalt, Perspirationsgrad, Pupillenweitung/-größe, Hirnaktivität (z. B. EEG-Daten), Speichelinformation, Hand-/Armpositionen, Fuß-/Beinpositionen, eine allgemeine Ausrichtung des Bedieners in dem Fahrzeug 100 (z. B. nach vorne, nach hinten, usw.), Sitzposition, Bewegungsrate, Bewegungen von Gesichtsmerkmalen (z. B. Mund, blinzelnde Augen, Bewegung des Kopfes, usw.) und so weiter.
Zudem kann das Überwachungsmodul 220 die Bedienerzustandsinformationen 260 auf mehrere verschiedene Arten abhängig von einer bestimmten Implementierung bestimmen. In einer Ausführungsform kommuniziert das Überwachungsmodul 220 mit verschiedenen Sensoren des Sensorsystems 120, das eines oder mehrere der folgenden Elemente umfasst: Kamera(s) 126 (z. B. für das Nachverfolgen des Blicks/Auges), Herzfrequenzüberwachungssensoren, Infrarotsensoren, Sitzpositionssensoren und so weiter. In einer Ausführungsform sind die Sensoren in einer Fahrgastzelle des Fahrzeugs 100 angeordnet und können an verschiedenen Orten positioniert sein, um Informationen über die erwähnten Aspekte des Bedieners und/oder Aspekte bezüglich des Bedieners zu beziehen. Ferner kann das Sensorsystem 120 mehrere redundante Sensoren umfassen, um beispielsweise die Genauigkeit/Präzision gesammelter Bedienerzustandsinformationen 260 zu verbessern.
Weiter mit Bezug auf das Aufmerksamkeitssystem 170 umfasst das System 170 in einer Ausführungsform die Datenbank 250. Die Datenbank 250 ist in einer Ausführungsform eine elektronische Datenstruktur, die auf dem Speicher 210 oder einem anderen Datenspeicher gespeichert ist und die mit Abläufen eingerichtet ist, die von dem Prozessor 110 ausgeführt werden können, um gespeicherte Daten zu analysieren, gespeicherte Daten zu liefern, gespeicherte Daten zu organisieren und so weiter. Daher speichert die Datenbank 250 in einer Ausführungsform Daten, die von den Modulen 220, 230 und 240 verwendet werden, um verschiedene Funktionen auszuführen. In einer Ausführungsform umfasst die Datenbank 250 die Bedienerzustandsinformationen 260, die von dem Überwachungsmodul 220 gesammelt wurden, zusätzlich zu weiteren Daten, die von dem Aufmerksamkeitssystem 170 verwendet werden, wie das Aufmerksamkeitsmodell 270.
Das Aufmerksamkeitsmodul 230 umfasst in einer Ausführungsform allgemein Anweisungen, die dazu dienen, den Prozessor 110 zu steuern, um ein Konzentrationsniveau aus den Bedienerzustandsinformationen 260 zu berechnen. Das heißt, das Aufmerksamkeitsmodul 230 verwendet die Bedienerzustandsinformationen 260, um zu beschreiben, ob der Bediener sich aktuell auf das Fahrzeug 100 und die aktuelle Betriebsumgebung des Fahrzeugs 100 konzentriert. Im Allgemeinen ist das Konzentrationsniveau eine Quantisierung eines Maßes, mit dem der Bediener sich darauf konzentriert, wie das autonome Fahrmodul 160 das Fahrzeug 100 autonom steuert, und sich der - situationsbedingten/kontextabhängigen Information bezüglich der Bedienung des Fahrzeugs 100 bewusst ist. Dementsprechend kann das Aufmerksamkeitsmodul 230 das Konzentrationsniveau als Beurteilung eines aktuellen geistigen Zustands des Bedieners in Bezug darauf erzeugen, ob der Bediener konzentriert ist und sich der Bedienung des Fahrzeugs 100 bewusst ist, und kann beispielsweise nicht angeben, ob der Bediener physisch bereit/positioniert ist, das Fahrzeug 100 manuell zu steuern. Allerdings kann das Aufmerksamkeitsmodul 230 in weiteren Ausführungsformen das Konzentrationsniveau berechnen, das sowohl den aktuellen geistigen Zustand des Bedieners berücksichtigt und eine Bereitschaft des Bedieners, das Fahrzeug 100 manuell zu steuern.
Daher kann, um ein kurzes Beispiel zu nennen, das Aufmerksamkeitsmodul 230 beispielsweise elektronisch auf die Bedienerzustandsinformationen 260 zugreifen, welche Informationen über einen Blick des Bedieners umfassen. Dementsprechend kann das Aufmerksamkeitsmodul 230 Informationen über einen Blick des Bedieners bewerten und insbesondere eine Dauer, über die der Bediener auf eine bestimmte Stelle bzw. in eine bestimmte Richtung blickt. Aus dieser Bewertung und gemäß beispielsweise dem Aufmerksamkeitsmodell 270 kann das Aufmerksamkeitsmodul 230 die Konzentration des Bedieners beschreiben und ob der Bediener achtsam und bereit ist, die manuelle Steuerung des Fahrzeugs 100 zu übernehmen. Zum Beispiel erwägt das Aufmerksamkeitsmodul 230, ob der Blick auf die Straße vor dem Fahrzeug 100 gerichtet ist, ob der Blick Objekte im Umfeld des Fahrzeugs 100 verfolgt, ob der Blick Armaturenanzeigen überprüft und so weiter. Aus dieser Bewertung verwendet das Aufmerksamkeitsmodul 230 das Aufmerksamkeitsmodell 270, um das Konzentrationsniveau zu erzeugen. So informiert das Aufmerksamkeitsmodell 270 das Aufmerksamkeitsmodul 230 über eine Wahrscheinlichkeit, dass der Bediener gemäß den verschiedenen erwähnten Aspekten des Blicks konzentriert ist.
In weiteren Aspekten kann das Aufmerksamkeitsmodul 230 eine komplexere Analyse durchführen, um das Konzentrationsniveau zu berechnen. Zum Beispiel kann das Aufmerksamkeitsmodul 230 eine Blickrichtung mit weiteren Informationen von dem Sensorsystem 120 korrelieren, wie beispielsweise eine Anwesenheit/Position verschiedener Objekte und eine Beziehung der verschiedenen Objekte (z. B. Autos, die sich nähern bzw. entfernen) zu dem Fahrzeug 100. Zudem kann das Aufmerksamkeitsmodul 230 ferner dynamische Fahrzeugdaten bei der Berechnung des Konzentrationsniveaus in Betracht ziehen. In einer Ausführungsform können die dynamischen Fahrzeugdaten verschiedene Aspekte des Fahrzeugs 100 und externe Umweltaspekte umfassen, die sich auf die aktuelle Betriebsumgebung beziehen. Zum Beispiel können die dynamischen Fahrzeugdaten GPS-Koordinaten des Fahrzeugs 100 umfassen, Fahrzeugtelematik, Straßenarten (z. B. Autobahn oder Ortsstraße), Geländeeigenschaften (z. B. flache/glatte Umgebung oder mit Besonderheiten), Fahrtzeit, Witterungsbedingungen, Tageszeit, Verkehr, aktuelle Geschwindigkeit, Infotainment-Informationen (z. B. ob ein Radio eingeschaltet ist, usw.), Temperatur, Anzahl an Passagieren und andere Daten, die von dem Überwachungsmodul 220 von verschiedenen Sensoren und Systemen des Fahrzeugs 100 gesammelt werden. Im Allgemeinen betrifft ein Bezug auf die aktuelle Betriebsumgebung des Fahrzeugs 100 wie im Vorliegenden verwendet Informationen über die Umwelt in der Umgebung des Fahrzeugs 100, Objekte in der Umgebung und eine Auswirkung des Betriebs von dem Fahrzeug 100 auf die Umwelt und die Objekte.
Zudem kann das Aufmerksamkeitsmodul 230 Daten von verschiedenen Sensoren verwenden, einschließlich dem LIDAR 124, dem Radar 123, den Kameras 126 (z. B. interne und externe Kameras), dem Sonar 125, Navigationssystem 147 und so weiter. In einer Ausführungsform kann das Aufmerksamkeitsmodul 230 ferner auf Informationen aus dem autonomen Fahrmodul 160 über Trajektorien von Objekten in der aktuellen Betriebsumgebung, mögliche Gefahren, aktuelle Entscheidungszustandsinformationen, die mit dem autonomen Betrieb/Steuerungen/Wegplanung und so weiter assoziiert sind, elektronisch zugreifen und diese verwenden.
Um das Konzentrationsniveau zu berechnen, analysiert das Aufmerksamkeitsmodul 230 daher in einer Ausführungsform die Bedienerzustandsinformationen 260 zusammen mit den zusätzlichen Informationen (z. B. den dynamischen Fahrzeugdaten), um ein Konzentrationsmaß (z. B. geistigen Zustand/Aufmerksamkeit und/oder Bereitschaft) des Bedieners zu quantisieren. Im Allgemeinen identifiziert das Aufmerksamkeitsmodul 230 die verschiedenen Datenelemente in Relation zu dem Aufmerksamkeitsmodell 270 welches beispielsweise Wahrscheinlichkeiten einer Konzentration des Bedieners gemäß den separaten Datenelementen angibt. Anschließend kann das Aufmerksamkeitsmodul 230 die individuellen Wahrscheinlichkeiten gemäß definierter Gewichtungen kombinieren, um die Gesamtwahrscheinlichkeit zu erzeugen. Folglich kann das Aufmerksamkeitsmodul 230 die Gesamtwahrscheinlichkeit des Konzentrationsniveaus liefern oder weitere Analyse mittels der Gesamtwahrscheinlichkeit anwenden, sodass das Konzentrationsniveau weiter individuell an die aktuelle Betriebsumgebung des Fahrzeugs 100 angepasst werden kann, indem beispielsweise die Wahrscheinlichkeit in eine bestimmte Klassifikation gemäß Aspekten (z. B. einem Maß an Fertigkeit/Bewusstsein, das benötigt wird, um durch die aktuelle Umgebung zu navigieren) der aktuellen Betriebsumgebung übersetzt wird (z. B. 0-10).
In weiteren Ausführungsformen bilden das Aufmerksamkeitsmodul 230 in Kombination mit dem Aufmerksamkeitsmodell 270 ein Berechnungsmodell wie beispielsweise eine Logik für maschinelles Lernen, Logik für Deep Learning, ein neuronales Netzwerkmodell oder einen anderen, ähnlichen Ansatz. In jedem Fall verarbeitet das Aufmerksamkeitsmodul 230, wenn es als neuronales Netzwerkmodell oder ein anderes Berechnungsmodell implementiert wird, in einer Ausführungsform elektronisch die Bedienerzustandsinformationen 260 und andere elektronische Daten (z. B. dynamische Fahrzeugdaten) als Eingaben in das Aufmerksamkeitsmodell 270. Dementsprechend erzeugt das Aufmerksamkeitsmodul 230 zusammen mit dem Aufmerksamkeitsmodell 270 das Konzentrationsniveau als elektronische Ausgangsgröße, die ein Konzentrationsmaß eines Bedieners zum Beispiel als eine einzige elektronische Größe beschreibt.
Es versteht sich, dass, während das Konzentrationsniveau als eine einzelne Größe erläutert wird, das Konzentrationsniveau im Allgemeinen sowohl Aufmerksamkeit des Bedieners bezüglich der Überwachung des autonomen Betriebs des Fahrzeugs 100 sowie die Bereitschaft des Bedieners ist, das Fahrzeug 100 in einem Fall zu steuern, sollte das autonome Fahrmodul 160 eine Übergabe zu manueller Steuerung ausführen. Daher erzeugt das Aufmerksamkeitsmodul 230 das Konzentrationsniveau mit mehreren elektronischen Größen, die verschiedene Aspekte des Bedienerzustands beschreiben (z. B. mentalen Zustand und physischen Zustand) und das Ausmaß, mit dem der Bediener sich aktuell auf Fahrtätigkeiten des Fahrzeugs 100 und die aktuelle Betriebsumgebung konzentriert. Zum Beispiel kann das Konzentrationsniveau Teilbestandteile umfassen, die bestimmte Aspekte identifizieren, auf die sich der Bediener aktuell konzentriert, ein Maß, mit dem sich der Bediener auf andere Geräte/Tätigkeiten konzentriert, wo der Bediener am wahrscheinlichsten hinsieht, wenn Grafiken auf der AR-Anzeige gerendert werden, ob der Bediener den Betrieb des Fahrzeugs 100 aktiv überwacht aber nicht bereit ist, das Fahrzeug 100 manuell zu steuern (z. B. wenn er in jeder Hand eine Eistüte hält, während er dem Betrieb des Fahrzeugs 100 zusieht) und so weiter.
Zudem können, obwohl die Verwendung vieler verschiedener Quellen und Formen von Daten als Teil der Art beschrieben werden, auf die das Aufmerksamkeitsmodul 230 das Konzentrationsniveau bei verschiedenen Ausführungsformen berechnet, die bestimmten Daten gemäß verschiedenen Aspekten der Implementierung variieren. In jedem Fall sind die vorliegenden Beispiele zum Zwecke der Darstellung gedacht und sollten nicht als eine beschränkende Form der offenbarten Datenelemente und -funktionen gesehen werden. Ferner versteht es sich, dass die beschriebenen Bedienerzustandsinformationen 260 und zusätzlich erläuterte elektronische Daten in einer Ausführungsform gesammelt und verwendet werden können, um das Aufmerksamkeitsmodell 270 zu trainieren.
Das heißt, die Bedienerzustandsinformationen 260, die dynamischen Fahrzeugdaten, hervorgerufene Reaktionen des Bedieners und andere Daten können gesammelt und gespeichert werden, während das Fahrzeug 100 betrieben wird. Danach kann das Aufmerksamkeitssystem 170 in einer Ausführungsform die gesammelten Informationen an einen OEM oder eine andere zentrale Sammelstelle kommunizieren, damit diese für das Training des Modells 270 verwendet werden. In weiteren Ausführungsformen kann das Aufmerksamkeitssystem 170 die gesammelten Informationen als Trainingsdatensatz nutzen, um das Aufmerksamkeitsmodell 270 zu aktualisieren oder in Bezug auf Eigenheiten des Bedieners des Fahrzeugs 100 anderweitig anzupassen/zu verbessern. Daher trainiert das Aufmerksamkeitssystem 170 in einer Ausführungsform das Modell 270 weiter unter Verwendung der Bedienerzustandsinformationen 260 und dynamischen Fahrzeugdaten als elektronische Eingangsgrößen und indem es dem Modell gemäß aufgezeichneter Reaktionen des Bedieners und/oder aufgezeichneter Konzentrationsniveaus, die von dem Aufmerksamkeitsmodul 230 berechnet wurden, Rückmeldung gibt. Auf diese Art und Weise kann das Aufmerksamkeitssystem aktiv lernen, welches Rendern in dem AR-System 180 den Bediener veranlasst, aufmerksam zu sein, und die Anzeigen entsprechend anpassen.
Um mit der Erläuterung des Aufmerksamkeitssystems 170 aus 2 weiterzufahren, das Rendermodul 240 umfasst in einer Ausführungsform im Allgemeinen Anweisungen, die dazu dienen, den Prozessor 110 zu steuern, um grafische Elemente auf einer Anzeige des AR-Systems 180 in Abhängigkeit des Konzentrationsniveaus zu rendern. Das heißt, das Rendermodul 240 reagiert darauf, wie konzentriert der Bediener bei der aktuellen Betriebsumgebung des Fahrzeugs 100 ist, indem es grafische Elemente in dem AR-System 180 rendert, um den Bediener zu veranlassen, sich auf das Fahrzeug 100 und die aktuelle Betriebsumgebung zu konzentrieren. Zum Beispiel passt das Rendermodul 240 die grafischen Elemente individuell an, um den Bediener zur Konzentration anzuregen und den Bediener zu veranlassen, zu reagieren, indem er sich auf das Fahrzeug 100 konzentriert und von ablenkenden Tätigkeiten zu Situationsbewusstsein übergeht und bereit wird, das Fahrzeug 100 zu steuern und/oder in die Steuerung des Fahrzeugs 100 einzugreifen. So kann das Rendermodul 240 die Art, wie die grafischen Elemente auf der AR-Anzeige gemäß einem bestimmten Konzentrationsniveau präsentiert werden, intensivieren/verstärken. In einer Ausführungsform rendert das Rendermodul 240 die grafischen Elemente, indem die Undurchsichtigkeit der Grafiken, Blinken der Grafiken angepasst wird oder anderweitig eine Animation, variierende Farben, Rendern zusätzlicher Grafiken, Rendern von Pfeilen zur Lenkung der Aufmerksamkeit des Bedieners, Rendern von Text mit Anweisungen und/oder Fragen an den Bediener, Rendern von Überlagerungen auf Objekten (z. B. Comicanimationen, Avatare, usw.) und so weiter angepasst werden.
In weiteren Aspekten kann das Rendermodul 240 Informationen von anderen Fahrzeugsystemen (z. B. dem Sensorsystem 120, Navigationssystem 147, autonomen Fahrmodul 160) über das Fahrzeug 100 analysieren oder anderweitig elektronisch gewinnen, um Aspekte über die aktuelle Betriebsumgebung zu bestimmen, die über das AR-System 180 an den Bediener übermittelt werden können. Das Rendermodul 240 verwendet die gewonnen Informationen, um die grafischen Elemente als aktiven Inhalt zu rendern, der sich direkt auf die aktuelle Betriebsumgebung des Fahrzeugs 100 bezieht. Mit anderen Worten, das Rendermodul 240 rendert die grafischen Elemente, um über ein Situationsbewusstsein des Bedieners zu informieren und den Bediener zu veranlassen, sich auf die aktuelle Betriebsumgebung zu konzentrieren. Zum Beispiel kann das Rendermodul 240 die grafischen Elemente rendern, um Gefahren, geplante und/oder projizierte Fahrwege, andere Fahrzeuge, prognostizierte Bewegungen der anderen Fahrzeuge/Objekte und so weiter darzustellen und zu identifizieren.
In weiteren Ausführungsformen rendert das Rendermodul 240 komplexe grafische Überlagerungen, die Visualisierungen von Informationen über die aktuelle Betriebsumgebung, wie sie über einen oder mehrere Sensoren (z. B. LIDAR 124) wahrgenommen wird, aus internen Zustandsinformationen des autonomen Fahrmoduls 160 und so weiter darstellen. Daher kann das Rendermodul 240 durch das AR-System 180 eine immersive visuelle Umgebung produzieren, die Grafiken zu Objektpfaden, aktuelle Geschwindigkeiten und Ziele anzeigt, projizierte Manöver des Fahrzeugs 100 und andere Fahrzeuge, Bewertungen von Gefahren, Navigationsweginformationen, autonome Wegplanung und Objektvermeidungsinformationen, Objekterfassung und -verfolgung und so weiter. In einem Beispiel überträgt das Rendermodul 240 von dem LIDAR 124 erzeugte 3D-Punktwolken derart in grafische Überlagerungen der aktuellen Betriebsumgebung, dass von dem LIDAR 124 wahrgenommene Objekte mit Datenpunkten von Scans des LIDAR 124 überlagert werden. Zudem kann das Rendermodul 240 Daten aus volumetrischen Scans durch den Radar 123 und/oder Daten von anderen Sensoren verwenden, um animierte/grafische Überlagerungen zu erzeugen und zusätzliche Informationen als grafische Elemente zu Visualisierungen durch das AR-System 180 hinzuzufügen.
Zudem kann das Rendermodul 240 auch grafische Infotainmentelemente rendern, einschließlich lokalen Interessenspunkten, Wissenswertes bezüglich einem aktuellen Ort oder naheliegenden Elementen und so weiter. In einer anderen Ausführungsform kann das Rendermodul 240 durch das AR-System 180 zusätzlich oder alternativ grafische Elemente innerhalb der aktuellen Betriebsumgebung als Teil eines interaktiven Spiels mit dem Bediener rendern. Zum Beispiel kann das Rendermodul 240 Ziele, Spielsymbole und andere spielspezifische Grafiken rendern. In einer Ausführungsform rendert das Rendermodul 240 Grafiken für ein interaktives Spiel aus der Ich-Perspektive, ein Echtzeitstrategiespiel und so weiter. Ferner steuert das Rendermodul 240 in einer Ausführungsform Ton innerhalb des Fahrzeugs 100, um Warnungen, Töne, Sprache, Musik und andere Geräusche in Kombination mit dem Rendern der grafischen Elemente auszugeben.
Es versteht sich, dass das Rendermodul 240 viele verschiedene grafische Elemente innerhalb einer oder mehrerer Anzeigen (z. B. vorne, auf der Seite, hinten, am Kopf befestigt) des AR-Systems 180 erzeugen kann. Allerdings rendert das Rendermodul 240 unabhängig von den einzelnen grafischen Elementen die Grafiken in Abhängigkeit davon, wie konzentriert der Bediener bezüglich des aktuellen Betriebs des Fahrzeugs 100 ist, wie dies von dem Konzentrationsniveau angegeben wird. Daher dient das Rendermodul 240 dazu, mit dem AR-System 180 Inhalte gemäß dem Konzentrationsniveau dynamisch zu erzeugen, um größere Aufmerksamkeit und Bereitschaft des Bedieners hervorzurufen und/oder die Aufmerksamkeit/Bereitschaft des Bedieners aufrechtzuerhalten. Daher passt das Rendermodul 240 auf eine Art und Weise dynamisch an, welche grafischen Elemente gerendert werden, wie die grafischen Elemente gerendert werden, wo die grafischen Elemente gerendert werden und so weiter, sodass die Aufmerksamkeit/Bereitschaft bei dem Bediener hervorgerufen wird und Schwierigkeiten, die mit Aufmerksamkeitsverminderung assoziiert werden, vermieden werden.
Als weitere Darstellung dynamischer Aspekte bezüglich der Art wie das Aufmerksamkeitssystem 170 ausgeführt wird, um das AR-System 180 anzupassen und zu aktualisieren, wird die Erläuterung nun zu 3 und der Rückkopplungsschleife 300 übergehen. Die Rückkopplungsschleife 300 stellt im Allgemeinen eine Ausführungsform davon dar, wie das Rendermodul 240, das Aufmerksamkeitsmodul 230 und das Überwachungsmodul 220 parallel ausgeführt werden, um die grafischen Elemente entsprechend dem Konzentrationsniveau des Bedieners zu rendern, und wie sich das Konzentrationsniveau mit Rendern der grafischen Elemente durch das Rendermodul 240 zu Hervorrufung von Reaktionen des Bedieners ändert. Man kann daher annehmen, dass ein erstes Konzentrationsniveau des Bedieners angibt, dass der Bediener wahrscheinlich nicht konzentriert ist und stattdessen durch Infotainment oder andere Tätigkeiten abgelenkt ist, während das autonome Fahrmodul 160 das Fahrzeug 100 entsprechend einer Autonomie des SAE-Levels 2 autonom steuert. Daher kann das Überwachungsmodul 220 angeben, dass ein Blick des Bedieners von der Windschutzscheibe des Fahrzeugs 100 über eine längere Zeitspanne weggerichtet ist oder wiederholt auf andere Aspekte des Fahrzeugs 100 gerichtet ist, die nicht in Zusammenhang mit dem Betrieb des Fahrzeugs 100 stehen. Ansprechend auf das Sammeln der Bedienerzustandsinformationen 260, durch das Überwachungsmodul 220, über den Blick des Bedieners und das Berechnen des Konzentrationsniveaus, welches diesen Umstand angibt, durch das Aufmerksamkeitsmodul 230, steuert das Rendermodul 240 das AR-System 180, um ein oder mehrere grafische Elemente darzustellen.
Zum Zwecke dieser Erläuterung kann man annehmen, dass das Rendermodul 240 eine vollständige Überlagerung auf einer primären AR-Anzeige des AR-Systems 180 rendert, welche Grafiken mit einer hohen Deckfähigkeit umfasst, und welche Sensorinformationen, interne Zustandsinformationen von dem autonomen Fahrmodul 160, Navigationspfade, Objektspuren und anderen Informationen in grafischer Form anzeigt, die zu einem Situationsbewusstsein gehören. Daher geht die AR-Anzeige vom Anzeigen beispielsweise relativ minimaler grafischer Elemente und dem allgemeinen Liefern einer klaren/durchsichtigen Ansicht der echten Welt dazu über, mit den erwähnten Elementen relativ weitgehend animiert zu sein, um dem Bediener ein immersives Erlebnis mit vielen informativen Elementen, Farben und so weiter zu geben. Dementsprechend sammelt das Überwachungsmodul 220 weiter Informationen und erzeugt die Bedienerzustandsinformationen 260 in aktualisierter Form, während das Aufmerksamkeitsmodul 230 das Konzentrationsniveau aktualisiert, um eine bei dem Bediener hervorgerufene Reaktion zu wiederzugeben. Ferner kann man annehmen, dass das von dem Rendermodul 240 gestellte Rendern den Bediener anfangs veranlasst, die AR-Anzeige aufmerksam zu betrachten. Daher erfasst das Überwachungsmodul 220 diese Reaktion unter Verwendung von beispielsweise den Kameras 126, die einen Ablauf zur Verfolgung der Augen bzw. Eye-Tracking ausführen.
Dementsprechend aktualisiert das Aufmerksamkeitsmodul 230 das Konzentrationsniveau, was dann das Rendermodul 240 beispielsweise veranlasst, die grafischen Elemente über eine Zeitspanne beizubehalten, sodass das Konzentrationsniveau des Bedieners aufrechterhalten wird und nicht anfängt, abzunehmen. Nachdem allerdings eine vorgegebene Zeitspanne abgelaufen ist, während der der Bediener konzentriert bleibt, kann das Rendermodul 240 die Anzahl, Vielfalt, Intensität, Deckfähigkeit und/oder andere Aspekte der Grafiken anpassen, um beispielsweise zu vermeiden, dass der Bediener übermäßig stimuliert wird und/oder um dem Bediener ein transparenteres Bild zu geben, sodass der Bediener ein Situationsbewusstsein und eine Aufmerksamkeit bezüglich der aktuellen Betriebsumgebung außerhalb des AR-Systems 180 entwickeln kann. Sollte sich allerdings das Konzentrationsniveau des Bedieners langsam wieder zur Unachtsamkeit entwickeln, kann das Aufmerksamkeitssystem 170 das Rendern der Grafiken zweckmäßig anpassen, wie von der Rückkopplungsschleife 300 identifiziert.
Zusätzliche Aspekte zur Verringerung von Aufmerksamkeitsverminderung unter Verwendung von erweiterter Realität bzw. Augmented Reality zur Anzeige von dynamischen, grafischen Elementen entsprechend einem Konzentrationsniveau wird mit Bezug auf 4 erläutert. 4 stellt ein Flussdiagramm eines Verfahrens 400 dar, das mit der Verringerung von Aufmerksamkeitsverminderung für einen Bediener assoziiert ist. Das Verfahren 400 wird aus der Perspektive des Aufmerksamkeitssystems 170 aus den 1 und 2 erläutert. Während das Verfahren 400 in Kombination mit dem Aufmerksamkeitssystem 170 erläutert wird, versteht es sich, dass das Verfahren 400 nicht auf die Implementierung in dem Aufmerksamkeitssystem 170 beschränkt ist, sondern ein Beispiel für ein System ist, das das Verfahren 400 implementieren kann.
Zuerst ist anzumerken, dass die offenbarten Funktionen Überwachen bei 410, Berechnen bei 420, Rendern bei 440 und 450 im Allgemeinen parallel stattfinden und eine Rückkopplungsschleife bilden, um das Konzentrationsniveau iterativ zu berechnen und das Rendern des mindestens einen grafischen Elements entsprechend der bei dem Bediener hervorgerufenen Aufmerksamkeit/Bereitschaft anzupassen.Daher umfasst das beschriebene Verfahren 400 in einer Ausführungsform mehrere parallele Prozesse, die dazu dienen, Aufmerksamkeitsverminderung zu verringern und die Bereitschaft des Bedieners zu verbessern, während das Fahrzeug 100 beispielsweise gemäß einer Autonomie des SAE-Levels 2 oder einem anderen Autonomielevel betrieben wird, während dem der Bediener abgelenkt werden kann. Ferner wird in einer Ausführungsform das Verfahren 400 allgemein implementiert, um die Aufmerksamkeit des Bedieners bezüglich der Überwachung des autonomen Betriebs des Fahrzeugs 100 und der Bereitschaft des Bedieners, manuelle Steuereingaben zu geben, wenn das Fahrzeug 100 eine Übergabe an den Bediener durchführt, beizubehalten. Auf diese Art und Weise kann das Verfahren 400 Schwierigkeiten vermeiden, die mit der Aufmerksamkeitsverminderung und anderweitig unachtsamen Bedienern assoziiert werden, indem der Bediener veranlasst wird, ein Bewusstsein für die aktuelle Betriebsumgebung und Fortkommen des Fahrzeugs durch die aktuelle Betriebsumgebung aufrechtzuerhalten.
Bei 410 überwacht das Überwachungsmodul 220 den Bediener, indem es Bedienerzustandsinformationen 260 sammelt. Wie zuvor erwähnt bezieht das Überwachungsmodul 220 die Daten, die die Bedienerzustandsinformationen 260 aufweisen, von Sensoren des Fahrzeugs 100, indem die jeweiligen Sensoren entweder aktiv abgefragt werden oder indem die Daten passiv aus Mitteilungen oder einem elektronischen Speicher abgefangen werden. Das Überwachungsmodul 220 kann dann die gesammelten Daten formatieren oder anderweitig auf geordnete Weise liefern und die Bedienerzustandsinformationen 260 in der Datenbank 250 oder dem Speicher 210 zur Nutzung durch das Aufmerksamkeitsmodul 230 speichern. In einer Ausführungsform kann das Überwachungsmodul 220 die Bedienerzustandsinformationen von einem beliebigen in dem Fahrzeug 100 umfassten Sensor sammeln. Daher können die Bedienerzustandsinformationen 260, wie zuvor erläutert, im Allgemeinen eine große Vielfalt an Informationen über den Bediener umfassen.
Zum Beispiel kann das Überwachungsmodul 220 eine oder mehrere Kameras (z. B. Kameras 126) steuern, die in einer inneren Fahrgastzelle des Fahrzeugs 100 angeordnet sind, um Augenbewegungen des Bedieners zu verfolgen. Die Augenbewegungen des Bedieners, ansonsten als Blickspur bezeichnet, sind nützlich zur Bestimmung, ob der Bediener Objekte vor dem Fahrzeug 100, innerhalb der Fahrgastzelle und so weiter anblickt.
Daher ist eine Blickspur bezüglich ob der Bediener sich aktiv auf die aktuelle Betriebsumgebung des Fahrzeugs konzentriert informativ. Ferner kann das Überwachungsmodul 220 die Kameras 126 verwenden, um Pupillenweitung, Rate der Augenbewegungen und weitere Informationen über den Bediener zu verfolgen. In einer Ausführungsform kann der Blick und/oder die Blickspur des Bedieners eine einzige Informationsquelle für die Bedienerzustandsinformationen 260 sein, aus denen das Aufmerksamkeitsmodul 230 das Konzentrationsniveau berechnet. In jedem Fall erzeugt das Überwachungsmodul 220 die Bedienerzustandsinformationen 260 in einer Ausführungsform auf durchgehender Basis, um eine aktuelle Beschreibung der aktuellen Tätigkeiten/Fokus des Bedieners aufrechtzuerhalten.
Bei 420 berechnet das Aufmerksamkeitsmodul 230 ein Konzentrationsniveau des Bedieners. In einer Ausführungsform verwendet das Aufmerksamkeitsmodul 230 die Bedienerzustandsinformationen 260, die bei 410 gesammelt wurden, um ein Maß an Aufmerksamkeitsverminderung, das der Bediener aktuell erlebt, zu beschreiben. Mit anderen Worten, das Konzentrationsniveau ist eine Beschreibung davon, wie aufmerksam der Bediener aktuell bezüglich Aspekten ist, die in Zusammenhang mit der Überwachung des autonomen Betriebs von dem Fahrzeug 100 durch die aktuelle Betriebsumgebung stehen. Daher beschreibt das Konzentrationsniveau auch das Situationsbewusstsein des Bedieners und die Bereitschaft des Bedieners, die Steuerung des Fahrzeugs 100 zu übernehmen, sollte das autonome Fahrmodul 160 den autonomen Betrieb des Fahrzeugs einstellen und eine Übergabe zu manueller Steuerung ausführen.
Ferner berechnet das Aufmerksamkeitsmodul 230 in einer Ausführungsform das Konzentrationsniveau gemäß dem Aufmerksamkeitsmodell 270. Wie ebenfalls zuvor erwähnt, ist das Aufmerksamkeitsmodell 270 in einer Ausführungsform ein Statistikmodell, das eine wahrscheinliche Konzentration des Bedieners einschließlich einer wahrscheinlichen Aufmerksamkeitsverminderung des Bedieners abhängig von Indikatoren (z. B. der Bedienerzustandsinformationen 260) über den Bediener beschreibt. Daher kann das Aufmerksamkeitsmodell 270 eine statistische Wahrscheinlichkeit ausgeben, da das Konzentrationsniveau ein Maß angibt, wie weit sich der Bediener auf die aktuelle Betriebsumgebung konzentriert.
In weiteren Aspekten berücksichtigt das Aufmerksamkeitsmodul 230 auch dynamische Fahrzeugdaten gemeinsam mit den Bedienerzustandsinformationen 260, um Besonderheiten der aktuellen Betriebsumgebung bei der Berechnung des Konzentrationsniveaus zu berücksichtigen. Das heißt, das Aufmerksamkeitsmodul 230 kann die gegebene Wahrscheinlichkeit daran anpassen, ob eine aktuelle Teilstrecke der Straße besonders langweilig ist, ob zusätzliche Passagiere anwesend sind, die den Bediener ablenken, ob landschaftliche Ausblicke den Bediener voraussichtlich ablenken werden, ob die Außentemperaturen warm sind und der Bediener sich unwohl fühlt, ob ein Kraftstoffpegel des Fahrzeugs leer wird und so weiter. Im Allgemeinen soll die vorliegende Offenbarung alle Umstände berücksichtigen, für die Daten erfasst und verwendet werden können, um das Aufmerksamkeitssystem 170 zu informieren. Daher sollen die vorgenannten Beispiele der Erläuterung möglicher Datenelemente dienen und sollten nicht als einschränkende Liste angesehen werden.
Während das Aufmerksamkeitsmodell 270 zusammen mit dem Verfahren 400 aus einer heuristischen Perspektive erläutert wird, kann in weiteren Ausführungsformen, wie zuvor angegeben, das Aufmerksamkeitsmodell 270 gemeinsam mit dem Aufmerksamkeitsmodul 230 einen maschinellen Lernalgorithmus implementieren, um Korrelationen zwischen den Bedienerzustandsinformationen 260, Fahrzeugdynamikdaten und anderen gesammelten Datenindikatoren zu erlernen, um das Konzentrationsniveau zu berechnen. In jedem Fall informiert das bei 420 erzeugte Konzentrationsniveau das Aufmerksamkeitssystem 170 über einen aktuellen Zustand des Bedieners bezüglich seiner Konzentration auf den Betrieb des Fahrzeugs 100.
Bei 430 bestimmt das Rendermodul 240, ob das Konzentrationsniveau einen Schwellwert erfüllt. In einer Ausführungsform gibt ein Schwellwert eine Minimalkonzentration des Bedieners an, um als aufmerksam und bereit für die manuelle Steuerung des Fahrzeugs 100 erachtet zu werden. Es ist anzumerken, dass, während eine Schwellwertbestimmung erwähnt wird, das Rendermodul 240 in weiteren Ausführungsformen das aktuelle Konzentrationsniveau auf einer gleitenden Skala bewerten kann oder gemäß einer weiteren Klassifikationsweise.
Zum Beispiel bestimmt das Rendermodul 240 in einer Ausführungsform bei 430, ob sich das Konzentrationsniveau seit einer vorherigen Bewertung geändert hat. Dementsprechend kann das Rendermodul 240 ein aktuelles Konzentrationsniveau mit einem vorherigen Konzentrationsniveau vergleichen, um eine positive Veränderung (z. B. dass der Bediener konzentrierter ist), eine negative Veränderung (z. B. dass der Bediener weniger konzentriert ist) oder keine Änderung zu bestimmen. In weiteren Aspekten kann das Rendermodul 240 einen Trend bei dem Konzentrationsniveau über mehrere Bewertungen bei 430 analysieren. Dementsprechend kann das Rendermodul 240 abhängig vom Trend des Konzentrationsniveaus das Maß an Rendern für die grafischen Elemente aufrechterhalten, wie bei Block 440 detaillierter erläutert, oder das Rendern der grafischen Elemente wie bei 450 erläutert anpassen.
Bei 440 rendert das Rendermodul 240 mindestens ein grafisches Element auf einer AR-Anzeige, um eine Konzentration des Bedieners aufrechtzuerhalten. In einer Ausführungsform hält das Rendermodul 240 die Konzentration des Bedieners aufrecht, indem es weiter ein oder mehrere Elemente auf der AR-Anzeige des AR-Systems 180 gemäß der gleichen Weise wie zuvor durchgeführt rendert. Das heißt, ist der Bediener aktuell aufmerksam und auf das Fahrzeug 100 konzentriert, so kann das Rendermodul 240 die Grafiken weiter auf ähnliche Weise rendern oder in einer Ausführungsform kann es eine Intensität oder andere Eigenschaften der Grafiken reduzieren, wenn diese zuvor intensiviert wurden, um die Aufmerksamkeit des Bedieners zu erregen.
Bei 450 rendert das Rendermodul 240 ein oder mehrere grafische Elemente auf der AR-Anzeige, um den Bediener zu veranlassen, seine Aufmerksamkeit gegenüber dem aktuellen Betrieb des Fahrzeugs 100 zu erhöhen. Das heißt, wenn das Rendermodul 240 bestimmt, dass das Konzentrationsniveau für den Bediener nicht ausreichend ist, abnimmt oder für eine aktuelle Betriebsumgebung des Fahrzeugs 100 anderweitig ungenügend ist, veranlasst das Rendermodul 240 Verhaltensweisen/Reaktionen bei dem Bediener, indem verschiedene grafische Elemente auf der AR-Anzeige auf eine Weise gerendert werden, die dazu konzipiert ist, den Bediener zu veranlassen, sich auf den Betrieb des Fahrzeugs 100 zu konzentrieren. Daher kann das Rendermodul 240 in verschiedenen Ausführungsformen das Ziel erreichen, den Bediener zu veranlassen, sich auf das Fahrzeug 100 zu konzentrieren und auf viele verschiedene Arten und Weisen aufmerksamer zu sein.
Dementsprechend kann das Rendermodul 240 beispielsweise eine Überlagerung von Grafiken, welche Sensordaten zeigen, auf der AR-Anzeige rendern, Grafiken rendern, die interne Zustandsinformationen eines autonomen Fahrmoduls 160 zeigen, eine Überlagerung mit unterschiedlicher Undurchsichtigkeit gemäß dem Konzentrationsniveau rendern, eine unterschiedliche Anzahl an Grafikelementen gemäß dem Konzentrationsniveau oder Veränderungen des Konzentrationsniveaus im Laufe der Zeit rendern, grafische Elemente in einer Sichtlinie des Bedieners auf der AR-Anzeige rendern, Text auf der AR-Anzeige rendern, der Fragen für den Bediener über Aspekte der vorliegenden Betriebsumgebung umfasst, die von dem mindestens einem Sensor des Fahrzeugs wahrgenommen wurde, und so weiter. Weitere Beispiele und Aspekte des Inhalts, der von dem AR-System 180 gerendert wird, werden mit Bezug auf die 5-10 nachfolgend erläutert.
Während erläutert wird, dass das Rendermodul 240 die Funktion des Renderns verschiedener Grafiken auf Anzeigen des AR-Systems 180 durchführt, kann das Rendermodul 240 in verschiedenen Ausführungsformen zudem das AR-System 180 steuern, um die Grafiken gemäß verschiedener elektronischer Anweisungen zu rendern, die dem AR-System 180 durch das Rendermodul 240 kommuniziert werden.
Für eine weitere Darstellung, wie das Aufmerksamkeitssystem 170 die Anzeigen des AR-Systems 180 entsprechend dem Konzentrationsniveau anpasst, siehe die 5-10. 5 ist eine vorwärts gerichtete Ansicht 500 von Innen des Fahrzeugs 100 durch eine Windschutzscheibe des Fahrzeugs 100 hindurch und durch eine AR-Anzeige des AR-Systems 180. So stellt die Ansicht 500 gerenderte Grafiken dar, die durch das Rendermodul 240 entsprechend einem Konzentrationsniveau des Bedieners erzeugt wurden. Wie in 5 gezeigt, erachtet das Aufmerksamkeitssystem 170 das Konzentrationsniveau des Bedieners als ausreichend und rendert daher einen gestrichelten Kasten 510 um einen LKW, um den LKW auf einer AR-Anzeige hervorzuheben. Daher umfasst 5 ein einzelnes grafisches Element, das von dem Rendermodul 240 gerendert wird, da der Bediener ausreichend konzentriert ist und sich daher der Betriebsaspekte des Fahrzeugs 100 und der aktuellen Betriebsumgebung bewusst ist.
Dagegen stellt 6 eine alternative Ansicht 600 der Ansicht 500 aus 5 dar. Wie in 6 gezeigt, stellt das Aufmerksamkeitssystem 170 mehrere verschiedene Grafiken dar, einschließlich Überlagerungen auf der Ansicht 600 durch das AR-System 180, um die Aufmerksamkeit des Bedieners zu verbessern. Daher umfasst die Ansicht 600 einen kastenförmigen Rahmen 610, der eine Weiterentwicklung des Kastens 510 aus 5 ist, um den LKW hervorzuheben. Ferner wird die Ansicht 600 mit Sensorüberlagerung 620 dargestellt, die wahrgenommene Datenpunkte von dem LIDAR 124 darstellt, die auf der AR-Anzeige gerendert werden. Zudem umfasst die Ansicht Trajektoriepfeile 630 und 640, die eine allgemeine Zielrichtung des LKW und des Fahrzeugs 100 angeben. Zuletzt stellt die Ansicht 600 animierte Wetterinformationen 650 und 660 dar, die jeweils eine Sonne und eine Wolke darstellen. Die Wetterinformationen stellen allgemein beispielsweise Witterungsbedingungen für den aktuellen Tag dar.
Als weiteres Beispiel für verschiedene Arten, wie das Aufmerksamkeitssystem 170 grafische Elemente darstellen kann, um den Bediener zur Konzentration zu rufen, siehe 7 und 8. 7 stellt eine Ansicht 700 von innerhalb des Fahrzeugs 100 dar, die eine Straße vor dem Fahrzeug 100 und verschiedene dynamische und statische Objekte in der aktuellen Betriebsumgebung umfasst. Zum Beispiel wird die Ansicht 700 so gerendert, dass sie einen Weg 710 des Fahrzeugs 100 als Linie auf der Straße vor dem Fahrzeug 100 umfasst. Zudem umfasst die Ansicht eine Straßenkennung 720 für die Straße, auf die das Fahrzeug 100 einfädelt. Ein zusätzlicher Hinweis: das Fahrzeug 730 wird nicht mit zusätzlichen grafischen Elementen sondern stattdessen als standardmäßiges echtes Element ohne Abwandlung durch das AR-System 180 gerendert.
Es wird zur Ansicht 800 in 8 übergegangen, wobei in Ansicht 800 im Vergleich zu Ansicht 700 zusätzliche Elemente dargestellt werden. Zum Beispiel das Aufmerksamkeitssystem 170 rendert die zusätzlichen Elemente mit Leuchten, Blinken oder intensiverem visuellen Effekt, wenn der Bediener sich nicht auf das Fahrzeug 100 konzentriert und stattdessen beispielsweise ein persönliches elektronisches Gerät verwendet, einer anderen ablenkende Aktivität nachgeht, oder allgemein von Aufmerksamkeitsverminderung betroffen ist. Der Weg 810 wird mit intensiverer Farbe dargestellt als der Weg 710 aus 7. Zudem wird auch zusätzlicher Text 840 auf der AR-Anzeige gerendert, der aktuelle Handlungen und interne Zustandsinformationen des autonomen Fahrmoduls 160 beschreibt. Eine Fahrwegkennung 820 und ein Fahrzeug 830 werden in der Ansicht 800 mit leuchtenden Farben dargestellt. Als zusätzliches Beispiel verwendet das Fahrzeug 100 einen oder mehrere Sensoren, um die Fahrwegnummer zu identifizieren und rendert dann eine Frage an den Bediener als grafisches Textelement 850, das schwebend im Himmel vor dem Fahrzeug 100 angezeigt wird. Dementsprechend kann der Bediener die Frage mittels Sprachsteuerung oder einer anderen Eingabeform beantworten, woraufhin das Aufmerksamkeitssystem 170 abhängig von Veränderungen des Konzentrationsniveaus des Bedieners den Text entfernen kann oder weiter Fragen stellen kann. Auf diese Art und Weise passt das Aufmerksamkeitssystem 170 an, wie Grafiken auf der AR-Anzeige gerendert werden, um den Bediener zur Konzentration zu rufen.
Ein zusätzliches Beispiel wird in 9 gezeigt, welches eine ähnliche vorwärts gewandte Ansicht des Fahrzeugs 100 zeigt. Allerdings stellt die Ansicht 900 einen volumetrischen Scanbereich 910 für Daten dar, die über einen Radarsensor 123 gestellt wurden. Der Bereich 910 wird gerendert, um den Bediener darüber zu informieren, wo der Radar 123 aktuell scannt bzw. abtastet. Zudem werden erfasste Objekte 920, 930 und 940 mit grafischen Kästen und Pfeilen aufgezeigt, um zu zeigen, dass sie erfasst wurden und auch zu zeigen, dass die zugehörigen Bewegungsbahnen der Objekte 920, 930 und 940 sich nicht mit dem Fahrzeug 100 überschneiden.
10 stellt ein Luftbild 1000 von hinten einer aktuellen Betriebsumgebung des Fahrzeugs 100 dar, das mit Augmented-Reality-Grafik (AR-Grafik) gerendert wird. Das heißt, das Luftbild 1000 ist nicht gezwungenermaßen eine Ansicht, die dem Bediener des Fahrzeugs 100 präsentiert würde, sondern wird als ein repräsentatives Rendern davon gegeben, wie das Aufmerksamkeitssystem 170 das AR-System 180 steuern kann und wie die aktuelle Betriebsumgebung des Fahrzeugs 100 im Umfeld des Fahrzeugs 100 abhängig von der Richtung, in die der Bediener aktuell blickt, gerendert werden kann. Daher wird, wie in 10 gezeigt, die aktuelle Betriebsumgebung als mit mehreren grafischen Elementen gerendert dargestellt. Im Allgemeinen weist die Ansicht 1000 Sensordaten von, beispielsweise, dem Lidar 124 in einer überlagerten Textur dar, die in der gesamten Ansicht 1000 vorhanden ist und darstellt, wie das Lidar 124 verschiedene Objekte und Oberflächen wahrnimmt. Ferner werden auch verschiedene Verfolgungsinformationen über die Objekte in der Ansicht 1000 gerendert, um dem Bediener ein Verständnis bezüglich der internen Entscheidungsfindung des autonomen Fahrmoduls 160 zu geben. Zudem sind die Objekte 1005-1045 Fahrzeuge, die mit rechteckigen Rahmen dargestellt werden, um zu zeigen, dass sie von dem Fahrzeug 100 erfasst wurden, und sie werden auch mit grafischen Elementen gezeigt, die Informationen über jeweilige Bewegungsbahnen angeben. Ferner sind die Objekte 1050-1090 erfasste Objekte in der Umgebung, die auf ähnliche Art und Weise mit verschiedenen Grafiken gerendert werden, um situationsbezogene Informationen über die Objekte 1050-1090 zu übermitteln.
Ein zusätzlicher Hinweis: die Ansicht 1000 stellt ein Beispiel dar, das mit relativ vielen grafischen Elementen gerendert ist. Daher können Segmente der Ansicht 1000 aus Perspektiven in dem Fahrzeug 100 dem Bediener bereitgestellt werden wenn, zum Beispiel, das Aufmerksamkeitssystem 170 bestimmt, dass der Bediener nicht ausreichend konzentriert ist. Ferner kann das Aufmerksamkeitssystem 170 die grafischen Elemente auf eine durchsichtigere Weise rendern, wenn der Bediener sich mehr auf das Fahrzeug 100 konzentriert.
1 wird nun in allen Einzelheiten als beispielhafte Fahrzeugumgebung erläutert, in der das System und die hier offenbarten Verfahren in Betrieb sein können. In manchen Fällen ist das Fahrzeug 100 eingerichtet, selektiv zwischen einem autonomen Modus, einem oder mehreren teilautonomen Betriebsmodi und/oder einem manuellen Modus hin- und her zu schalten. Ein solches Schalten, das bei einem Übergang in den manuellen Modus auch als Übergabe bezeichnet wird, kann auf eine geeignete, jetzt bekannte oder später entwickelte Art und Weise implementiert werden. „Manueller Modus“ bedeutet, dass alle oder eine Mehrzahl der Navigation und/oder des Manövrierens des Fahrzeugs gemäß den Eingaben durchgeführt werden, die von einem Nutzer empfangen werden (z. B. einem menschlichen Fahrer/Bediener).
In einer oder mehreren Ausführungsformen ist das Fahrzeug 100 ein autonomes Fahrzeug. Wie hierin verwendet bezieht sich „autonomes Fahrzeug“ auf ein Fahrzeug, das in einem autonomen Modus betrieben wird. „Autonomer Modus“ bezieht sich auf Navigation und/oder Manövrieren des Fahrzeugs 100 auf einer Fahrroute mittels einem oder mehreren Computersystemen, um das Fahrzeug 100 mit minimalen oder ohne Eingaben von einem menschlichen Fahrer/Bediener zu steuern. In einer oder mehreren Ausführungsformen ist das Fahrzeug 100 hoch automatisiert oder vollständig automatisiert. In einer Ausführungsform ist das Fahrzeug 100 mit einem oder mehreren teilautonomen Betriebsmodi eingerichtet, in denen ein oder mehrere Computersysteme einen Teil der Navigation und/oder des Manövrierens des Fahrzeugs auf einer Fahrroute durchführen und ein Fahrzeugführer (d. h. Fahrer) Eingaben an das Fahrzeug vornimmt, um einen Teil der Navigation und/oder des Manövrierens des Fahrzeugs 100 entlang einer Fahrtroute durchzuführen. Daher wird das Fahrzeug 100 in einer oder mehreren Ausführungsformen entsprechend einem bestimmen definierten Autonomielevel autonom betrieben. Zum Beispiel kann das Fahrzeug 100 entsprechend den automatisierten Fahrzeugklassifizierungen 0-5 der Society of Automotive Engineers (SAE) betrieben werden. In einer Ausführungsform wird das Fahrzeug 100 entsprechend dem SAE-Level 2 betrieben, was dafür sorgt, dass ein autonomes Fahrmodul 160 das Fahrzeug 100 durch Bremsen, Beschleunigen und Lenken ohne Bedienereingabe steuert, aber der Fahrer/Bediener das Fahren überwachen soll und aufmerksam und bereit sein soll, in die Steuerung des Fahrzeugs 100 einzugreifen, falls das autonome Fahrmodul 160 es versäumt, richtig zu reagieren oder anderweitig außerstande ist, das Fahrzeug 100 angemessen zu steuern.
Das Fahrzeug 100 kann einen Prozessor oder mehrere Prozessoren 110 umfassen. In einer oder mehreren Anordnungen kann/können der/die Prozessor(en) 110 ein Hauptprozessor des Fahrzeugs 100 sein. Zum Beispiel kann/können der/die Prozessor(en) 110 eine elektronische Steuereinheit (ECU) sein. Das Fahrzeug 100 kann auch einen oder mehrere Datenspeicher 115 umfassen, um eine oder mehrere Arten von Daten zu speichern. Der Datenspeicher 115 kann flüchtigen und/oder nicht-flüchtigen Speicher umfassen. Beispiele für geeignete Datenspeicher 115 umfassen RAM (Random Access Memory bzw. Direktzugriffsspeicher), Flash-Speicher, ROM (Read Only Memory bzw. Nur-Lese-Speicher), PROM (programmierbarer Nur-Lese-Speicher), EEPROM (elektrisch löschbarer, programmierbarer Nur-Lese-Speicher), Register, Magnetplatten, optische Platten, Festplatten und jedes andere geeignete Speichermedium oder eine Kombination derselben. Der Datenspeicher 115 kann eine Komponente des Prozessors/der Prozessoren 110 sein oder der Datenspeicher 115 kann mit dem Prozessor/den Prozessoren 110 für die Nutzung durch denselben wirkverbunden sein. Der Begriff „wirkverbunden“, wie er in dieser Beschreibung verwendet wird, kann direkte oder indirekte Verbindungen umfassen, einschließlich Verbindungen ohne direkten physischen Kontakt.
In einer oder mehreren Anordnungen kann/können der eine oder die mehreren Datenspeicher 115 Kartendaten 116 umfassen. Die Kartendaten 116 können Karten einer oder mehrerer geografischer Gebiete umfassen. In manchen Fällen können die Kartendaten 116 Informationen oder Daten über Straßen, Verkehrssteuervorrichtungen, Straßenmarkierungen, Bauweisen, Merkmale und/oder Orientierungspunkte in dem einen oder den mehreren geografischen Gebieten umfassen. Die Kartendaten 116 können in einer beliebigen geeigneten Form vorliegen. In manchen Fällen können die Kartendaten 116 Luftaufnahmen eines Gebiets umfassen. In manchen Fällen können die Kartendaten 116 Bodenaufnahmen eines Gebiets umfassen, einschließlich 360-Grad-Bodenaufnahmen. Die Kartendaten 116 können Abmessungen, Dimensionen, Entfernungen und/oder Informationen über ein oder mehrere Elemente umfassen, die in den Kartendaten 116 umfasst sind und/oder bezüglich anderer Elemente, die in den Kartendaten 116 umfasst sind. Die Kartendaten 116 können eine digitale Karte mit Informationen über eine Straßengeometrie umfassen. Die Kartendaten 116 können hoher Qualität sein und/oder hoch detailliert.
In einer oder mehreren Anordnungen können die Kartendaten 116 eine oder mehrere Geländekarten 117 umfassen. Die Geländekarte(n) 117 kann/können Informationen über Boden, Gelände, Straßen, Oberflächen und/oder andere Merkmale eines oder mehrerer geografischer Gebiete umfassen. Die Geländekarte(n) 117 kann/können Höhendaten in dem einen oder den mehreren geografischen Gebieten umfassen. Die Kartendaten 116 können hoher Qualität sein und/oder hoch detailliert. Die Geländekarte(n) 117 kann/können eine oder mehrere Bodenoberflächen definieren, welche geteerte Straßen, ungeteerte Straßen, Land und andere Dinge, die eine Bodenoberfläche definieren, umfassen kann/können.
In einer oder mehreren Anordnungen können die Kartendaten 116 eine oder mehrere Karten 118 über statische Hindernisse umfassen. Die Karte(n) 118 über statische Hindernisse kann/können Informationen über ein oder mehrere statische Hindernisse umfassen, das/die innerhalb eines oder mehreren geografischen Gebieten angeordnet ist. Ein „statisches Hindernis“ ist ein physisches Objekt, dessen Position sich nicht verändert oder sich innerhalb einer Zeitspanne nicht wesentlich verändert und/oder dessen Größe sich nicht ändert oder sich innerhalb einer Zeitspanne nicht wesentlich ändert. Beispiele für statische Hindernisse umfassen Bäume, Gebäude, Randsteine, Zäune, Geländer, Mittelstreifen, Strommasten, Statuen, Denkmäler, Schilder, Bänke, Möbel, Briefkästen, große Steine, Hügel. Die statischen Hindernisse können Objekte sein, die über Bodenhöhe hinausragen. Das eine oder die mehreren statischen Hindernisse, die auf der/den Karte(n) 118 über statische Hindernisse umfasst sind, können Positionsdaten, Größendaten, Abmessungsdaten, Materialdaten und/oder andere damit assoziierte Daten aufweisen. Die Karte(n) 118 über statische Hindernisse kann/können Abmessungen, Dimensionen, Entfernungen und/oder Informationen über ein oder mehrere statische Hindernisse umfassen. Die Karte(n) 118 über statische Hindernisse kann/können hoher Qualität und/oder hoch detailliert sein. Die Karte(n) 118 über statische Hindernisse kann/können aktualisiert werden, um Änderungen innerhalb eines kartografierten Gebiets wiederzugeben.
Der eine oder die mehreren Datenspeicher 115 kann/können Sensordaten 119 umfassen. In diesem Kontext bezeichnet „Sensordaten“ alle Informationen über die Sensoren, mit denen das Fahrzeug 100 ausgestattet ist, einschließlich der Fähigkeiten und anderen Informationen über solche Sensoren. Wie unten noch erläutert wird, kann das Fahrzeug 100 das Sensorsystem 120 umfassen. Die Sensordaten 119 können sich auf einen oder mehrere Sensoren des Sensorsystems 120 beziehen. Zum Beispiel können in einer oder mehreren Anordnungen die Sensordaten 119 Informationen über einen oder mehrere LIDAR-Sensoren 124 des Sensorsystems 120 umfassen.
In manchen Fällen kann sich zumindest ein Teil der Kartendaten 116 und/oder der Sensordaten 119 in einem oder mehreren Datenspeichern 115 in dem Fahrzeug 100 befinden. Alternativ oder zusätzlich kann sich zumindest ein Teil der Kartendaten 116 und/oder der Sensordaten 119 auf einem oder mehreren Datenspeichern 115 befinden, die sich außerhalb des Fahrzeugs 100 befinden.
Wie oben angemerkt, kann das Fahrzeug 100 das Sensorsystem 120 umfassen. Das Sensorsystem 120 kann einen oder mehrere Sensoren umfassen. „Sensor“ bedeutet eine beliebige Vorrichtung, Komponente und/oder System, die bzw. das etwas feststellen und/oder sensieren kann. Der eine oder die mehreren Sensoren kann/können eingerichtet sein, in Echtzeit festzustellen und/oder zu sensieren. Wie hierin verwendet bedeutet der Begriff „Echtzeit“ ein Niveau an Verarbeitungsreaktion, von der ein Nutzer oder ein System der Ansicht ist, dass es ausreichend unmittelbar ist, damit ein bestimmter Prozess oder eine Bestimmung durchgeführt werden kann, oder die es dem Prozessor erlaubt, mit einem externen Prozess mitzuhalten.
In Anordnungen, in denen das Sensorsystem 120 eine Mehrzahl an Sensoren umfasst, können die Sensoren unabhängig voneinander arbeiten. Alternativ können zwei oder mehrere der Sensoren in Kombination miteinander arbeiten. In einem solchen Fall können zwei oder mehrere Sensoren ein Sensornetzwerk bilden. Das Sensorsystem 120 und/oder der eine oder die mehreren Sensoren kann/können mit dem/den Prozessor(en) 110, dem/den Datenspeicher(n) 115 und/oder einem anderen Element des Fahrzeugs 100 wirkverbunden sein (einschließlich einem beliebigen der in 1 gezeigten Elemente). Das Sensorsystem 120 kann Daten von zumindest einem Teil der externen Umgebung des Fahrzeugs 100 beziehen (z. B. Fahrzeugen in der Nähe).
Das Sensorsystem 120 kann einen beliebigen geeigneten Sensortyp umfassen. Verschiedene Beispiele verschiedener Sensortypen werden im Vorliegenden beschrieben. Allerdings versteht es sich, dass die Ausführungsformen nicht auf die bestimmten beschriebenen Sensoren beschränkt sind. Das Sensorsystem 120 kann ein oder mehrere Fahrzeugsensoren 121 umfassen. Der/die Fahrzeugsensor(en) 121 kann/können Informationen über das Fahrzeug 100 selbst feststellen, bestimmen und/oder sensieren. In einer oder mehreren Anordnungen kann/können der/die Fahrzeugsensor(en) 121 eingerichtet sein, Positions- und Ausrichtungsänderungen des Fahrzeugs 100 beispielsweise basierend auf Trägheitsbeschleunigung festzustellen und/oder zu sensieren. In einer oder mehreren Anordnungen kann/können der/die Fahrzeugsensor(en) 121 ein oder mehrere Beschleunigungsmesser umfassen, ein oder mehrere Gyroskope, eine inertiale Messeinheit (IMU), ein Koppelnavigationssystem, ein globales Navigationssatellitensystem (GNSS), ein globales Positionsbestimmungssystem (GPS), ein Navigationssystem 147 und/oder andere geeignete Sensoren. Der/die Fahrzeugsensor(en) 121 kann/können eingerichtet sein, eine oder mehrere Merkmale des Fahrzeugs 100 festzustellen und/oder zu sensieren. In einer oder mehreren Anordnungen kann/können der/die Fahrzeugsensor(en) 121 einen Tachometer umfassen, um eine aktuelle Geschwindigkeit des Fahrzeugs 100 zu bestimmen.
Alternativ oder zusätzlich kann das Sensorsystem 120 ein oder mehrere Umgebungssensoren 122 umfassen, die eingerichtet sind, Umgebungsinformationen zu beziehen und/oder zu sensieren. „Fahrumgebungsdaten“ umfassen Daten oder Informationen über die externe Umgebung, in der sich ein autonomes Fahrzeug befindet, oder ein oder mehrere Teile davon. Zum Beispiel kann/können der eine oder die mehreren Umgebungssensoren 122 eingerichtet sein, Hindernisse in mindestens einem Teil der externen Umgebung des Fahrzeugs 100 festzustellen, zu quantifizieren und/oder zu sensieren und/oder Informationen/Daten über solche Hindernisse. Solche Hindernisse können stationäre Objekte und/oder dynamische Objekte sein. Der eine oder die mehreren externen Umgebungssensoren 122 kann/können eingerichtet sein, andere Dinge in der externen Umgebung des Fahrzeugs 100 festzustellen, zu messen, zu quantifizieren und/oder zu sensieren, wie zum Beispiel Spurmarkierungen, Schilder, Ampeln, Verkehrsschilder, Spurlinien, Fußgängerüberwege, Randsteine nahe dem Fahrzeug 100, Objekte im Gelände usw.
Verschiedene Beispiele für Sensoren des Sensorsystems 120 werden hierin beschreiben. Die Beispielsensoren können Teil des einen oder der mehreren Umgebungssensoren 122 sein und/oder des einen/der mehreren Fahrzeugsensoren 121. Ferner kann das Sensorsystem 120 Bedienersensoren umfassen, die dazu dienen, Aspekte, die den Fahrer/Bediener des Fahrzeugs 100 betreffen, zu verfolgen und oder anderweitig zu überwachen. Allerdings versteht es sich, dass die Ausführungsformen nicht auf die bestimmten beschriebenen Sensoren beschränkt sind.
Als ein Beispiel kann das Sensorsystem 120 in einer oder mehreren Anordnungen einen oder mehrere Radarsensoren 123 umfassen, einen oder mehrere LIDAR-Sensoren 124, einen oder mehrere Sonar-Sensoren 125 und/oder eine oder mehrere Kameras 126. In einer oder mehreren Anordnungen kann/können die eine oder die mehreren Kameras 126 High-Dynamic-Range-Kameras (HDR-Kameras) oder Infrarotkameras (IR-Kameras) und dergleichen sein. In einer Ausführungsform umfassen die Kameras 126 eine oder mehrere Kameras, die innerhalb einer Fahrgastzelle des Fahrzeugs angeordnet sind, um Eye-Tracking an dem Bediener/Fahrer durchzuführen, um einen Blick des Bedieners/Fahrers zu bestimmen, eine Blickspur des Bedieners/Fahrers und so weiter.
Das Fahrzeug 100 kann ein Eingabesystem 130 umfassen. Ein „Eingabesystem“ umfasst jede Vorrichtung, Komponente, System, Element oder Anordnung oder Gruppen derselben, die es ermöglichen, Informationen/Daten in eine Maschine einzugeben. Das Eingabesystem 130 kann eine Eingabe von einem Fahrzeugpassagier (z. B. einem Fahrer oder einem Passagier) empfangen. Das Fahrzeug 100 kann ein Ausgabesystem 135 umfassen. Ein „Ausgabesystem“ umfasst jede Vorrichtung, Komponente oder Anordnung oder Gruppen derselben, die es ermöglichen, einem Fahrzeugpassagier (z. B. einer Person, einem Fahrzeugpassagier usw.) Informationen/Daten zu präsentieren.
Das Fahrzeug 100 kann ein oder mehrere Fahrzeugsysteme 140 umfassen. Verschiedene Beispiele für das eine oder die mehreren Fahrzeugsysteme 140 werden in 1 gezeigt. Allerdings kann das Fahrzeug 100 mehr, weniger oder andere Fahrzeugsysteme umfassen. Es versteht sich, dass obwohl bestimmte Fahrzeugsysteme gesondert definiert werden, jedes der Systeme oder Teile derselben mittels Hardware und/oder Software innerhalb des Fahrzeugs 100 anderweitig kombiniert oder getrennt werden können. Das Fahrzeug 100 kann ein Antriebssystem 141, ein Bremssystem 142, ein Lenksystem 143, ein Drosselsystem 144, ein Getriebe 145, ein Signalsystem 146 und/oder ein Navigationssystem 147 umfassen. Jedes dieser Systeme kann eine oder mehrere jetzt bekannte oder später entwickelte Vorrichtungen, Komponenten und/oder Kombinationen derselben umfassen.
Das Navigationssystem 147 kann eine oder mehrere jetzt bekannte oder später entwickelte Vorrichtungen, Sensoren, Anwendungen und/oder Kombinationen derselben umfassen, die eingerichtet sind, den geografischen Standort des Fahrzeugs 100 zu bestimmen und/oder eine Fahrroute für das Fahrzeug 100 zu ermitteln. Das Navigationssystem 147 kann ein oder mehrere Kartierungsapplikationen umfassen, um eine Fahrroute für das Fahrzeug 100 zu bestimmen. Das Navigationssystem 147 kann ein globales Positionsbestimmungssystem umfassen, ein Local-Positioning-System oder ein Geolokalisierungssystem.
Der/die Prozessor(en) 110, das Aufmerksamkeitssystem 170 und/oder das/die autonome(n) Fahrmodule(e) 160 können wirkverbunden sein, um mit den verschiedenen Fahrzeugsystemen 140 und/oder individuellen Komponenten derselben zu kommunizieren. Zum Beispiel kann/können, unter Rückbezug auf 1, der/die Prozessor(en) 110 und das/die autonome(n) Fahrmodul(e) 160 in Kommunikation stehen, um Informationen von den verschiedenen Fahrzeugsystemen 140 zu senden/zu empfangen, um Bewegung, Geschwindigkeit, Manövrieren, Fahrtrichtung, Richtung usw. des Fahrzeugs 100 zu steuern. Der/die Prozessor(en) 110, das Aufmerksamkeitssystem 170 und/oder das/die autonome(n) Fahrmodule(e) 160 kann/können einige oder alle dieser Fahrzeugsysteme 140 steuern und so können diese teilweise oder vollständig autonom sein.
Der/die Prozessor(en) 110, das Aufmerksamkeitssystem 170 und/oder das/die autonome(n) Fahrmodule(e) 160 können wirkverbunden sein, um mit den verschiedenen Fahrzeugsystemen 140 und/oder individuellen Komponenten derselben zu kommunizieren. Zum Beispiel kann/können, unter Rückbezug auf 1, der/die Prozessor(en) 110, das Aufmerksamkeitssystem 170 und das/die autonome(n) Fahrmodul(e) 160 in Kommunikation stehen, um Informationen von den verschiedenen Fahrzeugsystemen 140 zu senden/zu empfangen, um die Bewegung, Geschwindigkeit, Manövrieren, Fahrtrichtung, Richtung usw. des Fahrzeugs 100 zu steuern. Der/die Prozessor(en) 110, das Aufmerksamkeitssystem 170 und/oder das/die autonome(n) Fahrmodule(e) 160 kann/können einige oder alle dieser Fahrzeugsysteme 140 steuern.
Der/die Prozessor(en) 110, das Aufmerksamkeitssystem 170 und/oder das/die autonome(n) Fahrmodul(e) 160 kann/können betriebsfähig sein, die Navigation und/oder das Manövrieren des Fahrzeugs 100 zu steuern, indem eines oder mehrere der Fahrzeugsysteme 140 und/oder deren Komponenten gesteuert werden. Zum Beispiel beim Betrieb in einem autonomen Modus kann/können der/die Prozessor(en) 110, das Aufmerksamkeitssystem 170 und/oder das/die autonome(n) Fahrmodul(e) 160 die Richtung und/oder die Geschwindigkeit des Fahrzeugs 100 steuern. Der/die Prozessor(en) 110, das Aufmerksamkeitssystem 170 und/oder das/die autonome(n) Fahrmodul(e) 160 können das Fahrzeug 100 veranlassen, zu beschleunigen (z. B. indem die an den Motor zugeführte Kraftstoffmenge erhöht wird), zu verzögern (z. B. indem die an den Motor zugeführte Kraftstoffmenge gesenkt wird und/oder die Bremsen betätigt werden) und/oder die Richtung zu ändern (z. B. indem die zwei Vorderräder gelenkt werden). Wie hier verwendet bedeutet „veranlassen“ das Auftreten einer Begebenheit oder einer Aktion zu erwirken, zu erzwingen, zu erfordern, anzuleiten, zu befehlen, anzuweisen und/oder zu ermöglichen oder zumindest in einem Zustand zu sein, wo eine solche Begebenheit oder Aktion auftreten kann, entweder auf direkte oder indirekte Art und Weise.
Das Fahrzeug 100 kann ein oder mehrere Stellelemente 150 umfassen. Die Stellelemente 150 können ein beliebiges Element oder eine Kombination von Elementen sein, das/die betriebsfähig ist/sind, ansprechend auf das Empfangen von Signalen oder anderen Eingaben von dem Prozessor/den Prozessoren 110 und/oder des/der autonome(n) Fahrmodul(e) 160 ein oder mehrere der Fahrzeugsysteme 140 oder Komponenten desselben zu modifizieren, zu verstellen und/oder zu verändern. Jedes geeignete Stellelement kann verwendet werden. Zum Beispiel kann das eine oder die mehreren Stellelemente 150 Motoren, pneumatische Stellelemente, Hydraulikkolben, Relais, Solenoide und/oder piezoelektrische Stellelemente umfassen, um nur einige Möglichkeiten zu nennen.
Das Fahrzeug 100 kann ein oder mehrere Module umfassen, von denen zumindest einige hierin beschrieben werden. Die Module können als computerlesbarer Programmcode implementiert werden, die, wenn sie von einem Prozessor 110 ausgeführt werden, einen oder mehrere der verschiedenen, hier beschriebenen Prozesse implementieren. Eines oder mehrere Module kann/können eine Komponente des/der Prozessors/Prozessoren 110 sein oder eines oder mehrere der Module kann/können auf anderen Verarbeitungssystemen ausgeführt werden und/oder darüber verteilt sein, mit denen der/die Prozessor(en) 110 wirkverbunden ist/sind. Die Module können Anweisungen (z. B. Programmlogik) umfassen, die von einem Prozessor oder mehreren Prozessoren 110 ausführbar sind. Alternativ oder zusätzlich kann/können ein oder mehrere Datenspeicher 115 solche Anweisungen enthalten.
In einer oder mehreren Anordnungen kann/können eines oder mehrere der hier beschriebenen Module künstliche oder Computational-Intelligence-Elemente umfassen, z. B. ein neurales Netz, Fuzzylogik oder andere maschinelle Lernalgorithmen. Ferner kann eines oder mehrere der Module in einer oder mehreren Anordnungen über eine Mehrzahl der hier beschriebenen Module verteilt sein. In einer oder mehreren Anordnungen können zwei oder mehr der hier beschriebenen Module in einem einzelnen Modul kombiniert sein.
Das Fahrzeug 100 kann ein oder mehrere autonome(s) Fahrmodul(e) 160 umfassen. Das/die autonome(n) Fahrmodul(e) 160 kann/können eingerichtet sein, Daten von dem Sensorsystem 120 und/oder einem beliebigen anderen Systemtyp zu empfangen, der fähig ist, Informationen bezüglich des Fahrzeugs 100 und/oder der externen Umgebung des Fahrzeugs 100 aufzunehmen. In einer oder mehreren Anordnungen kann/können das/die autonome(n) Fahrmodul(e) 160 solche Daten verwenden, um ein oder mehrere Fahrszenarienmodelle zu erstellen. Das/die autonome(n) Fahrmodul(e) 160 kann/können Position und Geschwindigkeit des Fahrzeugs 100 bestimmen. Das/die autonome(n) Fahrmodul(e) 160 kann/können die Position von Hindernissen oder anderen Umgebungsmerkmale einschließlich Verkehrsschilder, Bäume, Büsche, nahegelegene Fahrzeuge, Fußgänger usw. bestimmen.
Das/die autonome(n) Fahrmodul(e) 160 kann/können eingerichtet sein, Standortinformationen für Hindernisse in der externen Umgebung des Fahrzeugs 100 für die Verwendung durch den Prozessor/die Prozessoren 110 und/oder eines oder mehrere der hier beschriebenen Module zu empfangen/und oder zu bestimmen, um eine Position und Richtung des Fahrzeugs 100 zu bestimmen, eine Fahrzeugposition in globalen Koordinaten basierend auf Signalen von einer Mehrzahl an Satelliten oder allen anderen Daten und/oder Signalen zu bestimmen, die verwendet werden könnten, um den aktuellen Zustand des Fahrzeugs 100 zu bestimmen oder die Position des Fahrzeugs 100 bezüglich seiner Umgebung zu bestimmen, um entweder bei einer Kartenerstellung oder bei der Bestimmung der Position des Fahrzeugs 100 bezüglich Kartendaten verwendet zu werden.
Das/die autonome(n) Fahrmodul(e) 160 kann/können entweder unabhängig oder zusammen mit dem Aufmerksamkeitssystem 170 eingerichtet sein, basierend auf von dem Sensorsystem 120 bezogenen Daten, Fahrszenarienmodellen und/oder Daten von einer beliebigen anderen geeigneten Quelle (eine) Fahrstrecke(n), aktuelle autonome Fahrmanöver für das Fahrzeug 100, zukünftige autonome Fahrmanöver und/oder Änderungen aktueller autonomer Fahrmanöver zu bestimmen.„Fahrmanöver“ bedeutet eine oder mehrere Aktionen, die die Bewegung eines Fahrzeugs beeinflussen. Beispiele für Fahrmanöver umfassen: Beschleunigen, Verzögern, Bremsen, Lenken, Bewegen in seitlicher Richtung des Fahrzeugs 100, Spurwechsel, Einfädeln auf eine Fahrspur und/oder Rückwärtsfahren, um nur einige Möglichkeiten zu nennen. Das/die autonome(n) Fahrmodul(e) 160 kann/können eingerichtet sein, bestimmte Fahrmanöver zu implementieren. Das/die autonome(n) Fahrmodul(e) 160 kann/können direkt oder indirekt das Implementieren solcher autonomen Fahrmanöver veranlassen. Wie hier verwendet bedeutet „veranlassen“ das Auftreten einer Begebenheit oder einer Aktion zu erwirken, zu befehlen, anzuweisen und/oder zu ermöglichen oder zumindest in einem Zustand zu sein, wo eine solche Begebenheit oder Aktion auftreten kann, entweder auf direkte oder indirekte Art und Weise. Das/die autonome(n) Fahrmodule(e) 160 kann/können eingerichtet sein, verschiedene Fahrzeugfunktionen auszuführen und/oder das Fahrzeug 100 oder eines oder mehrere Systeme desselben zu steuern (z. B. eines oder mehrere der Fahrzeugsysteme 140), Daten an dieses/diese zu übertragen, Daten von diesem/diesen zu empfangen, oder mit diesem/diesen zu interagieren.
Detaillierte Ausführungsformen sind hier offenbart. Es versteht sich allerdings, dass die offenbarten Ausführungsformen nur als Beispiele gedacht sind. Daher sollten spezifische, hier offenbarte strukturelle und funktionelle Details nicht als beschränkend interpretiert werden, sondern nur als Basis für die Ansprüche und als eine repräsentative Basis zur Lehre eines Fachmanns, die vorliegenden Aspekte auf praktisch jede beliebige, zweckmäßig detaillierte Bauweise unterschiedlich anzuwenden. Ferner sollen die hier verwendeten Begriffe und Ausdrücke nicht einschränkend sein, sondern sollen vielmehr eine verständliche Beschreibung möglicher Implementierungen geben. Verschiedene Ausführungsformen werden in den 1-10 gezeigt, aber die Ausführungsformen sind nicht auf die dargestellte Bauweise oder Anwendung beschränkt.
Die Flussdiagramme und Blockschaltbilder in den Figuren zeigen die Architektur, Funktionalität und den Betrieb möglicher Anwendungen von Systemen, Verfahren und Computerprogrammen gemäß verschiedenen Ausführungsformen. Diesbezüglich kann jeder Block in den Flussdiagrammen oder Blockschaltbildern ein Modul, Segment oder einen Codeanteil repräsentieren, welcher eine oder mehrere ausführbare Anweisungen zur Implementierung der spezifischen logischen Funktion(en) aufweist. Es ist ebenfalls zu beachten, dass in manchen alternativen Implementierungen die in dem Block angegebenen Funktionen in einer anderen als der in den Figuren angegebenen Reihenfolge erfolgen können. Zum Beispiel können, abhängig von der hiermit verbundenen Funktionalität, zwei aufeinander folgend gezeigte Blöcke in Wirklichkeit im Wesentlichen gleichzeitig ausgeführt werden oder die Blöcke können manchmal in entgegengesetzter Reihenfolge ausgeführt werden.
Die oben beschriebenen Systeme, Komponenten und/oder Prozesse können als Hardware oder als eine Kombination aus Hardware und Software realisiert werden und können auf eine zentralisierte Art in einem Verarbeitungssystem realisiert werden oder auf eine dezentralisierte Art, bei der verschiedene Elemente über mehrere, untereinander verbundene Verarbeitungssysteme verteilt sind. Jede beliebige Art Verarbeitungssystem oder eine andere Vorrichtung, die für das Ausführen der hier beschriebenen Verfahren adaptiert wurde, ist geeignet. Eine typische Kombination aus Hardware und Software kann ein Verarbeitungssystem mit computernutzbarem Programmcode sein, welcher, wenn er geladen und ausgeführt wird, das Verarbeitungssystem so steuert, dass es die hier beschriebenen Verfahren ausführt. Die Systeme, Komponenten und/oder Prozesse können auch auf einem computerlesbaren Speicher integriert sein, wie beispielsweise einem Computerprogramm oder einer anderen Datenprogrammspeichervorrichtung, die von einer Maschine lesbar ist, ein greifbares Programm an Anweisungen enthält, welche durch die Maschine ausführbar sind, um hier beschriebene Verfahren und Prozesse durchzuführen. Diese Elemente können auch in einem Anwendungsprodukt eingebunden sein, welches alle Merkmale aufweist, die die Implementierung der hier beschriebenen Verfahren erlauben und welches, wenn es in einem Verarbeitungssystem geladen wird, fähig ist, diese Verfahren auszuführen.
Ferner können die hier beschriebenen Anordnungen als Computerprogramm ausgebildet sein, das in einem oder mehreren computerlesbaren Medien enthalten ist, mit integriertem, z. B. darauf gespeichertem, computerlesbarem Programmcode. Jede beliebige Kombination eines oder mehrerer computerlesbarer Medien kann verwendet werden. Das computerlesbare Medium kann ein computerlesbares Signalmedium oder ein computerlesbares Speichermedium sein. Der Ausdruck „computerlesbares Speichermedium“ bedeutet ein nicht-flüchtiges Speichermedium. Ein computerlesbares Speichermedium kann, beispielsweise, ein elektronisches, magnetisches, optisches, elektromagnetisches, Infrarot- oder Halbleitersystem, -apparat oder -vorrichtung oder jede geeignete Kombination derselben sein, ist aber nicht darauf beschränkt. Weitere spezifische Beispiele (eine nicht erschöpfende Liste) computerlesbarer Speichermedien würde Folgendes umfassen: eine tragbare Computerdiskette, eine Festplatte (HDD), eine Solid-State-Drive (SSD), ein Nur-Lese-Speicher (ROM), ein löschbarer, programmierbarer Nur-Lese-Speicher (EPROM oder Flash-Speicher), eine tragbare Compact Disc Read-Only Memory (CD-ROM), eine Digital Versatile Disc (DVD), eine optische Speichervorrichtung, eine magnetische Speichervorrichtung oder eine beliebige Kombination des Vorstehenden. Im Kontext dieses Dokuments kann ein computerlesbares Speichermedium jedes Medium sein, das ein Programm enthalten oder darauf speichern kann, um von oder zusammen mit einem Anweisungsausführsystem, -apparat oder -vorrichtung verwendet zu werden.
Auf einem computerlesbaren Medium integrierter Programmcode kann mittels einem beliebigen, geeigneten Medium übermittelt werden, einschließlich aber nicht ausschließlich drahtlos, drahtgebunden, mittels optischem Faser, Kabel, RF usw. oder einer geeigneten Kombination derselben. Computerprogrammcode zum Ausführen von Abläufen für Aspekte der vorliegenden Anordnungen kann in einer beliebigen Kombination von Programmiersprachen geschrieben sein, einschließlich einer objektorientierten Programmiersprache wie Java™, Smalltalk, C++ oder dergleichen, und herkömmlichen prozeduralen Programmiersprachen, wie beispielsweise die Programmiersprache „C“ oder ähnlichen Programmiersprachen.Der Programmcode kann vollständig auf dem Computer des Nutzers ausgeführt werden, teilweise auf dem Computer des Nutzers, als eigenständiges Softwarepaket, teilweise auf dem Computer des Nutzers und teilweise auf einem Remotecomputer, oder vollständig auf dem Remotecomputer oder Server. Im letzteren Szenario kann der Remotecomputer durch einen beliebigen Netzwerktyp mit dem Computer des Nutzers verbunden sein, einschließlich einem Local Area Network (LAN) oder einem Wide Area Network (WAN) oder die Verbindung kann zu einem externen Computer hergestellt werden (beispielsweise über das Internet mittels eines Internet Service Providers).
Die Begriffe „ein“, „eine“, „eines“, „einer“ wie hier verwendet, sind definiert als eines oder mehr als eines. Der Begriff „Mehrzahl“ wie hier verwendet, ist als zwei oder mehr als zwei definiert. Der Begriff „weiteres“ wie hier verwendet, ist als mindestens ein zweites oder mehr definiert. Die Begriffe „umfassend“ und/oder „mit“ wie hier verwendet, sind als „aufweisend“ definiert (d. h. nicht einschränkende Sprache). Der Ausdruck „mindestens eine ... der ...“ wie hier verwendet bezieht sich auf und umfasst jede und alle möglichen Kombinationen eines oder mehrerer der assoziierten aufgelisteten Elemente. Als Beispiel: der Ausdruck „A, B und/oder C“ umfasst nur A, nur B, nur C oder eine beliebige Kombination derselben (z. B. AB, AC, BC oder ABC).
Vorliegende Aspekte können in anderen Ausführungsformen integriert sein, ohne von dem Geist oder essentiellen Merkmalen derselben abzuweichen. Dementsprechend sollte vielmehr Bezug auf die folgenden Ansprüche als auf die vorstehende Beschreibung als Indikator des Umfangs des Vorliegenden genommen werden.

Claims

Aufmerksamkeitssystem zur Verringerung von Aufmerksamkeitsverminderung eines Bedieners in einem Fahrzeug aufweisend: einen oder mehrere Prozessoren; einen Speicher, der kommunikationsfähig mit dem einem Prozessor oder den mehreren Prozessoren verbunden ist, und der Folgendes speichert: ein Überwachungsmodul, das Anweisungen umfasst, die, wenn sie von dem einen oder den mehreren Prozessoren ausgeführt werden, den einen oder die mehreren Prozessoren veranlassen, den Bediener zu überwachen, indem Bedienerzustandsinformationen unter Verwendung von mindestens einem Sensor des Fahrzeugs gesammelt werden; ein Aufmerksamkeitsmodul, das Anweisungen umfasst, die, wenn sie von dem einen oder den mehreren Prozessoren ausgeführt werden, den einen oder die mehreren Prozessoren veranlassen, ein Konzentrationsniveau des Bedieners gemäß einem Aufmerksamkeitsmodell und den Bedienerzustandsinformationen zu berechnen, um das Maß an Aufmerksamkeitsverminderung, das der Bediener aktuell erlebt, zu charakterisieren; und ein Rendermodul, das Anweisungen umfasst, die, wenn sie von dem einen oder den mehreren Prozessoren ausgeführt werden, den einen oder die mehreren Prozessoren veranlassen, auf einer Augmented-Reality-Anzeige (AR-Anzeige) in dem Fahrzeug mindestens ein grafisches Element in Abhängigkeit des Konzentrationsniveaus zu rendern, um den Bediener dazu zu bringen, bezüglich einem autonomen Betrieb des Fahrzeugs und einer aktuellen Betriebsumgebung des Fahrzeugs aufmerksam zu bleiben.
Aufmerksamkeitssystem nach Anspruch 1, wobei das Rendermodul ferner Anweisungen umfasst, das mindestens eine grafische Element zu rendern, indem Visualisierungen auf der AR-Anzeige mittels Daten von einem oder mehreren Sensoren des Fahrzeugs als Überlagerung auf der AR-Anzeige gerendert werden, wobei das Rendermodul ferner Anweisungen umfasst, das mindestens eine grafische Element zu rendern, indem interne Zustandsinformationen eines autonomen Fahrmoduls gerendert werden, die aktuelle Entscheidungen und Situationsbewusstsein des autonomen Fahrmoduls über die aktuelle Betriebsumgebung angeben, und wobei das autonome Fahrmodul das Fahrzeug gemäß einer Klassifikation SAE-Level 2 steuert.
Aufmerksamkeitssystem nach Anspruch 1, wobei die Aufmerksamkeitsverminderung ein Maß angibt, in wieweit der Bediener die aktuelle Betriebsumgebung und autonomen Betrieb des Fahrzeugs durch die aktuelle Betriebsumgebung wahrnimmt, wobei das Aufmerksamkeitsmodul ferner Anweisungen umfasst, das Konzentrationsniveau zu berechnen, indem dynamische Fahrzeugdaten zusammen mit den Bedienerzustandsinformationen analysiert werden, um bei dem Konzentrationsniveau die aktuelle Betriebsumgebung des Fahrzeugs zu berücksichtigen, und wobei die dynamischen Fahrzeugdaten mindestens Telematik des Fahrzeugs, einen aktuellen Standort des Fahrzeugs und Wetterinformationen umfassen, und wobei das Konzentrationsniveau ein aktuelles geistiges Bewusstsein des Bedieners bezüglich dem autonomen Betrieb des Fahrzeugs und der aktuellen Betriebsumgebung angibt.
Aufmerksamkeitssystem nach Anspruch 1, wobei das Überwachungsmodul ferner Anweisungen umfasst, den Bediener zu überwachen, indem mindestens Blickdaten einer Eye-Tracking-Kamera gesammelt werden, die eine Richtung identifizieren, in welche der Bediener aktuell blickt, wobei die Blickdaten ferner eine Blickspur umfassen, welche einen Pfad identifiziert, wohin der Bediener über eine Zeitspanne gesehen hat, wobei das Aufmerksamkeitsmodul ferner Anweisungen umfasst, das Konzentrationsniveau zu berechnen, indem das Konzentrationsniveau als eine statistische Wahrscheinlich erzeugt wird, dass der Bediener sich auf die aktuelle Betriebsumgebung konzentriert, und wobei das Aufmerksamkeitsmodell ein Statistikmodell ist, das eine wahrscheinliche Aufmerksamkeitsverminderung des Bedieners abhängig von den Bedienerzustandsinformationen und der aktuellen Betriebsumgebung charakterisiert.
Aufmerksamkeitssystem nach Anspruch 1, wobei das Aufmerksamkeitsmodul ferner Anweisungen umfasst, das Aufmerksamkeitsmodell gemäß den Bedienerzustandsinformationen und hervorgerufenen Reaktionen, die bei dem Bediener ansprechend auf das mindestens eine grafische Elemente beobachtet wurden, zu aktualisieren, um das Rendern an den Bediener anzupassen.
Aufmerksamkeitssystem nach Anspruch 1, wobei das Überwachungsmodul, das Aufmerksamkeitsmodul und das Rendermodul auf dem einen oder den mehreren Prozessoren mittels einer Rückkopplungsschleife parallel ausgeführt werden, um die Bedienerzustandsinformationen dynamisch zu aktualisieren, iterativ das Konzentrationsniveau zu berechnen und das Rendern des mindestens einen grafischen Elements gemäß den Änderungen, die bei dem Konzentrationsniveau beobachtet werden, anzupassen, wobei das Fahrzeug gemäß einer Autonomie von SAE-Level 2 betrieben wird, während das Überwachungsmodul, das Aufmerksamkeitsmodul und das Rendermodul parallel ausgeführt werden und wobei das Rendermodul ferner Anweisungen umfasst, das mindestens eine grafische Elemente zu rendern, um die Aufmerksamkeit des Bedieners für den Fall zu halten, in dem das Fahrzeug eine Übergabe der manuellen Steuerung an den Bediener durchführt.
Aufmerksamkeitssystem nach Anspruch 1, wobei das Rendermodul ferner Anweisungen umfasst, das mindestens eine grafische Element durch eine oder mehrere der folgenden Aktionen zu rendern: (i) Variieren einer Undurchsichtigkeit einer Überlagerung auf der AR-Anzeige gemäß des Konzentrationsniveaus, (ii) Variieren einer Anzahl an grafischen Elementen, die auf der AR-Anzeige angezeigt werden, (iii) Rendern des mindestens einen grafischen Elements innerhalb einer Sichtlinie des Bedieners auf der AR-Anzeige und (v) Rendern von Text auf der AR-Anzeige, der Fragen für den Bediener über Aspekte der aktuellen Betriebsumgebung umfasst, die von dem mindestens einem Sensor des Fahrzeugs erfasst wurde.
Aufmerksamkeitssystem nach Anspruch 1, wobei das Rendermodul ferner Anweisungen umfasst, das mindestens eine grafische Element zu rendern, indem Punktwolkendaten von einem LIDAR-Sensor des Fahrzeugs als Überlagerung auf der AR-Anzeige gerendert werden.
Nicht-flüchtiges, computerlesbares Medium zur Verringerung von Aufmerksamkeitsverminderung eines Bedieners in einem Fahrzeug und Speichern von Anweisungen, die, wenn sie von einem oder mehreren Prozessoren ausgeführt werden, den einen oder die mehreren Prozessoren veranlassen: den Bediener zu überwachen, indem mittels mindestens einem Sensor des Fahrzeugs Bedienerzustandsinformationen gesammelt werden; ein Konzentrationsniveau des Bedieners gemäß einem Aufmerksamkeitsmodell und den Bedienerzustandsinformationen zu berechnen, um das Maß an Aufmerksamkeitsverminderung, das der Bediener aktuell erlebt, zu charakterisieren; und auf einer Augmented-Reality-Anzeige (AR-Anzeige) in dem Fahrzeug mindestens ein grafisches Element in Abhängigkeit des Konzentrationsniveaus zu rendern, um den Bediener dazu zu bringen, bezüglich einem Betrieb des Fahrzeugs und einer aktuellen Betriebsumgebung des Fahrzeugs aufmerksam zu bleiben.
Nicht-flüchtiges, computerlesbares Medium nach Anspruch 9, wobei die Anweisungen zur Überwachung, Berechnung und Rendern auf dem einen oder den mehreren Prozessoren parallel mittels einer Rückkopplungsschleife ausgeführt werden, um die Bedienerzustandsinformationen dynamisch zu aktualisieren, iterativ das Konzentrationsniveau zu berechnen und das Rendern des mindestens einen grafischen Elements gemäß den Änderungen, die bei dem Konzentrationsniveau beobachtet werden, anzupassen, wobei das Fahrzeug gemäß einer Autonomie des SAE-Levels 2 betrieben wird, während die Anweisungen zur Überwachung, Berechnung und Rendern auf dem einen oder den mehreren Prozessoren parallel ausgeführt werden und wobei die Anweisungen, das mindestens eine grafische Element zu rendern, die Aufmerksamkeit des Bedieners für den Fall aufrechterhalten, in dem das Fahrzeug eine Übergabe der manuellen Steuerung an den Bediener durchführt.
Nicht-flüchtiges, computerlesbares Medium nach Anspruch 9, wobei die Anweisungen zur Überwachung des Bedieners ferner Anweisungen umfassen, mindestens Blickdaten einer Eye-Tracking-Kamera zu sammeln, die eine Richtung identifizieren, in welche der Bediener aktuell blickt, wobei die Blickdaten ferner eine Blickspur umfassen, welche einen Pfad identifiziert, wohin der Bediener über eine Zeitspanne gesehen hat, wobei die Anweisungen zur Berechnung des Konzentrationsniveaus ferner Anweisungen umfassen, das Konzentrationsniveau als eine statistische Wahrscheinlich zu erzeugen, dass der Bediener sich aktuell auf die aktuelle Betriebsumgebung konzentriert und wobei das Aufmerksamkeitsmodell ein Statistikmodell ist, das eine wahrscheinliche Aufmerksamkeitsverminderung des Bedieners abhängig von den Bedienerzustandsinformationen und der aktuellen Betriebsumgebung charakterisiert.
Nicht-flüchtiges, computerlesbares Medium nach Anspruch 9, wobei die Anweisungen, das mindestens eine grafische Element zu rendern, Anweisungen umfassen, Visualisierungen auf der AR-Anzeige mittels Daten von einem oder mehreren Sensoren des Fahrzeugs als Überlagerung auf der AR-Anzeige zu rendern, wobei die Anweisungen, das mindestens eine grafische Element zu rendern, Anweisungen umfassen, interne Zustandsinformationen eines autonomen Fahrmoduls zu rendern, welche aktuelle Entscheidungen und Situationsbewusstsein des autonomen Fahrmoduls über die aktuelle Betriebsumgebung angeben, und wobei das autonome Fahrmodul das Fahrzeug gemäß einer Klassifikation SAE-Level 2 steuert.
Nicht-flüchtiges, computerlesbares Medium nach Anspruch 9, wobei die Anweisungen, das mindestens eine grafische Element zu rendern, ferner Anweisungen umfassen, Punktwolkendaten von einem LIDAR-Sensor des Fahrzeugs als grafische Überlagerung auf der AR-Anzeige zu rendern.
Verfahren zur Verringerung von Aufmerksamkeitsverminderung eines Bedieners in einem Fahrzeug mit einer Augmented-Reality-Anzeige (AR-Anzeige), aufweisend: Überwachen des Bedieners durch Sammeln von Bedienerzustandsinformationen mittels mindestens einem Sensor des Fahrzeugs; Berechnen eines Konzentrationsniveaus des Bedieners gemäß einem Aufmerksamkeitsmodell und den Bedienerzustandsinformationen, um ein Maß an Aufmerksamkeitsverminderung, das der Bediener aktuell erlebt, zu charakterisieren; und Rendern von mindestens einem grafischen Element auf einer Augmented-Reality-Anzeige (AR-Anzeige) in dem Fahrzeug in Abhängigkeit des Konzentrationsniveaus, um den Bediener dazu zu bringen, bezüglich einem autonomen Betrieb des Fahrzeugs und einer aktuellen Betriebsumgebung des Fahrzeugs aufmerksam zu bleiben.
Verfahren nach Anspruch 14, wobei das Überwachen des Bedieners, Berechnen des Konzentrationsniveaus und Rendern des mindestens einen grafischen Elements mittels einer Rückkopplungsschleife aktualisierter Bedienerzustandsinformationen von dem mindestens einen Sensor parallel ausgeführt werden, um das Konzentrationsniveau iterativ zu berechnen und das Rendern des mindestens einen grafischen Elements an die Aufmerksamkeit anzupassen, die bei dem Bediener hervorgerufen wird, wobei das Fahrzeug gemäß einer Autonomie des SAE-Levels 2 betrieben wird, während Überwachung, Berechnung und Rendern parallel ausgeführt werden, und wobei das Rendern von dem mindestens einem grafischen Element die Aufmerksamkeit des Bedieners für den Fall aufrechterhält, in dem das Fahrzeug eine Übergabe manueller Steuerung an den Bediener durchführt.
Verfahren nach Anspruch 14, wobei die Aufmerksamkeitsverminderung ein Maß angibt, in wieweit der Bediener die aktuelle Betriebsumgebung und Fortkommen des Fahrzeugs durch die aktuelle Betriebsumgebung wahrnimmt, wobei das Berechnen des Konzentrationsniveaus ferner das Analysieren von dynamischen Fahrzeugdaten zusammen mit den Bedienerzustandsinformationen umfasst, um die aktuelle Betriebsumgebung des Fahrzeugs bei der Berechnung des Konzentrationsniveaus zu berücksichtigen, wobei die dynamischen Fahrzeugdaten mindestens Telematik des Fahrzeugs, einen aktuellen Standort des Fahrzeugs und Wetterinformationen umfassen, und wobei das Konzentrationsniveau ein aktuelles geistiges Bewusstsein des Bedieners bezüglich dem autonomen Betrieb des Fahrzeugs und der aktuellen Betriebsumgebung angibt.
Verfahren nach Anspruch 14, wobei das Überwachen des Bedieners das Sammeln von mindestens Blickdaten einer Eye-Tracking-Kamera umfasst, die eine Richtung identifizieren, in welche der Bediener aktuell blickt, wobei die Blickdaten ferner eine Blickspur umfassen, die einen Pfad identifiziert, wohin der Bediener über eine Zeitspanne gesehen hat, wobei das Berechnen des Konzentrationsniveaus das Erzeugen des Konzentrationsniveaus als statistische Wahrscheinlich umfasst, dass der Bediener sich aktuell auf die aktuelle Betriebsumgebung konzentriert und wobei das Aufmerksamkeitsmodell ein Statistikmodell ist, das eine wahrscheinliche Aufmerksamkeitsverminderung des Bedieners abhängig von den Bedienerzustandsinformationen gemäß der aktuellen Betriebsumgebung charakterisiert.
Verfahren gemäß Anspruch 14, ferner aufweisend: Aktualisieren des Aufmerksamkeitsmodells gemäß den Bedienerzustandsinformationen und hervorgerufenen Reaktionen, die bei dem Bediener gemäß dem Rendern des mindestens einen grafischen Elements beobachtet wurden, um das Rendern an den Bediener anzupassen.
Verfahren nach Anspruch 14, wobei das Rendern des mindestens einen grafischen Elements ferner Anweisungen umfasst, Visualisierungen auf der AR-Anzeige mittels Daten von dem einem oder den mehreren Sensoren des Fahrzeugs als Überlagerung auf der AR-Anzeige zu rendern, wobei das Rendern von dem mindestens einen grafischen Element das Rendern von internen Zustandsinformationen eines autonomen Fahrmoduls umfasst, das aktuelle Entscheidungen und Situationsbewusstsein des autonomen Fahrmoduls über die aktuelle Betriebsumgebung angibt, und wobei das autonome Fahrmodul das Fahrzeug gemäß einer Klassifikation SAE-Level 2 steuert.
Verfahren nach Anspruch 14, wobei das Rendern von dem mindestens einem grafischen Element ferner eines oder mehrere der folgenden Aktionen umfasst: (i) Variieren einer Undurchsichtigkeit einer Überlagerung auf der AR-Anzeige gemäß des Konzentrationsniveaus, (ii) Variieren einer Anzahl an grafischen Elementen, die auf der AR-Anzeige angezeigt werden, (iii) Hinzuführen zusätzlicher Elemente innerhalb einer Sichtlinie des Bedieners auf der AR-Anzeige, (iv) Rendern von Punktwolkendaten von einem LIDAR-Sensor des Fahrzeugs als grafische Überlagerung auf der AR-Anzeige, und (v) Rendern von Text auf der AR-Anzeige, der Fragen für den Bediener über Aspekte der aktuellen Betriebsumgebung umfasst, die von dem mindestens einem Sensor des Fahrzeugs erfasst wurde.