-
Die Erfindung betrifft ein Verfahren zur Unterstützung eines Fahrers eines Kraftfahrzeugs in einer Verkehrssituation hinsichtlich für die Verkehrssituation relevanter Objekte, wobei das Kraftfahrzeug wenigstens einen auf das Vorfeld des Kraftfahrzeugs gerichteten Umgebungssensor, wenigstens einen zur Blickrichtungs- und Fixationserkennung der Augen des Fahrers ausgebildeten Fahrersensor und wenigstens einen Scheinwerfer mit einem ansteuerbar veränderbaren räumlichen Ausleuchtmuster aufweist. Daneben betrifft die Erfindung ein Kraftfahrzeug.
-
Fahrzeugsysteme in modernen Kraftfahrzeugen weisen zunehmend höhere Leistungsfähigkeiten und verbesserte Funktionalitäten auf, die genutzt werden können, um den Fahrbetrieb für den Fahrer angenehmer und sicherer zu gestalten. Beispielsweise sind Umfeldsensoriken moderner Kraftfahrzeuge, die verschiedenste Arten von Sensoren umfassen können, in der Lage, durch Auswerten der Sensordaten und insbesondere auch Sensordatenfusionen verschiedenste Objekte im Umfeld von Kraftfahrzeugen zu detektieren, zu lokalisieren und zu klassifizieren, sowie gegebenenfalls weitere Objektdaten zu diesen Objekten zu sammeln, beispielsweise im Fall weiterer Verkehrsteilnehmer deren Geschwindigkeiten, Beschleunigungen und dergleichen. Beispiele für aktuell in Kraftfahrzeugen eingesetzte Umgebungssensoren umfassen Kameras, Radarsensoren, Lidarsensoren, Laserscanner, Ultraschallsensoren und dergleichen. Für Kraftfahrzeuge ist es auch bekannt, innerhalb des Kraftfahrzeugs Sensoren einzusetzen, beispielsweise Fahrersensoren, die beispielsweise den Zustand des Fahrers, seine Aufmerksamkeit und sein Blickverhalten überwachen können.
-
Auch bezüglich der Hinweisgabe innerhalb und außerhalb des Kraftfahrzeugs sind Fortschritte erzielt worden. Beispielsweise sind neben Head-up-Displays (HUD), die die Informationswiedergabe im Blickfeld des Fahrers auf die Verkehrssituation erlauben, auch Scheinwerfer mit anpassbarem räumlichen Ausleuchtmuster vorgeschlagen worden. Derartige Scheinwerfersysteme, die bei vier- oder mehrrädrigen Kraftfahrzeugen meist zwei Frontscheinwerfer umfassen, nutzen beispielsweise Mikrospiegelanordnungen und/oder einzeln ansteuerbare Lichtquellen, insbesondere LEDs, und/oder ansteuerbare Flüssigkristallmasken, um das Ausleuchtmuster situationsspezifisch anpassen zu können, beispielsweise zur Vermeidung einer Blendung Fahrer anderer Verkehrsteilnehmer aus dem Ausleuchtmuster auszunehmen und dergleichen. Dabei wird der Ausleuchtbereich beziehungsweise das Ausleuchtmuster üblicherweise in sogenannte Scheinwerferpixel unterteilt, die mittels einer entsprechenden Scheinwerfersteuereinheit einzeln ansteuerbar sind. Auf diese Weise ist es auch möglich, bestimmte, beispielsweise der Information dienende Bilder auf den Untergrund und/oder an Wände zu projizieren oder dergleichen. Möglich ist es beispielsweise auch, Kurvenbereiche auszuleuchten.
-
Hinsichtlich der Sicherheit innerhalb des Kraftfahrzeugs stellt das Übersehen von Objekten im Umfeld des Kraftfahrzeugs, beispielsweise von Hindernissen, Schildern, Personen, Tieren, anderen Verkehrsteilnehmern und dergleichen einen relevanten Faktor dar. Zwar können durch die erwähnten modernen Umgebungssensoriken von Kraftfahrzeugen eine Vielzahl dieser Objekte detektiert werden, was jedoch in Fällen, in denen dem Fahrer vollständig die Fahrzeugführung obliegt, nur teilweise, beispielsweise durch Notbremsaktionen oder dergleichen, einen Mehrwert bringen kann. Insbesondere in weniger kritischen Situationen kann aus dem Übersehen eines Objekts außerhalb des Kraftfahrzeugs ein allgemeines Fehlverhalten resultieren, welches durch Sicherheitssysteme nicht zwangsläufig vorhersagbar ist. Hieraus kann eine erhöhte Gefahr für Unfälle resultieren.
-
DE 10 2013 217 405 A1 schlägt Verfahren und Systeme zur Überwachung einer Objekterkennung durch einen Fahrer vor. Dabei wird vorgeschlagen, externe Sensordaten, welche eine Szene außerhalb des Fahrzeugs wiedergeben, sowie interne Sensordaten, welche ein Bild vom Fahrer wiedergeben, zu empfangen. Auf Basis der externen und internen Sensordaten wird bestimmt, ob der Fahrer den Gegenstand beziehungsweise Objekt erkannt hat, wobei wahlweise ein Steuersignal erzeugt wird, um ein Head-Up-System anzusteuern, das das Objekt graphisch auf einer Windschutzscheibe des Fahrzeugs wiedergibt. Die internen Sensordaten werden ausgewertet, um ein Blickfeld des Fahrers zu bestimmen. Es wird geschlussfolgert, dass der Fahrer nicht auf ein Objekt geblickt hat, wenn sich das Objekt nicht im Blickfeld des Fahrers befindet.
-
Mit anderen Worten wird dort vorgeschlagen, alle Objekte im Head-up-Display anzuzeigen, und zwar gegebenenfalls in unterschiedlichen Farben, unabhängig davon, welche Relevanz diese Objekte aufweisen. Ein Head-up-Display stellt eine ungünstige Variante dar, Aufmerksamkeit zu erregen, da der Blick des Fahrers üblicherweise nur eingeschränkt auf auf seine Windschutzscheibe projizierte Objekte gerichtet wird, gegebenenfalls, ohne dass dieser sie gut erkennen kann. Ferner ist durch die Tatsache, dass ein Objekt sich im Blickfeld des Fahrers befindet, noch nicht sichergestellt, dass der Fahrer das Objekt auch tatsächlich erkannt, mithin wahrgenommen und bei seinen Überlegungen zur Fahrzeugführung berücksichtigt hat. Mithin besteht noch ein deutlicher Verbesserungsbedarf.
-
DE 10 2013 206 739 A1 betrifft ein Verfahren zur Bestimmung, ob ein Insasse eines Fahrzeugs relevante Objekte im Umfeld des Fahrzeugs bemerkt. Dazu werden Beschreibungen von Objekten im Umfeld des Fahrzeugs, die mittels einer Umfeldsensorik des Fahrzeugs erkannt wurden, empfangen und es werden relevante Objekte im Umfeld des Fahrzeugs bestimmt. Gleichzeitig werden Aufnahmen einer Kamera, die an einer Trageeinrichtung, insbesondere einer Brille, montiert ist, entgegengenommen, wobei bestimmt wird, ob die relevanten Objekte im Umfeld des Fahrzeugs auch in den Aufnahmen der Kamera vorhanden sind. Dabei kann ein Hinweis oder eine Warnung ausgegeben werden, wenn ein relevantes Objekt nicht bemerkt wurde. Der Hinweis wird dabei ebenso über die Trageeinrichtung, gegebenenfalls auch akustisch, ausgegeben und zeigt die Richtung des Objekts an.
-
Eine solche Trageeinrichtung, insbesondere eine Brille, ist jedoch dem Komfort des Fahrers nicht zuträglich. Zudem ist es eine Voraussetzung, um die Hinweise korrekt auszugeben, dass die Trageeinrichtung auch auf eine korrekte Art und Weise am Kopf des Fahrers angeordnet ist. Auch hier besteht noch ein deutliches Verbesserungspotential.
-
DE 10 2016 201 939 A1 betrifft eine Vorrichtung, ein Verfahren und ein Computerprogramm zur Verbesserung der Wahrnehmung bei Kollisionsvermeidungssystemen. Dabei kann eine plötzlich gesteigerte Aufmerksamkeit des Fahrers durch geeignete Sensoren registriert werden. Nachdem zusätzlich eine zugehörige Blickrichtung des Fahrers sensorisch erfasst werden kann, können die vom Fahrer erfassten Informationen bei der Ermittlung einer Gefahrensituation berücksichtigt werden, insbesondere ein Objekt detektiert und in seiner Existenzsicherheit überprüft werden. Nur bei ausreichender Sicherheit der Existenz der Objekte sind Eingriffe in das Fahrverhalten des Fahrzeugs oder Warnmaßnahmen für den Fahrer zu rechtfertigen. Mithin wird hier die Blickrichtung des Fahrers genutzt, um gezielt bestimmte Objekte, die dieser erkannt hat, zu detektieren.
-
DE 10 2015 225 410 A1 offenbart ein Verfahren und eine Steuereinheit zur Vermeidung von Gefahrensituationen im Straßenverkehr, wobei vorgeschlagen wird festzustellen, ob von einem Gefahrenort eine Gefahrensituation für einen anderen Verkehrsteilnehmer als das eigene Fahrzeug besteht, die dieser nicht erfassen kann. Hierzu wird eine optische Ausgabe vorgeschlagen, die die Aufmerksamkeit des anderen Verkehrsteilnehmers auf die Gefahrensituation und/oder den Gefahrenort lenkt, wobei insbesondere ein Projizieren auf die Fahrbahn, insbesondere die Projektion eines Symbols, vorgesehen sein kann.
-
DE 10 2016 001 692 A1 betrifft ein Fahrerassistenzsystem zur Steuerung einer Lichtabstrahlung einer fahrzeugseitigen Scheinwerfereinrichtung. Eine Umfeld-Auswertungseinrichtung wertet Daten einer Umfeld-Erfassungseinrichtung dahingehend aus, an welcher Position relativ zu wenigstens einem Scheinwerfer sich Objekte im erfassten Umfeld des Fahrzeugs befinden, wobei eine Steuereinrichtung das Pixellichtsystem wenigstens eines Scheinwerfers derart steuern kann, dass wenigstens ein im Umfeld des Fahrzeugs erkanntes Objekt mittels Licht des Pixellichtsystems angeleuchtet werden kann. Die dortige Fahrerassistenzeinrichtung umfasst ferner eine Fahrer-Beobachtungseinrichtung, wobei die Lichtabstrahlung des Pixellichtsystems von wenigstens einem Scheinwerfer derart gesteuert wird, dass das wenigstens eine im Umfeld des Fahrzeugs erkannte Objekt dann oder nur dann mittels Licht des Pixellichtsystems angeleuchtet oder verstärkt angeleuchtet wird, wenn die festgestellte Blickrichtung des Fahrers in die Richtung dieses Objekts weist.
-
Der Erfindung liegt daher die Aufgabe zugrunde, eine Möglichkeit zur verbesserten Unterstützung des Fahrers bei der Erkennung von Objekten in der Umgebung des Kraftfahrzeugs, insbesondere im Vorfeld des Kraftfahrzeugs, bereitzustellen.
-
Zur Lösung dieser Aufgabe sind bei einem Verfahren der eingangs genannten Art erfindungsgemäß folgende Schritte vorgesehen:
- - Detektion und Klassifikation sowie Lokalisierung von Objekten im Vorfeld des Kraftfahrzeugs in Sensordaten des wenigstens einen Umgebungssensors zur Ermittlung einer ersten Objektliste mit den detektierten Objekten zugeordneten Objektdaten,
- - Ermittlung von von dem Fahrer erkannten und nichterkannten Objekten durch Abgleich der ersten Objektliste mit aus den Sensordaten des Fahrersensors ermittelten Fixationsrichtungen zur Erzeugung einer zweiten Objektliste von nichterkannten Objekten,
- - bei Erfüllung einer Hinweisbedingung für wenigstens ein Anleuchtobjekt der zweiten Objektliste gezieltes Anleuchten des wenigstens einen Anleuchtobjekts mittels des wenigstens einen Scheinwerfers zum Hinweis des Fahrers auf das Anleuchtobjekt.
-
Erfindungsgemäß wird also zunächst auch eine Objekterkennung genutzt, um Objekte insbesondere im Vorfeld des Kraftfahrzeugs mittels Umgebungssensoren beziehungsweise durch Auswertung von deren Sensordaten zu detektieren, um eine Information über dort vorhandene Objekte zu erhalten, mithin die erste Objektliste. Die erste Objektliste kann beispielsweise auch in Form einer insbesondere objektorientierten Umfeldkarte des Kraftfahrzeugs vorliegen, wie dies im Stand der Technik grundsätzlich bekannt ist. Dabei können eine Vielzahl unterschiedlicher Umgebungssensoren im Rahmen der vorliegenden Erfindung eingesetzt werden. Beispielsweise kann als der wenigstens eine Umgebungssensor eine Kamera und/oder ein Radarsensor und/oder ein Lidarsensor und/oder ein Laserscanner und/oder ein Ultraschallsensor verwendet werden, wobei diese unterschiedlichen Sensorarten selbstverständlich auch mehrfach vorgesehen sein können, beispielsweise im Hinblick auf Radarsensoren. Auch eine 360°-Abdeckung des Umfeldes kann durch die Umgebungssensorik des Kraftfahrzeugs realisiert werden. Durch grundsätzlich bekannte Auswertungstechniken, insbesondere Sensordatenfusion und/oder allgemeine Informationsfusion und/oder die Nutzung weiterer Informationen, beispielsweise von Kartendaten in Bezug auf die aktuelle Geoposition des Kraftfahrzeugs, können aus den Sensordaten Objekte detektiert, klassifiziert und lokalisiert werden, beispielsweise in einem für das Kraftfahrzeug allgemein genutzten Koordinatensystem und/oder auch als Geokoordinaten. Die Objektklasse, die Objektposition, welche auch eine Orientierung umfassen kann, sowie gegebenenfalls weitere Informationen werden den Objekten der ersten Objektliste als Objektdaten zugeordnet. Dabei sei an dieser Stelle noch darauf hingewiesen, dass auch eine Kommunikationseinrichtung, insbesondere zur Kraftfahrzeug-zu-Kraftfahrzeug- beziehungsweise Kraftfahrzeug-zu-Infrastruktur-Kommunikation, als ein Umgebungssensor angesehen werden kann, wenn sie Sensordaten und/oder als Sensordaten auffassbare Umgebungsinformationen liefert. Derartige Objekterkennungssysteme sind im Stand der Technik bereits grundsätzlich bekannt und sollen daher vorliegend nicht im Detail erläutert werden. Objekte der ersten Objektliste können beispielsweise Verkehrsschilder, Fußgänger, Hindernisse, andere Verkehrsteilnehmer und dergleichen sein.
-
Die Objektdaten können und sollten, wie dargelegt wurde, zumindest teilweise mehr Informationen als die Position und die Objektklasse enthalten. Beispielsweise kann vorgesehen sein, dass für wenigstens eines der Objekte der ersten Objektliste als Objektdaten eine Bedeutungsinformation ermittelt wird. Dies kann beispielsweise dann sinnvoll sein, wenn ein Verkehrsschild als Objekt detektiert wurde, da dann dessen Bedeutungsgehalt, beispielsweise unter Nutzung geeigneter Verkehrszeichenerkennungsalgorithmen, ebenso ermittelt werden kann. Ferner kann vorgesehen sein, dass für wenigstens eines der Objekte der ersten Objektliste als Objektdaten eine Relativgeschwindigkeit oder eine Beschleunigung des Objekts ermittelt wird. Derartige Informationen sind beispielsweise bei Radarsensoren als Umgebungssensoren leicht ebenso ermittelbar und erlauben insbesondere die Unterscheidung zwischen statischen und dynamischen Objekten, insbesondere bestimmten weiteren Verkehrsteilnehmern.
-
Eine wesentliche Rolle im Rahmen der vorliegenden Erfindung, insbesondere bezüglich der Hinweisbedingung, spielt die aktuelle Verkehrssituation, nachdem anhand der Hinweisbedingung letztlich die Bedeutung übersehener Objekte hinsichtlich der Verkehrssituation beurteilt werden kann. Hierbei kann vorgesehen sein, dass zur Charakterisierung der Verkehrssituation, insbesondere zur Ermittlung von Verkehrssituationsdaten, beispielsweise zur Auswertung hinsichtlich der Relevanz von Objekten und/oder zur Auswertung der Hinweisbedingung, innerhalb des Kraftfahrzeugs vorliegendes Kartenmaterial, insbesondere eines Navigationssystems, und/oder aktuelle Dynamikdaten des Kraftfahrzeugs und/oder aktuelle Umgebungsbedingungsinformationen verwendet werden. Mithin werden zweckmäßigerweise im Rahmen der vorliegenden Erfindung auch verschiedenste weitere, ebenso die Verkehrssituation charakterisierende Informationsquellen herangezogen. Es kann beispielsweise vorausgesetzt werden, dass das aktuelle Fahrverhalten des Kraftfahrzeugs, mithin aktuelle Dynamikdaten, über entsprechende Sensoren, beispielsweise auch Egosensoren, bekannt ist, und/oder dass über Kartendaten Informationen zur Umgebung sowie zu Verkehrsbedingungen, beispielsweise zu Schildern, Geschwindigkeitsbegrenzungen, Zebrastreifen, Straßenzustand und dergleichen bekannt sind. Aktuelle Umgebungsbedingungsinformationen können beispielsweise auch eine Klasse der durchfahrenen Umgebung, beispielsweise innerorts, außerorts, Autobahn und dergleichen, und/oder den aktuellen Verkehrsfluss betreffen.
-
Der Fahrersensor kann zweckmäßigerweise einen sogenannten Eye-Tracker und/oder eine Fahrerbeobachtungskamera umfassen. Wesentlich für die vorliegende Erfindung ist dabei, dass durch Auswertung der Sensordaten des wenigstens einen Fahrersensors nicht nur das allgemeine Blickfeld des Fahrers erfasst wird, sondern tatsächlich eine Fixationsrichtung. Denn ein Objekt im Vorfeld des Kraftfahrzeugs wird bei der Beobachtung der Verkehrssituation nicht dadurch erkannt, dass der Blick des Fahrers es überstreicht, sondern durch bewusste Wahrnehmung, für die das Objekt zumindest für einen kurzen Zeitraum fixiert wird. Diese Fixation kann in Sensordaten moderner Fahrersensoren ebenso festgestellt werden, so dass sich gemeinsam mit der aktuellen Blickrichtung eine Fixationsrichtung ergibt, in der etwas vom Fahrer tatsächlich Erkanntes liegt. Konkrete Algorithmen, um eine derartige Fixationsrichtung zu ermitteln, wurden im Stand der Technik in verschiedenen Kontexten bereits vorgeschlagen und müssen daher nicht im Detail hier dargelegt werden. Besonders vorteilhaft ist es in diesem Zusammenhang jedoch, wenn zur Ermittlung der Fixationsrichtung aus den Sensordaten des wenigstens einen Fahrersensors ein Auswertungsalgorithmus der künstlichen Intelligenz angewendet wird, nachdem zum Blickverhalten einer Person leicht Trainingsdaten erfasst werden können und durch Maschinenlernen zum Trainieren des Auswertungsalgorithmus eingesetzt werden können. Die Blickrichtungs- und Fixationsrichtungsanalyse hat sich dabei durch Methoden der künstlichen Intelligenz als besonders der Analyse zugänglich erwiesen.
-
Die erste Objektliste und die ermittelten Fixationsrichtungen werden miteinander abgeglichen, um festzustellen, welche Objekte vom Fahrer bewusst wahrgenommen wurden, also erkannt wurden, und welche Objekte vom Fahrer nicht bewusst wahrgenommen wurden, mithin nicht erkannt wurden. Mit anderen Worten wird ein Abgleich aus der Objekterkennung und der Blickerkennung dahingehend durchgeführt, inwieweit Objekte durch den Fahrer erkannt wurden. Nachdem die Fixationsrichtungen im selben Koordinatensystem vorliegen wie die Positionen und gegebenenfalls Orientierungen der Objekte in der ersten Objektliste, ist ein derartiger Abgleich leicht möglich, wobei idealerweise auch Verdeckungen beziehungsweise Teilverdeckungen berücksichtigt werden können.
-
Werden Objekte vom Fahrer übersehen, ist also die zweite Objektliste nicht leer, wird erfindungsgemäß die Aufmerksamkeit des Fahrers mittels des wenigstens einen Scheinwerfers, insbesondere der zwei Frontscheinwerfer, auf wenigstens ein ausgewähltes nicht erkanntes Objekt, das wenigstens eine Anleuchtobjekt, der zweiten Objektliste gerichtet, wenn die Hinweisbedingung entsprechend erfüllt ist. Die Hinweisbedingung dient im Wesentlichen einer Überprüfung, inwieweit tatsächlich eine hinreichende Kritikalität gegeben ist, um den Fahrer auf das nicht erkannte Objekt hinzuweisen, so dass vermieden werden kann, dass der Fahrer auf eine Vielzahl nicht erkannter Objekte hingewiesen wird, deren Nichterkennung jedoch die Fahrsicherheit nur im geringen Maße beeinträchtigt oder aus anderen Gründen nicht wesentlich ist, wie im Folgenden noch dargelegt werden wird.
-
Durch das Anleuchten des Anleuchtobjekts wird die Aufmerksamkeit des Fahrers auf eine natürliche, intuitive Weise auf dieses gelenkt. Dabei ist es besonders bevorzugt, wenn der wenigstens eine Scheinwerfer dazu angesteuert wird, das Anleuchtobjekt innerhalb eines bestimmten Zeitraums, beispielsweise von 0,5 bis 1,5 Sekunden Dauer, mehrmals, beispielsweise dreimal, kurz blitzartig anzuleuchten. Gerade derartige kurze Lichtblitze sind geeignet, die Aufmerksamkeit des Fahrers verlässlich auf das Anleuchtobjekt zu richten. Dabei ist es im Rahmen der vorliegenden Erfindung ohnehin bevorzugt, bei mehreren Anleuchtobjekten diese nacheinander anzuleuchten, so dass sie der Fahrer nacheinander bewusst wahrnehmen kann und nicht zwischen zwei Anleuchtobjekten hin- und hergerissen ist. Zum Anleuchten kann beispielsweise eine Markierungslicht-Funktion des wenigstens einen Scheinwerfers eingesetzt werden. Das Anleuchten erfolgt erfindungsgemäß bevorzugt derart, dass keine Blendung oder sonstige Ablenkung beispielsweise bei einem Fußgänger, einem Tier und/oder einem Fahrzeug mit Fahrer als Objekt auftritt. Das bedeutet, dass insbesondere das Anleuchten in Bereichen erfolgt, in denen sich keine Augen finden.
-
Insgesamt erlaubt es das erfindungsgemäße Vorgehen, Unfälle und Fehlverhalten von Fahrern aufgrund übersehener Objekte, beispielsweise übersehener Schilder, Fußgänger und/oder anderer Objekte, außerhalb des Fahrzeugs zu verringern beziehungsweise zu verhindern und die Sicherheit von Fahrzeugnutzern und anderen Verkehrsteilnehmern zu erhöhen. Insbesondere wird die Verlässlichkeit der Erkennung übersehener Objekte durch die Erkennung der Fixationsrichtung genauso erhöht wie die Verlässlichkeit der Lenkung der Aufmerksamkeit des Fahrers auf das Objekt durch die Nutzung des wenigstens einen Scheinwerfers, insbesondere der zwei Frontscheinwerfer eines Pkw oder Lkw. Durch die vorliegende Erfindung erleben Fahrer ein höheres Sicherheits- und Assistenzerlebnis beim Fahren in komplexen Fahrsituationen.
-
Der wenigstens eine Scheinwerfer kann dabei insbesondere ein hochaufgelöster Scheinwerfer, insbesondere ein hochaufgelöster LED-Scheinwerfer sein. Bevorzugt ist der Ausleuchtbereich in wenigstens 1000, insbesondere wenigstens 1000000, einzeln ansteuerbare Pixel aufgeteilt.
-
Zweckmäßigerweise wird eine Liste der Fixationsrichtungen über ein gleitendes Zeitfenster geführt. Auf diese Weise ergibt sich mithin ein Abgleich, der in einem relevanten Zeitraum durch den Fahrer bewusst wahrgenommene Objekte betrifft. Beispielsweise kann die Länge des Zeitfensters 5 bis 15 Sekunden betragen. Denkbar ist es auch, die Länge des Zeitfensters dynamisch, beispielsweise anhand einer Kritikalität der Verkehrssituation und/oder einer aktuellen Geschwindigkeit des Kraftfahrzeugs, anzupassen. Die Kritikalität der Verkehrssituation kann beispielsweise durch Kollisionswahrscheinlichkeiten, die von Sicherheitssystemen des Kraftfahrzeugs geliefert werden, Lichtverhältnisse und dergleichen beschrieben werden. In dieser zweckmäßigen Ausgestaltung wird im Abgleich also letztlich festgestellt, ob die Objekte der ersten Objektliste auch innerhalb eines relevanten Zeitfensters durch den Fahrer bewusst wahrgenommen wurden.
-
Vorzugsweise wird auf die Objekte der ersten Objektliste ein die Objekte als relevant oder nicht relevant für die Verkehrssituation klassifizierendes, insbesondere künstliche Intelligenz nutzendes, Relevanzkriterium angewendet, wobei zur Ermittlung der zweiten Objektliste und/oder zur Ermittlung des anzuleuchtenden Teils der Objekte nur als relevant klassifizierte Objekte herangezogen werden. Häufig ist es anhand moderner Umgebungssensoriken in Kraftfahrzeugen möglich, eine Vielzahl unterschiedlichster Objekte in der Umgebung des Kraftfahrzeugs, vorliegend insbesondere im Vorfeld des Kraftfahrzeugs, zu detektieren. Indem diese Anzahl an detektierten Objekten auf für die Verkehrssituation auch tatsächlich relevante Objekte reduziert wird, wird der Berechnungsaufwand im Rahmen der vorliegenden Erfindung deutlich reduziert und die Robustheit und Verlässlichkeit des hier beschriebenen Unterstützungssystems deutlich erhöht. Relevante Objekte können beispielsweise zum einen solche sein, mit denen das Kraftfahrzeug innerhalb der Verkehrssituation kollidieren oder anderweitig interagieren könnte und/oder solche, die das Fahrverhalten des Fahrers in der Verkehrssituation beeinflussen können, beispielsweise Verkehrsschilder, Ampeln, an einem Zebrastreifen wartende Fußgänger, Bodenwellen und dergleichen. Dabei können zur Bestimmung der Relevanz von Objekten auch Relevanzalgorithmen der künstlichen Intelligenz eingesetzt werden, da sich Maschinenlernen als Mittel zur Beurteilung der Relevanz von detektierten Objekten als ein nützliches Werkzeug erwiesen hat.
-
In einer besonders vorteilhaften Ausgestaltung der vorliegenden Erfindung kann vorgesehen sein, dass für wenigstens einen Teil der nichterkannten Objekte der zweiten Objektliste eine auf die Verkehrssituation bezogene Prioritätsinformation unter Berücksichtigung von die Verkehrssituation beschreibenden Verkehrssituationsdaten und den jeweiligen Objektdaten ermittelt wird, wobei die Hinweisbedingung die Prioritätsinformation auswertet. Dabei sei an dieser Stelle noch angemerkt, dass die Zahl der nichterkannten Objekte der zweiten Objektliste, insbesondere bei Nutzung eines Relevanzkriteriums, häufig ohnehin eher klein sein wird, was für die die Hinweisbedingung erfüllenden Anleuchtobjekte der zweiten Objektliste erst recht gilt, insbesondere bei einem aufmerksamen Fahrer. Das bedeutet, in vielen Fällen wird die Hinweisbedingung ein Objekt als Anleuchtobjekt auswählen; in seltenen Fällen können auch mehrere Anleuchtobjekte vorhanden sein, beispielsweise zwei bis vier Anleuchtobjekte. Die Prioritätsinformation kann einen Prioritätswert umfassen, so dass die Auswahl beispielsweise anhand eines Schwellwerts für den Prioritätswert erfolgen kann. Der Schwellwert kann in Ausführungsbeispielen auch dynamisch wählbar sein, beispielsweise in Abhängigkeit der Kritikalität der Verkehrssituation, insbesondere einer Kollisionswahrscheinlichkeit und dergleichen, möglich ist es aber selbstverständlich auch, dass eine solche Kritikalität der Verkehrssituation bereits in dem Prioritätswert selbst eingeht. Ein dynamisch wählbarer Schwellwert kann auch an einer maximalen Zahl auszuwählender Anleuchtobjekte orientiert sein.
-
Zweckmäßigerweise kann bei mehreren Anleuchtobjekten eine Anleuchtreihenfolge des Teils der Objekte in Abhängigkeit der Prioritätsinformation ermittelt werden, woraufhin die als Teil der Anleuchtreihenfolge bestimmten Objekte der zweiten Objektliste gemäß der Anleuchtreihenfolge nacheinander, insbesondere für jeweils eine vorbestimmte Zeitdauer und/oder intermittierend, angeleuchtet werden. Ein intermittierendes Anleuchten kann, wie bereits erwähnt, beispielsweise in Form von beabstandeten, kurzen Lichtblitzen auf das Anleuchtobjekt erfolgen. Durch die sukzessive Anleuchtung von Anleuchtobjekten wird dem Fahrer die Möglichkeit gegeben, jedes der Anleuchtobjekte einzeln bewusst wahrzunehmen, ohne dass es zu Irritationen kommt. Die vorbestimmte Zeitdauer kann, wie beispielsweise dargelegt, beispielsweise 0,5 bis 1,5 Sekunden betragen.
-
In einer besonders vorteilhaften Weiterbildung der vorliegenden Erfindung kann vorgesehen sein, dass zur Auswertung der Hinweisbedingung, insbesondere zur Ermittlung der Prioritätsinformation, ein Analysealgorithmus der künstlichen Intelligenz eingesetzt wird und/oder die Hinweisbedingung die Verkehrssituation beschreibende Verkehrssituationsdaten, insbesondere die Komplexität der Verkehrssituation und/oder wenigstens ein Gefahrenpotential wenigstens eines der nichterkannten Objekte, beispielsweise eine Kollisionswahrscheinlichkeit, und/oder die Objektdaten der nichterkannten Objekte auswertet. In diesem Zusammenhang ist es auch besonders zweckmäßig, wenn im Rahmen der Hinweisbedingung eine Verkehrssituations- und/oder objektbezogene, verfügbare Reaktionszeit, insbesondere in Abhängigkeit von der Komplexität der Verkehrssituation und/oder einer Geschwindigkeit des Kraftfahrzeugs und/oder wenigstens eines Objektes, ermittelt und ausgewertet wird. Mit anderen Worten werden dann, wenn Objekte vom Fahrer übersehen wurden, aus diesen Anleuchtobjekte auf der Grundlage von deren Sicherheitsrelevanz und auf der Sinnhaltigkeit des Lenkens der Aufmerksamkeit auf diese Objekte ausgewählt. Die verfügbare Reaktionszeit, welche beispielsweise in Abhängigkeit der Komplexität der Fahrsituation, der Geschwindigkeit des Kraftfahrzeugs und der Objekte bestimmt werden kann, gibt im Wesentlichen an, wieviel Zeit dem Fahrer bezüglich eines übersehenen Objektes noch bleibt, dieses in dem Sinne sinnvoll wahrzunehmen, dass er noch darauf reagieren und eine zweckmäßige Reaktion, beispielsweise zur Erhöhung der Sicherheit, einleiten kann. Wird beispielsweise ein potentielles Kollisionsobjekt übersehen, ist es nur dann sinnvoll, es anzuleuchten oder sogar später in der Reihenfolge anzuleuchten, wenn der Fahrer es in der verbleibenden Zeit bis zur potentiellen Kollision bewusst wahrnehmen und zweckmäßig darauf reagieren kann. Mithin ist die Verwendung einer verfügbaren Reaktionszeit eine besonders zweckmäßige Ausgestaltung. Weitere Beurteilungsaspekte im Rahmen der Hinweisbedingung können bereits anhand der Objektdaten beurteilt werden, beispielsweise, was die Art der Objekte, die Position der Objekte, die Geschwindigkeit der Objekte und dergleichen angeht. Auch die Sicherheitsrelevanz wird vorzugsweise berücksichtigt. Die Hinweisbedingung wählt also in einer bevorzugten Ausgestaltung in Abhängigkeit der Sicherheitskritikalität und der verfügbaren Reaktionszeit aus, welche Objekte der zweiten Objektliste und gegebenenfalls in welcher Reichenfolge beleuchtet werden sollen. Zweckmäßig kann in diesem Zusammenhang auch künstliche Intelligenz, vorliegend in Form des Analysealgorithmus, eingesetzt werden. Der Analysealgorithmus kann beispielsweise basierend auf Trainingsdaten aus erkannten Objekten, Kartendaten und Verhalten des Fahrers trainiert werden.
-
Eine besonders bevorzugte Weiterbildung der vorliegenden Erfindung sieht vor, dass im Rahmen der Auswertung des Relevanzkriteriums und/oder im Rahmen der Auswertung der Hinweisbedingung wenigstens ein Objekt der auszuwertenden Objektliste aufgrund einer das Betrachten wenigstens eines statischen der Objekte in einer Fahrt der aktuellen Strecke des Kraftfahrzeugs in der Vergangenheit durch den Fahrer beschreibenden Historieninformation als dem Fahrer bekannt oder dem Fahrer nicht bekannt identifiziert wird, wobei als dem Fahrer bekannt identifizierte Objekte, insbesondere unter Auswertung einer Zusatzbedingung, als irrelevant klassifiziert werden beziehungsweise als Anleuchtobjekt ausgeschlossen werden. Diese Ausgestaltung beruht auf der Erkenntnis, dass manche Fahrer ihnen bereits bekannte Tatsachen nicht mehr gezielt wahrnehmen müssen. Fährt ein Fahrer beispielsweise regelmäßig dieselbe Strecke und weiß, dass auf einem Streckenabschnitt eine gewisse Geschwindigkeitsbegrenzung vorliegt, wird er das entsprechende Schild nicht mehr bewusst wahrnehmen, da er die zugehörige Information bereits besitzt. Auch Hindernisse können einem Fahrer gegebenenfalls bereits bekannt sein, so dass er sie nicht mehr genau analysieren muss, sondern letztlich weiß, wie er sie umfahren kann, ohne sie bewusst wahrzunehmen. Zweckmäßigerweise kann vorgesehen sein, dass die Historieninformation unter Verwendung von Historiendaten vergangener Ermittlungen der zweiten Objektliste und/oder unter Einsatz von Maschinenlernen ermittelt werden. Mithin können die eigenen Ergebnisse eingesetzt werden, um dies zu beurteilen. Eine Zusatzbedingung in diesem Kontext kann beispielsweise sein, dass trotzdem der Fahrer eigentlich wissen müsste, dass ein Objekt vorhanden ist, genau dieses Objekt eine Gefahr darstellt, beispielsweise wenn eine besonders hohe Kollisionswahrscheinlichkeit mit einem eigentlich bekannten Hindernis oder dergleichen gegeben ist, so dass es dennoch sinnvoll sein kann, den Fahrer hierauf hinzuweisen.
-
Eine weitere, besonders vorteilhafte Ausgestaltung in diesem Kontext sieht vor, dass im Rahmen der Auswertung des Relevanzkriteriums und/oder im Rahmen der Auswertung der Hinweisbedingung wenigstens ein Objekt der auszuwertenden Objektliste mittels eines Kontextalgorithmus, insbesondere der künstlichen Intelligenz, als einen aus einem Umgebungskontext erschließbaren Bedeutungsgehalt aufweisend identifiziert wird, wobei als einen aus einem Umgebungskontext erschließbaren Bedeutungsgehalt aufweisend identifizierte Objekte als irrelevant identifiziert werden beziehungsweise als Anleuchtobjekt ausgeschlossen werden. Im Rahmen der vorliegenden Erfindung wurde festgestellt, dass gewisse Objekte in der Umgebung eines Kraftfahrzeugs nicht explizit wahrgenommen werden müssen, damit der Fahrer die ihrem Bedeutungsgehalt beiwohnende Information erhält. Mithin handelt es sich bei derartigen Objekten um solche, die nicht angesehen werden, deren Bedeutung aber aufgrund der Umgebung erkannt wird. Beispielsweise muss ein Ortschild nicht zwangsläufig angesehen werden, um zu erkennen, dass man sich in einem Innerorts-Bereich befindet, sondern es ist auch denkbar, dass dies durch Betrachtung der Umgebung (Häuser, Gärten, Bürgersteige, ...) genauso erschließbar ist. Insofern ist es nicht zwangsläufig wichtig, dass ein Fahrer dieses Schild tatsächlich explizit und bewusst wahrnimmt. Mithin kann im Rahmen der vorliegenden Erfindung vorgesehen sein, dass auf ein Nichterkennen dieser Objekte auch keine Aktion erfolgt. Derartige Objekte können beispielsweise aufgrund eines Kontextalgorithmus der künstlichen Intelligenz erkannt werden, der über geeignete Trainingsdaten trainiert wurde.
-
Besonders bevorzugt ist es im Rahmen der vorliegenden Erfindung auch, wenn für jedes Anleuchtobjekt nach dem Anleuchten durch Abgleich der Position des Anleuchtobjekts mit aus den Sensordaten des Fahrersensors ermittelten Fixationsrichtungen ermittelt wird, ob das Anleuchtobjekt durch den Fahrer erkannt wurde, wobei bei Nichterkennen eines Anleuchtobjekts wenigstens eine Warnmaßnahme durchgeführt wird. Das bedeutet, bei und/oder nach dem kurzzeitigen Anleuchten der Anleuchtobjekte wird über die Fusion der Blick- und Objekterkennung erneut überprüft, ob der Fahrer seinen Blick auf das entsprechende wenigstens eine Anleuchtobjekt richtet. Das bedeutet, es wird in dieser Ausgestaltung vorteilhaft überwacht, ob die Kennzeichnung der Anleuchtobjekte erfolgreich war und zu einem entsprechenden bewussten Wahrnehmen der Objekte durch den Fahrer geführt hat. Wird festgestellt, dass dies nicht der Fall ist, können entsprechend Maßnahmen ergriffen werden, um den Fahrer und/oder die Umgebung, insbesondere also andere Verkehrsteilnehmer zu warnen. Auf diese Weise wird eine weitere Erhöhung der Sicherheit erreicht.
-
Konkret kann in diesem Kontext beispielsweise vorgesehen sein, dass als Warnmaßnahme über den wenigstens einen Scheinwerfer und/oder wenigstens ein insbesondere akustisches oder optisches Ausgabemittel des Kraftfahrzeugs eine außerhalb des Kraftfahrzeugs wahrnehmbare Warnung anderer Verkehrsteilnehmer ausgegeben wird. Dabei kann konkret vorgesehen sein, dass die Warnung das nichterkannte Anleuchtobjekt anzeigt und/oder ein durch den wenigstens einen Scheinwerfer zu projizierendes Warnsymbol umfasst. Wird dadurch festgestellt, dass das Anleuchtobjekt trotz Anleuchten vom Fahrer nicht erkannt wurde, kann an die Scheinwerfersteuereinheit die Anweisung übertragen werden, über bevorzugt anleuchtobjektbezogene Warnsymbole mittels des wenigstens einen Scheinwerfers nach außen hin zu warnen, dass bestimmte Anleuchtobjekte, beispielsweise Fußgänger und dergleichen, nicht erkannt wurden. Das Anzeigen solcher Warnsymbole ist mit bestehenden hochauflösenden Scheinwerfersystemen bereits möglich. Darüber hinaus können weitere Ausgabemittel genutzt werden, weitere Arten von Warnungen, beispielsweise akustisch, an andere Verkehrsteilnehmer außerhalb des Kraftfahrzeugs zu übermitteln.
-
Hinsichtlich dieser nach außen wahrnehmbaren Warnungen sei noch darauf hingewiesen, dass diese auch sehr vorteilhaft eingesetzt werden können, wenn sich beispielsweise aus der bereits angesprochenen verfügbaren Reaktionszeit ergibt, dass diese nicht ausreichend ist, um den Fahrer auf das entsprechende Anleuchtobjekt aufmerksam zu machen und diesem die Zeit zur adäquaten Reaktion zu geben. Mit anderen Worten kann vorgesehen sein, dass dann, wenn ein nicht erkanntes Objekt der zweiten Objektliste aufgrund einer zu geringen ermittelten verfügbaren Reaktionszeit nicht als Anleuchtobjekt gewählt wurde und gegebenenfalls eine eine hohe Kritikalität anzeigende Warnbedingung erfüllt ist, als Warnmaßnahme über den wenigstens einen Scheinwerfer und/oder wenigstens ein insbesondere akustisches oder optisches Ausgabemittel des Kraftfahrzeugs eine außerhalb des Kraftfahrzeugs wahrnehmbare Warnung anderer Verkehrsteilnehmer ausgegeben wird, wobei insbesondere die Warnung das nichterkannte Objekt, für das eine zu kurze Reaktionszeit festgestellt wurde, anzeigt und/oder ein durch den wenigstens einen Scheinwerfer zu projizierendes Warnsymbol umfasst. Auf diese Weise kann, falls die Erregung der Aufmerksamkeit des Fahrers und dessen Reaktion nicht mehr rechtzeitig möglich erscheint, die Sicherheit wenigstens im Hinblick auf andere Verkehrsteilnehmer erhöht werden und so beispielsweise eine kritische Situation dennoch vermieden werden.
-
Bezüglich der Warnmaßnahme hinsichtlich eines nicht erkannten Anleuchtobjekts kann ferner vorgesehen sein, dass als Warnmaßnahme eine Warnung des Fahrers erfolgt, insbesondere wenigstens teilweise akustisch. Mithin kann auch der Fahrer selbst, wenn er schon das Anleuchtobjekt nicht bewusst wahrnimmt beziehungsweise erkennt, dazu gewarnt werden, allgemein eine höhere Aufmerksamkeit an den Tag zu legen, da eine kritische Verkehrssituation vorliegen könnte.
-
Neben dem Verfahren betrifft die Erfindung auch ein Kraftfahrzeug, aufweisend ein Fahrerassistenzsystem zur Unterstützung eines Fahrers des Kraftfahrzeugs in einer Verkehrssituation hinsichtlich für die Verkehrssituation relevanter Objekte, wobei das Fahrerassistenzsystem eine zur Durchführung des erfindungsgemäßen Verfahrens ausgebildete Steuereinrichtung aufweist, wobei das Kraftfahrzeug ferner aufweist: den wenigstens einen auf das Vorfeld des Kraftfahrzeugs gerichteten Umgebungssensor, den wenigstens einen zur Blickrichtung- und Fixationserkennung der Augen des Fahrers ausgebildeten Fahrersensor und den wenigstens einen Scheinwerfer mit dem ansteuerbar veränderbaren räumlichen Ausleuchtmuster. Sämtliche Ausführungen bezüglich des erfindungsgemäßen Verfahrens lassen sich analog auf das erfindungsgemäße Kraftfahrzeug übertragen, so dass auch mit diesem die bereits genannten Vorteile erhalten werden können. Insbesondere kann das hier beschriebene Fahrerassistenzsystem auch als Unterstützungssystem bezeichnet werden.
-
Weitere Vorteile und Einzelheiten der vorliegenden Erfindung ergeben sich aus den im Folgenden beschriebenen Ausführungsbeispielen sowie anhand der Zeichnung. Dabei zeigen:
- 1 einen schematischen Ablaufplan zur Erläuterung des erfindungsgemäßen Verfahrens,
- 2 eine schematische Zeichnung zum Anleuchten eines Anleuchtobjekts, und
- 3 eine Prinzipskizze eines erfindungsgemäßen Kraftfahrzeugs.
-
Ein Ausführungsbeispiel des erfindungsgemäßen Verfahrens soll im Folgenden mit Bezug auf 1 dargestellt werden. Das erfindungsgemäße Verfahren wird beim Betrieb eines Kraftfahrzeugs durch einen Fahrer eingesetzt und dient zur Unterstützung desselben in Verkehrssituationen hinsichtlich für die aktuelle Verkehrssituation relevanter Objekte.
-
Dazu wird in einem Schritt S1 ein Objekterkennungssystem mit wenigstens einem, üblicherweise mehreren, auf das Vorfeld des Kraftfahrzeugs gerichteten Umgebungssensoren genutzt, um eine erste Objektliste mit Objekten zu erstellen, wobei zweckmäßigerweise im Schritt S1 auch bereits ein Relevanzkriterium eingesetzt wird, um zu überprüfen, ob das jeweilig selektierte Objekt für die Verkehrssituation als Relevanz zu bewerten ist. Das bedeutet, idealerweise enthält die erste Objektliste nur für die aktuelle Verkehrssituation relevante Objekte, während andere detektierte Objekte bereits verworfen wurden. Als Umgebungssensoren können dabei beispielsweise Radarsensoren, Kameras, Lidarsensoren, Laserscanner, Ultraschallsensoren und dergleichen eingesetzt werden. Die Detektion der Objekte sowie die Ermittlung von im Folgenden noch genauer zu diskutierenden Objektdaten erfolgt dabei bevorzugt im Rahmen einer Informationsfusion, welche insbesondere eine Sensordatenfusion umfasst. In dieser Informationsfusion können insbesondere auch Kommunikationsinformationen, die beispielsweise über Kraftfahrzeug-zu-Kraftfahrzeug-Kommunikation erhalten wurden, eingehen, wobei dies auch als ein weiterer Umgebungssensor aufgefasst werden kann. Auch Informationen aus Kartendaten eines Navigationssystems des Kraftfahrzeugs können hier eingehen.
-
Detektierte Objekte werden klassifiziert und lokalisiert, das bedeutet, es wird die Art des Objektes (beispielsweise Verkehrsschild, Fußgänger, ...) genauso festgestellt wie die Position, an der sich das Objekt befindet, insbesondere in einem im Kraftfahrzeug genutzten Koordinatensystem. Als weitere Objektdaten werden auch Dynamikdaten der Objekte bestimmt, beispielsweise ob es sich um ein statisches oder dynamisches Objekt handelt, wie hoch dessen Geschwindigkeit und/oder Beschleunigung sind und dergleichen. Selbstverständlich können auch weitere Objektdaten gesammelt werden. Objektdaten können selbstverständlich auch durch das Relevanzkriterium ausgewertet werden.
-
Eine besondere Art von Objektdaten, die zweckmäßigerweise zumindest für einen Teil der Objekte bestimmt werden kann, sind Bedeutungsinformationen, beispielsweise der Bedeutungsgehalt eines Verkehrsschildes und dergleichen.
-
Das Ergebnis des Schrittes S1 ist also eine erste Objektliste, die detektierte Objekte mit zugeordneten Objektdaten enthält, die für die aktuelle Verkehrssituation relevant sind. In diesem Zusammenhang sei noch darauf hingewiesen, dass die Charakterisierung der aktuellen Verkehrssituation, insbesondere durch Verkehrssituationsdaten, parallel ständig in einem Schritt S2 stattfinden kann. Zur Ermittlung von Verkehrssituationsdaten kann insbesondere innerhalb des Kraftfahrzeugs vorliegendes Kartenmaterial des Navigationssystems verwendet werden, vorliegend ergänzt durch aktuelle Dynamikdaten des Kraftfahrzeugs und aktuelle Umgebungsbedingungsinformationen.
-
Wie bereits erwähnt, können derart in Schritt S2 ermittelte Verkehrssituationsdaten insbesondere neben Objektdaten in das Relevanzkriterium eingehen, um die Relevanz eines detektierten Objekts zu bestimmen.
-
In einem Schritt S3 wird im Rahmen der vorliegenden Erfindung ein Blickerkennungssystem eingesetzt, welches auf den Sensordaten wenigstens eines Fahrersensors basiert, beispielsweise eines Eye-Trackers und/oder einer Fahrerbeobachtungskamera. Dabei wird allerdings nicht nur das aktuelle Blickfeld des Fahrers ermittelt, sondern die Sensordaten des wenigstens einen Fahrersensors werden auch dahingehend ausgewertet, ob eine kurzzeitige Fixierung stattfindet, die anzeigt, dass ein Objekt auch tatsächlich bewusst wahrgenommen, mithin erkannt, wurde. Die sich entsprechend ergebenden Fixationsrichtungen innerhalb eines gleitenden Zeitfensters werden als eine Liste von Fixationsrichtungen geführt. Im Rahmen dieser Auswertung kann zweckmäßigerweise ein Auswertungsalgorithmus der künstlichen Intelligenz eingesetzt werden. Die Länge des gleitenden Zeitfensters kann beispielsweise 5 bis 15 Sekunden betragen.
-
Die Ergebnisse der Schritte S1 und S3, also die erste Objektliste mit für die aktuelle Verkehrssituation relevanten Objekten und die Fixationsrichtungsliste, werden in einem Schritt S4 zusammengeführt und abgeglichen, um festzustellen, ob relevante Objekte der ersten Objektliste existieren, zu denen keine zugeordnete Fixationsrichtung aufgefunden wird, die mithin durch den Fahrer nicht erkannt wurden. Liegen keine relevanten, nichterkannten Objekte vor, ist die zweite Objektliste also leer, sind keine weiteren Maßnahmen erforderlich. Liegen jedoch derartige nichterkannte Objekte vor, wird mit einem Schritt S5 fortgefahren. Im Schritt S5 wird eine Hinweisbedingung für die nichterkannten Objekte der zweiten Objektliste ausgewertet, wobei die Hinweisbedingung, allgemein gesagt, überprüft, ob es für ein bestimmtes nichterkanntes Objekt der zweiten Objektliste in der aktuellen Verkehrssituation sinnvoll und/oder notwendig ist, den Fahrer gezielt auf das bestimmte nichterfasste Objekt aufmerksam zu machen. Nichterkannte Objekte, für die die Hinweisbedingung erfüllt ist, sollen im Folgenden als Anleuchtobjekte bezeichnet werden. In diesem Zusammenhang wird zweckmäßig ein Analysealgorithmus der künstlichen Intelligenz eingesetzt. Mit anderen Worten können Maschinenlern-Modelle im Schritt S5 entscheiden, welche nichterkannten Objekte zur Hervorhebung für den Fahrer durch Frontscheinwerfer des Kraftfahrzeugs angeleuchtet werden sollen. Dabei basiert die Entscheidung neben den die aktuelle Verkehrssituation beschreibenden Verkehrssituationsdaten des Schrittes S2 und den Objektdaten eines untersuchten nichterkannten Objekts auch auf einer Reaktionszeit, die beschreibt, ob bis zum Eintritt einer kritischen Situation der Fahrer überhaupt noch auf das nichterkannte Objekt aufmerksam gemacht werden kann und reagieren kann. Diese verfügbare Reaktionszeit wird in Abhängigkeit von der Komplexität der Verkehrssituation und/oder einer Geschwindigkeit des Kraftfahrzeugs und/oder wenigstens eines Objektes ermittelt. Sollte festgestellt werden, dass für ein Objekt die verfügbare Reaktionszeit nicht ausreicht, um es auszuleuchten und eine Reaktion durch den Fahrer abzuwarten, und ist zusätzlich eine Warnbedingung für dieses Objekt erfüllt, besteht also beispielsweise ein hohes Kollisionsrisiko oder ein anderweitiges Risiko, kann eine Warnmaßnahme ergriffen werden, um andere Verkehrsteilnehmer auf die drohende Gefahr hinsichtlich dieses nichterkannten Objekts hinzuweisen.
-
Zweckmäßigerweise ist ein im Rahmen der Hinweisbedingung erhaltenes Ergebnis eine Prioritätsinformation zumindest bezüglich der Anleuchtobjekte. Sollten mehrere Anleuchtobjekte ermittelt werden, kann die Prioritätsinformation benutzt werden, um die Anleuchtreihenfolge zu bestimmen.
-
Es sei noch angemerkt, dass entweder hinsichtlich des Relevanzkriteriums oder aber hinsichtlich der Hinweisbedingung auch eine Historieninformation, die durch das hier beschriebene Unterstützungssystem selbst ermittelt wurde, herangezogen werden kann, so dass beispielsweise bei wiederholten Fahrten entlang derselben Strecke statische Objekte, die vom Fahrer schon wiederholt bewusst wahrgenommen, also erkannt, wurden, als dem Fahrer grundsätzlich bekannt vorausgesetzt werden können, es sei denn, es ist eine Zusatzbedingung erfüllt, wenn eine besonders hohe Kritikalität hinsichtlich dieses bekannten Objekts besteht. Im Rahmen des Relevanzkriteriums und/oder im Rahmen der Auswertung der Hinweisbedingung wird im hier beschriebenen Ausführungsbeispiel auch ein Kontextalgorithmus der künstlichen Intelligenz verwendet, der Objekte der auszuwertenden Objektliste dahingehend auswertet, dass solche Objekte, die einen aus einem Umgebungskontext erschließbaren Bedeutungsgehalt aufweisen, identifiziert werden. Solche Objekte können als irrelevant klassifiziert werden und/oder als Anleuchtobjekt ausgeschlossen werden. Bei derartigen Objekten handelt es sich beispielsweise um Ortsschilder, da die Tatsache, dass man sich innerorts befindet, durch den Fahrer auch durch Betrachtung der sonstigen Umgebung leicht festgestellt werden kann.
-
Wurden im Schritt S5 ein oder mehrere Anleuchtobjekte aufgrund der Hinweisbedingung festgestellt, wird mit einem Schritt S6 fortgefahren. Im Schritt S6 werden die bereits erwähnten Frontscheinwerfer, bei denen es sich um sogenannte hochauflösende Scheinwerfer handelt, deren räumliches Ausleuchtmuster veränderbar ist, beispielsweise pixelweise, zur Markierung des Anleuchtobjekts angesteuert. Hierzu ist im vorliegenden Ausführungsbeispiel vorgesehen, dass beispielsweise innerhalb einer Zeitdauer von 0,5 bis 1,5 Sekunden, ein dreimaliges kurzes Anleuchten mit hoher Lichtstärke, mithin ein Anblitzen, erfolgt. Dabei wird darauf geachtet, dass keine Blendung anderer Verkehrsteilnehmer und/oder sonstige zu starke Irritationen anderer Verkehrsteilnehmer auftreten. Existieren mehrere Anleuchtobjekte, so werden diese nacheinander derart angeleuchtet, so dass sich der Fahrer jedes Mal auf ein bestimmtes Anleuchtobjekt konzentrieren kann.
-
Nachdem derartige hochauflösende Scheinwerfersysteme im Stand der Technik grundsätzlich bekannt sind, müssen sie hier nicht näher erläutert werden.
-
Auch während des Anleuchtvorgangs werden im Übrigen Fixationsrichtungen des Fahrers weiter überwacht und bestimmt. Dies ermöglicht es, in einem Schritt S7 durch Abgleich der Position des Anleuchtobjekts mit diesen Fixationsrichtungen zu ermitteln, ob das Anleuchtobjekt durch den Fahrer nun erkannt wurde, mithin dieser es entsprechend gedanklich in seine Fahrzeugführung integrieren kann. Wird für wenigstens ein Anleuchtobjekt festgestellt, dass es durch den Fahrer auch weiterhin nicht wahrgenommen wurde, werden in einem Schritt S8 mehrere Warnmaßnahmen durchgeführt. Zum einen werden über die Frontscheinwerfer sowie gegebenenfalls zusätzlich ein weiteres akustisches oder optisches Ausgabemittel des Kraftfahrzeugs außerhalb des Kraftfahrzeugs wahrnehmbare Warninformationen für andere Verkehrsteilnehmer ausgegeben, beispielsweise ein Warnsymbol durch die Frontscheinwerfer auf den Untergrund projiziert, wobei dieses Warnsymbol bevorzugt auf das auch weiterhin nichterkannte Anleuchtobjekt hinweist. Gleichzeitig kann als Warnmaßnahme innerhalb des Kraftfahrzeugs eine Warnung des Fahrers erfolgen, bevorzugt wenigstens teilweise akustisch.
-
2 zeigt das vorgenommene Anleuchten am Beispiel einer Verkehrssituation 1 genauer. Ersichtlich fährt ein erfindungsgemäßes Kraftfahrzeug 2 gerade auf einer Straße 3, wobei im Vorfeld verschiedene Objekte 4 detektierbar sind, beispielsweise ein Hindernis 5 und ein Fußgänger 6. Das Kraftfahrzeug 2 fährt auf den Fußgänger 6 geradeaus zu, der sich über die Straße 3 bewegt. Hat der Fahrer nun den Fußgänger 6 nicht bewusst wahrgenommen, mithin nicht erkannt, so wird dieser als ein Anleuchtobjekt festgestellt und mittels zumindest einem der Frontscheinwerfer 7 durch Ansteuerung entsprechender Pixel derart, dass der Fußgänger 6 nicht geblendet wird, angeleuchtet, vgl. Lichtstrahl 8.
-
3 zeigt schließlich eine Prinzipskizze eines erfindungsgemäßen Kraftfahrzeugs 2. Dieses umfasst, wie bereits in 2 dargestellt, als Teil des hochauflösenden Scheinwerfersystems zunächst die Frontscheinwerfer 7, die beispielsweise über eine Scheinwerfersteuereinheit 9 angesteuert werden können. Als Teil des Objekterkennungssystems weist das Kraftfahrzeug 2 zudem verschiedene Umgebungssensoren 10 auf, von denen hier beispielhaft zwei Radarsensoren 11 und eine Kamera 12 gezeigt sind. Weitere Sensoren des Kraftfahrzeugs 1 umfassen Fahrersensoren 13, im vorliegenden Ausführungsbeispiel eine Fahrerbeobachtungskamera 14 und einen Eye-Tracker 15. Ein Fahrerassistenzsystem beziehungsweise Unterstützungssystem 16 umfasst eine Steuereinrichtung 17, die beispielsweise wenigstens ein Steuergerät sein kann und welche zur Durchführung des erfindungsgemäßen Verfahrens ausgebildet ist. Dabei realisiert die Steuereinrichtung 17 insbesondere ein Objekterkennungssystem und ein Blickrichtungserkennungssystem .
