DE102022112708A1

DE102022112708A1 - Fahrer- und umgebungsüberwachung zur vorhersage menschlicher fahrmanöver und zur reduzierung menschlicher fahrfehler

Info

Publication number: DE102022112708A1
Application number: DE102022112708.7A
Authority: DE
Inventors: Rafael Rosales; Ignacio J. Alvarez; Florian Geissler; Neslihan KOSE CIHANGIR; Michael Paulitsch
Original assignee: Intel Corp
Current assignee: Intel Corp
Priority date: 2021-06-21
Filing date: 2022-05-20
Publication date: 2022-12-22
Also published as: CN115503728A; US20210309261A1

Abstract

Es werden Techniken zum Detektieren, Informieren und automatischen Korrigieren typischer bewusstseinsbezogener Fehler menschlicher Fahrer offenbart. Dies kann solche umfassen, die durch ein falsches Verständnis der aktuellen Situation, mangelnde Konzentration oder Aufmerksamkeit und/oder übermäßiges Vertrauen in irgendwelche aktuell aktivierten Assistenzfunktionen verursacht werden. Die Offenbarung betrifft die Vorhersage von Fahrzeugmanövern unter Verwendung von Fahrer- und Externe-Umgebung-Modellierung. Die Konsequenz der Ausführung eines vorhergesagten Manövers wird basierend auf ihrem Risiko oder ihrer Gefahr für die Fahrumgebung kategorisiert, und das Fahrzeug kann basierend auf der Kategorisierung eines vorhergesagten Fahrmanövers verschiedene Aktionen ausführen, um dieses Risiko zu mindern oder zu beseitigen.

Description

TECHNISCHES GEBIET
Die hierin beschriebene Offenbarung betrifft im Allgemeinen das Vorhersagen menschlicher Fahrmanöver unter Verwendung von Fahrer- und Umgebungs-Überwachungsvorrichtungen und auf die Anwendung variierender Eingriffsgrade zur Reduzierung oder Beseitigung von Fahrfehlern im Zusammenhang mit solchen Manövern.
HINTERGRUND
Für automatisierte Fahrzeuge, die bei den Society of Automotive Engineers- (SAE) Graden (levels) L2+ bis L4 arbeiten, muss ein menschlicher Fahrer immer noch bereit sein, die Steuerung in Situationen zu übernehmen, die außerhalb des operationellen Entwurfsbereichs (ODD; Operational Design Domain) des Automatisiertes-Fahren- (AD; automated driving) Systems liegen. Bei seltener frequentierten ODDs kann es jedoch vorkommen, dass ein Fahrer nicht über ausreichende Kenntnisse oder Verständnis verfügt. So schaut ein US-amerikanischer Fahrer beim Fahren im Vereinigten Königreich möglicherweise in die falsche Richtung oder der Fahrer bremst möglicherweise vor einer Kreuzung mit Rechts-vor-Links-Vorfahrtsregelung nicht. Ein Fahrer kann auch für eine kurze Zeitperiode abgelenkt sein oder vorübergehend bei schlechter Sicht fahren, wodurch er teilweise nicht in der Lage ist, Steuerungs- oder Überwachungsfunktionen als Teil der aktuellen ODD auszuführen. Als ein anderes Beispiel erkennt ein Fahrer möglicherweise eine blockierte Einfahrt nicht oder setzt den Blinker nicht.
Die NHTSA-Unfallstatistik aus dem Jahr 2015 identifiziert außerdem, dass im Durchschnitt ca. 94 % aller Unfälle fahrerbezogen sind. Von diesen Unfällen können 41 % Erkennungsfehlern (z. B. Unaufmerksamkeit des Fahrers, interne und externe Ablenkung, unzureichende Überwachung), 33 % Entscheidungsfehlern (zu schnelles Fahren für die gegebene Situation, Fehleinschätzung von Lücken, Geschwindigkeiten oder Aktionen anderer) und 7 % Nicht-Performance (schlafender und nicht reagierender Fahrer) zugeordnet werden. Derzeitige AD-Systeme weisen also insofern verschiedene Nachteile auf, als diese menschlichen Fehler fortbestehen und als Teil des AV-Steuerungssystems nicht berücksichtigt werden, und menschliche Fehler bleiben eine Hauptursache für Fahrzeugunfälle.
Figurenliste
Die beiliegenden Zeichnungen, die hierin aufgenommen sind und einen Teil der Beschreibung bilden, stellen die vorliegende Offenbarung dar und dienen, zusammen mit der Beschreibung, ferner dazu, die Prinzipien darzulegen, und es einem Fachmann auf dem entsprechenden Gebiet zu ermöglichen, die hierin erörterten Techniken herzustellen und zu verwenden.
In den Zeichnungen beziehen sich gleiche Bezugszeichen im Allgemeinen durchgehend in den unterschiedlichen Ansichten auf die gleichen Teile. Die Zeichnungen sind nicht notwendigerweise maßstabsgetreu, der Schwerpunkt liegt vielmehr im Allgemeinen auf der Veranschaulichung der Grundsätze der Offenbarung. In der folgenden Beschreibung wird Bezug auf die folgenden Zeichnungen genommen, in denen gilt:

1 stellt ein Fahrzeug gemäß der vorliegenden Offenbarung dar;
2 stellt verschiedene elektronische Komponenten eines Sicherheitssystems eines Fahrzeugs gemäß der vorliegenden Offenbarung dar;
3A stellt ein Szenario von Fahreraktionen, die aufgrund einer bewusstseinsbezogenen Fehleinschätzung eines Fahrzeugs gegen die Verkehrsregeln verstoßen, gemäß der vorliegenden Offenbarung dar.
3B stellt ein anderes Szenario von Fahreraktionen, die aufgrund einer bewusstseinsbezogenen Fehleinschätzung eines Fahrzeugs gegen die Verkehrsregeln verstoßen, gemäß der vorliegenden Offenbarung dar.
4 stellt Verarbeitungsoperationen zur Identifizierung und Abmilderung von Bewusstseinsfehlern des Fahrers gemäß der vorliegenden Offenbarung dar.
5 stellt ein Fahrer- und Umgebungsüberwachungssystem gemäß der vorliegenden Offenbarung dar.
6 stellt die Verwendung von 3D-CNNs zur Ausführung einer Fahrzeugmanöver-Vorhersage gemäß der vorliegenden Offenbarung dar.
7 stellt eine dynamische Anpassung einer Länge von Videoabtastwerten, die zur Berechnung von Antizipations-Punktzahlen für die Fahrzeugmanöver-Vorhersage verwendet werden, gemäß der vorliegenden Offenbarung dar.
8 stellt ein Szenario, in dem ein Fahrzeug die Notwendigkeit, einen Blinker zu aktivieren, falsch einschätzt, gemäß der vorliegenden Offenbarung dar.
9 stellt einen Prozessablauf gemäß der vorliegenden Offenbarung dar.

Die vorliegende Offenbarung wird Bezug nehmend auf die beiliegenden Zeichnungen beschrieben. Die Zeichnung, in der ein Element zum ersten Mal erscheint, wird typischerweise durch die äußerst linke(n) Ziffer(n) in dem entsprechenden Bezugszeichen angezeigt.
DETAILLIERTE BESCHREIBUNG
Die folgende detaillierte Beschreibung nimmt Bezug auf die beiliegenden Zeichnungen, die veranschaulichend beispielhafte Details zeigen, bei denen die Offenbarung praktisch ausgeführt werden kann. In der folgenden Beschreibung werden zahlreiche spezifische Details ausgeführt, um ein tiefgreifendes Verständnis der vorliegenden Offenbarung bereitzustellen. Für einen Fachmann auf dem Gebiet ist es jedoch offensichtlich, dass die verschiedenen Entwürfe, umfassend Strukturen, Systeme und Verfahren, ohne diese spezifischen Details ausgeführt werden können. Die Beschreibung und Darstellung hierin sind das übliche Mittel, das von erfahrenen Fachleuten auf dem Gebiet verwendet wird, um den Inhalt ihrer Arbeit anderen Fachleuten auf dem Gebiet am wirksamsten zu vermitteln. In anderen Fällen wurden bekannte Verfahren, Prozeduren, Komponenten und eine Schaltungsanordnung nicht detailliert beschrieben, um ein unnötiges Verunklaren der Offenbarung zu vermeiden.
Das Sicherheitsfahrmodell (SDM; Safety Driving Model)
Das SDM fungiert dazu, einen mathematischen Rahmen bereitzustellen, der darauf abzielt, die Sicherheitsgewährleistung von autonomen Fahrzeugen (AVs; autonomous vehicles) und/oder irgendwelchen geeigneten Fahrzeugtypen sicherzustellen, die zumindest irgendeine Form einer autonom ausgeführten Aktion oder Steuerung ohne menschliche Unterstützung implementieren (vollautonome Steuerungsfunktionen, halbautonome Steuerungsfunktionen usw.). Das SDM ist also ein umfassender Rahmen, der entwickelt wurde, um sowohl die Längs- als auch die Quersicherheit von Fahrzeugen (z. B. AVs) in verschiedenen Arten von Szenarien sicherzustellen. Das SDM (auch als „Fahrrichtlinienmodell“ oder einfach als „Fahrmodell“ bezeichnet) kann als Teil eines voll- oder halbautonomen Fahrzeugsteuerungssystems, z. B. eines fortschrittlichen Fahrassistenz- (ADAS; advanced driving assistance) Systems und/oder eines Fahrassistenz- und Automatisiertes-Fahren-Systems, implementiert werden.
Ein SDM kann somit als irgendeine geeignete Anzahl von SDM-Parametern dargestellt sein, von denen irgendein geeigneter Teilsatz als Teil eines mathematischen Modells verbunden ist, das eine Interpretation anwendbarer Gesetze, Standards, Richtlinien usw. formalisiert, die auf selbstfahrende (z. B. Boden-) Fahrzeuge und/oder andere geeignete Fahrzeugtypen anwendbar sind, die vollautonome oder halbautonome Funktionen implementieren können und die Werkzeuge wie beispielsweise die zuvor erwähnte adaptive Geschwindigkeitsregelung, automatisiertes Bremsen oder Lenken usw. verwenden können. Ein SDM kann beispielsweise entworfen sein, um drei Ziele zu erreichen: erstens sollte die Gesetzesauslegung solide sein in dem Sinne, dass sie mit der menschlichen Gesetzesauslegung übereinstimmt; zweitens sollte die Auslegung zu einer nützlichen Fahrrichtlinie führen, was bedeutet, dass sie zu einer agilen Fahrrichtlinie und nicht zu einer übermäßig defensiven Fahrweise führt, die unweigerlich andere menschliche Fahrer verwirren und den Verkehr blockieren würde und wiederum die Skalierbarkeit des Systemeinsatzes einschränken würde; und drittens sollte die Auslegung effizient überprüfbar sein in dem Sinne, dass streng nachgewiesen werden kann, dass das selbstfahrende (autonome) Fahrzeug die Gesetzesauslegung korrekt implementiert. Eine Implementierung in einem Host-Fahrzeug eines SDM kann darstellenderweise eine Implementierung eines mathematischen Modells für die Sicherheitsgewährleistung sein oder umfassen, das die Identifizierung und Durchführung geeigneter Reaktionen auf gefährliche Situationen ermöglicht, sodass selbstverschuldete Unfälle vermieden werden können.
Ein SDM kann eine Logik implementieren, die auf die SDM-Parameter angewandt wird, um Fahrverhaltensregeln wie z. B. die folgenden fünf Regeln anzuwenden:

- Jemandem nicht von hinten auffahren.
- Nicht rücksichtslos einschneiden.
- Vorfahrt wird gewährt, nicht genommen.
- Auf Bereiche mit eingeschränkter Sicht achten.
- Wenn Sie einen Unfall vermeiden können, ohne einen anderen zu verursachen, müssen Sie dies tun.

Es ist zu beachten, dass diese Regeln nicht einschränkend und nicht ausschließend sind und nach Wunsch in verschiedenen Entwürfen geändert werden können. Die Regeln stellen vielmehr einen sozialen Fahrvertrag dar, der abhängig von der Region unterschiedlich sein kann und sich auch im Laufe der Zeit weiterentwickeln kann. Auch wenn diese fünf Regeln derzeit in den meisten Ländern anwendbar sind, sind sie möglicherweise nicht vollständig und können geändert werden.
Obwohl sich Fahrzeuge bei der Ausführung verschiedener Fahrfunktionen auf ein SDM stützen können, gibt es Probleme bei der Implementierung des SDM für die Sicherheitsgewährleistung des menschlichen Fahrverhaltens, da sich solche Systeme auf die Schätzung geeigneter SDM-Parameterwerte, wie z. B. der Reaktionszeit, stützen. So bieten beispielsweise regelbasierte Sicherheitsschichten wie SDM einen Validierungsmechanismus zur Identifizierung gefährlicher Situationen basierend auf einem formalen Modell der Straßenphysik und der Verkehrsregeln, wobei ein Satz von Höchst-/Mindestparametern wie die Beschleunigung angenommen wird. Die Prognosequalität von SDM ist jedoch auf ein Modell beschränkt, das auf der Geschwindigkeit und Beschleunigung von Verkehrsteilnehmern basiert und bei dem Änderungen höherer Ordnung nicht berücksichtigt werden. Ferner hängt die Wirksamkeit des SDM-Ansatzes stark von den angenommenen Parametern ab.
Es wurden auch Fahrerüberwachungssysteme (DMS; driver monitor systems) vorgeschlagen, um abzuschätzen, ob ein Fahrer aufmerksam auf die Straße ist, und folglich die SDM-Parameter in Bezug auf die Reaktionszeit des Fahrers anzupassen, indem sie dabei helfen, die Reaktionszeit von abgelenkten Fahrern zu schätzen. Die Detektion eines Fehlers eines menschlichen Fahrers durch DMS + SDM-Überwachung, dessen Aufmerksamkeit auf die Straße gerichtet ist, kann jedoch übermäßig optimistisch sein, da die Aufmerksamkeit des menschlichen Fahrers auf die Straße auf die falschen externen Ereignisse gerichtet sein kann und potenziell gegen die geschätzten SDM-Parameter verstößt. Darüber hinaus ist die Schätzung von SDM-Parametern basierend auf DMS nicht geeignet, um eine Schätzung der Reaktionszeit des Fahrers für Fälle bereitzustellen, in denen der Fahrer zwar auf die Straße, nicht jedoch auf die wichtigen Ereignisse auf der Straße achtet. Dies ist auf die Unkenntnis des DMS über die externe Situation zurückzuführen.
Darüber hinaus ermöglichen herkömmliche Manövervorhersage-/antizipations-Techniken auch die Anwendung eines regelbasierten Gewährleistungsansatzes zu einer früheren Zeit, um die Systemsicherheit durch präventive Aktionen, die unausweichliche Situationen vermeiden, zu erhöhen. Andere herkömmliche Techniken zur Manövervorhersage umfassen den Vergleich der Performance/Verwendung von Simulation versus Echtwelt-Ereignissen, um einen Datensatz von auf Blickverfolgung basierendem Bewusstsein, Gefahren-Ground-Truth und Fahrzeugsteuerungs-Performance zu sammeln. Andere Manövervorhersage-Ansätze wurden vorgeschlagen, die zunächst die dem Fahrer zugewandte interne Kamera oder die Straßenkamera einzeln analysieren und dann die von jeder Kamera stammenden Informationen kombinieren. Die Manövervorhersage allein reicht jedoch nicht aus, um einen Aufmerksamkeitsfehler des Fahrers zu identifizieren.
Um diese Unzulänglichkeiten zu adressieren, beschreibt diese Offenbarung daher ein Sicherheitssystem, das gemäß einem AD-System, einem ADAS-System und/oder anderen geeigneten Fahrzeugsteuerungssystemen implementiert werden kann. Das Sicherheitssystem kann dazu verwendet werden, typische bewusstseinsbezogene Fehler des menschlichen Fahrers zu detektieren, zu informieren und automatisch zu korrigieren, z. B. solche, die durch ein falsches Verständnis der aktuellen Situation, mangelnde Konzentration oder Aufmerksamkeit und/oder übermäßiges Vertrauen in irgendwelche aktuell aktivierten Assistenzfunktionen verursacht werden.
Die hierin beschriebene Offenbarung ist nicht auf eine Implementierung in autonomen oder halbautonomen Fahrzeugen beschränkt, wie z. B. solchen, die AV- und/oder ADAS-Systeme umfassen. Die hierin beschriebene Offenbarung kann als Teil irgendeines geeigneten Fahrzeugtyps implementiert sein, der in der Lage sein kann, Warnungen an einen Fahrer bereitzustellen und/oder irgendeine der hierin erörterten steuerungsbasierten Funktionalitäten auszuführen. Daher können eine oder mehrere der verschiedenen Fahrzeugkomponenten, wie sie hierin Bezug nehmend z. B. auf 2 erörtert werden, als Teil eines Standardfahrzeugs (d. h. eines Fahrzeugs, das keine autonomen Fahrfunktionen verwendet), eines vollständig autonomen Fahrzeugs und/oder eines teilautonomen Fahrzeugs, in verschiedenen Implementierungen und/oder abhängig von der bestimmten Anwendung implementiert werden. Die Offenbarung beschreibt ferner die Implementierung einer aktiven Steuerung unter einem Gemeinschaftlich-Verwendete-Steuerung-Mechanismus, um dem Fahrzeugführer zu helfen, den richtigen Grad an Kapazität für die Ausführung der Fahraufgabe wiederzuerlangen.
Fahrzeug und zugehöriges Sicherheitssystem
1 zeigt ein Fahrzeug 100, umfassend ein Sicherheitssystem 200 (siehe auch 2) gemäß der vorliegenden Offenbarung. Das Fahrzeug 100 und das Sicherheitssystem 200 sind darstellender Natur und können zu Erklärungszwecken vereinfacht werden. Standorte von Elementen und relationale Distanzen (wie vorangehend erörtert wurde, sind die Figuren nicht maßstabsgetreu) und werden als nicht einschränkende Beispiele bereitgestellt. Das Sicherheitssystem 200 kann abhängig von den Anforderungen einer bestimmten Implementierung und/oder Anwendung verschiedene Komponenten umfassen. Das Sicherheitssystem 200 kann abhängig von den Anforderungen einer bestimmten Implementierung und/oder Anwendung verschiedene Komponenten umfassen und die Navigation und/oder Steuerung des Fahrzeugs 100 erleichtern. Das Fahrzeug 100 kann ein autonomes Fahrzeug (AV) sein, das irgendeinen Automatisierungsgrad (z. B. Grade 0-5) aufweisen kann, der keine Automatisierung (Grad 0) oder vollständige Automatisierung (Grad 5) umfasst. Das Fahrzeug 100 kann das Sicherheitssystem 200 als Teil irgendeines geeigneten Typs eines autonomen oder Fahrassistenz-Steuerungssystems implementieren, umfassend beispielsweise ein AV und/oder ein fortschrittliches Fahrerassistenzsystem (ADAS).
Der eine oder die mehreren Prozessoren 102 können in eine Motorsteuereinheit (ECU; engine control unit) des Fahrzeugs 100 integriert oder von derselben getrennt sein. Das Sicherheitssystem 200 kann Daten zur Steuerung oder Unterstützung der Steuerung der ECU und/oder anderer Komponenten des Fahrzeugs 100 erzeugen, um direkt oder indirekt das Fahren und/oder den Zustand des Fahrzeugs 100 zu steuern. Die Offenbarung ist jedoch nicht auf eine Implementierung in autonomen oder halbautonomen Fahrzeugen beschränkt, und das Sicherheitssystem 200 kann als Teil irgendeines geeigneten Fahrzeugtyps implementiert werden, der in der Lage sein kann, mit oder ohne irgendein geeignetes Maß an menschlicher Unterstützung in einer bestimmten Fahrumgebung zu fahren. Daher können eine oder mehrere der verschiedenen Fahrzeugkomponenten, wie sie hierin Bezug nehmend auf 2 erörtert werden, als Teil eines Standardfahrzeugs (d. h. eines Fahrzeugs, das keine autonomen Fahrfunktionen verwendet), eines vollständig autonomen Fahrzeugs (SAE-Grad 5) und/oder eines teilautonomen Fahrzeugs (wie beispielsweise SAE-Grade L2+ bis L4) implementiert werden. Wenn es als Teil eines Standardfahrzeugs implementiert ist, versteht es sich, dass das Sicherheitssystem 200 alternative Funktionen ausführen kann, und somit kann das Sicherheitssystem 200 alternativ irgendeine geeignete Art von System darstellen, das als Teil eines Standardfahrzeugs implementiert werden kann, ohne notwendigerweise autonome oder halbautonome steuerungsbezogene Funktionen zu verwenden.
Unabhängig von der bestimmten Implementierung des Fahrzeugs 100 und des zugehörigen Sicherheitssystems 200, wie in 1 und 2 gezeigt, kann das Sicherheitssystem 200 einen oder mehrere Prozessoren 102, eine oder mehrere Bildakquisitionsvorrichtungen 104, wie beispielsweise eine oder mehrere Kameras, einen oder mehrere Positionssensoren 106, wie beispielsweise ein globales Navigationssatellitensystem (GNSS; Global Navigation Satellite System), ein GPS (Global Positioning System; Globales Positionierungssystem), einen oder mehrere Speicher 202, eine oder mehrere Kartendatenbanken 204, eine oder mehrere Benutzerschnittstellen 206 (wie beispielsweise ein Display, einen Touchscreen, ein Mikrofon, einen Lautsprecher, einen oder mehrere Knöpfe und/oder Schalter und Ähnliches) und einen oder mehrere drahtlose Sendeempfänger 208, 210, 212 umfassen.
Die drahtlosen Sendeempfänger 208, 210, 212 können ausgebildet sein, um gemäß irgendeiner geeigneten Anzahl und/oder Art von gewünschten Funkkommunikationsprotokollen oder -standards zu arbeiten. Ein drahtloser Sendeempfänger (ein erster drahtloser Sendeempfänger 208) kann gemäß einem Nahbereich-Mobilfunkkommunikationsstandard wie Bluetooth, Zigbee und Ähnlichem ausgebildet sein. Ein drahtloser Sendeempfänger (ein zweiter drahtloser Sendeempfänger 210) kann gemäß einem Mittel- oder Weitbereichs-Mobilfunkkommunikationsstandard wie beispielsweise einem 3G- (Universal Mobile Telecommunications System - UMTS), einem 4G- (Long Term Evolution - LTE) oder einem 5G-Mobilfunkkommunikationsstandard gemäß entsprechenden 3GPP-(3rd Generation Partnership Project; Partnerschaftsprojekt der 3. Generation) Standards ausgebildet sein, wobei die aktuellste Version zum Zeitpunkt dieses Schreibens 3GPP Release 16 (2020) ist.
Ein drahtloser Sendeempfänger (ein dritter drahtloser Sendeempfänger 212) kann gemäß einem Drahtloses-Lokales-Netzwerk-Kommunikationsprotokoll oder -standard ausgebildet sein, wie z. B. gemäß IEEE 802.11 Working Group Standards, wobei die aktuellste Version zum Zeitpunkt dieses Schreibens IEEE Std 802.11™ -2020 ist, veröffentlicht am 26. Februar 2021 (wie beispielsweise 802.11, 802.11a, 802.11b, 802.11g, 802.11n, 802.11p, 802.11-12, 802.11ac, 802.11ad, 802.11ah, 802.11ax, 802.11ay, und Ähnliches). Der eine oder die mehreren drahtlosen Sendeempfänger 208, 210, 212 können ausgebildet sein, um Signale über ein Antennensystem (nicht dargestellt) unter Verwendung einer Luftschnittstelle zu übertragen. Einer oder mehrere der Sendeempfänger 208, 210, 212 können ausgebildet sein, um ein oder mehrere Fahrzeug-zu-Alles (V2X; vehicle to everything)-Kommunikationsprotokolle zu implementieren, die Fahrzeug-zu-Fahrzeug- (V2V; vehicle to vehicle), Fahrzeug-zu-Infrastruktur- (V2I; vehicle to infrastructure), Fahrzeug-zu-Netzwerk- (V2N; vehicle to network), Fahrzeug-zu-Fußgänger- (V2P; vehicle to pedestrian), Fahrzeug-zu-Vorrichtung- (V2D; vehicle to device), Fahrzeug-zu-Netz- (V2G; vehicle to grid) und irgendwelche anderen geeigneten Kommunikationsprotokolle umfassen können.
Der eine oder die mehreren Prozessoren 102 können irgendeine geeignete Art von Verarbeitungsschaltungsanordnung und -architektur implementieren und als eine Steuerung ausgebildet sein, die vom Fahrzeug 100 implementiert wird, um verschiedene Fahrzeugsteuerungsfunktionen auszuführen, die Teil einer oder mehrerer ECUs bilden können. Der eine oder die mehreren Prozessoren 102 können ausgebildet sein, um als Steuerung für das Fahrzeug 100 zu fungieren, um Sensordaten und empfangene Kommunikationen zu analysieren, um spezifische für das Fahrzeug 100 auszuführende Aktionen zu berechnen und um die Ausführung der entsprechenden auszuführenden Aktion zu veranlassen, die gemäß einem AV- oder ADAS-System sein kann. Wie in 2 dargestellt, können der eine oder die mehreren Prozessoren 102 einen Teil oder die Gesamtheit einer oder mehrerer ECUs, Steuerungen, Verarbeitungssysteme usw. bilden. Das Fahrzeug 100 kann zusätzliche ECUs, Steuerungen, Verarbeitungssysteme usw. implementieren, die zweckgebunden sein können zur Bereitstellung verschiedener Arten von Verarbeitungsanalysen und/oder steuerungsbasierter Funktionalität. Das heißt, dass der eine oder die mehreren Prozessoren 102, wie in 2 gezeigt, Teil irgendeiner geeigneten Anzahl von ECUs bilden können. Alternativ kann das Fahrzeug 100 zusätzliche Sätze des einen oder der mehreren Prozessoren 102 implementieren, wobei jeder Satz gemäß einer separaten ECU implementiert ist. Die Funktionalität solcher ECUs und die verschiedenen Komponenten des einen oder der mehreren Prozessoren 102 werden hierin ausführlicher erörtert.
Der eine oder die mehreren Prozessoren 102 können einen oder mehrere Anwendungsprozessoren 214A, 214B, einen Bildprozessor 216, einen Kommunikationsprozessor 218 umfassen und können zusätzlich oder alternativ irgendeine andere geeignete, in den Figuren nicht dargestellte Verarbeitungsvorrichtung umfassen. Ähnlich können die Bildakquisitionsvorrichtungen 104 abhängig von den Anforderungen einer bestimmten Anwendung irgendeine geeignete Anzahl von Bildakquisitionsvorrichtungen und -komponenten umfassen. Die Bildakquisitionsvorrichtungen 104 können eine oder mehrere Bilderfassungsvorrichtungen (wie beispielsweise Kameras, Ladungskopplungsvorrichtungen (CCDs; charge coupling devices) oder irgendeine andere Art von Bildsensor) umfassen. Das Sicherheitssystem 200 kann auch eine Datenschnittstelle umfassen, die den einen oder die mehreren Prozessoren 102 kommunikativ mit der einen oder den mehreren Bildakquisitionsvorrichtungen 104 verbindet. Die Bildakquisitionsvorrichtungen 104 können sowohl nach innen gerichtete Kameras zur Erfassung und/oder Überwachung des Fahrers als auch nach außen gerichtete Kameras, die zur Erfassung von Bildern der äußeren Umgebung, in der das Fahrzeug 100 arbeitet, ausgebildet sind, umfassen. Eine erste Datenschnittstelle kann irgendwelche geeigneten drahtgebundenen und/oder drahtlosen ersten Links 220 zur Übertragung von Bilddaten, die von der einen oder den mehreren Bildakquisitionsvorrichtungen 104 erfasst werden, an den einen oder die mehreren Prozessoren 102, z. B. den Bildprozessor 216, umfassen.
Die drahtlosen Sendeempfänger 208, 210, 212 können über eine zweite Datenschnittstelle mit dem einen oder den mehreren Prozessoren 102, z. B. mit dem Kommunikationsprozessor 218, gekoppelt sein. Die zweite Datenschnittstelle kann irgendwelche geeigneten drahtgebundenen und/oder drahtlosen zweiten Links 222 zur Übertragung von funkübertragenen Daten, die von den drahtlosen Sendeempfängern 208, 210, 212 erfasst werden, an den einen oder die mehreren Prozessoren 102, wie z. B. an den Kommunikationsprozessor 218, umfassen. Solche Übertragungen können auch Kommunikationen (Ein-Weg oder Zwei-Wege) zwischen dem Fahrzeug 100 und einem oder mehreren anderen (Ziel-) Fahrzeugen in einer Umgebung des Fahrzeugs 100 (z. B. zur Erleichterung der Koordinierung der Navigation des Fahrzeugs 100 im Hinblick auf oder zusammen mit anderen (Ziel-) Fahrzeugen in der Umgebung des Fahrzeugs 100) oder sogar eine Broadcast-Übertragung an nicht spezifizierte Empfänger in der Nähe des übertragenden Fahrzeugs 100 umfassen.
Die Speicher 202 sowie die eine oder die mehreren Benutzerschnittstellen 206 können über eine dritte Datenschnittstelle mit jedem von dem einen oder den mehreren Prozessoren 102 gekoppelt sein. Die dritte Datenschnittstelle kann irgendwelche geeigneten drahtgebundenen und/oder drahtlosen dritten Links 224 umfassen. Darüber hinaus kann der Positionssensor 106 über die dritte Datenschnittstelle mit jedem von dem einen oder den mehreren Prozessoren 102 gekoppelt sein.
Jeder Prozessor 214A, 214B, 216, 218 von dem einen oder den mehreren Prozessoren 102 kann als irgendeine geeignete Anzahl und/oder Typ von hardwarebasierten Verarbeitungsvorrichtungen (z. B. Verarbeitungsschaltungsanordnung) implementiert werden und kann gemeinsam, d. h. mit dem einen oder den mehreren Prozessoren 102, einen oder mehrere Typen von Steuerungen bilden, wie hierin erörtert. Die in 2 gezeigte Architektur wird zur Erleichterung der Erläuterung und als Beispiel bereitgestellt und das Fahrzeug 100 kann irgendeine geeignete Anzahl von dem einem oder den mehreren Prozessoren 102 umfassen, von denen jeder in ähnlicher Weise ausgebildet sein kann, um über die verschiedenen Schnittstellen empfangene Daten zu nutzen und eine oder mehrere spezifische Aufgaben auszuführen.
Der eine oder die mehreren Prozessoren 102 können eine Steuerung bilden, die ausgebildet ist, um verschiedene steuerungsbezogene Funktionen des Fahrzeugs 100 auszuführen, wie hierin weiter erörtert wird, z. B. die Berechnung und Ausführung einer spezifischen Fahrzeuggeschwindigkeit, Beschleunigung, Bremsung, Lenkung, Trajektorie usw. Als ein anderes Beispiel kann das Fahrzeug 100 zusätzlich oder als Alternative zu dem einen oder den mehreren Prozessoren 102 andere Prozessoren (nicht dargestellt) implementieren, die einen anderen Typ von Steuerung bilden können, die ausgebildet ist, um zusätzliche oder alternative Arten von steuerungsbezogenen Funktionen auszuführen. Jede Steuerung kann für die Steuerung spezifischer Teilsysteme und/oder Steuerungen, die dem Fahrzeug 100 zugeordnet sind, verantwortlich sein. Jede Steuerung kann Daten von jeweils gekoppelten Komponenten, wie in 2 dargestellt, über jeweilige Schnittstellen (z. B. 220, 222, 224, 232 usw.) empfangen, wobei die drahtlosen Sendeempfänger 208, 210 und/oder 212 Daten an die jeweilige Steuerung über die zweiten Links 222 bereitstellen, die als Kommunikationsschnittstellen zwischen den jeweiligen drahtlosen Sendeempfängern 208, 210 und/oder 212 und jeder jeweiligen Steuerung fungieren.
Die Anwendungsprozessoren 214A, 214B können einzeln jeweilige Steuerungen darstellen, die in Verbindung mit dem einen oder den mehreren Prozessoren 102 arbeiten, um spezifische steuerungsbezogene Aufgaben auszuführen. Der Anwendungsprozessor 214A kann als eine Steuerung eines ersten Typs implementiert sein, während der Anwendungsprozessor 214B als ein unterschiedlicher Typ von Steuerung implementiert sein kann, der ausgebildet ist, um andere Arten von Aufgaben auszuführen. Der eine oder die mehreren Prozessoren 102 können Daten von jeweils gekoppelten Komponenten, wie in 2 dargestellt, über die verschiedenen Schnittstellen 220, 222, 224, 232 usw. empfangen, und der Kommunikationsprozessor 218 kann Kommunikationsdaten, die von anderen Fahrzeugen empfangen werden (oder ausgebildet sind, um an andere Fahrzeuge übertragen zu werden), über die jeweils gekoppelten Links 240A, 240B, die als Kommunikationsschnittstellen zwischen den jeweiligen Anwendungsprozessoren 214A, 214B und den Kommunikationsprozessoren 218 fungieren, an jede Steuerung bereitstellen.
Der eine oder die mehreren Prozessoren 102 können zusätzlich implementiert werden, um mit irgendwelchen anderen geeigneten Komponenten des Fahrzeugs 100 zu kommunizieren, um einen Zustand des Fahrzeugs während des Fahrens oder zu irgendeiner anderen geeigneten Zeit zu bestimmen. So kann das Fahrzeug 100 beispielsweise einen oder mehrere Fahrzeugcomputer, Sensoren, ECUs, Schnittstellen usw. umfassen, die zusammen als Fahrzeugkomponenten 230 bezeichnet werden können, wie in 2 dargestellt. Der eine oder die mehreren Prozessoren 102 sind ausgebildet, um mit den Fahrzeugkomponenten 230 über eine zusätzliche Datenschnittstelle 232 zu kommunizieren, die irgendeine geeignete Art von Links darstellen und gemäß irgendeinem geeigneten Kommunikationsprotokoll, wie z. B. CAN-Bus-Kommunikation oder anderen geeigneten fahrzeuginternen Kommunikationsstandards, arbeiten kann. Unter Verwendung der über die Datenschnittstelle 232 empfangenen Daten können der eine oder die mehreren Prozessoren 102 irgendeine geeignete Art von Fahrzeugstatusinformationen bestimmen, z. B. den aktuellen Fahrgang, die aktuelle Motordrehzahl, die Beschleunigungsfähigkeiten des Fahrzeugs 100, Bremseingaben, die die Betätigung der Bremsen anzeigen, Gaspedaleingaben, die die Betätigung des Gases oder der Leistung anzeigen, Lenkeingaben usw.
In jedem Fall können der eine oder die mehreren Prozessoren irgendeine geeignete Anzahl anderer Prozessoren 214A, 214B, 216, 218 umfassen, von denen jeder einen Subprozessor umfassen kann und/oder einen Mikroprozessor, Vorprozessoren (wie beispielsweise einen Bildvorprozessor), Grafikprozessoren, eine zentrale Verarbeitungseinheit (CPU; central processing unit), Assistenzschaltungen, digitale Signalprozessoren, integrierte Schaltungen, Speicher oder irgendwelche anderen Arten von Vorrichtungen umfassen kann, die für die Ausführung von Anwendungen und für die Datenverarbeitung (Bildverarbeitung, Audioverarbeitung usw.) und - analyse geeignet sind und/oder die funktionale Realisierung der Fahrzeugsteuerung ermöglichen. Jeder Prozessor 214A, 214B, 216, 218 kann irgendeine geeignete Art von Einzel- oder Mehrkernprozessor, Mobile-Vorrichtung-Mikrocontroller, zentraler Verarbeitungseinheit usw. umfassen. Diese Prozessortypen können jeweils mehrere Verarbeitungseinheiten mit lokalem Speicher und Anweisungssätzen umfassen. Solche Prozessoren können Videoeingänge für den Empfang von Bilddaten von mehreren Bildsensoren umfassen und können auch Videoausgangsfähigkeiten umfassen.
Irgendwelche der hierin offenbarten Prozessoren 214A, 214B, 216, 218 können ausgebildet sein, um bestimmte Funktionen gemäß Programmanweisungen auszuführen, die im lokalen Speicher jedes jeweiligen 214A, 214B, 216, 218 gespeichert sein können oder auf die über einen anderen Speicher zugegriffen werden kann, der Teil des Sicherheitssystems 200 oder extern zu dem Sicherheitssystem 200 ist. Dieser Speicher kann den einen oder die mehreren Speicher 202 umfassen. Unabhängig von der bestimmten Art und dem Standort des Speichers, auf den durch die 214A, 214B, 216, 218 zugegriffen wird, kann der Speicher Software und/oder ausführbare Anweisungen speichern, die, wenn sie von einem relevanten Prozessor (z. B., von dem einen oder den mehreren Prozessoren 102, einem oder mehreren der Prozessoren 214A, 214B, 216, 218 usw.) ausgeführt werden, den Betrieb des Sicherheitssystems 200 steuern und anderweitig fungieren, um die verschiedenen hierin erörterten Verarbeitungsaufgaben auszuführen, die die Vorhersage bestimmter Manöver basierend auf der Fahrer- und/oder Umgebungsüberwachung, die Bestimmung einer Konsequenz eines vorhergesagten Fahrzeugmanövers, das ausgeführt wird, die Identifizierung spezifischer Steuerfunktionen und die Ausführung solcher Steuerungsfunktionen umfassen können. Ein relevanter Speicher, auf den von dem einen oder den mehreren Prozessoren 214A, 214B, 216, 218 zugegriffen wird (z. B. der eine oder die mehreren Speicher 202), kann auch eine oder mehrere Datenbanken und Bildverarbeitungssoftware sowie ein trainiertes System, wie z. B. ein neuronales Netz oder ein tiefes neuronales Netz, speichern, das verwendet werden kann, um die verschiedenen verarbeitungsbezogenen Aufgaben auszuführen, wie nachfolgend ausführlicher erörtert. Ein relevanter Speicher, auf den von dem einen oder den mehreren Prozessoren 214A, 214B, 216, 218 zugegriffen wird (z. B. der eine oder die mehreren Speicher 202), kann als irgendeine geeignete Anzahl und/oder Art von nichtflüchtigem computerlesbaren Medium implementiert werden, wie z. B. Direktzugriffsspeicher, Nurlesespeicher, Flash-Speicher, Plattenlaufwerke, optische Speicher, Bandspeicher, entfernbarer Speicher oder irgendwelche anderen geeigneten Speichertypen.
Die Komponenten, die dem Sicherheitssystem 200 zugeordnet sind, wie in 2 gezeigt, sind nur der Einfachheit der Erklärung halber und nicht zur Einschränkung dargestellt. Das Sicherheitssystem 200 kann zusätzliche, weniger oder alternative Komponenten umfassen, wie hierin in Bezug auf 2 gezeigt und erörtert. Darüber hinaus können eine oder mehrere Komponenten des Sicherheitssystems 200 integriert oder anderweitig in Verarbeitungsschaltungsanordnungs-Komponenten kombiniert oder von den in 2 gezeigten getrennt werden, um unterschiedliche und separate Komponenten zu bilden. So können beispielsweise eine oder mehrere der Komponenten des Sicherheitssystems 200 auf einem gemeinsamen Die oder Chip miteinander integriert sein. Der eine oder die mehreren Prozessoren 102 und der relevante Speicher, auf den von dem einen oder den mehreren Prozessoren 214A, 214B, 216, 218 zugegriffen wird (z. B. der eine oder die mehreren Speicher 202), können auf einem gemeinsamen Chip, Die, Package usw. integriert sein und umfassen zusammen eine Steuerung oder ein System, die/das ausgebildet ist, um eine oder mehrere spezifische Aufgaben oder Funktionen auszuführen.
Das Sicherheitssystem 200 kann ferner Komponenten wie einen Geschwindigkeitssensor 108 (z. B. einen Tachometer) zur Messung einer Geschwindigkeit des Fahrzeugs 100 umfassen. Das Sicherheitssystem kann auch einen oder mehrere Beschleunigungssensoren (entweder Einachsen- oder Mehrachsen-) (nicht dargestellt) zur Messung der Beschleunigungen des Fahrzeugs 100 entlang einer oder mehrerer Achsen umfassen. Das Sicherheitssystem 200 kann ferner zusätzliche Sensoren oder unterschiedliche Sensortypen umfassen, wie z. B. einen Ultraschallsensor, einen thermischen Sensor, einen oder mehrere Radarsensoren 110, einen oder mehrere LIDAR-Sensoren 112 (die in die Scheinwerfer des Fahrzeugs 100 integriert sein können), digitale Kompasse und Ähnliches. Die Radarsensoren 110 und/oder die LIDAR-Sensoren 112 können ausgebildet sein, um vorverarbeitete Sensordaten, wie Radar-Ziellisten oder LIDAR-Ziellisten, bereitzustellen. Die dritte Datenschnittstelle (ein oder mehrere Links 224) kann den Geschwindigkeitssensor 108, den einen oder die mehreren Radarsensoren 110 und den einen oder die mehreren LIDAR-Sensoren 112 mit zumindest einem von dem einen oder den mehreren Prozessoren 102 koppeln.
Der relevante Speicher, auf den von dem einen oder den mehreren Prozessoren 214A, 214B, 216, 218 zugegriffen wird (z. B. der eine oder die mehreren Speicher 202), kann Daten in einer Datenbank oder in irgendeinem unterschiedlichen Format speichern, das einen Standort bekannter Orientierungspunkte anzeigt, die den Standort bekannter Verkehrssicherheitsspiegel und/oder anderer Merkmale umfassen können, die in der navigierten Umgebung, in der sich das Fahrzeug 100 bewegt, leicht identifizierbar sind. Der eine oder die mehreren Prozessoren 102 können sensorische Informationen (z. B. Bilder, Radarsignale, Tiefeninformationen von LIDAR oder Stereoverarbeitung von zwei oder mehr Bildern) über die Umgebung des Fahrzeugs 100 zusammen mit Positionsinformationen, z. B. GPS-Koordinaten, Ego-Bewegung eines Fahrzeugs usw., verarbeiten, um einen aktuellen Standort und/oder eine Ausrichtung des Fahrzeugs 100 relativ zu den bekannten Orientierungspunkten zu bestimmen und die Bestimmung des Standorts des Fahrzeugs zu verfeinern.
Bestimmte Implementierungen dieser Technologie können in einer Lokalisierungstechnologie wie beispielsweise einem Mapping- und Routing-Modell umfasst sein.
Die Kartendatenbank 204 kann irgendeine geeignete Art von Datenbank umfassen, die (digitale) Kartendaten für das Fahrzeug 100 und das Sicherheitssystem 200 speichert. Die Kartendatenbank 204 kann Daten umfassen, die sich auf die Position verschiedener Elemente in einem Referenzkoordinatensystem beziehen, umfassend Straßen, Wassermerkmale, geografische Merkmale, Unternehmen, Punkte von Interesse, Restaurants, Tankstellen usw. Die Kartendatenbank 204 kann nicht nur die Standorte solcher Elemente speichern, sondern auch Deskriptoren, die sich auf diese Elemente beziehen, umfassend Namen, die irgendwelchen der gespeicherten Merkmale zugeordnet sind. Ein Prozessor von dem einen oder den mehreren Prozessoren 102 kann Informationen aus der Kartendatenbank 204 über eine drahtgebundene oder drahtlose Datenverbindung in ein Kommunikationsnetz (z. B. über ein zellulares Netz und/oder das Internet usw.) herunterladen. In einigen Fällen kann die Kartendatenbank 204 ein spärliches Datenmodell, umfassend polynomiale Darstellungen bestimmter Straßenmerkmale (wie Fahrbahnmarkierungen) oder Zieltrajektorien für das Fahrzeug 100 speichern. Die Kartendatenbank 204 kann auch gespeicherte Darstellungen verschiedener erkannter Orientierungspunkte umfassen, die zur Bestimmung oder Aktualisierung einer bekannten Position des Fahrzeugs 100 in Bezug auf eine Zieltrajektorie bereitgestellt werden können. Die Darstellungen der Orientierungspunkte können Datenfelder wie den Typ des Orientierungspunkts, den Standort des Orientierungspunkts umfassen, neben anderen potenziellen Identifizierern. Die Kartendatenbank 204 kann auch nicht-semantische Merkmale, umfassend Punktwolken von bestimmten Objekten oder Merkmalen in der Umgebung, und Merkmalspunkte und -deskriptoren umfassen.
Ferner kann das Sicherheitssystem 200 das zuvor erwähnte SDM als Teil irgendeines geeigneten Typs von Steuerungssystem implementieren, das die Verwendung irgendeines geeigneten Typs von Steuerung umfassen kann und Teil eines fortschrittlichen Fahrassistenzsystems (ADAS) oder eines Fahrassistenz- und Automatisiertes-Fahren-Systems bilden kann. Das Sicherheitssystem 200 kann eine Computerimplementierung eines formalen Modells wie beispielsweise des SDM umfassen. Wie vorangehend beschrieben, kann das Fahrzeug 100 das Sicherheitssystem 200 umfassen, wie auch in Bezug auf 2 beschrieben.
Allgemeiner Betrieb des Fahrzeugs 100 und des Sicherheitssystems 200
Ein Fahrzeug wird bereitgestellt. Bezug nehmend auf 1 und 2 kann das Fahrzeug eine Überwachungsschaltungsanordnung umfassen, die ausgebildet ist zum (i) Vorhersagen eines Fahrzeugmanövers basierend auf einer Analyse von Fahrerzustandsdaten und Fahrzeugzustandsdaten und (ii) Kategorisieren einer Konsequenz, die aus einer Ausführung des vorhergesagten Fahrzeugmanövers resultiert, in eine aus einer Mehrzahl von risikobasierten Kategorien, wobei jede der Mehrzahl von risikobasierten Kategorien auf einem Schweregrad der Gefahr basiert, die aus der Ausführung des vorhergesagten Fahrzeugmanövers in einer Fahrumgebung des Fahrzeugs resultiert. Das Fahrzeug kann auch eine Steuerung umfassen, die ausgebildet ist, um das Fahrzeug zu veranlassen, eine Korrekturaktion auszuführen, die derjenigen der Mehrzahl von risikobasierten Kategorien entspricht, in die die aus der Ausführung des vorhergesagten Fahrzeugmanövers resultierende Konsequenz kategorisiert wird. Ferner kann die Mehrzahl von risikobasierten Kategorien eine Hohes-Risiko-Kategorie, die dem vorhergesagten Fahrzeugmanöver zugeordnet ist, das bei Ausführung mit einem aus einem Satz von vorbestimmten Fahrzeugmanövern übereinstimmt, eine Mittleres-Risiko-Kategorie, die einem Auftreten von atypischem Fahrerverhalten zugeordnet ist, das dem vorhergesagten Fahrzeugmanöver zugeordnet ist, das ausgeführt wird, und eine Niedriges-Risiko-Kategorie, die einem Auftreten eines Verstoßes gegen eine nicht sicherheitskritische Verkehrsregel zugeordnet ist, die dem vorhergesagten Fahrzeugmanöver zugeordnet ist, das ausgeführt wird, umfassen. Zusätzlich oder alternativ zu und in irgendeiner Kombination mit den zuvor in diesem Absatz erläuterten optionalen Merkmalen kann die Mehrzahl von risikobasierten Kategorien eine Hohes-Risiko-Kategorie umfassen, die dem vorhergesagten Fahrzeugmanöver zugeordnet ist, das bei Ausführung mit einem aus einem Satz von vorbestimmten Fahrzeugmanövern übereinstimmt, und die Steuerung kann ausgebildet sein, um, wenn die aus der Ausführung des vorhergesagten Fahrzeugmanövers resultierende Konsequenz in die Hohes-Risiko-Kategorie kategorisiert wird, das Fahrzeug zu veranlassen, die einer eingreifenden Fahrzeugsteuerungsoperation entsprechende Korrekturaktion auszuführen, um die Ausführung des vorhergesagten Fahrzeugmanövers zu verhindern. Zusätzlich oder alternativ zu und in irgendeiner Kombination mit den zuvor in diesem Absatz erläuterten optionalen Merkmalen kann die Steuerung ausgebildet sein, um das Fahrzeug zu veranlassen, die eingreifende Fahrzeugsteuerungsoperation auszuführen, um eine gemeinschaftlich verwendete Steuerung des Fahrzeugs zwischen dem Fahrer und den autonomen Fahrzeugsteuerungen bereitzustellen. Zusätzlich oder alternativ zu und in irgendeiner Kombination mit den zuvor in diesem Absatz erläuterten optionalen Merkmalen kann die Steuerung ausgebildet sein, um das Fahrzeug zu veranlassen, die eingreifende Fahrzeugsteuerungsoperation auszuführen, um die gemeinschaftlich verwendete Steuerung des Fahrzeugs bereitzustellen, indem eine gewichtete Funktion erzeugt wird, die eine erste Gewichtung, die auf Benutzerfahrzeugsteuerungseingaben angewendet wird, und eine zweite Gewichtung, die auf Autonomes-Fahrzeug-Steuerungseingaben angewendet wird, umfasst. Zusätzlich oder alternativ zu und in irgendeiner Kombination mit den zuvor in diesem Absatz erläuterten optionalen Merkmalen kann die Steuerung ausgebildet sein, um das Fahrzeug zu veranlassen, die eingreifende Fahrzeugsteuerungsoperation aufrechtzuerhalten, um die gemeinschaftlich verwendete Steuerung des Fahrzeugs bereitzustellen, bis eine Eingabe empfangen wird, die anzeigt, dass der Fahrer in der Lage ist, das Fahrzeug zu steuern. Zusätzlich oder alternativ zu und in irgendeiner Kombination mit den zuvor in diesem Absatz erläuterten optionalen Merkmalen kann die Steuerung ferner ausgebildet sein, um das Fahrzeug zu veranlassen, die eingreifende Fahrzeugsteuerungsoperation aufrechtzuerhalten, um die gemeinschaftlich verwendete Steuerung des Fahrzeugs bereitzustellen, bis die Fahrerzustandsdaten anzeigen, dass der Fahrer seine Aufmerksamkeit wiedererlangt hat. Zusätzlich oder alternativ zu und in irgendeiner Kombination mit den zuvor in diesem Absatz erläuterten optionalen Merkmalen kann die Mehrzahl von risikobasierten Kategorien eine Mittleres-Risiko-Kategorie umfassen, die atypischem Fahrerverhalten zugeordnet ist, wobei das atypische Fahrerverhalten dem vorhergesagten Fahrzeugmanöver zugeordnet ist, das ausgeführt wird, und die Steuerung kann ausgebildet sein, um, wenn die aus der Ausführung des vorhergesagten Fahrzeugmanövers resultierende Konsequenz als Mittleres-Risiko-Kategorie kategorisiert wird, das Fahrzeug zu veranlassen, die Korrekturaktion auszuführen, die der Erzeugung einer Benachrichtigung an den Fahrer über das atypische Fahrerverhalten entspricht. Zusätzlich oder alternativ zu und in irgendeiner Kombination mit den zuvor in diesem Absatz erläuterten optionalen Merkmalen kann die Überwachungsschaltungsanordnung ausgebildet sein, um ein zusätzliches Fahrzeugmanöver basierend auf der Analyse der Fahrerzustandsdaten vorherzusagen, nachdem die Benachrichtigung erzeugt wird, und eine Konsequenz, die aus einer Ausführung des zusätzlichen vorhergesagten Fahrzeugmanövers resultiert, in eine aus der Mehrzahl von risikobasierten Kategorien zu kategorisieren. Zusätzlich oder alternativ zu und in irgendeiner Kombination mit den zuvor in diesem Absatz erläuterten optionalen Merkmalen kann die Mehrzahl von risikobasierten Kategorien eine Niedriges-Risiko-Kategorie umfassen, die einem Auftreten eines Verstoßes gegen eine nicht sicherheitskritische Verkehrsregel zugeordnet ist, die dem vorhergesagten Fahrzeugmanöver zugeordnet ist, das ausgeführt wird, und die Steuerung kann ausgebildet sein, um, wenn die Konsequenz, die aus der Ausführung des vorhergesagten Fahrzeugmanövers resultiert, als Niedriges-Risiko-Kategorie kategorisiert wird, das Fahrzeug zu veranlassen, eine Fahrzeugkomponente autonom zu aktivieren, um das Auftreten des Verstoßes gegen die nicht sicherheitskritische Verkehrsregel zu korrigieren.
Eine Steuerung eines Fahrzeugs wird bereitgestellt. Bezug nehmend auf 1 und 2 kann die Steuerung eine Datenschnittstelle umfassen, die ausgebildet ist, um Fahrerzustandsdaten und Fahrzeugzustandsdaten bereitzustellen; und einen oder mehrere Prozessoren, die ausgebildet sind zum: Vorhersagen eines Fahrzeugmanövers basierend auf einer Analyse der Fahrerzustandsdaten und der Fahrzeugzustandsdaten; Kategorisieren einer Konsequenz, die aus einer Ausführung des vorhergesagten Fahrzeugmanövers resultiert, in eine aus einer Mehrzahl von risikobasierten Kategorien, wobei jede der Mehrzahl von risikobasierten Kategorien auf einem Schweregrad der Gefahr basiert, die aus der Ausführung des vorhergesagten Fahrzeugmanövers in einer Fahrumgebung des Fahrzeugs resultiert; und Veranlassen, dass das Fahrzeug eine Korrekturaktion ausführt, die derjenigen der Mehrzahl von risikobasierten Kategorien entspricht, in die die aus der Ausführung des vorhergesagten Fahrzeugmanövers resultierende Konsequenz kategorisiert wird. Ferner umfasst die Mehrzahl von risikobasierten Kategorien eine Hohes-Risiko-Kategorie, die dem vorhergesagten Fahrzeugmanöver zugeordnet ist, das bei Ausführung mit einem aus einem Satz von vorbestimmten Fahrzeugmanövern übereinstimmt, eine Mittleres-Risiko-Kategorie, die einem Auftreten von atypischem Fahrerverhalten zugeordnet ist, das dem vorhergesagten Fahrzeugmanöver zugeordnet ist, das ausgeführt wird, und eine Niedriges-Risiko-Kategorie, die einem Auftreten eines Verstoßes gegen eine nicht sicherheitskritische Verkehrsregel zugeordnet ist, die dem vorhergesagten Fahrzeugmanöver zugeordnet ist, das ausgeführt wird. Zusätzlich oder alternativ zu und in irgendeiner Kombination mit den zuvor in diesem Absatz erläuterten optionalen Merkmalen kann die Mehrzahl von risikobasierten Kategorien eine Hohes-Risiko-Kategorie umfassen, die dem vorhergesagten Fahrzeugmanöver zugeordnet ist, das bei Ausführung mit einem aus einem Satz von vorbestimmten Fahrzeugmanövern übereinstimmt, und wobei der eine oder die mehreren Prozessoren ausgebildet sein können, um, wenn die aus der Ausführung des vorhergesagten Fahrzeugmanövers resultierende Konsequenz in die Hohes-Risiko-Kategorie kategorisiert wird, das Fahrzeug zu veranlassen, die einer eingreifenden Fahrzeugsteuerungsoperation entsprechende Korrekturaktion auszuführen, um die Ausführung des vorhergesagten Fahrzeugmanövers zu verhindern. Zusätzlich oder alternativ zu und in irgendeiner Kombination mit den zuvor in diesem Absatz erläuterten optionalen Merkmalen können der eine oder die mehreren Prozessoren ausgebildet sein, um das Fahrzeug zu veranlassen, die eingreifende Fahrzeugsteuerungsoperation auszuführen, um eine gemeinschaftlich verwendete Steuerung des Fahrzeugs zwischen dem Fahrer und den autonomen Fahrzeugsteuerungen bereitzustellen. Zusätzlich oder alternativ zu und in irgendeiner Kombination mit den zuvor in diesem Absatz erläuterten optionalen Merkmalen können der eine oder die mehreren Prozessoren ausgebildet sein, um das Fahrzeug zu veranlassen, die eingreifende Fahrzeugsteuerungsoperation auszuführen, um die gemeinschaftlich verwendete Steuerung des Fahrzeugs bereitzustellen, indem eine gewichtete Funktion erzeugt wird, die eine erste Gewichtung, die auf Benutzerfahrzeugsteuerungseingaben angewendet wird, und eine zweite Gewichtung, die auf Autonomes-Fahrzeug-Steuerungseingaben angewendet wird, umfasst. Zusätzlich oder alternativ zu und in irgendeiner Kombination mit den zuvor in diesem Absatz erläuterten optionalen Merkmalen können der eine oder die mehreren Prozessoren ausgebildet sein, um das Fahrzeug zu veranlassen, die eingreifende Fahrzeugsteuerungsoperation aufrechtzuerhalten, um die gemeinschaftlich verwendete Steuerung des Fahrzeugs bereitzustellen, bis eine Eingabe empfangen wird, die anzeigt, dass der Fahrer in der Lage ist, das Fahrzeug zu steuern. Zusätzlich oder alternativ zu und in irgendeiner Kombination mit den zuvor in diesem Absatz erläuterten optionalen Merkmalen können der eine oder die mehreren Prozessoren ferner ausgebildet sein, um das Fahrzeug zu veranlassen, die eingreifende Fahrzeugsteuerungsoperation aufrechtzuerhalten, um die gemeinschaftlich verwendete Steuerung des Fahrzeugs bereitzustellen, bis die Fahrerzustandsdaten anzeigen, dass der Fahrer seine Aufmerksamkeit wiedererlangt hat. Zusätzlich oder alternativ zu und in irgendeiner Kombination mit den zuvor in diesem Absatz erläuterten optionalen Merkmalen kann die Mehrzahl von risikobasierten Kategorien eine Mittleres-Risiko-Kategorie umfassen, die einem Auftreten von atypischem Fahrerverhalten zugeordnet ist, das dem vorhergesagten Fahrzeugmanöver zugeordnet ist, das ausgeführt wird, und der eine oder die mehreren Prozessoren können ausgebildet sein, um, wenn die aus der Ausführung des vorhergesagten Fahrzeugmanövers resultierende Konsequenz als Mittleres-Risiko-Kategorie kategorisiert wird, das Fahrzeug zu veranlassen, die Korrekturaktion auszuführen, die der Erzeugung einer Benachrichtigung an den Fahrer über das atypische Fahrerverhalten entspricht. Zusätzlich oder alternativ zu und in irgendeiner Kombination mit den zuvor in diesem Absatz erläuterten optionalen Merkmalen können der eine oder die mehreren Prozessoren ausgebildet sein, um ein zusätzliches Fahrzeugmanöver basierend auf der Analyse der Fahrerzustandsdaten vorherzusagen, nachdem die Benachrichtigung erzeugt wird, und eine Konsequenz, die aus einer Ausführung des zusätzlichen vorhergesagten Fahrzeugmanövers resultiert, in eine aus der Mehrzahl von risikobasierten Kategorien zu kategorisieren. Zusätzlich oder alternativ zu und in irgendeiner Kombination mit den zuvor in diesem Absatz erläuterten optionalen Merkmalen kann die Mehrzahl von risikobasierten Kategorien eine Niedriges-Risiko-Kategorie umfassen, die einem Auftreten eines Verstoßes gegen eine nicht sicherheitskritische Verkehrsregel zugeordnet ist, die dem vorhergesagten Fahrzeugmanöver zugeordnet ist, das ausgeführt wird, und der eine oder die mehreren Prozessoren können ausgebildet sein, um, wenn die aus der Ausführung des vorhergesagten Fahrzeugmanövers resultierende Konsequenz als Niedriges-Risiko-Kategorie kategorisiert wird, das Fahrzeug zu veranlassen, eine Fahrzeugkomponente autonom zu aktivieren, um das Auftreten des Verstoßes gegen die nicht sicherheitskritische Verkehrsregel zu korrigieren.
Ein nichtflüchtiges, computerlesbares Medium eines Fahrzeugs wird bereitgestellt. Bezug nehmend auf 1 und 2 kann das nichtflüchtige, computerlesbare Medium Anweisungen aufweisen, die auf demselben gespeichert sind, die bei Ausführung durch einen oder mehrere Prozessoren des Fahrzeugs das Fahrzeug veranlassen zum: Vorhersagen eines Fahrzeugmanövers basierend auf einer Analyse von Fahrerzustandsdaten, die einem Fahrer des Fahrzeugs zugeordnet sind, und von Fahrzeugzustandsdaten; Kategorisieren einer Konsequenz, die aus einer Ausführung des vorhergesagten Fahrzeugmanövers resultiert, in eine aus einer Mehrzahl von risikobasierten Kategorien, wobei jede der Mehrzahl von risikobasierten Kategorien auf einem Schweregrad der Gefahr basiert, die aus der Ausführung des vorhergesagten Fahrzeugmanövers in einer Fahrumgebung des Fahrzeugs resultiert; und Veranlassen des Fahrzeugs, eine Korrekturaktion auszuführen, die derjenigen der Mehrzahl von risikobasierten Kategorien entspricht, in die die aus der Ausführung des vorhergesagten Fahrzeugmanövers resultierende Konsequenz kategorisiert wird. Ferner umfasst die Mehrzahl von risikobasierten Kategorien eine Hohes-Risiko-Kategorie, die einem Resultieren aus dem vorhergesagten Fahrzeugmanöver zugeordnet ist, das bei Ausführung mit einem aus einem Satz von vorbestimmten gefährlichen Fahrzeugmanövern übereinstimmt, eine Mittleres-Risiko-Kategorie, die einem Auftreten von atypischem Fahrerverhalten zugeordnet ist, wenn das vorhergesagte Fahrzeugmanöver ausgeführt werden wird, und eine Niedriges-Risiko-Kategorie, die einem Auftreten eines Verstoßes gegen eine nicht sicherheitskritische Verkehrsregel zugeordnet ist, wenn das vorhergesagte Fahrzeugmanöver ausgeführt werden wird. Zusätzlich oder alternativ zu und in irgendeiner Kombination mit den zuvor in diesem Absatz erläuterten optionalen Merkmalen kann die Mehrzahl von risikobasierten Kategorien eine Hohes-Risiko-Kategorie umfassen, die einem Resultieren aus dem vorhergesagten Fahrzeugmanöver zugeordnet ist, das bei Ausführung mit einem aus einem Satz von vorbestimmten gefährlichen Fahrzeugmanövern übereinstimmt, und wobei die Anweisungen, wenn sie von einem oder mehreren Prozessoren des Fahrzeugs ausgeführt werden, das Fahrzeug veranlassen, wenn die aus der Ausführung des vorhergesagten Fahrzeugmanövers resultierende Konsequenz als Hohes-Risiko-Kategorie kategorisiert wird, die einer eingreifenden Fahrzeugsteuerungs-basierten Operation entsprechende Korrekturaktion auszuführen, um die Ausführung des vorhergesagten Fahrzeugmanövers zu verhindern. Zusätzlich oder alternativ zu und in irgendeiner Kombination mit den zuvor in diesem Absatz erläuterten optionalen Merkmalen kann die Mehrzahl von risikobasierten Kategorien eine Mittleres-Risiko-Kategorie umfassen, die einem Auftreten von atypischem Fahrerverhalten zugeordnet ist, wenn das vorhergesagte Fahrzeugmanöver ausgeführt werden wird, kann die Mehrzahl von risikobasierten Kategorien eine Niedriges-Risiko-Kategorie umfassen, die einem Auftreten eines Verstoßes gegen eine nicht sicherheitskritische Verkehrsregel zugeordnet ist, wenn das vorhergesagte Fahrmanöver ausgeführt werden wird, und können die Anweisungen, wenn sie von einem oder mehreren Prozessoren des Fahrzeugs ausgeführt werden, das Fahrzeug veranlassen: wenn die aus der Ausführung des vorhergesagten Fahrzeugmanövers resultierende Konsequenz als die Mittleres-Risiko-Kategorie kategorisiert wird, die der Erzeugung einer Benachrichtigung an den Fahrer über das atypische Fahrerverhalten entsprechende Korrekturaktion auszuführen; und wenn die aus der Ausführung des vorhergesagten Fahrzeugmanövers resultierende Konsequenz als Niedriges-Risiko-Kategorie kategorisiert wird, das Fahrzeug zu veranlassen, eine Fahrzeugkomponente autonom zu aktivieren, um das Auftreten des Verstoßes gegen die nicht sicherheitskritische Verkehrsregel zu korrigieren.
Szenarien von Fahreraktionen
3A stellt ein Szenario von Fahreraktionen, die aufgrund einer bewusstseinsbezogenen Fehleinschätzung eines Fahrzeugs gegen die Verkehrsregeln verstoßen, gemäß der vorliegenden Offenbarung dar. Auf der in 3A gezeigten Kreuzung ist ein ortsfremder Fahrer im Fahrzeug 302 gezeigt, von dem man annimmt, dass er mit der Vorfahrtsregelung in einem anderen Rechtsraum nicht vertraut ist. In diesem Szenario hat das Fahrzeug 304 Vorfahrt. Der Fahrer des Fahrzeugs 302 glaubt möglicherweise fälschlicherweise, dass er Vorfahrt hat, und überquert die Kreuzung und verursacht potenziell einen Zusammenstoß. Dieses gefährliche Szenario könnte durch eine rechtzeitige Identifizierung der Aktion des Fahrers, in einer Rechts-vor-links-Zone an der Kreuzung weiter geradeaus zu fahren, verhindert werden. Dies könnte eine Bestimmung umfassen, basierend auf einer Analyse der Bilder der nach innen gerichteten Kamera, dass der Fahrer des Fahrzeugs 302 seine Aufmerksamkeit nach vorne richtet, anstatt nach rechts auf das sich nähernde Fahrzeug 304 zu schauen.
3B stellt ein anderes Szenario von Fahreraktionen, die aufgrund einer bewusstseinsbezogenen Fehleinschätzung eines Fahrzeugs gegen die Verkehrsregeln verstoßen, gemäß der vorliegenden Offenbarung dar. Auf der in 3B gezeigten Kreuzung ist ein ortsfremder Fahrer im Fahrzeug 302 gezeigt, von dem man annimmt, dass er mit der Vorfahrtsregelung in einem anderen Rechtsraum nicht vertraut ist. In diesem Rechtsraum fahren die Fahrzeuge auf der linken Seite der Straße, während der Fahrer des Fahrzeugs 302 mit der rechten Seite vertraut ist. Die Aufmerksamkeit des Fahrers des Fahrzeugs 302 ist in diesem Szenario nach links anstatt nach rechts gerichtet, wie es im Heimat-Rechtskreis des Fahrers des Fahrzeugs 302 üblich wäre. Somit veranschaulicht das in 3B gezeigte Szenario, dass der Fahrer des Fahrzeugs 302 irrtümlich in die falsche Richtung blickt, keine Fahrzeuge sieht, die sich der Kreuzung nähern, und dann weiter in die Kreuzung einfährt und potenziell einen Zusammenstoß mit dem Fahrzeug 304 verursacht.
Die Offenbarung, wie hierin ausführlicher erörtert wird, zielt darauf ab, solche Szenarien sowie irgendein anderes geeignetes Szenario zu adressieren, in dem ein bestimmtes Fahrmanöver oder eine Fahreraktion durch Überwachung der Aufmerksamkeit/Konzentration des Fahrers und/oder der Umgebung vorhergesagt werden kann. Wie hierin weiter erörtert wird, wird ein Mechanismus offenbart, um Fehler des menschlichen Fahrers aufgrund von Unkenntnis der Situation zu identifizieren, bevor eine gefährliche Situation erreicht wird, die beste Handlungsweise zu bestimmen, um die potenziellen Konsequenzen solcher Fehler abzumildern, und diese Aktion unter Berücksichtigung einer progressiven gemeinschaftlichen Verwendung der Steuerung und Verantwortung zwischen dem Fahrer und den Steuerungssystemen des Fahrzeugs zu initiieren.
Prozessablauf für ein Fahrer- und Umgebungsüberwachungssystem
4 stellt Verarbeitungsoperationen zur Identifizierung und Abmilderung von Bewusstseinsfehlern des Fahrers gemäß der vorliegenden Offenbarung dar. Der in 4 gezeigte Prozessablauf 400 veranschaulicht einen Gesamtprozessablauf, der in zwei allgemeinen Stufen dargestellt wird, wobei die erste die Identifizierung eines bestimmten Typs von Bewusstseinsfehler des Fahrers ist, auf die die zweite Stufe folgt, die eine zugehörige Abmilderung oder Korrektur dieses Fehlers umfasst. Für die erste Stufe kann die Identifizierung des bewusstseinsbezogenen Fehlers des menschlichen Fahrers eine Analyse sowohl des fahrzeuginternen Fahrerüberwachungssystems (DMS; driver monitor system) und/oder nach innen gerichteter Kameras oder anderer Sensoren als auch nach außen gerichteter Kameras, externer Umgebungsüberwachungssysteme und/oder externer Sensoren umfassen. Die von jedem dieser Systeme hergeleiteten Daten werden gemeinsam analysiert, um zunächst das unmittelbare Fahrzeugmanöver vorherzusagen, das dann zur Bewertung der potenziellen Konsequenzen und der möglichen Risikominderungsaktionen verwendet wird.
Das DMS, nach innen gerichtete Kameras oder andere Sensoren können als irgendeine geeignete Art eines Fahrzeugsicherheitssystems implementiert werden, das ausgebildet ist, um die Wachsamkeit des Fahrers zu bewerten und typischerweise irgendeine Art von Eingriffsaktion auszuführen, wie z. B. die Warnung des Fahrers oder das Betätigen der Bremsen, falls erforderlich. Das DMS kann als Teil des Sicherheitssystems 200 gemäß irgendeiner geeigneten Technik oder Architektur, umfassend diejenigen eines bekannten Entwurfs, implementiert werden, obwohl die bestimmten Aktionen, die normalerweise über das DMS ausgeführt werden, stattdessen wie hierin ausführlicher erörtert basierend auf der bestimmten Art des identifizierten Manövers ausgeführt werden können. Anders ausgedrückt kann ein vorhandenes Fahrzeug-DMS genutzt werden, um die für die Fahrerüberwachung verwendeten Daten, wie die Bilder 404.1-404.-N, zu erfassen, oder alternativ kann das DMS mit einer oder mehreren Komponenten des Sicherheitssystems 200 identifiziert werden, die zur Erfassung der relevanten Fahrerbewusstseinsdaten, wie die Bilder des Fahrers 404.1-404.N, verwendet werden. Somit kann das DMS über irgendeine geeignete Kombination der bordeigenen Sensoren des Fahrzeugs 100 (Bildakquisitionsvorrichtungen 104, die nach innen gerichtete Kameras sein können), des einen oder der mehreren Prozessoren 102 und/oder eines oder mehrerer der Anwendungsprozessoren 214A, 214B, des Bildprozessors 216, des Kommunikationsprozessors 218 usw. implementiert werden. Ebenso können die zu Zwecken der Umgebungsüberwachung erfassten Daten unter Verwendung vorhandener Fahrzeugüberwachungsvorrichtungen (wie z. B. der nach außen gerichteten Kameras des Fahrzeugs) und/oder über irgendeine geeignete Kombination aus den bordeigenen Sensoren des Fahrzeugs 100, dem einen oder den mehreren Prozessoren 102 und/oder einem oder mehreren der Anwendungsprozessoren 214A, 214B, dem Bildprozessor 216, dem Kommunikationsprozessor 218 usw. implementiert werden.
Die in 4 dargestellten Daten umfassen einen Satz von N Anzahl von Bildern 402.1-402.N, die dem Äußeren des Fahrzeugs entsprechen, sowie einen Satz von N Anzahl von Bildern 404.1-404.N, die dem Inneren des Fahrzeugs entsprechen. Die in 4 gezeigten Bilder 402, 404 sind nicht einschränkend und können im Allgemeinen Daten darstellen, die über irgendeine(n) geeignete(n) Anzahl und/oder Typ der bordeigenen Sensoren des Fahrzeugs 100 (Bildakquisitionsvorrichtungen 104, Positionssensoren 106, Geschwindigkeitssensoren 108, Radarsensoren 110, LIDAR-Sensoren 112 usw.) erfasst werden. Dies kann Kamerabilder von nach innen und nach außen gerichteten Kameras umfassen, ist aber nicht auf diese bestimmte Implementierung beschränkt, da die Bilder 402, 404 zusätzlich oder alternativ andere Typen von Sensordaten oder Bilddaten darstellen können, von denen eine Fahrerüberwachung und eine Umgebungsüberwachung ausgeführt werden können, die Radardaten, LIDAR-Daten, Ultraschalldaten usw. umfassen können. Obwohl die hierin erörterte Analyse in Bezug auf eine Bildanalyse beschrieben wird, dient dies der Einfachheit der Erläuterung und soll keine Einschränkung sein. Die hierin erörterten Analysen zur Vorhersage von Fahrzeugmanövern und der Konsequenz von ausgeführten Fahrzeugmanövern können direkt an Rohdaten oder an verarbeiteten Daten ausgeführt werden, falls verfügbar. Dies kann das Ergebnis eines Umgebungsmodells umfassen, und die resultierende Ausgabe kann in 3D oder 2D sein und umfasst Straßengeometrie, dynamische und statische Straßenakteure/Verkehrssteuerungen usw.
Wie in 4 gezeigt, kann der Fahrzeugmanövervorhersage-Verarbeitungsblock 401 die Bilder 402, 404 über irgendeine geeignete Datenschnittstelle empfangen, wie z. B. eine oder mehrere von der ersten, zweiten und dritten Datenschnittstelle, wie hierin Bezug nehmend auf das Sicherheitssystem 200 erörtert, die ausgebildet sind, um die Bilder 402.1-402.N und 404.1-404.N bereitzustellen. Die Bilder 402.1-402.N und 404.1-404.N werden dann in einen Raumzeitliche-Analyse-Verarbeitungsblock 406 eingespeist, der eine Manövervorhersage ausführt, wie hierin ausführlicher erörtert. Der Fahrzeugmanövervorhersage-Verarbeitungsblock 401 und/oder der Raumzeitliche-Analyse-Verarbeitungsblock 406 kann eine Analyse darstellen, die von irgendeinem geeigneten Typ von trainiertem System ausgeführt wird, z. B. einem dreidimensionalen neuronalen Convolution-Netzwerk (3D CN; three-dimensional convolutional neural network). Der Fahrzeugmanövervorhersage-Verarbeitungsblock 401 und/oder der Raumzeitliche-Verarbeitung-Block 406 können somit durch irgendeinen der Prozessoren 102, 214A, 214B, 216, 218 implementiert werden und/oder die Verarbeitung darstellen, die über irgendeinen derselben ausgeführt wird, die unabhängig und/oder in Kombination miteinander arbeiten, wie vorangehend erwähnt, und die Programmanweisungen ausführen können, die in einem geeigneten Speicher (z. B. einem lokalen Speicher und/oder einem Speicher von dem einen oder den mehreren Speichern 202) gespeichert sind.
Unabhängig von der bestimmten Implementierung fungiert der Raumzeitliche-Verarbeitung-Block 406 dazu, eine Manövervorhersage auszuführen, um eine robuste Antizipation von Fahrzeugmanövern zu erreichen, die wiederholt werden kann, wenn neue externe und interne Überwachungsdaten empfangen werden, um kontinuierlich irgendeine geeignete Anzahl von Fahrzeugmanövern vorherzusagen, die hierin alternativ als menschliche Fahrmanöver oder Fahrmanöver bezeichnet werden können. Der Raumzeitliche-Verarbeitung-Block 406 erzeugt somit als eine oder mehrere Ausgaben Fahrzeugmanöverinformationen, die dann von dem Konsequenzenüberwachungsvorrichtungen-Verarbeitungsblock 408 verwendet werden, um die verschiedenen Kategorien von Konsequenzen für die Ausführung jedes vorhergesagten Fahrzeugmanövers zu bewerten. Die Manöverinformationen können ein spezifisches Manöver darstellen, das von dem trainierten System unter Verwendung der Umgebungs- und Fahrerüberwachungsdaten vorhergesagt wird, wie in 4 gezeigt, was die Verwendung von Kamerabildern 402, 404 von der Innen- und Außenseite des Fahrzeugs umfassen kann. Die vorhergesagten Fahrzeugmanöver können eine Vorhersage einer spezifischen Fahrzeugaktion gemäß einer definierten Likelihood oder Wahrscheinlichkeit (probability) umfassen, die durch das trainierte System bereitgestellt wird, das durch den Raumzeitliche-Verarbeitung-Block 406 implementiert wird, wie beispielsweise, dass das Fahrzeug nach links abbiegt, nach rechts abbiegt, sich geradeaus bewegt, die Spur wechselt usw. Ein darstellendes Szenario könnte die Vorhersage umfassen, dass das Fahrzeug 100 links abbiegt, basierend auf einer Analyse, dass der Fahrer nach links schaut, aus den Bildern der nach innen gerichteten Kamera 404.1-404.N, während die Bilder der nach außen gerichteten Kamera 402.1-402.N anzeigen, dass sich das Fahrzeug 100 an einer Kreuzung befindet, an der ein Linksabbiegen möglich ist.
Die Konsequenz oder der potenzielle Gefährlichkeitsgrad des vorhergesagten Fahrzeugmanövers wird dann vom Konsequenzenüberwachungs-Verarbeitungsblock 408 im Zusammenhang mit der Position des Fahrzeugs innerhalb der Umgebung, anderen Objekten oder Fahrzeugen, die möglicherweise vorhandenen sind, dem Zustand des Fahrzeugs, der Zeit, für die das Auftreten des Manövers vorhergesagt wird, usw. bestimmt. Der Konsequenzenüberwachungs-Verarbeitungsblock 408 kann irgendeine geeignete Anzahl von unabhängigen Überwachungsvorrichtungs-Verarbeitungsblöcken 408A, 408B, 408C usw. umfassen, die jeweils dazu fungieren, eine spezifische Klassifizierung oder Kategorie einer Konsequenz zu detektieren, die aus dem Auftreten eines vorhergesagten Fahrzeugmanövers resultiert. Jede dieser Überwachungsvorrichtungen kann basierend auf der Komplexität der detektierten Konsequenz gemäß irgendeinem geeigneten Typ von Verarbeitungssystem, trainierten System, Algorithmus usw. implementiert werden. Dies kann irgendeine geeignete Art von trainiertem System umfassen, wie z. B. ein neuronales Netz wie das vorangehend erwähnte 3D-CNN oder ein anderes geeignetes neuronales Netz, die Verwendung einer Nachschlagtabelle, die atypische Verhaltensweisen mit spezifischen Arten von Konsequenzen korreliert, Bildverarbeitungs- und/oder Maschinelles-Sehen-Algorithmen usw. In jedem Fall kann der Konsequenzenüberwachungs-Verarbeitungsblock 408 durch irgendeinen der Prozessoren 102, 214A, 214B, 216, 218 implementiert werden und/oder die Verarbeitung darstellen, die über irgendeinen derselben ausgeführt wird, die unabhängig voneinander und/oder in Kombination miteinander arbeiten, wie vorangehend erwähnt, und die Programmanweisungen ausführen können, die in einem geeigneten Speicher (z. B. einem lokalen Speicher und/oder einem Speicher von dem einen oder den mehreren Speichern 202) gespeichert sind. Die Konsequenzenüberwachungsvorrichtungs-Verarbeitungsblöcke 408A, 408B, 408C usw. können die Architektur der Verarbeitungskomponenten gemeinschaftlich verwenden oder dedizierte Verarbeitungskomponenten aufweisen, die ausgebildet sind, um ihre jeweiligen Funktionen auszuführen.
Die verschiedenen Konsequenzen können Klassifizierungen variierender Gefahren- oder Risikograde darstellen, die jeweils eine oder mehrere entsprechende verknüpfte Aktion(en) zur Abmilderung oder Vermeidung des Bewusstseinsfehlers des Fahrers basierend auf der bestimmten Art von Fahrmanöver und dem Zustand der Umgebung, in der das Fahrzeug 100 navigiert, wenn das Fahrzeugmanöver vorhergesagt wird, aufweisen. Der Konsequenzenüberwachungs-Verarbeitungsblock 408 kann irgendeine geeignete Anzahl von verschiedenen Klassifizierungen von Konsequenzen identifizieren, die aus dem vorhergesagten Fahrzeugmanöver resultieren, wobei in 4 drei als nicht einschränkende Darstellung gezeigt werden. Wie in 4 dargestellt, umfassen diese Klassifizierungen, in der Reihenfolge von der am meisten zu der am wenigsten gefährlichen, potenziell gefährliche Situationen, die korrigiert werden müssen, die Detektion atypischer Verhaltensweisen, die eine Warnung oder Anweisung an den Fahrer auslösen können, und Verstöße gegen nicht sicherheitskritische Verkehrsregeln, die vom Fahrzeugsicherheitssystem 200 automatisch, transparent und ohne weiteren Eingriff gesteuert werden können.
Obwohl die verschiedenen Konsequenzenüberwachungs-Verarbeitungsblöcke 408A, 408B, 408C dazu fungieren können, unabhängig vorhergesagte Fahrzeugmanöver basierend auf dem Gefährlichkeitsgrad, den sie jeweils für den Fahrer oder andere Fahrzeuge in der Umgebung darstellen, zu klassifizieren oder zu kategorisieren, kann der Konsequenzenüberwachungs-Verarbeitungsblock 408 solche Klassifizierungen unter Verwendung der von den anderen Konsequenzenüberwachungsvorrichtungen erhaltenen Daten ausführen. Das heißt, die Konsequenzenüberwachungs-Verarbeitungsblöcke 408A, 408B, 408C usw. können ein entsprechendes vorhergesagtes Fahrzeugmanöver nur dann als eine bestimmte Konsequenz klassifizieren, wenn das vorhergesagte Fahrzeugmanöver nicht bereits von einer anderen Konsequenzenüberwachungsvorrichtung 408A, 408B, 408C usw. als ein höheres Risiko darstellend klassifiziert wurde. Dies kann umfassen, dass der Konsequenzenüberwachungs-Verarbeitungsblock 408B ein vorhergesagtes Fahrzeugmanöver nur dann als ein atypisches Verhalten klassifiziert, wenn der Konsequenzenüberwachungs-Verarbeitungsblock 408A das vorhergesagte Fahrzeugmanöver nicht als gefährliche Situation klassifiziert, die ein steuerungsbasiertes Eingreifen erfordert, dass der Konsequenzenüberwachungs-Verarbeitungsblock 408C ein vorhergesagtes Fahrzeugmanöver nur dann als Verstoß gegen eine Verkehrsregel klassifiziert, wenn der Konsequenzenüberwachungs-Verarbeitungsblock 408B das vorhergesagte Fahrzeugmanöver nicht als atypisches Verhalten klassifiziert usw. Alternativ kann jede der Konsequenzenüberwachungsvorrichtungen 408A, 408B, 408C usw. das vorhergesagte Fahrzeugmanöver unabhängig von der Klassifizierung durch die anderen Konsequenzenüberwachungsvorrichtungen unabhängig klassifizieren, sodass ein bestimmtes Fahrzeugmanöver in mehr als einen Typ von Konsequenzenkategorie klassifiziert werden kann.
Auch hier werden die vorhergesagten Fahrzeugmanöver, die von dem Raumzeitliche-Verarbeitung-Block 406 ausgegeben werden, bei Verarbeitungsblock 408 durch einen Satz von Konsequenzenüberwachungsvorrichtungen ausgewertet und einer von mehreren unterschiedlichen Konsequenzenkategorien zugeordnet, die mit den vorgenannten Klassifizierungen übereinstimmen können, wie in 4 gezeigt und vorangehend erwähnt. Der Aktionsausführungs-Verarbeitungsblock 410 kann irgendeine geeignete Anzahl von Steuerungsverarbeitungsblöcken 410A, 410B, 410C usw. umfassen, die jeweils einer der Konsequenzen entsprechen, die von einer jeweiligen der Konsequenzenüberwachungsvorrichtungen 408A, 408B, 408C usw. kategorisiert werden. In jedem Fall kann der Aktionsausführungs-Verarbeitungsblock 410 durch irgendeinen der Prozessoren 102, 214A, 214B, 216, 218 implementiert werden und/oder die Verarbeitung darstellen, die über irgendeinen derselben ausgeführt wird, die unabhängig und/oder in Kombination miteinander arbeiten, wie vorangehend erwähnt, und die Programmanweisungen ausführen können, die in einem geeigneten Speicher (z. B. einem lokalen Speicher und/oder einem Speicher von dem einen oder den mehreren Speichern 202) gespeichert sind.
Wie in 4 gezeigt, kann die erste (und risikoreichste, hierin als Hohes-Risiko- bezeichnete) Konsequenzenkategorie potenziell gefährliche Situationen umfassen, die Unterstützung oder steuerungsbasiertes Eingreifen durch das Fahrzeugsicherheitssystem 200 erfordern. Die entsprechenden Risikominderungsaktionen, die über den Aktionsausführungs-Verarbeitungsblock 410A identifiziert und/oder ausgeführt werden, umfassen die Aktivierung eines Gemeinschaftlich-Verwendete-Steuerung-Ansatzes, um den Fahrer mit einer Mindestmenge an Korrekturaktionen zur Vermeidung einer gefährlichen Situation zu unterstützen. Die zweite Konsequenzenkategorie (und das niedrigere Risiko, hierin als mittleres Risiko bezeichnet) umfasst atypische Verhaltensweisen, die von auf Historie basierenden Erwartungen abweichen. Wenn solche kategorisierten Konsequenzen detektiert werden, kann der Aktionsausführungs-Verarbeitungsblock 410B eine geeignete Aktion ausführen, wie z. B. die Benachrichtigung des Fahrers über eine potenzielle Unkenntnis der Situation unter Verwendung von visuellen/akustischen Signalen. Die dritte Konsequenzenkategorie (und das niedrigste Risiko, hierin als „Niedriges-Risiko-“ bezeichnet) umfasst vorhergesagte Fahrzeugmanöver, die gegen die vorgeschriebenen Verkehrsregeln verstoßen und die durch eine automatische Aktion zur transparenten Korrektur des vorhergesagten Manövers ohne intrusives Steuern des Fahrzeugs adressiert werden können. Dies kann umfassen, dass der Aktionsausführungs-Verarbeitungsblock 410C eine automatische Signalisierung, z. B. einen Blinker, aktiviert.
Fahrer- und Umgebungsüberwachungssystem
5 stellt ein Fahrer- und Umgebungsüberwachungssystem gemäß der vorliegenden Offenbarung dar. Das System 500 umfasst ein Fahrzeug 100, einen Fahrer 502 und verschiedene Komponenten, die in das Fahrzeug 100 integriert oder demselben anderweitig zugeordnet sein können. Das System 500 umfasst auch ein fahrzeuginternes Infotainment- (IVI; in-vehicle infotainment) System 504, das eine nicht einschränkende Darstellung ist und als irgendeine geeignete Art von Audio- und/oder visuellem System implementiert sein kann, das ausgebildet ist, um dem Fahrer 502 Benachrichtigungen, Informationen und/oder Warnungen zu präsentieren, wobei zusätzliche Details hierin weiter erörtert werden. Das System 500 kann mit dem Sicherheitssystem 200 identifiziert werden oder dieses anderweitig implementieren, wie vorangehend Bezug nehmend auf 2 gezeigt und erörtert, und/oder spezifische Komponenten des Sicherheitssystems 200 oder andere geeignete Verarbeitungskomponenten implementieren, um die hierin erörterte Funktionalität auszuführen. Somit können eine oder mehrere der verschiedenen Komponenten des Systems 500 hierin alternativ als eine Steuerung des Fahrzeugs 100 bezeichnet werden, obwohl es sich versteht, dass das System 500 auch zusätzliche Steuerungen umfassen kann, wie hierin erörtert, die Teil des Sicherheitssystems 200 bilden können. Die verschiedenen Pfeile und/oder Verbindungen zwischen den in 5 dargestellten Komponenten können irgendeine geeignete Anzahl und/oder Art von Kommunikations-Links darstellen, die drahtgebundene und/oder drahtgebundene Daten-Links, Busse usw. umfassen können und die die Kommunikation zwischen den verschiedenen Komponenten des Systems 500, des Sicherheitssystems 200 und/oder des Fahrzeugs 500 gemäß irgendeiner geeigneten Art und/oder Anzahl von Kommunikationsprotokollen unterstützen können.
In der in 5 gezeigten nicht einschränkenden Darstellung können die Fahrzeugmanöver-Vorhersage, die Konsequenzenkategorisierung und die Korrekturaktionen, wie vorangehend Bezug nehmend auf 4 und an anderer Stelle hierin erörtert, im Allgemeinen in Funktionen unterteilt werden, die von dem Fahrer- und Umgebungsüberwachungs-Verarbeitungsblock 506 und dem Aktionsausführungs-Verarbeitungsblock 508 ausgeführt werden. Der Fahrer- und Umgebungsüberwachungs-Verarbeitungsblock 506 kann mit dem Manövervorhersage-Verarbeitungsblock 401 und dem Konsequenzenüberwachungs-Verarbeitungsblock 408 identifiziert werden, wie hierin Bezug nehmend auf 4 erörtert, und kann hierin alternativ als Überwachungsschaltungsanordnung bezeichnet werden. Der Aktionsausführungs-Verarbeitungsblock 508 kann mit dem Aktionsausführungs-Verarbeitungsblock 410 identifiziert werden, wie hierin Bezug nehmend auf 4 beschrieben. Somit können der Fahrer- und Umgebungsüberwachungs-Verarbeitungsblock 506 und der Aktionsausführungs-Verarbeitungsblock 508 als separate und unabhängige Systeme, Teilsysteme, Steuerungen, ECUs, Verarbeitungsschaltungsanordnung usw. implementiert werden, die mit den verschiedenen Komponenten des Sicherheitssystems 200 und/oder des Fahrzeugs 100 identifiziert werden können, wie hierin beschrieben. Alternativ können der Fahrer- und Umgebungsüberwachungs-Verarbeitungsblock 506 und der Aktionsausführungs-Verarbeitungsblock 508 als teilweise oder vollständig gemeinschaftlich verwendete Systeme, Teilsysteme, Steuerungen, ECUs, Verarbeitungsschaltungsanordnung usw. implementiert werden, die mit den verschiedenen Komponenten des Sicherheitssystems 200 und/oder des Fahrzeugs 100 identifiziert werden können, wie hierin erörtert. Bei einem Szenario kann der Fahrer- und Umgebungsüberwachungs-Verarbeitungsblock 506 als eine erste ECU oder Steuerung implementiert werden, die ausgebildet ist, um Funktionen im Zusammenhang mit der Vorhersage von Fahrzeugmanövern und der Klassifizierung oder Kategorisierung der Konsequenz solcher vom Fahrzeug ausgeführten Fahrzeugmanöver auszuführen. In Fortführung dieses Szenarios kann der Aktionsausführungs-Verarbeitungsblock 508 als eine zweite ECU oder Steuerung implementiert werden und ausgebildet sein, um basierend auf der Klassifizierung der Konsequenz eines vorhergesagten Fahrzeugmanövers, das ausgeführt wird, spezifische Aktionen auszuführen, um Risiken, die aus solchen Fahrzeugmanövern resultieren, vor oder während ihres Auftretens abzumildern oder zu verhindern.
Der Umgebungsüberwachungs-Verarbeitungsblock 506 ist ausgebildet, um sowohl den Zustand des Fahrers 502 als auch den Zustand des Fahrzeugs 100 zu überwachen, um die Likelihood zu bestimmen, dass der Fahrer 502 nicht in der Lage ist, das Fahrzeug 100 sicher zu bedienen. Der Zustand des Fahrers 502 kann vom Fahrer- und Umgebungsüberwachungs-Verarbeitungsblock 506 durch die Verwendung irgendwelcher geeigneter fahrzeuginterner Sensoren bestimmt und/oder überwacht werden, wie beispielsweise Kameras, die auf das Fahrzeuginnere gerichtet sind, biometrische Sensoren, Eyetracking-Sensoren usw., die Teil eines vorhandenen DMS, des Sicherheitssystems 200 oder separater Komponenten bilden können. Die in 5 gezeigten Fahrerzustandsdaten können die Bilder 404.1-404.N, wie vorangehend Bezug nehmend auf 4 erörtert, umfassen und zusätzlich oder alternativ irgendwelche anderen geeigneten Sensordaten umfassen, die die Aufmerksamkeit und/oder den Zustand des Fahrers im Fahrzeug 100 anzeigen.
Der Zustand und/oder die Fahrumgebung des Fahrzeugs 100 kann unter Verwendung irgendwelcher geeigneter externer Sensoren, wie z. B. Kameras, LIDAR, RADAR, Ultraschall usw. und/oder Fahrzeugsensoren, die einen aktuellen Betriebszustand oder Status des Fahrzeugs 100 anzeigen, bestimmt und/oder überwacht werden. Dies kann Daten von internen Fahrzeugkomponenten wie beispielsweise Motordrehzahl, Beschleunigungsdaten, Geschwindigkeitsdaten, Kursdaten, Positionsdaten usw. umfassen. Die Fahrzeugzustandsdaten können somit irgendeine geeignete Art von Daten umfassen, die den Status des Fahrzeugs 100 und/oder die Umgebung, in der das Fahrzeug 100 betrieben wird, anzeigen. Die Fahrzeugzustandsdaten können über integrierte Komponenten des Sicherheitssystems 200 oder separate Komponenten erzeugt werden. So können die in 5 gezeigten Fahrzeugzustandsdaten die Bilder 402.1-402.N des Äußeren des Fahrzeugs 100 umfassen, wie vorangehend Bezug nehmend auf 4 erörtert, und zusätzlich oder alternativ irgendwelche anderen geeigneten Sensordaten umfassen, die den Zustand des Fahrzeugs 100 und/oder der Umgebung des Fahrzeugs 100 anzeigen. Die Fahrersteuerungsdaten u_t, können den Zustand irgendeiner geeigneten Anzahl von Fahrsteuerungsvariablen darstellen, die mit der Steuerung des Fahrzeugs 100 zusammenhängen, und können verschiedene Fahrereingaben wie Bremssteuerung, Drosselklappensteuerung, Lenksteuerung usw. umfassen.
Wie nachfolgend ausführlicher erörtert, ist der Fahrer- und Umgebungsüberwachungsblock 506 ausgebildet, um Fahrzeugmanöver basierend auf dem Fahrer- und Fahrzeugzustand unter Verwendung der Fahrerzustandsdaten und der Fahrzeugzustandsdaten vorherzusagen. Der Fahrer- und Umgebungsüberwachungsblock 506 kann die Konsequenz des Auftretens der vorhergesagten Fahrzeugmanöver kategorisieren und diese Informationen als Teil der Intra-System-Kommunikation an den Aktionsausführungs-Verarbeitungsblock 508 kommunizieren, wie in 5 dargestellt. Der Aktionsausführungs-Verarbeitungsblock 508 kann dann Benutzerwarndaten, nicht sicherheitskritische Steuerungsdaten und/oder Fahrzeugassistenz-Steuerungsdaten (die als sicherheitskritische Steuerungsdaten betrachtet werden können) basierend auf der bestimmten Kategorie der Konsequenz des vorhergesagten Fahrzeugmanövers, das tatsächlich auftritt, erzeugen. Die Benutzerwarndaten und/oder die nicht sicherheitskritischen Steuerungsdaten können an das IVI 504 übertragen werden, das die Benutzerwarndaten dekodieren kann, um dem Fahrer 502 die entsprechende Warnung zu präsentieren, z. B. eine akustische oder visuelle Warnung, Text usw. Zusätzlich oder alternativ kann das IVI 504 nicht sicherheitskritische Steuerungsdaten dekodieren, um automatische, nicht-intrusive Aktionen wie das Aktivieren eines Blinkers auszuführen. Die Fahrzeugassistenz-Steuerungsdaten können erzeugt werden, um eine gemeinschaftlich verwendete Steuerung des Fahrzeugs 100 zwischen dem Fahrer 502 und den vom Sicherheitssystem 200 implementierten autonomen Steuerungssystemen zu erleichtern, was hierin ausführlicher erörtert wird.
Die Trennung des Fahrer- und Umgebungsüberwachungs-Verarbeitungsblocks 506 und des Aktionsausführungs-Verarbeitungsblocks 508, wie in 5 dargestellt, dient der einfacheren Erklärung und der Bereitstellung einer Trennung der Funktionslogik. Der Fahrer- und Umgebungsüberwachungs-Verarbeitungsblock 506 und der Aktionsausführungs-Verarbeitungsblock 508 können jedoch vom Sicherheitssystem 200 als Teil einer gemeinsam ausgeführten Steuerungsanwendung, eines Algorithmus, eines Programms usw. implementiert werden. Daher ermöglicht die Intra-System-Kommunikation zwischen dem Fahrer- und Umgebungsüberwachungs-Verarbeitungsblock 506 und dem Aktionsausführungs-Verarbeitungsblock 508 dem Fahrer- und Umgebungsüberwachungs-Verarbeitungsblock 506 und dem Aktionsausführungs-Verarbeitungsblock 508 zu identifizieren, zu kommunizieren und auszuhandeln, welche Funktionen von jeder der Verarbeitungsblock-Komponenten auszuführen sind. Das heißt, die bestimmten Funktionen, die vom Fahrer- und Umgebungsüberwachungs-Verarbeitungsblock 506 und/oder vom Aktionsausführungs-Verarbeitungsblock 508 im Hinblick auf die Erzeugung der Benutzerwarndaten, der nicht sicherheitskritischen Steuerungsdaten und/oder der Assistenzsteuerungsdaten ausgeführt werden, können abhängig von der bestimmten Implementierung des Systems 500 im Fahrzeug 100 variieren.
Somit kann der Fahrer- und Umgebungsüberwachungsblock 506 zusätzlich oder alternativ die Benutzerwarndaten, die nicht sicherheitskritischen Steuerungsdaten und/oder die Fahrzeugassistenzsteuerungsdaten erzeugen. Die Benutzerwarndaten und/oder die nicht sicherheitskritischen Steuerungsdaten können von dem Fahrer- und Umgebungsüberwachungs-Verarbeitungsblock 506 an das IVI 504 übertragen werden, zusätzlich dazu oder anstatt dass der Aktionsausführungs-Verarbeitungsblocks 508 dies tut. Darüber hinaus können die Benutzerwarndaten, die nicht sicherheitskritischen Steuerungsdaten und/oder die Fahrzeugassistenz-Steuerungsdaten alternativ oder zusätzlich über die Intra-System-Kommunikation vom Fahrer- und Umgebungsüberwachungs-Verarbeitungsblock 506 an den Aktionsausführungs-Verarbeitungsblock 508 kommuniziert werden. Somit kann der Fahrer- und Umgebungsüberwachungs-Verarbeitungsblock 506 und/oder der Aktionsausführungs-Verarbeitungsblock 508 die geeignete Aktion basierend auf der kategorisierten Konsequenz eines vorhergesagten auftretenden Fahrzeugmanövers bestimmen, die die vorgenannten Benutzerwarnungen und/oder eine geeignete Art von Fahrzeugsteuerungsoperation umfassen kann. Die Fahrzeugsteuerungsoperation kann über die Übertragung der Steuerungsausgabedaten vom Aktionsausführungs-Verarbeitungsblock 508 an die relevanten Steuerungssysteme des Fahrzeugs 100 ausgeführt werden.
Vor diesem Hintergrund werden die verschiedenen Verarbeitungsoperationen zur Vorhersage von Fahrzeugmanövern, zur Kategorisierung der Konsequenz des auftretenden Fahrzeugmanövers und zur Ausführung der entsprechenden Aktion ansprechend auf die Konsequenzenkategorisierung im Folgenden ausführlicher erörtert.
Fahrzeugmanöver-Vorhersage
Wiederum können ergänzende Informationen von dem Fahrer zugewandten Kameras und der Straße zugewandten Kameras, wie z. B. die Bilder 402.1-402.N, 404.1-404.N, wie in 4 gezeigt, zur Vorhersage und Klassifizierung der Arten von Ego-Fahrzeug-Manövern implementiert werden. Die in 6 gezeigte Raumzeitliche-Analyse-Architektur 600 kann mit dem Raumzeitliche-Analyse-Verarbeitungsblock 406 identifiziert werden, wie vorangehend Bezug nehmend auf 4 gezeigt und erörtert, der auch mit dem in 5 gezeigten Fahrer- und Umgebungsüberwachungs-Verarbeitungsblock 506 identifiziert werden kann. Die Raumzeitliche-Analyse-Architektur 600 kann somit dazu fungieren, ein Fahrzeugmanöver basierend auf einer Analyse von Bildern eines Fahrers des Fahrzeugs und von Bildern extern zu dem Fahrzeug vorherzusagen, und kann dazu die Aufnahmen von zumindest zwei Kameras verwenden, die so befestigt sind, dass sie das Gesicht des Fahrers und die Straße gleichzeitig aufnehmen. Die Aufzeichnungen können irgendeine geeignete Länge von Videoabtastwerten umfassen, z. B. 6 Sekunden, 8 Sekunden, 10 Sekunden usw., die Bilder vor dem Auftreten des vorhergesagten Fahrzeugmanövers zeigen. Die Aufzeichnungen, die die Bilder 402.1-402.N und 404.1-404.N umfassen, können hierin alternativ als Daten-, Video- oder Bildstrom oder einfach als Strom bezeichnet werden.
Wie in 6 gezeigt, kann eine raumzeitliche Analyse zur Vorhersage von Fahrzeugmanövern über eine 3D-CNN-Architektur implementiert werden, die eine Open-Source-3D-CNN-Lösung verwendet, die als 3D ResNet50 bekannt ist, obwohl dies eine nicht einschränkende Darstellung ist und irgendeine geeignete Art von maschinellem Lernen und/oder neuronalem Netzwerk für diesen Zweck implementiert werden kann. Die Raumzeitliche-Analyse-Architektur 600 implementiert zwei unabhängige 3D-CNNs: 3D-CNN 604.1 zur Analyse der Bilder 402.1-402.N von der Außenseite des Fahrzeugs und 3D-CNN 604.2 zur Analyse der Bilder 404.1-404.N von dem Fahrer. Die Abwärtsabtastungs-Stufe 602 führt eine Abwärtsabtastung des Videos von jeder Quelle aus, das über eine bestimmte Zeitperiode, z. B. 6 Sekunden, aufgezeichnet wird, um eine kleinere Anzahl von Bildern oder Videoabtastwerten zu erhalten, die mit den bestimmten 3D-CNNs 604.1, 604.2 kompatibel sind. Für die 3D-ResNet50-Architektur kann die Abwärtsabtastungs-Stufe 602 eine Anzahl von Videoabtastwerten der Bilder 402.1-402.N und der Bilder 404.1-404.N wie beispielsweise 2, 8, 16 usw. bereitstellen.
Jedes 3D-CNN 604.1, 604.2 kann gemäß irgendeiner geeigneten Art von Trainingsdaten trainiert werden, abhängig von der bestimmten Art von Bildern, deren Analyse von ihm erwartet wird, um eine Fahrzeugmanöver-Vorhersage auszuführen. Somit können die 3D-CNNs 604.1, 604.2 gemäß irgendeiner geeigneten Technik, umfassend bekannte Techniken, trainiert werden, um Straßen-Punktzahlen Rs (road scores) und Gesichts-Punktzahlen Fs (face scores) für irgendeine geeignete Anzahl und/oder Art von Fahrzeugmanövern, die vorhergesagt werden, auszugeben.
Die erzeugten Straßen-Punktzahlen Rs und die Gesichts-Punktzahlen Fs können jeweils eine Wahrscheinlichkeit darstellen, dass jedes von verschiedenen Arten von Fahrzeugmanövern, wie z. B. Geradeausfahren, Wechsel auf die linke Spur, Wechsel auf die rechte Spur, Linksabbiegen, Rechtsabbiegen usw., ausgeführt wird. Das heißt, jedes der 3D-CNNs 604.1, 604.2 gibt einen Satz von Wahrscheinlichkeits- oder Antizipations-Punktzahlen für jede aus einem Satz von verschiedenen Arten von Manövern unter Verwendung einer Analyse von Bildern für jeden jeweiligen Strom aus. Somit gibt das 3D-CNN 604.1 einen Satz von Straßen-Punktzahlen Rs aus, die Arten von klassifizierten Fahrzeugmanövern und eine zugehörige Wahrscheinlichkeit umfassen können, dass jedes ausgeführt wird, basierend auf einer Analyse der Außenbilder 402.1-402.N. Das 3D-CNN 604.2 gibt einen Satz von Gesichts-Punktzahlen Fs aus, die auch Arten von klassifizierten Fahrzeugmanövern und eine zugehörige Wahrscheinlichkeit umfassen, dass jedes ausgeführt wird, basierend auf einer Analyse der Fahrerbilder 404.1-404.N.
Die Raumzeitliche-Analyse-Architektur 600 kombiniert dann die Ausgabe jedes 3D-CNN 604.1, 604.2, um eine robuste Vorhersage oder Antizipation eines bestimmten Fahrzeugmanövers aus dem Satz von Fahrzeugmanövern und den zugehörigen Wahrscheinlichkeiten zu erreichen, die von jedem der 3D-CNNs 604.1, 604.2 ausgegeben werden. Anders ausgedrückt, da jedes 3D-CNN 604.1, 604.2 zur Vorhersage eines Fahrzeugmanövers fungiert, jedoch von einer unterschiedlichen Bildquelle, kann dies zur Erhöhung der Genauigkeit der Fahrzeugmanöver-Vorhersage genutzt werden. Dies umfasst auch ein Schwellenprüfungs-Merkmal, um Sensor- oder Kamera-Funktionsstörungen zu berücksichtigen. Dies kann umfassen, dass die maximale Antizipations-Punktzahl von jeden der von jedem 3D-CNN 604.1, 604.2 ausgegebenen Straßen-Punktzahlen Rs und Gesichts-Punktzahlen Fs genommen wird und jede maximale Antizipations-Punktzahl mit einem jeweiligen Schwellenwert verglichen wird. Diese Schwellen können als irgendwelche geeigneten Werte gewählt werden, die anzeigen, dass eine vernünftige Fahrzeugmanöver-Vorhersage basierend auf der Bildquelle dieses 3D-CNN nicht bestimmt werden kann, was einen wahrscheinlichen Sensorausfall anzeigt. Für den Fall, dass eine Schwellenprüfung fehlschlägt, d. h. der Wert der maximalen Antizipations-Straßen-Punktzahl Rs oder der maximalen Antizipations-Gesichts-Punktzahl Fs kleiner als ein jeweiliger Schwellenwert ist, kann das Fahrzeugmanöver durch Auswahl eines Fahrzeugmanövertyps, der der maximalen Antizipations-Punktzahl entspricht, aus der anderen 3D-CNN-Ausgabe vorhergesagt werden, wie in 6 gezeigt.
Unter der Annahme, dass die maximale Antizipations-Punktzahl von jeder der Straßen-Punktzahlen Rs und der Gesichts-Punktzahlen Fs, die jeweils vonjedem 3D-CNN 604.1, 604.2 ausgegeben werden, größer sind als ihre jeweiligen Schwellenwerte, dann kann die 3D-CNN-basierte Architektur 600 das Fahrzeugmanöver vorhersagen, indem sie eine geeignete Gewichtung α auf die maximale Antizipations-Gesichts-Punktzahl Fs aus den Antizipations-Gesichts-Punktzahlen anwendet und eine geeignete Gewichtung β auf die maximale Antizipations-Straßen-Punktzahl Rs aus den Antizipations-Straßen-Punktzahlen anwendet, die von jedem jeweiligen der 3D-CNN 604.1, 604.2 ausgegeben werden. Um die geeigneten Werte für die Gewichtungen α, β zu identifizieren, wird eine Rastersuche angewandt, um die optimalen Gewichtungen für jeden Strom zu finden. Die entsprechende endgültige Antizipations-Punktzahl wird dann berechnet, indem die gewichtete Summe der maximalen Antizipations-Gesichts-Punktzahl Fs und der maximalen Antizipations-Straßen-Punktzahl Rs verwendet wird, die einem numerischen Äquivalent eines spezifischen vorhergesagten Fahrzeugmanöver entspricht, wie z. B. einem der fünf vorangehend erwähnten, da die Antizipations-Punktzahl die maximalen Punktzahlen kombiniert, die ein vorhergesagtes Fahrzeugmanöver anzeigen, das jedem Strom zugeordnet ist.
Die Rastersuche kann ausgeführt werden, um die optimale Punktzahl bereitzustellen, die der höchsten Likelihood zugeordnet ist, dass ein spezifischer Typ von Fahrzeugmanöver in einer zukünftigen Zeitperiode ausgeführt wird. Die Gewichtungen α, β stellen irgendeinen geeigneten Wert innerhalb eines Bereichs von vorbestimmten Werten, z. B. 0-1, dar. Somit können die Gewichtungen α, β ein solches Verhältnis aufweisen, dass α + β = 1, wie es in der Antizipations-Punktzahl dargestellt ist, wie in 6 gezeigt. Die Rastersuche kann somit Teil der Inferenzstufe der 3D-CNNs 604.1, 604.2 bilden, wobei die Gewichtungen α, β vorbestimmte Werte sind, die Teil des Offline-Trainings der 3D-CNNs 604.1, 604.2 sind. Anders ausgedrückt kann die Antizipations-Punktzahl das Ergebnis einer Rastersuche sein, die in der Inferenzstufe ausgeführt wird, um die Gewichtungen α, β derart auszuwählen, dass das vorhergesagte Fahrzeugmanöver, das den Antizipations-Gesichts-Punktzahlen Fs und der Antizipations-Straßen-Punktzahlen Rs zugeordnet ist, am besten mit den Trainingsdaten übereinstimmt, die von den 3D-CNNs 604.1, 604.2 verwendet werden, um die Fahrzeugmanöverklassifizierung vorzunehmen.
Wenn also jede Schwellenprüfung bestanden ist, repräsentiert die Antizipations-Punktzahl ein Fahrzeugmanöver, das die höchste Likelihood aufweist, ausgeführt zu werden, basierend auf der gewichteten Summe der von den 3D-CNNs 604.1 und 604.2 klassifizierten Fahrzeugmanöver. Die Antizipations-Punktzahlen können dynamisch oder kontinuierlich berechnet werden, wenn neue Bilder von den nach innen und außen gerichteten Kameras in dem Strom empfangen werden, sodass die Antizipations-Punktzahlen (Rs, Fs) zu verschiedenen Zeiten t berechnet werden, wobei t t Sekunden vor dem Auftreten jedes vorhergesagten Fahrzeugmanövers bedeutet. Da die 3D-CNNs 604.1, 604.2 jeweils eine Analyse einzeln auf jedem Strom ausführen, wird auch bei Vorhandensein von Sensorausfällen eine robuste Lösung erzielt. Das heißt, dass im Falle eines Ausfalls der anderen Kamera mit einem Strom eine signifikante Genauigkeit erzielt werden kann, wodurch ermöglicht wird, dass dennoch ein aussagekräftiges Ergebnis erzielt wird, wenn auch mit einer geringeren Genauigkeit. Diese Lösung ergibt auch eine schnelle Performance, da die 3D-CNN-basierte Architektur 600 nur einmal bei der Berechnung der Videogenauigkeit angewendet wird, anstatt den Durchschnitt der Clipgenauigkeiten zu nehmen.
Wiederum können die 3D-CNNs 604.1, 604.2 gemäß irgendwelchen geeigneten Trainingstechniken trainiert werden. Für das Training der 3D-CNNs 604.1, 604.2, wie in 6 für die beiden Ströme gezeigt, kann ein vortrainiertes Modell verwendet werden, wie z. B. das 3D-ResNet50, das auf einem großen Videodatensatz wie Kinetics-600 vortrainiert wird, der ein Datensatz ist, der 600 Aktionsklassen umfasst. Da diese Aktionsklassen möglicherweise keine Aktionen umfassen, die so schnell sind wie diejenigen, die bei einer externen Erfassung eines AD auftreten, ermöglicht die angewandte Abwärtsabtastung einen ausreichenden Kompromiss zwischen Genauigkeit und Verarbeitungsgeschwindigkeit. Außerdem, und wie vorangehend erörtert, kann die Abwärtsabtastungs-Stufe 602 bei jedem Strom in irgendeiner geeigneten Weise angewandt werden, um den 3D-CNNs 604.1, 604.2 eine geeignete Anzahl von Bildabtastwerten für die Analyse bereitzustellen, die dann verwendet werden können, um die Antizipations-Punktzahlen bereitzustellen, die zur Bestimmung des vorhergesagten Fahrzeugmanövers zu einer zukünftigen Zeit t verwendet werden. Die Antizipations-Punktzahl kann dann ansprechend auf die Detektion eines Objekts verwendet werden, um zu bestimmen, ob der Fahrer gewarnt werden soll oder ob eine eingreifende gemeinschaftlich verwendete Steuerung des Fahrzeugs ausgeführt werden soll, wie in 6 gezeigt und hierin ausführlicher erörtert.
Der Abwärtsabtastungs-Prozess kann die in 7 ausführlicher dargestellte Technik umfassen, die Szenarien zeigt, die drei verschiedenen Zeitperioden oder Abtastfenstern entsprechen. Die in 7 gezeigten Zeitperioden veranschaulichen, dass die Länge der Videoabtastwerte für jeden der vorangehend im Hinblick auf 6 erörterten Ströme, die zur Berechnung der Antizipations-Punktzahlen für die Fahrzeugmanöver-Vorhersage verwendet werden, über die Zeit dynamisch angepasst werden kann. Das heißt, die Raumzeitliche-Analyse-Architektur 600 kann umfassen, dass jedes der 3D-CNNs 604.1, 604.2 eine Antizipations-Punktzahl berechnet, wie vorangehend erörtert, unter Verwendung einer Anzahl von Abtastwerten, die als Teil des Abwärtsabtastungs-Prozesses aus irgendeiner geeigneten Abtastfensterlänge erzeugt werden, wie z. B. dem oben erwähnten 6-Sekunden-Fenster. Die Raumzeitliche-Analyse-Architektur 600 kann jedoch wiederholt eine Antizipations-Punktzahl gemäß einer bestimmten Antizipations-Punktzahl-Berechnungshäufigkeit berechnen und ausgeben, die häufiger sein kann als das Abtastfenster, das zur Ausführung der antizipierten Punktzahl-Berechnungen verwendet wird. In der nicht einschränkenden Darstellung, die in 7 gezeigt ist, wird jede Sekunde eine Antizipations-Punktzahl über jedes der 3D-CNNs 604.1, 604.2 ausgegeben, obwohl die Antizipations-Punktzahl-Berechnungshäufigkeit abhängig von der bestimmten Anwendung größer oder kleiner als eine Sekunde sein kann. In jedem Fall kann die Antizipations-Punktzahl, die über jedes der 3D-CNNs 604.1, 604.2 gemäß der Antizipations-Punktzahl-Berechnungshäufigkeit ausgegeben wird, unter Verwendung der Anzahl der abwärts abgetasteten Videoabtastwerte eines vorherigen Abtastfensters, z. B. 6 Sekunden, wie in 7 gezeigt, berechnet werden.
Auf diese Weise berechnet jedes der 3D-CNNs 604.1, 604.2 eine Antizipations-Punktzahl unter Verwendung eines Satzes von abwärts abgetasteten Videoabtastwerten aus dem vorherigen Abtastfenster (z. B. 6 Sekunden) in einer „rollierenden“ Weise, d. h. gemäß der Antizipations-Punktzahl-Berechnungshäufigkeit (z. B. jede Sekunde), wenn zusätzliche Videodaten verfügbar werden. So können die 3D-CNNs 604.1, 604.2 zu einem gegebenen Zeitpunkt Fahrzeugmanöver vorhersagen, indem sie die Videoabtastwerte des letzten Abtastfensters verwenden und dies wiederholt gemäß der Antizipations-Punktzahl-Berechnungshäufigkeit tun, wenn zusätzliche Videoabtastwerte in jedem Strom empfangen werden. Es kann jedoch Zeiten geben, zu denen Video-Abtastwerte nicht für die gesamte Länge des Abtastfensters zur Verfügung stehen, z. B. während der Initialisierung oder des Starts. Die erste Zeitperiode 702.1 wird mit einem solchen Szenario identifiziert und veranschaulicht somit, dass die 3D-CNNs 604.1, 604.2 jede Sekunde Antizipations-Punktzahl-Berechnungen ausführen, die Fahrzeugmanöver-Vorhersagen entsprechen. Da während dieses Anfangsszenarios nicht die gesamten 6 Sekunden an Videoabtastungen zur Verfügung stehen, kann die Abwärtsabtastung über eine Sekunde an Videoabtastungen anstelle des gesamten 6-Sekunden-Abtastfensters ausgeführt werden, um die erforderliche Anzahl an Videoabtastungen für die 3D-CNNs 604.1, 604.2 (beispielsweise 16) zu erhalten.
Nach Ablauf des Abtastfensters, das in dieser Darstellung 6 Sekunden beträgt, können die 3D-CNNs 604.1, 604.2 dann die Antizipations-Punktzahl-Berechnungen ausführen, die den Fahrzeugmanöver-Vorhersagen entsprechen, indem sie die abwärts abgetasteten Videoabtastungen von dem gesamten vorherigen 6-Sekunden-Fenster verwenden. Die 3D-CNNs 604.1, 604.2 können weiterhin jede Sekunde die Antizipations-Punktzahlen und die entsprechenden Fahrzeugmanöver berechnen, aber diese Berechnungen können nun auf den abwärts abgetasteten Daten aus einem größeren 6-Sekunden-Abtastfenster basieren, um die erforderliche Anzahl von Videoabtastungen für die 3D-CNNs 604.1, 604.2 (z. B. 16) zu erhalten. Dies kann erreicht werden, indem das Abwärtsabtastungs-Verhältnis auf irgendeinen geeigneten Wert eingestellt wird, der die Bildrate der Kameras, die die Videostrom-Abtastwerte bereitstellen, und die Größe der für die Auswertung betrachteten Videodaten berücksichtigt.

Zum Zeitpunkt dieses Schreibens wurde die jüngste Arbeit über Manöverantizipation von Gebert et al. IV 2019 veröffentlicht, die 3D neuronale Convolution-Netzwerke (CNNs) auf optische Flussdaten anwendet, die aus RGB-Bildern extrahiert werden. Die in dieser Offenbarung beschriebenen Techniken, wie z. B. diejenigen, die über die Raumzeitliche-Analyse-Architektur 600 ausgeführt werden, wie in 6 gezeigt, übertreffen jedoch diese Ergebnisse nach dem Stand der Technik auf demselben Datensatz, insbesondere für den Fall der der Straße zugewandten Kamera, wie in Tabelle 1 unten gezeigt. TABELLE 1

5-fache Kreuzvalidierung Genauigkeit (%) bei t=0 Sek	Raumzeitliche-Analyse-Architektur 600	(P. Gebert 2019 ) IV 2019
Gesichtsdaten	83,9±2,2	83,1±2,5
Straßendaten	79,1±4,0	53,2±0,5
Fusion (Punktzahl-Grad)	86,6±1,9	75,5±2,4

Beide Ansätze wenden ein vortrainiertes Modell auf einen Kinetik-Datensatz an. In einem Kinetik-Datensatz sind die Bewegungsinformationen in Aktionsklassen nicht so signifikant wie diejenigen, die in einem realen Fahrszenario auftreten (d. h. Manöver, die über die externe Erfassung des autonomen Fahrens aufgezeichnet werden). Die bestehenden Ansätze wenden 3D-CNNs auf aufeinanderfolgende Bilder an, während die hierin offenbarten Techniken, insbesondere über die Raumzeitliche-Analyse-Architektur 600, 3D-CNNs 604.1, 604.2 auf abwärts abgetastete Daten anwenden, was die Erfassung signifikanter Bewegungsinformationen ermöglicht. Die hierin beschriebenen Techniken stellen auch eine schnellere Lösung bereit, indem sie optional ResNet einmal anwenden, anstatt die Videogenauigkeit aus Clipgenauigkeiten zu berechnen, und indem sie RGB-Daten anstelle des optischen Flusses verwenden, der rechenintensiv ist. Die Analyse wurde mit nur einem 3D-CNN durchgeführt, das 16-Bilder-Video-Abtastwerte als Eingabe akzeptiert, und es wurde Abwärtsabtastung angewendet, um eine umfangreiche Zeitspanne abzudecken.

Darüber hinaus zeigt Tabelle 2 Manöverantizipations-Punktzahlen zu einer anderen Zeit t als das Auftreten von tatsächlichen Manövern, die ausgeführt werden. TABELLE 2

5-fache Kreuzvalidierung Genauigkeit (%)	t=0 Sek zu Manöver	t=0,9 Sek zu Manöver	t=2,2 Sek zu Manöver	t=2,8 Sek zu Manöver	t=4,1 Sek zu Manöver
Gesichtsdaten	83,9 ± 2,2	80,4 ± 3,2	76,1 ± 3,7	74,3 ± 2,9	55,7± 2,1
Straßendaten	79,1 ± 4,0	78,4 ± 3,6	66,8 ± 4,0	60,2 ± 5,4	52,2 ± 4,2
Fusion	86,6 ± 1,9	84,7 ± 2,9	76,7 ± 3,1	73,1 ± 3,9	55,5 ± 3,2

Die Ergebnisse zeigen, dass Gesichtsdaten (DMS) im Vergleich zu Straßendaten immer mehr Informationen für die Fahrzeugmanöver-Antizipation bereitstellen. Die Straßendaten (Umgebung) weisen auch mehr diskriminative Informationen im Hinblick auf die genaue Zeit des Auftretens eines Fahrzeugmanövers auf (t ist klein). Die Fusion von Straßen- und Gesichtsdaten wirkt sich positiv auf die genaue Zeit des Auftretens des Fahrzeugmanövers aus (t ist klein). Es wird auch darauf hingewiesen, dass die Standardabweichung für Straßendaten im Vergleich zu Gesichtsdaten höher ist und dass die hierin offenbarten Techniken, insbesondere über die Raumzeitliche-Analyse-Architektur 600, solche herkömmlichen Systeme übertreffen.
Fahrzeugmanöver-Konsequenzen-Überwachung
Wie vorangehend erwähnt wurde, können Fahrzeugmanöver-Konsequenzenüberwachungsvorrichtungen implementiert werden, um das Ergebnis eines bestimmten vorhergesagten Fahrzeugmanövers zu klassifizieren, das tatsächlich auftritt. Dieser Abschnitt ist auf die Klassifizierung oder Kategorisierung einer Konsequenz, die aus der Ausführung eines vorhergesagten Fahrzeugmanövers resultiert, in eine aus einer Mehrzahl von risikobasierten Kategorien gerichtet. Wie vorangehend Bezug nehmend auf 4 und 5 erwähnt wurde, kann jede der Mehrzahl von risikobasierten Kategorien einem Schweregrad oder einem Risiko einer Gefahr entsprechen, die aus der Ausführung des vorhergesagten Fahrmanövers in einer Fahrumgebung resultiert, in der das Fahrzeug betrieben wird. Die hierin erörterte Fahrzeugmanöver-Konsequenzenüberwachung kann durch den Konsequenzenüberwachungsvorrichtungs-Verarbeitungsblock 408 und/oder die unabhängigen Konsequenzenüberwachungsvorrichtungs-Verarbeitungsblöcke 408A, 408B, 408C usw. ausgeführt werden, die jeweils dazu fungieren, einen spezifischen Typ von Klassifizierung einer Konsequenz zu detektieren, die aus einem vorhergesagten Fahrzeugmanöver resultiert. Das vorhergesagte Fahrzeugmanöver kann von der Raumzeitliche-Analyse-Architektur 600, wie vorangehend Bezug nehmend auf 6 erörtert, oder alternativ über den Raumzeitliche-Analyse-Verarbeitungsblock 406, wie in 4 gezeigt, ausgegeben werden.
Die hierin beschriebenen Konsequenzenüberwachungs-Techniken implementieren drei verschiedene Arten von Überwachungsvorrichtungen, um die Notwendigkeit zu identifizieren, drei entsprechende Arten von Aktionen auszulösen, obwohl dies keine Einschränkung darstellt und die Offenbarung irgendeine geeignete Anzahl und/oder Art von Konsequenzenüberwachungsvorrichtungen und entsprechenden Aktionen umfassen kann. Wie hierin weiter erörtert, kann das Fahrzeug 100 eine Korrekturaktion ausführen, die derjenigen der risikobasierten Kategorien entspricht, in die die Konsequenz der Ausführung des vorhergesagten Manövers kategorisiert wird. Die Korrekturaktionen umfassen die Aktivierung einer gemeinschaftlich verwendeten Steuerung, die Benachrichtigung über unerwartetes Verhalten und automatisierte Aktionen, die wiederum im Folgenden detaillierter erörtert werden.
Die erste und höchste Risikokategorie von für ein bestimmtes vorhergesagtes Fahrzeugmanöver definierten Konsequenzen umfasst eine Hohes-Risiko-Kategorie, die gefährlichen Situationen zugeordnet ist, die über den Gefährliche-Situationen-Überwachungsvorrichtung-Verarbeitungsblock 408A identifiziert werden können, wie in 4 gezeigt. Der Gefährliche-Situationen-Überwachungsvorrichtung-Verarbeitungsblock 408A kann die Konsequenz der Ausführung eines vorhergesagten Fahrzeugmanövers kategorisieren, indem er das vorhergesagte Fahrmanöver mit einem aus einem Satz von vorbestimmten Fahrzeugmanövern abgleicht, die als gefährlich bekannt sind. Dies kann zusätzlich oder alternativ die Identifizierung der Konsequenz der Ausführung des vorhergesagten Fahrzeugmanövers zu einer bestimmten zukünftigen Zeit basierend auf einer Analyse von SDM-Parametern umfassen, wie vorangehend erwähnt wurde. Der Gefährliche-Situationen-Überwachungsvorrichtung-Verarbeitungsblock 408A kann mit dem Fahrer- und Umgebungsüberwachungs-Verarbeitungsblock 506 identifiziert werden, wie in 5 gezeigt, und verwendet somit als Eingaben das vorhergesagte Fahrzeugmanöver, das von der Raumzeitliche-Analyse-Architektur 600 ausgegeben wird, und die Umgebungsdaten, die als Teil der Fahrzeugzustandsdaten wie oben erwähnt empfangen werden.
Der Gefährliche-Situationen-Überwachungsvorrichtung-Verarbeitungsblock408A kann dazu fungieren, irgendeinen geeigneten Typ von SDM-Sicherheitsregelüberprüfung vorhergesagter Fahrzeugmanöver anzuwenden, um potenzielle Sicherheitsverstöße gemäß dem vom Sicherheitssystem 200 implementierten SDM zu bewerten. Der Gefährliche-Situationen-Überwachungsvorrichtung-Verarbeitungsblock 408A kann dann periodisch oder kontinuierlich eine Liste vorhergesagter Fahrzeugmanöver erzeugen, die bei Ausführung gefährlich wären. Diese Liste von Manövern kann dann an die Aktionsausführungs-Verarbeitungsblöcke 410, 508 übertragen werden, wie jeweils in 4 und 5 gezeigt. Bezug nehmend auf 5 kann dies über die Intra-System-Kommunikation zwischen dem Umgebungsüberwachungs-Verarbeitungsblock 506 und dem Aktionsausführungs-Verarbeitungsblock 508 implementiert werden. Die von dem Gefährliche-Situationen-Verarbeitungsblock 408 ausgegebenen Daten können die in der unten stehenden Tabelle 3 aufgelisteten Informationen umfassen und zusätzlich oder alternativ andere geeignete Informationen für jedes vorhergesagte Fahrzeugmanöver umfassen, das als gefährlich kategorisiert wird, wenn es zu einer bestimmten Zeit ausgeführt wird. TABELLE 3

Vorhergesagtes Manöver Geschätzte Likelihood des Manövers Zeitstempel der Manöverschätzung Vorhersagezeit (in Sekunden zum Manöver)
Die zweite Kategorie von für ein bestimmtes vorhergesagtes Fahrzeugmanöver definierten Konsequenzen umfasst eine Mittleres-Risiko-Kategorie, die atypischem Fahrerverhalten zugeordnet ist, das über den Atypische-Verhaltensweisen-Überwachungsvorrichtung-Verarbeitungsblock 408B identifiziert werden kann, wie in 4 gezeigt. Der Atypische-Verhaltensweisen-Überwachungsvorrichtung-Verarbeitungsblock 408B kann die Konsequenz eines vorhergesagten Fahrzeugmanövers als in diese Kategorie fallend kategorisieren, basierend auf dem Auftreten eines atypischen Fahrerverhaltens, das dem Zeitpunkt, zu dem das vorhergesagte Fahrmanöver ausgeführt werden soll, zugeordnet ist. Der Atypische-Verhaltensweisen-Überwachungsvorrichtung-Verarbeitungsblock 408B fungiert somit dazu, zu identifizieren, wann ein menschlicher Fahrer aufgrund eines Bewusstseinsfehlers und/oder Unaufmerksamkeit gegenüber wichtigen Straßenereignissen nicht vollständig in der Lage ist, das Fahrzeug sicher zu steuern. Der Atypische-Verhaltensweisen-Überwachungsvorrichtung-Verarbeitungsblock 408B kann mit dem Fahrer- und Umgebungsüberwachungs-Verarbeitungsblock 506 identifiziert werden, wie in 5 gezeigt, und somit als Eingaben das vorhergesagte Fahrzeugmanöver und die Bilder 404.1-404.N des Fahrers von den nach innen gerichteten Kameras verwenden, wie vorangehend beschrieben. Bezug nehmend auf 5 können die Bilder 404.1-404.N Teil der Fahrerzustandsdaten sein, die von dem Fahrer- und Umgebungsüberwachungs-Verarbeitungsblock 506 empfangen werden, wie vorangehend erwähnt.

Der Atypische-Verhaltensweisen-Überwachungsvorrichtung-Verarbeitungsblock 408B kann ein vorhergesagtes Fahrzeugmanöver unter Verwendung eines trainierten Modells, das bewusstseinsbezogene Fehler vorhersagt, in die Mittleres-Risiko-Kategorie kategorisieren. Dies kann umfassen, dass der Atypische-Verhaltensweisen-Überwachungsvorrichtung-Verarbeitungsblock 408B unter Verwendung eines trainierten Systems, wie z. B. eines neuronalen Netzes, 3D-CNN usw., implementiert wird, das einen Offline-Trainingsprozess ausführt, der ein Klassifizierungsmodell erstellt, das unter Verwendung der oben genannten zwei Datenströme als Eingaben trainiert wurde. Dies umfasst die Vorhergesagtes-Fahrzeugmanöver-Liste, die kategorische Daten darstellen kann, wie oben Bezug nehmend auf Tabelle 3 erwähnt, und die Fahrerbilder 404.1-404.N, die Bilddaten darstellen können. Das trainierte Modell kann somit irgendeine geeignete Anzahl und/oder Art von Zielkennzeichnungen bereitstellen, wie z. B. verschiedene typische menschliche Fahrfehler. Das Modell kann einen Satz von häufigen/bekannten menschlichen Fahrfehlern klassifizieren, wie z. B. das Schauen in die falsche Richtung (eine Richtung, die nicht mit der des vorhergesagten Fahrzeugmanövers zu der Zeit übereinstimmt, zu der es ausgeführt werden soll). Dieser Satz von Fehlern menschlicher Fahrer, die als Kennzeichnungen für den Klassifizierer dienen können, kann gemäß der nicht einschränkenden Tabelle 4 identifiziert werden und basierend auf der bestimmten Implementierung und Anwendung zusätzliche oder alternative Fehler/Szenarien umfassen. Zusätzlich oder alternativ kann der Satz von Fehlern menschlicher Fahrer/Szenarien aus bekannten Studien zur Taxonomie menschlicher Fehler hergeleitet werden. Es wird darauf hingewiesen, dass, da das trainierte Modell das vorhergesagte Fahrzeugmanöver als eine seiner Eingaben verwendet, die sich auf externe Fahrzeugbilder und/oder Sensoren stützt, ist die Liste der identifizierten Fehlern menschlicher Fahrer und der zugeordneten Symptome im Gegensatz zu nur einem herkömmlichen DMS durch eine Kombination aus externer Erfassung und internen Fahrerbildern detektierbar. TABELLE 4

Vorhergesagtes Manöver/Situation	DMS (Bilder 404.1-404.N)	Wahrscheinlicher menschlicher Fahrfehler
Anderes Objekt im Kollisionspfad	Der Fahrer betrachtet das Objekt/die Kollisionsregion nicht	Erkennungsfehler, z. B. aufgrund der Verwechslung von Verkehrsregeln (z. B. Linksverkehr vs. Rechtsverkehr), Ablenkung, schlechte Sicht des Fahrers
Anderes Objekt im Kollisionspfad	Der Fahrer betrachtet das Objekt/die Kollisionsregion	Fehleinschätzung der Geschwindigkeit eines Objekts, der Aktionen oder der verbleibenden Lücken, Verwechslung von Verkehrsregeln (z. B. fälschlicherweise angenommene Vorfahrt)
Ego-Fahrzeug, das in eine T-Kreuzung, einen Kreisverkehr usw. einfährt.	Fahrer schaut zur falschen Seite (d. h. nicht auf den Gegenverkehr)	Verwechslung der Verkehrsregeln (z. B. Linksverkehr vs. Rechtsverkehr)
Anderes Objekt im Kollisionspfad	Der Fahrer befindet sich in einer entspannten Haltung	Der Fahrer performt wahrscheinlich nicht, z. B. aufgrund eines Erkennungsfehlers oder Verwechslung der Verkehrsregeln (z. B. Vorfahrt)
Das Ego-Fahrzeug folgt einem langsameren Fahrzeug/ befindet sich auf der äußersten Spur und andere Fahrzeuge befinden sich auf der Nachbarspur	Der Fahrer schaut häufig in den Rückspiegel/dre ht den Kopf zurück/versucht, den Blinker zu setzen	Der Fahrer versucht wahrscheinlich ein unsicheres Überholmanöver, schätzt Lücken falsch ein

Nach dem Training kann der Atypische-Verhaltensweisen-Überwachungsvorrichtung-Verarbeitungsblock 408B das Modell zur Laufzeit implementieren, um das atypische Fahrverhalten oder den Fehler zu erhalten. Der Atypische-Verhaltensweisen-Überwachungsvorrichtung-Verarbeitungsblock 408B kann eine Benachrichtigung über das geschätzte atypische Fahrverhalten ausgeben. Wie vorangehend erwähnt wurde, kann jeder der Konsequenzenüberwachungsvorrichtungen-Verarbeitungsblöcke 408A, 408B und 408C basierend auf der Kategorisierung der anderen Konsequenzenüberwachungs-Verarbeitungsblöcke in einer abgestuften oder bedingten Weise arbeiten. Somit kann der Atypische-Verhaltensweisen-Überwachungsvorrichtung-Verarbeitungsblock 408B die Benachrichtigung erzeugen, wenn der Gefährliche-Situationen-Überwachungsvorrichtung-Verarbeitungsblock 408A nicht ausgelöst wird, da die Korrektur des atypischen Verhaltens in diesem Fall über den Gefährliche-Situationen-Überwachungvorrichung-Verarbeitungsblock 408A adressiert wird. Bezug nehmend auf 5 kann der Atypische-Verhaltensweisen-Überwachungsvorrichtung-Verarbeitungsblock 408B (der als Teil des Fahrer- und Umgebungsüberwachungs-Verarbeitungsblocks 506 implementiert werden kann) jedoch die Benachrichtigung als Benutzerwarndaten erzeugen und an das IVI 504 übertragen, was das IVI 504 veranlasst, dem Fahrer 502 eine geeignete Warnung bereitzustellen. Zusätzlich oder alternativ kann der Atypische-Verhaltensweisen-Überwachungsvorrichtung-Verarbeitungsblock 408B die Benachrichtigung an den Aktionsausführungs-Verarbeitungsblock 508 übertragen, der die Benutzerwarndaten als Teil seiner ausgeführten Aktionen an das IVI 504 übertragen kann, um das IVI 504 zu veranlassen, dem Fahrer 502 eine geeignete Warnung bereitzustellen, wodurch die Auswirkungen des atypischen Verhaltens gemildert werden. Ein Beispiel für die von dem Atypische-Verhaltensweisen-Überwachungsvorrichtung-Verarbeitungsblock 408B ausgegebenen Daten ist in der nachstehenden, nicht einschränkenden Tabelle 5 dargestellt. Die Benachrichtigungen können zusätzliche oder alternative Informationen umfassen. TABELLE 5

Klasse des vorhergesagten Fahrerfehlers (z. B. aus Tabelle 4)

Geschätzte Likelihood des Fahrerfehlers

Zeitstempel der Fehlerschätzung

Fehlerdetektions-Verzögerung (geschätzte abgelaufene Zeit vom Auftreten des Fehlers bis zur Detektion)

Der Aktionsausführungs-Verarbeitungsblock 508 und/oder das IVI 504 können die von dem Atypische-Verhaltensweisen-Überwachungsvorrichtung-Verarbeitungsblock 408B ausgegebenen Daten auf diese Weise nutzen, um die Art der zu erzeugenden Benachrichtigung und den Zeitpunkt, zu dem die Benachrichtigung erzeugt werden sollte, um den Fahrer 502 vor dem Auftreten des Fehlers zu warnen, zu bestimmen.
Die dritte Kategorie von für ein bestimmtes vorhergesagtes Fahrzeugmanöver definierten Konsequenzen umfasst eine Niedriges-Risiko-Kategorie, die Sichere-Verkehrsregel-Verstößen zugeordnet ist, die über den Sichere-Regel-Verkehrsverstöße-Verarbeitungsblock 408C identifiziert werden können, wie in 4 gezeigt. Der Sichere-Regel-Verkehrsverstöße-Überwachungsvorrichtung-Verarbeitungsblock 408C kann die Konsequenz eines vorhergesagten Fahrzeugmanövers als in diese Kategorie fallend kategorisieren, basierend auf einer Identifizierung des Auftretens eines Verstoßes gegen eine nicht sicherheitskritische Verkehrsregel, die der Zeit der Ausführung des vorhergesagten Fahrmanövers zugeordnet ist.

Der Sichere-Regel-Verkehrsverstöße-Überwachungsvorrichtung-Verarbeitungsblock 408C kann mit dem Fahrer- und Umgebungsüberwachungs-Verarbeitungsblock 506 identifiziert werden, wie in 5 gezeigt, und somit als Eingaben die vorhergesagten Fahrzeugmanöver, den Standort des Fahrzeugs und die externen Bilder 402.1-402.N verwenden, wie vorangehend erörtert. Der Standort des Fahrzeugs 100 kann unter Verwendung der Fahrzeugzustandsdaten identifiziert werden, was die Verwendung irgendeiner geeigneten Art von Standort- und/oder Ausrichtungsdaten umfassen kann, die über die Sensoren des Sicherheitssystems 200 erhalten werden. Der Standort des Fahrzeugs 100 kann somit geografische Koordinaten des Fahrzeugs, einen Kartenstandort des Fahrzeugs, eine Ausrichtung des Fahrzeugs usw. darstellen. Bezug nehmend auf 5 können die externen Bilder 402.1-402.N auch Teil der Fahrerzustandsdaten sein, die vom Fahrer- und Umgebungsüberwachungs-Verarbeitungsblock 506 empfangen werden, wie vorangehend erwähnt wurde. Der Sichere-Regel-Verkehrsverstöße-Überwachungsvorrichtung-Verarbeitungsblock 408C kann diese Eingaben verwenden, um eine Liste von nicht sicherheitskritischen vorhergesagten Verstößen in Bezug auf eine Kategorie und eine Zeitperiode auszugeben. TABELLE 6

Klasse des vorhergesagten Sicherheitsverstoßes

Geschätzte Likelihood des Verstoßes

Zeitstempel der Verstoßschätzung

Verstoßdetektions-Verzögerung (geschätzte abgelaufene Zeit vom Auftreten des Verstoßes bis zur Detektion)

Der Sichere-Regel-Verkehrsverstöße-Überwachungsvorrichtung-Verarbeitungsblock 408C fungiert somit dazu, zu detektieren, wann gegen nicht sicherheitskritische Verkehrsregeln verstoßen wird und welche ohne irgendeine Unterbrechung der Hauptfahraufgabe sicher korrigiert werden können. Dies kann die Aktivierung eines Blinkers umfassen, wenn vorhergesagt wird, dass das Fahrzeug abbiegen wird, die Fahrzeugzustandsdaten aber anzeigen, dass der Blinker in eine bestimmte Richtung nicht aktiviert wurde. Ein Beispiel eines solchen Szenarios ist in 8 detaillierter gezeigt. Wie in 8 gezeigt, stellt das Szenario eine deutsche Straße dar, auf der ein Fahrer des Fahrzeugs 804 die Notwendigkeit, den Blinker zu aktivieren, wenn er die Linkskurve durchfährt, falsch einschätzt, da dies in anderen Rechtsordnungen, die dem Fahrer des Fahrzeugs 804 möglicherweise vertraut sind, nicht vorgeschrieben ist. Der Sichere-Regel-Verkehrsverstöße-Überwachungsvorrichtung-Verarbeitungsblock 408C identifiziert somit diesen Fehler und gibt die in Tabelle 6 genannten Informationen über die Intra-System-Kommunikation an das IVI 504 und/oder den Aktionsausführungs-Verarbeitungsblock 508 aus, die die nicht sicherheitskritischen Steuerungsdaten umfassen können. Der Aktionsausführungs-Verarbeitungsblock 508 und/oder das IVI 504 verwendet dann die Informationen, um das Fahrzeug zu veranlassen, das entsprechende Blinkersignal autonom zu aktivieren.
Korrekturaktions-Ausführung
Dieser Abschnitt ist auf die Aktion gerichtet, die das Fahrzeug basierend auf der bestimmten Klassifizierung oder risikobasierten Kategorisierung einer Konsequenz ausführt, die aus der Ausführung eines vorhergesagten Fahrzeugmanövers resultiert. Die hierin erörterte Korrekturaktion kann durch den Aktionsausführungs-Verarbeitungsblock 410 ausgeführt werden, der die einzelnen Aktionsausführungs-Verarbeitungsblöcke 410A, 410B und 410C und/oder den Aktionsausführungs-Verarbeitungsblock 508 umfassen kann, der mit dem Aktionsausführungs-Verarbeitungsblock 410 identifiziert werden kann, wie hierin erwähnt. Der Aktionsausführungs-Verarbeitungsblock 510 kann das Fahrzeug 100 veranlassen, ansprechend auf die Vorhersage eines bestimmten Fahrzeugmanövers, das einer der risikobasierten Kategorien entspricht, in die die Konsequenz der Ausführung des vorhergesagten Manövers kategorisiert wird, eine Korrekturaktion auszuführen.
Somit kann die vom Aktionsausführungs-Verarbeitungsblock 508 ausgeführte Korrekturaktion oder Steuerung auf die Risikokategorie zugeschnitten sein, die der Konsequenz des vorhergesagten Fahrzeugmanövers zugeordnet ist, wie in 4 dargestellt. Das heißt, wenn die Konsequenz, die aus der Ausführung des vorhergesagten Fahrzeugmanövers resultiert, in die Hohes-Risiko-Kategorie kategorisiert wird, kann der Aktionsausführungs-Verarbeitungsblock 508 die entsprechenden Steuerungsausgabedaten erzeugen, wie in 5 gezeigt. Die Steuerungsausgabedaten können irgendwelchen geeigneten autonomen Steuerungssystemen des Sicherheitssystems 200 bereitgestellt werden, die das hierin erörterte SDM implementieren können, um das Fahrzeug 100 zu veranlassen, die Korrekturaktion auszuführen. In diesem Szenario einer Hohes-Risiko-KonsequenzenKategorisierung eines vorhergesagten Fahrzeugmanövers kann die Korrekturaktion einer eingreifenden Fahrzeugsteuerungsoperation entsprechen, um die Ausführung des vorhergesagten Fahrzeugmanövers zu verhindern oder zu modifizieren.
Zu diesem Zweck und Bezug nehmend auf 5 kann der Aktionsausführungs-Verarbeitungsblock 508 als Eingaben die Fahrersteuerungsdaten u_t empfangen, die den Zustand irgendeiner geeigneten Anzahl von Fahrsteuerungsvariablen im Hinblick auf die Steuerung des Fahrzeugs 100 darstellen können, wie z. B. Fahrereingaben für Beschleunigung, Bremsen, Lenkung usw. Die ‚t‘-Schreibweise zeigt an, dass sich die Fahrersteuerungsdaten über die Zeit basierend auf den Aktionen des Fahrers 502 ändern, und somit können die Fahrersteuerungsdaten-Steuerungsdaten u_t die Fahrersteuerungsdaten zu einem einzelnen Zeitpunkt t darstellen. Der Aktionsausführungs-Verarbeitungsblock 508 kann zusätzlich als Eingaben die Assistenzsteuerungsdaten at empfangen, die eine geeignete Steuerungsreaktion (bevorzugte sichere Steuerung) darstellen, die vom Sicherheitssystem 200 des Fahrzeugs für die aktuellen Fahrzeugzustandsdaten x_t und die Fahrerzustandsdaten dt zu einem bestimmten Zeitpunkt t ansprechend auf die Detektion einer bestimmten Art von vorhergesagtem Manöver mit einer Konsequenz, die bei Ausführung als gefährlich oder risikoreich klassifiziert wird, berechnet wurde. Somit können die Assistenzsteuerungsdaten at die vom Sicherheitssystem 200 gemäß dem SDM erzeugten anfänglichen Steuerungsvariablen darstellen, die sich auf eine Änderung der Fahrzeugposition, der Lenkung, der Bremsung, der Beschleunigung, der Geschwindigkeit usw. beziehen.
Der Aktionsausführungs-Verarbeitungsblock 508 fungiert zur Ausgabe von Steuerungsausgabedaten, wie in 5 gezeigt, dargestellt als o_t +1, was den nächsten Zyklus darstellt, wie durch eine Betriebshüllkurve bestimmt. Diese Hüllkurve hängt von der Abtastung ab, die für den Aktionsausführungs-Verarbeitungsblock 508 erforderlich ist, der wiederum als Steuerung implementiert sein kann. Die Steuerung wird in diesem Szenario im Allgemeinen mit der höchsten Frequenz betrieben, die von den Fahrzeugaktuatoren ermöglicht wird. Der Aktionsausführungs-Verarbeitungsblock 506, der wiederum als Steuerung implementiert sein kann, ist ausgebildet, um das Fahrzeug 100 zu veranlassen, eine eingreifende Fahrzeugsteuerungsoperation auszuführen, um eine gemeinschaftlich verwendete Steuerung des Fahrzeugs zwischen dem Fahrer und den autonomen Fahrzeugsteuerungen bereitzustellen. Der Aktionsausführungs-Verarbeitungsblock 506 fungiert zur Erzeugung der Steuerungsausgabedaten, die von den entsprechenden autonomen Steuerungssystemen des Sicherheitssystems 200 verwendet werden. Die Steuerungsausgabedaten werden somit zur Korrektur menschlicher Fahreraktionen und zur Kompensation von Bewusstseinsfehlern verwendet (d. h. potenziell gefährliche Situationen, die nicht durch eine direkte Sicherheitsregel-Überwachungsvorrichtung erfasst werden, sondern stattdessen durch eine Detektion einer Unfähigkeit des Fahrers, die aktuelle Situation zu verstehen, was in naher Zukunft zu einer gefährlichen Situation führen kann).
Zu diesem Zweck kann der Aktionsausführungs-Verarbeitungsblock 506 eine oder mehrere der folgenden steuerungsbasierten Aktionen ausführen, um die gemeinschaftlich verwendete Fahrzeugsteuerung zwischen dem Fahrer 502 und den autonomen Steuerungssystemen des Fahrzeugs zu erleichtern. Es wird auch darauf hingewiesen, dass der autonome Modus teilweise für die hierin erörterte Wahrnehmungs- und Planungs-/Überwachungsfunktionalität aktiviert wird, um das Fahrerverhalten zu beobachten und zu identifizieren und Fahrzeugmanöver vorherzusagen. Die vollständige Aktivierung des autonomen Modus umfasst jedoch die Steuerungsbetätigung, die über die gemeinschaftlich verwendete Steuerung verwaltet wird, die über den Aktionsausführungs-Verarbeitungsblock 508 ausgeführt wird, wie hierin erörtert. Diese können als parallele Prozesse für die Überwachungs- und Fusionsoperationen betrachtet werden, aber als sequentiell in der Ausgabe, da die Ausgabeanweisungen zeitlicher Natur sind:

- Aktivieren eines autonomen Modus, wobei jedoch bestimmte Aktionen deaktiviert sind. Dies kann umfassen, dass die Aktivierung des automatisierten Systems aufmerksam, aber inaktiv ist. Anders ausgedrückt kann der Aktionsausführungs-Verarbeitungsblock 508 die Ausgabesteuerungsdaten erzeugen, um das Fahrzeug 100 zu veranlassen, eine eingreifende Fahrzeugsteuerungsoperation auszuführen. Diese eingreifende Steuerungsoperation kann eine Bereitstellung einer gemeinschaftlich verwendeten Steuerung des Fahrzeugs zwischen dem Fahrer 502 und den autonomen Steuerungssystemen des Fahrzeugs umfassen, indem ein autonomer Fahrzeugmodus aktiviert wird, bei dem eine Teilmenge von autonomen Steuerungen deaktiviert ist.
- Überwachen von menschlichen Fahranweisungen unter Verwendung der Fahrersteuerungsdaten und Bewerten möglicher sofortiger Manöver.
- Vergleich von sofortigen vorhergesagten Fahrzeugmanövern mit autonom geplanten Manövern.
- Wenn eine Diskrepanz zwischen den sofortigen vorhergesagten Fahrzeugmanövern und den autonomen geplanten Manövern über einer inakzeptablen Unsicherheitsschwelle besteht, dann können die Ausgabesteuerungsdaten dazu führen, dass die autonomen Systeme die Steuerung vollständig vom menschlichen Fahrer übernehmen. Liegt die Diskrepanz zwischen den sofortigen vorhergesagten Fahrzeugmanövern und den autonomen geplanten Manövern über einer akzeptablen Schwelle, können die Ausgabesteuerungsdaten eine gemeinschaftlich verwendete Steuerung darstellen, die aktiviert werden soll, um subtile Korrekturen bereitzustellen. Anders ausgedrückt kann die Diskrepanz in diesem Zusammenhang eine Differenz in der berechneten Steuerung zum Verfolgen einer definierten sicheren Trajektorie und dem, was ein Fahrer aktuell tut (oder was vorhergesagt wird, dass er tut) darstellen. Ein Szenario könnte sein, dass ein Fahrer das Lenkrad auf -0,4 Radiant drehen soll, die Fahrereingabedaten jedoch 0,3 Radiant betragen. Wenn die Differenz zwischen diesen beiden (0,7 in diesem Szenario) über einer Schwelle liegt, ist diese Diskrepanz inakzeptabel
- Die Ausgabesteuerungsdaten können es ermöglichen, dass die gemeinschaftlich verwendete Steuerung aktiv bleibt, bis der menschliche Fahrer aktiv bestätigt, dass die vollständige Steuerung wiedererlangt werden kann. Dies kann die Erzeugung der Steuerungsausgabedaten umfassen, die das Fahrzeug 100 veranlassen, die eingreifende Fahrzeugsteuerungsoperation aufrechtzuerhalten, um die gemeinschaftlich verwendete Steuerung des Fahrzeugs bereitzustellen, bis eine Fahrereingabe empfangen wird, die anzeigt, dass der Fahrer in der Lage ist, das Fahrzeug zu steuern. Diese Fahrereingabe kann die Überwachung der Fahrersteuerungsdaten auf ein Bremssignal oder eine andere geeignete Eingabe umfassen, die üblicherweise durch die Fahreraktion erzeugt würde. Darüber hinaus können die Ausgabesteuerungsdaten die Deaktivierung der gemeinschaftlich verwendeten Steuerung basierend auf Bedingungen zusätzlich zur oder anstelle der Überwachung der Fahrersteuerungsdaten erleichtern. Dies kann eine Rückgabe der vollständigen Steuerung an den Fahrer umfassen, basierend auf der Bedingung, dass sowohl der Fokus der Aufmerksamkeit des Fahrers wiederhergestellt ist als auch die Eingabe-Performance den Fahrbedingungen angemessen ist, wie durch eine geeignete Eingabe angezeigt, die üblicherweise durch die vorangehend erwähnte Fahreraktion erzeugt würde. Die Aufmerksamkeit des Fahrers kann über eine Analyse der Bilder des Fahrers 404.1-404.N oder irgendwelcher anderer geeigneter Fahrerzustandsdaten über den Fahrzeugmanöver-Vorkehrungs-Verarbeitungsblock 401, wie hierin erörtert, identifiziert werden, um sicherzustellen, dass der Fahrer seinen Blick auf den entsprechenden Abschnitt der Straße richtet, der der bestimmten Richtung, Bewegung, Ausrichtung usw. des Fahrzeugs entspricht. Anders ausgedrückt kann die eingreifende Fahrzeugsteuerungsoperation aufrechterhalten werden, um die gemeinschaftlich verwendete Steuerung des Fahrzeugs bereitzustellen, bis eine weitere Analyse der Fahrerzustandsdaten anzeigt, dass die Aufmerksamkeit des Fahrers auf die Straße gerichtet ist und/oder eine geeignete Eingabe empfangen wird, die üblicherweise durch die vorangehend erwähnte Fahreraktion erzeugt würde.

In jedem Fall erzeugt der Aktionsausführungs-Verarbeitungsblock 508 die Ausgabesteuerungsdaten o_t als eine gewichtete Funktion, die die Fahrersteuerungsdaten oder die Eingabe u_t und die Assistenzsteuerungsdaten oder die Eingabe at kombiniert. Anders ausgedrückt ist der Aktionsausführungs-Verarbeitungsblock 508 ausgebildet, um das Fahrzeug 100 zu veranlassen, die eingreifende Fahrzeugsteuerungsoperation auszuführen, um eine gemeinschaftlich verwendete Steuerung des Fahrzeugs bereitzustellen, indem die Ausgabesteuerungsdaten o_t als eine gewichtete Funktion erzeugt werden, die wie in der nicht einschränkenden Gleichung 1 dargestellt wie folgt ausgedrückt werden kann: $O_{t} = \sum ƒ (t) w (t) = w_{u s e r} * u_{t} + w_{a u t o m a t i o n} * a_{t} .$
wobei u_t und w_user jeweils die aktuellen Fahrersteuerungseingaben und die aktuelle Gewichtung darstellen, die auf die Fahrersteuerungseingaben angewandt werden, und a_t und w_automation jeweils die aktuellen Assistenzsteuerungseingaben und ihre zugeordnete Gewichtung darstellen.
Der Aktionsausführungs-Verarbeitungsblock 508 bestimmt die Werte der Gewichtungen w_user, w_automation unter Verwendung der Differenz zwischen den Fahrersteuerungseingaben u_t und den Assistenzsteuerungseingaben a_t. für ein Sicherheitsmanöver, um das aktuelle vorhergesagte Fahrzeugmanöver zu korrigieren, sowie die vom Fahrer- und Umgebungsüberwachungs-Verarbeitungsblock 506 ausgegebene Antizipations-Punktzahl für das aktuelle vorhergesagte Fahrzeugmanöver. Somit wird die Benutzereingabe-Gewichtung w_user 0, wenn die Differenz zwischen der Fahrersteuerungseingabe u_t und einem bestimmten Sicherheitsmanöver, das den Steuerungseingaben a_t. zugeordnet ist, über eine konfigurierbare Schwelle und eine ausreichend niedrige Antizipations-Punktzahl-Schwelle steigt. Dies ermöglicht, dass das AD- oder ADAS-System, das vom Sicherheitssystem 200 verwendet wird, schnell die sicherste Steuerungsstrategie anwendet. Die Art und Weise, in der die Gewichtungen für ein bestimmtes System bestimmt oder abgestimmt werden, kann Teil irgendeiner geeigneten Art von Parameterabstimmung sein, die bekannte Techniken wie die Festlegung der Gewichtungswerte basierend auf den Ergebnissen von Simulation und Experimenten auf geschlossenen Teststrecken unter einigermaßen vorhersehbaren Szenarien innerhalb des operationellen Entwurfsbereichs des Fahrzeugs umfassen kann.
Um ein veranschaulichendes Szenario bereitzustellen, wenn der Fahrer 502 seine Aufmerksamkeit schnell wiedererlangt, würde dies zu einer hohen Antizipations-Punktzahl für das aktuelle vorhergesagte Fahrzeugmanöver führen. Somit verringert sich die Eingabedifferenz zwischen den Fahrersteuerungseingaben u_t und den Assistenzsteuerungseingaben at, und der Aktionsausführungs-Verarbeitungsblock 508 kann die w_user-Gewichtung exponentiell erhöhen (wobei gleichzeitig w_automation reduziert wird, um einen schnellen Übergang der Steuerung an den Fahrer 502 zu ermöglichen).
Wenn jedoch die Antizipations-Punktzahl für das vorhergesagte Fahrzeugmanöver hoch ist (d. h. über einem konfigurierbaren Schwellenwert) und die Fahrersteuerungseingaben u_t immer noch über einem konfigurierbaren Schwellenwert liegen, dann kann die Gewichtung w_user nur linear mit der Zeit erhöht werden, um zu vermeiden, dass der Fahrer 502 das Fahrzeug 100 als Ergebnis einer panischen Reaktion auf die Gefahrensituation in einen Über-/Untersteuerungszustand zwingt. Vor diesem Hintergrund kann der Aktionsausführungs-Verarbeitungsblock 508 die Ausgabesteuerungsdaten o_t mit Benutzersteuerungs-Eingabegewichtungen w_user gemäß den in Gleichung 2 unten dargestellten, nicht einschränkenden Bedingungen ausgeben. Natürlich können die Anzahl und/oder Arten von Bedingungen und/oder Beziehungen zwischen diesen Variablen und Gewichtungen abhängig von der bestimmten Implementierung und Anwendung gegenüber dem, was in Gleichung 2 dargestellt ist, modifiziert werden. $w_{u s e r} (t) = {\begin{array}{l} 0 i f A_{s c o r e} < A_{t h r e s h o l d} a n d Δ U > U_{t h r e s h o l d}, \\ a {(1 + ϕ)}^{t} i f A_{s c o r e} \geq A_{t h r e s h o l d} a n d Δ U \leq U_{t h r e s h o l d,} \\ ϕ (t) + a i f A_{s c o r e} \geq A_{t h r e s h o l d} a n d Δ U > U_{t h r e s h o l d} \end{array}$
Wobei A_score die Antizipations-Punktzahl (anticipation score) für ein bestimmtes vorhergesagtes Fahrzeugmanöver darstellt, A_threshold den konfigurierbaren Antizipations-Punktzahl-Schwellenwert (anticipation score threshold value) darstellt, ΔU die Differenz zwischen den Fahrersteuerungseingaben u_t und den Assistenzsteuerungseingaben at darstellt, U_threshold einen anderen konfigurierbaren Schwellenwert darstellt und α and ϕ jeweils Parameter für den minimalen Ausgangswert, der der Gewichtung w_user zugeordnet ist, und die Wachstumsrate abhängig von der beteiligten Gefahr oder dem Risiko darstellt. Diese Parameter können abhängig von der bestimmten Implementierung und Anwendung unter Verwendung irgendwelcher bekannter Techniken angepasst werden, umfassend bekannte Techniken, um dies zu tun. Es wird darauf hingewiesen, dass der in Gl. 2 gezeigte α-Parameter unterschiedlich und verschieden von der Gewichtung, wie oben Bezug nehmend auf die in 6 dargestellte gewichtete Antizipations-Punktzahl dargestellt und erörtert, ist.
Wiederum kann die vom Aktionsausführungs-Verarbeitungsblock 508 ausgeführte Korrekturaktion oder Steuerung auf die Risikokategorie zugeschnitten sein, die der Konsequenz des vorhergesagten Fahrzeugmanövers zugeordnet ist, wie in 4 dargestellt. Somit, wenn die Konsequenz, die aus der Ausführung des vorhergesagten Fahrzeugmanövers resultiert, in die Mittleres-Risiko-Kategorie kategorisiert wird, kann der Aktionsausführungs-Verarbeitungsblock 508 die entsprechenden Benutzerwarndaten erzeugen, wie in 5 gezeigt. Alternativ können die Benutzerwarndaten von dem Fahrer- und Umgebungsüberwachungs-Verarbeitungsblock 506 zusätzlich oder anstelle des Aktionsausführungs-Verarbeitungsblocks 508 an das IVI 504 übertragen werden.
Unabhängig von der bestimmten Komponente, die die Benutzerwarndaten erzeugt und an das IVI 504 überträgt, kann der Fahrer- und Umgebungsüberwachungs-Verarbeitungsblock 506 und/oder der Aktionsausführungs-Verarbeitungsblock 508 als Eingaben eine Liste von geschätzten Fahrerfehlern empfangen, die mit den Daten identifiziert werden können, die von dem Atypische-Verhaltensweisen-Überwachungsvorrichtung-Verarbeitungsblock 408B ausgegeben werden, wie oben Bezug nehmend auf Tabelle 5 gezeigt und beschrieben. Der Fahrer- und Umgebungsüberwachungs-Verarbeitungsblock 506 und/oder der Aktionsausführungs-Verarbeitungsblock 508 fungiert somit dazu, dem Fahrer 502 eine visuelle/akustische Benachrichtigung über den geschätzten Fahrerfehler bereitzustellen. Die Benutzerwarndaten können somit irgendeine geeignete Art von kodierten Daten umfassen, die es dem IVI 504 ermöglichen, eine geeignete Benachrichtigung, wie z. B. direkte Sprache und/oder eine Textnachricht/Benachrichtigung, an den Fahrer 502 auszugeben.
Zusätzlich oder alternativ kann die Reaktion des Fahrers 502 auf eine solche Ankündigung/Warnung wie hierin erörtert überwacht und ausgewertet werden, um zu bestimmen, ob eine Überreaktion erfolgt.
Dies kann über die Implementierung einer Lösung mit geschlossenem Regelkreis ausgeführt werden, bei der die Aktionen des Fahrers 502 nach Empfang der Benachrichtigung beobachtet und auf abrupte Änderungen ausgewertet werden, die zu einer unsicheren Situation führen würden, indem eine oder mehrere der Konsequenzenklassifizierungen über die Konsequenzenüberwachungs-Verarbeitungsblöcke 408A, 408B, 408C ausgelöst werden, wie vorangehend beschrieben. Das heißt, der Fahrer- und Umgebungsüberwachungs-Verarbeitungsblock 506 kann ausgebildet sein, um ein zusätzliches Fahrzeugmanöver basierend auf der Analyse der Bilder 402.1-402.N, 404.1-404.N, der Fahrerzustandsdaten, der Fahrzeugzustandsdaten usw. vorherzusagen, nachdem eine Benachrichtigung erzeugt und dem Fahrer 502 bereitgestellt wird. Der Fahrer- und Umgebungsüberwachungs-Verarbeitungsblock kann dann eine Konsequenz, die aus einer Ausführung des zusätzlichen vorhergesagten Fahrzeugmanövers resultiert, in eine der Mehrzahl von risikobasierten Kategorien, wie oben erwähnt, kategorisieren, sodass die Reaktion des Fahrers auf die ausgegebene Warnung in ähnlicher Weise überwacht werden kann wie andere Reaktionen während der Fahrt, wie hierin beschrieben. Auf diese Weise kann der Aktionsausführungs-Verarbeitungsblock 508 im Falle einer Überreaktion die vorangehend erwähnte gemeinschaftlich verwendete Steuerung aktivieren, um sichere Fahrzeugmanöver sicherzustellen.
Wiederum kann die vom Aktionsausführungs-Verarbeitungsblock 508 ausgeführte Korrekturaktion oder Steuerung auf die Risikokategorie zugeschnitten sein, die der Konsequenz des vorhergesagten Fahrzeugmanövers zugeordnet ist, wie in 4 dargestellt. Somit, wenn die aus der Ausführung des vorhergesagten Fahrzeugmanövers resultierende Konsequenz in die Niedriges-Risiko-Kategorie kategorisiert wird, kann der Aktionsausführungs-Verarbeitungsblock 508 und/oder das IVI 504 die vorhergesagte nicht sicherheitskritische Verstöße in einer autonomen Weise korrigieren, die für den Fahrer 502 transparent ist. Um diese Funktionalität zu implementieren, kann der Aktionsausführungs-Verarbeitungsblock 508 und/oder das IVI 504 als Eingaben eine Liste nicht sicherheitskritischer vorhergesagter Verstöße für die Ausführung eines Fahrzeugmanövers (wie beispielsweise die nicht sicherheitskritischen Steuerungsdaten) empfangen, die mit den Daten identifiziert werden können, die von dem Sichere-Verkehrsregel-Verstöße-Überwachungsvorrichtung-Verarbeitungsblock 408C ausgegeben werden, wie vorangehend Bezug nehmend auf Tabelle 6 gezeigt und beschrieben.
Der Aktionsausführungs-Verarbeitungsblock 508 fungiert somit dazu, einen vorhergesagten Verstoß autonom zu korrigieren. Dies kann durch den Zugriff auf irgendeinen geeigneten Speicher, eine Datenbank usw. implementiert werden, die Teil des Sicherheitssystems 200 oder einer anderen, in den Figuren nicht dargestellten externen Komponente bilden können. In jedem Fall kann der Speicher oder die Datenbank irgendeine geeignete Anzahl von vorbestimmten Verstoß-/Aktions-Paaren speichern. Dies kann Verstöße umfassen, wie z. B. einen fehlenden Blinker in einer bestimmten Richtung, gepaart mit der Aktivierung der Blinkersteuerung für eine bestimmte Zeitperiode entsprechend der gleichen Richtung. Dies kann über die Verwendung der Ausgabesteuerungsdaten oder einer anderen geeigneten Kommunikation und Steuerung mit dem Sicherheitssystem 200 des Fahrzeugs 100 erleichtert werden, wie hierin erörtert.
9 stellt einen Prozessablauf dar. Bezug nehmend auf 9 kann der Ablauf 900 ein computerimplementiertes Verfahren sein, das durch einen oder mehrere Prozessoren (Verarbeitungsschaltungsanordnung) und/oder Speichervorrichtungen ausgeführt wird und/oder denselben anderweitig zugeordnet ist. Diese Prozessoren und/oder Speichervorrichtungen können beispielsweise einer oder mehreren Komponenten eines Fahrzeugs 100 zugeordnet sein, wie hierin Bezug nehmend auf 1 erörtert. Die Prozessoren und/oder Speichervorrichtungen können mit dem einen oder den mehreren Prozessoren 102 und/oder einem oder mehreren von den Anwendungsprozessoren 214A, 214B, Bildprozessor 216, Kommunikationsprozessor 218 usw. identifiziert werden, die computerlesbare Anweisungen ausführen, die im Speicher 202 gespeichert sind, wie hierin Bezug nehmend auf 2 gezeigt und beschrieben. Der eine oder die mehreren Prozessoren 102 und/oder einer oder mehrere von den Anwendungsprozessoren 214A, 214B, Bildprozessor 216, Kommunikationsprozessor 218 usw. können zusätzlich oder alternativ ausschließlich als Hardwarekomponenten (Verarbeitungsschaltungsanordnung oder andere geeignete Schaltungsanordnung) arbeiten, Anweisungen ausführen, die auf anderen, in den Figuren nicht dargestellten computerlesbaren Speichermedien gespeichert sind (die lokal gespeicherte Anweisungen als Teil der Verarbeitungsschaltungsanordnungen selbst sein können), und irgendeine Kombination davon. Die verschiedenen Fahrzeugkomponenten, die zur Ausführung des Verfahrens 900 verwendet werden, können verschiedene Komponenten umfassen, wie sie hierin erörtert sind, z. B. den Manövervorhersage-Verarbeitungsblock 401, den Konsequenzenüberwachungs-Verarbeitungsblock 408, den Aktionsausführungs-Verarbeitungsblock 410, den Fahrer- und Umgebungsüberwachungs-Verarbeitungsblock 506 und/oder den Aktionsausführungs-Verarbeitungsblock 508 usw. Ablauf 900 kann alternative oder zusätzliche Schritte umfassen, die in 9 der Kürze halber nicht dargestellt sind, und kann in einer anderen Reihenfolge als die in 9 dargestellten Schritte ausgeführt werden.
Ablauf 900 kann beginnen, wenn ein oder mehrere Prozessoren ein Fahrzeugmanöver vorhersagen (Block 902). Diese Fahrzeugmanöver können ein Linksabbiegen, ein Rechtsabbiegen, einen Spurwechsel nach links, einen Spurwechsel nach rechts, die Fortsetzung der Geradeausfahrt des Fahrzeugs usw. umfassen. Dies kann die Klassifizierung von Fahrzeugmanövern unter Verwendung der maximalen Antizipations-Punktzahlen, wie hierin Bezug nehmend auf 6 erörtert, durch die Verwendung der 3D-CNNs 604.01, 604.2 umfassen.
Ablauf 900 kann umfassen, dass ein oder mehrere Prozessoren die Konsequenz der Ausführung des vorhergesagten Manövers in eine von mehreren risikobasierten Kategorien kategorisieren (Block 904). Dies kann die Kategorisierung der Konsequenz des vorhergesagten Fahrzeugmanövers in eine der hierin erörterten Hohes-Risiko-, Mittleres-Risiko- und Niedriges-Risiko-Kategorien umfassen, die über die Konsequenzenüberwachungsvorrichtungen-Verarbeitungsblöcke 408 bestimmt werden können, wie in 4 gezeigt.
Ablauf 900 kann umfassen, dass ein oder mehrere Prozessoren eine Korrekturaktion basierend auf der risikobasierten Kategorie ausführen (Block 906), in die die Konsequenz der Ausführung des vorhergesagten Fahrzeugmanövers kategorisiert wird. Wie vorangehend erwähnt wurde, kann dies die gemeinschaftlich verwendete Steuerung zwischen dem Fahrer und den autonomen Fahrzeugsystemen, die Ausgabe einer Benutzerwarnung, die autonome Korrektur eines Verstoßes gegen eine Sicherheitsregel usw. umfassen.
Beispiele
Die folgenden Beispiele betreffen verschiedene Techniken der vorliegenden Offenbarung.
Ein Beispiel (z. B. Beispiel 1) betrifft ein Fahrzeug. Das Fahrzeug umfasst eine Überwachungsschaltungsanordnung, die ausgebildet ist zum (i) Vorhersagen eines Fahrzeugmanövers basierend auf einer Analyse von Fahrerzustandsdaten und Fahrzeugzustandsdaten und (ii) Kategorisieren einer Konsequenz, die aus einer Ausführung des vorhergesagten Fahrzeugmanövers resultiert, in eine aus einer Mehrzahl von risikobasierten Kategorien, wobei jede der Mehrzahl von risikobasierten Kategorien auf einem Schweregrad der Gefahr basiert, die aus der Ausführung des vorhergesagten Fahrzeugmanövers in einer Fahrumgebung des Fahrzeugs resultiert; und eine Steuerung, die ausgebildet ist, um das Fahrzeug zu veranlassen, eine Korrekturaktion auszuführen, die derjenigen der Mehrzahl von risikobasierten Kategorien entspricht, in die die aus der Ausführung des vorhergesagten Fahrzeugmanövers resultierende Konsequenz kategorisiert wird.
Ein anderes Beispiel (z. B. Beispiel 2) betrifft ein vorangehend beschriebenes Beispiel (z. B. Beispiel 1), die Mehrzahl von risikobasierten Kategorien umfassend eine Hohes-Risiko-Kategorie, die dem vorhergesagten Fahrzeugmanöver zugeordnet ist, das bei Ausführung mit einem aus einem Satz von vorbestimmten Fahrzeugmanövern übereinstimmt, eine Mittleres-Risiko-Kategorie, die einem Auftreten von atypischem Fahrerverhalten zugeordnet ist, das dem vorhergesagten Fahrzeugmanöver zugeordnet ist, das ausgeführt wird, und eine Niedriges-Risiko-Kategorie, die einem Auftreten eines Verstoßes gegen eine nicht sicherheitskritische Verkehrsregel zugeordnet ist, die dem vorhergesagten Fahrzeugmanöver zugeordnet ist, das ausgeführt wird.
Ein anderes Beispiel (z. B. Beispiel 3) betrifft ein vorangehend beschriebenes Beispiel (z. B. eines oder mehrere der Beispiele 1-2), wobei die Mehrzahl von risikobasierten Kategorien eine Hohes-Risiko-Kategorie umfasst, die dem vorhergesagten Fahrzeugmanöver zugeordnet ist, das bei Ausführung mit einem aus einem Satz von vorbestimmten Fahrzeugmanövern übereinstimmt, und wobei die Steuerung ausgebildet ist, um, wenn die aus der Ausführung des vorhergesagten Fahrzeugmanövers resultierende Konsequenz in die Hohes-Risiko-Kategorie kategorisiert wird, das Fahrzeug zu veranlassen, die einer eingreifenden Fahrzeugsteuerungsoperation entsprechende Korrekturaktion auszuführen, um die Ausführung des vorhergesagten Fahrzeugmanövers zu verhindern.
Ein anderes Beispiel (z. B. Beispiel 4) betrifft ein vorangehend beschriebenes Beispiel (z. B. eines oder mehrere der Beispiele 1-3), wobei die Steuerung ausgebildet ist, um das Fahrzeug zu veranlassen, die eingreifende Fahrzeugsteuerungsoperation auszuführen, um eine gemeinschaftlich verwendete Steuerung des Fahrzeugs zwischen dem Fahrer und den autonomen Fahrzeugsteuerungen bereitzustellen.
Ein anderes Beispiel (z. B. Beispiel 5) betrifft ein vorangehend beschriebenes Beispiel (z. B. eines oder mehrere der Beispiele 1-4), wobei die Steuerung ausgebildet ist, um das Fahrzeug zu veranlassen, die eingreifende Fahrzeugsteuerungsoperation auszuführen, um die gemeinschaftlich verwendete Steuerung des Fahrzeugs bereitzustellen, indem eine gewichtete Funktion erzeugt wird, die eine erste Gewichtung, die auf Benutzerfahrzeugsteuerungseingaben angewendet wird, und eine zweite Gewichtung, die auf Autonomes-Fahrzeug-Steuerungseingaben angewendet wird, umfasst.
Ein anderes Beispiel (z. B. Beispiel 6) betrifft ein vorangehend beschriebenes Beispiel (z. B. eines oder mehrere der Beispiele 1-5), wobei die Steuerung ausgebildet ist, um das Fahrzeug zu veranlassen, die eingreifende Fahrzeugsteuerungsoperation aufrechtzuerhalten, um die gemeinschaftlich verwendete Steuerung des Fahrzeugs bereitzustellen, bis eine Eingabe empfangen wird, die anzeigt, dass der Fahrer in der Lage ist, das Fahrzeug zu steuern.
Ein anderes Beispiel (z. B. Beispiel 7) betrifft ein vorangehend beschriebenes Beispiel (z. B. eines oder mehrere der Beispiele 1-6), wobei die Steuerung ferner ausgebildet ist, um das Fahrzeug zu veranlassen, die eingreifende Fahrzeugsteuerungsoperation aufrechtzuerhalten, um die gemeinschaftlich verwendete Steuerung des Fahrzeugs bereitzustellen, bis die Fahrerzustandsdaten anzeigen, dass der Fahrer seine Aufmerksamkeit wiedererlangt hat.
Ein anderes Beispiel (z. B. Beispiel 8) betrifft ein vorangehend beschriebenes Beispiel (z. B. eines oder mehrere der Beispiele 1-7), wobei die Mehrzahl von risikobasierten Kategorien eine Mittleres-Risiko-Kategorie umfasst, die atypischem Fahrerverhalten zugeordnet ist, wobei das atypische Fahrerverhalten dem vorhergesagten Fahrzeugmanöver zugeordnet ist, das ausgeführt wird, und wobei die Steuerung ausgebildet ist, um, wenn die aus der Ausführung des vorhergesagten Fahrzeugmanövers resultierende Konsequenz als Mittleres-Risiko-Kategorie kategorisiert wird, das Fahrzeug zu veranlassen, die Korrekturaktion auszuführen, die der Erzeugung einer Benachrichtigung an den Fahrer über das atypische Fahrerverhalten entspricht.
Ein anderes Beispiel (z. B. Beispiel 9) betrifft ein vorangehend beschriebenes Beispiel (z. B. eines oder mehrere der Beispiele 1-8), wobei die Überwachungsschaltungsanordnung ausgebildet ist, um ein zusätzliches Fahrzeugmanöver basierend auf der Analyse der Fahrerzustandsdaten vorherzusagen, nachdem die Benachrichtigung erzeugt wird, und eine Konsequenz, die aus einer Ausführung des zusätzlichen vorhergesagten Fahrzeugmanövers resultiert, in eine aus der Mehrzahl von risikobasierten Kategorien zu kategorisieren.
Ein anderes Beispiel (z. B. Beispiel 10) betrifft ein vorangehend beschriebenes Beispiel (z. B. eines oder mehrere der Beispiele 1-9), wobei die Mehrzahl von risikobasierten Kategorien eine Niedriges-Risiko-Kategorie umfasst, die einem Auftreten eines Verstoßes gegen eine nicht sicherheitskritische Verkehrsregel zugeordnet ist, die dem vorhergesagten Fahrzeugmanöver zugeordnet ist, das ausgeführt wird, und wobei die Steuerung ausgebildet ist, um, wenn die Konsequenz, die aus der Ausführung des vorhergesagten Fahrzeugmanövers resultiert, als Niedriges-Risiko-Kategorie kategorisiert wird, das Fahrzeug zu veranlassen, eine Fahrzeugkomponente autonom zu aktivieren, um das Auftreten des Verstoßes gegen die nicht sicherheitskritische Verkehrsregel zu korrigieren.
Ein Beispiel (z. B. Beispiel 11) betrifft eine Steuerung eines Fahrzeugs. Die Steuerung umfasst eine Datenschnittstelle, die ausgebildet ist zum Bereitstellen von Fahrerzustandsdaten und Fahrzeugzustandsdaten; und einen oder mehrere Prozessoren, die ausgebildet sind zum: Vorhersagen eines Fahrzeugmanövers basierend auf einer Analyse der Fahrerzustandsdaten und der Fahrzeugzustandsdaten; Kategorisieren einer Konsequenz, die aus einer Ausführung des vorhergesagten Fahrzeugmanövers resultiert, in eine aus einer Mehrzahl von risikobasierten Kategorien, wobei jede der Mehrzahl von risikobasierten Kategorien auf einem Schweregrad der Gefahr basiert, die aus der Ausführung des vorhergesagten Fahrzeugmanövers in einer Fahrumgebung des Fahrzeugs resultiert; und Veranlassen, dass das Fahrzeug eine Korrekturaktion ausführt, die derjenigen der Mehrzahl von risikobasierten Kategorien entspricht, in die die aus der Ausführung des vorhergesagten Fahrzeugmanövers resultierende Konsequenz kategorisiert wird.
Ein anderes Beispiel (z. B. Beispiel 12) betrifft ein vorangehend beschriebenes Beispiel (z. B. Beispiel 11), die Mehrzahl von risikobasierten Kategorien umfassend eine Hohes-Risiko-Kategorie, die dem vorhergesagten Fahrzeugmanöver zugeordnet ist, das bei Ausführung mit einem aus einem Satz von vorbestimmten Fahrzeugmanövern übereinstimmt, eine Mittleres-Risiko-Kategorie, die einem Auftreten von atypischem Fahrerverhalten zugeordnet ist, das dem vorhergesagten Fahrzeugmanöver zugeordnet ist, das ausgeführt wird, und eine Niedriges-Risiko-Kategorie, die einem Auftreten eines Verstoßes gegen eine nicht sicherheitskritische Verkehrsregel zugeordnet ist, die dem vorhergesagten Fahrzeugmanöver zugeordnet ist, das ausgeführt wird.
Ein anderes Beispiel (z. B. Beispiel 13) betrifft ein vorangehend beschriebenes Beispiel (z. B. eines oder mehrere der Beispiele 11-12), wobei die Mehrzahl von risikobasierten Kategorien eine Hohes-Risiko-Kategorie umfasst, die dem vorhergesagten Fahrzeugmanöver zugeordnet ist, das bei Ausführung mit einem aus einem Satz von vorbestimmten Fahrzeugmanövern übereinstimmt, und wobei der eine oder die mehreren Prozessoren ausgebildet sind, um, wenn die aus der Ausführung des vorhergesagten Fahrzeugmanövers resultierende Konsequenz in die Hohes-Risiko-Kategorie kategorisiert wird, das Fahrzeug zu veranlassen, die einer eingreifenden Fahrzeugsteuerungsoperation entsprechende Korrekturaktion auszuführen, um die Ausführung des vorhergesagten Fahrzeugmanövers zu verhindern.
Ein anderes Beispiel (z. B. Beispiel 14) betrifft ein vorangehend beschriebenes Beispiel (z. B. eines oder mehrere der Beispiele 11-13), wobei der eine oder die mehreren Prozessoren ausgebildet sind, um das Fahrzeug zu veranlassen, die eingreifende Fahrzeugsteuerungsoperation auszuführen, um eine gemeinschaftlich verwendete Steuerung des Fahrzeugs zwischen dem Fahrer und den autonomen Fahrzeugsteuerungen bereitzustellen.
Ein anderes Beispiel (z. B. Beispiel 15) betrifft ein vorangehend beschriebenes Beispiel (z. B. eines oder mehrere der Beispiele 11-14), wobei der eine oder die mehreren Prozessoren ausgebildet sind, um das Fahrzeug zu veranlassen, die eingreifende Fahrzeugsteuerungsoperation auszuführen, um die gemeinschaftlich verwendete Steuerung des Fahrzeugs bereitzustellen, indem eine gewichtete Funktion erzeugt wird, die eine erste Gewichtung, die auf Benutzerfahrzeugsteuerungseingaben angewendet wird, und eine zweite Gewichtung, die auf Autonomes-Fahrzeug-Steuerungseingaben angewendet wird, umfasst.
Ein anderes Beispiel (z. B. Beispiel 16) betrifft ein vorangehend beschriebenes Beispiel (z. B. eines oder mehrere der Beispiele 11-15), wobei der eine oder die mehreren Prozessoren ausgebildet sind, um das Fahrzeug zu veranlassen, die eingreifende Fahrzeugsteuerungsoperation aufrechtzuerhalten, um die gemeinschaftlich verwendete Steuerung des Fahrzeugs bereitzustellen, bis eine Eingabe empfangen wird, die anzeigt, dass der Fahrer in der Lage ist, das Fahrzeug zu steuern.
Ein anderes Beispiel (z. B. Beispiel 17) betrifft ein vorangehend beschriebenes Beispiel (z. B. eines oder mehrere der Beispiele 11-16), wobei der eine oder die mehreren Prozessoren ferner ausgebildet sind, um das Fahrzeug zu veranlassen, die eingreifende Fahrzeugsteuerungsoperation aufrechtzuerhalten, um die gemeinschaftlich verwendete Steuerung des Fahrzeugs bereitzustellen, bis die Fahrerzustandsdaten anzeigen, dass der Fahrer seine Aufmerksamkeit wiedererlangt hat.
Ein anderes Beispiel (z. B. Beispiel 18) betrifft ein vorangehend beschriebenes Beispiel (z. B. eines oder mehrere der Beispiele 11-17), wobei die Mehrzahl von risikobasierten Kategorien eine Mittleres-Risiko-Kategorie umfasst, die einem Auftreten von atypischem Fahrerverhalten zugeordnet ist, das dem vorhergesagten Fahrzeugmanöver zugeordnet ist, das ausgeführt wird, und wobei der eine oder die mehreren Prozessoren ausgebildet sind, um, wenn die aus der Ausführung des vorhergesagten Fahrzeugmanövers resultierende Konsequenz als Mittleres-Risiko-Kategorie kategorisiert wird, das Fahrzeug zu veranlassen, die Korrekturaktion auszuführen, die der Erzeugung einer Benachrichtigung an den Fahrer über das atypische Fahrerverhalten entspricht.
Ein anderes Beispiel (z. B. Beispiel 19) betrifft ein vorangehend beschriebenes Beispiel (z. B. eines oder mehrere der Beispiele 11-18), wobei der eine oder die mehreren Prozessoren ausgebildet sind, um ein zusätzliches Fahrzeugmanöver basierend auf der Analyse der Fahrerzustandsdaten vorhersagen, nachdem die Benachrichtigung erzeugt wird, und um eine Konsequenz, die aus einer Ausführung des zusätzlichen vorhergesagten Fahrzeugmanövers resultiert, in eine aus der Mehrzahl von risikobasierten Kategorien zu kategorisieren.
Ein anderes Beispiel (z. B. Beispiel 20) betrifft ein vorangehend beschriebenes Beispiel (z. B. eines oder mehrere der Beispiele 11-19), wobei die Mehrzahl von risikobasierten Kategorien eine Niedriges-Risiko-Kategorie umfasst, die einem Auftreten eines Verstoßes gegen eine nicht sicherheitskritische Verkehrsregel zugeordnet ist, die dem vorhergesagten Fahrzeugmanöver zugeordnet ist, das ausgeführt wird, und wobei der eine oder die mehreren Prozessoren ausgebildet sind, um, wenn die aus der Ausführung des vorhergesagten Fahrzeugmanövers resultierende Konsequenz als Niedriges-Risiko-Kategorie kategorisiert wird, das Fahrzeug veranlassen, eine Fahrzeugkomponente autonom zu aktivieren, um das Auftreten des Verstoßes gegen die nicht sicherheitskritische Verkehrsregel zu korrigieren.
Ein Beispiel (z. B. Beispiel 21) betrifft ein nichtflüchtiges computerlesbares Medium eines Fahrzeugs. Das nichtflüchtige, computerlesbare Medium weist darauf gespeicherte Anweisungen auf, die bei Ausführung durch einen oder mehrere Prozessoren des Fahrzeugs das Fahrzeug veranlassen zum: Vorhersagen eines Fahrzeugmanövers basierend auf einer Analyse von Fahrerzustandsdaten, die einem Fahrer des Fahrzeugs zugeordnet sind, und von Fahrzeugzustandsdaten; Kategorisieren einer Konsequenz, die aus einer Ausführung des vorhergesagten Fahrzeugmanövers resultiert, in eine aus einer Mehrzahl von risikobasierten Kategorien, wobei jede der Mehrzahl von risikobasierten Kategorien auf einem Schweregrad der Gefahr basiert, die aus der Ausführung des vorhergesagten Fahrzeugmanövers in einer Fahrumgebung des Fahrzeugs resultiert; und Veranlassen des Fahrzeugs, eine Korrekturaktion auszuführen, die derjenigen der Mehrzahl von risikobasierten Kategorien entspricht, in die die aus der Ausführung des vorhergesagten Fahrzeugmanövers resultierende Konsequenz kategorisiert wird.
Ein anderes Beispiel (z. B. Beispiel 22) betrifft ein vorangehend beschriebenes Beispiel (z. B. Beispiel 21), die Mehrzahl von risikobasierten Kategorien umfassend eine Hohes-Risiko-Kategorie, die einem Resultieren aus dem vorhergesagten Fahrzeugmanöver zugeordnet ist, das bei Ausführung mit einem aus einem Satz von vorbestimmten gefährlichen Fahrzeugmanövern übereinstimmt, eine Mittleres-Risiko-Kategorie, die einem Auftreten von atypischem Fahrerverhalten zugeordnet ist, wenn das vorhergesagte Fahrzeugmanöver ausgeführt werden wird, und eine Niedriges-Risiko-Kategorie, die einem Auftreten eines Verstoßes gegen eine nicht sicherheitskritische Verkehrsregel zugeordnet ist, wenn das vorhergesagte Fahrzeugmanöver ausgeführt werden wird.
Ein anderes Beispiel (z. B. Beispiel 23) betrifft ein vorangehend beschriebenes Beispiel (z. B. eines oder mehrere der Beispiele 21-22), wobei die Mehrzahl von risikobasierten Kategorien eine Hohes-Risiko-Kategorie umfasst, die einem Resultieren aus dem vorhergesagten Fahrzeugmanöver zugeordnet ist, das bei Ausführung mit einem aus einem Satz von vorbestimmten gefährlichen Fahrzeugmanövern übereinstimmt, und wobei die Anweisungen, wenn sie von einem oder mehreren Prozessoren des Fahrzeugs ausgeführt werden, das Fahrzeug veranlassen, wenn die aus der Ausführung des vorhergesagten Fahrzeugmanövers resultierende Konsequenz als Hohes-Risiko-Kategorie kategorisiert wird, die einer eingreifenden Fahrzeugsteuerungs-basierten Operation entsprechende Korrekturaktion auszuführen, um die Ausführung des vorhergesagten Fahrzeugmanövers zu verhindern.
Ein anderes Beispiel (z. B. Beispiel 24) betrifft ein vorangehend beschriebenes Beispiel (z. B. eines oder mehrere der Beispiele 21-23), wobei: die Mehrzahl von risikobasierten Kategorien eine Mittleres-Risiko-Kategorie umfasst, die einem Auftreten von atypischem Fahrerverhalten zugeordnet ist, wenn das vorhergesagte Fahrzeugmanöver ausgeführt werden wird, die Mehrzahl von risikobasierten Kategorien eine Niedriges-Risiko-Kategorie umfasst, die einem Auftreten eines Verstoßes gegen eine nicht sicherheitskritische Verkehrsregel zugeordnet ist, wenn das vorhergesagte Fahrmanöver ausgeführt werden wird, und die Anweisungen, wenn sie von einem oder mehreren Prozessoren des Fahrzeugs ausgeführt werden, das Fahrzeug veranlassen: wenn die aus der Ausführung des vorhergesagten Fahrzeugmanövers resultierende Konsequenz als Mittleres-Risiko-Kategorie kategorisiert wird, die der Erzeugung einer Benachrichtigung an den Fahrer über das atypische Fahrerverhalten entsprechende Korrekturaktion auszuführen; und wenn die aus der Ausführung des vorhergesagten Fahrzeugmanövers resultierende Konsequenz als Niedriges-Risiko-Kategorie kategorisiert wird, das Fahrzeug zu veranlassen, eine Fahrzeugkomponente autonom zu aktivieren, um das Auftreten des Verstoßes gegen die nicht sicherheitskritische Verkehrsregel zu korrigieren.
Ein Beispiel (z. B. Beispiel 25) betrifft ein Fahrzeug. Das Fahrzeug umfasst Überwachungsmittel zum (i) Vorhersagen eines Fahrzeugmanövers basierend auf einer Analyse von Fahrerzustandsdaten und Fahrzeugzustandsdaten und (ii) Kategorisieren einer Konsequenz, die aus einer Ausführung des vorhergesagten Fahrzeugmanövers resultiert, in eine aus einer Mehrzahl von risikobasierten Kategorien, wobei jede der Mehrzahl von risikobasierten Kategorien auf einem Schweregrad der Gefahr basiert, die aus der Ausführung des vorhergesagten Fahrzeugmanövers in einer Fahrumgebung des Fahrzeugs resultiert; und ein Steuerungsmittel zum Veranlassen des Fahrzeugs, eine Korrekturaktion auszuführen, die derjenigen der Mehrzahl von risikobasierten Kategorien entspricht, in die die aus der Ausführung des vorhergesagten Fahrzeugmanövers resultierende Konsequenz kategorisiert wird.
Ein anderes Beispiel (z. B. Beispiel 26) betrifft ein vorangehend beschriebenes Beispiel (z. B. Beispiel 25), die Mehrzahl von risikobasierten Kategorien umfassend eine Hohes-Risiko-Kategorie, die dem vorhergesagten Fahrzeugmanöver zugeordnet ist, das bei Ausführung mit einem aus einem Satz von vorbestimmten Fahrzeugmanövern übereinstimmt, eine Mittleres-Risiko-Kategorie, die einem Auftreten von atypischem Fahrerverhalten zugeordnet ist, das dem vorhergesagten Fahrzeugmanöver zugeordnet ist, das ausgeführt wird, und eine Niedriges-Risiko-Kategorie, die einem Auftreten eines Verstoßes gegen eine nicht sicherheitskritische Verkehrsregel zugeordnet ist, die dem vorhergesagten Fahrzeugmanöver zugeordnet ist, das ausgeführt wird.
Ein anderes Beispiel (z. B. Beispiel 27) betrifft ein vorangehend beschriebenes Beispiel (z. B. eines oder mehrere der Beispiele 25-26), wobei die Mehrzahl von risikobasierten Kategorien eine Hohes-Risiko-Kategorie umfasst, die dem vorhergesagten Fahrzeugmanöver zugeordnet ist, das bei Ausführung mit einem aus einem Satz von vorbestimmten Fahrzeugmanövern übereinstimmt, und wobei das Steuerungsmittel, wenn die aus der Ausführung des vorhergesagten Fahrzeugmanövers resultierende Konsequenz in die Hohes-Risiko-Kategorie kategorisiert wird, das Fahrzeug veranlasst, die einer eingreifenden Fahrzeugsteuerungsoperation entsprechende Korrekturaktion auszuführen, um die Ausführung des vorhergesagten Fahrzeugmanövers zu verhindern.
Ein anderes Beispiel (z. B. Beispiel 28) betrifft ein vorangehend beschriebenes Beispiel (z. B. eines oder mehrere der Beispiele 25-27), wobei das Steuerungsmittel das Fahrzeug veranlasst, die eingreifende Fahrzeugsteuerungsoperation auszuführen, um eine gemeinschaftlich verwendete Steuerung des Fahrzeugs zwischen dem Fahrer und den autonomen Fahrzeugsteuerungen bereitzustellen.
Ein anderes Beispiel (z. B. Beispiel 29) betrifft ein vorangehend beschriebenes Beispiel (z. B. eines oder mehrere der Beispiele 25-28), wobei das Steuerungsmittel das Fahrzeug veranlasst, die eingreifende Fahrzeugsteuerungsoperation auszuführen, um die gemeinschaftlich verwendete Steuerung des Fahrzeugs bereitzustellen, indem eine gewichtete Funktion erzeugt wird, die eine erste Gewichtung, die auf Benutzerfahrzeugsteuerungseingaben angewendet wird, und eine zweite Gewichtung, die auf Autonomes-Fahrzeug-Steuerungseingaben angewendet wird, umfasst.
Ein anderes Beispiel (z. B. Beispiel 30) betrifft ein vorangehend beschriebenes Beispiel (z. B. eines oder mehrere der Beispiele 25-29), wobei das Steuerungsmittel das Fahrzeug veranlasst, die eingreifende Fahrzeugsteuerungsoperation aufrechtzuerhalten, um die gemeinschaftlich verwendete Steuerung des Fahrzeugs bereitzustellen, bis eine Eingabe empfangen wird, die anzeigt, dass der Fahrer in der Lage ist, das Fahrzeug zu steuern.
Ein anderes Beispiel (z. B. Beispiel 31) betrifft ein vorangehend beschriebenes Beispiel (z. B. eines oder mehrere der Beispiele 25-30), wobei das Steuerungsmittel das Fahrzeug veranlasst, die eingreifende Fahrzeugsteuerungsoperation aufrechtzuerhalten, um die gemeinschaftlich verwendete Steuerung des Fahrzeugs bereitzustellen, bis die Fahrerzustandsdaten anzeigen, dass der Fahrer seine Aufmerksamkeit wiedererlangt hat.
Ein anderes Beispiel (z. B. Beispiel 32) betrifft ein vorangehend beschriebenes Beispiel (z. B. eines oder mehrere der Beispiele 25-31), wobei die Mehrzahl von risikobasierten Kategorien eine Mittleres-Risiko-Kategorie umfasst, die atypischem Fahrerverhalten zugeordnet ist, wobei das atypische Fahrerverhalten dem vorhergesagten Fahrzeugmanöver zugeordnet ist, das ausgeführt wird, und wobei das Steuerungsmittel, wenn die aus der Ausführung des vorhergesagten Fahrzeugmanövers resultierende Konsequenz als Mittleres-Risiko-Kategorie kategorisiert wird, das Fahrzeug veranlasst, die Korrekturaktion auszuführen, die der Erzeugung einer Benachrichtigung an den Fahrer über das atypische Fahrerverhalten entspricht.
Ein anderes Beispiel (z. B. Beispiel 33) betrifft ein vorangehend beschriebenes Beispiel (z. B. eines oder mehrere der Beispiele 25-32), wobei das Überwachungsmittel ein zusätzliches Fahrzeugmanöver basierend auf der Analyse der Fahrerzustandsdaten vorhersagt, nachdem die Benachrichtigung erzeugt wird, und eine Konsequenz, die aus einer Ausführung des zusätzlichen vorhergesagten Fahrzeugmanövers resultiert, in eine aus der Mehrzahl von risikobasierten Kategorien kategorisiert.
Ein anderes Beispiel (z. B. Beispiel 34) betrifft ein vorangehend beschriebenes Beispiel (z. B. eines oder mehrere der Beispiele 25-33), wobei die Mehrzahl von risikobasierten Kategorien eine Niedriges-Risiko-Kategorie umfasst, die einem Auftreten eines Verstoßes gegen eine nicht sicherheitskritische Verkehrsregel zugeordnet ist, die dem vorhergesagten Fahrzeugmanöver zugeordnet ist, das ausgeführt wird, und wobei das Steuerungsmittel, wenn die Konsequenz, die aus der Ausführung des vorhergesagten Fahrzeugmanövers resultiert, als Niedriges-Risiko-Kategorie kategorisiert wird, das Fahrzeug veranlasst, eine Fahrzeugkomponente autonom zu aktivieren, um das Auftreten des Verstoßes gegen die nicht sicherheitskritische Verkehrsregel zu korrigieren.
Ein Beispiel (z. B. Beispiel 35) betrifft ein Steuerungsmittel eines Fahrzeugs. Das Steuerungsmittel umfasst ein Datenschnittstellenmittel zum Bereitstellen von Fahrerzustandsdaten und Fahrzeugzustandsdaten; und ein Verarbeitungsmittel zum: Vorhersagen eines Fahrzeugmanövers basierend auf einer Analyse der Fahrerzustandsdaten und der Fahrzeugzustandsdaten; Kategorisieren einer Konsequenz, die aus einer Ausführung des vorhergesagten Fahrzeugmanövers resultiert, in eine aus einer Mehrzahl von risikobasierten Kategorien, wobei jede der Mehrzahl von risikobasierten Kategorien auf einem Schweregrad der Gefahr basiert, die aus der Ausführung des vorhergesagten Fahrzeugmanövers in einer Fahrumgebung des Fahrzeugs resultiert; und Veranlassen, dass das Fahrzeug eine Korrekturaktion ausführt, die derjenigen der Mehrzahl von risikobasierten Kategorien entspricht, in die die aus der Ausführung des vorhergesagten Fahrzeugmanövers resultierende Konsequenz kategorisiert wird.
Ein anderes Beispiel (z. B. Beispiel 36) betrifft ein vorangehend beschriebenes Beispiel (z. B. Beispiel 35), die Mehrzahl von risikobasierten Kategorien umfassend eine Hohes-Risiko-Kategorie, die dem vorhergesagten Fahrzeugmanöver zugeordnet ist, das bei Ausführung mit einem aus einem Satz von vorbestimmten Fahrzeugmanövern übereinstimmt, eine Mittleres-Risiko-Kategorie, die einem Auftreten von atypischem Fahrerverhalten zugeordnet ist, das dem vorhergesagten Fahrzeugmanöver zugeordnet ist, das ausgeführt wird, und eine Niedriges-Risiko-Kategorie, die einem Auftreten eines Verstoßes gegen eine nicht sicherheitskritische Verkehrsregel zugeordnet ist, die dem vorhergesagten Fahrzeugmanöver zugeordnet ist, das ausgeführt wird.
Ein anderes Beispiel (z. B. Beispiel 37) betrifft ein vorangehend beschriebenes Beispiel (z. B. eines oder mehrere der Beispiele 35-36), wobei die Mehrzahl von risikobasierten Kategorien eine Hohes-Risiko-Kategorie umfasst, die dem vorhergesagten Fahrzeugmanöver zugeordnet ist, das bei Ausführung mit einem aus einem Satz von vorbestimmten Fahrzeugmanövern übereinstimmt, und wobei das Verarbeitungsmittel, wenn die aus der Ausführung des vorhergesagten Fahrzeugmanövers resultierende Konsequenz in die Hohes-Risiko-Kategorie kategorisiert wird, das Fahrzeug veranlasst, die einer eingreifenden Fahrzeugsteuerungsoperation entsprechende Korrekturaktion auszuführen, um die Ausführung des vorhergesagten Fahrzeugmanövers zu verhindern.
Ein anderes Beispiel (z. B. Beispiel 38) betrifft ein vorangehend beschriebenes Beispiel (z. B. eines oder mehrere der Beispiele 35-37), wobei das Verarbeitungsmittel das Fahrzeug veranlasst, die eingreifende Fahrzeugsteuerungsoperation auszuführen, um eine gemeinschaftlich verwendete Steuerung des Fahrzeugs zwischen dem Fahrer und den autonomen Fahrzeugsteuerungen bereitzustellen.
Ein anderes Beispiel (z. B. Beispiel 39) betrifft ein vorangehend beschriebenes Beispiel (z. B. eines oder mehrere der Beispiele 35-38), wobei das Verarbeitungsmittel das Fahrzeug veranlasst, die eingreifende Fahrzeugsteuerungsoperation auszuführen, um die gemeinschaftlich verwendete Steuerung des Fahrzeugs bereitzustellen, indem eine gewichtete Funktion erzeugt wird, die eine erste Gewichtung, die auf Benutzerfahrzeugsteuerungseingaben angewendet wird, und eine zweite Gewichtung, die auf Autonomes-Fahrzeug-Steuerungseingaben angewendet wird, umfasst.
Ein anderes Beispiel (z. B. Beispiel 40) betrifft ein vorangehend beschriebenes Beispiel (z. B. eines oder mehrere der Beispiele 35-39), wobei das Verarbeitungsmittel das Fahrzeug veranlasst, die eingreifende Fahrzeugsteuerungsoperation aufrechtzuerhalten, um die gemeinschaftlich verwendete Steuerung des Fahrzeugs bereitzustellen, bis eine Eingabe empfangen wird, die anzeigt, dass der Fahrer in der Lage ist, das Fahrzeug zu steuern.
Ein anderes Beispiel (z. B. Beispiel 41) betrifft ein vorangehend beschriebenes Beispiel (z. B. eines oder mehrere der Beispiele 35-40), wobei das Verarbeitungsmittel das Fahrzeug veranlasst, die eingreifende Fahrzeugsteuerungsoperation aufrechtzuerhalten, um die gemeinschaftlich verwendete Steuerung des Fahrzeugs bereitzustellen, bis die Fahrerzustandsdaten anzeigen, dass der Fahrer seine Aufmerksamkeit wiedererlangt hat.
Ein anderes Beispiel (z. B. Beispiel 42) betrifft ein vorangehend beschriebenes Beispiel (z. B. eines oder mehrere der Beispiele 35-41), wobei die Mehrzahl von risikobasierten Kategorien eine Mittleres-Risiko-Kategorie umfasst, die einem Auftreten von atypischem Fahrerverhalten zugeordnet ist, das dem vorhergesagten Fahrzeugmanöver zugeordnet ist, das ausgeführt wird, und wobei das Verarbeitungsmittel, wenn die aus der Ausführung des vorhergesagten Fahrzeugmanövers resultierende Konsequenz als Mittleres-Risiko-Kategorie kategorisiert wird, das Fahrzeug veranlasst, die Korrekturaktion auszuführen, die der Erzeugung einer Benachrichtigung an den Fahrer über das atypische Fahrerverhalten entspricht.
Ein anderes Beispiel (z. B. Beispiel 43) betrifft ein vorangehend beschriebenes Beispiel (z. B. eines oder mehrere der Beispiele 35-42), wobei das Verarbeitungsmittel ein zusätzliches Fahrzeugmanöver basierend auf der Analyse der Fahrerzustandsdaten vorhersagt, nachdem die Benachrichtigung erzeugt wird, und eine Konsequenz, die aus einer Ausführung des zusätzlichen vorhergesagten Fahrzeugmanövers resultiert, in eine aus der Mehrzahl von risikobasierten Kategorien kategorisiert.
Ein anderes Beispiel (z. B. Beispiel 44) betrifft ein vorangehend beschriebenes Beispiel (z. B. eines oder mehrere der Beispiele 35-43), wobei die Mehrzahl von risikobasierten Kategorien eine Niedriges-Risiko-Kategorie umfasst, die einem Auftreten eines Verstoßes gegen eine nicht sicherheitskritische Verkehrsregel zugeordnet ist, die dem vorhergesagten Fahrzeugmanöver zugeordnet ist, das ausgeführt wird, und wobei das Steuerungsmittel, wenn die Konsequenz, die aus der Ausführung des vorhergesagten Fahrzeugmanövers resultiert, als Niedriges-Risiko-Kategorie kategorisiert wird, das Fahrzeug veranlasst, eine Fahrzeugkomponente autonom zu aktivieren, um das Auftreten des Verstoßes gegen die nicht sicherheitskritische Verkehrsregel zu korrigieren.
Ein Beispiel (z. B. Beispiel 45) betrifft ein nichtflüchtiges computerlesbares Medium eines Fahrzeugs. Das nichtflüchtige, computerlesbare Medium weist darauf gespeicherte Anweisungen auf, die bei Ausführung durch das Verarbeitungsmittel des Fahrzeugs das Fahrzeug veranlassen zum: Vorhersagen eines Fahrzeugmanövers basierend auf einer Analyse von Fahrerzustandsdaten, die einem Fahrer des Fahrzeugs zugeordnet sind, und von Fahrzeugzustandsdaten; Kategorisieren einer Konsequenz, die aus einer Ausführung des vorhergesagten Fahrzeugmanövers resultiert, in eine aus einer Mehrzahl von risikobasierten Kategorien, wobei jede der Mehrzahl von risikobasierten Kategorien auf einem Schweregrad der Gefahr basiert, die aus der Ausführung des vorhergesagten Fahrzeugmanövers in einer Fahrumgebung des Fahrzeugs resultiert; und Veranlassen des Fahrzeugs, eine Korrekturaktion auszuführen, die derjenigen der Mehrzahl von risikobasierten Kategorien entspricht, in die die aus der Ausführung des vorhergesagten Fahrzeugmanövers resultierende Konsequenz kategorisiert wird.
Ein anderes Beispiel (z. B. Beispiel 46) betrifft ein vorangehend beschriebenes Beispiel (z. B. Beispiel 45), die Mehrzahl von risikobasierten Kategorien umfassend eine Hohes-Risiko-Kategorie, die einem Resultieren aus dem vorhergesagten Fahrzeugmanöver zugeordnet ist, das bei Ausführung mit einem aus einem Satz von vorbestimmten gefährlichen Fahrzeugmanövern übereinstimmt, eine Mittleres-Risiko-Kategorie, die einem Auftreten von atypischem Fahrerverhalten zugeordnet ist, wenn das vorhergesagte Fahrzeugmanöver ausgeführt werden wird, und eine Niedriges-Risiko-Kategorie, die einem Auftreten eines Verstoßes gegen eine nicht sicherheitskritische Verkehrsregel zugeordnet ist, wenn das vorhergesagte Fahrzeugmanöver ausgeführt werden wird.
Ein anderes Beispiel (z. B. Beispiel 47) betrifft ein vorangehend beschriebenes Beispiel (z. B. eines oder mehrere der Beispiele 45-46), wobei die Mehrzahl von risikobasierten Kategorien eine Hohes-Risiko-Kategorie umfasst, die einem Resultieren aus dem vorhergesagten Fahrzeugmanöver zugeordnet ist, das bei Ausführung mit einem aus einem Satz von vorbestimmten gefährlichen Fahrzeugmanövern übereinstimmt, und wobei die Anweisungen, wenn sie von dem Verarbeitungsmittel des Fahrzeugs ausgeführt werden, das Fahrzeug veranlassen, wenn die aus der Ausführung des vorhergesagten Fahrzeugmanövers resultierende Konsequenz als Hohes-Risiko-Kategorie kategorisiert wird, die einer eingreifenden Fahrzeugsteuerungs-basierten Operation entsprechende Korrekturaktion auszuführen, um die Ausführung des vorhergesagten Fahrzeugmanövers zu verhindern.
Ein anderes Beispiel (z. B. Beispiel 48) betrifft ein vorangehend beschriebenes Beispiel (z. B. eines oder mehrere der Beispiele 45-47), wobei: die Mehrzahl von risikobasierten Kategorien eine Mittleres-Risiko-Kategorie umfasst, die einem Auftreten von atypischem Fahrerverhalten zugeordnet ist, wenn das vorhergesagte Fahrzeugmanöver ausgeführt werden wird, die Mehrzahl von risikobasierten Kategorien eine Niedriges-Risiko-Kategorie umfasst, die einem Auftreten eines Verstoßes gegen eine nicht sicherheitskritische Verkehrsregel zugeordnet ist, wenn das vorhergesagte Fahrmanöver ausgeführt werden wird, und die Anweisungen, wenn sie von dem Verarbeitungsmittel des Fahrzeugs ausgeführt werden, das Fahrzeug veranlassen: wenn die aus der Ausführung des vorhergesagten Fahrzeugmanövers resultierende Konsequenz als Mittleres-Risiko-Kategorie kategorisiert wird, die der Erzeugung einer Benachrichtigung an den Fahrer über das atypische Fahrerverhalten entsprechende Korrekturaktion auszuführen; und wenn die aus der Ausführung des vorhergesagten Fahrzeugmanövers resultierende Konsequenz als Niedriges-Risiko-Kategorie kategorisiert wird, das Fahrzeug zu veranlassen, eine Fahrzeugkomponente autonom zu aktivieren, um das Auftreten des Verstoßes gegen die nicht sicherheitskritische Verkehrsregel zu korrigieren.
Eine Vorrichtung wie gezeigt und beschrieben.
Ein Verfahren wie gezeigt und beschrieben.
Zusammenfassung
Die vorangehend erwähnte Beschreibung wird das allgemeine Wesen der Implementierung der Offenbarung so vollständig offenbaren, dass andere durch ein Anwenden von Wissen innerhalb des Standes der Technik solche spezifischen Implementierungen ohne übermäßige Experimente und ohne von dem allgemeinen Konzept der vorliegenden Offenbarung abzuweichen, ohne Weiteres modifizieren und/oder für verschiedene Anwendungen anpassen können. Daher sollen solche Anpassungen und Modifikationen innerhalb der Bedeutung und des Bereichs von Entsprechungen der offenbarten Implementierungen sein, basierend auf den hierin dargelegten Lehren und Anleitungen. Es versteht sich, dass die Phraseologie oder Terminologie hierin dem Zweck der Beschreibung und nicht der Beschränkung dient, derart, dass die Terminologie oder Phraseologie der vorliegenden Beschreibung im Licht der Lehren und Anleitungen durch einen Fachmann interpretiert werden soll.
Jede beschriebene Implementierung kann ein bestimmtes Merkmal, eine bestimmte Struktur oder eine bestimmte Charakteristik umfassen, aber nicht jede Implementierung umfasst notwendigerweise das bestimmte Merkmal, die bestimmte Struktur oder die bestimmte Charakteristik. Ferner beziehen sich solche Phrasen nicht notwendigerweise auf dieselbe Implementierung. Ferner, wenn ein bestimmtes Merkmal, eine bestimmte Struktur oder eine bestimmte Charakteristik in Verbindung mit einer Implementierung beschrieben ist, wird mitgeteilt, dass es innerhalb der Kenntnisse eines Fachmannes liegt, ein solches Merkmal, eine solche Struktur oder Charakteristik in Verbindung mit anderen Implementierungen auszuführen, ob dies ausdrücklich beschrieben ist oder nicht.
Die hierin beschriebenen beispielhaften Implementierungen sind zur Veranschaulichung bereitgestellt und sind nicht einschränkend. Andere Implementierungen sind möglich, und es können Modifikationen an den beispielhaften Implementierungen vorgenommen werden. Daher ist die Beschreibung nicht dazu gedacht, die Offenbarung einzuschränken. Vielmehr wird der Schutzbereich der Offenbarung nur gemäß den folgenden Ansprüchen und ihren Entsprechungen definiert.
Der Entwurf der Offenbarung kann in Hardware (z. B. Schaltungen), Firmware, Software oder irgendeiner Kombination davon implementiert sein. Entwürfe können auch als Anweisungen implementiert sein, die auf einem maschinenlesbaren Medium gespeichert sind, das durch einen oder mehrere Prozessoren gelesen und ausgeführt werden kann. Ein maschinenlesbares Medium kann irgendeinen Mechanismus zum Speichern oder Übertragen von Informationen in einer durch eine Maschine (z. B. eine Rechenvorrichtung) lesbaren Form umfassen. Ein maschinenlesbares Medium kann Nur-Lese-Speicher (ROM; read only memory); Direktzugriffsspeicher (RAM; random access memory), Magnetplattenspeicherungsmedien; optische Speicherungsmedien; Flash-SpeicherVorrichtungen; elektrische, optische, akustische oder andere Formen von ausgebreiteten Signalen (z. B. Trägerwellen, Infrarotsignale, digitale Signale etc.) und anderes umfassen. Ferner können Firmware, Software, Routinen und Anweisungen hierin als bestimmte Aktionen ausführend beschrieben werden. Es wird jedoch darauf hingewiesen, dass solche Beschreibungen lediglich der Übersichtlichkeit dienen und dass solche Aktionen tatsächlich von Rechenvorrichtungen, Prozessoren, Steuerungen oder anderen Vorrichtungen ausgehen, die die Firmware, Software, Routinen, Anweisungen etc. ausführen. Ferner können irgendwelche der Implementierungsvarianten durch einen Allzweckcomputer ausgeführt werden.
Es wird darauf hingewiesen, dass in den Zeichnungen gleiche Bezugszeichen verwendet werden, um die gleichen oder ähnliche Elemente, Merkmale und Strukturen darzustellen, sofern nicht anders angegeben.
Die Begriffe „zumindest ein,e,s“ und „ein,e,s oder mehrere“ können so verstanden werden, dass sie eine numerische Menge größer als oder gleich eins umfassen (z. B. eins, zwei, drei, vier, [...] usw.). Der Begriff „eine Mehrzahl“ kann so verstanden werden, dass er eine numerische Menge größer als oder gleich zwei umfasst (z. B. zwei, drei, vier, fünf, [...] usw.).
Die Worte „Mehrzahl“ und „mehrere“ in der Beschreibung und in den Ansprüchen beziehen sich ausdrücklich auf eine Menge größer als eins. Dementsprechend beziehen sich irgendwelche Phrasen, die sich ausdrücklich auf die oben genannten Wörter beziehen (z. B. „Mehrzahl [Elemente]“, „mehrere [Elemente]“), die sich auf eine Menge von Elementen beziehen, ausdrücklich auf mehr als eines der genannten Elemente. Die Begriffe „Gruppe (von)“, „Menge (von)“, „Sammlung (von)“, „Serie (von)“, „Sequenz (von)“, „Gruppierung (von)“, etc. und Ähnliche in der Beschreibung und in den Ansprüchen, falls vorhanden, beziehen sich auf eine Menge, die gleich oder größer als eins ist, d. h. eine oder mehrere. Die Begriffe „richtige Teilmenge“, „reduzierte Teilmenge“ und „geringere Teilmenge“ beziehen sich auf eine Teilmenge einer Menge, die nicht gleich zu der Menge ist, d. h. eine Teilmenge einer Menge, die weniger Elemente als die Menge umfasst.
Die Phrase „zumindest ein,e,s von“ in Bezug auf eine Gruppe von Elementen kann hierin verwendet werden, um zumindest ein Element aus der Gruppe bestehend aus den Elementen zu bedeuten. Die Phrase „zumindest ein,e,s von“ in Bezug auf eine Gruppe von Elementen kann hierin verwendet werden, um eine Auswahl zu bedeuten von: einem der aufgelisteten Elemente, einer Mehrzahl von einem der aufgelisteten Elemente, einer Mehrzahl von einzelnen aufgelisteten Elementen oder einer Mehrzahl von einem Mehrfachen von einzelnen aufgelisteten Elementen.
Der Begriff „Daten“ kann nach hiesigem Gebrauch so verstanden werden, dass er Informationen in irgendeiner geeigneten analogen oder digitalen Form umfasst, z. B. bereitgestellt als eine Datei, ein Abschnitt einer Datei, ein Satz von Dateien, ein Signal oder Strom, ein Abschnitt eines Signals oder Stroms, ein Satz von Signalen oder Strömen und Ähnliches. Ferner kann der Begriff „Daten“ auch so verwendet werden, dass er eine Bezugnahme auf Informationen, z. B. in Form eines Zeigers, bedeutet. Der Begriff „Daten“ ist jedoch nicht auf die vorgenannten Datentypen beschränkt und kann verschiedene Formen annehmen und irgendwelche Informationen darstellen, wie sie im Stand der Technik verstanden werden.
Die Begriffe „Prozessor“ oder „Steuerung“ können nach hiesigem Gebrauch als irgendeine Art von technischer Entität verstanden werden, die die Handhabung von Daten ermöglicht. Die Daten können gemäß einer oder mehreren spezifischen Funktionen gehandhabt werden, die vom Prozessor oder der Steuerung ausgeführt werden. Ferner kann unter einem Prozessor oder einer Steuerung nach hiesigem Gebrauch irgendeine Art von Schaltung verstanden werden, z. B. irgendeine Art von analoger oder digitaler Schaltung. Ein Prozessor oder eine Steuerung kann somit eine analoge Schaltung, eine digitale Schaltung, eine Mischsignalschaltung, eine Logikschaltung, ein Prozessor, ein Mikroprozessor, eine zentrale Verarbeitungseinheit (CPU; Central Processing Unit), eine Grafikverarbeitungseinheit (GPU; Graphics Processing Unit), ein digitaler Signalprozessor (DSP; Digital Signal Processor), ein feldprogrammierbares Gate-Array (FPGA; Field Programmable Gate Array), eine integrierte Schaltung, eine anwendungsspezifische integrierte Schaltung (ASIC; Application Specific Integrated Circuit) etc. oder irgendeine Kombination derselben sein oder umfassen. Irgendeine andere Art von Implementierung der jeweiligen Funktionen, die nachfolgend detaillierter beschrieben wird, kann auch als ein Prozessor, eine Steuerung oder eine Logikschaltung verstanden werden. Es versteht sich, dass irgendwelche zwei (oder mehr) der hierin detailliert beschriebenen Prozessoren, Steuerungen oder Logikschaltungen als eine einzelne Entität mit äquivalenter Funktionalität oder Ähnliches realisiert werden können, und umgekehrt, dass irgendein(e) einzelne(r) hierin detailliert beschriebene(r) Prozessor, Steuerung oder Logikschaltung als zwei (oder mehr) separate Entitäten mit äquivalenter Funktionalität oder Ähnliches realisiert werden kann.
Nach hiesigem Gebrauch wird „Speicher“ als computerlesbares Medium verstanden, in dem Daten oder Informationen zum Abruf gespeichert werden können. Hierin umfasste Bezugnahmen auf „Speicher“ können somit als Bezug nehmend auf flüchtigen oder nichtflüchtigen Speicher verstanden werden, umfassend unter anderem Direktzugriffsspeicher (RAM), Nur-Lese-Speicher (ROM), Flash-Speicher, Solid-State-Speicher, ein Magnetband, ein Festplattenlaufwerk, ein optisches Laufwerk oder irgendeine Kombination davon. Register, Schieberegister, Prozessorregister, Datenpuffer u. a. werden hierin ebenfalls unter dem Begriff Speicher zusammengefasst. Der Begriff „Software“ bezieht sich auf irgendeine Art von ausführbarer Anweisung, umfassend Firmware.
Bei einer oder mehreren der hierin beschriebenen Implementierungen kann eine Verarbeitungsschaltungsanordnung Speicher umfassen, der Daten und/oder Anweisungen speichert. Der Speicher kann irgendein bekannter flüchtiger und/oder nichtflüchtiger Speicher sein, umfassend Nur-Lese-Speicher (ROM; read-only memory), Direktzugriffsspeicher (RAM; random access memory), Flash-Speicher, ein Magnetspeicherungsmedium, eine optische Platte, löschbaren programmierbaren Nur-Lese-Speicher (EPROM; erasable programmable read only memory) und programmierbaren Nur-Lese-Speicher (PROM; programmable read only memory). Der Speicher ist möglicherweise nicht entfernbar, entfernbar oder eine Kombination aus beidem.
Sofern nicht ausdrücklich angegeben, umfasst der Begriff „übertragen“ sowohl direkte (Punkt-zu-Punkt) als auch indirekte Übertragung (über einen oder mehrere Zwischenpunkte). Ähnlich umfasst der Begriff „empfangen“ sowohl direkten als auch indirekten Empfang. Ferner umfassen die Begriffe „übertragen“, „empfangen“, „kommunizieren“ und andere ähnliche Begriffe sowohl physische Übertragung (z. B. die Übertragung von Funksignalen) als auch logische Übertragung (z. B. die Übertragung von digitalen Daten über eine logische Software-Ebenen-Verbindung). Ein Prozessor oder eine Steuerung kann Daten über eine Software-Ebenen-Verbindung mit einem anderen Prozessor oder einer anderen Steuerung in Form von Funksignalen übertragen oder empfangen, wobei die physische Übertragung und der Empfang von Funkschicht-Komponenten, wie z. B. RF-Sendeempfängern und Antennen, gehandhabt werden und die logische Übertragung und der Empfang über die Software-Ebenen-Verbindung von den Prozessoren oder Steuerungen ausgeführt werden. Der Begriff „kommunizieren“ umfasst eines oder beides aus Übertragen und Empfangen, d. h. unidirektionale oder bidirektionale Kommunikation in einer oder beiden der ein- und ausgehenden Richtungen. Der Begriff „berechnen“ umfasst sowohl „direkte“ Berechnungen über einen mathematischen Ausdruck/Formel/Verhältnis als auch „indirekte“ Berechnungen über Lookup- oder Hash-Tabellen und andere Array-Indexierungs- oder Suchoperationen.
Ein „Fahrzeug“ kann als irgendeine Art von angetriebenem Objekt umfassend verstanden werden. Ein Fahrzeug kann ein angetriebenes Objekt mit einem Verbrennungsmotor, einem Reaktionsmotor, ein elektrisch angetriebenes Objekt, ein hybrid angetriebenes Objekt oder eine Kombination davon sein. Ein Fahrzeug kann ein Automobil, ein Bus, ein Minibus, ein Lieferwagen, ein Lastkraftwagen, ein Wohnmobil, ein Fahrzeuganhänger, ein Motorrad, ein Fahrrad, ein Dreirad, eine Zuglokomotive, ein Zugwaggon, ein beweglicher Roboter, ein Personal Transporter, ein Boot, ein Schiff, ein Tauchboot, ein U-Boot, eine Drohne, ein Flugzeug, eine Rakete oder Ähnliches sein oder umfassen.
Der Begriff „autonomes Fahrzeug“ kann ein Fahrzeug beschreiben, das alle oder im Wesentlichen alle Navigationsänderungen zumindest während eines (signifikanten) Teils (räumlich oder zeitlich, z. B. in bestimmten Gebieten oder bei günstigen Umgebungsbedingungen oder auf Autobahnen oder oberhalb oder unterhalb einer bestimmten Geschwindigkeit) einiger Fahrten implementiert. Manchmal wird ein „autonomes Fahrzeug“ von einem „teilweise autonomen Fahrzeug“ oder einem „halbautonomen Fahrzeug“ unterschieden, um anzuzeigen, dass das Fahrzeug in der Lage ist, einige (aber nicht alle) Navigationsänderungen zu implementieren, möglicherweise zu bestimmten Zeiten, unter bestimmten Bedingungen oder in bestimmten Gebieten. Eine Navigationsänderung kann eine Änderung eines oder mehrerer von der Lenkung, dem Bremsen oder der Beschleunigung/Verzögerung des Fahrzeugs beschreiben oder umfassen. Ein Fahrzeug kann auch dann als autonom bezeichnet werden, wenn das Fahrzeug nicht vollautomatisch ist (voll funktionsfähig mit Fahrer oder ohne Fahrereingabe). Autonome Fahrzeuge können diejenigen Fahrzeuge umfassen, die während bestimmter Zeitperioden unter Fahrersteuerung und während anderer Zeitperioden ohne Fahrersteuerung arbeiten können. Autonome Fahrzeuge können auch Fahrzeuge umfassen, die nur einige Implementierungen der Fahrzeugnavigation steuern, wie z. B. die Lenkung (z. B. zur Beibehaltung eines Fahrzeugkurses zwischen Fahrspurbegrenzungen) oder einige Lenkoperationen unter bestimmten Umständen (aber nicht unter allen Umständen), während sie andere Implementierungen der Fahrzeugnavigation dem Fahrer überlassen können (z. B. das Bremsen oder Bremsen unter bestimmten Umständen). Autonome Fahrzeuge können auch Fahrzeuge umfassen, die die Steuerung einer oder mehrerer Implementierungen der Fahrzeugnavigation unter bestimmten Umständen gemeinschaftlich verwenden (z. B. „hands-on“, wie beispielsweise ansprechend auf eine Fahrereingabe), und Fahrzeuge, die eine oder mehrere Implementierungen der Fahrzeugnavigation unter bestimmten Umständen steuern (z. B. „hands-off“, wie beispielsweise unabhängig von Fahrereingaben). Autonome Fahrzeuge können auch Fahrzeuge umfassen, die eine oder mehrere Implementierungen der Fahrzeugnavigation unter bestimmten Umständen steuern, z. B. unter bestimmten Umgebungsbedingungen (z. B. räumliche Bereiche, Fahrbahnbedingungen). Bei einigen Implementierungen können autonome Fahrzeuge einige oder alle Implementierungen des Bremsens, der Schnelligkeits- (speed) Steuerung, Geschwindigkeits- (velocity) Steuerung und/oder Lenkung des Fahrzeugs handhaben. Ein autonomes Fahrzeug kann diejenigen Fahrzeuge umfassen, die ohne Fahrer arbeiten können. Der Autonomiegrad eines Fahrzeugs kann durch den Society of Automotive Engineers- (SAE) Grad des Fahrzeugs (wie durch die SAE in SAE J3016 2018: Taxonomy and definitions for terms related to driving automation systems for on road motor vehicles definiert) oder durch andere relevante Berufsverbände beschrieben oder bestimmt werden. Der SAE-Grad kann einen Wert aufweisen, der von einem Mindestgrad, z. B. Grad 0 (darstellenderweise, im Wesentlichen keine Fahrautomatisierung), bis zu einem Höchstgrad, z. B. Grad 5 (darstellenderweise, vollständige Fahrautomatisierung), reicht.

Claims

Ein Fahrzeug, umfassend: eine Überwachungsschaltungsanordnung, die ausgebildet ist zum (i) Vorhersagen eines Fahrzeugmanövers basierend auf einer Analyse von Fahrerzustandsdaten und Fahrzeugzustandsdaten und (ii) Kategorisieren einer Konsequenz, die aus einer Ausführung des vorhergesagten Fahrzeugmanövers resultiert, in eine aus einer Mehrzahl von risikobasierten Kategorien, wobei jede der Mehrzahl von risikobasierten Kategorien auf einem Schweregrad der Gefahr basiert, die aus der Ausführung des vorhergesagten Fahrzeugmanövers in einer Fahrumgebung des Fahrzeugs resultiert; und eine Steuerung, die ausgebildet ist, um das Fahrzeug zu veranlassen, eine Korrekturaktion auszuführen, die derjenigen der Mehrzahl von risikobasierten Kategorien entspricht, in die die aus der Ausführung des vorhergesagten Fahrzeugmanövers resultierende Konsequenz kategorisiert wird.
Das Fahrzeug gemäß Anspruch 1, die Mehrzahl von risikobasierten Kategorien umfassend eine Hohes-Risiko-Kategorie, die dem vorhergesagten Fahrzeugmanöver zugeordnet ist, das bei Ausführung mit einem aus einem Satz von vorbestimmten Fahrzeugmanövern übereinstimmt, eine Mittleres-Risiko-Kategorie, die einem Auftreten von atypischem Fahrerverhalten zugeordnet ist, das dem vorhergesagten Fahrzeugmanöver zugeordnet ist, das ausgeführt wird, und eine Niedriges-Risiko-Kategorie, die einem Auftreten eines Verstoßes gegen eine nicht sicherheitskritische Verkehrsregel zugeordnet ist, die dem vorhergesagten Fahrzeugmanöver zugeordnet ist, das ausgeführt wird.
Das Fahrzeug gemäß Anspruch 1 oder Anspruch 2, wobei die Mehrzahl von risikobasierten Kategorien eine Hohes-Risiko-Kategorie umfasst, die dem vorhergesagten Fahrzeugmanöver zugeordnet ist, das bei Ausführung mit einem aus einem Satz von vorbestimmten Fahrzeugmanövern übereinstimmt, und wobei die Steuerung ausgebildet ist, um, wenn die aus der Ausführung des vorhergesagten Fahrzeugmanövers resultierende Konsequenz in die Hohes-Risiko-Kategorie kategorisiert wird, das Fahrzeug zu veranlassen, die einer eingreifenden Fahrzeugsteuerungsoperation entsprechende Korrekturaktion auszuführen, um die Ausführung des vorhergesagten Fahrzeugmanövers zu verhindern.
Das Fahrzeug gemäß Anspruch 3, wobei die Steuerung ausgebildet ist, um das Fahrzeug zu veranlassen, die eingreifende Fahrzeugsteuerungsoperation auszuführen, um eine gemeinschaftlich verwendete Steuerung des Fahrzeugs zwischen dem Fahrer und den autonomen Fahrzeugsteuerungen bereitzustellen.
Das Fahrzeug gemäß Anspruch 4, wobei die Steuerung ausgebildet ist, um das Fahrzeug zu veranlassen, die eingreifende Fahrzeugsteuerungsoperation auszuführen, um die gemeinschaftlich verwendete Steuerung des Fahrzeugs bereitzustellen, indem eine gewichtete Funktion erzeugt wird, die eine erste Gewichtung, die auf Benutzerfahrzeugsteuerungseingaben angewendet wird, und eine zweite Gewichtung, die auf Autonomes-Fahrzeug-Steuerungseingaben angewendet wird, umfasst.
Das Fahrzeug gemäß Anspruch 4 oder 5, wobei die Steuerung ausgebildet ist, um das Fahrzeug zu veranlassen, die eingreifende Fahrzeugsteuerungsoperation aufrechtzuerhalten, um die gemeinschaftlich verwendete Steuerung des Fahrzeugs bereitzustellen, bis eine Eingabe empfangen wird, die anzeigt, dass der Fahrer in der Lage ist, das Fahrzeug zu steuern.
Das Fahrzeug gemäß Anspruch 6, wobei die Steuerung ferner ausgebildet ist, um das Fahrzeug zu veranlassen, die eingreifende Fahrzeugsteuerungsoperation aufrechtzuerhalten, um die gemeinschaftlich verwendete Steuerung des Fahrzeugs bereitzustellen, bis die Fahrerzustandsdaten anzeigen, dass der Fahrer seine Aufmerksamkeit wiedererlangt hat.
Das Fahrzeug gemäß einem der Ansprüche 1-7, wobei die Mehrzahl von risikobasierten Kategorien eine Mittleres-Risiko-Kategorie umfasst, die atypischem Fahrerverhalten zugeordnet ist, wobei das atypische Fahrerverhalten dem vorhergesagten Fahrzeugmanöver zugeordnet ist, das ausgeführt wird, und wobei die Steuerung ausgebildet ist, um, wenn die aus der Ausführung des vorhergesagten Fahrzeugmanövers resultierende Konsequenz als Mittleres-Risiko-Kategorie kategorisiert wird, das Fahrzeug zu veranlassen, die Korrekturaktion auszuführen, die der Erzeugung einer Benachrichtigung an den Fahrer über das atypische Fahrerverhalten entspricht.
Das Fahrzeug gemäß Anspruch 8, wobei die Überwachungsschaltungsanordnung ausgebildet ist, um ein zusätzliches Fahrzeugmanöver basierend auf der Analyse der Fahrerzustandsdaten vorherzusagen, nachdem die Benachrichtigung erzeugt wird, und eine Konsequenz, die aus einer Ausführung des zusätzlichen vorhergesagten Fahrzeugmanövers resultiert, in eine aus der Mehrzahl von risikobasierten Kategorien zu kategorisieren.
Das Fahrzeug gemäß einem der Ansprüche 1-9, wobei die Mehrzahl von risikobasierten Kategorien eine Niedriges-Risiko-Kategorie umfasst, die einem Auftreten eines Verstoßes gegen eine nicht sicherheitskritische Verkehrsregel zugeordnet ist, die dem vorhergesagten Fahrzeugmanöver zugeordnet ist, das ausgeführt wird, und wobei die Steuerung ausgebildet ist, um, wenn die Konsequenz, die aus der Ausführung des vorhergesagten Fahrzeugmanövers resultiert, als Niedriges-Risiko-Kategorie kategorisiert wird, das Fahrzeug zu veranlassen, eine Fahrzeugkomponente autonom zu aktivieren, um das Auftreten des Verstoßes gegen die nicht sicherheitskritische Verkehrsregel zu korrigieren.
Eine Steuerung eines Fahrzeugs, umfassend: ein Schnittstellenmittel zum Bereitstellen von Fahrerzustandsdaten und Fahrzeugzustandsdaten; und Verarbeitungsmittel zum: Vorhersagen eines Fahrzeugmanövers basierend auf einer Analyse der Fahrerzustandsdaten und der Fahrzeugzustandsdaten; Kategorisieren einer Konsequenz, die aus einer Ausführung des vorhergesagten Fahrzeugmanövers resultiert, in eine aus einer Mehrzahl von risikobasierten Kategorien, wobei jede der Mehrzahl von risikobasierten Kategorien auf einem Schweregrad der Gefahr basiert, die aus der Ausführung des vorhergesagten Fahrzeugmanövers in einer Fahrumgebung des Fahrzeugs resultiert; und Veranlassen, dass das Fahrzeug eine Korrekturaktion ausführt, die derjenigen der Mehrzahl von risikobasierten Kategorien entspricht, in die die aus der Ausführung des vorhergesagten Fahrzeugmanövers resultierende Konsequenz kategorisiert wird.
Die Steuerung gemäß Anspruch 11, die Mehrzahl von risikobasierten Kategorien umfassend eine Hohes-Risiko-Kategorie, die dem vorhergesagten Fahrzeugmanöver zugeordnet ist, das bei Ausführung mit einem aus einem Satz von vorbestimmten Fahrzeugmanövern übereinstimmt, eine Mittleres-Risiko-Kategorie, die einem Auftreten von atypischem Fahrerverhalten zugeordnet ist, das dem vorhergesagten Fahrzeugmanöver zugeordnet ist, das ausgeführt wird, und eine Niedriges-Risiko-Kategorie, die einem Auftreten eines Verstoßes gegen eine nicht sicherheitskritische Verkehrsregel zugeordnet ist, die dem vorhergesagten Fahrzeugmanöver zugeordnet ist, das ausgeführt wird.
Die Steuerung gemäß Anspruch 11 oder Anspruch 12, wobei die Mehrzahl von risikobasierten Kategorien eine Hohes-Risiko-Kategorie umfasst, die dem vorhergesagten Fahrzeugmanöver zugeordnet ist, das bei Ausführung mit einem aus einem Satz von vorbestimmten Fahrzeugmanövern übereinstimmt, und wobei die Verarbeitungsmittel, wenn die aus der Ausführung des vorhergesagten Fahrzeugmanövers resultierende Konsequenz in die Hohes-Risiko-Kategorie kategorisiert wird, das Fahrzeug veranlassen, die einer eingreifenden Fahrzeugsteuerungsoperation entsprechende Korrekturaktion auszuführen, um die Ausführung des vorhergesagten Fahrzeugmanövers zu verhindern.
Die Steuerung gemäß Anspruch 13, wobei Verarbeitungsmittel das Fahrzeug veranlassen, die eingreifende Fahrzeugsteuerungsoperation auszuführen, um eine gemeinschaftlich verwendete Steuerung des Fahrzeugs zwischen dem Fahrer und den autonomen Fahrzeugsteuerungen bereitzustellen.
Die Steuerung gemäß Anspruch 14, wobei die Verarbeitungsmittel das Fahrzeug veranlassen, die eingreifende Fahrzeugsteuerungsoperation auszuführen, um die gemeinschaftlich verwendete Steuerung des Fahrzeugs bereitzustellen, indem eine gewichtete Funktion erzeugt wird, die eine erste Gewichtung, die auf Benutzerfahrzeugsteuerungseingaben angewendet wird, und eine zweite Gewichtung, die auf Autonomes-Fahrzeug-Steuerungseingaben angewendet wird, umfasst.
Die Steuerung gemäß Anspruch 14 oder 15, wobei die Verarbeitungsmittel das Fahrzeug veranlassen, die eingreifende Fahrzeugsteuerungsoperation aufrechtzuerhalten, um die gemeinschaftlich verwendete Steuerung des Fahrzeugs bereitzustellen, bis eine Eingabe empfangen wird, die anzeigt, dass der Fahrer in der Lage ist, das Fahrzeug zu steuern.
Das Fahrzeug gemäß Anspruch 16, wobei die Verarbeitungsmittel das Fahrzeug veranlassen, die eingreifende Fahrzeugsteuerungsoperation aufrechtzuerhalten, um die gemeinschaftlich verwendete Steuerung des Fahrzeugs bereitzustellen, bis die Fahrerzustandsdaten anzeigen, dass der Fahrer seine Aufmerksamkeit wiedererlangt hat.
Die Steuerung gemäß einem der Ansprüche 11-17, wobei die Mehrzahl von risikobasierten Kategorien eine Mittleres-Risiko-Kategorie umfasst, die einem Auftreten von atypischem Fahrerverhalten zugeordnet ist, das dem vorhergesagten Fahrzeugmanöver zugeordnet ist, das ausgeführt wird, und wobei die Verarbeitungsmittel, wenn die aus der Ausführung des vorhergesagten Fahrzeugmanövers resultierende Konsequenz als Mittleres-Risiko-Kategorie kategorisiert wird, das Fahrzeug veranlassen, die Korrekturaktion auszuführen, die der Erzeugung einer Benachrichtigung an den Fahrer über das atypische Fahrerverhalten entspricht.
Die Steuerung gemäß einem der Ansprüche 11-18, wobei die Verarbeitungsmittel ein zusätzliches Fahrzeugmanöver basierend auf der Analyse der Fahrerzustandsdaten vorhersagen, nachdem die Benachrichtigung erzeugt wird, und eine Konsequenz, die aus einer Ausführung des zusätzlichen vorhergesagten Fahrzeugmanövers resultiert, in eine aus der Mehrzahl von risikobasierten Kategorien kategorisiert.
Die Steuerung gemäß einem der Ansprüche 11-19, wobei die Mehrzahl von risikobasierten Kategorien eine Niedriges-Risiko-Kategorie umfasst, die einem Auftreten eines Verstoßes gegen eine nicht sicherheitskritische Verkehrsregel zugeordnet ist, die dem vorhergesagten Fahrzeugmanöver zugeordnet ist, das ausgeführt wird, und wobei die Verarbeitungsmittel, wenn die aus der Ausführung des vorhergesagten Fahrzeugmanövers resultierende Konsequenz als Niedriges-Risiko-Kategorie kategorisiert wird, das Fahrzeug veranlassen, eine Fahrzeugkomponente autonom zu aktivieren, um das Auftreten des Verstoßes gegen die nicht sicherheitskritische Verkehrsregel zu korrigieren.
Ein nichtflüchtiges, computerlesbares Medium eines Fahrzeugs, auf dem Anweisungen gespeichert sind, die bei Ausführung durch einen oder mehrere Prozessoren des Fahrzeugs das Fahrzeug veranlassen zum: Vorhersagen eines Fahrzeugmanövers basierend auf einer Analyse von Fahrerzustandsdaten, die einem Fahrer des Fahrzeugs zugeordnet sind, und von Fahrzeugzustandsdaten; Kategorisieren einer Konsequenz, die aus einer Ausführung des vorhergesagten Fahrzeugmanövers resultiert, in eine aus einer Mehrzahl von risikobasierten Kategorien, wobei jede der Mehrzahl von risikobasierten Kategorien auf einem Schweregrad der Gefahr basiert, die aus der Ausführung des vorhergesagten Fahrzeugmanövers in einer Fahrumgebung des Fahrzeugs resultiert; und Veranlassen des Fahrzeugs, eine Korrekturaktion auszuführen, die derjenigen der Mehrzahl von risikobasierten Kategorien entspricht, in die die aus der Ausführung des vorhergesagten Fahrzeugmanövers resultierende Konsequenz kategorisiert wird.
Das computerlesbare Medium gemäß Anspruch 21, die Mehrzahl von risikobasierten Kategorien umfassend eine Hohes-Risiko-Kategorie, die einem Resultieren aus dem vorhergesagten Fahrzeugmanöver zugeordnet ist, das bei Ausführung mit einem aus einem Satz von vorbestimmten gefährlichen Fahrzeugmanövern übereinstimmt, eine Mittleres-Risiko-Kategorie, die einem Auftreten von atypischem Fahrerverhalten zugeordnet ist, wenn das vorhergesagte Fahrzeugmanöver ausgeführt werden wird, und eine Niedriges-Risiko-Kategorie, die einem Auftreten eines Verstoßes gegen eine nicht sicherheitskritische Verkehrsregel zugeordnet ist, wenn das vorhergesagte Fahrzeugmanöver ausgeführt werden wird.
Das computerlesbare Medium gemäß Anspruch 21 oder Anspruch 22, wobei die Mehrzahl von risikobasierten Kategorien eine Hohes-Risiko-Kategorie umfasst, die einem Resultieren aus dem vorhergesagten Fahrzeugmanöver zugeordnet ist, das bei Ausführung mit einem aus einem Satz von vorbestimmten gefährlichen Fahrzeugmanövern übereinstimmt, und wobei die Anweisungen, wenn sie von einem oder mehreren Prozessoren des Fahrzeugs ausgeführt werden, das Fahrzeug veranlassen, wenn die aus der Ausführung des vorhergesagten Fahrzeugmanövers resultierende Konsequenz als Hohes-Risiko-Kategorie kategorisiert wird, die einer eingreifenden Fahrzeugsteuerungs-basierten Operation entsprechende Korrekturaktion auszuführen, um die Ausführung des vorhergesagten Fahrzeugmanövers zu verhindern.
Das computerlesbare Medium gemäß einem der Ansprüche 21-23, wobei: die Mehrzahl von risikobasierten Kategorien eine Mittleres-Risiko-Kategorie umfasst, die einem Auftreten von atypischem Fahrerverhalten zugeordnet ist, wenn das vorhergesagte Fahrzeugmanöver ausgeführt werden wird, die Mehrzahl von risikobasierten Kategorien eine Niedriges-Risiko-Kategorie umfasst, die einem Auftreten eines Verstoßes gegen eine nicht sicherheitskritische Verkehrsregel zugeordnet ist, wenn das vorhergesagte Fahrmanöver ausgeführt werden wird, und die Anweisungen, wenn sie von einem oder mehreren Prozessoren des Fahrzeugs ausgeführt werden, das Fahrzeug veranlassen: wenn die aus der Ausführung des vorhergesagten Fahrzeugmanövers resultierende Konsequenz als die Mittleres-Risiko-Kategorie kategorisiert wird, die der Erzeugung einer Benachrichtigung an den Fahrer über das atypische Fahrerverhalten entsprechende Korrekturaktion auszuführen; und wenn die aus der Ausführung des vorhergesagten Fahrzeugmanövers resultierende Konsequenz als Niedriges-Risiko-Kategorie kategorisiert wird, das Fahrzeug zu veranlassen, eine Fahrzeugkomponente autonom zu aktivieren, um das Auftreten des Verstoßes gegen die nicht sicherheitskritische Verkehrsregel zu korrigieren.