DE102020101140A1

DE102020101140A1 - Verfahren und system zum bestimmen einer aktion eines autonomen fahrzeugs (av) basierend auf fahrzeug- und edge-sensordaten

Info

Publication number: DE102020101140A1
Application number: DE102020101140.7A
Authority: DE
Inventors: Jiang L. Du; Fan Bai; Wei Tong; Donald K. Grimm
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2019-02-13
Filing date: 2020-01-20
Publication date: 2020-08-13
Also published as: CN111559383B; US11334090B2; US20200257310A1; CN111559383A

Abstract

Ein autonomes Fahrzeug (AV)-Erkennungssystem und Verfahren zum Bestimmen einer autonomen Fahrzeug (AV)-Aktion für ein Trägerfahrzeug. Das Verfahren beinhaltet: Erhalten von Fahrzeugsensordaten von mindestens einem fahrzeugseitigen Fahrzeugsensor, wobei der fahrzeugseitige Fahrzeugsensor ein Teil der Fahrzeugelektronik des Trägerfahrzeugs ist; Erhalten von EDGE-Sensordaten von mindestens einem EDGE-Sensor, wobei der EDGE-Sensor ein Teil einer EDGE-Layer ist; Erzeugen einer vereinheitlichten Wahrnehmungsausgabe basierend auf den fahrzeugseitigen Fahrzeugsensensensordaten und den EDGE-Sensordaten; Bestimmen einer AV-Aktion für das Trägerfahrzeug basierend auf der vereinheitlichten Wahrnehmungsausgabe; und Bereitstellen der AV-Aktion für das Trägerfahrzeug, wobei das Trägerfahrzeug eingerichtet ist, um die AV-Aktion durchzuführen.

Description

TECHNISCHER BEREICH
Die vorliegende Offenbarung bezieht sich auf autonome Fahrzeugsysteme, einschließlich solcher, die EDGE- und/oder Cloud-Layer verwenden.
HINTERGRUND
Fahrzeuge beinhalten verschiedene elektronische Steuergeräte (ECUs), die verschiedene Aufgaben für das Fahrzeug übernehmen. Viele Fahrzeuge verfügen heute über verschiedene Sensoren, um Informationen über den Betrieb des Fahrzeugs und/oder die Umgebung in der Nähe oder Umgebung zu erfassen. Außerdem beinhalten einige Straßen inzwischen elektronische Computersysteme, die mit nahegelegenen Fahrzeugen kommunizieren können und die auch Sensoren am Straßenrand beinhalten oder mit diesen verbunden sein können.
Daher kann es wünschenswert sein, ein System und/oder Verfahren zum Bestimmen einer Aktion eines autonomen Fahrzeugs (AV) für ein Trägerfahrzeug bereitzustellen.
BESCHREIBUNG
Gemäß einem Aspekt ist ein Verfahren zum Bestimmen einer Aktion des autonomen Fahrzeugs (AV) für ein Trägerfahrzeug vorgesehen. Das Verfahren beinhaltet die Schritte: Erhalten von fahrzeugseitigen Sensordaten von mindestens einem fahrzeugseitigen Fahrzeugsensor, wobei der fahrzeugseitige Fahrzeugsensor ein Teil der Fahrzeugelektronik des Trägerfahrzeugs ist; Erhalten von EDGE- Sensordaten von mindestens einem EDGE-Sensor, wobei der EDGE-Sensor ein Teil eines EDGE-Layer ist; Erzeugen einer vereinheitlichten Wahrnehmungsausgabe basierend auf den fahrzeugseitigen Fahrzeugsensensordaten und den EDGE- Sensordaten; Bestimmen einer AV-Aktion für das Trägerfahrzeug basierend auf der vereinheitlichten Wahrnehmungsausgabe; und Bereitstellen der AV-Aktion an das Trägerfahrzeug, wobei das Trägerfahrzeug eingerichtet ist, um die AV-Aktion durchzuführen.
Gemäß verschiedenen Ausführungsformen kann das Verfahren ferner eines der folgenden Merkmale oder eine technisch durchführbare Kombination einiger oder aller dieser Merkmale beinhalten:

der Erzeugungsschritt ferner das Erzeugen der vereinheitlichten Wahrnehmungsausgabe mit einem EDGE-Knoten der EDGE-Layer beinhaltet;
der Erzeugungsschritt ferner das Erzeugen der vereinheitlichten Wahrnehmungsausgabe durch Transformieren mindestens einer der fahrzeugseitigen Sensordaten oder der EDGE- Sensordaten in ein homogenes Koordinatensystem beinhaltet;
eine EDGE-Sensordatenprojektion T^S aus den EDGE-Sensordaten als Teil des Transformationsschritts erzeugt wird, werden die EDGE-Sensordaten dargestellt als S = {s₁, s₂,..., s_ns} wird die EDGE-Sensordatenprojektion dargestellt als $T^{S} = {T_{1}^{S}, T_{2}^{S}, \dots, T_{ns}^{S}}$
und wobei die EDGE-Sensordatenprojektion die EDGE-Sensordaten innerhalb des homogenen Koordinatensystems beinhaltet oder darstellt;
eine fahrzeugseitige Sensor-Datenprojektion T^V
i unter Verwendung der fahrzeugseitigen Sensordaten als Teil des Transformationsschritts erzeugt wird, werden die fahrzeugseitigen Sensordaten dargestellt als V_i = {v_i1, v_i2, ..., v_in
i} wird die Datenprojektion des fahrzeugseitigen Sensors dargestellt als $T^{V_{i}} = {T_{1}^{V_{i}}, T_{2}^{V_{i}}, \dots, T_{n_{i}}^{V_{i}}}$
und wobei die fahrzeugseitige Sensordatenprojektion die fahrzeugseitigen Sensordaten innerhalb des homogenen Koordinatensystems beinhaltet oder darstellt;
die vereinheitlichte Wahrnehmungsausgabe beinhaltet eine Reihe von eindeutigen Punkten P = (P₁, P₂, ... P_m} und wobei der Satz von eindeutigen Punkten die EDGE-Sensordatenprojektion beinhaltet oder darstellt. T^S und die fahrzeugseitige Sensor-Datenprojektion T^V
i;
die Menge der eindeutigen Punkte P beinhaltet fahrzeugseitige Sensordaten von einem oder mehreren nahegelegenen Fahrzeugen, die nicht das Trägerfahrzeug sind;
das Verfahren durch den EDGE-Knoten ausgeführt wird, der EDGE-Knoten einen Prozessor, einen Speicher und eine drahtlose Kommunikationsvorrichtung beinhaltet, der EDGE-Knoten kommunikativ mit dem EDGE-Sensor gekoppelt ist und die drahtlose Kommunikationsvorrichtung mit einem oder mehreren benachbarten Fahrzeugen, einschließlich des Trägerfahrzeugs, kommuniziert;
der Erzeugungsschritt ferner das Sammeln von geografischen und/oder räumlichen Informationen über statische Objekte aus dem EDGE-Knotenspeicher und das Erzeugen der vereinheitlichten Wahrnehmungsausgabe umfasst, um die geografischen und/oder räumlichen Informationen zu beinhalten, wobei sich die statischen Objekte innerhalb einer Randzelle befinden, die dem EDGE-Knoten entspricht;
das Verfahren ferner den Schritt des Bestimmens, ob eine oder mehrere Rechenaufgaben, die sich auf das Bestimmen der AV-Aktion beziehen, einer Cloud-Layer zugeordnet werden sollen, und, wenn bestimmt wird, dass eine oder mehrere Rechenaufgaben, die sich auf das Bestimmen der AV-Aktion auf die Cloud-Layer beziehen, zugewiesen werden, Senden von Aufgabeninformationen an eine Cloud-Vorrichtung der Cloud-Layer;
das Trägerfahrzeug ferner eingerichtet ist, um zu bestimmen, ob die AV-Aktion mit einer fahrzeugbestimmten AV-Aktion in Konflikt steht, und, wenn ja, um eine Aktion mit minimalem Risiko durchzuführen,
die vereinheitlichte Wahrnehmungsausgabe Objektinformationen über ein oder mehrere Objekte innerhalb eines Sichtfeldes des mindestens einen fahrzeugseitigen Sensors oder des mindestens einen EDGE-Sensors beinhaltet und wobei die Objektinformationen der vereinheitlichten Wahrnehmungsausgabe basierend auf Objekterkennungstechniken erzeugt werden; und/oder
das Trägerfahrzeug eingerichtet ist, um zu bestimmen, ob eine AV-bezogene Aufgabe einem EDGE-Knoten der EDGE-Layer zugeordnet werden soll, und wobei der EDGE-Knoten die Verfahrensschritte ausführt und dem Fahrzeug die AV-Aktion als Reaktion auf das Erfüllen der AV-bezogenen Aufgabe bereitstellt.

Gemäß einem weiteren Aspekt ist ein Verfahren zum Bestimmen einer Aktion des autonomen Fahrzeugs (AV) für ein Trägerfahrzeug vorgesehen. Das Verfahren beinhaltet die Schritte: Erhalten von fahrzeugseitigen Sensordaten von mindestens einem fahrzeugseitigen Fahrzeugsensor, wobei der fahrzeugseitige Fahrzeugsensor ein Teil der Fahrzeugelektronik des Trägerfahrzeugs ist; Erhalten von fahrzeugseitigen Sensordaten von einem oder mehreren anderen Fahrzeugen; Bestimmen, ob eine Fahrzeugaufgabe einer EDGE-Layer zugeordnet werden soll; wenn bestimmt wird, die Fahrzeugaufgabe der EDGE-Layer zuzuordnen, Senden der fahrzeugseitigen Sensordaten vom Trägerfahrzeug zu einem EDGE-Knoten der EDGE-Layer, wobei der EDGE-Knoten eingerichtet ist: (i) Transformieren der fahrzeugseitigen Sensordaten des Trägerfahrzeugs und der fahrzeugseitigen Sensordaten des einen oder der mehreren anderen Fahrzeuge in ein homogenes Koordinatensystem; (ii) Bestimmen einer vereinheitlichten Wahrnehmungsausgabe basierend auf den transformierten fahrzeugseitigen Sensordaten; (iii) Ausführen der fahrzeugseitigen Aufgabe basierend auf der vereinheitlichten Wahrnehmungsausgabe, um eine fahrzeugseitige Aufgabenausgabe zu erhalten; und (iv) Senden der fahrzeugseitigen Aufgabenausgabe an das Trägerfahrzeug; Empfangen der fahrzeugseitigen Aufgabenausgabe am Trägerfahrzeug vom EDGE-Knoten; und Durchführen einer AV-Aktion basierend auf der fahrzeugseitigen Aufgabenausgabe am Trägerfahrzeug.
Gemäß verschiedenen Ausführungsformen kann das Verfahren ferner eines der folgenden Merkmale oder eine technisch durchführbare Kombination einiger oder aller dieser Merkmale beinhalten:

die Fahrzeugelektronik eine Kurzstrecken-Funkübertragungsschaltung (SRWC) beinhaltet, und wobei das Senden des Datenschritts des fahrzeugseitigen Sensors unter Verwendung der SRWC-Schaltung durchgeführt wird; der Bestimmungsschritt das Durchführen eines harten sicherheitsgarantierten Planungsprozesses beinhaltet, und wobei das Trägerfahrzeug ein autonomes Fahrzeug auf niedriger Ebene ist;
der hart sicherheitsgarantierte Planungsprozess das Bestimmen eines Quality of Service (QoS)-Leistungsniveaus beinhaltet, und wobei das QoS-Leistungsniveau eine Zuverlässigkeitsmetrik, eine Genauigkeitsmetrik und eine Latenzmetrik beinhaltet;
der EDGE-Knoten ferner eingerichtet ist, um zu bestimmen, ob die Fahrzeugaufgabe oder ein Teil der Fahrzeugaufgabe einer Cloud-Layer zugeordnet werden soll, und, wenn bestimmt wird, die Fahrzeugaufgabe oder ein Teil der Fahrzeugaufgabe der Cloud-Layer zuzuordnen, dann eine Anzeige an eine Cloud-Vorrichtung der Cloud-Layer gesendet wird, um die Fahrzeugaufgabe oder einen Teil der Fahrzeugaufgabe auszuführen; und/oder
die Fahrzeugaufgabenausgabe die AV-Aktion zusammen mit mindestens einem AV-Parameter anzeigt, und wobei das Fahrzeug die AV-Aktion gemäß dem mindestens einen AV-Parameter unter Verwendung einer AV-Steuereinheit der Fahrzeugelektronik ausführt.

Gemäß einem weiteren Aspekt ist ein autonomes Fahrzeug (AV) Wahrnehmungssystem vorgesehen, das Folgendes beinhaltet: eine EDGE-Layer und eine Fahrzeug-Layer. Die EDGE-Layer beinhaltet mindestens einen EDGE-Knoten und mindestens einen EDGE-Sensor, der EDGE-Sensor ist kommunikativ mit dem mindestens einen EDGE-Knoten gekoppelt, und der mindestens eine EDGE-Knoten beinhaltet einen Prozessor, einen Speicher der kommunikativ mit dem Prozessor gekoppelt ist und eine drahtlose Kommunikationsvorrichtung, die kommunikativ mit dem Prozessor gekoppelt ist. Die Fahrzeug-Layer beinhaltet ein Trägerfahrzeug, das Trägerfahrzeug beinhaltet mindestens einen fahrzeugseitigen Sensor, eine drahtlose Kommunikationsvorrichtung und eine AV-Steuereinheit. Die EDGE-Layer und die Fahrzeug-Layer sind eingerichtet, um: fahrzeugseitige Sensordaten von dem mindestens einen fahrzeugseitigen Sensor des Trägerfahrzeugs zu erhalten; EDGE-Sensordaten von dem mindestens einen EDGE-Sensor der EDGE-Layer zu erhalten; eine vereinheitlichte Wahrnehmungsausgabe basierend auf den fahrzeugseitigen Sensordaten und den EDGE-Sensordaten zu erzeugen; eine AV-Aktion für das Trägerfahrzeug basierend auf der vereinheitlichten Wahrnehmungsausgabe zu bestimmen; und die AV-Aktion dem Trägerfahrzeug bereitzustellen, wobei das Trägerfahrzeug eingerichtet ist, um die AV-Aktion unter Verwendung der AV-Steuereinheit durchzuführen.
Figurenliste
Eine oder mehrere Ausführungsformen der Offenbarung werden im Folgenden in Verbindung mit den beigefügten Figuren beschrieben, wobei gleiche Bezugszeichen gleiche Elemente bezeichnen und wobei:

1 ist ein Blockdiagramm, das eine Ausführungsform eines Kommunikationssystems darstellt, das in der Lage ist, das hierin offenbarte Verfahren zu nutzen;
2 ist ein Blockdiagramm, das eine detaillierte Ausführungsform bestimmter Komponenten des Kommunikationssystems von 1 darstellt;
3 ist ein Flussdiagramm, das eine Ausführungsform eines Verfahrens zum Bestimmen einer Aktion eines autonomen Fahrzeugs (AV) für ein Trägerfahrzeug darstellt;
4 ist ein Flussdiagramm, das eine Ausführungsform eines vom Trägerfahrzeug ausgeführten Prozesses darstellt, der Teil eines Verfahrens zum Bestimmen einer Aktion eines autonomen Fahrzeugs (AV) für ein Trägerfahrzeug ist;
5 ist ein Flussdiagramm, das eine Ausführungsform eines Prozesses darstellt, der von dem EDGE-Knoten oder der EDGE-Layer ausgeführt wird, die Teil eines Verfahrens zum Bestimmen einer Aktion eines autonomen Fahrzeugs (AV) für ein Trägerfahrzeug ist; und
6 ist ein Flussdiagramm, das eine Ausführungsform eines Prozesses darstellt, der von der Cloud-Layer ausgeführt wird, die Teil eines Verfahrens zum Bestimmen einer Aktion eines autonomen Fahrzeugs (AV) für ein Trägerfahrzeug ist.

DETAILLIERTE BESCHREIBUNG DER DARGESTELLTEN AUSFÜHRUNGSFORM(EN)
Das folgende System und Verfahren ermöglicht es autonomen Fahrzeugen, EDGE- und Cloud-Computing-Systeme zu nutzen, um die AV-Planung zu erleichtern und/oder zu verbessern. Das System beinhaltet im Allgemeinen drei Layer: eine Fahrzeug-Layer mit einem oder mehreren Fahrzeugen; eine EDGE-Layer mit einem oder mehreren EDGE-Knoten; und eine Cloud-Layer mit einem oder mehreren Cloud-Servern oder -Systemen. Das Fahrzeug kann ein teilautonomes oder autonomes Fahrzeug sein, das einen oder mehrere fahrzeugseitige Sensoren und ein AV-Steuereinheit beinhaltet. Das Fahrzeug kann mit dem/den EDGE-Knoten kommunizieren und insbesondere einen bestimmten EDGE-Knoten beim Betreten oder Annähern an eine EDGE-Zelle registrieren oder mit diesem kommunizieren. Eine EDGE-Zelle ist ein vorgegebener Bereich oder drahtloser Betriebsbereich, der einem EDGE-Knoten zugeordnet ist und der als vorgegebener oder diskreter Bereich behandelt wird, um die AV-Bewegung durch den vorgegebenen Bereich zu verfolgen und zu planen.
Gemäß einer Ausführungsform kann das Fahrzeug bestimmen, dass eine Fahrzeugaufgabe der Fahrzeug-Layer, der EDGE-Layer, der Cloud-Layer oder einer Kombination derselben zugeordnet wird, und, wenn das Fahrzeug dies beschließt, können fahrzeugseitige Sensordaten und/oder andere Fahrzeugbetriebsinformationen an diese jeweiligen Systeme gesendet werden. Der EDGE-Knoten kann eine Vielzahl von Sensordaten von verschiedenen Sensoren kombinieren oder fusionieren, wie beispielsweise fahrzeugseitige Sensoren von einem oder mehreren Fahrzeugen und EDGE-Sensordaten von einem EDGE- oder straßenseitigen Sensor, um eine vereinheitlichte Wahrnehmungsausgabe zu erzeugen. Mindestens in einer Ausführungsform beinhaltet die vereinheitlichte Wahrnehmungsausgabe eine Sammlung von Sensordaten, die auf ein homogenes Koordinatensystem abgebildet sind, wodurch jede der Sensordaten aus den verschiedenen Quellen analysiert und/oder in Bezug auf ein gemeinsames oder gemeinsames Koordinatensystem ausgewertet werden kann. Dies kann zur Verbesserung der AV-Planung genutzt werden, da Fahrzeug- und andere Objekttrajektorien mit verbesserter Genauigkeit vorhergesagt oder bestimmt werden können.
Außerdem können Informationen aus der Cloud-Layer verwendet werden, um die vereinheitlichte Wahrnehmungsausgabe zu ergänzen oder anzupassen. So können beispielsweise Verkehrs- und/oder Wetterinformationen von einem oder mehreren Cloud-Servern bezogen werden, die bei der Bestimmung des Ausgangs verschiedener Fahrzeugaufgaben helfen können, wie z.B. welche Fahrzeugaktion durchgeführt werden soll und welche Parameter dieser Aktionen. Darüber hinaus kann die Cloud-Layer genutzt werden, um bestimmte Aufgaben für die Verwendung durch die Fahrzeug-Layer oder die EDGE-Layer zu bearbeiten. In einer Ausführungsform können diejenigen Aufgaben, die rechenintensiv sind und/oder keine strengen Zeitvorgaben haben, der Cloud-Layer zugeordnet werden, um eine Aufgabenausgabe zu erhalten, die dann an den Anforderer (oder Aufgabenzuteiler) zurückgeschickt werden kann, der das Host-Fahrzeug oder den EDGE-Knoten sein kann.
1 veranschaulicht eine Betriebsumgebung, die ein Kommunikationssystem 10 umfasst und mit der das hierin offenbarte Verfahren implementiert werden kann. Das Kommunikationssystem 10 beinhaltet im Allgemeinen teilautonome oder autonome Fahrzeuge 12, 14 (die Teil einer Fahrzeug-Layer 16 sind), ein EDGE-Verarbeitungssystem (oder „EDGE-Knoten“) 80 (die Teil einer EDGE-Layer 18 sind), ein oder mehrere drahtlose Trägersysteme 70, ein Landkommunikationsnetzwerk 76 und entfernte Computer oder Server 78 (die Teil einer Cloud-Layer 20 sind). Wie hierin verwendet, bedeuten die Begriffe „autonome oder teilautonome Fahrzeuge“ oder „AV“ im Großen und Ganzen jedes Fahrzeug, das in der Lage ist, ohne Fahreranfrage automatisch eine fahrerbezogene Aktion oder Funktion auszuführen, und umfasst Aktionen, die in die Stufen 1-5 des Internationalen Klassifizierungssystems der Society of Automotive Engineers (SAE) fallen. Ein „Low-Level-Autonomes Fahrzeug“ ist ein Level 1-3-Fahrzeug, und ein „High-Level-Autonomes Fahrzeug“ ist ein Level 4 oder 5-Fahrzeug. Es ist zu verstehen, dass die offenbarte Methode mit einer beliebigen Anzahl verschiedener Systeme verwendet werden kann und sich nicht speziell auf die hier dargestellte Betriebsumgebung beschränkt. Die folgenden Abschnitte geben daher nur einen kurzen Überblick über ein solches Kommunikationssystem 10; andere, hier nicht gezeigte Systeme könnten jedoch auch das offenbarte Verfahren anwenden.
Die Fahrzeug-Layer 16 kann ein oder mehrere autonome oder teilautonome Fahrzeuge 12, 14 beinhalten (z.B. könnte die Fahrzeug-Layer eine Vielzahl oder eine Flotte solcher Fahrzeuge beinhalten), von denen jedes mit der erforderlichen Hard- und Software ausgestattet ist, um Daten mit anderen Komponenten des Systems 10 zu sammeln, zu verarbeiten und auszutauschen. Obwohl das Fahrzeug 12 im Folgenden ausführlich beschrieben wird, gilt diese Beschreibung auch für das Fahrzeug 14, das alle Komponenten, Module, Systeme usw. des Fahrzeugs 12 beinhalten kann, sofern nicht anders angegeben oder impliziert. Gemäß einem nicht einschränkenden Beispiel ist das Fahrzeug 12 ein autonomes oder teilautonomes Fahrzeug und beinhaltet die Fahrzeugelektronik 22, die eine autonome Fahrzeugsteuereinheit (AV) 24, eine drahtlose Kommunikationsvorrichtung 30, einen Kommunikationsbus 40, ein Karosserie-Steuermodul (BCM) 44, einen Empfänger für ein globales Navigationssatellitensystem (GNSS) 46 und Fahrzeugsensoren 62-68 sowie jede andere geeignete Kombination von Systemen, Modulen, Vorrichtungen, Komponenten, Hardware, Software usw. beinhaltet, die zur Durchführung einer autonomen oder teilautonomen Fahrfunktionalität erforderlich sind. Die verschiedenen Komponenten der Fahrzeugelektronik 22 können über das Fahrzeugkommunikationsnetz oder den Kommunikationsbus 40 (z.B. ein drahtgebundener Fahrzeugkommunikationsbus, ein drahtloses Fahrzeugkommunikationsnetz oder ein anderes geeignetes Kommunikationsnetz) verbunden sein.
Fachleute werden verstehen, dass das schematische Blockschaltbild der Fahrzeugelektronik 22 lediglich dazu gedacht ist, einige der mit der vorliegenden Methode verwendeten, relevanteren Hardwarekomponenten zu veranschaulichen, und dass es sich nicht um eine genaue oder vollständige Darstellung der Fahrzeughardware handelt, die typischerweise bei einem solchen Fahrzeug zu finden wäre. Darüber hinaus kann die Struktur oder Architektur der Fahrzeugelektronik 22 erheblich von der in 1 dargestellten abweichen. So wird aufgrund der unzähligen möglichen Anordnungen und aus Gründen der Kürze und Klarheit die Fahrzeugelektronik 22 in Verbindung mit der veranschaulichten Ausführungsform von 1 beschrieben, wobei zu beachten ist, dass das vorliegende System und Verfahren nicht auf diese beschränkt ist.
Das Fahrzeug 12 ist in der veranschaulichten Ausführungsform als Geländewagen (SUV) dargestellt, aber es ist zu beachten, dass auch jedes andere Fahrzeug einschließlich Pkw, Motorräder, Lastwagen, Freizeitfahrzeuge (RVs) usw. verwendet werden kann. Teile der Fahrzeugelektronik 22 sind im Allgemeinen in 1 dargestellt und beinhalten eine autonome Fahrzeugsteuereinheit (AV) 24, eine drahtlose Kommunikationsvorrichtung 30, einen Kommunikationsbus 40, ein Karosserie-Steuermodul (BCM) 44, einen Empfänger 46 für ein globales Navigationssatellitensystem (GNSS) und Fahrzeugsensoren 62-68. Einige oder alle der verschiedenen Fahrzeugelektroniken können zur Kommunikation miteinander über einen oder mehrere Kommunikationsbusse, wie beispielsweise den Kommunikationsbus 40, verbunden sein. Der Kommunikationsbus 40 stellt der Fahrzeugelektronik Netzwerkverbindungen über ein oder mehrere Netzwerkprotokolle zur Verfügung und kann eine serielle Datenkommunikationsarchitektur verwenden. Beispiele für geeignete Netzwerkverbindungen sind ein Controller Area Network (CAN), ein medienorientierter Systemtransfer (MOST), ein lokales Verbindungsnetz (LIN), ein Local Area Network (LAN) und andere geeignete Verbindungen wie Ethernet oder andere, die den bekannten ISO-, SAE- und IEEE-Standards und -Spezifikationen entsprechen, um nur einige zu nennen.
Obwohl 1 einige exemplarische elektronische Fahrzeugvorrichtungen darstellt, kann das Fahrzeug 12 auch andere elektronische Fahrzeugvorrichtungen in Form von elektronischen Hardwarekomponenten beinhalten, die sich im gesamten Fahrzeug befinden und die Eingaben von einem oder mehreren Sensoren empfangen und die erfassten Eingaben zur Durchführung von Diagnose, Überwachung, Steuerung, Berichterstattung und/oder anderen Funktionen verwenden können. Eine „elektronische Fahrzeugvorrichtung“ ist eine Vorrichtung, ein Modul, eine Komponente, eine Einheit oder ein anderer Teil der Fahrzeugelektronik 22. Jede der elektronischen Fahrzeugvorrichtungen (z.B. AV-Steuereinheit 24, die drahtlose Kommunikationsvorrichtung 30, BCM 44, GNSS-Empfänger 46, Sensoren 62-68) kann über den Kommunikationsbus 40 mit anderen elektronischen Fahrzeugvorrichtungen der Fahrzeugelektronik 22 verbunden und zum Ausführen von Tests des Fahrzeugsystems und der Subsysteme programmiert werden. Darüber hinaus kann jede der elektronischen Fahrzeugvorrichtungen eine geeignete Hardware beinhalten und/oder kommunikativ gekoppelt werden, die eine fahrzeuginterne Kommunikation über den Kommunikationsbus 40 ermöglicht; diese Hardware kann beispielsweise Busschnittstellenverbinder und/oder Modems beinhalten. Außerdem kann jede oder mehrere der elektronischen Fahrzeugvorrichtungen ein eigenständiges Modul sein oder in ein anderes Modul oder eine andere Vorrichtung integriert werden, und jede oder mehrere der Vorrichtungen kann ihren eigenen Prozessor und/oder Speicher beinhalten oder einen Prozessor und/oder Speicher mit anderen Vorrichtungen teilen. Wie von Fachleuten geschätzt, sind die oben genannten elektronischen Fahrzeuggeräte nur Beispiele für einige der Vorrichtungen oder Module, die im Fahrzeug 12 verwendet werden können, da auch zahlreiche andere möglich sind.
Die Steuereinheit 24 des autonomen Fahrzeugs (AV) ist eine Steuerung, die zur Verwaltung oder Steuerung des autonomen Fahrzeugbetriebs beiträgt und mit der AV-Logik (die in Computeranweisungen enthalten sein kann) zur Durchführung der AV-Operationen ausgeführt werden kann. Die AV-Steuereinheit 24 beinhaltet einen Prozessor 26 und einen Speicher 28, die alle diese Arten von Prozessoren oder Speichern beinhalten können, die im Folgenden erläutert werden. Die AV-Steuereinheit 24 kann ein separates und/oder dediziertes Modul sein, das AV-Operationen durchführt, oder es kann mit einer oder mehreren anderen elektronischen Fahrzeugvorrichtungen der Fahrzeugelektronik 22 integriert werden. Die AV-Steuereinheit 24 ist mit dem Kommunikationsbus 40 verbunden und kann Informationen von einem oder mehreren fahrzeugseitigen Sensoren oder anderen elektronischen Fahrzeuggeräten, wie dem BCM 44 oder dem GNSS-Empfänger 46, empfangen. In einer Ausführungsform ist das Fahrzeug ein vollständig autonomes Fahrzeug. Und in anderen Ausführungsformen kann das Fahrzeug ein teilautonomes Fahrzeug sein.
Die AV-Steuereinheit 24 kann ein einzelnes Modul oder eine Einheit oder eine Kombination von Modulen oder Einheiten sein. So kann beispielsweise die AV-Steuereinheit 24 die folgenden Submodule (ob Hardware, Software oder beides) beinhalten: ein Wahrnehmungs-Submodul, ein Lokalisierungs-Submodul und/oder ein Navigationssubmodul. Die besondere Anordnung, Konfiguration und/oder Architektur der AV-Steuereinheit 24 ist unwichtig, solange das Modul dazu beiträgt, dass das Fahrzeug autonome und/oder teilautonome Fahrfunktionen ausführen kann. Die AV-Steuereinheit 24 kann indirekt oder direkt an die Fahrzeugsensoren 62-68 sowie an jede Kombination der anderen elektronischen Fahrzeuggeräte 30, 44, 46 (z.B. über den Kommunikationsbus 40) angeschlossen werden.
Die drahtlose Kommunikationsvorrichtung 30 bietet dem Fahrzeug drahtlose Kommunikationsfähigkeiten mit kurzer und/oder großer Reichweite, so dass das Fahrzeug mit anderen Vorrichtungen oder Systemen, die nicht Teil der Fahrzeugelektronik 22 sind, wie beispielsweise den entfernten Computern und Servern 78, kommunizieren und Daten austauschen kann. In der veranschaulichten Ausführungsform beinhaltet die drahtlose Kommunikationsvorrichtung 30 eine SRWC-Schaltung (Short Range Wireless Communications) 32, einen zellularen Chipsatz 34, einen Prozessor 36 und einen Speicher 38. Die SRWC-Schaltung 32 ermöglicht die drahtlose Kommunikation mit einer beliebigen Anzahl von nahegelegenen Geräten (z.B. Bluetooth™, andere IEEE 802.15-Kommunikation, Wi-Fi™, Fahrzeug-zu-Fahrzeug (V2V)-Kommunikation, Fahrzeug-zu-Infrastruktur (V2I)-Kommunikation, andere IEEE 802.11-Kommunikation, etc.). Der zellulare Chipsatz 34 ermöglicht eine zellulare drahtlose Kommunikation, wie sie beispielsweise mit dem drahtlosen Trägersystem 70 verwendet wird. Die drahtlose Kommunikationsvorrichtung 30 beinhaltet auch die Antennen 33 und 35, die zum Senden und Empfangen dieser drahtlosen Kommunikation verwendet werden können. Die drahtlose Kommunikationsvorrichtung 30 beinhaltet auch einen Prozessor 36 und einen Speicher 38. Obwohl die SRWC-Schaltung 32 und der zellulare Chipsatz 34 als Teil einer einzelnen Vorrichtung dargestellt sind, können die SRWC-Schaltung 32 und der zelluläre Chipsatz 34 in anderen Ausführungsformen Teil verschiedener Module sein - zum Beispiel kann die SRWC-Schaltung 32 Teil einer Infotainment-Einheit sein und der zelluläre Chipsatz 34 kann Teil einer Telematikeinheit sein, die von der Infotainment-Einheit getrennt ist.
Das Karosseriesteuermodul (BCM) 44 kann verwendet werden, um verschiedene elektronische Fahrzeugvorrichtungen oder -komponenten des Fahrzeugs zu steuern und Informationen über die elektronischen Fahrzeugvorrichtungen, einschließlich ihres aktuellen Zustands oder Zustands, zu erhalten, die in Form von oder basierend auf fahrzeugseitigen Sensordaten vorliegen können. In einer Ausführungsform kann das BCM 44 fahrzeugseitige Sensordaten der Sensoren 62-68 sowie anderer Fahrzeugsensoren empfangen, die hierin nicht explizit erläutert werden. Das BCM 44 kann die fahrzeugseitigen Sensordaten an eine oder mehrere andere elektronische Fahrzeugvorrichtungen, wie beispielsweise die AV-Steuereinheit 24 und/oder die drahtlose Kommunikationsvorrichtung 30, senden. In einer Ausführungsform kann das BCM 44 einen Prozessor und einen Speicher beinhalten, auf den der Prozessor zugreifen kann.
Der Empfänger 46 des Global Navigation Satellite System (GNSS) empfängt Funksignale von einer Vielzahl von GNSS-Satelliten. Der GNSS-Empfänger 46 kann so eingerichtet werden, dass er bestimmte Vorschriften oder Gesetze einer bestimmten geopolitischen Region (z.B. eines Landes) erfüllt und/oder nach diesen funktioniert. Der GNSS-Empfänger 46 kann für den Einsatz mit verschiedenen GNSS-Implementierungen eingerichtet werden, darunter Global Positioning System (GPS) für die Vereinigten Staaten, BeiDou Navigation Satellite System (BDS) für China, Global Navigation Satellite System (GLONASS) für Russland, Galileo für die Europäische Union und verschiedene andere Satellitennavigationssysteme. Der GNSS-Empfänger 46 kann mindestens einen Prozessor und Speicher beinhalten, einschließlich eines nicht-flüchtigen, computerlesbaren Speichers, der Anweisungen (Software) speichert, auf die der Prozessor zugreifen kann, um die vom Empfänger 46 durchgeführte Verarbeitung durchzuführen. Der GNSS-Empfänger 46 kann verwendet werden, um dem Fahrzeugführer Navigations- und andere positionsbezogene Dienste zur Verfügung zu stellen. Die Navigationsdienste können unter Verwendung eines speziellen Navigationsmoduls im Fahrzeug (das Teil des GNSS-Empfängers 46 sein kann und/oder als Teil der drahtlosen Kommunikationsvorrichtung 30 oder eines anderen Teils der Fahrzeugelektronik 22 integriert ist) bereitgestellt werden, oder einige oder alle Navigationsdienste können über die im Fahrzeug installierte drahtlose Kommunikationsvorrichtung (oder eine andere telematikfähige Vorrichtung) erfolgen, wobei die Positionsinformationen an einen entfernten Ort gesendet werden, um das Fahrzeug mit Navigationskarten, Kartenbeschreibungen (Points of Interest, Restaurants usw.), Routenberechnungen und dergleichen zu versorgen.
Die Sensoren 62-68 sind fahrzeugseitige Sensoren, die Informationen erfassen oder erfassen können, die dann an eine oder mehrere andere elektronische Fahrzeugvorrichtungen gesendet werden können. Die von den Sensoren 62-68 erhaltenen fahrzeugseitigen Sensordaten können einer Zeitanzeige (z.B. Zeitstempel) sowie anderen Metadaten oder Informationen zugeordnet werden. Die Sensordaten des fahrzeugseitigen Sensors 62-68 können vom Sensor 62-68 in einem Rohformat erhalten und vom Sensor verarbeitet werden, beispielsweise zum Zwecke der Komprimierung, Filterung und/oder anderen Formatierung. Darüber hinaus können die fahrzeugseitigen Sensordaten (in roher oder formatierter Form) über den Kommunikationsbus 40 an eine oder mehrere andere elektronische Fahrzeugvorrichtungen gesendet werden, wie beispielsweise an die AV-Steuereinheit 24 und/oder an die drahtlose Kommunikationsvorrichtung 30. In mindestens einer Ausführungsform kann die drahtlose Kommunikationsvorrichtung 30 die fahrzeugseitigen Sensordaten für die drahtlose Übertragung verpacken und die fahrzeugseitigen Sensordaten an andere Systeme oder Vorrichtungen senden, wie beispielsweise die Straßeneinheit (RSU) 82 der EDGE-Layer 18 und/oder entfernte Computer oder Server 78 der Cloud-Layer 20.
Die Lidar-Einheit 62 ist eine elektronische Fahrzeugvorrichtung der Fahrzeugelektronik 22, die einen Lidarsender und einen Lidarempfänger beinhaltet. Die Lidar-Einheit 62 kann nicht sichtbare Lichtwellen zum Zwecke der Objekterkennung aussenden. Die Lidar-Einheit 62 dient dazu, räumliche oder andere physikalische Informationen über ein oder mehrere Objekte im Sichtfeld der Lidar-Einheit 62 zu erhalten, indem sie Lichtwellen aussendet und die reflektierten Lichtwellen empfängt. In vielen Ausführungsformen sendet die Lidareinheit 62 eine Vielzahl von Lichtimpulsen (z.B. Laserlichtimpulse) und empfängt die reflektierten Lichtimpulse über einen Lidarempfänger. Die Lidaranlage 62 kann an der Vorderseite des Fahrzeugs 12 montiert (oder installiert) werden. In einer solchen Ausführungsform kann die Lidareinheit 62 einem Bereich vor dem Fahrzeug 12 zugewandt sein, so dass das Sichtfeld der Lidareinheit 62 diesen Bereich beinhaltet. Die Lidar-Einheit 62 kann in der Mitte der vorderen Stoßstange des Fahrzeugs 12, zur Seite der vorderen Stoßstange, zu den Seiten des Fahrzeugs 12, zum Heck des Fahrzeugs 12 (z.B. einer hinteren Stoßstange) usw. positioniert werden. Und obwohl in der dargestellten Ausführungsform nur eine einzige Lidareinheit 62 dargestellt ist, kann das Fahrzeug 12 eine oder mehrere Lidareinheiten beinhalten. Darüber hinaus können die von der Lidar-Einheit 62 erfassten Lidar-Daten in einer Pixelanordnung (oder einer ähnlichen visuellen Darstellung) dargestellt werden. Die Lidar-Einheit 62 kann statische Lidarbilder und/oder Lidarbild- oder Videostreams erfassen.
Die Radareinheit 64 ist eine elektronische Fahrzeugvorrichtung der Fahrzeugelektronik 22, die Funkwellen verwendet, um räumliche oder andere physikalische Informationen über ein oder mehrere Objekte im Sichtfeld des Radars 64 zu erhalten. Das Radar 64 beinhaltet einen Sender, der elektromagnetische Funkwellen unter Verwendung einer Sendeantenne sendet und verschiedene elektronische Schaltungen beinhalten kann, die die Erzeugung und Modulation eines elektromagnetischen Trägersignals ermöglichen. In anderen Ausführungsformen kann das Radar 64 elektromagnetische Wellen in einem anderen Frequenzbereich, wie beispielsweise dem Mikrowellenbereich, übertragen. Das Radar 64 beinhaltet einen Signalprozessor, der zumindest teilweise (z.B. vollständig) mit dem oben beschriebenen Prozessor implementiert werden kann, oder der zumindest teilweise (z.B. vollständig) mit einer speziellen Schaltung implementiert werden kann. Das Radar 64 kann eine separate Empfangsantenne beinhalten, oder das Radar 64 kann eine einzige Antenne für den Empfang und die Übertragung von Funksignalen beinhalten. Und in anderen Ausführungsformen kann das Radar 64 eine Vielzahl von Sendeantennen, eine Vielzahl von Empfangsantennen oder eine Kombination derselben beinhalten, um Mehrfach-Eingangs-Multi-Ausgangs- (MIMO), Einfach-Eingangs-Multi-Ausgangs- (SIMO) oder Mehrfach-Eingangs-Multi-Ausgangs- (MISO) Techniken zu implementieren. Obwohl ein einzelnes Radar 64 dargestellt wird, kann das Fahrzeug 12 ein oder mehrere Radare beinhalten, die an den gleichen oder unterschiedlichen Positionen des Fahrzeugs 12 montiert werden können.
Die Fahrzeugkamera(s) 66 sind am Fahrzeug 12 montiert und können jedes geeignete System beinhalten, das in der Branche bekannt oder verwendet wird. Gemäß einem nicht einschränkenden Beispiel beinhaltet das Fahrzeug 12 eine Sammlung von CMOS-Kameras oder Bildsensoren 66, die sich um das Fahrzeug herum befinden, einschließlich einer Reihe von nach vorne gerichteten CMOS-Kameras, die digitale Bilder liefern, die anschließend zusammengefügt werden können, um eine 2D- oder 3D-Darstellung der Straße und der Umgebung vor und/oder an der Seite des Fahrzeugs zu erhalten. Die Fahrzeugkamera 66 kann einer oder mehreren Komponenten der Fahrzeugelektronik 22, einschließlich der drahtlosen Kommunikationsvorrichtung 30 und/oder der AV-Steuereinheit 24, Fahrzeugvideodaten bereitstellen. Abhängig von der jeweiligen Anwendung kann die Fahrzeugkamera 66 sein: eine Standkamera, eine Videokamera und/oder eine andere Art von Bilderzeugungsvorrichtung; eine BW- und/oder eine Farbkamera; eine Front-, Rückseiten- und/oder 360°-orientierte Kamera; ein Teil eines Mono- und/oder Stereosystems; eine Analog- und/oder Digitalkamera; eine Kurz-, Mittel- und/oder Weitbereichskamera; und eine Weit- und/oder Schmal-FOV-Kamera (Öffnungswinkel), um einige Möglichkeiten aufzuzeigen. In einem Beispiel gibt die Fahrzeugkamera 66 Fahrzeugrohdaten aus (d.h. ohne oder mit geringer Vorverarbeitung), während in anderen Beispielen die Fahrzeugkamera 66 Bildverarbeitungsressourcen beinhaltet und die erfassten Bilder vor der Ausgabe als Fahrzeugvideodaten vorverarbeitet.
Die Bewegungssensoren 68 können verwendet werden, um Bewegungs- oder Trägheitsinformationen über das Fahrzeug zu erhalten, wie beispielsweise Fahrzeuggeschwindigkeit, Beschleunigung, Gier (und Gierrate), Neigung, Drehung und verschiedene andere Attribute des Fahrzeugs bezüglich seiner Bewegung, die lokal durch den Einsatz von fahrzeugseitigen Sensoren gemessen werden. Die Bewegungssensoren 68 können am Fahrzeug an verschiedenen Stellen montiert werden, z. B. in einer inneren Fahrzeugkabine, an einer vorderen oder hinteren Stoßstange des Fahrzeugs und/oder an der Haube des Fahrzeugs 12. Die Bewegungssensoren 68 können direkt oder über den Kommunikationsbus 40 mit verschiedenen anderen elektronischen Fahrzeuggeräten gekoppelt werden. Bewegungssensordaten können erhalten und an die anderen elektronischen Fahrzeugvorrichtungen, einschließlich der AV-Steuereinheit 24, BCM 44 und/oder der drahtlosen Kommunikationsvorrichtung 30, gesendet werden.
In einer Ausführungsform können die Bewegungssensoren 68 Raddrehzahlsensoren beinhalten, die als fahrzeugseitiger Sensor in das Fahrzeug eingebaut werden können. Die Raddrehzahlsensoren sind jeweils mit einem Rad des Fahrzeugs 12 gekoppelt und können eine Drehzahl des jeweiligen Rades bestimmen. Die Drehzahlen verschiedener Raddrehzahlsensoren können dann genutzt werden, um eine lineare oder transversale Fahrzeuggeschwindigkeit zu erhalten. Darüber hinaus können in einigen Ausführungsformen die Raddrehzahlsensoren zur Bestimmung der Beschleunigung des Fahrzeugs verwendet werden. In einigen Ausführungsformen können Raddrehzahlsensoren als Fahrzeuggeschwindigkeitssensoren (VSS) bezeichnet werden und Teil eines Antiblockiersystems (ABS) des Fahrzeugs 12 und/oder eines elektronischen Stabilitätskontrollprogramms sein. Wie im Folgenden näher erläutert, kann das elektronische Stabilitätskontrollprogramm in einem Computerprogramm oder einer Anwendung verkörpert werden, das auf einem nichtflüchtigen, computerlesbaren Speicher gespeichert werden kann (z.B. demjenigen, der im Speicher der AV-Steuereinheit 24 oder im Speicher 38 der drahtlosen Kommunikationsvorrichtung 30 enthalten ist). Das elektronische Stabilitätskontrollprogramm kann mit einem Prozessor der AV-Steuereinheit 24 (oder dem Prozessor 36 der drahtlosen Kommunikationsvorrichtung 30) ausgeführt werden und kann verschiedene Sensormesswerte oder Daten von einer Vielzahl von Fahrzeugsensoren verwenden, einschließlich Sensordaten von Sensoren 62-68.
Zusätzlich oder alternativ können die Bewegungssensoren 68 einen oder mehrere Trägheitssensoren beinhalten, die als fahrzeugseitiger Sensor in das Fahrzeug eingebaut werden können. Der/die Trägheitssensor(en) können verwendet werden, um Sensorinformationen über die Beschleunigung und die Richtung der Beschleunigung des Fahrzeugs zu erhalten. Die Trägheitssensoren können mikroelektromechanische Systeme (MEMS) oder Beschleunigungssensoren sein, die Trägheitsinformationen erhalten. Die Trägheitssensoren können verwendet werden, um Kollisionen zu erkennen, die auf der Erkennung einer relativ hohen Verzögerung basieren. Wenn eine Kollision erkannt wird, können Informationen von den Trägheitssensoren, die zur Erkennung der Kollision verwendet werden, sowie andere Informationen, die von den Trägheitssensoren erhalten werden, an die drahtlose Kommunikationsvorrichtung 30 (oder einen anderen zentralen Fahrzeugcomputer des Fahrzeugs) gesendet werden. Zusätzlich kann der Trägheitssensor verwendet werden, um ein hohes Maß an Beschleunigung oder Bremsung zu erkennen. In einer Ausführungsform kann das Fahrzeug 12 eine Vielzahl von Trägheitssensoren beinhalten, die sich im gesamten Fahrzeug befinden. Und in einigen Ausführungsformen kann jeder der Trägheitssensoren ein mehrachsiger Beschleunigungssensor sein, der Beschleunigung oder Trägheitskraft entlang einer Vielzahl von Achsen messen kann. Die Vielzahl der Achsen kann jeweils orthogonal oder senkrecht zueinander sein, und zusätzlich kann eine der Achsen in der Richtung von der Vorderseite nach der Rückseite des Fahrzeugs 12 verlaufen. Andere Ausführungsformen können einachsige Beschleunigungssensoren oder eine Kombination aus ein- und mehrachsigen Beschleunigungssensoren verwenden. Andere Arten von Sensoren können verwendet werden, einschließlich anderer Beschleunigungssensoren, Gyroskopsensoren und/oder anderer Trägheitssensoren, die bekannt sind oder die in der Technik bekannt werden können.
Die Bewegungssensoren 68 können einen oder mehrere Gierratensensoren beinhalten, die als fahrzeugseitiger Sensor in das Fahrzeug eingebaut werden können. Der/die Gierratensensor(en) können Fahrzeugwinkelgeschwindigkeitsinformationen in Bezug auf eine vertikale Achse des Fahrzeugs erhalten. Die Gierratensensoren können gyroskopische Mechanismen beinhalten, die die Gierrate und/oder den Schlupfwinkel bestimmen können. Verschiedene Arten von Gierratensensoren können verwendet werden, darunter mikromechanische Gierratensensoren und piezoelektrische Gierratensensoren.
Die Bewegungssensoren 68 können auch einen Lenkradwinkelsensor beinhalten, der als fahrzeugseitiger Sensor in das Fahrzeug eingebaut werden kann. Der Lenkradwinkelsensor ist mit einem Lenkrad des Fahrzeugs 12 oder einer Komponente des Lenkrads gekoppelt, einschließlich aller derjenigen, die Teil der Lenksäule sind. Der Lenkradwinkelsensor kann den Winkel erfassen, in dem ein Lenkrad gedreht wird, der dem Winkel eines oder mehrerer Fahrzeugräder zu einer von hinten nach vorne verlaufenden Längsachse des Fahrzeugs 12 entsprechen kann. Sensordaten und/oder Messwerte des Lenkradwinkelsensors können in dem elektronischen Stabilitätskontrollprogramm verwendet werden, das auf einem Prozessor der AV-Steuereinheit 24 oder Prozessor 36 der drahtlosen Kommunikationsvorrichtung 30 ausgeführt werden kann.
Das drahtlose Trägersystem 70 kann jedes geeignete Mobilfunksystem sein. Das Trägersystem 70 ist als ein Mobilfunkmast 72 dargestellt; das Trägersystem 70 kann jedoch eine oder mehrere der folgenden Komponenten (z.B. abhängig von der Mobilfunktechnologie) beinhalten: Mobilfunkmasten, Basis-Sende-Empfangsstationen, mobile Vermittlungsstellen, Basisstationssteuerungen, entwickelte Knoten (z.B, eNodeBs), Mobilitätsmanagement-Einheiten (MMEs), Serving und PGN-Gateways usw. sowie alle anderen Netzwerkkomponenten, die erforderlich sind, um das drahtlose Trägersystem 70 mit dem Festnetz 76 zu verbinden oder das drahtlose Trägersystem mit Endgeräten (UEs, die z.B. Telematikgeräte in Fahrzeug 12 beinhalten können) zu verbinden. Das Trägersystem 70 kann jede geeignete Kommunikationstechnologie implementieren, einschließlich GSM/GPRS-Technologie, CDMA- oder CDMA2000-Technologie, LTE-Technologie usw. Im Allgemeinen sind drahtlose Trägersysteme 70, ihre Komponenten, die Anordnung ihrer Komponenten, die Interaktion zwischen den Komponenten usw. in der Technik allgemein bekannt.
Das Festnetz 76 kann ein herkömmliches landgestütztes Telekommunikationsnetz sein, das an ein oder mehrere Festnetztelefone angeschlossen ist und das drahtlose Trägersystem 70 mit dem entfernten Computer 78 verbindet. So kann beispielsweise das Festnetz 76 ein öffentliches Telefonnetz (PSTN) beinhalten, wie es für die Bereitstellung von Festnetztelefonie, paketvermittelter Datenkommunikation und der Internetinfrastruktur verwendet wird. Ein oder mehrere Segmente des Festnetzes 76 könnten durch die Verwendung eines kabelgebundenen Standardnetzes, eines Glasfasernetzwerks oder eines anderen optischen Netzes, eines Kabelnetzes, von Stromleitungen, anderer drahtloser Netze wie drahtloser lokaler Netze (WLANs), Netze, die einen drahtlosen Breitbandzugang (BWA) bereitstellen, oder einer beliebigen Kombination derselben realisiert werden. Über das Festnetz 76 und/oder das drahtlose Trägersystem 70 kann die Cloud-Layer 20 kommunikativ mit der EDGE-Layer 18 und/oder der Fahrzeug-Layer 16 gekoppelt werden.
Die EDGE-Layer 18 ist Teil des Systems 10 und kann jede geeignete Kombination von Hardware, Firmware, Software usw. beinhalten, die zur Kommunikation mit dem Fahrzeug und den Cloud-Layern 16, 20 und zur Durchführung des hier beschriebenen Verfahrens erforderlich ist. So kann beispielsweise die EDGE-Layer 18 verschiedene Kombinationen von Servern, Routern, Switches, Verarbeitungseinheiten (z.B. Zentraleinheiten (CPUs)), Schaltungen (z.B. anwendungsspezifische integrierte Schaltungen (ASICs)), Datenspeichervorrichtungen usw. beinhalten, die zur Durchführung verschiedener EDGE-Computing-Aufgaben und anderer, nach dem vorliegenden Verfahren erforderlicher Aufgaben erforderlich sind. Die EDGE-Layer wird auch als „Mobile EDGE Computing (MEC)-Layer“ oder „Nebellayer“ bezeichnet, und diese Begriffe können in der vorliegenden Anwendung austauschbar verwendet werden. Die EDGE-Layer 18 beinhaltet eine Vielzahl von EDGE-Knoten 80 (einer davon dargestellt), die jeweils eine oder mehrere Straßeneinheiten (RSUs) 82 und einen oder mehrere EDGE-Sensoren 84 beinhalten. Der EDGE-Knoten 80 kann mit Informationen über eine bestimmte EDGE-Zelle verknüpft oder dediziert werden, die eine vorbestimmte oder vordefinierte Position in der Nähe des EDGE-Knotens 80 ist. Auch wenn die vorliegende Offenbarung Ausführungsformen diskutiert, bei denen ein EDGE-Knoten 80 einer EDGE-Zelle zugeordnet ist, ist zu beachten, dass der/die EDGE-Knoten den EDGE-Zellen gemäß verschiedenen Arten von Beziehungen entsprechen können - zum Beispiel einer Eins-zu-Eins-Beziehung, einer Eins-zu-Eins-Beziehung, einer Eins-zu-Viele-Beziehung, einer Eins-zu-Viele-Beziehung oder einer Viele-zu-Viele-Beziehung. Der EDGE-Knoten 80 (z.B. RSUs 82) kann einen Prozessor 87 und einen Speicher 86 sowie eine drahtlose Kommunikationsvorrichtung 88 beinhalten, die einen drahtlosen Sender und einen drahtlosen Empfänger beinhalten kann. Die drahtlose Kommunikationsvorrichtung kann eine Schaltung zum Aktivieren von SRWCs beinhalten, wie beispielsweise IEEE 802.11, 802.15, etc. Der EDGE-Knoten 80 und RSU 82 wird als fest mit dem Festnetz 76 verbunden dargestellt, aber in anderen Ausführungsformen können der EDGE-Knoten 80 und RSU 82 einen Mobilfunkchipsatz ähnlich dem Chipsatz 34 der drahtlosen Kommunikationsvorrichtung 30 des Fahrzeugs 12 beinhalten.
Die RSU 82 kann entlang oder in der Nähe einer Fahrbahn bereitgestellt werden und kann verwendet werden, um Ampeln zu steuern, Verkehrsdaten zu erhalten oder andere EDGE- oder Nebellayerverarbeitungen für ein Fahrbahnsystem durchzuführen. Die RSU 82 (oder ein anderer Teil des EDGE-Knotens 80) kann auch kommunikativ mit einem oder mehreren EDGE-Sensoren 84 gekoppelt werden, d.h. mit Abtastvorrichtungen, die eingerichtet sind, um Sensorinformationen über eine oder mehrere Fahrbahnen und/oder eine oder mehrere Straßeneinheiten (z.B. Fahrzeuge, Fahrräder, Fußgänger) zu erhalten. So kann beispielsweise der EDGE-Sensor 84 eine Lidareinheit, eine Radareinheit und/oder eine Kamera sein, die den Sensoren 62-66 des Fahrzeugs 12 ähnlich sein kann. Obwohl nur ein einzelner EDGE-Sensor 84 dargestellt wird, würde der EDGE-Knoten 80 wahrscheinlich eine Vielzahl von Sensoren beinhalten, die Informationen über eine oder mehrere Fahrbahnen um das Fahrzeug herum erhalten, wie beispielsweise eine oder mehrere Lidaranlagen, eine oder mehrere Radaranlagen und/oder eine oder mehrere Kameras. Die RSU 82 kann mit einem oder mehreren nahegelegenen Fahrzeugen (z.B. Fahrzeugen 12, 14) über die Verwendung von Kurzstrecken-Funkkommunikation (SRWCs) kommunizieren, so dass die Fahrzeug-Layer 16 und die EDGE-Layer 18 Informationen zwischen diesen austauschen können. Die RSU 82 oder andere Geräte der EDGE-Layer 18 können auch mit der Cloud-Layer 20 verbunden werden, so dass Informationen von der EDGE-Layer 18 aus geteilt oder an die Cloud-Layer 20 gesendet werden können und umgekehrt.
Die Cloud-Layer 20 ist Teil des Systems 10 und kann jede geeignete Kombination von Hardware, Firmware, Software usw. beinhalten, die zur Kommunikation mit dem Fahrzeug und den EDGE-Layer16, 18 und zur Durchführung des hierin beschriebenen Verfahrens erforderlich ist. Die Cloud-Layer 20 kann verschiedene Kombinationen von Servern, Routern, Switches, Verarbeitungseinheiten (z.B. Zentraleinheiten (CPUs)), Schaltungen (z.B. anwendungsspezifische integrierte Schaltungen (ASICs)), Datenspeichervorrichtungen usw. beinhalten, die zur Durchführung verschiedener Aufgaben im Zusammenhang mit der Rekonstruktion von Fahrzeugszenen sowie anderer autonomer Fahrzeugaufgaben erforderlich sind.
Die Cloud-Layer 20 wird dargestellt als einschließlich ein oder mehrere Computer und/oder Server78. Die Computer 78 (nur einer der in 1 dargestellten) können für einen oder mehrere Zwecke verwendet werden, z.B. um autonome Backend-Dienste für ein oder mehrere Fahrzeuge bereitzustellen. Die Computer 78 können einige von einer Reihe von Computern sein, die über ein privates oder öffentliches Netzwerk wie das Internet zugänglich sind. Die Computer oder Server 78 können jeweils einen Prozessor und einen Speicher beinhalten und können verwendet werden, um den Fahrzeugen 12, 14 sowie der EDGE-Layer 18 verschiedene Informationen zur Verfügung zu stellen. Darüber hinaus können die EDGE-Layer 18 und/oder die Fahrzeug-Layer 16 Aufgaben zuweisen, die von der Cloud-Layer 20 auszuführen sind, die dann die Aufgaben ausführen und Ergebnisse an die EDGE-Layer 18 und/oder die Fahrzeug-Layer 16 senden kann, wie im Folgenden näher erläutert. Aufgrund der weitreichenden Kenntnisse in dem Fachgebiet der EDGE- und Cloud-Layer-Architekturen und weil das vorliegende Verfahren und System nicht auf eine bestimmte Architektur oder Anordnung beschränkt sein soll und mit einer Vielzahl solcher Architekturen verwendet werden kann, entfallen zusätzliche detaillierte Beschreibungen der EDGE- und Cloud-Layer 18, 20.
Unter Bezugnahme auf 2 ist ein detaillierter Abschnitt bestimmter Teile des Kommunikationssystems 10 dargestellt, der die Kommunikation und verschiedene Verarbeitungen der Fahrzeug-Layer 16, der EDGE-Layer 18 und der Cloud-Layer 20 veranschaulicht. Im Allgemeinen kann das Fahrzeug 12 auf der Fahrzeug-Layer 16 einen Ressourcenmanager 102, ein Verarbeitungssystem 104, ein Abtast- und Wahrnehmungssystem 106 und einen Empfangshandler 108 beinhalten. Der Ressourcenmanager 102 kann eine oder mehrere auszuführende Aufgaben bestimmen und dann die Ausführung der einen oder mehreren Aufgaben an das Fahrzeug 12 (z.B. Verarbeitungssystem 104), die EDGE-Layer 18 oder die Cloud-Layer 20 richten, wie die Pfeile in 2 veranschaulichen. Der Ressourcenmanager 102, das Verarbeitungssystem 104, das Abtast- und Wahrnehmungssystem 106 und der Empfangshandler 108 können in einer oder mehreren elektronischen Fahrzeugvorrichtungen der Fahrzeugelektronik 22, wie beispielsweise der AV-Steuereinheit 24, ausgeführt sein. Zusätzlich zum Bestimmen, welche Aufgabe(n) auf welcher Layer (z.B. der Fahrzeug-Layer 16, der EDGE-Layer 18, der Cloud-Layer 20) ausgeführt werden sollen, kann das Fahrzeug 12 (oder der Ressourcenmanager 102) bestimmen, welche Informationen bestimmten Vorrichtungen, Systemen oder Layer zur Verfügung gestellt werden sollen. Wenn beispielsweise eine Aufgabe für die EDGE-Layer 18 bestimmt ist, kann der Ressourcenmanager 102 relevante Sensorinformationen an die EDGE-Layer 18 senden.
Wenn bestimmt wird, dass eine Aufgabe am Fahrzeug 12 ausgeführt werden soll, kann das Fahrzeug die Aufgabe mit dem Verarbeitungssystem 104 ausführen. Das Verarbeitungssystem 104 kann Teil einer oder mehrerer elektronischer Fahrzeugvorrichtungen sein, wie beispielsweise AV-Steuereinheit 24, drahtlose Kommunikationsvorrichtung 30 oder ein anderes Onboard-Computersystem des Fahrzeugs 12. In einigen Ausführungsformen kann das Verarbeitungssystem 104 Informationen von einem oder mehreren fahrzeugseitigen Sensoren, wie beispielsweise den Sensoren 62-68, erhalten. Das Abtast- und Wahrnehmungssystem 106 kann zum Erhalten und ersten Verarbeiten der fahrzeugseitigen Sensordaten verwendet werden, die dann an das Verarbeitungssystem 104 und/oder andere Vorrichtungen, wie beispielsweise an der EDGE-Layer 18 und/oder der Cloud-Layer 20, gesendet werden können. In einer Ausführungsform teilen sich das Verarbeitungssystem 104 und das Abtast- und Wahrnehmungssystem 106 die gleichen elektronischen Fahrzeugvorrichtungen oder Komponenten der Fahrzeugelektronik 22. In anderen Ausführungsformen können diese Systeme getrennt und/oder durch verschiedene elektronische Fahrzeugvorrichtungen der Fahrzeugelektronik 22 ausgeführt werden.
Wenn bestimmt wird, dass eine Aufgabe durch die EDGE-Layer 18 ausgeführt werden soll, kann das Fahrzeug 12 Informationen an die EDGE-Layer 18 (oder einen bestimmten EDGE-Knoten 80) senden, die anzeigen, dass eine Aufgabe an der EDGE-Layer 18 ausgeführt werden soll. In einigen Ausführungsformen kann das Fahrzeug 12 eine Anforderung zur Ausführung einer Aufgabe senden. Das Fahrzeug 12 kann auch relevante Informationen an die EDGE-Layer 18 senden, wie beispielsweise rohe oder verarbeitete Fahrzeugsensordaten und/oder andere Fahrzeugzustandsinformationen, einschließlich Standort- und/oder Trajektorieninformationen (z.B. wie sie beispielsweise mit dem GNSS-Empfänger 46 bestimmt werden). Die EDGE-Layer 18 kann diese zugeordneten Task-Informationen (z.B. mit dem Indikator, der Anforderung einer Task zur Ausführung und/oder relevanten Task-Informationen) am Empfangshandler 122 empfangen. In einer Ausführungsform werden diese Verbindungen zwischen der EDGE-Layer 18 und der Fahrzeug-Layer 16 unter Verwendung von SRWCs durchgeführt, beispielsweise durch Verwendung der SRWC-Schaltung 32 der drahtlosen Kommunikationsvorrichtung 30 des Fahrzeugs 12. In einigen Ausführungsformen kann das Fahrzeug dem EDGE-Knoten 80 Sensorinformationen bereitstellen, auch wenn eine bestimmte Aufgabe dem EDGE-Knoten 80 nicht zugeordnet ist. Dies ermöglicht es dem EDGE-Knoten 80, die fahrzeugseitigen Sensordaten des Fahrzeugs zu nutzen, um die AV-Leistung anderer Fahrzeuge zu unterstützen. So kann beispielsweise das Fahrzeug 14 dem EDGE-Knoten 80 auch in Ausführungsformen, in denen das Fahrzeug 14 kein autonomes Fahrzeug sein darf, Sensorinformationen zur Verfügung stellen oder Aufgaben dem EDGE-Knoten 80 zuordnen.
Sobald die drahtlose Kommunikation vom Empfangshandler 122 empfangen wird, kann der EDGE-Knoten 80 bestimmen, ob die Aufgabe ausgeführt werden soll und/oder ob die Aufgabe (oder bestimmte Teilaufgaben davon) der Cloud-Layer 20 zugeordnet werden soll. Wie dargestellt, beinhaltet der EDGE-Knoten 80 den Empfangshandler 122, einen Ressourcenmanager 124, einen Scheduler 126, ein Verarbeitungssystem 128 und ein Abtast- und Wahrnehmungssystem 130. Jedes oder mehrere dieser Module oder Systeme können von einem oder mehreren elektronischen Datenverarbeitungsgeräten, wie beispielsweise den RSU(s) 82, ausgeführt werden. Darüber hinaus kann der EDGE-Knoten 80 in einigen Ausführungsformen mit anderen EDGE-Knoten kommunizieren, wie beispielsweise benachbarten EDGE-Knoten, bei denen die entsprechenden EDGE-Zellen geografisch an den EDGE-Knoten 80 angrenzen. Der Ressourcenmanager 124 ähnelt dem Ressourcenmanager 102 der Fahrzeug-Layer 16, indem er verwendet werden kann, um zu bestimmen, welche Layer (oder Vorrichtung) Aufgaben zugeordnet werden sollen. Der Scheduler 126 kann verwendet werden, um eingehende (oder auszuführende) Aufgaben zu organisieren und die Aufgaben auf bestimmte Teile der EDGE-Layer 18 zu verteilen, um die Aufgaben effektiv zu bearbeiten. So können beispielsweise eine erste Aufgabe und eine zweite Aufgabe an den Scheduler übergeben werden, und die zweite Aufgabe kann eine Anforderung beinhalten, dass sie innerhalb von 10 ms (oder einer anderen vorgegebenen Zeitspanne) ausgeführt werden muss, während die erste Aufgabe keine solche restriktive Zeitachse beinhaltet. Obwohl also der zweite Task am Scheduler (oder an der EDGE-Layer 18) später als der erste Task empfangen wurde, kann der zweite Task vor dem ersten Task an das Verarbeitungssystem 128 gesendet werden.
Das Verarbeitungssystem 128 kann zur Ausführung der Aufgabe(n) verwendet werden, was zu einer Aufgabenausgabe 132 führen kann. In einer Ausführungsform kann die Aufgabe basierend auf Informationen, die vom Fahrzeug 12 empfangen wurden, zusammen mit anderen Informationen, die an der EDGE-Layer 18 erhalten wurden, ausgeführt werden. So kann beispielsweise das Fahrzeug 12 Sensordaten an den EDGE-Knoten 80 senden, und der EDGE-Knoten 80 kann die vom EDGE-Sensor 84 erhaltenen Sensorinformationen verwenden, um eine vereinheitlichte Wahrnehmungsausgabe zu erzeugen, die den Zustand eines Bereichs um das Fahrzeug 12 oder benachbarte Fahrbahnen herum genauer und/oder vollständiger darstellt, wie im Folgenden näher erläutert wird. In einer weiteren Ausführungsform kann der EDGE-Knoten 80 Informationen von anderen Fahrzeugen, wie beispielsweise dem Fahrzeug 14, empfangen und dann die Aufgabe(n) unter Verwendung dieser anderen Fahrzeuginformationen verarbeiten, um ein Aufgabenergebnis oder eine Ausgabe zu verbessern oder zu ergänzen. Außerdem kann der EDGE-Knoten 80 in einer Ausführungsform eine vereinheitlichte Wahrnehmungsausgabe erzeugen und dann die vereinheitlichte Wahrnehmungsausgabe verwenden, um eine oder mehrere AV-bezogene Aufgaben auszuführen, um eine AV-Aufgabenausgabe zu erzeugen, die eine AV-Aktion oder einen Befehl sein kann, der an das Fahrzeug 12 gesendet wird.
Das Abtast- und Wahrnehmungssystem 130 kann verwendet werden, um die EDGE-Sensordaten (d.h. Sensordaten vom/von den EDGE-Sensor(en) 84) zu erhalten und zunächst zu verarbeiten, die dann an das Verarbeitungssystem 128 und/oder andere Vorrichtungen gesendet werden können. Das Abtast- und Wahrnehmungssystem 130 kann auch verwendet werden, um fahrzeugseitige Sensordaten und EDGE-Sensordaten zu kombinieren, um eine vereinheitlichte Wahrnehmungsausgabe bereitzustellen, die den Zustand eines Bereichs um das Fahrzeug herum oder benachbarte Fahrbahnen genauer und/oder vollständiger darstellt. Die vereinheitlichte Wahrnehmungsausgabe kann Sensordaten von zwei oder mehr Sensoren sein oder darstellen, wobei mindestens zwei der Sensoren heterogen sind. Zwei Sensoren gelten als heterogen, wenn die beiden Sensoren Sensordaten liefern, die in einem anderen Format vorliegen (z.B. unterschiedliche Arten der Codierung der Sensordaten), die unterschiedliche Referenzpunkte oder Koordinatensysteme verwenden, die unterschiedliche Maßstäbe oder Einheitssysteme verwenden (z.B. imperial, metrisch) oder die anderweitig transformiert, abgebildet oder verarbeitet werden müssen, um eine vereinheitlichte Wahrnehmung des jeweiligen Bereichs zu ermöglichen. Das heißt, die Fahrzeugsensordaten und die EDGE-Sensordaten können kombiniert und verarbeitet werden, so dass eine vereinheitlichte Wahrnehmungsausgabe entsteht. In einer Ausführungsform ist die vereinheitlichte Wahrnehmungsausgabe eine geografische und/oder räumliche Darstellung eines oder mehrerer Objekte, wie sie durch Sensordaten von zwei oder mehreren Sensoren informiert wird. Diese vereinheitlichte Wahrnehmungsausgabe kann dann zur Ausführung einer oder mehrerer Aufgaben verwendet werden und/oder der Cloud-Layer 20 und/oder der Fahrzeug-Layer 16 zur Verfügung gestellt werden. Für den Fall, dass das Ergebnis der von der EDGE-Layer 18 ausgeführten Aufgaben an das Fahrzeug 12 gesendet wird, wird es am Fahrzeug 12 über den Empfangshandler empfangen. Der Empfangshandler 108 kann verwendet werden, um eingehende Ergebnisse oder Informationen zu verarbeiten, die vom EDGE-Knoten 80 (oder einer anderen EDGE-Layervorrichtung) und/oder der Cloud-Layer 20 gesendet werden. Diese Handhabung kann das Formatieren (oder anderweitige Verarbeitung) der empfangenen Informationen sowie das Weiterleiten der empfangenen Informationen an die entsprechende elektronische Fahrzeugvorrichtung der Fahrzeugelektronik 22 beinhalten.
Die Cloud-Layer 20 beinhaltet einen Empfangs-Handler 142, einen Scheduler 144 und ein Verarbeitungssystem 146. Jede dieser Komponenten kann von einer oder mehreren elektronischen Rechenvorrichtungen ausgeführt werden, die sich entfernt vom Fahrzeug 12 befinden. Jede dieser einen oder mehreren elektronischen Rechenvorrichtungen, wie Computer und/oder Server 78, kann einen Prozessor und Speicher beinhalten und kann als Teil eines größeren Serversystems integriert werden. Der Empfangshandler 142 ist ähnlich dem Empfangshandler 122 der EDGE-Layer 18 und kann eingehende Nachrichten oder Anforderungen der Fahrzeug-Layer 16 und der EDGE-Layer 18 verarbeiten. Der Scheduler 144 ist ähnlich dem Scheduler 126 der EDGE-Layer 18 und kann verwendet werden, um die Ausführung verschiedener Aufgaben zu planen, die von der Fahrzeug-Layer 16 und/oder der EDGE-Layer 18 empfangen werden. Das Verarbeitungssystem 146 der Cloud-Layer 20 kann verwendet werden, um eine oder mehrere Aufgaben auszuführen, um einen Aufgabenausgang 148 zu erhalten, der dann an die EDGE-Layer 18 und/oder die Fahrzeug-Layer 16 zurückgegeben werden kann. Die Ausgabe dieser bearbeiteten Aufgaben, die als Aufgabenausgabe bezeichnet wird, kann dann verwendet werden, um eine oder mehrere Fahrzeugaktionen durchzuführen, wie beispielsweise eine oder mehrere autonome Fahrzeugoperationen. In einer Ausführungsform kann die Aufgabenausgabe ein AV-Bedienbefehl sein, der das Fahrzeug anweist, eine bestimmte AV-Operation durchzuführen.
Unter Bezugnahme auf 3 ist ein Flussdiagramm dargestellt, das ein exemplarisches Verfahren 200 zum Bestimmen und zumindest teilweise Durchführen einer autonomen Fahrzeug-(AV)-Aktion basierend auf einer vereinheitlichten Wahrnehmung einer Umgebung darstellt. Das Verfahren 200 kann durch eine beliebige oder eine beliebige Kombination von Komponenten des Systems 10 durchgeführt werden, einschließlich der folgenden: die Fahrzeug-Layer 16 (z.B. das Trägerfahrzeug 12), die EDGE-Layer 18 und die Cloud-Layer 20. In einer Ausführungsform werden die Schritte 210-230 durch eine Kombination aus dem Fahrzeug 12 und der EDGE-Layer 18 durchgeführt, und Schritt 240 durch das Fahrzeug 12.
In Schritt 210 werden Sensordaten von einem Wahrnehmungssystem erhalten. Das Wahrnehmungssystem ist ein System oder Modul, das Sensorsignale als Eingang nimmt und dann eine vereinheitlichte Wahrnehmungsausgabe ausgibt. Die vereinheitlichte Wahrnehmungsausgabe stellt Objekte innerhalb der Umgebung des Fahrzeugs dar und beinhaltet die physikalischen Eigenschaften des einen oder der mehreren Objekte. Das eine oder die mehreren Objekte können jedes beliebige Objekt sein, das sich in der Umgebung befindet, wie z.B. andere Fahrzeuge auf der Straße (z.B. Fahrzeug 14), Hindernisse auf der Straße, Fußgänger, Fahrräder, Fahrbahnmarkierungen, Verkehrszeichen, Ampeln, etc. Die physikalischen Eigenschaften des einen oder der mehreren Objekte, die als Teil der vereinheitlichten Wahrnehmungsausgabe identifiziert und dargestellt werden können, können Position, Entfernung, Kurs, Geschwindigkeit, Größe, Geometrie, Objekttyp, Ausrichtung, Farbe usw. beinhalten.
Das Wahrnehmungssystem kann Vorrichtungen oder Komponenten beinhalten, die sich auf einer oder beiden der Fahrzeug-Layer16 und 18 befinden. In einigen Ausführungsformen kann das Wahrnehmungssystem weiterhin Geräte oder Komponenten der Cloud-Layer 20 beinhalten. In einer Ausführungsform befindet sich das Wahrnehmungssystem an der EDGE-Layer 18 und kann das Abtast- und Wahrnehmungssystem 130 beinhalten. In einer weiteren Ausführungsform befindet sich das Wahrnehmungssystem auf der Fahrzeug-Layer 16 und kann das Abtast- und Wahrnehmungssystem 106 beinhalten. Und in einer weiteren Ausführungsform befindet sich das Wahrnehmungssystem sowohl auf der Fahrzeug-Layer 16 als auch auf der EDGE-Layer 18.
Somit können in Schritt 210 Sensordaten von einem oder mehreren der Fahrzeugsensoren 62-68 (oder anderen, nicht dargestellten Sensoren) und/oder von einem oder mehreren EDGE-Sensoren 84 erhalten werden. So können beispielsweise Fahrzeugsensordaten von den Sensoren 62-68 abgerufen, über den Kommunikationsbus 40 an die drahtlose Kommunikationsvorrichtung 30 und dann an das EDGE-Erfassungs- und Wahrnehmungssystem 130 gesendet werden. Diese Sensordaten aus dem Fahrzeug können von einer Aufforderung zur Ausführung einer Aufgabe begleitet (oder in eine Nachricht mit aufgenommen) werden, die darin bestehen kann, eine vereinheitlichte Wahrnehmungsausgabe, eine empfohlene Fahrzeugaktion (z.B. eine empfohlene AV-Aktion) oder einen Fahrzeugbefehl (z.B. einen Befehl zur Ausführung einer bestimmten Fahrzeugaktion) bereitzustellen. Eine empfohlene Fahrzeugaktion und ein Fahrzeugbefehl können zusammenfassend als Fahrzeugaktion bezeichnet werden. Das Verfahren 200 fährt mit Schritt 220 fort.
In Schritt 220 erzeugt das Verfahren eine vereinheitlichte Wahrnehmungsausgabe basierend auf Sensordaten. Wie vorstehend erwähnt, kann das Wahrnehmungssystem 106, 130 verwendet werden, um eine vereinheitlichte Wahrnehmungsausgabe zu erhalten, die Informationen über ein oder mehrere Objekte um das Fahrzeug herum darstellen kann. Sensorinformationen können von den fahrzeugseitigen Sensoren 62-68 sowie von den EDGE-Sensoren 84 bezogen werden. Jede der Sensordaten von jedem dieser Sensoren kann auf unterschiedliche Weise formatiert werden, kann auf verschiedenen Verankerungspunkten (oder Referenzinformationen) basieren und/oder anderweitig in einem anderen Kontext oder unter anderen Bedingungen erhalten werden. So wird in einer Ausführungsform das Wahrnehmungssystem 106, 130 verwendet, um die Sensorinformationen der verschiedenen Sensoren zu universalisieren (oder zu standardisieren). In einem Beispiel kann dies die Transformation, Abbildung oder anderweitige Verarbeitung der Sensordaten beinhalten, so dass die Sensordaten einem homogenen Koordinatensystem entsprechen. Das homogene Koordinatensystem ist ein Koordinatensystem, auf das Sensorinformationen von verschiedenen Sensoren (z.B. Sensoren 62-68, 84, etc.) abgebildet werden können, so dass die Sensorinformationen der verschiedenen Sensoren mit Bezug auf ein gemeinsames oder gemeinsames Koordinatensystem betrachtet oder beschrieben werden können. Die Sensordaten (z.B. die EDGE-Sensor daten, die fahrzeugseitigen Sensordaten) können am Wahrnehmungssystem in einem Rohformat oder in einem verarbeiteten (oder formatierten) Zustand empfangen werden. Das Wahrnehmungssystem kann die Sensordaten aus den formatierten Sensordaten extrahieren und die vereinheitlichte Wahrnehmungsausgabe erzeugen.
Auch in einer Ausführungsform kann das Wahrnehmungssystem bei der Erzeugung der vereinheitlichten Wahrnehmungsausgabe bestimmte geografische und/oder räumliche Informationen über statische Objekte oder den geografischen Bereich innerhalb der Randzelle sammeln. So können beispielsweise die Höhe, Breite, Länge, Länge, Größe und andere physikalische Eigenschaften eines oder mehrerer statischer Objekte innerhalb des Sichtfeldes in einem für das Wahrnehmungssystem zugänglichen Speicher gespeichert werden. In einer Ausführungsform ist das Wahrnehmungssystem Teil eines EDGE-Knotens oder EDGE-Rechnersystems, das Speicher mit diesen physikalischen Eigenschaftsinformationen beinhaltet. Das Vorhandensein eines bestimmten statischen Objekts im Sichtfeld der fahrzeugseitigen Sensordaten kann das Wahrnehmungssystem darüber informieren, wie die fahrzeugseitigen Wahrnehmungsdaten mit den EDGE-Sensordaten sowie anderen fahrzeugseitigen Sensordaten von anderen (Nicht-Träger-) Fahrzeugen, wie beispielsweise dem Fahrzeug 14, zusammengeführt oder vereinheitlicht werden können.
In einer Ausführungsform können die EDGE- (oder infrastrukturbasierten) Sensordaten dargestellt werden als S = {s₁, s₂, ..., s_ns}, wobei ns die Anzahl der EDGE-Sensoren und eine entsprechende Projektion ist. T^S der EDGE- (oder infrastrukturbasierten) Sensordaten zum homogenen Koordinatensystem wird dargestellt als $T^{S} = {T_{1}^{S}, T_{2}^{S}, \dots, T_{ns}^{S}} .$
Ebenso werden die Sensordaten des fahrzeugseitigen Sensors aus dem ith Fahrzeug kann dargestellt werden als V_i = {v_i1, v_i2, ..., v_in
i, i = 1, .... N wobei N die Gesamtzahl der Fahrzeuge ist und n_i ist die Gesamtzahl der Sensoren des ith Fahrzeug. Eine entsprechende Projektion T^V
i der fahrzeuginternen Fahrzeugsensordaten zum homogenen Koordinatensystem wird dargestellt als $T^{V_{i}} = {T_{1}^{V_{i}}, T_{2}^{V_{i}}, \dots, T_{n_{1}}^{V_{i}}} .$
Für ein kurzes Zeitintervall {t_Start, ..., t, ... , t_Ende) werden die Punkte von den EDGE- (oder infrastrukturbasierten) Sensoren und den fahrzeugseitigen Sensoren abgebildet oder in eine Reihe von eindeutigen Punkten umgewandelt. $P^{t} = {P_{1}^{t}, P_{2}^{t}, \dots P_{m}^{t}}$
und jeder Punkt $P_{m}^{t}$
∈ R^k wobei k die Vereinigung der eindeutigen Dimension sowohl der EDGE-(oder infrastrukturbasierten) Sensoren als auch der fahrzeugseitigen Sensoren ist. Die vereinheitlichte Wahrnehmungsausgabe kann somit dargestellt werden durch P^t = f(S, T^S,V₁, ... V_N, T_V
1, ... T^V
N) und $P_{m}^{t} = (x, y, z, r, g, b, ir, doppler, \dots .)$
wobei x, y und z räumliche Koordinaten eines Objekts innerhalb des homogenen Koordinatensystems zum Zeitpunkt t darstellen, r die rote Farbe eines Objekts innerhalb des homogenen Koordinatensystems zum Zeitpunkt t darstellt, g die grüne Farbe eines Objekts innerhalb des homogenen Koordinatensystems zum Zeitpunkt t darstellt, b die blaue Farbe eines Objekts innerhalb des homogenen Koordinatensystems zum Zeitpunkt t darstellt, ir die Infraroteigenschaften oder Informationen eines Objekts innerhalb des homogenen Koordinatensystems zum Zeitpunkt t darstellt und Doppler die Dopplerinformationen darstellt (z.B, Doppler-Verschiebungen, Geschwindigkeiten oder Geschwindigkeiten, die über Doppler bestimmt werden) eines Objekts innerhalb des homogenen Koordinatensystems zum Zeitpunkt t. Natürlich können weitere Eigenschaften durch die verschiedenen EDGE- und Fahrzeugsensoren bestimmt und dann als Teil der vereinheitlichten Wahrnehmungsausgabe verwendet werden.
In einigen Ausführungsformen kann die vereinheitlichte Wahrnehmungsausgabe auch Informationen über ein oder mehrere Objekte beinhalten, die im Sichtfeld eines oder mehrerer Sensoren (z.B. EDGE-Sensoren, Fahrzeugsensoren) erfasst wurden. Mit Hilfe von Objekterkennungstechniken am Fahrzeug 12 und/oder am EDGE-Knoten 80 (und in einigen Fällen auch an der Cloud-Layer 20) können ein oder mehrere Objekte innerhalb eines Sichtfeldes von mindestens einem Sensor verwendet werden, um eine Objektliste zu erhalten. $I_{t}^{O} = {I_{1t}^{O}, I_{2t}^{O}, \dots, I_{nt}^{O}}$
zum Zeitpunkt t und die entsprechende Projektion dieser Objekte auf das homogene Koordinatensystem ist $T_{t}^{O} = {T_{1t}^{O}, T_{2t}^{O}, \dots, T_{nt}^{O}}$
wobei jedes Objekt $I_{Es}^{O}$
kann folgende Abmessungen haben (x, y, z, spped, heading, object type, size, etc.). Es ist zu beachten, dass sich diese physikalischen Eigenschaften zwar von den oben genannten in Bezug auf die Fahrzeuge unterscheiden. $P_{m}^{t}$
kann jede Kombination dieser physikalischen Eigenschaften verwendet werden, um Informationen über das/die Fahrzeug(e) und/oder ein oder mehrere Objekte darzustellen. Somit kann eine Objektliste im homogenen Koordinatensystem erhalten werden: $I_{t}^{U} = {I_{1t}^{U}, I_{2t}^{U}, \dots, I_{nt}^{U}}$
wobei jedes Objekt eine feste Abmessung hat, die die Vereinigung der Abmessungen von $I_{Es}^{O} .$
Die neue Objektliste im homogenen Koordinatensystem für den Zeitpunkt t ist: $I_{t}^{U} = f (I_{t_{Ende}}^{O}, \dots I_{t_{Ende}}^{O}, I_{t_{Start}}^{U}, \dots I_{t_{Ende}}^{U}, T_{t_{Start}}^{O}, \dots T_{t_{Ende}}^{O})$
Zusätzlich kann die vereinheitlichte Wahrnehmungsausgabe in einigen Ausführungsformen Sensorinformationen beinhalten, die von anderen EDGE-Knoten, wie beispielsweise von einem benachbarten EDGE-Knoten, empfangen werden. Diese von einem anderen EDGE-Knoten empfangenen Sensorinformationen können als Sensorrohdaten empfangen werden, oder es können Sensordaten sein, die auf das homogene Koordinatensystem abgebildet (oder transformiert) werden. Darüber hinaus können diese Sensordaten Daten von einem oder mehreren Fahrzeugen sowie von einem oder mehreren EDGE-Sensoren beinhalten. Sobald die vereinheitlichte Wahrnehmungsausgabe erzeugt ist, fährt das Verfahren 200 mit Schritt 230 fort.
In Schritt 230 wird basierend auf der vereinheitlichten Wahrnehmungsausgabe eine nächste Fahrzeugaktion bestimmt. Ein Fahrzeugverhaltenssystem führt diesen Schritt durch und kann eine oder mehrere Vorrichtungen oder Komponenten der EDGE-Layer 18 und/oder des Fahrzeugs 12 beinhalten. Das Fahrzeugverhaltenssystem ist eine Sammlung von Vorrichtungen und/oder Komponenten aus der EDGE-Layer 18 und/oder der Fahrzeug-Layer 16, die das Verhalten oder eine oder mehrere AV-Aktionen eines oder mehrerer AVs innerhalb der EDGE-Zelle oder in der Nähe des EDGE-Knotens 80 bestimmt. In einigen Ausführungsformen kann das Fahrzeugverhaltenssystem zusätzlich eine oder mehrere Vorrichtungen oder Komponenten auf der Cloud-Layer 20 beinhalten. Das Fahrzeugverhaltenssystem kann die vereinheitlichte Wahrnehmungsausgabe verarbeiten, um eine nächste Fahrzeugaktion zu bestimmen. In vielen Ausführungsformen ist die nächste Fahrzeugaktion eine autonome Fahrzeugaktion (AV) oder ein AV-Fahrzeugbefehl. In einer Ausführungsform beinhaltet das Bestimmen der nächsten Fahrzeugaktion das Durchführen von Situationsbewusstsein, um zu bewerten, welche Umgebungsobjekte für das Fahrzeug 12 und/oder seinen AV-Betrieb am relevantesten sind. So kann das Fahrzeugverhaltenssystem beispielsweise unter Verwendung der vereinheitlichten Wahrnehmungsausgabe bestimmen, welche Objekte an welchen Stellen vorhanden sind, sowie die Trajektorien oder geschätzten/vorhergesagten Pfade dieser Objekte (sowie andere relevante physikalische Eigenschaften). Anschließend können diese vorhergesagten Pfade zusammen mit einer aktuellen Trajektorie des Fahrzeugs 12 (z.B. wie sie über Bewegungssensoren 68 und/oder GNSS-Empfänger 46 erhalten wird) verarbeitet werden, um zu bestimmen oder zu identifizieren, welche Objekte für die Bestimmung einer nächsten Fahrzeugaktion am relevantesten sind.
So kann das Fahrzeugverhaltenssystem in einer Ausführungsform, sobald die physikalischen Eigenschaften des einen oder der mehreren Objekte bekannt oder vorhergesagt sind, bestimmte mögliche Fahrzeugaktionen und deren vorhergesagte Folgen bewerten. Wenn sich beispielsweise das Trägerfahrzeug 12 dem Zielfahrzeug 14 (das mit einer langsameren Geschwindigkeit fährt) in derselben Spur nähert, kann das Verhaltenssystem bestimmen, ob das Trägerfahrzeug 12 die Spur wechseln soll, um das Zielfahrzeug 14 zu passieren, oder ob das Zielfahrzeug 14 einen Spurwechsel plant, damit das Trägerfahrzeug 12 in seiner Spur bleiben kann. Unter Verwendung von Sensorinformationen aus dem Trägerfahrzeug 12 und dem EDGE-Sensor 84 (und/oder dem Zielfahrzeug 14) kann eine nächste Fahrzeugaktion bestimmt werden. In einer Ausführungsform kann der EDGE-Sensor 84 beispielsweise mit einer Kamera einen Spurwechselindikator (z.B. Blinker) des Zielfahrzeugs 14 erkennen, mit dem angezeigt werden kann, dass sich das Zielfahrzeug 14 im Spurwechsel befindet oder plant. Darüber hinaus können Fahrzeugführungs- und andere Bewegungsinformationen vom Zielfahrzeug 14 und/oder EDGE-Sensor(en) 84 erhalten werden, und diese Informationen werden dann zusammen mit Sensorinformationen vom Fahrzeug 12 verarbeitet, um eine Entscheidung über die nächste Fahrzeugaktion zu treffen. In einer Ausführungsform kann eine nächste Fahrzeugaktion sowohl für das Trägerfahrzeug 12 als auch für das Zielfahrzeug 14 so durchgeführt werden, dass diese Aktionen einander entsprechen oder ergänzen. In einer Ausführungsform kann die Fahrzeugaktion eine AV-Fahrzeugaktion sein, wie beispielsweise ein Spurwechsel, eine Verzögerung, eine Beschleunigung, eine Aufrechterhaltung der Trajektorie, etc. Auf diese Weise können die EDGE-Sensoren (oder Sensoren anderer Fahrzeuge) verwendet werden, um die Fahrzeugsensordaten zu ergänzen, indem sie Sensorinformationen aus Bereichen bereitstellen, die für das Trägerfahrzeug aufgrund der Position und/oder der Sensorfähigkeit des Fahrzeugs nicht wahrnehmbar sind.
In einigen Ausführungsformen bestimmt das Fahrzeugverhaltenssystem, sobald eine Fahrzeugaktion bestimmt ist, einen oder mehrere Parameter für die Fahrzeugaktion. Somit kann die Fahrzeugaktion als eine Art von Fahrzeugaktion (z.B. Beschleunigen, Spurwechsel, kein Spurwechsel) bestimmt werden, und der eine oder die mehreren Parameter für die Fahrzeugaktion können Parameterinformationen sein, die bei der Durchführung der Fahrzeugaktion verwendet werden, wie beispielsweise eine Geschwindigkeit, ein Lenkradwinkel, eine Bremskraft, ein Kurs usw. Wenn der eine oder die mehreren Parameter für die AV-Aktion am Trägerfahrzeug bestimmt werden, werden diese Parameter als „fahrzeugbestimmte AV-Aktionsparameter“ und die AV-Aktion als „fahrzeugbestimmte AV-Aktion“ bezeichnet. In einem Beispiel, wenn bestimmt wird, dass ein Spurwechsel durchgeführt werden soll, dann erzeugt das Fahrzeugverhaltenssystem eine Trajektorie für das nachfolgende Trägerfahrzeug 12 sowie die Geschwindigkeit für den Spurwechsel. In einer Ausführungsform kann jeder oder mehrere der Schritte 210-230 Informationen aus der Cloud-Layer 20 berücksichtigen, wie beispielsweise Wetterinformationen und/oder Verkehrsinformationen. Wenn das Fahrzeug beispielsweise bei eisigen Bedingungen einen Spurwechsel durchführen soll (wie durch Wetterinformationen aus der Cloud-Layer 20 angezeigt), kann die Geschwindigkeit und/oder Trajektorie des Spurwechsels geändert werden, um die Sicherheit zu erhöhen. Das Verfahren 200 fährt mit Schritt 240 fort.
In Schritt 240 führt das Steuersystem die nächste Fahrzeugaktion aus. In einer Ausführungsform wird das Fahrzeugverhaltenssystem am Fahrzeug, wie beispielsweise an der AV-Steuereinheit 24, ausgeführt. So kann beispielsweise in solchen Ausführungsformen mit der nächsten Fahrzeugaktion die AV-Steuereinheit 24 angewiesen werden, die angegebene Fahrzeugaktion auszuführen. In weiteren Ausführungsformen wird das Fahrzeugverhaltenssystem an der EDGE-Layer 18 (z.B. EDGE-Knoten 80) durchgeführt und die Ergebnisse an das Fahrzeug 12 gesendet. Diese Ergebnisse können eine empfohlene Fahrzeugaktion oder einen Fahrzeugbefehl spezifizieren. In einer Ausführungsform kann das Fahrzeug 12 ein niedrigwertiges teilautonomes Fahrzeug (z.B. ein Level 2) sein und sich stark auf die EDGE-Verarbeitung verlassen, um eine nächste Fahrzeug-AV-Aktion zu bestimmen. In einem solchen Fall kann das EDGE-Ergebnis (oder die nächste Fahrzeugaktion) als Befehl behandelt werden, der das Fahrzeug anweist, die Fahrzeugaktion durchzuführen. In einer weiteren Ausführungsform kann das Fahrzeug 12 ein vollständig autonomes Fahrzeug (z.B. Stufe 5) sein und das EDGE-Ergebnis als empfohlene Fahrzeugaktion behandeln. So kann das Fahrzeug beispielsweise Sensorinformationen weiter analysieren, um festzustellen, ob die empfohlene Fahrzeugaktion durchgeführt werden soll und/oder ob ein oder mehrere Parameter geändert werden sollen, die durch die Fahrzeugaktion vorgegeben sind.
In einer Ausführungsform erzeugt die AV-Steuereinheit 24 aus der Fahrzeugaktion aus dem Verhaltenssystem sowie den Fahrzeugzustandsinformationen entsprechende Steuersignale, die an verschiedene elektronische Fahrzeuggeräte (z.B. Steuerungen) am Fahrzeug gesendet werden können, um das Drossel-, Brems- und Lenksystem des Fahrzeugs zu steuern, so dass das Fahrzeug dem Verhaltensbefehl folgen kann. Dies ist natürlich nur ein Beispiel, da auch andere Aspekte des Fahrzeugs gesteuert werden können. Das Verfahren 200 endet dann.
In einigen Ausführungsformen können die Funktionen des Wahrnehmungssystems und/oder des Verhaltenssystems in verschiedenen Einheiten oder Layer (z.B. Fahrzeug-Layer 16, EDGE-Layer 18, Cloud-Layer 20) basierend auf unterschiedlichen Anforderungen der Aufgabe (oder Fahrzeugaktionsbestimmung), zeitlichen Anforderungen der auszuführenden Aufgabe, Zuverlässigkeits- und/oder Qualitätsanforderungen der auszuführenden Aufgabe, rechnerischen Anforderungen, rechnerischen Fähigkeiten und/oder aktuellen rechnerischen Belastungen eines oder mehrerer Geräte (z.B, Anzahl der Aufgaben/Operationen, die bereits bestimmt wurden, um an einer bestimmten Vorrichtung oder Layer ausgeführt zu werden); und Fahrzeuginformationen, wie beispielsweise der Fahrzeugtyp und/oder die AV-Fähigkeiten des Fahrzeugs.
In einer Ausführungsform ist das Fahrzeug 12 ein autonomes Fahrzeug (AV) der unteren Stufe, wie beispielsweise ein Fahrzeug der Stufe 2. Somit kann das Fahrzeug in solchen Ausführungsformen bei der Ausführung von AV-Funktionalität (oder AV-Aktionen) mehr von der Führung durch die EDGE-Layer 18 und/oder die Cloud-Layer 20 abhängen. In einer weiteren Ausführungsform ist das Fahrzeug ein übergeordnetes autonomes Fahrzeug (AV), wie beispielsweise ein Fahrzeug der Stufe 5. In dieser Ausführungsform ist das Fahrzeug bei der Ausführung von AV-Funktionalität (oder AV-Aktionen) möglicherweise nicht so abhängig von der Führung durch die EDGE-Layer 18 und/oder die Cloud-Layer 20, sondern kann stattdessen alle Eingaben (z.B. Aufgabenausgaben, AV-Aktionen) als zweite Meinung oder Vorschläge bei der Festlegung einer nächsten AV-Aktion behandeln.
In einer Ausführungsform, in der die Fahrzeug-Layer 16 mindestens einige AVs mit niedrigerem Hebel beinhaltet, kann das System einen hart sicherheitsgarantierten Planungsprozess verwenden, der verwendet wird, um zu bestimmen, welcher Knoten (z.B. Server 78 der Cloud-Layer 20, AV-Steuereinheit 24, RSU 82) eine bestimmte Fahrzeugaufgabe ausführen soll, wie beispielsweise eine Aufgabe zum Bestimmen einer AV-Aktion (oder Information) für das auszuführende Fahrzeug 12. In diesem hart sicherheitsgarantierten Planungsprozess kann das System 10 für jede Entität, der die Fahrzeugaufgabe zugewiesen werden kann, ein Quality of Service (QoS) Leistungsniveau bestimmen. In einer Ausführungsform kann dieses QoS-Leistungsniveau als Tupel dargestellt werden, das Zuverlässigkeit α, Latenz τ und Genauigkeit ε beinhaltet.
Der QoS-Leistungsgrad kann für die Cloud-Layer 20, die EDGE-Layer 18 und die Fahrzeug-Layer 16 vorhergesagt werden. In einer Ausführungsform können die folgenden Gleichungen verwendet werden, um das QoS-Leistungstupel vorherzusagen (Zuverlässigkeit α, Latenz τ, Genauigkeit ε): $\begin{array}{l} l_{j}^{(i)} = a_{(i, j)} t_{j}^{(i)} + b_{(i, j)} (\frac{w_{j, u}^{(i)}}{S_{u l}} + \frac{w_{j, d}^{(i)}}{S_{d l}} + {\hat{t}}_{j}^{(i)}) + c_{(i, j)} (\frac{w_{j, u}^{(i)}}{S_{u l}} + \frac{w_{j, d}^{(i)}}{S_{d l}} + {\hat{t'}}_{j}^{(i)}) < τ \\ R_{j}^{(i)} = a_{(i, j)} R_{j}^{(i)} + ((1 - p) b_{(i, j)}) {\hat{R}}_{j}^{(i)} + ((1 - p) c_{(i, j)}) {\hat{R'}}_{j}^{(i)} > \propto \\ e_{j}^{(i)} = a_{(i, j)} e_{j}^{(i)} + b_{(i, j)} {\hat{e}}_{j}^{(i)} + c_{(i, j)} {\hat{e'}}_{j}^{(i)} < ε \end{array}$
wo l_j ⁽ⁱ⁾ ist die geschätzte System-End-to-End-Latenzzeit, die auf verschiedenen Ausführungsoptionen basiert (z.B. lokal oder Fahrzeug, Cloud und EDGE), R_j ⁽ⁱ⁾ ist die geschätzte Systemzuverlässigkeitsmetrik, die auf verschiedenen Ausführungsoptionen (lokal, Cloud und EDGE) basiert, e_j ⁽ⁱ⁾ ist die geschätzte Systemfehler- oder Genauigkeitsmetrik, die auf verschiedenen Ausführungsoptionen basiert (z.B. lokal oder Fahrzeug, Cloud und EDGE), t_j ⁽ⁱ⁾ ist die Zeit für die Ausführung von Aufgaben bei bestimmten Ausführungsoptionen (lokal, Cloud und EDGE), $w_{j, u}^{(i)}$
ist die Datenmenge, die zur Aufgabenausführung in die Cloud/EDGE hochgeladen wird, $w_{j, d}^{(i)}$
ist die Datenmenge, die von der Cloud/EDGE auf das lokale Fahrzeug heruntergeladen wird, nachdem die Aufgabenausführung abgeschlossen ist, S_uL ist die Datenrate für das Hochladen von Daten, S_dL ist die Datenrate für das Herunterladen von Daten, p ist die Paketdroprate im drahtlosen Kommunikationskanal, etc. In einer Ausführungsform, wird für die lokale Ausführung das Ausführungsoptionskennzeichen a_(i,j) auf 1 gesetzt, das Ausführungsoptionskennzeichen b_(i,j) wird für die Cloud-Ausführung auf 1 gesetzt, und das Ausführungsoptionskennzeichen c_(i,j) wird für die EDGE-Ausführung auf 1 gesetzt, und a_(i,j), b_(i,j) und c_(i,j) können sich gegenseitig ausschließen. Es sollte auch verstanden werden, dass andere System QoS-Parameter wie Jitter, Bandbreite, Systemenergieverbrauch usw. als Teil dieser Bewertung betrachtet werden können, auch wenn diese Parameter in einigen Ausführungsformen selten verwendet werden können.
Die obigen Gleichungen können verwendet werden, um eine Vorhersage des lokalen Ausführungstupels zu erhalten (t_j ⁽ⁱ⁾, R_j ⁽ⁱ⁾, e_j ⁽ⁱ⁾), eine Vorhersage des Remote-(oder Cloud)-Ausführungstupels (t̂_j ⁽ⁱ⁾, R̂_j ⁽ⁱ⁾, ê_j ⁽i⁾), und/oder das EDGE-Ausführungs-Tupel $({\hat{t'}}_{j}^{(i)}, {\hat{R'}}_{j}^{(i)}, {\hat{e'}}_{j}^{(i)}) .$
Das Fern-Ausführungstupel kann online aktualisiert werden, basierend auf den Ergebnissen früherer Fern-Ausführungen ähnlicher Aufgaben, wie beispielsweise für das gleiche Fahrzeug oder den gleichen Fahrzeugtyp, für solche mit ähnlichen Umständen wie den vorliegenden Umständen usw. Diese Schätzungen könnten durch fortgeschrittene statistische Modelle, einschließlich, aber nicht beschränkt auf, Regressionsanalyse, Faktorielle Analyse oder Bayes'sche Analyse, erlernt werden. Außerdem kann das Fern-Ausführungstupel basierend auf der Betriebsumgebung parametrisiert werden, da dies mit der Konnektivität korreliert ist, z.B. durch den Aufbau eines expliziten hochdimensionalen Multi-Faktor-Modells.
Unter Bezugnahme auf die 4-6 ist ein Verfahren 300 zum Bestimmen einer AV-Aktion für ein Trägerfahrzeug dargestellt, das einen oder mehrere der Schritte aus den Prozessen 400-600 beinhalten kann. 4 veranschaulicht einen Prozess 400, der vom Trägerfahrzeug 12 ausgeführt wird, 5 veranschaulicht einen Prozess 500, der von der EDGE-Layer 18 ausgeführt wird, und 6 veranschaulicht einen Prozess 600, der von der Cloud-Layer 20 ausgeführt wird. Obwohl die Prozessschritte 400-600 als in einer bestimmten Reihenfolge durchgeführt beschrieben werden, wird hiermit erwogen, dass die Prozessschritte 400-600 in jeder technisch machbaren Reihenfolge durchgeführt werden können, wie es die Fachkräfte schätzen werden.
In Schritt 405 verarbeitet das Verfahren Sensorinformationen und/oder andere Informationen an Bord des Fahrzeugs 12, um die nächste Fahrzeugaktion zu bestimmen, um zu bestimmen, ob eine oder mehrere Fahrzeugaufgaben der EDGE-Layer 18 oder der Cloud-Layer 20 und/oder einer Kombination derselben zugeordnet werden sollen. Diese Onboard-Verarbeitung kann durch den Ressourcenmanager 102 und/oder das Verarbeitungssystem 104 des Fahrzeugs 12 durchgeführt werden und kann basierend auf fahrzeugseitigen Sensordaten und/oder Informationen, die zuvor von der EDGE-Layer 18 und/oder der Cloud-Layer 20 erhalten wurden, wie beispielsweise eine frühere Fahrzeugaktion und/oder Informationen, die ein vereinheitlichtes Wahrnehmungsergebnis aus einer früheren Iteration des Verfahrens 300 darstellen, durchgeführt werden. So kann beispielsweise die Onboard-Verarbeitung von Schritt 405 eine Entscheidung darüber beinhalten, ob die EDGE-Layer 18 oder die Cloud-Layer 20 (Schritt 430) entladen (d.h. Aufgaben zugeordnet) werden sollen, und wenn ja, können bestimmte Fahrzeuginformationen (z.B. Sensordaten von den Sensoren 62-68, Positionsinformationen vom GNSS-Empfänger 46) an die EDGE-Layer 18 und/oder die Cloud-Layer 20 gesendet werden, was durch Schritt 435 veranschaulicht ist. So wird in Schritt 430 bestimmt, ob Fahrzeuginformationen entladen werden sollen, und wenn ja, fährt der Prozess 400 mit Schritt 435 fort. Andernfalls fährt der Prozess 400 von Schritt 430 bis Schritt 410 fort.
In Schritt 410 wird die nächste Fahrzeugaktion (oder Anweisung) erhalten. Wie vorstehend in Bezug auf 3 erläutert, kann die nächste Fahrzeugaktion beispielsweise mit dem Verfahren 200 durchgeführt werden, das die Verwendung eines Wahrnehmungssystems und eines Verhaltenssystems beinhalten kann, die entweder oder beide durch Komponenten oder Vorrichtungen der Fahrzeug-Layer 16 und/oder der EDGE-Layer 18 durchgeführt werden können. Für den Fall, dass Fahrzeuginformationen entladen werden (Schritt 435), kann der Prozess 400 auf die Ergebnisse (oder Aufgabenausgabe) warten, und sobald die Aufgabenausgabe bei Schritt 440 empfangen wurde, kann das Verfahren 400 mit Schritt 410 fortfahren. Der Prozess 400 wird von Schritt 410 bis Schritt 415 fortgesetzt.
In Schritt 415 bestimmt das Fahrzeug, ob die Befehle von (oder die als Ergebnis der) Onboard-Verarbeitung vorgenommenen Bestimmungen mit Befehlen oder Informationen, die von der Kante oder der Cloud empfangen werden, in Konflikt stehen. So kann beispielsweise das Verarbeitungssystem 104 des Fahrzeugs 12 die fahrzeugseitigen Sensordaten des Fahrzeugs verarbeiten, um eine nächste AV-Aktion zu bestimmen. Zusätzlich kann die EDGE-Layer 18 eine nächste Fahrzeugaufgabe oder eine andere Aufgabenausgabe an das Fahrzeug 12 bereitstellen. Die nächste Fahrzeugaufgabe oder eine andere aus der EDGE-Layer 18 ausgegebene Aufgabe kann dann mit der nächsten AV-Aktion aus dem Verarbeitungssystem 104 des Fahrzeugs 12 verglichen werden, um festzustellen, ob sie miteinander konsistent sind oder ob es einen Konflikt gibt. In weiteren Ausführungsformen kann diese Bestimmung von Schritt 415 auch das Bestimmen beinhalten, ob die Befehle (oder die Aufgabenausgabe) oder andere Informationen aus der EDGE-Layer 18 und/oder der Cloud-Layer 20 rechtzeitig empfangen werden. Wenn beispielsweise eine nächste Fahrzeugaktion nicht innerhalb einer vorbestimmten Zeitspanne von der EDGE-Layer 18 empfangen wird (die je nach Art der Aufgabe und/oder der Umstände ausgewählt werden kann), kann bestimmt werden, dass der Prozess 400 mit Schritt 425 fortfahren soll, andernfalls fährt der Prozess 400 von Schritt 415 bis Schritt 420 fort.
In Schritt 425 kann eine minimale Risikomaßnahme durch das Fahrzeug 12 bestimmt und ausgeführt werden. Die Mindestrisikoaktion ist eine Fahrzeugmaßnahme, die so festgelegt ist, dass sie die Mindestsicherheitsanforderungen und/oder die Mindestleistungsanforderungen erfüllt. Wenn sich beispielsweise einer Kreuzung genähert wird, kann die minimale Risikomaßnahme dazu führen, dass das Fahrzeug vollständig zum Stillstand kommt, bevor es die Kreuzung passiert. Der Prozess 400 kann dann beendet oder zurückgeschleift werden, um wiederholt ausgeführt zu werden.
In Schritt 420 wird die nächste Fahrzeugaktion durchgeführt oder ausgeführt. Diese nächste Fahrzeugaktion kann durch das fahrzeugseitige Verarbeitungssystem 104 des Fahrzeugs 12, durch die EDGE-Layer 18 oder durch eine Kombination derselben bestimmt werden. In einer weiteren Ausführungsform kann auch die nächste Fahrzeugaktion basierend auf Informationen aus der Cloud-Layer 20 bestimmt oder erzeugt werden. Dieser Schritt ist ähnlich wie Schritt 240 des oben beschriebenen Verfahrens 200 (3) und kann auf ähnliche Weise durchgeführt werden. Der Prozess 400 kann dann beendet oder zurückgeschleift werden, um wiederholt ausgeführt zu werden.
In Bezug auf 5 ist ein Prozess 500 dargestellt, der als Teil des Verfahrens 300 verwendet werden kann und der von der EDGE-Layer 18 durchgeführt wird. In einer Ausführungsform kann der Prozess 500 zumindest teilweise durch einen oder mehrere EDGE-Knoten 80 (einschließlich beispielsweise RSU(s) 82) durchgeführt werden. In Schritt 505 werden Fahrzeuge innerhalb des nahen Bereichs (oder der EDGE-Zelle) identifiziert. So kann beispielsweise das nahe gelegene Gebiet einen vordefinierten geografischen Bereich beinhalten, der eine EDGE-Zelle bildet, die einem bestimmten EDGE-Knoten zugeordnet ist - wie vorstehend erwähnt, kann sich der „EDGE-Knoten“ auf die Hard- und/oder Softwaremodule beziehen, die zum Bestimmen von Informationen für die „EDGE-Zelle“ verwendet werden, die sich auf einen bestimmten vordefinierten geografischen Bereich beziehen können. Dieses nahegelegene Gebiet kann eine oder mehrere Fahrbahnen beinhalten und kann bestimmten EDGE-Vorrichtungen zugeordnet werden, wie beispielsweise bestimmten EDGE-Sensoren 84 und/oder RSU(s) 82. Somit können in einer Ausführungsform Fahrzeuge innerhalb des Wahrnehmungsbereichs (oder des nahen Bereichs für diese EDGE-Zelle) identifiziert werden. Diese Fahrzeuge können das Fahrzeug 12 und/oder das Fahrzeug 14 beinhalten. Sobald die Fahrzeuge innerhalb der EDGE-Zelle identifiziert sind, kann eine vereinheitlichte Wahrnehmungsausgabe bestimmt werden, z.B. durch Anwendung des Verfahrens 200. So können beispielsweise fahrzeugseitige Sensordaten von Fahrzeugen 12, 14 empfangen und in das homogene Koordinatensystem abgebildet bzw. transformiert werden. Der Prozess 500 fährt mit Schritt 510 fort.
In einigen Ausführungsformen kann es auch erforderlich sein, dass die EDGE weitere Informationen von den benachbarten EDGEs oder der Cloud erhält (Schritt 510) und dann alle Informationen miteinander verschmilzt, um die Wahrnehmungsergebnisse zu erzeugen (Schritt 515). So kann der EDGE-Knoten in Schritt 510 benachbarte EDGE-Knoten identifizieren (Schritt 510) und Informationen über bestimmte Objekte in benachbarten EDGE-Zellen erhalten. Da sich Fahrzeuge (und andere Objekte) zwischen den Zellen bewegen können, können diese benachbarten Informationen verwendet werden, um physikalische Eigenschaften (z.B. Kurs, Objekttyp, Geschwindigkeit, Position) bezüglich eines oder mehrerer Objekte innerhalb der EDGE-Zelle besser zu klassifizieren und zu bestimmen. Basierend auf diesen Informationen, die von einem oder mehreren benachbarten EDGE-Knoten empfangen werden, kann eine Datenbank oder eine andere Speicherstruktur, die Informationen über diese Objekte darstellt, aktualisiert oder geändert werden. Der Prozess 500 fährt mit Schritt 520 fort.
In Schritt 520 wertet der EDGE-Knoten die vereinheitlichte Wahrnehmungsausgabe aus, um eine oder mehrere Fahrzeugaktionen für ein oder mehrere Fahrzeuge innerhalb der EDGE-Zelle zu bestimmen. Dieser Schritt kann die Analyse der vereinheitlichten Wahrnehmungsausgabe und die Vorhersage zukünftiger Positionen und/oder Bewegungen von Objekten innerhalb der EDGE-Zelle beinhalten. Als Teil dieser Analyse kann eine Bedrohungsanalyse durchgeführt werden, die die Wahrscheinlichkeit von Unfällen oder anderen bemerkenswerten Ereignissen bestimmt. In einer Ausführungsform kann die vereinheitlichte Wahrnehmungsausgabe und/oder das vorhergesagte Verhalten oder die Bewegung von Objekten verwendet werden, um festzustellen, ob eine Bedrohungsbedingung erfüllt ist oder wahrscheinlich erfüllt ist. Wie in Schritt 525 veranschaulicht, fährt der Prozess 500 mit Schritt 530 fort, wenn eine Bedrohungsbedingung erfüllt ist oder wahrscheinlich erfüllt ist, und sendet einen Notsteuerbefehl an das Fahrzeug 12. Dieser Notsteuerbefehl kann eine bestimmte auszuführende Fahrzeugaktion anzeigen (z.B. basierend auf der vereinheitlichten Wahrnehmungsausgabe) oder angeben, dass das Fahrzeug eine minimale Risikomaßnahme ausführen soll, wie vorstehend in Bezug auf Schritt 425 des Prozesses 400 beschrieben (4). Wenn eine Bedrohungsbedingung nicht erfüllt ist, fährt der Prozess 500 von Schritt 525 bis Schritt 535 fort.
In Schritt 535 führt der EDGE-Knoten eine Ressourcenbewertung und Zeitanalyse durch, um zu bestimmen, welche Vorrichtung, welches System oder welche Layer (z.B. Fahrzeug-Layer 16, EDGE-Layer 18, Cloud-Layer 20) eine oder mehrere Aufgaben ausführen soll (oder sollte). Diese eine oder mehrere Aufgaben können das Bestimmen der nächsten Fahrzeugaktion und/oder das Bestimmen einer oder mehrerer Eigenschaften (z.B. physikalische Eigenschaften, einschließlich Bewegung oder räumliche Eigenschaften) von Umgebungsobjekten beinhalten. In einer Ausführungsform beinhaltet die eine oder die mehreren Aufgaben die Ausführung zusätzlicher Wahrnehmungsaufgaben, um die Eigenschaften der umgebenden Objekte besser abzuschätzen. Diese Ressourcenbewertung und Zeitanalyse kann auf Zeitanforderungen verschiedener auszuführender Aufgaben, Zuverlässigkeits- und/oder Qualitätsanforderungen verschiedener auszuführender Aufgaben, Berechnungsanforderungen, Berechnungsfähigkeiten und/oder gegenwärtige Rechenlast eines oder mehrerer Geräte (z.B. Anzahl der Aufgaben/Operationen, die bereits für eine bestimmte Vorrichtung oder Layer bestimmt sind) und Fahrzeuginformationen, wie beispielsweise der Fahrzeugtyp und/oder die AV-Fähigkeiten des Fahrzeugs, basieren. Der Prozess 500 fährt mit Schritt 540 fort.
Wenn der EDGE-Knoten bestimmt, eine oder mehrere Aufgaben in die Cloud-Layer zu entladen, fährt der Prozess 500 von Schritt 540 bis Schritt 545 fort; andernfalls fährt der Prozess 500 von Schritt 540 bis Schritt 550 fort, wo die nächste Fahrzeugaktion bestimmt und an das Fahrzeug 12 gesendet wird, das die nächste Fahrzeugaktion (oder Aufgabenausgabe) bei Schritt 410 erhält (4). Wenn der Prozess 500 mit Schritt 545 fortfährt, kann der Prozess 500 auf die Aufgabenausgabe aus der Cloud-Layer 20 warten und dann die Ausgabe verarbeiten und an das Fahrzeug 12 senden. In einer Ausführungsform kann die entladene Aufgabe einfach eine Anforderung bestimmter Informationen sein, die vom EDGE-Knoten bei der Ausführung einer oder mehrerer Fahrzeugaufgaben, wie z.B. dem Bestimmen der nächsten Fahrzeugaktion, verwendet werden soll. Sobald der EDGE-Knoten die Ergebnisse von der Cloud-Layer 20 erhält, kann der EDGE-Knoten die nächste Fahrzeugaktion (oder Aufgabenausgabe) bestimmen und diese Ausgabe dem Fahrzeug 12 zur Verfügung stellen. In weiteren Ausführungsformen kann der EDGE-Knoten die Cloud-Layer 20 des Fahrzeugs, das die Ergebnisse empfangen soll, informieren, so dass die Ergebnisse direkt von der Cloud-Layer 20 an das Fahrzeug 12 übermittelt werden können. Der Prozess 500 beendet dann oder fährt zur wiederholten Ausführung zurück.
In Bezug auf 6 ist ein Prozess 600 dargestellt, der als Teil des Verfahrens 300 verwendet werden kann und der von der Cloud-Layer 20 ausgeführt wird. In einer Ausführungsform kann der Prozess 600 zumindest teilweise durch den/die Computer 78 durchgeführt werden. In Schritt 605 wird eine Aufgabe vom EDGE-Knoten und/oder von einem Fahrzeug (z.B. Fahrzeug 12) empfangen. Anschließend kann in Schritt 610 die Aufgabe basierend auf bestimmten Anforderungen an die Aufgabe geplant werden, wie beispielsweise auf den Latenzanforderungen für die jeweilige Aufgabe. Dann werden gemäß dem Zeitplan die Aufgaben ausgeführt, die die Verarbeitung verschiedener Informationen beinhalten können, die von dem/den Fahrzeug(en) und/oder EDGE-Knoten(en) empfangen werden (z.B. Sensorinformationen, vereinheitlichtes Wahrnehmungsergebnis). Sobald die Aufgabenausgabe erreicht ist, wird die Ausgabe an den Anforderer zurückgesendet, der das Fahrzeug 12 und/oder den EDGE-Knoten der EDGE-Layer 18 sein kann. In anderen Ausführungsformen kann eine andere Vorrichtung als der Anforderer (d.h. die Vorrichtung/System, die die Aufgabe anfordert) angegeben werden, und die Aufgabenausgabe kann dann entsprechend bereitgestellt werden. Der Prozess 600 endet dann oder fährt zur wiederholten Ausführung zurück.
Jeder der hierin vorgestellten Prozessoren kann jede Art von Gerät sein, das in der Lage ist, elektronische Anweisungen zu verarbeiten, einschließlich Mikroprozessoren, Mikrocontroller, Host-Prozessoren, Steuerungen, Fahrzeugkommunikationsprozessoren, General Processing Unit (GPU), Beschleuniger, Field Programmable Gated Arrays (FPGA) und anwendungsspezifische integrierte Schaltungen (ASICs), um nur einige Möglichkeiten zu nennen. Der Prozessor kann verschiedene Arten von elektronischen Anweisungen ausführen, wie z.B. Software- und/oder Firmware-Programme, die im Speicher gespeichert sind und es dem Modul ermöglichen, verschiedene Funktionen auszuführen. Jeder oder mehrere der hierin behandelten Speicher können ein nichtflüchtiges, computerlesbares Medium sein; dazu gehören verschiedene Arten von Direktzugriffsspeicher (RAM), einschließlich verschiedener Arten von dynamischem RAM (DRAM) und statischem RAM (SRAM), Nur-Lese-Speicher (ROM), Solid-State-Laufwerke (SSDs) (einschließlich anderer Solid-State-Speicher wie Solid-State-Hybrid-Laufwerke (SSHDs)), Festplatten (HDDs), magnetische oder optische Plattenlaufwerke oder andere geeignete Computermedien, die elektronisch Informationen speichern. Darüber hinaus, obwohl bestimmte elektronische Fahrzeugvorrichtungen als einen Prozessor und/oder Speicher umfassend beschrieben werden können, kann der Prozessor und/oder Speicher solcher elektronischen Fahrzeugvorrichtungen mit anderen elektronischen Fahrzeugvorrichtungen geteilt und/oder in (oder einem Teil davon) anderen elektronischen Fahrzeugvorrichtungen der Fahrzeugelektronik untergebracht werden - zum Beispiel, kann jeder dieser Prozessoren oder Speicher ein dedizierter Prozessor oder Speicher sein, der nur für Module verwendet wird oder mit anderen Fahrzeugsystemen, Modulen, Vorrichtungen, Komponenten usw. geteilt werden kann.
Es ist zu verstehen, dass die vorstehende Beschreibung keine Definition der Erfindung ist, sondern eine Beschreibung einer oder mehrerer bevorzugter exemplarischer Ausführungsformen der Erfindung. Die Erfindung ist nicht auf die hierin offenbarte(n) Ausführungsform(en) beschränkt, sondern wird ausschließlich durch die folgenden Ansprüche definiert. Darüber hinaus beziehen sich die in der vorstehenden Beschreibung enthaltenen Aussagen auf bestimmte Ausführungsformen und sind nicht als Einschränkung des Umfangs der Erfindung oder der Definition von in den Ansprüchen verwendeten Begriffen auszulegen, es sei denn, ein Begriff oder eine Formulierung ist vorstehend ausdrücklich definiert. Verschiedene andere Ausführungsformen und verschiedene Änderungen und Modifikationen der offenbarten Ausführungsform(en) werden für den Fachmann offensichtlich werden. So ist beispielsweise die spezifische Kombination und Reihenfolge der Schritte nur eine Möglichkeit, da die vorliegende Methode eine Kombination von Schritten beinhalten kann, die weniger, größere oder andere Schritte aufweist als die hier dargestellte. Alle anderen Ausführungsformen, Änderungen und Modifikationen sollen in den Anwendungsbereich der beigefügten Ansprüche fallen.
Wie in dieser Beschreibung und den Ansprüchen verwendet, sind die Begriffe „zum Beispiel“, „z. B.“, „beispielsweise“, und „wie“ und die Verben „umfassend“, „hat“, „einschließend“ und ihren anderen Verbformen, wenn sie in Verbindung mit einer Auflistung von einer oder mehreren Komponenten oder anderen Elementen verwendet werden, jeweils als offen auszulegen, was bedeutet, dass die Auflistung nicht als Ausschluss anderer, zusätzlicher Komponenten oder Elemente zu betrachten ist. Andere Begriffe sind mit ihrer weitesten vernünftigen Bedeutung auszulegen, es sei denn, sie werden in einem Kontext verwendet, der eine andere Auslegung erfordert. Darüber hinaus ist der Begriff „und/oder“ als inklusiv oder auszulegen. Als Beispiel beinhaltet die Phrase „A, B und/oder C“: „A“; „B“; „C“; „A und B“; „A und C“; „B und C“; und „A, B und C“.

Claims

Ein Verfahren zum Bestimmen einer autonomen Fahrzeug-(AV)-Aktion für ein Trägerfahrzeug, wobei das Verfahren die folgenden Schritte umfasst: Erhalten von fahrzeugseitigen Sensordaten von mindestens einem fahrzeugseitigen Sensor, wobei der fahrzeugseitige Sensor ein Teil der Fahrzeugelektronik des Trägerfahrzeugs ist; Erhalten von EDGE-Sensordaten von mindestens einem EDGE-Sensor, wobei der EDGE-Sensor ein Teil einer EDGE-Layer ist; Erzeugen, basierend auf den fahrzeugseitigen Sensordaten und den EDGE-Sensordaten, einer vereinheitlichten Wahrnehmungsausgabe; Bestimmen, basierend auf der vereinheitlichten Wahrnehmungsausgabe, einer AV-Aktion für das Trägerfahrzeug; und Bereitstellen der AV-Aktion an das Trägerfahrzeug, wobei das Trägerfahrzeug eingerichtet ist, um die AV-Aktion auszuführen.
Das Verfahren nach Anspruch 1, wobei der Erzeugungsschritt ferner das Erzeugen der vereinheitlichten Wahrnehmungsausgabe mit einem EDGE-Knoten der EDGE-Layer beinhaltet.
Das Verfahren nach Anspruch 2, wobei der Erzeugungsschritt ferner das Erzeugen der vereinheitlichten Wahrnehmungsausgabe durch Transformieren mindestens einer der fahrzeugseitigen Sensordaten oder der EDGE-Sensordaten in ein homogenes Koordinatensystem beinhaltet.
Das Verfahren nach Anspruch 3, wobei eine EDGE-Sensordatenprojektion T^s unter Verwendung der EDGE-Sensordaten als Teil des Transformationsschritts erzeugt wird, die EDGE-Sensordaten als S={s_1,s_2,...,s_ns} dargestellt werden, die EDGE-Sensordatenprojektion als T^S={T_1^S,T_2^S,...,T_ns^s} dargestellt wird, und wobei die EDGE-Sensordatenprojektion die EDGE-Sensordaten innerhalb des homogenen Koordinatensystems beinhaltet oder darstellt.
Das Verfahren nach Anspruch 4, wobei eine fahrzeugseitige Sensordatenprojektion T^(V_i) unter Verwendung der fahrzeugseitigen Sensordaten als Teil des Transformationsschritts erzeugt wird, die fahrzeugseitigen Sensordaten als V_i={v_i1,v_i2,....,v_(in_i)} dargestellt werden, die fahrzeugseitige Sensordatenprojektion als T^(V_i )={T_1^(V_i),T_2^(V_i ),...,T_(n_i)^(V_i)} dargestellt wird, und wobei die fahrzeugseitige Sensordatenprojektion die fahrzeugseitigen Sensordaten innerhalb des homogenen Koordinatensystems beinhaltet oder darstellt.
Das Verfahren nach Anspruch 5, wobei die vereinheitlichte Wahrnehmungsausgabe einen Satz von eindeutigen Punkten P={P_1^t,P_2^t,...P_m^t} beinhaltet, und wobei der Satz von eindeutigen Punkten die EDGE-Sensordatenprojektion T^S und die fahrzeugseitige Sensordatenprojektion T^(V_i) beinhaltet oder darstellt.
Das Verfahren nach Anspruch 2, wobei das Verfahren durch den EDGE-Knoten ausgeführt wird, der EDGE-Knoten einen Prozessor, einen Speicher und eine drahtlose Kommunikationsvorrichtung beinhaltet, der EDGE-Knoten kommunikativ mit dem EDGE-Sensor gekoppelt ist und die drahtlose Kommunikationsvorrichtung mit einem oder mehreren nahegelegenen Fahrzeugen, einschließlich des Trägerfahrzeugs, kommuniziert, wobei der Erzeugungsschritt ferner das Sammeln von geografischen und/oder räumlichen Informationen über statische Objekte aus dem EDGE-Knotenspeicher und das Erzeugen der vereinheitlichten Wahrnehmungsausgabe beinhaltet, um die geografischen und/oder räumlichen Informationen zu beinhalten, wobei sich die statischen Objekte innerhalb einer dem EDGE-Knoten entsprechenden EDGE-Zelle befinden.
Das Verfahren nach Anspruch 1, wobei das Verfahren ferner den Schritt des Bestimmens, ob eine oder mehrere Rechenaufgaben, die sich auf die Bestimmung der AV-Aktion beziehen, einer Cloud-Layer zuzuweisen sind, und, wenn bestimmt wird, eine oder mehrere Rechenaufgaben, die sich auf die Bestimmung der AV-Aktion beziehen an die Cloud-Layer, zuzuweisen, das Senden von Aufgabeninformationen an eine Cloud-Vorrichtung der Cloud-Layer umfasst, wobei das Trägerfahrzeug ferner eingerichtet ist, um zu bestimmen, ob die AV-Aktion mit einer fahrzeugbestimmten AV-Aktion kollidiert und, wenn ja, um eine Aktion mit minimalem Risiko durchzuführen.
Ein Verfahren zum Bestimmen einer autonomen Fahrzeug-(AV)-Aktion für ein Trägerfahrzeug, wobei das Verfahren die folgenden Schritte umfasst: Erhalten von Sensordaten von fahrzeugseitigen Sensoren von mindestens einem fahrzeugseitigen Sensor, wobei der fahrzeugseitige Sensor ein Teil der Fahrzeugelektronik des Trägerfahrzeugs ist; Erhalten von fahrzeugseitigen Sensordaten von einem oder mehreren anderen Fahrzeugen; Bestimmen, ob eine Fahrzeugaufgabe einer EDGE-Layer zugeordnet werden soll; wenn bestimmt wird, die Fahrzeugaufgabe der EDGE-Layer zuzuordnen, Senden der fahrzeugseitigen Sensordaten vom Trägerfahrzeug an einen EDGE-Knoten der EDGE-Layer, wobei der EDGE-Knoten eingerichtet ist: Transformieren der fahrzeugseitigen Sensordaten des Trägerfahrzeugs und der fahrzeugseitigen Sensordaten des einen oder der mehreren anderen Fahrzeuge in ein homogenes Koordinatensystem; Bestimmen, basierend auf den transformierten fahrzeugseitigen Sensordaten, einer vereinheitlichten Wahrnehmungsausgabe; Ausführen der Fahrzeugaufgabe basierend auf der vereinheitlichten Wahrnehmungsausgabe, um eine Fahrzeugaufgabeausgabe zu erhalten; und Senden der Fahrzeugaufgabeausgabe an das Trägerfahrzeug; Empfangen der Fahrzeugaufgabenausgabe am Trägerfahrzeug vom EDGE-Knoten; und Durchführen einer AV-Aktion basierend auf der Fahrzeugaufgabenausgabe am Trägerfahrzeug.
Ein autonomes Fahrzeug-(AV-)Wahrnehmungssystem, umfassend: eine EDGE-Layer, die mindestens einen EDGE-Knoten und mindestens einen EDGE-Sensor beinhaltet, wobei der EDGE-Sensor kommunikativ mit dem mindestens einen EDGE-Knoten gekoppelt ist und der mindestens eine EDGE-Knoten einen Prozessor, einen Speicher, der kommunikativ mit dem Prozessor gekoppelt ist, und eine drahtlose Kommunikationsvorrichtung, die kommunikativ mit dem Prozessor gekoppelt ist, beinhaltet; und eine Fahrzeug-Layer, die ein Trägerfahrzeug beinhaltet, wobei das Trägerfahrzeug mindestens einen fahrzeugseitigen Sensor, eine drahtlose Kommunikationsvorrichtung und eine AV-Steuereinheit beinhaltet, wobei die EDGE-Layer und die Fahrzeug-Layer eingerichtet sind, zum: Erhalten von fahrzeugseitigen Sensordaten von dem mindestens einen fahrzeugseitigen Fahrzeugsensor des Trägerfahrzeugs; Erhalten von EDGE-Sensordaten von dem mindestens einen EDGE-Sensor der EDGE-Layer; Erzeugen einer vereinheitlichten Wahrnehmungsausgabe basierend auf den fahrzeugseitigen Sensordaten und den EDGE-Sensordaten; Bestimmen, basierend auf der vereinheitlichten Wahrnehmungsausgabe, einer AV-Aktion für das Trägerfahrzeug; und Bereitstellen der AV-Aktion für das Trägerfahrzeug, wobei das Trägerfahrzeug eingerichtet ist, um die AV-Aktion unter Verwendung der AV-Steuereinheit auszuführen.