DE112022003364T5

DE112022003364T5 - Komplementäres steuersystem für ein autonomes fahrzeug

Info

Publication number: DE112022003364T5
Application number: DE112022003364.9T
Authority: DE
Inventors: Nicolas Vandapel; Shadi Jammoul; Russell Schloss; Basel Alghanem; Yujun Wang; Benjamin BALLARD; Limin Wu
Original assignee: Ford Global Technologies LLC
Current assignee: Ford Global Technologies LLC
Priority date: 2021-07-29
Filing date: 2022-07-27
Publication date: 2024-04-25
Also published as: CN117836184A; US12012097B2; WO2023010043A1; US20230033297A1

Abstract

Es werden Systeme und Verfahren zur komplementären Steuerung eines autonomen Fahrzeugs (AV) offenbart. Die Verfahren beinhalten Empfangen von Informationen, die eine aktive Trajektorie eines AV umfassen, der das AV für einen Planungshorizont zu folgen beabsichtigt. Die Verfahren beinhalten zudem Verwenden der aktiven Trajektorie, um eine oder mehrere Regionen in einer Umgebung des AV zu identifizieren, wie etwa eine Rückgriffüberwachungsregion (FMR) und eine aktive Überwachungsregion (AMR), und Generieren einer oder mehrerer Anweisungen zum Veranlassen, dass das AV eine Kollisionsminderungsmaßnahme ausführt, als Reaktion darauf, dass ein Objekt innerhalb der AMR detektiert wird. Die Verfahren beinhalten ferner Übertragen der einen oder der mehreren Anweisungen an eine AV-Plattform (AVP) zur Ausführung.

Description

QUERVERWEIS UND PRIORITÄTSANSPRUCH
Diese Patentanmeldung beansprucht die Priorität der US-Patentanmeldung Nr. 17/389 121 , eingereicht am 29. Juli 2021, die durch Bezugnahme vollumfänglich in diese Schrift aufgenommen wird.
ALLGEMEINER STAND DER TECHNIK
Autonome Fahrzeuge (autonomous vehicles - AV) werden entweder zum Navigieren und Betreiben von unbemannten Fahrzeugen oder zum Unterstützen eines Fahrzeugführers entwickelt und können viele unterschiedliche Arten von Sensoren, Automation, Robotik und anderen computergesteuerten Systemen und Mechanismen nutzen. Mit bestehender Technologie können AVs ohne Weiteres das Fahren mit anderen Fahrzeugen auf Fahrbahnen, wie etwa Autobahnen, bewältigen.
Sicherheit ist ein Anliegen von größter Bedeutung, das die Entwicklung und weit verbreitete Einführung von AVs stark beeinflusst. Dies beinhaltet die Sicherheit von Fahrgästen und Fracht innerhalb eines AV, die Sicherheit von Fahrgästen und Fracht in anderen (autonomen und von Menschen gesteuerten) Fahrzeugen, Fußgängern, Eigentum und so weiter. Selbst bei den heutigen fortschrittlichen Rechensystemen können Fehler aufgrund des Ausfalls einer oder mehrerer Steuereinheiten innerhalb der AV-Architektur auftreten.
Einige AV-Systeme setzen ein oder mehrere identische redundante Steuerungssysteme ein, die derart die gleichen Funktionen ausführen, dass im Falle eines Ausfalls einer Steuerung eine redundante Steuerung das Steuern übernehmen kann. Derartige Redundanzen in Hardware und Software für Steuersysteme führen jedoch zu erhöhter Systemkomplexität, erhöhtem Energieverbrauch, erhöhtem Fahrzeuggewicht und Kostenineffizienzen.
Dieses Dokument beschreibt Verfahren und Systeme, die darauf gerichtet sind, die vorstehend beschriebenen Probleme und/oder andere Schwierigkeiten anzugehen.
KURZDARSTELLUNG
In verschiedenen Szenarien werden Systeme und Verfahren zur komplementären Steuerung eines autonomen Fahrzeugs offenbart. Die Verfahren können durch eine komplementäre Steuerung ausgeführt werden und können Empfangen von Informationen, die eine aktive Trajektorie eines AV umfassen, von einer primären Steuerung beinhalten, wobei die aktive Trajektorie ein Weg ist, dem das AV für einen Planungshorizont zu folgen beabsichtigt. Die Verfahren beinhalten zudem Verwenden der aktiven Trajektorie zum Identifizieren einer oder mehrerer Regionen in einer Umgebung des AV, wie zum Beispiel einer Rückgriffüberwachungsregion (fallback monitoring region - FMR) und einer aktiven Überwachungsregion (active monitoring region - AMR). Die Verfahren beinhalten ferner Generieren einer oder mehrerer Anweisungen zum Veranlassen, dass das AV eine Kollisionsminderungsmaßnahme ausführt, als Reaktion darauf, dass ein Objekt innerhalb der AMR detektiert wird, und Übertragen der einen oder der mehreren Anweisungen an eine AV-Plattform (AV platform - AVP) zur Ausführung.
In einigen Umsetzungen können die Verfahren Folgendes durch eine primäre Steuerung beinhalten: Empfangen eines ersten Satzes von Sensordaten von einem primären Sensorsystem und eines zweiten Satzes von Sensordaten von dem sekundären Sensorsystem, Generieren der aktiven Trajektorie auf Grundlage des ersten Satzes von Sensordaten und des zweiten Satzes von Sensordaten und Übertragen primärer Navigationsanweisungen zum Navigieren des AV entlang der aktiven Trajektorie zur Übertragung an die AVP an die komplementäre Steuerung. Optional kann die komplementäre Steuerung die primären Navigationsanweisungen zur Übertragung an die AVP empfangen und die Übertragung der empfangenen primären Navigationsanweisungen an die AVP während des Übertragens der einen oder der mehreren Anweisungen an die AVP anhalten. In verschiedenen Ausführungsformen kann die komplementäre Steuerung die eine oder die mehreren Anweisungen zum Veranlassen generieren, dass das AV die Kollisionsminderungsmaßnahme ausführt, wenn bestimmt wird, dass die Navigationsanweisungen eine Abbremsanweisung beinhalten, die größer als eine maximal erlaubte Abbremsung ist.
In einigen anderen Umsetzungen kann die komplementäre Steuerung die eine oder die mehreren Anweisungen nur als Reaktion darauf generieren, dass bestimmt wird, dass ein Risiko einer Kollision mit dem Objekt größer als ein Schwellenwert ist. Das Risiko einer Kollision kann zum Beispiel auf Grundlage von einem Zustand des Objekts, einem Zustand des AV, Umgebungsbedingungen, Erfassungspipelineleistungsfähigkeit und/oder Detektionspipelineleistungsfähigkeit bestimmt werden.
Optional kann die Kollisionsminderungsmaßnahme Veranlassen beinhalten, dass das AV unter Verwendung einer maximal erlaubten Abbremsung zum Anhalten kommt.
In gewissen Umsetzungen kann die komplementäre Steuerung die eine oder die mehreren Anweisungen zum Veranlassen, dass das AV die Kollisionsminderungsmaßnahme ausführt, nur dann generieren, falls eine Anweisung zum Ausführen eines Zustands einer Kollision mit minimalem Risiko (minimum risk collision - MRC) durch die komplementäre Steuerung empfangen worden ist, wenn detektiert wird, dass ein zweites Objekt innerhalb eines Bereichs der FMR vorhanden ist, der die AMR nicht beinhaltet.
Optional kann die Anweisung zum Ausführen des MRC-Zustands von einer primären Steuerung nach Detektion eines Fehlers in einer oder mehreren Funktionen der primären Steuerung empfangen werden.
In einigen anderen Umsetzungen kann die komplementäre Steuerung die Übertragung der einen oder der mehreren Anweisungen an die AVP als Reaktion darauf anhalten, dass ein Fehler innerhalb der komplementären Steuerung bestimmt wird. Der Fehler kann zum Beispiel einen Posenbestimmungsfehler, einen Sensorfehler, einen Sensorkommunikationsfehler, einen Kommunikationsfehler der primären Steuerung oder einen Wahrnehmungsfehler beinhalten.
In einigen Szenarien wird ein Computerprogrammprodukt offenbart. Das Computerprogrammprodukt kann einen Speicher und Programmieranweisungen beinhalten, die dazu konfiguriert sind, einen Prozessor dazu zu veranlassen, Informationen, die eine aktive Trajektorie eines AV beinhalten, von einer primären Steuerung zu empfangen, wobei die aktive Trajektorie ein Weg ist, dem das AV für einen Planungshorizont zu folgen beabsichtigt. Der Prozessor kann die aktive Trajektorie verwenden, um eine oder mehrere Regionen in einer Umgebung des AV zu identifizieren, wie zum Beispiel eine Rückgriffüberwachungsregion (FMR) und eine aktive Überwachungsregion (AMR). Der Prozessor kann dann eine oder mehrere Anweisungen zum Veranlassen generieren, dass das AV eine Kollisionsminderungsmaßnahme ausführt, falls ein Objekt innerhalb der AMR vorhanden ist, und die eine oder die mehreren Anweisungen an eine AV-Plattform (AVP) zur Ausführung übertragen.
In einigen anderen Szenarien werden Systeme und Verfahren zur komplementären Steuerung eines autonomen Fahrzeugs offenbart. Die Verfahren können durch eine komplementäre Steuerung ausgeführt werden und können Detektieren eines auslösenden Ereignisses und Veranlassen, dass eine AV-Plattform eine Failover-Anhaltemaßnahme einleitet, um das AV entlang einer aktiven Trajektorie zum Anhalten zu bringen, nach dem Detektieren des auslösenden Ereignisses beinhalten. Das auslösende Ereignis kann zum Beispiel den Empfang von Anweisungen von der primären Steuerung zum Ausführen eines Zustands einer Bedingung mit minimalem Risiko (minimum risk condition - MRC) des AV, einen Fehler, der einer Kommunikation zwischen verschiedenen Teilsystemen des AV zugeordnet ist, usw. beinhalten.
Optional kann die aktive Trajektorie eine Trajektorie sein, die innerhalb einer Schwellenzeit vor der Detektion des auslösenden Ereignisses von der primären Steuerung empfangen wird.
Optional kann die Failover-Anhaltemaßnahme Bringen des AV zum Anhalten entlang der aktiven Trajektorie ohne Anwendung einer maximal erlaubten Abbremsung beinhalten. Zusätzlich und/oder alternativ kann die Failover-Anhaltemaßnahme Bringen des AV zum Anhalten entlang der aktiven Trajektorie durch Anwendung einer maximal erlaubten Abbremsung nach Detektion eines Objekts innerhalb einer Rückgriffüberwachungsregion entlang der aktiven Trajektorie beinhalten.
Optional kann der Fehler, der der Nachricht zugeordnet ist, zum Beispiel Fehler in Kommunikationen zwischen der primären Steuerung und der komplementären Steuerung und/oder Fehler in Kommunikationen zwischen einem oder mehreren Sensoren und der komplementären Steuerung beinhalten.
In einigen Umsetzungen kann die komplementäre Steuerung die Anweisungen zum Ausführen des MRC-Zustands von der primären Steuerung nach Detektion eines Fehlers in einer oder mehreren Funktionen der primären Steuerung empfangen.
Die komplementäre Steuerung kann zudem eine Bereitstellung einer ersten Vielzahl von Anweisungen, die von der primären Steuerung empfangen wird, an die AV-Plattform nach Detektion des auslösenden Ereignisses anhalten.
In einigen Szenarien wird ein Computerprogrammprodukt offenbart. Das Computerprogrammprodukt kann einen Speicher und Programmieranweisungen beinhalten, die dazu konfiguriert sind, einen Prozessor dazu zu veranlassen, ein auslösendes Ereignis zu detektieren und nach dem Detektieren des auslösenden Ereignisses zu veranlassen, dass eine AV-Plattform eine Failover-Anhaltemaßnahme einleitet, um das AV entlang einer aktiven Trajektorie zum Anhalten zu bringen. Das auslösende Ereignis kann zum Beispiel den Empfang von Anweisungen von der primären Steuerung zum Ausführen eines Zustands einer Bedingung mit minimalem Risiko (MRC) des AV, einen Fehler, der einer Kommunikation zwischen einem oder mehreren Teilsystemen des AV zugeordnet ist, usw. beinhalten.
KURZE BESCHREIBUNG DER ZEICHNUNGEN

1 veranschaulicht ein beispielhaftes System, das ein autonomes Fahrzeug beinhaltet.
2 ist ein Ablaufdiagramm, das ein beispielhaftes Verfahren zur Ausführung einer Kollisionsminderung durch eine komplementäre Steuerung veranschaulicht.
3 veranschaulicht beispielhafte Überwachungsregionen, die in der unmittelbaren Umgebung des autonomen Fahrzeugs bestimmt werden.
4 ist ein Ablaufdiagramm, das ein beispielhaftes Verfahren zur Ausführung einer Failover-Anhaltemaßnahme durch eine komplementäre Steuerung veranschaulicht.
5 ist ein Blockdiagramm, das lokale und globale Überwachungseinrichtungen zum Durchführen von Diagnosen veranschaulicht.
6 veranschaulicht ein Blockdiagramm verschiedener Komponenten einer beispielhaften primären Steuerung eines autonomen Fahrzeugs.
7 ist ein Blockdiagramm, das verschiedene Elemente eines möglichen elektronischen Teilsystems eines AV und/oder einer externen elektronischen Vorrichtung veranschaulicht.

DETAILLIERTE BESCHREIBUNG
Wie in diesem Dokument verwendet, beinhalten die Singularformen „ein“, „eine“ und „der/die/das“ Pluralbezüge, sofern der Kontext nicht eindeutig etwas anderes vorgibt. Sofern nicht anders definiert, weisen alle in dieser Schrift verwendeten fachlichen und wissenschaftlichen Ausdrücke die gleiche Bedeutung auf, wie sie gemeinhin vom Durchschnittsfachmann auf dem Fachgebiet verstanden wird. Wie in diesem Dokument verwendet, bedeutet der Ausdruck „umfassend“ „beinhaltend, aber nicht beschränkt auf”. Definitionen für zusätzliche Ausdrücke, die für dieses Dokument relevant sind, sind am Ende dieser detaillierten Beschreibung beinhaltet.
Die folgende Offenbarung beschreibt eine primäre Steuerung zum Steuern der Vorgänge eines AV unter normalen Betriebsbedingungen. Die Offenbarung beschreibt ferner eine komplementäre Steuerung, die dazu konfiguriert ist, die Führung des AV von der primären Steuerung zu übernehmen und die Vorgänge des AV zum Durchführen einer Kollisionsminderung und/oder bei Auftreten eines Ausfalls oder eines anderen auslösenden Ereignisses (wie nachstehend beschrieben) ohne unmittelbares Eingreifen eines menschlichen Fahrers selbst zu steuern.
Bevor die Details des komplementären Steuersystems beschrieben werden, ist es nützlich, einige Hintergrundinformationen über Systeme für autonome Fahrzeuge (AV-Systeme) bereitzustellen. 1 ist ein Blockdiagramm, das ein beispielhaftes System 100 veranschaulicht, das ein AV 101 in Kommunikation mit einem oder mehreren Datenspeichern 102 und/oder einem oder mehreren Servern 103 über ein Netzwerk 110 beinhaltet. Obwohl ein AV gezeigt ist, können mehrere AVs über das Netzwerk 110 aneinander gekoppelt und/oder an Datenspeicher 102 und/oder Server 103 gekoppelt sein. Das Netzwerk 110 kann eine beliebige Art von Netzwerk sein, wie etwa ein lokales Netzwerk (local area network - LAN), ein Weitverkehrsnetzwerk (wide area network - WAN), wie etwa das Internet, ein Mobilfunknetzwerk, ein Satellitennetzwerk oder eine Kombination davon, und kann drahtgebunden oder drahtlos sein. Bei dem/den Datenspeicher(n) 102 kann es sich um eine beliebige Art von Datenspeicher handeln, wie etwa ohne Einschränkung einen oder mehrere Kartendatenspeicher, Verkehrsinformationsdatenspeicher, Benutzerinformationsdatenspeicher, Point-of-Interest-Datenspeicher oder eine beliebige andere Art von Inhaltsdatenspeicher(n). Bei dem/den Server(n) 103 kann es sich um eine beliebige Art von Servern oder ein Cluster von Servern handeln, wie etwa ohne Einschränkung Web- oder Cloud-Server, Anwendungsserver, Backend-Server oder eine Kombination davon. Der Server 103 ist eine externe elektronische Vorrichtung, die mit dem bordeigenen Rechensystem 110 des AV in Kommunikation steht, entweder über eine drahtlose Verbindung, während das Fahrzeug eine Fahrt unternimmt, oder über eine drahtgebundene oder drahtlose Verbindung, während das Fahrzeug an einer Andockeinrichtung oder Wartungseinrichtung geparkt ist. Der Server 103 kann Daten empfangen, die das AV während seiner Fahrt gesammelt hat, wie etwa Wahrnehmungsdaten und Betriebsdaten. Der Server 103 kann zudem Daten an das AV übermitteln, wie etwa Softwareaktualisierungen, Aktualisierungen von hochauflösenden Karten (high definition maps - HD-Karten), Aktualisierungen von Maschinenlernmodellen und andere Informationen. Spezifische Komponenten innerhalb derartiger Systeme werden in der Erörterung von 7 an späterer Stelle in diesem Dokument beschrieben.
Gewisse Komponenten oder Teilsysteme des AV 101 können in Prozessorhardware und computerlesbaren Programmieranweisungen verkörpert sein, die Teil des bordeigenen Rechensystems 110 des AV sind. Die Teilsysteme können eine primäre Steuerung 121, eine komplementäre Steuerung 122 und eine AV-Plattform (AVP) 123 beinhalten. Die primäre Steuerung 121 und/oder die komplementäre Steuerung 122 können Steueranweisungen an die AVP 123 zum Steuern der Navigation des AV in einem autonomen Modus übertragen. Die AVP 123 kann das AV gemäß den empfangenen Anweisungen navigieren, um zum Beispiel Bremsung über eine Bremssteuerung; Richtung über eine Lenksteuerung; Geschwindigkeit und Beschleunigung über eine Drosselsteuerung (bei einem benzinbetriebenen Fahrzeug) oder eine Elektromotordrehzahlsteuerung (wie etwa eine Strompegelsteuerung bei einem Elektrofahrzeug); eine Differentialgetriebesteuerung (bei Fahrzeugen mit Getrieben); und/oder andere Steuerungen zu steuern. Einige oder alle dieser Komponenten können durch die AVP 123 unter Verwendung einer Vielfalt von Kommunikationssignalen und/oder - befehlen, wie zum Beispiel Beschleunigungssignalen oder -befehlen, Abbremssignalen oder - befehlen, Lenksignalen oder -befehlen, Bremssignalen oder -befehlen usw., gesteuert werden.
In gewissen Ausführungsformen kann die primäre Steuerung 121 der AVP 123 mindestens einige der Anweisungen zur Ausführung über die komplementäre Steuerung 122 bereitstellen. Beispiele für derartige Anweisungen können ohne Einschränkung Bewegungs- und Planungsbefehle (z. B. Drehmoment, Lenkung, Getriebeposition usw.), externe Kommunikationen mit Verkehrsteilnehmern (z. B. Blinker, Hupe, Gefahren usw.), Scheinwerferbefehle, Statusinformationen (d. h. Informationen, die sich auf die derzeitige Leistungsfähigkeit des AV beziehen), Modusinformationen (d. h., ob das AV in einem autonomen Modus, einem teilautonomen Modus oder in einem benutzergesteuerten Modus betrieben wird) oder dergleichen beinhalten. Die komplementäre Steuerung 122 kann abhängig von einem Zustand des AV, der AVP, der primären Steuerung und/oder der komplementären Steuerung eine Entscheidung darüber treffen, ob die Befehle der primären Steuerung 121 an die AVP 123 weiterzugeben sind oder nicht (wie nachstehend erörtert).
Die primäre Steuerung 121 beinhaltet ein primäres Wahrnehmungssystem 121(a), das primäre Sensoren beinhaltet, die Informationen über sich bewegende Akteure und andere Objekte aufzeichnen, die in der unmittelbaren Umgebung des Fahrzeugs existieren. Die komplementäre Steuerung 122 beinhaltet zudem ein sekundäres Wahrnehmungssystem 122(a), das sekundäre Sensoren beinhaltet, die Informationen über sich bewegende Akteure und andere Objekte aufzeichnen, die in mindestens einem Teil der unmittelbaren Umgebung des Fahrzeugs existieren (einer Wahrnehmungsregion, wie nachstehend erörtert). Beispiele für derartige Sensoren beinhalten ohne Einschränkung ein LiDAR-System, ein System zur funkgestützten Abstands- und Geschwindigkeitsmessung (radio detection and ranging system - RADAR-System), ein System zur lasergestützten Abstands- und Geschwindigkeitsmessung (laser detection and ranging system - LADAR-System), ein System zur schallgestützten Navigation und Abstandsmessung (sound navigation and ranging system - SONAR-System), eine oder mehrere Kameras (z. B. Kameras des sichtbaren Spektrums, Infrarotkameras usw.), Temperatursensoren, Positionssensoren (z. B. globales Positionsbestimmungssystem (global positioning system - GPS) usw.), Standortsensoren, Kraftstoffsensoren, Bewegungssensoren (z. B. inertiale Messeinheiten (inertial measurement unit - IMU), inertiale Zeitsteuerungsmodule (inertial timing module - ITM) usw.), Feuchtigkeitssensoren, Belegungssensoren oder dergleichen. Die durch die primären Sensoren aufgezeichneten Daten (wie etwa Digitalbild, LiDAR-Punktwolkendaten oder Radardaten) sind als primäre Wahrnehmungsdaten bekannt und die durch die sekundären Sensoren aufgezeichneten Daten (wie etwa Digitalbild, LiDAR-Punktwolkendaten oder Radardaten) sind als sekundäre Wahrnehmungsdaten bekannt. In verschiedenen Ausführungsformen kann die primäre Steuerung 121 die sekundären Wahrnehmungsdaten von der komplementären Steuerung 122 empfangen. Während des Einsatzes des AV empfängt das AV primäre und/oder sekundäre Wahrnehmungsdaten von einem oder mehreren Sensoren des Wahrnehmungssystems des AV. Die Wahrnehmungsdaten können Daten beinhalten, die für ein oder mehrere Objekte in der Umgebung repräsentativ sind.
Das primäre Wahrnehmungssystem 121(a) kann einen oder mehrere Prozessoren und einen computerlesbaren Speicher mit Programmieranweisungen und/oder trainierten Modellen künstlicher Intelligenz beinhalten, die während einer Fahrt des AV die primären und/oder die sekundären Wahrnehmungsdaten verarbeiten, um Objekte zu identifizieren und jedem in einer Szene detektierten Objekt kategorische Beschriftungen und eindeutige Kennungen zuzuweisen. Kategorische Beschriftungen können Kategorien wie etwa Fahrzeug, Radfahrer, Fußgänger, Gebäude und dergleichen beinhalten. Verfahren zum Identifizieren von Objekten und Zuweisen von kategorischen Beschriftungen zu Objekten sind auf dem Fachgebiet hinlänglich bekannt und es kann ein beliebiger geeigneter Klassifizierungsprozess verwendet werden, wie etwa diejenigen, die Begrenzungsrahmenvorhersagen für detektierte Objekte in einer Szene treffen und neuronale Faltungsnetze oder andere Computer-Vision-Modelle verwenden. Einige derartige Prozesse sind in Yurtsever et al., „A Survey of Autonomous Driving: Common Practices and Emerging Technologies" (IEEE Access, Band 8, S. 58443-58469, 2020) beschrieben.
Das primäre Wahrnehmungssystem 121(a) kann Wahrnehmungsdaten an ein primäres Prognosesystem 121(b) der primären Steuerung liefern. Das primäre Prognosesystem (das auch als Vorhersagesystem bezeichnet werden kann) beinhaltet Prozessoren und computerlesbare Programmieranweisungen, die dazu konfiguriert sind, von dem primären Wahrnehmungssystem 121(a) empfangene Daten zu verarbeiten und Maßnahmen anderer Akteure zu prognostizieren, die das Wahrnehmungssystem detektiert. Das primäre Wahrnehmungssystem sowie das primäre Prognosesystem liefern Daten und Informationen an das primäre Bewegungsplanungssystem 121(c) und das primäre Steuersystem 121(d), sodass die empfangenden Systeme derartige Daten auswerten und eine beliebige Anzahl von reaktiven Bewegungen auf derartige Daten einleiten können. Das primäre Bewegungsplanungssystem 121(c) und das Steuersystem 121(d) beinhalten und/oder teilen sich einen oder mehrere Prozessoren und computerlesbare Programmieranweisungen, die dazu konfiguriert sind, von den anderen Systemen empfangene Daten zu verarbeiten, eine Trajektorie für das Fahrzeug zu bestimmen und Befehle an Fahrzeughardware auszugeben, um das Fahrzeug gemäß der bestimmten Trajektorie zu bewegen. Beispielhafte Maßnahmen, die derartige Befehle veranlassen können, beinhalten Veranlassen, dass das Bremssteuersystem des Fahrzeugs betätigt wird, Veranlassen, dass das Beschleunigungssteuerteilsystem des Fahrzeugs die Geschwindigkeit des Fahrzeugs erhöht, oder Veranlassen, dass das Lenksteuerteilsystem des Fahrzeugs das Fahrzeug wendet. Verschiedene Bewegungsplanungstechniken sind hinlänglich bekannt, wie zum Beispiel in Gonzalez et al., „A Review of Motion Planning Techniques for Automated Vehicles", veröffentlicht in IEEE Transactions on Intelligent Transportation Systems, Band 17, Nr. 4 (April 2016), beschrieben.
Die primäre Steuerung 121 kann zudem ein primäres Diagnosesystem 121(e) beinhalten, das einen oder mehrere Prozessoren und einen computerlesbaren Speicher mit Programmieranweisungen und/oder trainierten Modellen künstlicher Intelligenz beinhalten kann, die während einer Fahrt des AV die Gesundheit der primären Steuerung 121 überwachen können. Zum Beispiel kann das primäre Diagnosesystem 122(e) die Gesundheit der primären Steuerung 121 überwachen, indem es Informationen analysiert, die sich ohne Einschränkung auf eine Leistungszufuhr; Speicherkonsistenz; Gesundheit verschiedener Kommunikationsschnittstellen (z. B. mit Sensorsystemen, der bordeigenen Rechenvorrichtung usw., die unter Verwendung eines Zählers, einer Prüfsumme usw. überprüft werden, um fehlende Nachrichten, veraltete Nachrichten, beschädigte Nachrichten oder dergleichen zu bestimmen); Quer- und Längsplausibilität; Status der Fähigkeit zur Generierung einer aktiven Trajektorie; Arbitrierungsgesundheit; Sensorgesundheitsdaten, die Qualität und Häufigkeit der zugeführten Daten beinhalten; usw. beziehen. Das primäre Diagnoseteilsystem 121(e) kann zudem auf Probleme bei der AVP 123 überwachen, wie etwa Gesundheitsstatus, Leistungsstatus, Kommunikationsgesundheit, Fähigkeitsstatus, Arbitrierungsgesundheit usw. Optional kann die AVP 123 ihr eigenes Diagnosesystem beinhalten. Das primäre Diagnoseteilsystem 121(e) kann optional bestimmen, ob das AV in einen Zustand einer Kollision mit minimalem Risiko (MRC) überführt werden muss. Das primäre Diagnoseteilsystem 121(e) kann bestimmen, dass das AV in den MRC-Zustand überführt werden muss, wenn zum Beispiel ein Hardwarefehler bei der primären Steuerung detektiert wird (z. B. Speicherfehler, zu hohe Temperatur, Stromausfall usw.), das Wahrnehmungssystem eine Nachricht veröffentlicht, die eine Plausibilitätsprüfung nicht besteht, wie etwa eine Nachrichtenzeitüberschreitung (z. B. empfängt die primäre Steuerung eine notwendige Nachricht nicht innerhalb eines Zeitschwellenwerts), das Wahrnehmungssystem eine Nachricht veröffentlicht, die eine Plausibilitätsprüfung nicht besteht, wie etwa eine durch Software überschrittene Latenzgrenze (z. B. Zeit von der empfangenen Eingabe bis zur veröffentlichten Ausgabe) oder dergleichen.
Das primäre Diagnoseteilsystem 121(e) kann eine MRC-Zustandsüberführungsanweisung an die komplementäre Steuerung übertragen (z. B. einmal pro Diagnosezyklus). Nach Empfang einer MRC-Zustandsüberführungsanweisung kann die komplementäre Steuerung Anweisungen an die AVP übertragen, um das AV entlang einer aktiven Trajektorie zum Anhalten zu bringen (nachstehend erörtert).
Das sekundäre Wahrnehmungssystem 122(a) kann einen oder mehrere Prozessoren und einen computerlesbaren Speicher mit Programmieranweisungen und/oder trainierten Modellen künstlicher Intelligenz beinhalten, die während einer Fahrt des AV nur die sekundären Wahrnehmungsdaten verarbeiten, um Objekte zu identifizieren und jedem in einer Szene detektierten Objekt kategorische Beschriftungen und eindeutige Kennungen zuzuweisen (wie vorstehend erörtert). Das sekundäre Wahrnehmungssystem 122(a) kann zudem Informationen von der primären Steuerung 121 empfangen, wie etwa ohne Einschränkung eine aktive Trajektorie des autonomen Fahrzeugs, Informationen, die sich auf eine derzeitige Pose des autonomen Fahrzeugs beziehen, Diagnoseinformationen und MRC-Zustandsinformationen. Das sekundäre Wahrnehmungssystem 122(a) kann die empfangenen Informationen verarbeiten und analysieren, um zum Beispiel verschiedene Regionen der aktiven Trajektorie zu identifizieren (z. B. erreichbare Region, Rückgriffüberwachungsregion, aktive Überwachungsregion usw. - nachstehend erörtert), und die Sensordaten analysieren (z. B. Sensorfusion, Prüfungen auf falsch positive Ergebnisse usw.), um das Vorhandensein von Objekten innerhalb einer oder mehrerer der identifizierten Regionen zu bestimmen.
Zusätzlich zu dem sekundären Wahrnehmungssystem 122(a) kann die komplementäre Steuerung 122 zudem ein Wegfolgersystem 122(b) beinhalten, das einen oder mehrere Prozessoren und computerlesbare Programmieranweisungen beinhaltet, die dazu konfiguriert sind, von anderen Systemen empfangene Daten zu verarbeiten, zu bestimmen, ob es Befehle für die AVP durch die primäre Steuerung an die AVP weitergeben sollte, eine Kollisionsminderungsmaßnahme einzuleiten, eine Notbremsung einzuleiten oder dergleichen. Das Wegfolgersystem kann optional Befehle an Fahrzeughardware ausgeben, wie etwa die AVP 123, um das Fahrzeug auf Grundlage der Bestimmung zu bewegen (z. B. einer Trajektorie zur Kollisionsminderung zu folgen, eine Notbremsung durchzuführen usw.).
Optional kann die komplementäre Steuerung 122 zudem ein sekundäres Diagnosesystem 122(c) beinhalten, das einen oder mehrere Prozessoren und computerlesbare Programmieranweisungen beinhaltet, die dazu konfiguriert sind, Informationen zu sammeln und zu analysieren, die sich auf die Gesundheit und die Funktionsweise der primären Steuerung 121, der AVP 123 und/oder der komplementären Steuerung 122 selbst beziehen. Zum Beispiel kann das sekundäre Diagnosesystem 122(c) ohne Einschränkung Sensorkommunikationsfehler überwachen (z. B. spät, fehlend usw.), AVS-Kommunikationsfehler überwachen (z. B. spät, fehlend usw.), Sensorfehler überwachen (z. B. Qualität oder Häufigkeit von Sensordaten), Aufgabenlatenz überwachen, Fehler bei eingegebener Kommunikation überwachen (z. B. spät, fehlend usw.), Nachrichtengröße überwachen, Speicherfehler überwachen, Eingabe-/Ausgabeaufgaben überwachen, Leistungszufuhr überwachen; oder dergleichen. Das sekundäre Diagnosesystem 122(c) kann zudem Diagnoseinformationen der primären Steuerung und/oder MRC-Zustandsüberführungsanweisungen von der primären Steuerung empfangen und analysieren. Das sekundäre Diagnosesystem 122(c) kann die empfangenen Informationen verarbeiten und analysieren, um zum Beispiel Fehler in dem sekundären Sensorsystem, der primären Steuerung, Fehler in Posenberechnungen, die durch die komplementäre Steuerung durchgeführt werden; Fehler in der Funktionsweise des sekundären Wahrnehmungssystems oder dergleichen zu bestimmen. Das sekundäre Diagnosesystem 122(c) kann die Diagnoseinformationen dem primären Diagnosesystem 121(e) bereitstellen.
Wie nachstehend erörtert, kann die komplementäre Steuerung 122 unter normalen Betriebsbedingungen Anweisungen von der primären Steuerung 121 an die AVP 123 zur Ausführung weitergeben. Unter gewissen Bedingungen (Vorhandensein eines Objekts in einer aktiven Überwachungsregion und/oder bei Auftreten eines auslösenden Ereignisses) kann die komplementäre Steuerung 122 jedoch das Weitergeben von Anweisungen an die primäre Steuerung 121 anhalten und stattdessen der AVP 123 ihre eigenen Anweisungen (Kollisionsminderung oder Notbremsung) zur Ausführung bereitstellen.
Unter nunmehriger Bezugnahme auf 2 ist ein Ablaufdiagramm veranschaulicht, das ein beispielhaftes Verfahren zur Ausführung einer Kollisionsminderung durch eine komplementäre Steuerung veranschaulicht. Bei 202 kann die komplementäre Steuerung eine aktive Trajektorie des AV von der primären Steuerung empfangen. Wie in dieser Schrift verwendet, bezieht sich eine aktive Trajektorie des AV auf einen Weg, dem das AV für einen Planungshorizont zu folgen beabsichtigt (zum Beispiel innerhalb der nächsten 5 Sekunden, 10 Sekunden, 15 Sekunden oder dergleichen) und beinhaltet eine Pose und Geschwindigkeit des AV an einem oder mehreren Punkten (oder jedem Punkt) entlang des Wegs. Die Trajektorie kann zudem eine AV-Beschleunigung an Punkten entlang des Wegs beinhalten. Die primäre Steuerung kann die aktive Trajektorie unter Verwendung beliebiger nun oder künftig bekannter Verfahren generieren. Die Informationen über die aktive Trajektorie können mit einer Frequenz von etwa 5-15 Hz, etwa 6-14 Hz, etwa 7-13 Hz, etwa 8-12 Hz, etwa 9-11 Hz, etwa 8 Hz, etwa 9 Hz, etwa 10 Hz, etwa 11 Hz oder dergleichen (d. h. für jeden Planungshorizont) an die komplementäre Steuerung übertragen werden. In verschiedenen Umsetzungen stellt die primäre Steuerung sicher, dass es für das AV machbar ist, den Weg auszuführen.
Bei 204 kann die komplementäre Steuerung auf Grundlage der empfangenen aktiven Trajektorie eine oder mehrere Regionen in einer unmittelbaren Umgebung des AV bestimmen (z. B. Regionen um das AV, Regionen entlang der aktiven Trajektorie usw.). Die Regionen können ohne Einschränkung eine Sichtfeldregion, eine erreichbare Region, eine momentan erreichbare Region, eine aktive Überwachungsregion (AMR) und/oder eine Rückgriffüberwachungsregion (FMR) beinhalten. Wie in dieser Schrift verwendet, bezieht sich die Sichtfeldregion 301 (in 3) auf eine Region, die durch das kollektive Feld der sekundären Sensoren definiert ist, von denen das AV sekundäre Wahrnehmungsdaten sammeln kann, während es der aktiven Trajektorie folgt. Die erreichbare Region bezieht sich auf eine Vereinigung aller Trajektorie-Rollouts, um eine gewünschte Endgeschwindigkeit (d. h. Punkte oder Regionen, die das AV mit der gewünschten Endgeschwindigkeit erreichen kann) aus einer beliebigen potentiellen Ausgangsposition bei Anwendung einer maximal erlaubten Bremsung aus einer Ausgangsposition zu erreichen, und ist in 3 als Region 302 gezeigt. Die Endgeschwindigkeit kann etwa 0 bis etwa 5 Meilen/Std., etwa 1-4 Meilen/Std. oder etwa 2-3 Meilen/Std. betragen. Die momentane Region bezieht sich andererseits auf eine Teilmenge der erreichbaren Region, die eine Vereinigung aller Trajektorie-Rollouts ist, um die gewünschte Endgeschwindigkeit angesichts des derzeitigen Zustands des AV (z. B. Geschwindigkeit, Pose usw.) zu erreichen, und ist in 3 als Region 303 gezeigt. Die FMR (in 3 als 304 gezeigt) bezieht sich auf ein Polygon entlang der aktiven Trajektorie, wobei das Polygon eine Länge von der derzeitigen Position des AV zu einem Anhaltepunkt aufweist, wobei der Anhaltepunkt ein Punkt auf der aktiven Trajektorie ist, der durch das AV mit einer erlaubten ersten Abbremsrate angesichts der derzeitigen Geschwindigkeit und Pose des AV erreicht werden kann. Die erste Abbremsrate kann derart bestimmt werden, dass das AV zum Anhalten kommen oder eine gewünschte Endgeschwindigkeit erreichen kann, ohne dass ein Objekt, das sich hinter dem AV fortbewegt (in einem angemessenen Abstand und/oder mit einer angemessenen Geschwindigkeit laut den lokalen Verkehrsregeln), mit dem AV kollidiert. Die AMR (in 3 als 305 gezeigt) bezieht sich auf ein Polygon innerhalb der FMR, wobei das Polygon eine Länge von der derzeitigen Position des AV zu einem Anhaltepunkt aufweist, wobei der Anhaltepunkt ein Punkt auf der aktiven Trajektorie ist, der durch das AV mit einer zweiten Abbremsrate (größer als die erste Abbremsrate) angesichts der derzeitigen Geschwindigkeit und Pose des AV erreicht werden kann. Die zweite Abbremsrate kann auf Grundlage der maximal erlaubten Bremsleistung angesichts des derzeitigen Zustands des AV, der Umgebungsbedingungen (z. B. Wetter, Straßenbedingungen usw.); und/oder einer Abbremsrate, die bei einer Bellleistung erreicht wird, die geringer als die maximal erlaubte Bremsleistung ist (z. B. zum Bringen des AV zum Anhalten innerhalb eines vorbestimmten Abstands), erreicht werden. Es ist anzumerken, dass die vorstehenden Regionen kontinuierlich aktualisiert werden, wenn das AV der aktiven Trajektorie folgt.
Die komplementäre Steuerung kann dann sekundäre Wahrnehmungsdaten, die einer Wahrnehmungsregion entsprechen, von den sekundären Sensoren empfangen (206) und die sekundären Wahrnehmungsdaten analysieren, um zu bestimmen, ob ein Objekt innerhalb der FMR vorhanden ist (208). Eine Wahrnehmungsregion (hier nicht gezeigt) bezieht sich auf eine Region innerhalb der Sichtfeldregion, aus der die komplementäre Steuerung sekundäre Wahrnehmungsdaten sammeln wird. Die Wahrnehmungsregion kann auf Grundlage eines derzeitigen Posenzustands des Fahrzeugs (z. B. Kurs, Standort, Geschwindigkeit usw.) bestimmt werden. Die Objekte können Verkehrssignale, Fahrbahnbegrenzungen, andere Fahrzeuge, Fußgänger und/oder Hindernisse usw. beinhalten. Für ein Objekt, das innerhalb der FMR detektiert wird, kann die komplementäre Steuerung zudem für das detektierte Objekt in der FMR den derzeitigen Zustand des Objekts bestimmen. Die Zustandsinformationen können ohne Einschränkung für jedes Objekt Folgendes beinhalten: derzeitigen Standort; derzeitige Geschwindigkeit und/oder Beschleunigung, derzeitigen Kurs; derzeitige Pose; derzeitige Form, Größe oder Grundfläche; Art (z. B. Fahrzeug, Fußgänger, Fahrrad, statisches Objekt, Hindernis); und/oder andere Zustandsinformationen. Falls kein Objekt innerhalb der FMR detektiert wird (208: NEIN), kann die komplementäre Steuerung weiterhin Sensordaten empfangen (206) und die Rückgriffüberwachungsregion überwachen.
Falls jedoch ein Objekt innerhalb der FMR detektiert wird (208: JA), kann die komplementäre Steuerung bestimmen, ob sich das detektierte Objekt innerhalb der AMR befindet (210). Wie vorstehend erörtert, kann die komplementäre Steuerung den Zustand der Objekte bestimmen, die innerhalb der Rückgriffüberwachungsregion detektiert werden, die den derzeitigen Standort beinhaltet und verwendet werden kann, um zu bestimmen, ob sich das Objekt in der AMR befindet. Falls sich das Objekt nicht innerhalb der AMR befindet (210: NEIN), kann die komplementäre Steuerung bestimmen, ob eine derzeit gültige MRC-Zustandsüberführungsanweisung von der primären Steuerung vorliegt (212) (z. B. gespeichert und/oder innerhalb einer Schwellenzweit empfangen).
Falls die eine derzeit gültige MRC-Zustandsüberführungsanweisung von der primären Steuerung vorliegt (212: JA) und/oder falls bestimmt wird, dass sich das detektierte Objekt innerhalb der AMR befindet (210: JA), kann die komplementäre Steuerung ein Risiko einer Kollision mit dem Objekt bestimmen (214). Falls bestimmt wird, dass das Risiko einer Kollision höher als ein gegebener Schwellenwert ist (216: HOCH), kann die komplementäre Steuerung die komplementäre Steuerung bei 218 Anweisungen zum Einleiten und Ausführen einer Kollisionsminderungsmaßnahme generieren.
Die komplementäre Steuerung kann das Risiko einer Kollision zum Beispiel auf Grundlage von Faktoren wie etwa Objektzustand (z. B. Art des Objekts, Größe des Objekts, Längsabstand, Querposition innerhalb der AMR, Entfernung, Entfernungsrate, Längsgeschwindigkeit, Quergeschwindigkeit, Unsicherheit/Konfidenz, die der Vorhersage des Objektzustands zugeordnet ist, zeitliche Persistenz usw.); Zustand des AV (z. B. Bremsmodelle, Pose, Geschwindigkeit usw.); Umweltfaktoren (z. B. Straßengeometrie, Straßenbedingung usw.); Erfassungspipelinepräferenz (Radar-/Lidardaten zu Objekten, Querschnitt, Entfernung usw.); Detektionspipelineleistungsfähigkeit (z. B. Laufzeit, Konfidenz, heterogen ohne Geschwindigkeit, heterogene Leistungsfähigkeit usw.) bestimmen. Falls das Objekt zum Beispiel klein/nicht schwer ist (z. B. ein Pappkarton), kann das Risiko einer Kollision im Vergleich dazu, falls das Objekt ein gefährdeter Verkehrsteilnehmer oder ein anderes Fahrzeug ist (d. h. über dem Schwellenwert), als gering erachtet werden (d. h. unter dem Schwellenwert). Mit anderen Worten kann die komplementäre Steuerung nur Objekte in der AMR als einem potenziellen hohen Risiko einer Kollision zugeordnet betrachten, die ein gewisses Gewicht, gewisse Abmessungen, eine gewisse Dichte, Masse oder dergleichen aufweisen, und in der FMR/AMR detektierte Objekte ignorieren, die nicht die erforderlichen Eigenschaften aufweisen (z. B. Kunststoffstoßfänger, Schlackenbetonblöcke, Halbreifenprofile, kleinen Bauschutt oder dergleichen). Gleichermaßen kann bestimmt werden, dass das Risiko einer Kollision gering ist, falls sich das Objekt in der AMR befindet, aber sich mit einer relativen Geschwindigkeit von einem AV wegbewegt, die mindestens gleich oder höher als die des AV ist. In einem anderen Beispiel kann, falls das Objekt ein anderes Fahrzeug ist, das mindestens teilweise innerhalb der AMR vorhanden ist, aber die Geschwindigkeit des Objekts durch die Detektionspipeline mit weniger als einer gewünschten Konfidenz bestimmt wird, bestimmt werden, dass das Risiko einer Kollision hoch ist. In noch einem anderen Beispiel kann das Risiko einer Kollision hoch sein, falls auf Grundlage des Zustands des AV bestimmt wird, dass das AV selbst bei Anwendung der maximalen Bremsleistung, während sich das Objekt innerhalb der AMR befindet, mit dem Objekt (z. B. einem Fahrzeug) kollidieren und/oder innerhalb eines Schwellenabstands zu dem Objekt kommen wird. Gleichermaßen kann bestimmt werden, dass ein Risiko einer Kollision mit einem Objekt hoch ist, falls das Objekt zum Beispiel plötzlich innerhalb der AMR detektiert wird (d. h. von außerhalb des Sichtfelds der sekundären Sensoren) oder wenn ein Objekt später aufgedeckt wird (d. h., wenn es sich bereits in der AMR befindet). Eine Zeit bis zur Kollision kann auf Grundlage des derzeitigen AV-Zustands und des Objektzustands (z. B. derzeitige Geschwindigkeit, vorhergesagte Trajektorie usw.) bestimmt werden; und es kann bestimmt werden, dass ein Risiko einer Kollision hoch ist, falls die Zeit bis zur Kollision geringer als eine Schwellenzeit ist (z. B. geringer als eine Zeit, die das AV benötigt, um nach Anwendung der maximal erlaubten Bremsleistung zum Anhalten zu kommen, ohne mit dem Objekt zu kollidieren). Andere ähnliche Szenarien zur Risikoauswertung liegen innerhalb des Umfangs dieser Offenbarung.
Ein Beispiel für eine Kollisionsminderungsmaßnahme kann Veranlassen beinhalten, dass die AVP eine maximal erlaubte Bremsung ausführt, um das AV entlang der aktiven Trajektorie zum vollständigen Anhalten zu bringen, bevor es mit dem Objekt in der FMR kollidiert. Andere Beispiele können ohne Einschränkung Lenken entlang der aktiven Trajektorie, Ausgeben eines Warnsignals (z. B. Hupe usw.), Ausgeben eines Alarms an einen Fahrgast des AV) oder dergleichen beinhalten.
Die Kollisionsminderungsmaßnahme kann zudem auf Grundlage der sekundären Wahrnehmungsdaten zugeschnitten werden. Falls zum Beispiel ein Objekt dicht hinter dem AV folgt, kann die Kollisionsminderungsmaßnahme eine Abbremsrate beinhalten, die innerhalb des erlaubbaren Abbremsbereichs für ein derartiges Szenario fällt, um zu vermeiden, dass das Objekt mit der Rückseite des AV kollidiert (z. B. etwa 0,28-0,32 g oder etwa 0,3 g durchschnittliche Abbremsung von 45 mph). In einem anderen Beispiel erlaubt die Kollisionsminderungsmaßnahme, dass das AV vor dem Kollidieren mit dem Objekt und/oder mindestens in einem Schwellenpufferabstand von dem Objekt zum Anhalten kommt, falls ein Objekt innerhalb der AMR detektiert wird. Falls sich das AV einem Verdeckungsbereich nähert, erlaubt die Kollisionsminderungsmaßnahme, dass das AV vor einer Region des Verdeckungsbereichs, in dem ein Objekt erscheinen könnte, und/oder mindestens in einem Schwellenpufferabstand von der Region zum Anhalten kommt. Gleichermaßen kann, falls ein Fahrzeug vor dem AV die Spur wechselt, was ein spätes Aufdecken eines Objekts veranlassen kann, die Kollisionsminderungsmaßnahme erlauben, dass das AV vor einer Region des Verdeckungsbereichs, in dem ein Objekt erscheinen könnte, und/oder mindestens in einem Schwellenpufferabstand von dem Verdeckungsbereich zum Anhalten kommt.
Falls die komplementäre Steuerung jedoch keine MRC-Zustandsüberführungsanweisung von der primären Steuerung empfangen hat (212: NEIN), kann die komplementäre Steuerung weiterhin Sensordaten empfangen (206) und die Rückgriffüberwachungsregion und/oder das detektierte Objekt überwachen. Optional kann das System zudem Detektion, Verfolgung und Vorhersage (zum Beispiel durch Überwachen einer Region außerhalb der AMR) durchführen, um vorherzusagen, ob ein detektiertes Objekt innerhalb einer Schwellenzeit in die AMR eintreten wird, eine Zeit bis zur Kollision zu bestimmen oder dergleichen.
Bei 220 kann die komplementäre Steuerung die generierten Anweisungen an die AVP übertragen, um die bestimmte Kollisionsminderungsmaßnahme auszuführen (z. B. zu veranlassen, dass die Bremssteuerung die maximal erlaubte Bremsleistung anwendet). Nach Einleitung einer Kollisionsminderungsmaßnahme kann die komplementäre Steuerung das Weitergeben der von der primären Steuerung empfangenen Anweisungen für die AVP an die AVP anhalten.
Optional kann die komplementäre Steuerung bei 218 keine Kollisionsminderungsmaßnahme einleiten, falls auf Grundlage der Diagnoseinformationen, die sich auf die komplementäre Steuerung beziehen, bestimmt wird, dass eine oder mehrere Funktionen/Komponenten der komplementären Steuerung einen internen Fehler beinhalten, der größer als ein entsprechender Schwellenwert ist. Beispiele für derartige Fehler können zum Beispiel Posenberechnungsfehler (d. h., die durch die primäre Steuerung bestimmte Pose unterscheidet sich von der durch die komplementäre Steuerung bestimmten um mehr als einen Schwellenwert), Wahrnehmungsfehler, Sensorfehler, Sensorkommunikationsfehler, einen Hardwarefehler bei der sekundären Steuerung (z. B. Speicherfehler, zu hohe Temperatur, Stromausfall usw.), das sekundäre Wahrnehmungssystem veröffentlicht eine Nachricht, die eine Plausibilitätsprüfung nicht besteht, wie etwa eine Nachrichtenzeitüberschreitung (z. B. empfängt die sekundäre Steuerung eine notwendige Nachricht nicht innerhalb eines Zeitschwellenwerts), das sekundäre Wahrnehmungssystem veröffentlicht eine Nachricht, die eine Plausibilitätsprüfung nicht besteht, wie etwa eine durch Software überschrittene Latenzgrenze (z. B. Zeit von der empfangenen Eingabe bis zur veröffentlichten Ausgabe) oder dergleichen beinhalten. In derartigen Szenarien kann die komplementäre Steuerung weiterhin Anweisungen von der primären Steuerung an die AVP weitergeben und/oder der primären Steuerung und/oder einem globalen Diagnosesystem des AV einen Fehlerstatus bereitstellen.
Falls bestimmt wird, dass das Risiko einer Kollision kleiner als der Schwellenwert ist (216: GERING), kann die komplementäre Steuerung weiterhin Sensordaten empfangen (206) und die Rückgriffüberwachungsregion und/oder das detektierte Objekt überwachen. Optional kann das System zudem Detektion, Verfolgung und Vorhersage (zum Beispiel durch Überwachen einer Region außerhalb der AMR) durchführen, um vorherzusagen, ob ein detektiertes Objekt innerhalb einer Schwellenzeit in die AMR eintreten wird, eine Zeit bis zur Kollision zu bestimmen oder dergleichen.
In gewissen Umsetzungen kann die komplementäre Steuerung zudem eine Kollisionsminderungsmaßnahme einleiten, wenn die Anweisungen für die AVP (von der primären Steuerung) Anweisungen zum Durchführen einer Abbremsung mit einer spezifizierten Rate beinhalten, die kleiner als die maximal erlaubte Abbremsung ist, die die AVP das AV zum Ausführen veranlassen kann. In derartigen Szenarien kann die komplementäre Steuerung das Weitergeben von Anweisungen von der primären Steuerung an die AVP anhalten und stattdessen eine Kollisionsminderung einleiten, um das AV durch Anwendung der maximal erlaubten Abbremsung zum Anhalten zu bringen.
4 ist ein Ablaufdiagramm, das ein beispielhaftes Verfahren zur Ausführung einer Failover-Anhaltemaßnahme durch eine komplementäre Steuerung veranschaulicht. Bei 402 kann die komplementäre Steuerung das Auftreten eines auslösenden Ereignisses detektieren, wobei das auslösende Ereignis einem MRC-Überführungszustand zugeordnet ist, der erfordert, dass das AV sanft zum Anhalten kommt (ohne Maßnahme mit maximaler Abbremsung).
In einigen Umsetzungen kann das auslösende Ereignis der Empfang von Anweisungen von der primären Steuerung zum Einleiten des MRC-Überführungszustands sein. Wie vorstehend erörtert, kann die primäre Steuerung eine derartige Anweisung nach Detektion eines auslösenden Ereignisses/Fehlers innerhalb der primären Steuerung, der AVP oder anderer Komponenten des AV übertragen. Beispiele für derartige auslösenden Ereignisse können ohne Einschränkung Kommunikationsverlust zwischen der primären Steuerung und einem oder mehreren Sensoren des primären Sensorsystems, sodass die primäre Steuerung keine Sensordaten empfangen kann, Stromausfall der primären Steuerung, interne Fehler in der primären Steuerung (z. B. Hauptprozessorausfall, PCI-Switch-Ausfall, Ethernet-Switch-Ausfall), Kommunikationsverlust zwischen der primären Steuerung und der AVP, Leistungsverlust der AVP, Betriebsstörung der primären Steuerung, Betriebsstörung der AVP oder dergleichen beinhalten. Es ist anzumerken, dass das auslösende Ereignis ein beliebiges Szenario sein kann, in dem die primäre Steuerung nicht dazu in der Lage ist, das AV zum sicheren Anhalten zu bringen und/oder das AV sicher zu navigieren.
In gewissen anderen Umsetzungen kann die komplementäre Steuerung auf Grundlage von Diagnoseinformationen, die sich auf Folgendes beziehen, bestimmen, dass ein auslösendes Ereignis aufgetreten ist: Kommunikationen zwischen der primären Steuerung und der komplementären Steuerung (z. B. fehlende/veraltete/beschädigte Nachrichten), Kommunikationen zwischen den Sensoren und der komplementären Steuerung (z. B. fehlende/veraltete/beschädigte Nachrichten), Hardwarefehler bei der primären Steuerung, der sekundären Steuerung oder der AVP (z. B. Speicherfehler, zu hohe Temperatur, Stromausfall usw.), das/die Wahrnehmungssystem(e) veröffentlicht/veröffentlichen eine Nachricht, die eine Plausibilitätsprüfung nicht besteht, wie etwa eine Nachrichtenzeitüberschreitung (z. B. empfängt die primäre/sekundäre Steuerung eine notwendige Nachricht nicht innerhalb eines Zeitschwellenwerts), das/die Wahrnehmungssystem(e) veröffentlicht/veröffentlichen eine Nachricht, die eine Plausibilitätsprüfung nicht besteht, wie etwa eine durch Software überschrittene Latenzgrenze (z. B. Zeit von der empfangenen Eingabe bis zur veröffentlichten Ausgabe) oder dergleichen.
Nach Detektion des auslösenden Ereignisses kann die komplementäre Steuerung die zuletzt empfangene aktive Trajektorie von der primären Steuerung verwenden (z. B. eine Trajektorie, die innerhalb der letzten 100 ms und/oder eines beliebigen anderen gewünschten Zeitraums empfangen wurde), um Anweisungen zum Bringen des AV zum Anhalten entlang der aktiven Trajektorie zu generieren (404) (d. h. Überführen in einen MRC-Zustand), und die Anweisungen an die AVP übertragen (406). Die generierten Anweisungen können eine sanfte Abbremsung zu einem Anhaltepunkt entlang der aktiven Trajektorie beinhalten. Ein Regelsatz, der unterschiedliche erlaubbare Abbremsbereiche für verschiedene Szenarien, den Abstand zum Rand der befahrbaren Fläche, den Abstand zur Gegenverkehrsspur, den Abstand vom geplanten Weg des AV oder dergleichen bereitstellt, kann der komplementären Steuerung bereitgestellt werden. Optional können die Anweisungen eine Kollisionsminderungsmaßnahme beinhalten, falls ein Objekt innerhalb der FMR detektiert wird (wie vorstehend erörtert).
Nach Detektion eines auslösenden Ereignisses kann die komplementäre Steuerung zudem das Weitergeben von Anweisungen von der primären Steuerung (für die AVP) an die AVP anhalten.
In einigen Ausführungsformen kann die komplementäre Steuerung auf Grundlage von Informationen, die zum Beispiel von dem primären Diagnoseteilsystem der primären Steuerung, der primären Steuerung, dem sekundären Diagnosesystem und/oder von der AVP (z. B. AVP-Diagnose) empfangen werden, bestimmen, dass ein auslösendes Ereignis aufgetreten ist. Derartige Diagnoseinformationen können unter Verwendung lokaler Überwachungseinrichtungen gesammelt werden. Wie zum Beispiel in 5 veranschaulicht, können die Diagnosesysteme der primären Steuerung, der komplementären Steuerung und/oder der AVP mit einer lokalen Überwachungseinrichtung 516, 518, 520 in Kommunikation stehen. Eine lokale Überwachungseinrichtung 516, 518, 520 kann unter Verwendung von Hardware, Software oder einer Kombination aus Hardware umgesetzt sein. Zum Beispiel kann eine lokale Überwachungseinrichtung 516, 518, 520 als Teil eines Mikrocontrollers umgesetzt sein. Eine lokale Überwachungseinrichtung 516, 518, 520 kann eines oder mehrere von einem Register oder Datenspeicher zum vorübergehenden Speichern von Daten, einem Komparator zum Vergleichen von Daten, einer programmierten Schaltung zum Durchführen eines oder mehrerer kryptographischer Vorgänge und/oder dergleichen beinhalten. Eine lokale Überwachungseinrichtung 516, 518, 520 kann Daten empfangen, die eine oder mehrere Funktionen betreffen, die durch ein Teilsystem ausgeführt werden, und kann diese Informationen verwenden, um mindestens einen Teil des Ausführungsablaufs zu verifizieren, den die Funktion(en) betrifft/betreffen.
5 veranschaulicht zudem einen beispielhaften nichtflüchtigen Speicher (non-volatile memory - NVM) 522, 524, 526,_, der zum Speichern von Informationen verwendet werden kann, wie in dieser Offenbarung ausführlicher erörtert. In verschiedenen Ausführungsformen kann ein NVM 522, 524, 526 eine Master-Hash-Tabelle beinhalten. Eine Master-Hash-Tabelle bezieht sich auf eine Datenstruktur, die verschlüsselte und/oder codierte Informationen speichert, die einer oder mehreren Funktionen zugeordnet sind.
Wie in 5 gezeigt, kann ein Überwachungssystem 500 eine globale Überwachungseinrichtung 525 beinhalten. Eine globale Überwachungseinrichtung 528 kann unter Verwendung von Hardware, Software oder einer Kombination aus Hardware umgesetzt sein. Zum Beispiel kann eine globale Überwachungseinrichtung 528 als Teil eines Mikrocontrollers umgesetzt sein. Eine globale Überwachungseinrichtung 528 kann eines oder mehrere von einem Register oder Datenspeicher zum vorübergehenden Speichern von Daten, einem Komparator zum Vergleichen von Daten, einer programmierten Schaltung zum Durchführen eines oder mehrerer kryptographischer Vorgänge und/oder dergleichen beinhalten. Eine globale Überwachungseinrichtung 528 kann mit einer oder mehreren der lokalen Überwachungseinrichtungen 516, 518, 520 in Kommunikation stehen. Die lokalen Überwachungseinrichtungen 516, 518, 520 können Informationen, die Funktionen oder Aufgaben betreffen, die durch eines oder mehrere ihrer zugeordneten Teilsysteme ausgeführt werden, an eine globale Überwachungseinrichtung 528 senden. Die globale Überwachungseinrichtung 528 kann diese Informationen verwenden, um Muster auf einer höheren Systemebene zu überwachen, zu detektieren oder zu verfolgen. Mit anderen Worten kann eine lokale Überwachungseinrichtung 516, 518, 520 Fehler oder Anomalien auf einer lokalen Ebene detektieren, während eine globale Überwachungseinrichtung 528 Fehler auf Systemebene über einen Zeitraum detektieren kann. In verschiedenen Ausführungsformen kann eine globale Überwachungseinrichtung 528 mit einem Diagnosesystem, wie etwa dem primären Diagnoseteilsystem und/oder dem sekundären Diagnoseteilsystem, in Kommunikation stehen.
Es versteht sich, dass zusätzliche oder alternative Teilsysteme zusammen mit zusätzlichen oder weniger lokalen Überwachungseinrichtungen, NVMs und/oder Konfigurationen von jedem innerhalb des Umfangs dieser Offenbarung verwendet werden können.
6 veranschaulicht eine beispielhafte Systemarchitektur für ein Fahrzeug 601, wie etwa das autonome Fahrzeug 101 aus 1 autonomes Fahrzeug. Das Fahrzeug 601 kann einen Verbrennungsmotor oder Elektromotor 602 und verschiedene Sensoren zum Messen verschiedener Parameter des Fahrzeugs und/oder seiner Umgebung beinhalten. Betriebsparametersensoren, die beiden Arten von Fahrzeugen gemeinsam sind, beinhalten zum Beispiel: einen Positionssensor 636, wie etwa einen Beschleunigungsmesser, ein Gyroskop und/oder eine inertiale Messeinheit; einen Geschwindigkeitssensor 638; und einen Wegmesssensor 640. Das Fahrzeug 601 kann zudem einen Taktgeber 642 aufweisen, den die Systemarchitektur verwendet, um die Fahrzeugzeit während des Betriebs zu bestimmen. Der Taktgeber 642 kann in die bordeigene Rechenvorrichtung 612 des Fahrzeugs codiert sein. Es kann sich um eine separate Vorrichtung handeln oder es können mehrere Taktgeber verfügbar sein.
Das Fahrzeug 601 kann zudem verschiedene Sensoren beinhalten, die betrieben werden, um Informationen über die Umgebung zu erheben, in der das Fahrzeug fährt. Diese Sensoren können zum Beispiel Folgendes beinhalten: einen Standortsensor 660 wie etwa eine GPS-Vorrichtung; Objektdetektionssensoren wie etwa eine oder mehrere Kameras 666; ein LiDAR-Sensorsystem 664; und/oder ein Radar- und oder und/oder ein Sonarsystem 666. Die Sensoren können zudem Umgebungssensoren 668 beinhalten, wie etwa einen Niederschlagssensor und/oder einen Umgebungstemperatursensor. Die Objektdetektionssensoren können es dem Fahrzeug 601 ermöglichen, Objekte zu detektieren, die sich innerhalb eines gegebenen Abstands oder einer gegebenen Entfernung von dem Fahrzeug 601 in einer beliebigen Richtung befinden, während die Umgebungssensoren Daten über Umgebungsbedingungen innerhalb des Fahrbereichs des Fahrzeugs sammeln. Die Systemarchitektur beinhaltet zudem eine oder mehrere Kameras 662 zum Aufzeichnen von Bildern der Umgebung. Beliebige oder alle dieser Sensoren zeichnen Sensordaten auf, die es einem oder mehreren Prozessoren der bordeigenen Rechenvorrichtung 612 des Fahrzeugs und/oder externen Vorrichtungen ermöglichen, Programmieranweisungen auszuführen, die es dem Rechensystem ermöglichen, Objekte in den Wahrnehmungsdaten zu klassifizieren, und alle derartigen Sensoren, Prozessoren und Anweisungen können als das Wahrnehmungssystem des Fahrzeugs betrachtet werden. Das Fahrzeug kann zudem Informationen von einer Kommunikationsvorrichtung (wie etwa einem Sendeempfänger, einer Bake und/oder einem Smartphone) über eine oder mehrere drahtlose Kommunikationsverbindungen empfangen, wie etwa diejenigen, die als Fahrzeug-zu-Fahrzeug-, Fahrzeug-zu-Objekt- oder andere V2X-Kommunikationsverbindungen bekannt sind. Der Ausdruck „V2X“ bezieht sich auf eine Kommunikation zwischen einem Fahrzeug und einem beliebigen Objekt, dem das Fahrzeug in seiner Umgebung begegnen oder das es beeinflussen kann.
Während Betriebsvorgängen werden Informationen von den Sensoren an eine bordeigene Rechenvorrichtung 612 kommuniziert. Die bordeigene Rechenvorrichtung 612 des Fahrzeugs analysiert die durch die Sensoren aufgezeichneten Daten und steuert optional Vorgänge des Fahrzeugs auf Grundlage von Ergebnissen der Analyse. Zum Beispiel kann die bordeigene Rechenvorrichtung 612 Bremsung über eine Bremssteuerung 628; Richtung über eine Lenksteuerung 624; Geschwindigkeit und Beschleunigung über eine Drosselsteuerung 626 (bei einem benzinbetriebenen Fahrzeug) oder eine Elektromotordrehzahlsteuerung 622 (wie etwa eine Strompegelsteuerung bei einem Elektrofahrzeug); eine Differentialgetriebesteuerung 630 (bei Fahrzeugen mit Getrieben); und/oder andere Steuerungen wie etwa eine Hilfsvorrichtungssteuerung 654 steuern.
Geografische Standortinformationen können von dem Standortsensor 660 an die bordeigene Rechenvorrichtung 612 kommuniziert werden, die dann auf eine Karte der Umgebung zugreifen kann, die den Standortinformationen entspricht, um bekannte dauerhafte Merkmale der Umgebung, wie etwa Straßen, Gebäude, Stoppschilder und/oder Ampeln, zu bestimmen. Aufgezeichnete Bilder von den Kameras 662 und/oder Objektdetektionsinformationen, die von Sensoren, wie etwa dem LiDAR-System 664, aufgezeichnet werden, werden von diesen Sensoren an die bordeigene Rechenvorrichtung 612 kommuniziert. Die Objektdetektionsinformationen und/oder die aufgezeichneten Bilder können durch die bordeigene Rechenvorrichtung 612 verarbeitet werden, um Objekte in der Nähe des Fahrzeugs 601 zu detektieren. Zusätzlich oder alternativ kann das Fahrzeug 601 beliebige der Daten zur Verarbeitung an ein Remote-Server-System 103 (1) übertragen. Jede beliebige bekannte oder in Zukunft bekannte Technik zum Vornehmen einer Objektdetektion auf Grundlage von Sensordaten und/oder aufgezeichneten Bildern kann in den in diesem Dokument offenbarten Ausführungsformen verwendet werden.
Zusätzlich kann das autonome Fahrzeug eine bordeigene Anzeigevorrichtung (hier nicht gezeigt) beinhalten, die und Ausgabeschnittstelle generieren kann, auf der Sensordaten, Fahrzeugstatusinformationen oder Ausgaben, die durch die in diesem Dokument beschriebenen Prozesse generiert werden (z. B. verschiedene Karten und Routenführungsinformationen), einem Insassen des Fahrzeugs angezeigt werden. Die Anzeigevorrichtung kann einen Audiolautsprecher beinhalten oder dieser kann eine separate Vorrichtung sein, der derartige Informationen in einem Audioformat präsentiert.
Die bordeigene Rechenvorrichtung 612 kann Kartendaten erlangen, abrufen und/oder erstellen, die detaillierte Informationen über die umliegende Umgebung des autonomen Fahrzeugs bereitstellen. Die bordeigene Rechenvorrichtung 612 kann zudem den Standort, die Ausrichtung, die Pose usw. des AV in der Umgebung (Lokalisierung) zum Beispiel auf Grundlage von dreidimensionalen Positionsdaten (z. B. Daten von einem GPS), dreidimensionalen Ausrichtungsdaten, vorhergesagten Standorten oder dergleichen bestimmen. Zum Beispiel kann die bordeigene Rechenvorrichtung 612 GPS-Daten empfangen, um die Breiten-, Längen- und/oder Höhenposition des AV zu bestimmen. Andere Standortsensoren oder -systeme, wie etwa laserbasierte Lokalisierungssysteme, trägheitsunterstütztes GPS oder kamerabasierte Lokalisierung, können ebenfalls verwendet werden, um den Standort des Fahrzeugs zu identifizieren. Der Standort des Fahrzeugs kann einen absoluten geografischen Standort, wie etwa Breite, Länge und Höhe, sowie relative Standortinformationen beinhalten, wie etwa einen Standort relativ zu anderen Autos in seiner unmittelbaren Umgebung, der häufig mit weniger Rauschen als der absolute geografische Standort bestimmt werden kann. Die Kartendaten können Informationen in Hinsicht auf Folgendes bereitstellen: die Identität und den Standort unterschiedlicher Fahrbahnen, Straßensegmente, Spursegmente, Gebäude oder anderer Elemente; den Standort, die Begrenzungen und Richtungen von Verkehrsspuren (z. B. den Standort und die Richtung einer Parkspur, einer Abbiegespur, einer Fahrradspur oder anderer Spuren innerhalb einer konkreten Fahrbahn) und Metadaten, die Verkehrsspuren zugeordnet sind; Verkehrssteuerungsdaten (z. B. den Standort und Anweisungen von Beschilderung, Ampeln oder anderen Verkehrssteuerungsvorrichtungen); und/oder beliebige andere Kartendaten, die Informationen bereitstellen, die die bordeigene Rechenvorrichtung 612 beim Analysieren der umliegenden Umgebung des autonomen Fahrzeugs 601 unterstützen.
In gewissen Ausführungsformen können die Kartendaten zudem Referenzweginformationen beinhalten, die üblichen Mustern der Fahrzeugfahrt entlang einer oder mehrerer Spuren entsprechen, sodass die Bewegung des Objekts auf den Referenzweg beschränkt ist (z. B. Standorte innerhalb von Verkehrsspuren, auf denen sich ein Objekt üblicherweise fortbewegt). Derartige Referenzwege können vordefiniert sein, wie etwa die Mittellinie der Verkehrsspuren. Optional kann der Referenzweg auf Grundlage von historischen Beobachtungen von Fahrzeugen oder anderen Objekten über einen Zeitraum generiert werden (z. B. Referenzwege für eine geradlinige Fahrt, Spurzusammenführung, ein Abbiegen oder dergleichen).
In gewissen Ausführungsformen kann die bordeigene Rechenvorrichtung 612 zudem Informationen beinhalten und/oder empfangen, die sich auf die Fahrt oder Route eines Benutzers, Echtzeit-Verkehrsinformationen auf der Route oder dergleichen beziehen.
Die bordeigene Rechenvorrichtung 612 kann eine Routenführungssteuerung 631, die eine Navigationsroute von einer Startposition zu einer Zielposition für ein autonomes Fahrzeug generiert, beinhalten und/oder damit in Kommunikation stehen. Die Routenführungssteuerung 631 kann auf einen Kartendatenspeicher zugreifen, um mögliche Routen und Straßensegmente zu identifizieren, auf denen ein Fahrzeug fahren kann, um von der Startposition zu der Zielposition zu gelangen. Die Routenführungssteuerung 631 kann die möglichen Routen bewerten und eine bevorzugte Route zum Erreichen des Ziels identifizieren. Zum Beispiel kann die Routenführungssteuerung 631 eine Navigationsroute generieren, die den zurückgelegten euklidischen Abstand oder eine andere Kostenfunktion während der Route minimiert, und kann ferner auf die Verkehrsinformationen und/oder - schätzungen zugreifen, die eine Zeitdauer beeinflussen können, die zum Fahren auf einer konkreten Route benötigt wird. In Abhängigkeit von der Umsetzung kann die Routenführungssteuerung 631 eine oder mehrere Routen unter Verwendung verschiedener Routenführungsverfahren, wie etwa des Dijkstra-Algorithmus, des Bellman-Ford-Algorithmus oder anderer Algorithmen, generieren. Die Routenführungssteuerung 631 kann zudem die Verkehrsinformationen verwenden, um eine Navigationsroute zu generieren, die erwartete Bedingungen der Route (z. B. den derzeitigen Wochentag oder die derzeitige Tageszeit usw.) widerspiegelt, sodass eine Route, die für Fahrten während der Hauptverkehrszeit generiert wird, sich von einer Route unterscheiden kann, die für Fahrten spät in der Nacht generiert wird. Die Routenführungssteuerung 631 kann zudem mehr als eine Navigationsroute zu einem Ziel generieren und mehr als eine dieser Navigationsrouten an einen Benutzer zur Auswahl durch den Benutzer aus verschiedenen möglichen Routen senden.
In verschiedenen Ausführungsformen kann eine bordeigene Rechenvorrichtung 612 Wahrnehmungsinformationen der umliegenden Umgebung des autonomen Fahrzeugs 601 bestimmen. Auf Grundlage der durch einen oder mehrere Sensoren bereitgestellten Sensordaten und Standortinformationen, die erlangt werden, kann die bordeigene Rechenvorrichtung 612 Wahrnehmungsinformationen der umliegenden Umgebung des autonomen Fahrzeugs 601 bestimmen. Die Wahrnehmungsinformationen können darstellen, was ein gewöhnlicher Fahrer in der umliegenden Umgebung eines Fahrzeugs wahrnehmen würde. Die Wahrnehmungsdaten können Informationen beinhalten, die sich auf ein oder mehrere Objekte in der Umgebung des autonomen Fahrzeugs 601 beziehen. Zum Beispiel kann die bordeigene Rechenvorrichtung 612 Sensordaten (z. B. LiDAR- oder RADARDaten, Kamerabilder usw.) verarbeiten, um Objekte und/oder Merkmale in der Umgebung des autonomen Fahrzeugs 601 zu identifizieren. Die Objekte können Verkehrssignale, Fahrbahnbegrenzungen, andere Fahrzeuge, Fußgänger und/oder Hindernisse usw. beinhalten. Die bordeigene Rechenvorrichtung 612 kann beliebige nun oder künftig bekannte Objekterkennungsalgorithmen, Videoverfolgungsalgorithmen und Computer-Vision-Algorithmen (z. B. iteratives Verfolgen von Objekten pro Einzelbild über eine Reihe von Zeiträumen) verwenden, um die Wahrnehmung zu bestimmen.
In einigen Ausführungsformen kann die bordeigene Rechenvorrichtung 612 zudem für ein oder mehrere identifizierte Objekte in der Umgebung den derzeitigen Zustand des Objekts bestimmen. Die Zustandsinformationen können ohne Einschränkung für jedes Objekt Folgendes beinhalten: derzeitigen Standort; derzeitige Geschwindigkeit und/oder Beschleunigung, derzeitigen Kurs; derzeitige Pose; derzeitige Form, Größe oder Grundfläche; Art (z. B. Fahrzeug ggü. Fußgänger ggü. Fahrrad ggü. statischem Objekt oder Hindernis); und/oder andere Zustandsinformationen.
Die bordeigene Rechenvorrichtung 612 kann einen oder mehrere Vorhersage- und/oder Prognosevorgänge durchführen. Zum Beispiel kann die bordeigene Rechenvorrichtung 612 zukünftige Standorte, Trajektorien und/oder Maßnahmen eines oder mehrerer Objekte vorhersagen. Zum Beispiel kann die bordeigene Rechenvorrichtung 212 die zukünftigen Standorte, Trajektorien und/oder Maßnahmen der Objekte mindestens zum Teil auf Grundlage von Wahrnehmungsinformationen (z. B. den Zustandsdaten für jedes Objekt, die eine geschätzte Form und Pose umfassen, die bestimmt werden, wie nachstehend erörtert), Standortinformationen, Sensordaten und/oder beliebigen anderen Daten vorhersagen, die den vergangenen und/oder derzeitigen Zustand der Objekte, des autonomen Fahrzeugs 601, der umliegenden Umgebung und/oder ihrer Beziehung(en) beschreiben. Falls zum Beispiel ein Objekt ein Fahrzeug ist und die derzeitige Fahrumgebung eine Kreuzung beinhaltet, kann die bordeigene Rechenvorrichtung 612 vorhersagen, ob sich das Objekt wahrscheinlich geradeaus bewegen oder ein Abbiegen ausführen wird. Falls die Wahrnehmungsdaten angeben, dass die Kreuzung keine Ampel aufweist, kann die bordeigene Rechenvorrichtung 612 zudem vorhersagen, ob das Fahrzeug möglicherweise vollständig anhalten muss, bevor es in die Kreuzung einfährt.
In verschiedenen Ausführungsformen kann die bordeigene Rechenvorrichtung 612 einen Bewegungsplan für das autonome Fahrzeug bestimmen. Zum Beispiel kann die bordeigene Rechenvorrichtung 612 einen Bewegungsplan für das autonome Fahrzeug auf Grundlage der Wahrnehmungsdaten und/oder der Vorhersagedaten bestimmen. Spezifisch kann die bordeigene Rechenvorrichtung 612 angesichts von Vorhersagen über die zukünftigen Standorte von nahen Objekten und anderen Wahrnehmungsdaten einen Bewegungsplan für das autonome Fahrzeug 201 bestimmen, der das autonome Fahrzeug am besten relativ zu den Objekten an ihren zukünftigen Standorten navigiert.
In einer oder mehreren Ausführungsformen kann die bordeigene Rechenvorrichtung 612 Vorhersagen empfangen und eine Entscheidung hinsichtlich dessen treffen, wie Objekte und/oder Akteure in der Umgebung des autonomen Fahrzeugs 601 zu handhaben sind. Zum Beispiel entscheidet die bordeigene Rechenvorrichtung 612 für einen konkreten Akteur (z. B. ein Fahrzeug mit einer gegebenen Geschwindigkeit, einer gegebenen Richtung, einem gegebenen Abbiegewinkel usw.) zum Beispiel auf Grundlage von Verkehrsbedingungen, Kartendaten, dem Zustand des autonomen Fahrzeugs usw., ob zu überholen, Vorfahrt zu gewähren, anzuhalten und/oder vorbeizufahren ist. Des Weiteren plant die bordeigene Rechenvorrichtung 612 zudem einen Weg, auf dem das autonome Fahrzeug 201 auf einer gegebenen Route zu fahren hat, sowie Fahrparameter (z. B. Abstand, Geschwindigkeit und/oder Abbiegewinkel). Das bedeutet, dass die bordeigene Rechenvorrichtung 612 für ein gegebenes Objekt entscheidet, was mit dem Objekt zu tun ist, und bestimmt, wie dies zu tun ist. Zum Beispiel kann die bordeigene Rechenvorrichtung 612 für ein gegebenes Objekt entscheiden, an dem Objekt vorbeizufahren, und bestimmen, ob auf der linken Seite oder der rechten Seite an dem Objekt vorbeizufahren ist (was Bewegungsparameter wie etwa Geschwindigkeit beinhaltet). Die bordeigene Rechenvorrichtung 612 kann zudem das Risiko einer Kollision zwischen einem detektierten Objekt und dem autonomen Fahrzeug 601 auswerten. Falls das Risiko einen annehmbaren Schwellenwert überschreitet, kann sie bestimmen, ob die Kollision vermieden werden kann, falls das autonome Fahrzeug einer definierten Fahrzeugtrajektorie folgt und/oder ein oder mehrere dynamisch generierte Notfallmanöver in einem vordefinierten Zeitraum (z. B. N Millisekunden) umsetzt. Falls die Kollision vermieden werden kann, dann kann die bordeigene Rechenvorrichtung 612 eine oder mehrere Steueranweisungen ausführen, um ein vorsichtiges Manöver durchzuführen (z. B. leichtes Verlangsamen, Beschleunigen, Wechseln der Spur oder Ausscheren). Im Gegensatz dazu kann, falls die Kollision nicht vermieden werden kann, die bordeigene Rechenvorrichtung 612 eine oder mehrere Steueranweisungen zur Ausführung eines Notfallmanövers ausführen (z. B. Bremsen und/oder Ändern der Fahrtrichtung).
Wie vorstehend erörtert, werden Planungs- und Steuerdaten hinsichtlich der Bewegung des autonomen Fahrzeugs zur Ausführung generiert. Die bordeigene Rechenvorrichtung 612 kann zum Beispiel Bremsung über eine Bremssteuerung; Richtung über eine Lenksteuerung; Geschwindigkeit und Beschleunigung über eine Drosselsteuerung (bei einem benzinbetriebenen Fahrzeug) oder eine Elektromotordrehzahlsteuerung (wie etwa eine Strompegelsteuerung bei einem Elektrofahrzeug); eine Differentialgetriebesteuerung (bei Fahrzeugen mit Getrieben); und/oder andere Steuerungen steuern.
Unter erneuter Bezugnahme auf 5 kann die Kommunikationsschnittstelle 514 dazu konfiguriert sein, Kommunikation zwischen dem autonomen Fahrzeug 501 und externen Systemen, wie zum Beispiel externen Vorrichtungen, Sensoren, anderen Fahrzeugen, Servern, Datenspeichern, Datenbanken usw., zu erlauben. Die Kommunikationsschnittstelle 514 kann beliebige nun oder künftig bekannte Protokolle, Schutzschemata, Codierungen, Formate, Verpackungen usw., wie etwa ohne Einschränken Wi-Fi, eine Infrarotverbindung, Bluetooth usw., nutzen. Ein Benutzerschnittstellensystem 516 kann Teil von Peripherievorrichtungen sein, die innerhalb eines Fahrzeugs 101 umgesetzt sind und zum Beispiel eine Tastatur, eine Touchscreen-Anzeigevorrichtung, ein Mikrofon und einen Lautsprecher usw. beinhalten.
In den verschiedenen in diesem Dokument erörterten Ausführungsformen kann die Beschreibung besagen, dass das Fahrzeug oder eine in dem Fahrzeug (z. B. in einem bordeigenen Rechensystem) beinhaltete Steuerung Programmieranweisungen umsetzen kann, die veranlassen, dass das Fahrzeug und/oder eine Steuerung Entscheidungen treffen und die Entscheidungen verwenden, um Vorgänge des Fahrzeugs zu steuern. Die Ausführungsformen sind jedoch nicht auf diese Anordnung beschränkt, da in verschiedenen Ausführungsformen die Analyse, Entscheidungsfindung und/oder Betriebssteuerung vollständig oder zum Teil durch andere Rechenvorrichtungen gehandhabt werden können, die in elektronischer Kommunikation mit der bordeigenen Rechenvorrichtung des Fahrzeugs und/oder dem Fahrzeugsteuersystem stehen. Beispiele für derartige anderen Rechenvorrichtungen beinhalten eine elektronische Vorrichtung (wie etwa ein Smartphone), die einer Person zugeordnet ist, die in dem Fahrzeug fährt, sowie einen Remote-Server, der über ein drahtloses Kommunikationsnetzwerk in elektronischer Kommunikation mit dem Fahrzeug steht. Der Prozessor einer beliebigen derartigen Vorrichtung kann die Vorgänge durchführen, die nachstehend erörtert werden.
In den verschiedenen in diesem Dokument erörterten Ausführungsformen kann die Beschreibung besagen, dass das Fahrzeug oder eine in dem Fahrzeug (z. B. in einem bordeigenen Rechensystem) beinhaltete Steuerung Programmieranweisungen umsetzen kann, die veranlassen, dass die Steuerung Entscheidungen trifft und die Entscheidungen verwendet, um Vorgänge eines oder mehrerer Fahrzeugsysteme über die AVP des Fahrzeugs zu steuern. Die Ausführungsformen sind jedoch nicht auf diese Anordnung beschränkt, da in verschiedenen Ausführungsformen die Analyse, Entscheidungsfindung und oder Betriebssteuerung vollständig oder zum Teil durch andere Rechenvorrichtungen gehandhabt werden können, die in elektronischer Kommunikation mit der bordeigenen Steuerung des Fahrzeugs und/oder der AVP stehen. Beispiele für derartige anderen Rechenvorrichtungen beinhalten eine elektronische Vorrichtung (wie etwa ein Smartphone), die einer Person zugeordnet ist, die in dem Fahrzeug fährt, sowie einen Remote-Server, der über ein drahtloses Kommunikationsnetzwerk in elektronischer Kommunikation mit dem Fahrzeug steht. Der Prozessor einer beliebigen derartigen Vorrichtung kann die Vorgänge durchführen, die nachstehend erörtert werden.
Es ist anzumerken, dass, während die vorstehende Beschreibung die Ausführung der Kollisionsminderungsmaßnahme und die Ausführung einer Failover-Anhaltemaßnahme durch die komplementäre Steuerung als verschiedenartige Prozesse beschreibt, die Offenbarung dahingehend nicht einschränkend ist. Einige oder alle der Schritte zur Ausführung der Kollisionsminderungsmaßnahme und der Ausführung einer Failover-Anhaltemaßnahme können durch die komplementäre Steuerung abhängig von dem Objekt und/oder seinem derzeitigen/vorhergesagten Verhalten in der Umgebung des AV gleichzeitig und/oder zeitgleich durchgeführt werden.
7 bildet ein Beispiel für interne Hardware ab, die in beliebigen der elektronischen Komponenten des Systems beinhaltet sein kann, wie etwa internen Verarbeitungssystemen des AV, externen Überwachungs- und Meldesystemen oder Remote-Servern. Ein elektrischer Bus 700 dient als Informationshighway, der die anderen veranschaulichten Komponenten der Hardware miteinander verbindet. Ein Prozessor 705 ist eine zentrale Verarbeitungsvorrichtung des Systems, die dazu konfiguriert ist, Berechnungen und logische Operationen durchzuführen, die zum Ausführen von Programmieranweisungen erforderlich sind. Wie in diesem Dokument und in den Patentansprüchen verwendet, können sich die Ausdrücke „Prozessor“ und „Verarbeitungsvorrichtung“ auf einen einzelnen Prozessor oder eine beliebige Anzahl von Prozessoren in einem Satz von Prozessoren beziehen, die gemeinsam einen Satz von Vorgängen durchführen, wie etwa eine zentrale Verarbeitungseinheit (central processing unit - CPU), eine Grafikverarbeitungseinheit (graphics processing unit - GPU), einen Remote-Server oder eine Kombination aus diesen. Festwertspeicher (read only memory - ROM), Direktzugriffsspeicher (random access memory - RAM), Flash-Speicher, Festplatten und andere Vorrichtungen, die zum Speichern elektronischer Daten fähig sind, stellen Beispiele für Speichervorrichtungen 725 dar. Eine Speichervorrichtung kann eine einzelne Vorrichtung oder eine Sammlung von Vorrichtungen beinhalten, über die Daten und/oder Anweisungen gespeichert werden. Verschiedene Ausführungsformen der Erfindung können ein computerlesbares Medium beinhalten, das Programmieranweisungen enthält, die dazu konfiguriert sind, einen oder mehrere Prozessoren und/oder Vorrichtungen dazu zu veranlassen, die im Kontext der vorhergehenden Figuren beschriebenen Funktionen durchzuführen.
Eine optionale Anzeigeschnittstelle 730 kann gestatten, dass Informationen von dem Bus 700 auf einer Anzeigevorrichtung 735 in einem visuellen, grafischen oder alphanumerischen Format angezeigt werden, wie etwa auf einem Armaturenbrettanzeigesystem des Fahrzeugs. Eine Audioschnittstelle und ein Audioausgang (wie etwa ein Lautsprecher) können ebenfalls bereitgestellt sein. Die Kommunikation mit externen Vorrichtungen kann unter Verwendung verschiedener Kommunikationsvorrichtungen 740 auftreten, wie etwa einer drahtlosen Antenne, eines Funkfrequenzidentifikationstags (radio frequency identification tag - RFID-Tag) und/oder eines Sendeempfängers für die Nahbereichs- oder Nahfeldkommunikation, die jeweils optional kommunikativ mit anderen Komponenten der Vorrichtung über ein oder mehrere Kommunikationssysteme verbunden sein können. Die Kommunikationsvorrichtung(en) 740 kann/können dazu konfiguriert sein, kommunikativ mit einem Kommunikationsnetzwerk, wie etwa dem Internet, einem lokalen Netzwerk oder einem Mobilfunkdatennetzwerk, verbunden zu sein.
Die Hardware kann zudem einen Benutzerschnittstellensensor 745 beinhalten, der den Empfang von Daten von Eingabevorrichtungen 750 erlaubt, wie etwa einer Tastatur oder einem Tastenfeld, einem Joystick, einem Touchscreen, einem Touchpad, einer Fernsteuerung, einer Zeigevorrichtung und/oder einem Mikrofon. Digitale Einzelbilder können zudem von einer Kamera 720 empfangen werden, die Video- und/oder Standbilder aufzeichnen kann. Das System kann zudem Daten von einem Bewegungs- und/oder Positionssensor 770, wie etwa einem Beschleunigungsmesser, einem Gyroskop oder einer inertialen Messeinheit, empfangen. Das System kann zudem Daten von einem LiDAR-System 760 empfangen, wie etwa dem an früherer Stelle in diesem Dokument beschriebenen.
In verschiedenen vorstehend beschrieben Ausführungsformen werden Systeme und Verfahren zur komplementären Steuerung eines autonomen Fahrzeugs offenbart. Die Verfahren können durch eine komplementäre Steuerung ausgeführt werden und können Empfangen von Informationen, die eine aktive Trajektorie eines AV umfassen, von einer primären Steuerung beinhalten, wobei die aktive Trajektorie ein Weg ist, dem das AV für einen Planungshorizont zu folgen beabsichtigt. Die Verfahren beinhalten zudem Verwenden der aktiven Trajektorie zum Identifizieren einer oder mehrerer Regionen in einer Umgebung des AV, wie zum Beispiel einer Rückgriffüberwachungsregion (FMR) und einer aktiven Überwachungsregion (AMR). Die Verfahren beinhalten ferner Generieren einer oder mehrerer Anweisungen zum Veranlassen, dass das AV eine Kollisionsminderungsmaßnahme ausführt, als Reaktion darauf, dass ein Objekt innerhalb der AMR detektiert wird, und Übertragen der einen oder der mehreren Anweisungen an eine AV-Plattform (AVP) zur Ausführung.
In beliebigen der vorstehenden Ausführungsformen können die Verfahren Folgendes durch eine primäre Steuerung beinhalten: Empfangen eines ersten Satzes von Sensordaten von einem primären Sensorsystem und eines zweiten Satzes von Sensordaten von dem sekundären Sensorsystem, Generieren der aktiven Trajektorie auf Grundlage des ersten Satzes von Sensordaten und des zweiten Satzes von Sensordaten und Übertragen primärer Navigationsanweisungen zum Navigieren des AV entlang der aktiven Trajektorie zur Übertragung an die AVP an die komplementäre Steuerung. Optional kann die komplementäre Steuerung die primären Navigationsanweisungen zur Übertragung an die AVP empfangen und die Übertragung der empfangenen primären Navigationsanweisungen an die AVP während des Übertragens der einen oder der mehreren Anweisungen an die AVP anhalten. In verschiedenen Ausführungsformen kann die komplementäre Steuerung die eine oder die mehreren Anweisungen zum Veranlassen generieren, dass das AV die Kollisionsminderungsmaßnahme ausführt, wenn bestimmt wird, dass die Navigationsanweisungen eine Abbremsanweisung beinhalten, die größer als eine maximal erlaubte Abbremsung ist.
In beliebigen der vorstehenden Ausführungsformen kann die komplementäre Steuerung die eine oder die mehreren Anweisungen nur als Reaktion darauf generieren, dass bestimmt wird, dass ein Risiko einer Kollision mit dem Objekt größer als ein Schwellenwert ist. Das Risiko einer Kollision kann zum Beispiel auf Grundlage von einem Zustand des Objekts, einem Zustand des AV, Umgebungsbedingungen, Erfassungspipelineleistungsfähigkeit und/oder Detektionspipelineleistungsfähigkeit bestimmt werden.
In beliebigen der vorstehenden Ausführungsformen kann die Kollisionsminderungsmaßnahme optional Veranlassen beinhalten, dass das AV unter Verwendung einer maximal erlaubten Abbremsung zum Anhalten kommt.
In beliebigen der vorstehenden Ausführungsformen kann die komplementäre Steuerung die eine oder die mehreren Anweisungen zum Veranlassen, dass das AV die Kollisionsminderungsmaßnahme ausführt, nur dann generieren, falls eine Anweisung zum Ausführen eines Zustands einer Kollision mit minimalem Risiko (MRC) durch die komplementäre Steuerung empfangen worden ist, wenn detektiert wird, dass ein zweites Objekt innerhalb eines Bereichs der FMR vorhanden ist, der die AMR nicht beinhaltet. Optional kann die Anweisung zum Ausführen des MRC-Zustands von einer primären Steuerung nach Detektion eines Fehlers in einer oder mehreren Funktionen der primären Steuerung empfangen werden. In beliebigen der vorstehenden Ausführungsformen kann die komplementäre Steuerung die Übertragung der einen oder der mehreren Anweisungen an die AVP als Reaktion darauf anhalten, dass ein Fehler innerhalb der komplementären Steuerung bestimmt wird. Der Fehler kann zum Beispiel einen Posenbestimmungsfehler, einen Sensorfehler, einen Sensorkommunikationsfehler, einen Kommunikationsfehler der primären Steuerung oder einen Wahrnehmungsfehler beinhalten.
In gewissen Aspekte wird ein Computerprogrammprodukt offenbart. Das Computerprogrammprodukt kann einen Speicher und Programmieranweisungen beinhalten, die dazu konfiguriert sind, einen Prozessor dazu zu veranlassen, Informationen, die eine aktive Trajektorie eines AV beinhalten, von einer primären Steuerung zu empfangen, wobei die aktive Trajektorie ein Weg ist, dem das AV für einen Planungshorizont zu folgen beabsichtigt. Der Prozessor kann die aktive Trajektorie verwenden, um eine oder mehrere Regionen in einer Umgebung des AV zu identifizieren, wie zum Beispiel eine Rückgriffüberwachungsregion (FMR) und eine aktive Überwachungsregion (AMR). Der Prozessor kann dann eine oder mehrere Anweisungen zum Veranlassen generieren, dass das AV eine Kollisionsminderungsmaßnahme ausführt, falls ein Objekt innerhalb der AMR vorhanden ist, und die eine oder die mehreren Anweisungen an eine AV-Plattform (AVP) zur Ausführung übertragen.
In einem anderen Aspekt der verschiedenen vorstehend beschriebenen Ausführungsformen werden Systeme und Verfahren zur komplementären Steuerung eines autonomen Fahrzeugs offenbart. Die Verfahren können durch eine komplementäre Steuerung ausgeführt werden und können Detektieren eines auslösenden Ereignisses und Veranlassen, dass eine AV-Plattform eine Failover-Anhaltemaßnahme einleitet, um das AV entlang einer aktiven Trajektorie zum Anhalten zu bringen, nach dem Detektieren des auslösenden Ereignisses beinhalten. Das auslösende Ereignis kann zum Beispiel den Empfang von Anweisungen von der primären Steuerung zum Ausführen eines Zustands einer Bedingung mit minimalem Risiko (MRC) des AV, einen Fehler, der einer Kommunikation zwischen verschiedenen Teilsystemen des AV zugeordnet ist, usw. beinhalten.
Optional kann in beliebigen der vorstehenden Ausführungsformen die aktive Trajektorie eine Trajektorie sein, die innerhalb einer Schwellenzeit vor der Detektion des auslösenden Ereignisses von der primären Steuerung empfangen wird.
In beliebigen der vorstehenden Ausführungsformen kann die Failover-Anhaltemaßnahme optional Bringen des AV zum Anhalten entlang der aktiven Trajektorie ohne Anwendung einer maximal erlaubten Abbremsung beinhalten. Zusätzlich und/oder alternativ kann die Failover-Anhaltemaßnahme Bringen des AV zum Anhalten entlang der aktiven Trajektorie durch Anwendung einer maximal erlaubten Abbremsung nach Detektion eines Objekts innerhalb einer Rückgriffüberwachungsregion entlang der aktiven Trajektorie beinhalten.
Optional kann in beliebigen der vorstehenden Ausführungsformen der Fehler, der der Nachricht zugeordnet ist, zum Beispiel Fehler in Kommunikationen zwischen der primären Steuerung und der komplementären Steuerung und/oder Fehler in Kommunikationen zwischen einem oder mehreren Sensoren und der komplementären Steuerung beinhalten.
In beliebigen der vorstehenden Ausführungsformen kann die komplementäre Steuerung die Anweisungen zum Ausführen des MRC-Zustands von der primären Steuerung nach Detektion eines Fehlers in einer oder mehreren Funktionen der primären Steuerung empfangen.
In beliebigen der vorstehenden Ausführungsformen kann die komplementäre Steuerung zudem eine Bereitstellung einer ersten Vielzahl von Anweisungen, die von der primären Steuerung empfangen wird, an die AV-Plattform nach Detektion des auslösenden Ereignisses anhalten.
In gewissen Aspekte wird ein Computerprogrammprodukt offenbart. Das Computerprogrammprodukt kann einen Speicher und Programmieranweisungen beinhalten, die dazu konfiguriert sind, einen Prozessor dazu zu veranlassen, ein auslösendes Ereignis zu detektieren und nach dem Detektieren des auslösenden Ereignisses zu veranlassen, dass eine AV-Plattform eine Failover-Anhaltemaßnahme einleitet, um das AV entlang einer aktiven Trajektorie zum Anhalten zu bringen. Das auslösende Ereignis kann zum Beispiel den Empfang von Anweisungen von der primären Steuerung zum Ausführen eines Zustands einer Bedingung mit minimalem Risiko (MRC) des AV, einen Fehler, der einer Kommunikation zwischen einem oder mehreren Teilsystemen des AV zugeordnet ist, usw. beinhalten.
Die vorstehend offenbarten Merkmale und Funktionen sowie Alternativen können zu vielen anderen unterschiedlichen Systemen oder Anwendungen kombiniert werden. Verschiedene Komponenten können in Hardware oder Software oder eingebetteter Software umgesetzt sein. Verschiedene gegenwärtig unvorhergesehene oder nicht vorweggenommene Alternativen, Modifikationen, Variationen oder Verbesserungen können durch den Fachmann vorgenommen werden, von denen jede ebenfalls durch die offenbarten Ausführungsformen umschlossen sein soll.
Terminologie, die für die vorstehend bereitgestellte Offenbarung relevant ist, beinhaltet Folgendes:

Eine „automatisierte Vorrichtung“ oder „Robotervorrichtung“ bezieht sich auf eine elektronische Vorrichtung, die einen Prozessor, Programmieranweisungen und eine oder mehrere physische Hardwarekomponenten beinhaltet, die sich als Reaktion auf Befehle von dem Prozessor mit minimalem oder keinem menschlichen Eingreifen bewegen können. Durch eine derartige Bewegung kann eine Robotervorrichtung eine oder mehrere automatische Funktionen oder Funktionssätze durchführen. Beispiele für derartige Vorgänge, Funktionen oder Aufgaben können ohne Einschränkung das Betreiben von Rädern oder Propellern zum Bewirken von Fahr-, Flug- oder anderen Transporthandlungen, das Betreiben von Roboteraufzügen zum Beladen, Entladen, medizinbezogene Prozesse, baubezogene Prozesse und/oder dergleichen beinhalten. Beispielhafte automatisierte Vorrichtungen können ohne Einschränkung autonome Fahrzeuge, Drohnen und andere autonome Robotervorrichtungen beinhalten.

Der Ausdruck „Fahrzeug“ bezieht sich auf eine beliebige sich bewegende Form der Beförderung, die dazu fähig ist, entweder einen oder mehrere menschliche Insassen und/oder Fracht zu tragen und durch eine beliebige Form von Energie angetrieben wird. Der Ausdruck „Fahrzeug“ beinhaltet Pkws, Lkws, Vans, Züge, autonome Fahrzeuge, Luftfahrzeuge, Flugdrohnen und dergleichen, ist aber nicht darauf beschränkt. Ein „autonomes Fahrzeug“ ist ein Fahrzeug, das einen Prozessor, Programmieranweisungen und Antriebsstrangkomponenten aufweist, die durch den Prozessor steuerbar sind, ohne dass ein menschlicher Bediener erforderlich ist. Ein autonomes Fahrzeug kann insofern vollautonom sein, als es für die meisten oder alle Fahrbedingungen und -funktionen keinen menschlichen Bediener benötigt. Alternativ kann es insofern teilautonom sein, als ein menschlicher Bediener unter gewissen Bedingungen oder für gewisse Vorgänge erforderlich sein kann oder ein menschlicher Bediener das autonome System des Fahrzeugs außer Kraft setzen und die Steuerung des Fahrzeugs übernehmen kann. Autonome Fahrzeuge beinhalten zudem Fahrzeuge, in denen autonome Systeme den Betrieb des Fahrzeugs durch den Menschen verbessern, wie etwa Fahrzeuge mit fahrerunterstützten Lenk-, Geschwindigkeitssteuerungs-, Brems-, Park- und anderen fortschrittlichen Fahrerassistenzsystemen.
Eine „Fahrt“ eines Fahrzeugs bezieht sich auf einen Vorgang des Betreibens eines Fahrzeugs und des Veranlassens, dass sich das Fahrzeug in der realen Welt umherbewegt. Eine Fahrt kann in öffentlichen, unkontrollierten Umgebungen, wie etwa auf Stadt- oder Vorstadtstraßen, Autobahnen oder offenen Straßen, auftreten. Eine Fahrt kann zudem in einer kontrollierten Umgebung, wie etwa auf einer Teststrecke, auftreten.
Der Ausdruck „Objekt“, wenn er sich auf ein Objekt bezieht, das durch ein Fahrzeugwahrnehmungssystem detektiert oder durch ein Simulationssystem simuliert wird, soll sowohl stationäre Objekte als auch sich bewegende (oder sich potenziell bewegende) Akteure umschließen, sofern nicht durch die Ausdrucksverwendung des Ausdrucks „Akteur“ oder „stationäres Objekt“ spezifisch etwas anderes angegeben ist.
Wenn er im Kontext der Bewegungsplanung von autonomen Fahrzeugen verwendet wird, bezieht sich der Ausdruck „Trajektorie“ auf den Plan, den das Bewegungsplanungssystem des Fahrzeugs generieren wird und dem das Bewegungssteuersystem des Fahrzeugs folgen wird, wenn es die Bewegung des Fahrzeugs steuert. Eine Trajektorie beinhaltet die geplante Position und Ausrichtung des Fahrzeugs zu mehreren Zeitpunkten über einen Zeithorizont sowie den geplanten Lenkradwinkel und die geplante Winkelrate des Fahrzeugs über den gleichen Zeithorizont. Das Bewegungssteuersystem eines autonomen Fahrzeugs verbraucht die Trajektorie und sendet Befehle an die Lenksteuerung, die Bremssteuerung, die Drosselsteuerung und/oder ein anderes Bewegungssteuerungsteilsystem des Fahrzeugs, um das Fahrzeug entlang eines geplanten Wegs zu bewegen.
Eine „elektronische Vorrichtung“ oder eine „Rechenvorrichtung“ bezieht sich auf eine Vorrichtung, die einen Prozessor und einen Speicher beinhaltet. Jede Vorrichtung kann ihren eigenen Prozessor und/oder Speicher aufweisen oder der Prozessor und/oder Speicher können mit anderen Vorrichtungen gemeinsam genutzt werden, wie etwa in einer virtuellen Maschine oder einer Container-Anordnung. Der Speicher enthält oder empfängt Programmieranweisungen, die, wenn sie durch den Prozessor ausgeführt werden, die elektronische Vorrichtung dazu veranlassen, einen oder mehrere Vorgänge gemäß den Programmieranweisungen durchzuführen.
Die Ausdrücke „Speicher“, „Speichervorrichtung“, „computerlesbares Medium“, „Datenspeicher“, _„Datenspeichereinrichtung“ und dergleichen beziehen sich jeweils auf eine nichttransitorische Vorrichtung, auf der computerlesbare Daten, Programmieranweisungen oder beides gespeichert sind. Sofern nicht spezifisch anders angegeben, sollen die Ausdrücke „Speicher“, „Speichervorrichtung“, „computerlesbares Medium“, „Datenspeicher“, „Datenspeichereinrichtung“ und dergleichen Ausführungsformen mit einer einzelnen Vorrichtung, Ausführungsformen, in denen mehrere Speichervorrichtungen zusammen oder gemeinsam einen Satz von Daten oder Anweisungen speichern, sowie einzelne Sektoren innerhalb derartiger Vorrichtungen beinhalten. Ein Computerprogrammprodukt ist eine Speichervorrichtung mit darauf gespeicherten Programmieranweisungen.
Die Ausdrücke „Prozessor“ und „Verarbeitungsvorrichtung“ beziehen sich auf eine Hardwarekomponente einer elektronischen Vorrichtung, die dazu konfiguriert ist, Programmieranweisungen auszuführen, wie etwa einen Mikroprozessor oder eine andere logische Schaltung. Ein Prozessor und ein Speicher können Elemente eines Mikrocontrollers, einer kundenspezifisch konfigurierbaren integrierten Schaltung, eines programmierbaren System-on-a-Chip oder einer anderen elektronischen Vorrichtung sein, die dazu programmiert sein können, verschiedene Funktionen durchzuführen. Sofern nicht spezifisch anders angegeben, soll der Ausdruck „Prozessor“ oder „Verarbeitungsvorrichtung“ im Singular sowohl Ausführungsformen mit einer einzelnen Verarbeitungsvorrichtung als auch Ausführungsformen, in denen mehrere Verarbeitungsvorrichtungen zusammen oder gemeinsam einen Prozess durchführen, beinhalten.
Die Ausdrücke „Steuerung“, „primäre Steuerung“, „komplementäre Steuerung“ und „Plattform“ beziehen sich auf eine elektronische Vorrichtung, die dazu konfiguriert ist, Befehle auszuführen, um eine oder mehrere andere Vorrichtungen oder Vorrichtungskomponenten zu steuern.
In diesem Dokument bedeuten die Ausdrücke „Kommunikationsverbindung“ und „Kommunikationsweg“ einen drahtgebundenen oder drahtlosen Weg, über den eine erste Vorrichtung Kommunikationssignale an eine oder mehrere andere Vorrichtungen sendet und/oder Kommunikationssignale von diesen empfängt. Vorrichtungen sind „kommunikativ verbunden“, falls die Vorrichtungen dazu in der Lage sind, Daten über eine Kommunikationsverbindung zu senden und/oder zu empfangen. „Elektronische Kommunikation“ bezieht sich auf die Übertragung von Daten über ein oder mehrere Signale zwischen zwei oder mehr elektronischen Vorrichtungen, ob durch ein drahtgebundenes oder drahtloses Netzwerk und ob direkt oder indirekt über eine oder mehrere Zwischenvorrichtungen.
Ein „automatisiertes Vorrichtungsüberwachungssystem“ ist ein Satz von Hardware, der kommunikativ und/oder elektrisch mit verschiedenen Komponenten (wie etwa Sensoren) einer automatisierten Vorrichtung verbunden ist, um Status- oder Betriebsparameterwerte von diesen Komponenten zu sammeln. Ein automatisiertes Vorrichtungsüberwachungssystem kann eine Datenprotokollierungsvorrichtung beinhalten oder damit verbunden sein, die einen Dateneingang (wie etwa einen drahtlosen Empfänger) beinhaltet, der dazu konfiguriert ist, Vorrichtungsbetriebsdaten direkt oder indirekt von den Komponenten der Vorrichtung zu empfangen. Das Überwachungssystem kann zudem einen Prozessor, einen Sender und einen Speicher mit Programmieranweisungen beinhalten. Ein Überwachungssystem kann einen Sender zum Übertragen von Befehlen und/oder Daten an externe elektronische Vorrichtungen und/oder Remote-Server beinhalten. In verschiedenen Ausführungsformen kann ein Überwachungssystem in die anderen Rechensystemkomponenten der automatisierten Vorrichtung eingebettet oder einstückig mit diesen sein oder es kann eine separate Vorrichtung sein, die mit einem oder mehreren anderen lokalen Systemen in Kommunikation steht, wie zum Beispiel im Kontext eines autonomen Fahrzeugs einem On-Board-Diagnosesystem.
In diesem Dokument soll, wenn relative Ausdrücke der Reihenfolge wie etwa „erste“ und „zweite“ verwendet werden, um ein Substantiv zu modifizieren, eine derartige Verwendung lediglich ein Element von einem anderen unterscheiden und keine sequenzielle Reihenfolge erfordern, sofern dies nicht spezifisch angegeben ist.
Zusätzlich sollen Ausdrücke der relativen Position wie etwa „vertikal“ und „horizontal“ oder „vorne“ und „hinten“ bei Verwendung relativ zueinander sein und müssen nicht absolut sein, und sie beziehen sich nur auf eine mögliche Position der Vorrichtung, die diesen Ausdrücken zugeordnet ist, die von der Ausrichtung der Vorrichtung abhängig ist. Wenn in diesem Dokument die Ausdrücke „Vorderseite“, „Rückseite“ und „Seiten“ verwendet werden, um sich auf einen Bereich eines Fahrzeugs zu beziehen, beziehen sie sich auf Bereiche des Fahrzeugs in Bezug auf den Standardfahrbereich des Fahrzeugs. Zum Beispiel ist eine „Vorderseite“ eines Automobils ein Bereich, der näher an den Frontscheinwerfern des Fahrzeugs als an den Rückleuchten des Fahrzeugs liegt, während die „Rückseite“ eines Automobils ein Bereich ist, der näher an den Rückleuchten des Fahrzeugs als an den Frontscheinwerfern des Fahrzeugs liegt. Zusätzlich sind die Ausdrücke „Vorderseite“ und „Rückseite“ nicht notwendigerweise auf nach vom gewandte oder nach hinten gewandte Bereiche beschränkt, sondern beinhalten zudem Seitenbereiche, die näher an der Vorderseite als an der Rückseite liegen, bzw. umgekehrt. „Seiten“ eines Fahrzeugs sollen sich auf zur Seite gewandte Teilbereiche beziehen, die sich zwischen dem vordersten und dem hintersten Abschnitt des Fahrzeugs befinden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 17389121 [0001]

Zitierte Nicht-Patentliteratur

Yurtsever et al., „A Survey of Autonomous Driving: Common Practices and Emerging Technologies“ (IEEE Access, Band 8, S. 58443-58469, 2020) [0027]
Gonzalez et al., „A Review of Motion Planning Techniques for Automated Vehicles“, veröffentlicht in IEEE Transactions on Intelligent Transportation Systems, Band 17, Nr. 4 [0028]

Claims

Verfahren zum Betreiben eines autonomen Fahrzeugs (AV), wobei das Verfahren Folgendes durch eine komplementäre Steuerung umfasst: Empfangen von Informationen, die eine aktive Trajektorie eines AV umfassen, von einer primären Steuerung, wobei die aktive Trajektorie ein Weg ist, dem das AV für einen Planungshorizont zu folgen beabsichtigt; Verwenden der aktiven Trajektorie, um eine oder mehrere Regionen in einer Umgebung des AV zu identifizieren, wobei die eine oder die mehreren Regionen die Folgenden umfassen: eine Rückgriffüberwachungsregion (FMR) und eine aktive Überwachungsregion (AMR); Generieren einer oder mehrerer Anweisungen zum Veranlassen, dass das AV eine Kollisionsminderungsmaßnahme ausführt, als Reaktion darauf, dass ein Objekt innerhalb der AMR detektiert wird; und Übertragen der einen oder der mehreren Anweisungen an eine AV-Plattform (AVP) zur Ausführung.
Verfahren nach Anspruch 1, ferner umfassend Folgendes durch eine primäre Steuerung: Empfangen eines ersten Satzes von Sensordaten von einem primären Sensorsystem und eines zweiten Satzes von Sensordaten von dem sekundären Sensorsystem; Generieren der aktiven Trajektorie auf Grundlage des ersten Satzes von Sensordaten und des zweiten Satzes von Sensordaten; und Übertragen primärer Navigationsanweisungen zum Navigieren des AV entlang der aktiven Trajektorie an die komplementäre Steuerung zur Übertragung an die AVP.
Verfahren nach Anspruch 2, ferner umfassend Folgendes durch die komplementäre Steuerung: Empfangen der primären Navigationsanweisungen von der primären Steuerung zur Übertragung an die AVP; und während des Übertragens der einen oder der mehreren Anweisungen an die AVP Anhalten der Übertragung der empfangenen primären Navigationsanweisungen an die AVP.
Verfahren nach Anspruch 2, ferner umfassend durch die komplementäre Steuerung Generieren der einen oder der mehreren Anweisungen zum Veranlassen, dass das AV die Kollisionsminderungsmaßnahme ausführt, wenn die Navigationsanweisungen eine Abbremsanweisung beinhalten, die größer als eine maximal erlaubte Abbremsung ist.
Verfahren nach Anspruch 1, ferner umfassend durch die komplementäre Steuerung Generieren der einen oder der mehreren Anweisungen nur als Reaktion darauf, dass ein Risiko einer Kollision zwischen dem Objekt und dem AV größer als ein Schwellenwert ist.
Verfahren nach Anspruch 5, wobei auf Grundlage von mindestens einem der Folgenden bestimmt wird, dass das Risiko von Kollisionen größer als der Schwellenwert ist: einem Zustand des Objekts; einem Zustand des AV; Umgebungsbedingungen; Erfassungspipelineleistungsfähigkeit; oder Detektionspipelineleistungsfähigkeit.
Verfahren nach Anspruch 1, wobei die Kollisionsminderungsmaßnahme Veranlassen umfasst, dass das AV unter Verwendung einer maximal erlaubten Abbremsung zum Anhalten kommt.
Verfahren nach Anspruch 1, ferner umfassend durch die komplementäre Steuerung als Reaktion darauf, dass ein zweites Objekt innerhalb eines Bereichs der FMR vorhanden ist, der die AMR nicht beinhaltet, Generieren der einen oder der mehreren Anweisungen zum Veranlassen, dass das AV die Kollisionsminderungsmaßnahme ausführt, nur dann, falls eine Anweisung zum Ausführen eines Zustands einer Kollision mit minimalem Risiko (MRC) durch die komplementäre Steuerung empfangen worden ist.
Verfahren nach Anspruch 8, wobei die Anweisung zum Ausführen des MRC-Zustands von einer primären Steuerung nach Detektion eines Fehlers in einer oder mehreren Funktionen der primären Steuerung empfangen wird.
Verfahren nach Anspruch 1, ferner umfassend durch die komplementäre Steuerung Anhalten der Übertragung der einen oder der mehreren Anweisungen an die AVP als Reaktion darauf, dass ein Fehler innerhalb der komplementären Steuerung bestimmt wird, wobei der Fehler mindestens einen der Folgenden umfasst: einen Posenbestimmungsfehler; einen Sensorfehler; einen Sensorkommunikationsfehler, einen Kommunikationsfehler der primären Steuerung; oder einen Wahrnehmungsfehler.
Verfahren zum Betreiben eines autonomen Fahrzeugs (AV), wobei das Verfahren Folgendes durch eine komplementäre Steuerung umfasst: Detektieren eines auslösenden Ereignisses, wobei das auslösende Ereignis beliebiges der Folgenden umfasst: Empfang von Anweisungen von einer primären Steuerung zum Ausführen eines Zustands einer Bedingung mit minimalem Risiko (MRC) des AV; oder einen Fehler, der einer Kommunikation zwischen einem oder mehreren Teilsystemen des AV zugeordnet ist; als Reaktion darauf, dass ein Auftreten eines auslösenden Ereignisses detektiert wird, Veranlassen, dass eine AV-Plattform eine Failover-Anhaltemaßnahme einleitet, um das AV entlang einer aktiven Trajektorie zum Anhalten zu bringen.
Verfahren nach Anspruch 11, wobei die aktive Trajektorie eine Trajektorie ist, die innerhalb einer Schwellenzeit vor der Detektion des auslösenden Ereignisses von der primären Steuerung empfangen wird.
Verfahren nach Anspruch 11, wobei die Failover-Anhaltemaßnahme Bringen des AV zum Anhalten entlang der aktiven Trajektorie ohne Anwendung einer maximal erlaubten Abbremsung umfasst.
Verfahren nach Anspruch 11, wobei der Fehler, der der Nachricht zugeordnet ist, mindestens eines der Folgenden umfasst: Fehler in Kommunikationen zwischen der primären Steuerung und der komplementären Steuerung; oder Fehler in Kommunikationen zwischen einem oder mehreren Sensoren und der komplementären Steuerung.
Verfahren nach Anspruch 11, wobei die Anweisungen zum Ausführen des MRC-Zustands nach Detektion eines Fehlers in einer oder mehreren Funktionen der primären Steuerung von der primären Steuerung empfangen werden.
Verfahren nach Anspruch 11, wobei die Failover-Anhaltemaßnahme Bringen des AV zum Anhalten entlang der aktiven Trajektorie durch Anwendung einer maximal erlaubten Abbremsung nach Detektion eines Objekts innerhalb einer Rückgriffüberwachungsregion entlang der aktiven Trajektorie umfasst.
Verfahren nach Anspruch 11, ferner umfassend nach Detektion des auslösenden Ereignisses durch die komplementäre Steuerung: Anhalten einer Bereitstellung einer ersten Vielzahl von Anweisungen, die von der primären Steuerung empfangen wird, an die AV-Plattform.
System zum Betreiben eines autonomen Fahrzeugs (AV), wobei das System Folgendes umfasst: ein AV, umfassend: ein sekundäres Sensorsystem, eine primäre Steuerung und eine komplementäre Steuerung, wobei die komplementäre Steuerung zu Folgendem konfiguriert ist: Empfangen von Informationen, die eine aktive Trajektorie des AV umfassen, von der primären Steuerung, wobei die aktive Trajektorie ein Weg ist, dem das AV für einen Planungshorizont zu folgen beabsichtigt; Verwenden der aktiven Trajektorie, um eine oder mehrere Regionen in einer Umgebung des AV zu identifizieren, wobei die eine oder die mehreren Regionen die Folgenden umfassen: eine Rückgriffüberwachungsregion (FMR) und eine aktive Überwachungsregion (AMR); Generieren einer oder mehrerer Anweisungen zum Veranlassen, dass das AV eine Kollisionsminderungsmaßnahme ausführt, als Reaktion darauf, dass ein Objekt innerhalb der AMR detektiert wird; und Übertragen der einen oder der mehreren Anweisungen an eine AV-Plattform (AVP) zur Ausführung.
System nach Anspruch 18, wobei die primäre Steuerung zu Folgendem konfiguriert ist: Empfangen eines ersten Satzes von Sensordaten von einem primären Sensorsystem und eines zweiten Satzes von Sensordaten von dem sekundären Sensorsystem; Generieren der aktiven Trajektorie auf Grundlage des ersten Satzes von Sensordaten und des zweiten Satzes von Sensordaten; und Übertragen primärer Navigationsanweisungen zum Navigieren des AV entlang der aktiven Trajektorie an die komplementäre Steuerung zur Übertragung an die AVP.
System zum Betreiben eines autonomen Fahrzeugs (AV), wobei das System Folgendes umfasst: ein AV, umfassend: eine primäre Steuerung und eine komplementäre Steuerung, wobei die komplementäre Steuerung zu Folgendem konfiguriert ist: Detektieren eines auslösenden Ereignisses, wobei das auslösende Ereignis beliebiges der Folgenden umfasst: Empfang von Anweisungen von der primären Steuerung zum Ausführen eines Zustands einer Bedingung mit minimalem Risiko (MRC) des AV; oder einen Fehler, der einer Kommunikationsübertragung zwischen einem oder mehreren Teilsystemen des AV zugeordnet ist; als Reaktion darauf, dass ein Auftreten eines auslösenden Ereignisses detektiert wird, Veranlassen, dass eine AV-Plattform eine Failover-Anhaltemaßnahme einleitet, um das AV entlang einer aktiven Trajektorie zum Anhalten zu bringen.
Computerprogrammprodukt, umfassend einen Speicher und Programmieranweisungen, die dazu konfiguriert sind, einen Prozessor zu Folgendem zu veranlassen: Empfangen von Informationen, die eine aktive Trajektorie eines autonomen Fahrzeugs (AV) umfassen, von einer primären Steuerung, wobei die aktive Trajektorie ein Weg ist, dem das AV für einen Planungshorizont zu folgen beabsichtigt; Verwenden der aktiven Trajektorie, um eine oder mehrere Regionen in einer Umgebung des AV zu identifizieren, wobei die eine oder die mehreren Regionen die Folgenden umfassen: eine Rückgriffüberwachungsregion (FMR) und eine aktive Überwachungsregion (AMR); Generieren einer oder mehrerer Anweisungen zum Veranlassen, dass das AV eine Kollisionsminderungsmaßnahme ausführt, als Reaktion darauf, dass ein Objekt innerhalb der AMR detektiert wird; und Übertragen der einen oder der mehreren Anweisungen an eine AV-Plattform (AVP) zur Ausführung.
Computerprogrammprodukt nach Anspruch 21, ferner umfassend Programmieranweisungen, die bei Ausführung durch den Prozessor den Prozessor dazu veranlassen, die eine oder die mehreren Anweisungen nur als Reaktion darauf zu generieren, dass ein Risiko einer Kollision zwischen dem Objekt und dem AV größer als ein Schwellenwert ist.
Computerprogrammprodukt, umfassend einen Speicher und Programmieranweisungen, die dazu konfiguriert sind, einen Prozessor zu Folgendem zu veranlassen: Detektieren eines auslösenden Ereignisses, wobei das auslösende Ereignis beliebiges der Folgenden umfasst: Empfang von Anweisungen von einer primären Steuerung eines autonomen Fahrzeugs (AV) zum Ausführen eines Zustands einer Bedingung mit minimalem Risiko (MRC) des AV; oder einen Fehler, der einer Kommunikation zwischen einem oder mehreren Teilsystemen des AV zugeordnet ist; als Reaktion darauf, dass ein Auftreten eines auslösenden Ereignisses detektiert wird, Veranlassen, dass eine AV-Plattform eine Failover-Anhaltemaßnahme einleitet, um das AV entlang einer aktiven Trajektorie zum Anhalten zu bringen.
Computerprogrammprodukt nach Anspruch 23, ferner umfassend Programmieranweisungen, die bei Ausführung durch den Prozessor den Prozessor dazu veranlassen, nach Detektion des auslösenden Ereignisses eine Bereitstellung einer ersten Vielzahl von Anweisungen, die von der primären Steuerung empfangen wird, an die AV-Plattform anzuhalten.