DE112018006665T5 - Verfahren zum zugreifen auf ergänzende wahrnehmungsdaten von anderen fahrzeugen - Google Patents

Verfahren zum zugreifen auf ergänzende wahrnehmungsdaten von anderen fahrzeugen Download PDF

Info

Publication number
DE112018006665T5
DE112018006665T5 DE112018006665.7T DE112018006665T DE112018006665T5 DE 112018006665 T5 DE112018006665 T5 DE 112018006665T5 DE 112018006665 T DE112018006665 T DE 112018006665T DE 112018006665 T5 DE112018006665 T5 DE 112018006665T5
Authority
DE
Germany
Prior art keywords
vehicle
time
point
autonomous vehicle
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE112018006665.7T
Other languages
English (en)
Inventor
Chih Hu
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Direct Current Capital LLC
Original Assignee
Direct Current Capital LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Direct Current Capital LLC filed Critical Direct Current Capital LLC
Publication of DE112018006665T5 publication Critical patent/DE112018006665T5/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096716—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information does not generate an automatic action on the vehicle control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0022—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the communication link
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096733—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place
    • G08G1/096741—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place where the source of the transmitted information selects which information to transmit to each vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096733—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place
    • G08G1/09675—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place where a selection from the received information takes place in the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096791—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is another vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G08G1/096833—Systems involving transmission of navigation instructions to the vehicle where different aspects are considered when computing the route
    • G08G1/096844—Systems involving transmission of navigation instructions to the vehicle where different aspects are considered when computing the route where the complete route is dynamically recomputed based on new data
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G08G1/162—Decentralised systems, e.g. inter-vehicle communication event-triggered
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W84/00—Network topologies
    • H04W84/18—Self-organising networks, e.g. ad-hoc networks or sensor networks

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Atmospheric Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)

Abstract

Eine Variante eines Verfahrens zum Zugreifen auf ergänzende Daten von anderen Fahrzeugen schließt an einem autonomen Fahrzeug ein: Aufzeichnen eines Abtastbildes einer Szene um das autonome Fahrzeug zu einem ersten Zeitpunkt; Erfassen unzureichender Wahrnehmungsdaten in einem Bereich des Abtastbildes; als Reaktion auf das Erfassen unzureichender Wahrnehmungsdaten in dem Bereich Definieren einer betroffenen Bodenfläche, welche den Bereich enthält, und drahtloses Übertragen einer Abfrage von Wahrnehmungsdaten, die Objekte innerhalb der betroffenen Bodenfläche darstellen; als Reaktion auf das Empfangen der ergänzenden Wahrnehmungsdaten - die Objekte innerhalb der betroffenen Bodenfläche, die von dem zweiten Fahrzeug zu etwa dem ersten Zeitpunkt erfasst werden, darstellen - von einem zweiten Fahrzeug nahe der Szene Einbeziehen der ergänzenden Wahrnehmungsdaten in das Abtastbild, um ein zusammengesetztes Abtastbild zu bilden; Auswählen einer Navigationshandlung auf Grundlage von Objekten in der Szene, die von dem zusammengesetzten Abtastbild dargestellt werden; und autonomes Ausführen der Navigationshandlung

Description

  • QUERVERWEIS AUF VERWANDTE ANMELDUNGEN
  • Diese Anmeldung beansprucht den Vorteil der vorläufigen U.S. Anmeldung Nr. 62/610,689 , eingereicht am 27. Dezember 2017, die hiermit durch Bezugnahme in ihrer Gesamtheit aufgenommen wird.
  • TECHNISCHES GEBIET
  • Diese Erfindung bezieht sich allgemein auf das Gebiet autonomer Fahrzeuge und insbesondere auf ein neues und nützliches Verfahren zum Zugriff auf ergänzende Daten von anderen Fahrzeugen in dem Gebiet autonomer Fahrzeuge.
  • Figurenliste
    • 1A und 1B sind Flussdiagrammdarstellungen eines Verfahrens;
    • 2 ist eine Flussdiagrammdarstellung des Verfahrens;
    • 3 ist eine Flussdiagrammdarstellung des Verfahrens; und
    • 4 ist eine Flussdiagrammdarstellung des Verfahrens.
  • BESCHREIBUNG DER AUSFÜHRUNGSFORMEN
  • Die folgende Beschreibung von Ausführungsformen der Erfindung soll die Erfindung nicht auf diese Ausführungsformen beschränken, sondern vielmehr Fachleuten ermöglichen, diese Erfindung herzustellen und zu verwenden. Varianten, Konfigurationen, Implementierungen, beispielhafte Implementierungen und hierin beschriebene Beispiele sind optional und sind nicht ausschließlich auf die Varianten, Konfigurationen, Implementierungen, beispielhafte Implementierungen und Beispiele, die sie beschreiben, beschränkt. Die hierin beschriebene Erfindung kann beliebige und alle Umsetzungen dieser Varianten, Konfigurationen, Implementierungen, beispielhaften Implementierungen und Beispiele einschließen.
  • Wie in den 1A und 1B gezeigt, schließt ein Verfahren zum Zugriff auf ergänzende Daten von anderen Fahrzeugen bei einem autonomen Fahrzeug ein: Aufzeichnen eines Abtastbildes einer Szene um das autonome Fahrzeug zu einem ersten Zeitpunkt in Block S110; Erfassen unzureichender Wahrnehmungsdaten in einem Bereich des Abtastbildes in Block S120; als Reaktion auf das Erfassen unzureichender Wahrnehmungsdaten in dem Bereich des Abtastbildes Definieren einer betroffenen Bodenfläche, welche den Bereich des Abtastbildes in Block S130 enthält, und drahtloses Übertragen einer Abfrage von Wahrnehmungsdaten, die Objekte innerhalb der betroffenen Bodenfläche in Block S140 darstellen, als Reaktion auf das Empfangen ergänzender Wahrnehmungsdaten von einem zweiten Fahrzeug nahe der Szene Einbeziehen der ergänzenden Wahrnehmungsdaten in das Abtastbild, um ein zusammengesetztes Abtastbild in Block S150 zu bilden, wobei die ergänzenden Wahrnehmungsdaten Objekte innerhalb der betroffenen Bodenfläche darstellen, die von dem zweiten Fahrzeug zu etwa dem ersten Zeitpunkt erfasst wurden; Auswahl einer ersten Navigationshandlung basierend auf Objekten in der Szene, die durch das zusammengesetzte Abtastbild im Block S160 dargestellt sind; und autonomes Ausführen der ersten Navigationshandlung in Block S170.
  • Anwendung
  • Im Allgemeinen können autonome Fahrzeuge in unmittelbarer Nähe zueinander Blocks des Verfahrens S100 ausführen, um ein lokales drahtloses Ad-hoc-Netzwerk zu bilden und Wahrnehmungsdaten (z. B. Sensorrohdaten, aus Sensordaten abgeleitete Objektkarten) untereinander zu teilen, was einigen oder allen dieser standortnahen autonomen Fahrzeuge folgendes ermöglichen kann: Erreichen einer größeren Sensorredundanz; Erzielen von vollständigeren Wahrnehmungen ihrer standortnahen Szenen (z. B. Orte, Typen und Verläufe von Objekten in der Nähe); Erfassen entgegenkommender Fahrzeuge und bevorstehender Hindernisse in größeren Entfernungen; und Ausführen von besser fundierten - und sogar präventiven - Navigationshandlungen mit größerer Konfidenz in kürzerer Zeit.
  • Anfordern ergänzender Wahrnehmungsdaten
  • Insbesondere kann ein autonomes Fahrzeug, das autonom entlang einer Route fährt, Blöcke des Verfahrens S100 ausführen, um ergänzende Wahrnehmungsdaten von anderen Fahrzeugen in der Nähe, die auf bestimmte Auslöser reagieren, anzufordern (oder „zu ziehen“), wie beispielsweise: aufgrund externer Objekte niedrige oder unzureichende Redundanz an dem autonomen Fahrzeug aufgrund einer Behinderung der Sichtfelder der Sensoren auf dem autonomen Fahrzeug; in Vorbereitung zum Ausführen einer bestimmten Navigationshandlung (z. B. eine Rechtskurve bei Rot, eine ungeschützte Linkskurve); Nähe zu einer gemeinsamen Unfallstelle; unzureichende Sensordaten, um zuverlässig einen erfassten Objekttyp in der Szene in der Nähe des autonomen Fahrzeugs zu klassifizieren; Erfassen eines neuen, veränderbaren Objekts unbekannten Verlaufs in der Szene in der Nähe des autonomen Fahrzeugs; usw. wie in 2 gezeigt. Zum Beispiel kann das autonome Fahrzeug: eine Abfrage von Sensorrohdaten, einer Objektkarte und/oder anderen Wahrnehmungsdaten erzeugen, die Objekte innerhalb einer bestimmten betroffenen Bodenfläche, auf der das autonome Fahrzeug eine unzureichende Tiefenkarte und/oder unzureichende fotografische Sensordaten - über ein bestimmtes Zeitfenster hinweg - aufzeichnete, um diese Sensordaten zu verifizieren, das Vorfahrtrecht zu bestätigen, um eine Navigationshandlung auszuführen, ein Objekt in der Szene mit mehr als minimaler Konfidenz zu klassifizieren, und/oder den Verlauf eines Objekts in der Szene mit mehr als minimaler Konfidenz vorherzusagen; und dann diese Abfrage direkt an andere instrumentierte Fahrzeuge (z. B. andere autonome Fahrzeuge in der gleichen oder einer anderen autonomen Fahrzeugflotte) über ein lokales drahtloses Netzwerk zu übermitteln. Daher kann das autonome Fahrzeug ergänzende Wahrnehmungsdaten anfordern, die einer bestimmten betroffenen Bodenfläche entsprechen, die für das autonome Fahrzeug erforderlich ist, um eine nächste Navigationshandlung auszuwählen und auszuführen, oder die es dem autonomen Fahrzeug ermöglicht, eine nächste Navigationshandlung mit größerer Konfidenz und geringerer Wahrscheinlichkeit einer Kollision mit einem externen Objekt auszuwählen und auszuführen.
  • Nach Empfang dieser Abfrage kann ein zweites Fahrzeug in der Nähe: georeferenzierte Sensorrohdaten, Objektkarten oder andere Wahrnehmungsdaten, welche die bestimmte betroffene Bodenfläche überschneiden und die während des bei der Abfrage von dem lokalen Speicher bestimmten Zeitfensters aufgezeichnet wurden, abrufen; und dann diese Wahrnehmungsdaten zurück an das autonome Fahrzeug über dasselbe lokale drahtlose Netzwerk senden. Nach Empfang dieser ergänzenden Wahrnehmungsdaten von dem zweiten Fahrzeug in der Nähe kann das autonome Fahrzeug: diese ergänzenden Wahrnehmungsdaten mit Sensordaten kompilieren, die von dem autonomen Fahrzeug selbst gesammelt werden, um eine vollständigere, höhere Auflösung und/oder eine größere Konfidenz der Wahrnehmung der Szene um das autonome Fahrzeug während des bestimmten Zeitfensters zu bilden; eine nächste Navigationshandlung (z. B. Beschleunigung, Bremsen, Drehung oder keine Änderung) auf Grundlage dieser Wahrnehmung der Szene auswählen; und dann diese nächste Navigationshandlung autonom ausführen.
  • Eigenschaften der ergänzenden Wahrnehmungsdaten
  • Wie in 3 gezeigt, kann das autonome Fahrzeug auch Wahrnehmungsdaten eines bestimmten Typs anfordern, wie beispielsweise: rohe Tiefenkartendaten (z. B. ganze oder partielle LIDAR-Frames) und/oder fotografische Bilder (z. B. ganze oder partielle Farbbilder), wenn eine drahtlose Kommunikation mit hoher Datenübertragungsrate durch das lokale drahtlose Netzwerk unterstützt wird oder wenn Wahrnehmungsverfahren anderer Fahrzeuge unbekannt sind; oder Objektkarten, die Typen und Standortdaten von Objekten enthalten - die aus rohen Tiefenkartendaten und/oder fotografischen Bilddaten abgeleitet sind -, wenn drahtlose Kommunikation mit hoher Datenübertragungsrate durch das lokale drahtlose Netzwerk nicht unterstützt wird oder wenn Wahrnehmungsverfahren anderer Fahrzeuge verifiziert werden. Durch diese Anforderung spezifischer, ausgewählter Sensordaten anderer Fahrzeuge in der Nähe kann das autonome Fahrzeug ein Gesamtvolumen von ergänzenden Wahrnehmungsdaten, die von diesen anderen Fahrzeugen an das autonome Fahrzeug gesendet werden, begrenzen und somit den Datenübertragungsratenbedarf des drahtlosen Netzwerks begrenzen.
  • Darüber hinaus kann das autonome Fahrzeug ergänzende Wahrnehmungsdaten über eine bestimmte betroffene Bodenfläche hinaus anfordern, in dem dem autonomen Fahrzeug unzureichende Wahrnehmungsdaten zur Verfügung stehen. Zum Beispiel kann das autonome Fahrzeug ergänzende Wahrnehmungsdaten für eine erste betroffene Bodenfläche, auf der das autonome Fahrzeug Zugriff auf ausreichende Wahrnehmungsdaten hat (z. B. eine ausreichende Redundanz, Konfidenz in einen erkannten Objekttyp, Konfidenz in einen vorhergesagten Verlaufskurventyp eines Objekts) und für eine zweite betroffene Bodenfläche, auf der das autonome Fahrzeug Zugriff auf unzureichende Wahrnehmungsdaten hat, anfordern. Nach Empfang von ergänzenden Wahrnehmungsdaten, die beide dieser betroffenen Bodenflächen abdecken, kann das autonome Fahrzeug: ein Abgleich zwischen Wahrnehmungsdaten, die von dem autonomen Fahrzeug erzeugt werden, und ergänzenden Wahrnehmungsdaten - empfangen von einem anderen Fahrzeug - auf der ersten Bodenfläche verifizieren; und dann ergänzende Wahrnehmungsdaten, die der zweiten betroffenen Bodenfläche entsprechen, einbeziehen, wenn ergänzende Wahrnehmungsdaten für die erste Bodenfläche verifiziert werden. Das autonome Fahrzeug kann daher ergänzende Wahrnehmungsdaten anfordern, die sich über einen Bereich in der Szene um das autonome Fahrzeug hinaus erstrecken, in dem das autonome Fahrzeug Zugriff auf unzureichende Wahrnehmungsdaten hat, um dem autonomen Fahrzeug zu ermöglichen, die Integrität dieser empfangenen ergänzenden Wahrnehmungsdaten zu verifizieren.
  • Übertragen ergänzender Wahrnehmungsdaten
  • Wie in 4 gezeigt, kann das autonome Fahrzeug auch: Sensordaten während des Betriebs aufzeichnen, wie beispielsweise in Form von 2D-Farbbildern, 3D-Farbbildern, Tiefen-(z. B. LIDAR-)Scans usw.; und alle oder Segmente dieser Sensordaten übertragen. Das autonome Fahrzeug kann zusätzlich oder alternativ: diese Sensordaten in Objektkarten oder andere Darstellungen der Szene um das autonome Fahrzeug umsetzen; und alle oder Segmente dieser abgeleiteten Wahrnehmungen der Szene übertragen. Andere autonome Fahrzeuge in der Nähe können dann selektiv auf diese von dem autonomen Fahrzeug übertragenen Wahrnehmungsdaten zugreifen, um ihre eigenen lokal erzeugten Wahrnehmungsdaten zu ergänzen. Alternativ kann das autonome Fahrzeug: auf einen Standort, einen Verlauf und/oder eine geplante Route eines anderen Fahrzeugs zugreifen, ein Segment seiner jüngsten Wahrnehmungsdaten auswählen, das für die Navigation und/oder Wahrnehmung durch dieses andere autonome Fahrzeug relevant ist; und dieses Segment seiner jüngsten Wahrnehmungsdaten selektiv an dieses andere autonome Fahrzeug übertragen (oder „pushen“). Als weitere Alternative kann das autonome Fahrzeug alle oder ausgewählte Segmente seiner derzeitigen Wahrnehmungsdaten an dieses andere autonome Fahrzeug zurückschicken, wenn explizit von dem anderen autonomen Fahrzeug gemäß dem Verfahren S 100 angefordert (oder „gezogen“).
  • Ein autonomes Fahrzeug, das Blocks des Verfahrens S 100 ausführt, kann daher: wahlweise ergänzende Wahrnehmungsdaten von anderen Fahrzeugen in der Nähe anfordern (oder „anziehen“), um seine eigene Wahrnehmung seiner Umgebung zu verbessern; und separat oder gleichzeitig seine eigenen Wahrnehmungsdaten an andere Fahrzeuge in der Nähe übertragen, um individuelle Wahrnehmungen dieser anderen autonomen Fahrzeuge zu verbessern.
  • Um Wahrnehmungsdaten zu teilen, können diese standortnahen autonomen Fahrzeuge (und/oder andere Fahrzeuge mit aktivierten Sensoren) ein Ad-hoc-Netzwerk bilden und die Wahrnehmungsdaten direkt zwischen autonomen Fahrzeugen über dieses Ad-hoc-Netzwerk teilen (z. B. statt diese Wahrnehmungsdaten über ein festgelegtes Mobilfunknetzwerk an ein Remote-Computersystem weiterzuleiten, welches diese Daten dann über dasselbe Mobilfunknetzwerk an andere Fahrzeuge leitet).
  • Das Verfahren S 100 ist hierin als ein Verfahren beschrieben, das durch autonome Fahrzeuge zum Senden und Empfangen ergänzender Wahrnehmungsdaten über ein lokales Ad-hoc-Netzwerk in (nahezu) Echtzeit ausgeführt wird, wenn bestimmte Auslösebedingungen erfüllt sind, wie beispielsweise: Nähe zu anderen Fahrzeugen; unzureichende Sensorredundanz; Nähe zu markierten Straßenlagen; Vorbereitung für markierte Navigationshandlungen; usw. Die autonomen Fahrzeuge können Wahrnehmungsdaten jedoch auch über ein dauerhaftes drahtloses Netzwerk (z. B. ein Mobilfunknetzwerk) auf ein Remote-Computersystem hochladen, und diese autonomen Fahrzeuge und das Remote-Computersystem können gemeinsam Blöcke des Verfahrens S 100 im Wesentlichen in Echtzeit selektiv unter diesen autonomen Fahrzeugen neu verteilen, um ihre Wahrnehmungen ihrer Umgebungen zu verbessern, damit eine höhere Zuverlässigkeit und eine höhere Genauigkeit des autonomen Betriebs ermöglicht wird.
  • Wireless Network (drahtloses Netzwerk)
  • Standortnahe autonome Fahrzeuge, die Blöcke des Verfahrens S 100 zum Senden und Empfangen ergänzender Wahrnehmungsdaten ausführen, können ein mobiles Ad-hoc-Netzwerk bilden. Zum Beispiel kann jedes autonome Fahrzeug als ein Knoten in dem drahtlosen Netzwerk funktionieren und kann eine Verbindung zu anderen Knoten (z. B. zu anderen autonomen Fahrzeugen) in der Nähe über drahtlose Kommunikationsprotokolle senden, empfangen und die Daten durch das drahtlose Netzwerk leiten. Jedoch können diese autonomen Fahrzeuge beliebige andere Verfahren oder Techniken zum Erzeugen eines sich selbst konfigurierenden, dynamischen drahtlosen Ad-Hoc-(oder „Maschen“-)Netzwerks implementieren, über das ergänzende Wahrnehmungsdaten, die durch ein autonomes Fahrzeug aufgezeichnet wurden, auf ein oder mehrere andere autonome Fahrzeuge weiterverteilt werden können, die dann diese ergänzenden Wahrnehmungsdaten mit ihren eigenen Sensordaten zur Verbesserung der Wahrnehmung von lokalen Umgebungen und zur Verbesserung von Geschwindigkeit und Qualität von Navigationshandlungen gemäß dem Verfahren S 100 kompilieren können.
  • Autonomes Fahrzeug und Sensorik
  • Block S110 des Verfahrens S100 gibt das Aufzeichnen eines Abtastbildes um das autonome Fahrzeug an. Im Allgemeinen greift in Block S110 ein autonomes Fahrzeug auf Sensordaten von verschiedenen Sensoren zu, die in dem autonomen Fahrzeug angeordnet oder integriert sind - wie Abstandabtastungen von mehreren LIDAR-Sensoren und/oder zweidimensionale Bilder aus mehreren Farbkameras -, die etwa gleichzeitig durch an dem autonomen Fahrzeug angeordnete Sensoren aufgezeichnet wurden (und Sichtfelder, die eine gewisse Überlappung über einen Abstand im Bereich von dem autonomen Fahrzeug definieren).
  • In einer Implementierung schließt das autonome Fahrzeug ein: einen Satz LIDAR-Sensoren, wie an der Oberseite des autonomen Fahrzeugs an jeder Vorderseite, Rückseite, linken und rechten Seite des autonomen Fahrzeugs angeordnet. Jeder LIDAR-Sensor kann eine dreidimensionale Tiefenkarte (oder einen „LIDAR-Rahmen“) - wie zum Beispiel in Form einer dreidimensionalen Punktwolke, welche Entfernungen zwischen dem LIDAR-Sensor und der Außenfläche innerhalb des Sichtfeldes des LIDAR-Sensors darstellt - pro Umdrehung des LIDAR-Sensors (d. h. einmal pro Abtastzyklus) ausgeben. Beispielsweise kann ein LIDAR-Sensor auf dem autonomen Fahrzeug LIDAR-Rahmen mit einer Frequenz von 20 Hz ausgeben, wobei jeder LIDAR-Rahmen eine 3D-Punktwolke einschließt, die ein 360°-Sichtfeld um eine Gierachse des autonomen Fahrzeugs beabstandet, und wobei jeder Punkt in einem LIDAR-Rahmen einen Abstand vom LIDAR-Sensor zu einer Oberfläche in dem Feld um das autonome Fahrzeug darstellt. Darüber hinaus kann in einer Variation, in der das autonome Fahrzeug mehrere LIDAR-Sensoren an unterschiedlichen Positionen und/oder Ausrichtungen auf dem autonomen Fahrzeug einschließt, jeder LIDAR-Sensor einen LIDAR-Rahmen pro Abtastzyklus ausgeben; und das autonome Fahrzeug kann zusammenwirkende LIDAR-Rahmen, die von diesen LIDAR-Sensoren empfangen wurden, in einen zusammengesetzten LIDAR-Rahmen pro Abtastzyklus basierend auf bekannten Positionen dieser LIDAR-Sensoren auf dem autonomen Fahrzeug kombinieren. Das autonome Fahrzeug kann dann einen LIDAR-Rahmen - von einem einzelnen LIDAR-Sensor oder kombiniert von mehreren LIDAR-Sensoren - in die nachstehend beschriebenen und in 2 gezeigten Pipelines für Netzbelegung, Bodenlinienwahrnehmung und Deep Learning übertragen.
  • Das autonome Fahrzeug schließt auch einen RADAR-Sensor ein, der vorne und nach außen gewandt von der Vorderseite des autonomen Fahrzeugs aus angeordnet ist und konfiguriert ist, um Oberflächen in seinem Sichtfeld (d. h. vor dem autonomen Fahrzeug) zu erfassen, und konfiguriert ist, um eine Liste dieser Oberflächen und ihrer Standorte einmal pro Abtastzyklus auszugeben. Beispielsweise kann der RADAR-Sensor ein ungefähres 2D-Sichtfeld definieren, das sich horizontal und von der Vorderseite des autonomen Fahrzeugs aus nach außen erstreckt. Einmal pro Abtastzyklus (z. B. mit einer Frequenz von 20 Hz) kann der RADAR-Sensor eine Objektliste für Objekte, die in seinem Sichtfeld erfasst wurden (z. B. bis zu 64 Objekte), ausgeben, wie beispielsweise einschließlich: einen Azimutwinkel relativ zu dem RADAR-Sensor, einen Abstand von dem RADAR-Sensor und eine Geschwindigkeit relativ zu dem RADAR-Sensor (d. h. in Bezug auf das autonome Fahrzeug im Allgemeinen) für jedes Objekt in der Objektliste. In einer Variante, bei der das autonome Fahrzeug mehrere RADAR-Sensoren in verschiedenen Positionen und/oder Ausrichtungen auf dem autonomen Fahrzeug einschließt, kann jeder RADAR-Sensor eine Objektliste pro Abtastzyklus ausgeben; und das autonome Fahrzeug kann zusammenwirkende RADAR-basierte Objektlisten, die von diesen RADAR-Sensoren empfangen werden, in eine zusammengesetzte Objektliste pro Abtastzyklus basierend auf bekannten Positionen dieser RADAR-Sensoren auf dem autonomen Fahrzeug kombinieren. Das autonome Fahrzeug kann dann eine RADAR-basierte Objektliste - von einem einzigen RADAR-Sensor oder kombiniert von mehreren RADAR-Sensoren - in die nachstehend beschriebenen Belegungskarten-Pipeline übertragen.
  • Das autonome Fahrzeug kann auch einen Satz von Farbkameras einschließen, wie beispielsweise von der Vorderseite, Rückseite, linken und rechten Seite des autonomen Fahrzeugs aus nach außen gewandt. Beispielsweise kann jede Kamera digitale fotografische Bilder (z. B. Farbbilder oder „Kamerabilder“) mit einer Frequenz von 20 Hz ausgeben.
  • Das autonome Fahrzeug kann zusätzlich oder alternativ einschließen: einen Satz Infrarotsender zum Projizieren von strukturiertem Licht in einem Feld in der Nähe des autonomen Fahrzeugs; einen Satz Infrarotdetektoren (z. B. Infrarotkameras); und einen Prozessor, der konfiguriert ist, um Bilder, die von dem/den Infrarotdetektor(en) ausgegeben werden, in eine Tiefenkarte des Feldes umzusetzen. Auf ähnliche Weise kann das autonome Fahrzeug einen Satz Infrarot-Näherungssensoren einschließen, die entlang des Umfangs des Fahrzeugbodens des autonomen Fahrzeugs angeordnet sind und konfiguriert sind, um Signale auszugeben, die der Nähe von Objekten und Fußgängern innerhalb eines Meters des autonomen Fahrzeugs entsprechen.
  • Während des Betriebs kann die Steuerung regelmäßig auf Abstandabtastungen, die durch den Satz LIDAR-Sensoren aufgezeichnet wurden, zugreifen, auf durch die Kameras aufgenommene 2D-Farbbilder zugreifen und/oder auf die Objektlisten und Standorte zugreifen, die durch RADAR-Sensoren, die an dem autonomen Fahrzeug angeordnet sind, in Block S110 ausgegeben werden. Zum Beispiel kann das autonome Fahrzeug diese Messdaten unterschiedlicher Typen und in unterschiedlichen Formaten in ein Abtastbild kompilieren, welches das Feld um das autonome Fahrzeug darstellt. Das autonome Fahrzeug kann die Belegungskarte, die Bodenlinienwahrnehmung und/oder Deep-Learning-Wahrnehmungstechniken implementieren, um: Standorte feststehender und veränderbarer Objekte in der Szene aus dem Abtastbild zu interpretieren; Typen dieser Objekte (z. B. Fahrzeuge, Lastkraftwagen, Fußgänger, Fahrspurmarkierungen, Straßenschilder, Ampeln) zu klassifizieren; Zustände dieser Objekte vorherzusagen; und/oder Bewegung oder Verläufe dieser Objekte vorherzusagen (z. B. basierend auf Objekttypen und Objektstandorten in vorhergehenden Abtastbildern).
  • Das autonome Fahrzeug kann zudem in diesem vorhergehenden Abtastbild erfasste Merkmale mit einer Lokalisierungskarte vergleichen, um die Position und Ausrichtung des autonomen Fahrzeugs im realen Raum zu bestimmen. Die Steuerung kann zudem einen nominalen Pfad zwischen dem aktuellen Standort des autonomen Fahrzeugs und einer geplanten Route zu einem spezifizierten Ziel auf Grundlage einer Navigationskarte und der realen Position und Ausrichtung des autonomen Fahrzeugs, die von dem aktuellen Abtastbild abgeleitet werden, berechnen.
  • Das autonome Fahrzeug kann zudem einen Kontext einer Szene um das autonome Fahrzeug aus dem Abtastbild bestimmen (oder „wahrnehmen“) (z. B. ob das autonome Fahrzeug Vorfahrt hat, um entlang seiner geplanten Route weiterzufahren), wie etwa auf Grundlage der Typen, Zustände, und Bewegung oder Verläufe von in dem aktuellen Abtastbild erfassten Objekten. Folglich kann das autonome Fahrzeug: eine nächste Navigationshandlung - wie beispielsweise auf der geplanten Route zu bleiben oder davon abzuweichen - auf Grundlage des Kontexts der Szene um das autonome Fahrzeug und seiner realen Position und Ausrichtung auswählen; und dann Aktoren innerhalb des Fahrzeugs (z. B. Beschleunigungs -, Brems- und Lenkaktoren) zu manipulieren, um autonom die ausgewählte Navigationshandlung auszuführen.
  • Übertragung ergänzender Wahrnehmungsdaten
  • Das autonome Fahrzeug kann daher verschiedene Arten von Sensordaten während eines Abtastzyklus in Block S110 sammeln. Wie nachstehend beschrieben, kann das autonome Fahrzeug Sensorrohdaten (z. B. rohe Tiefenkarten, rohe Farbbilder) an andere autonome Fahrzeuge in der Nähe über ein drahtloses Netzwerk senden, wie beispielsweise durch: standardmäßiges Übertragen dieser Sensorrohdaten über ein lokales drahtloses Ad-hoc-Netzwerk; oder drahtlos diese Sensorrohdaten zu einem bestimmten Fahrzeug in der Nähe übertragen, wenn diese Sensorrohdaten eine betroffene Bodenfläche, die explizit durch ein anderes Fahrzeug in einer Anforderung von ergänzenden Wahrnehmungsdaten spezifiziert wurde, überschneiden, entsprechend der Darstellung in den 1B und 4.
  • Alternativ kann das autonome Fahrzeug abgeleitete Wahrnehmungsdaten - wie in Form einer Objektkarte mit veränderbaren Objekten, die mit ihren Standorten, Typen und/oder Verläufen nahe dem autonomen Fahrzeug markiert sind - an andere Fahrzeuge in der Nähe übertragen.
  • Abgeleitete Wahrnehmungsdaten
  • In einer Implementierung überträgt das autonome Fahrzeug abgeleitete Wahrnehmungsdaten, die - überwiegend oder ausschließlich - veränderbare Objekte (d. h. nicht stationäre Objekte wie andere Fahrzeuge, Fußgänger usw.) zu anderen Fahrzeugen in der Nähe darstellen. Zum Beispiel kann das autonome Fahrzeug auf Folgendes zugreifen: eine Lokalisierungskarte, die georeferenzierte unveränderliche Objekte wie etwa Straßenoberflächen, Gebäude, Verkehrs- und Straßenschilder, Fahrspurmarkierungen, Bordsteine usw. innerhalb einer geographischen Region darstellt; und Merkmale in einer aktuellen 3D-Bildabtastung, die zuletzt von dem autonomen Fahrzeug erzeugt wurde, mit unveränderbaren Merkmalen vergleichen, die in der Lokalisierungskarte dargestellt sind, um Standort und Ausrichtung des autonomen Fahrzeugs im realen Raum zu bestimmen. Jedoch können andere autonome Fahrzeuge - beispielsweise in derselben autonomen Fahrzeugflotte - auf dieselbe Lokalisierungskarte zugreifen und somit Zugriff zu den Typen und Standorten dieser gleichen unveränderlichen Objekte in der geographischen Region haben. Daher können Merkmale in den Abtastdaten des autonomen Fahrzeugs, die unveränderliche Objekte und Oberflächen in dieser geografischen Region darstellen, für diese anderen autonomen Fahrzeuge redundant sein, und ergänzende Abtastdaten, welche diese unveränderlichen Objekte und Oberflächen darstellen, können die Lokalisierung, Szenenwahrnehmung oder Navigation für diese anderen autonomen Fahrzeuge nicht wesentlich verbessern. Somit kann das autonome Fahrzeug: Merkmale, die sich von in der Lokalisierungskarte dargestellten unveränderlichen Objekten und Oberflächen unterscheiden, in dem aktuellen Abtastbild isolieren, da diese unterschiedlichen Merkmale (überwiegend) veränderbare Objekte in der Szene um das autonome Fahrzeug darstellen können; und die Wahrnehmungsdaten dieser veränderbaren Objekte zu anderen Fahrzeugen in der Nähe, wie etwa durch pushen dieser Wahrnehmungsdaten an diese anderen Fahrzeuge oder durch Rücksenden dieser Wahrnehmungsdaten an Fahrzeuge in der Nähe, wenn ausdrücklich angefordert, selektiv übertragen.
  • In einem Beispiel führt das autonome Fahrzeug aus: Herstellung eines 3D-Abtastbildes des Feldes um das autonome Fahrzeug aus Tiefenkarten, die von LIDAR-Sensoren auf dem autonomen Fahrzeug während eines aktuellen Abtastzyklus aufgezeichnet wurden; Identifizieren von Objekten in zusammenwirkenden Farbbildern, die etwa durch Kameras an dem autonomen Fahrzeug aufgezeichnet werden; Projizieren der Objektanmerkungen aus diesen Farbbildern auf entsprechende Cluster von Punkten in dem 3D-Abtastbild; Implementieren von Objektverfolgungstechniken, um (veränderbare) Objekte zwischen einem vorherigen 3D-Abtastbild und dem aktuellen 3D-Abtastbild zu verfolgen und Geschwindigkeiten dieser Objekte abzuleiten; und Markieren von Objekten in dem aktuellen 3D-Abtastbild mit ihren jeweiligen Geschwindigkeiten. Das autonome Fahrzeug kann zudem: Grenzen dieser Objekte vorhersagen; die Grenzen um entsprechende Cluster von Punkten in dem 3D-Abtastbild einfügen; und diese Grenzen und/oder entsprechenden Cluster von Punkten mit georeferenzierten Standorten und Ausrichtungen dieser Objekte markieren. Das autonome Fahrzeug kann ferner Bewegungsmodelle implementieren, um Verläufe dieser Objekte auf Grundlage ihrer Typen vorherzusagen und vorhergesagte Verläufe in entsprechende Cluster von Punkten (oder entsprechende Objekte) in dem aktuellen 3D-Abtastbild einzufügen. Das autonome Fahrzeug kann somit ein 3D-Abtastbild erzeugen, das georeferenzierte Darstellungen von veränderbaren und unveränderlichen Objekten enthält, die jeweils mit ihrem vorhergesagten Typ, Zustand, 2D- oder 3D-Grenze, Geschwindigkeit und/oder Verlauf usw. gekennzeichnet sind.
  • In diesem Beispiel kann das autonome Fahrzeug auch: Lokalisierungstechniken implementieren, um Merkmale in dem vorliegenden 3D-Abtastbild mit georeferenzierten Merkmalen in der Lokalisierungskarte abzugleichen, um einen raumbezogenen Standort und eine Ausrichtung des autonomen Fahrzeugs zu einem Zeitpunkt des aktuellen Abtastzyklus zu bestimmen; Objekte (oder Oberflächen, Punkte, Merkmale usw. zum Beispiel), die in dem aktuellen 3D-Abtastbild dargestellt sind, die von in der Lokalisierungskarte dargestellten unveränderlichen Oberflächen versetzt sind, isolieren; andere Objekte, die von dem autonomen Fahrzeug als veränderbar identifiziert werden, isolieren; und diese isolierten Objekte - einschließlich deren vorhergesagte Typen, Typkonfidenzbewertungen, Grenzen, Geschwindigkeiten und/oder Verläufe - in ein komprimiertes Abtastbild zu kompilieren, das veränderbare Objekte (und unbekannte Objekte) in der Szene um das autonome Fahrzeug zum aktuellen Zeitpunkt darstellt. Daher kann dieses komprimierte Abtastbild eine „Objektkarte“ bilden, die georeferenzierte Standorte von veränderbaren Objekten und verschiedene Eigenschaften dieser veränderbaren Objekte, die in von dem autonomen Fahrzeug während des aktuellen Abtastzyklus aufgezeichneten Sensordaten erfasst werden, darstellen.
  • Das autonome Fahrzeug kann dann alles oder Teile des komprimierten Abtastbildes an andere Fahrzeuge übertragen, die sich in der Nähe des drahtlosen Ad-hoc-Netzwerks befinden, um 3D-Abtastbilder zu ergänzen, die von diesen anderen Fahrzeugen zu ähnlichen Zeiten erzeugt werden. Daher kann in diesem Beispiel das autonome Fahrzeug ein großes 3D-Abtastbild auf eine Darstellung eines Satzes veränderbarer Objekte komprimieren und dieses komprimierte Abtastbild an andere autonome Fahrzeuge in der Nähe übertragen, um das Gesamtvolumen der von dem autonomen Fahrzeug über das Ad-hoc-Netzwerk gesendeten Wahrnehmungsdaten zu reduzieren und somit den Datenübertragungsratenbedarf auf dem drahtlosen Netzwerk zu begrenzen.
  • Das autonome Fahrzeug kann zusätzlich oder alternativ Wahrnehmungsdaten filtern, die an ein anderes Fahrzeug in der Nähe gesendet werden, basierend auf einem betroffenen Bodenbereich, der für dieses andere Fahrzeug berechnet oder von diesem empfangen wurde. Zum Beispiel kann das autonome Fahrzeug beim Empfang einer Abfrage von ergänzenden Abtastdaten, die eine bestimmten betroffenen georeferenzierten Bodenfläche eines zweiten Fahrzeugs in der Nähe darstellen - wie nachstehend beschrieben - ein Segment des komprimierten Abtastbild extrahieren, das diese betroffene Bodenfläche überschneidet und dann dieses „verkürzte“ Abtastbild an das zweite Fahrzeug zurückgeben, wodurch die Dichte der an das zweite Fahrzeug übertragenen Wahrnehmungsdaten begrenzt wird, ein durch diese Wahrnehmungsdaten dargestellter geografischer Gesamtbereich begrenzt wird und der Datenübertragungsratenbedarf im drahtlosen Netzwerk begrenzt wird, wenn auf Anforderungen von ergänzenden Wahrnehmungsdaten für dieses zweite Fahrzeug geantwortet wird.
  • Darüber hinaus kann das autonome Fahrzeug durch Übertragen eines komprimierten oder verkürzten Abtastbildes (z. B. einer Objektkarte), welches die vorhergesagten Typen, Typkonfidenzbewertungen, Grenzen, Geschwindigkeiten und/oder Verläufe usw. von veränderbaren Objekten in der Szene in der Nähe des autonomen Fahrzeugs darstellt, an andere Fahrzeuge in der Nähe somit Folgendes: einem anderen Fahrzeug vorverarbeitete Wahrnehmungsdaten (statt Sensorrohdaten) bereitstellen, wodurch die Verarbeitungszeit und die Verarbeitungsleistung verringert werden, die dieses andere Fahrzeug benötigt, um das komprimierte oder verkürzte Abtastbild in sein eigenes lokal erzeugtes Abtastbild zu integrieren.
  • Allerdings kann das autonome Fahrzeug Abtastdaten auf beliebige andere Weise vorverarbeiten und diese Abtastdaten in einem beliebigen anderen Format an andere Fahrzeuge in dem lokalen oder drahtlosem Ad-hoc-Netzwerk übertragen.
  • Pushen von Wahrnehmungsdaten
  • In einer Variante überträgt (oder „pusht“) das autonome Fahrzeug standardmäßig automatisch ergänzende Wahrnehmungsdaten an andere Fahrzeuge in der Nähe, ohne dass diese anderen Fahrzeuge bestimmte ergänzende Wahrnehmungsdaten für bestimmte betroffene Bodenflächen anfordern.
  • In einer Implementierung überträgt das autonome Fahrzeug regelmäßig ein Abtastbild (z. B. ein vollständiges, verkürztes oder komprimiertes Abtastbild, das wie vorstehend beschrieben während eines Abtastzyklus erzeugt wurde) über das drahtlose Netzwerk, wie beispielsweise einmal pro Abtastzyklus oder in Intervallen (z. B. mit einer Frequenz von 1 Hz). In dieser Implementierung kann das autonome Fahrzeug diese Wahrnehmungsdaten standardmäßig regelmäßig an das drahtlose Netzwerk übertragen (oder „pushen“). Alternativ kann das autonome Fahrzeug diese Sensordaten übertragen: wenn mindestens ein autonomes Fahrzeug einen Standort innerhalb eines Schwellenabstands zu dem autonomen Fahrzeug besetzt, wie beispielsweise einen vorgegebenen statischen Bereich von 300 Meter oder einen dynamischen Bereich proportional zu einer relativen Geschwindigkeit des autonomen Fahrzeugs zu dem anderen autonomen Fahrzeug; oder wenn explizit von einem anderen Fahrzeug in der Nähe angefordert.
  • In einer anderen Implementierung kann das autonome Fahrzeug: andere autonome Fahrzeuge in der Nähe (oder das Remote-Computersystem) nach ihren Standorten, Geschwindigkeiten, Fahrtrichtungen und/oder geplanten Routen abfragen; vorhersagen, ob die von dem autonomen Fahrzeug während des aktuellen oder jüngsten Abtastzyklus erzeugten Wahrnehmungsdaten für diese anderen autonomen Fahrzeuge relevant sein können; Und diese Wahrnehmungsdaten dann entsprechend übertragen. Beispielsweise kann das autonome Fahrzeug für ein zweites Fahrzeug in der Nähe eine betroffene Bodenfläche für das zweite Fahrzeug auf Grundlage der Geschwindigkeit, Richtung und Ausrichtung des zweiten Fahrzeugs berechnen, wie beispielsweise eine Ellipse, die durchläuft: einen ersten Punkt 200 Meter geradeaus und entlang der anteroposterioren Achse des zweiten Fahrzeugs; einen zweiten Punkt 100 Meter links von dem zweiten Fahrzeug; einen dritten Punkt 100 Meter rechts von dem zweiten Fahrzeug; und einen vierten Punkt 50 Meter hinter dem zweiten Fahrzeug aufgrund der vorliegenden Position und Ausrichtung des zweiten Fahrzeugs. Alternativ kann das autonome Fahrzeug eine betroffene Bodenfläche für das zweite Fahrzeug definieren, die sich in Längsrichtung entlang eines nächsten Ein-Meilen-Abschnitts der geplanten Route des zweiten Fahrzeugs und seitlich nach außen (in einer kurze Distanz) von jedem Schnittpunkt entlang dieses nächsten Abschnitts der geplanten Route des zweiten Fahrzeugs erstreckt. In diesem Beispiel kann das autonome Fahrzeug dann: einen Schnittpunkt einer vertikalen Projektion der betroffenen Bodenfläche für das zweite Fahrzeug und des aktuellen 3D-Abtastbildes (oder anderer neuster Abtastbilder) berechnen, die von dem autonomen Fahrzeug erzeugt werden; das 3D-Abtastbild zu diesem Schnittpunkt abschneiden; Und diesen abgeschnittenen Ausschnitt des 3D-Abtastbildes automatisch an das zweite Fahrzeug übertragen. Das zweite Fahrzeug kann dann seine eigenen Abtastdaten innerhalb dieses abgeschnittenen Ausschnitts des vom autonomen Fahrzeug empfangenen 3D-Abtastbildes anhängen, um die Wahrnehmung seiner Umgebung zu verbessern, wodurch dem zweiten Fahrzeug ermöglicht wird, eine nächste Navigationshandlung mit räumlich vollständigeren Informationen, mit Informationen, die sich über einen längeren Zeitraum erstrecken und daher mit größerer Konfidenz auszuwählen und auszuführen.
  • Das autonome Fahrzeug kann zudem: gleichzeitig zusätzliche Schritte dieses Prozesses ausführen, um zielgerichtete ergänzende Wahrnehmungsdaten anderen Fahrzeugen in der Nähe bereitzustellen; und diesen Prozess während jedes nachfolgenden Abtastzyklus wiederholen, um ergänzende Wahrnehmungsdaten selektiv an diese anderen Fahrzeuge zu übertragen.
  • Auf Pull-Anforderungen von Wahrnehmungsdaten antworten
  • In einer anderen Variante sendet das autonome Fahrzeug selektiv zusätzliche Wahrnehmungsdaten an ein anderes Fahrzeug, wenn eine Anforderung von diesem anderen autonomen Fahrzeug vorliegt (d. h., wenn zusätzliche Wahrnehmungsdaten von diesem anderen Fahrzeug „gezogen“ werden).
  • In einer Implementierung zeichnet das autonome Fahrzeug Sensorrohdaten auf, implementiert Wahrnehmungstechniken zum Kompilieren dieser Sensordaten in ein Abtastbild (z. B. ein 3D-Abtastbild mit Anmerkungen zu Objekttyp, Standort, Geschwindigkeit und Verlauf; oder einer Objektkarte), und führt eine Navigationshandlung auf Grund dieses Abtastbildes während eines Abtastzyklus aus, wie beispielsweise über einen Zeitraum von 50 Millisekunden. In dieser Implementierung führt das autonome Fahrzeug zudem aus: Schreiben eines Zeitstempels für eine bestimmte Zeit - etwa entsprechend einem Beginn der Abtastperiode - in das Abtastbild in dem lokalen Speicher; Markieren des Abtastbildes mit einem raumbezogenen Standort und einer Ausrichtung des autonomen Fahrzeugs während des Abtastzyklus; und Speichern dieses Abtastbildes in einem lokalen Speicher, wie beispielsweise in einem Zehn-Sekunden-Bilddurchlaufzwischenspeicher. Anschließend kann das autonome Fahrzeug eine Abfrage von einem zweiten Fahrzeug von Wahrnehmungsdaten, die Objekte innerhalb einer bestimmten betroffenen Bodenfläche zu etwa der bestimmten Zeit darstellen, empfangen. Wenn ein geographischer Bereich durch das Abtastbild - in einem lokalen Speicher gespeichert - diese betroffene Bodenfläche überschneidet, kann das autonome Fahrzeug dann das gesamte Abtastbild (oder einen Ausschnitt des Abtastbildes, das die betroffene Bodenfläche schneidet), den Zeitstempel für eine bestimmte Zeit und den raumbezogenen Standort des autonomen Fahrzeugs zu dem bestimmten Zeitpunkt zu dem zweiten Fahrzeug übertragen. Das autonome Fahrzeug kann diesen Prozess wiederholen, um andere Abtastbilder - die im lokalen Speicher gespeichert sind und die die betroffene Bodenfläche und einen größeren in der Abfrage spezifizierten Zeitraum überschneiden - dem zweiten Fahrzeug bereitzustellen.
  • Zusätzliche Wahrnehmungsdatenanforderungen
  • Das autonome Fahrzeug kann zusätzlich oder alternativ Anforderungen von ergänzenden Wahrnehmungsdaten übertragen, um ein Abtastbild zu erweitern, das während eines aktuellen oder letzten Abtastzyklus erzeugt wurde.
  • Bei dieser Variante kann das autonome Fahrzeug die Blöcke S 120, S 130, und S 140 des Verfahrens ausführen, die angeben: Erfassen unzureichender Wahrnehmungsdaten in einem Ausschnitt des Abtastbildes; als Reaktion auf das Erfassen von unzureichender Wahrnehmungsdaten in dem Bereich des Abtastbildes Definieren einer betroffenen Bodenfläche, welche den Bereich des Abtastbildes enthält; und drahtloses Übertragen einer Abfrage von Wahrnehmungsdaten, die jeweils Objekte innerhalb der betroffenen Bodenfläche darstellen. Allgemein kann das autonome Fahrzeug in den Blöcken S 120, S 130 und S 140 selektiv ergänzende Wahrnehmungsdaten von einem anderen Fahrzeug in der Nähe anfordern (oder „ziehen“), wenn das autonome Fahrzeug bestimmt, dass solche ergänzenden Wahrnehmungsdaten für das autonome Fahrzeug vorteilhaft oder notwendig sein können, um seine lokale Umgebung mit ausreichender Vollständigkeit und Genauigkeit wahrzunehmen und dem autonomen Fahrzeug zu ermöglichen, eine nächste Navigationshandlung mit ausreichender Konfidenz (z. B. Konfidenz, dass das autonome Fahrzeug Vorfahrt hat und dass die Gefahr einer Kollision mit einem anderen Objekt gering ist) auszuwählen und auszuführen. Insbesondere kann das autonome Fahrzeug die Blöcke S 120, S 130 und S 140 ausführen, um einen Zugriff auf ergänzende Wahrnehmungsdaten von anderen Fahrzeugen in der Nähe über das drahtlose lokale Ad-hoc-Netzwerk anzufordern, wenn bestimmte Auslösebedingungen an dem autonomen Fahrzeug erfüllt sind.
  • Beispielsweise kann in dieser Variante das autonome Fahrzeug eine Abfrage an andere Fahrzeuge in der Nähe nach ergänzende Wahrnehmungsdaten übertragen (oder „pushen“): wenn ein Teil des Sichtfeldes des autonomen Fahrzeugs blockiert ist (z. B. durch einen Lastwagen in einer Fahrspur neben dem autonomen Fahrzeug); wenn das autonome Fahrzeug weniger als eine Sensorredundanzschwelle in einem Abschnitt seines Sichtfeldes erreicht hat; wenn das autonome Fahrzeug Zugriff auf eine zu geringe Dichte von Sensordaten in einem Bereich eines Abtastbildes aufweist, um einen Typ oder einen Verlauf eines Objekts zuverlässig vorherzusagen; oder wenn das autonome Fahrzeug einen anderen Auslöser für ergänzende Wahrnehmungsdaten ermittelt. In diesem Beispiel kann das autonome Fahrzeug diese Abfrage an ein zweites Fahrzeug in der Nähe direkt über das lokale Ad-hoc-Netzwerk oder über ein dauerhaftes drahtloses Netzwerk (z. B. ein Mobilfunknetzwerk, das mit einem Remote-Computersystem über das Internet verbunden ist) übertragen. Nach Empfang dieser Anforderung kann das zweite Fahrzeug vorstehend beschriebene Verfahren und Techniken ausführen, um: Sensorrohdaten oder abgeleitete Wahrnehmungsdaten, die diese Anforderung zeitlich und räumlich überschneiden (z. B. innerhalb eines Zeitfensters und einer in der Anforderung spezifizierten Bodenfläche), zu isolieren; und diese unverarbeiteten oder abgeleiteten Wahrnehmungsdaten in (nahezu) Echtzeit an das autonome Fahrzeug zurückzusenden.
  • Daher kann in dieser Variante das autonome Fahrzeug eine Abfrage an das zweite Fahrzeug direkt über ein lokales Ad-hoc-Netzwerk übertragen und empfängt dann von diesem zweiten Fahrzeug über das lokale drahtlose Ad-hoc-Netzwerk ergänzende Wahrnehmungsdaten. Das autonome Fahrzeug kann dann: diese ergänzenden Wahrnehmungsdaten, die von dem zweiten Fahrzeug empfangen werden, mit seinen eigenen gleichzeitigen Wahrnehmungsdaten kombinieren (z. B. basierend auf einem raumbezogenen Standort, der den ergänzenden Wahrnehmungsdaten zugeordnet ist), um seine Wahrnehmung seiner örtliche Umgebung „auszufüllen“; und dann eine Navigationshandlung auf Grundlage dieser „ausgefüllten“ (z. B. vollständigeren und/oder höher auflösenden) Darstellung dieser Umgebung auszuwählen.
  • Das autonome Fahrzeug kann auch mehrere Schritte dieses Verfahrens gleichzeitig ausführen, um ergänzende Wahrnehmungsdaten von mehreren Fahrzeugen in der Nähe anzufordern - für dieselbe oder eine unterschiedliche betroffene Bodenfläche - und um ergänzende Wahrnehmungsdaten, die von jedem von diesen empfangen werden, in von dem autonomen Fahrzeug erzeugten gleichzeitigen Abtastbildern einzugliedern, wie in 1A, 1B und 3 gezeigt.
  • Auslöser: Zugänglichkeit
  • In einer Implementierung fordert das autonome Fahrzeug allgemeine Zusatzdaten von anderen Fahrzeugen in der Nähe an, wenn diese anderen Fahrzeuge mit dem drahtlosen Netzwerk verbunden sind oder anderweitig in den drahtlosen Bereich des autonomen Fahrzeugs kommen.
  • Beispielsweise kann das autonome Fahrzeug in Block S 130 eine betroffene Bodenfläche in Abhängigkeit von seiner Geschwindigkeit, Richtung und/oder Route berechnen und ergänzende Daten, die dieser betroffenen Bodenfläche entsprechen, von anderen Fahrzeugen in der Nähe in Block S 140 anfordern. In diesem Beispiel kann das autonome Fahrzeug definieren: eine betroffene elliptische Bodenfläche, die sich vorwiegend 50 Meter vor dem autonomen Fahrzeug erstreckt, wenn das autonome Fahrzeug an einer Ampel angehalten wird; eine betroffene elliptische Bodenfläche, die sich vorwiegend 300 Meter vor dem autonomen Fahrzeug erstreckt, wenn sich das autonome Fahrzeug mit 50 Meilen pro Stunde vorwärts bewegt; eine betroffene elliptische Bodenfläche, die sich vorwiegend rechts von dem autonomen Fahrzeug erstreckt, wenn das autonome Fahrzeug rechts abbiegt oder sich darauf vorbereitet, nach rechts abzubiegen; usw. Alternativ kann das autonome Fahrzeug, während das autonome Fahrzeug eine geplante Route ausführt, eine betroffene Bodenfläche definieren, die sich von der aktuellen Position des autonomen Fahrzeugs eine Meile entlang der geplanten Route erstreckt und sich seitlich nach außen (z. B. 200 Meter) von jeder Kreuzung entlang dieses nächsten Ein-Meilen-Abschnitts der geplanten Route in Block S 130 erstreckt. Das autonome Fahrzeug kann dann eine Anforderung von ergänzenden Wahrnehmungsdaten, die diese betroffene Bodenfläche darstellen, an andere Fahrzeuge pushen, die mit dem drahtlosen Netzwerk in S 140 verbunden sind. Zum Beispiel kann das autonome Fahrzeug: die betroffene Bodenfläche in Form von raumbezogenen Koordinaten von Eckpunkten der betroffenen Bodenfläche definieren; ergänzende Wahrnehmungsdaten in Form von Sensorrohdaten anfordern, wenn das drahtlose Netzwerk zu der aktuellen Zeit eine hohe Datenübertragungsrate aufweist; und ergänzende Wahrnehmungsdaten in Form einer Objektkarte anfordern (die z. B. Typen, raumbezogene Standorte, Geschwindigkeiten und Verläufe von veränderlichen Objekten enthält), wenn das drahtlose Netzwerk zu der vorliegenden Zeit eine niedrige Datenübertragungsrate aufweist.
  • In einem ähnlichen Beispiel kann, wenn das autonome Fahrzeug einen Autobahnabschnitt mit hohem Geschwindigkeit entlang seiner geplanten Route zurücklegt, das autonome Fahrzeug eine betroffene Bodenfläche definieren, die sich entlang der geplanten Route vor dem autonomen Fahrzeug und auf der Seite der Autobahn erstreckt, die von dem autonomen Fahrzeug in Block S 130 befahren wird. Das autonome Fahrzeug kann dann eine Anforderung von ergänzenden Wahrnehmungsdaten von anderen Fahrzeugen übertragen, die in derselben Richtung auf demselben Abschnitt der Autobahn vor dem autonomen Fahrzeug fahren, wie beispielsweise bis zu zwei Meilen vor dem autonomen Fahrzeug. Nach Empfang dieser Anforderung können andere Fahrzeuge ihre Sichtfelder mit der betroffenen Bodenfläche, die von dem autonomen Fahrzeug spezifiziert wurde, vergleichen; diejenigen mit Sichtfeldern, die die betroffene Bodenfläche überschneiden, können dann selektiv gekürzte Wahrnehmungsdaten, die dieser betroffenen Bodenfläche entsprechen, über das drahtlose Netzwerk an das autonome Fahrzeug zurücksenden. Nach Empfang dieser komprimierten und gekürzten Wahrnehmungsdaten kann das autonome Fahrzeug in Block S 150 sein eigenes, etwa gleichzeitig durch das autonomen Fahrzeug aufgenommenes, Abtastbild an diese externen Wahrnehmungsdaten anhängen, um eine Wahrnehmung von Verkehr und Hindernissen auf dieser Fahrspurseite in größeren Abständen vor dem autonomen Fahrzeug zu erreichen, einschließlich von Verkehr und Hindernisse außerhalb des unmittelbaren Sichtfeldes des autonomen Fahrzeugs.
  • Diese ergänzenden Wahrnehmungsdaten können es dem autonomen Fahrzeug somit ermöglichen, Verkehr und Hindernisse, die größere Entfernungen von dem autonomen Fahrzeug entfernt sind und die möglicherweise in dem Sichtfeld des autonomen Fahrzeugs verdeckt sind, zu identifizieren, wodurch ermöglicht wird, dass das autonome Fahrzeug Navigationshandlungen schneller und mit größerer Konfidenz durchführt. Darüber hinaus kann das autonome Fahrzeug durch Anfordern ergänzender Wahrnehmungsdaten, die ausdrücklich veränderbare Objekte auf und nahe der geplanten Route des autonomen Fahrzeugs darstellen, auf ergänzende Wahrnehmungsdaten, die bereits verarbeitet, gedeutet und zu hochwertigen Darstellungen der betroffenen Objekte durch andere Fahrzeuge komprimiert worden sind, zugreifen, wodurch die Auswirkung auf die Datenübertragungsrate des drahtlosen Netzwerks bei Übertragung dieser ergänzenden Wahrnehmungsdaten begrenzt wird und zusätzliche Verarbeitung von dem autonomen Fahrzeug zur Eingliederung dieser ergänzenden Wahrnehmungsdaten in ein Abtastbild, das zuvor von dem autonomen Fahrzeug erzeugt wurde, begrenzt wird.
  • Auslöser: Bevorstehende Navigationshandlung
  • In einer anderen Implementierung fragt das autonome Fahrzeug selektiv ergänzende Wahrnehmungsdaten von anderen Fahrzeugen in der Nähe an, wenn sich das autonome Fahrzeug darauf vorbereitet, eine bestimmte Art der Navigationshandlung auszuführen.
  • Zum Beispiel kann das autonome Fahrzeug einen vordefinierten Satz von Navigationshandlungen implementieren, die zum Abruf von ergänzenden Wahrnehmungsdaten gekennzeichnet sind, wie beispielsweise: Ausführen einer ungeschützten Linksabbiegevorgangs; rechts abbiegen an einer Kreuzung mit einer roten Ampel; oder herausfahren aus einer Parkgarage; usw. In diesem Beispiel kann das autonome Fahrzeug, wenn sich das autonome Fahrzeug einer Kreuzung nähert oder an einer Kreuzung gestoppt wird, eine Ampel gegenüber dem autonomen Fahrzeug rot ist, und die geplante Route des autonomen Fahrzeugs ein Rechtsabbiegen an der Kreuzung anzeigt, eine betroffene Bodenfläche definieren, die einschließt: die Kreuzung; eine entgegenkommende Linksabbiegespur, die dem autonomen Fahrzeug zugewandt ist und sich von der Kreuzung 100 Meter zurück erstreckt; und eine Querverkehrsspur, die sich in Block S130 von dem autonomen Fahrzeug 300 Meter nach links erstreckt. Das autonome Fahrzeug kann dann in Block S140 eine Anforderung von ergänzenden Wahrnehmungsdaten innerhalb dieser betroffenen Bodenfläche an andere Fahrzeuge in der Nähe über das drahtlose Netzwerk senden. Andere Fahrzeuge, die Sichtfelder definieren, die diese betroffene Bodenfläche überschneiden, können dann über das drahtlose Netzwerk ergänzende Wahrnehmungsdaten an das autonome Fahrzeug zurücksenden, wie vorstehend beschrieben.
  • Diese ergänzenden Wahrnehmungsdaten können somit dem autonomen Fahrzeug ermöglichen, andere Fahrzeuge zu erkennen, die sich der Einfädelspur zum nach rechts abbiegen vor dem autonomen Fahrzeug und entlang der geplanten Route des autonomen Fahrzeugs nähern- wie etwa entlang der Querverkehrsspur oder von der linken Abbiegespur in Richtung der autonomes Fahrzeug - auch wenn sich diese anderen Fahrzeuge nicht direkt im Sichtfeld des autonomen Fahrzeugs befinden oder zu weit von dem autonomen Fahrzeug entfernt sind, um direkt erkannt oder identifiziert zu werden. Insbesondere kann das autonome Fahrzeug: ergänzende Wahrnehmungsdaten, die von anderen Fahrzeugen in der Nähe empfangen werden, wirksam einsetzen, um seine Wahrnehmung von Fahrzeugen, Fußgängern und anderen veränderlichen (z. B. sich bewegenden) Objekten nahe der Kreuzung auszuweiten; und dann bestimmen, ob eine Rechtsabbiegehandlung an dieser Kreuzung mit größerer Konfidenz und mit geringer Wahrscheinlichkeit einer Kollision mit Gegenverkehr verzögert oder ausgeführt werden soll.
  • In dieser Implementierung kann das autonome Fahrzeug andere Regeln implementieren, wie etwa Verkehrsdichte und/oder Verkehrsgeschwindigkeit, um zu bestimmen, ob andere Fahrzeuge in der Nähe nach ergänzenden Wahrnehmungsdaten abgefragt werden sollen.
  • Auslöser: Unfallhistorie
  • In einer anderen Implementierung wird eine vom autonomen Fahrzeug implementierte Navigationskarte (oder die Lokalisierungskarte usw.) mit Standorten versehen, die Anforderungen von zusätzlichen Wahrnehmungsdaten auslösen. In dieser Implementierung fragt das autonome Fahrzeug selektiv ergänzende Wahrnehmungsdaten von anderen Fahrzeugen in der Nähe an, wenn sich das autonome Fahrzeug solchen in der Navigationskarte angegebenen Auslösestandorten nähert oder diese einnimmt.
  • Zum Beispiel kann das Remote-Computersystem (vorstehend beschrieben) auf verschiedene historische Daten zugreifen, wie zum Beispiel: Standorte, an denen lokale menschliche Fahrer, die in autonome Fahrzeuge sitzen, die manuelle Kontrolle über ihre autonomen Fahrzeuge übernahmen; und/oder Standorte (und Schwere, Kosten usw.) von Unfällen, an denen manuell betriebene Fahrzeuge beteiligt waren. Das Remote-Computersystem kann dann: bestimmte Standorte, Kreuzungen, Fahrspuren und/oder andere Straßenabschnitte extrapolieren, an denen autonome Fahrzeuge ein höheres Unfallrisiko haben können oder insbesondere von ergänzenden Wahrnehmungsdaten von anderen Fahrzeugen in der Nähe profitieren können; und die Navigationskarte mit Auslösern ergänzender Wahrnehmungsdaten an diesen bestimmten Standorten, Kreuzungen, Fahrspuren und/oder anderen Straßenabschnitten bestücken. Das Remote-Computersystem kann zusätzlich oder alternativ ergänzende Wahrnehmungsdaten in die Navigationskarte an Standorten schreiben, die einer bestimmten Straße, Kreuzung, einem Hindernis oder anderen Straßenbedingungsarten wie Eisenbahnkreuzungen, stark frequentierten Fußgängerübergängen, Straßen in der Nähe von Schulen oder Kreuzungen, an denen Querverkehr nicht anhält usw., entsprechen. Das Remote-Computersystem kann diesen Auslösern ergänzender Wahrnehmungsdaten auch vordefinierte betroffene Bodenflächen in der Navigationskarte zuweisen.
  • Während des Betriebs, wenn sich das autonome Fahrzeug einem Standort nähert, dem der Auslöser ergänzender Wahrnehmungsdaten in der Navigationskarte zugewiesen wird, kann das autonome Fahrzeug in Block S 140 automatisch eine Anforderung von ergänzenden Wahrnehmungsdaten - wie beispielsweise einschließlich einer vorgegebenen betroffenen Bodenfläche für diesen Standort in der Navigationskarte - an andere Fahrzeuge in der Nähe über das drahtlose Netzwerk übertragen. Nach Empfang dieser Abfrage können andere Fahrzeuge in der Nähe ergänzende Wahrnehmungsdaten - welche Objekte und andere Oberflächen innerhalb dieser betroffenen Bodenfläche darstellen - an das autonome Fahrzeug im Wesentlichen in Echtzeit streamen; und das autonome Fahrzeug kann diese ergänzenden Wahrnehmungsdaten mit seinen eigenen Sensordaten kombinieren und seine erweiterte Wahrnehmung seiner Umgebung nutzen, um diesen Standort mit größerer Konfidenz und geringerer Wahrscheinlichkeit einer Kollision mit anderen Objekten zu befahren und zu durchfahren.
  • In dieser Implementierung kann das autonome Fahrzeug, sobald das autonome Fahrzeug an einem bestimmten Standort, einer Kreuzung, Fahrspur und/oder einem anderen Straßenabschnitt mit diesem Auslöser ergänzender Wahrnehmungsdaten in der Navigationskarte vorbei- oder herausfährt, eine Aufforderung - an die systemeigenen Anwendung - übertragen, um die Übertragung ergänzender Wahrnehmungsdaten an diese anderen Fahrzeuge zu beenden.
  • Auslöser: Sichtfeld und Sensorredundanz
  • In noch einer weiteren Implementierung, die in 3 gezeigt wird, fragt das autonome Fahrzeug selektiv andere Fahrzeuge in der Nähe nach ergänzenden Wahrnehmungsdaten ab, wenn Sichtfelder der Sensoren an dem autonomen Fahrzeug im Wesentlichen blockiert sind.
  • Im Allgemeinen können optische Sensoren wie LIDAR- und Farbkamerasensoren an dem autonomen Fahrzeug in Ausrichtungen angeordnet sein, die eine minimale Redundanz (z. B. überlappende Sichtfelder) zwischen diesen Sensoren in einem minimalen Abstand von dem autonomen Fahrzeug und unter einer Nennbedingung (z. B. wenn das autonome Fahrzeug ein offenes Feld ohne hohe Objekte in der Nähe einnimmt) ergeben. Im Betrieb können jedoch überlappende Bereiche der Sichtfelder dieser Sensoren durch hohe Objekte in der Nähe verdeckt werden (z. B. Personenkraftwagen, Lastkraftwagen, Gebäude), wenn das autonome Fahrzeug durch eine Szene navigiert, wie beispielsweise entlang einer Fahrspur an Gebäuden, durch einen Parkplatz an anderen Fahrzeugen vorbei usw. Die tatsächliche Redundanz (z. B. oder Überlappungsgrade zwischen Sichtfeldern dieser Sensoren) kann sich daher ändern, beispielsweise von Moment zu Moment, wenn das autonome Fahrzeug autonom entlang einer geplanten Route oder zu einem vorgegebenen Ziel navigiert.
  • Unter einer Nennbedingung, bei der keine Objekte innerhalb eines sensitiven Bereichs der Sensorik fallen, können Sichtfelder benachbarter LIDAR-Sensoren und/oder Farbkameras eine bekannte nominale Überlappung im dreidimensionalen Raum aufweisen. Sichtfelder zweier benachbarter Sensoren beispielsweise: dürfen sich nicht weniger als einen Meter von den Sensoren entfernt überlappen; können sich in einem Abstand von fünf Metern von den Sensoren seitlich um zwei Meter überlappen; und können sich seitlich um zwanzig Meter in einem Abstand von vierzig Metern von den Sensoren überlappen; usw. Das autonome Fahrzeug kann somit Merkmale (z. B. Oberflächen, Objekte) vergleichen, die aus überlappenden Bereichen zweier gleichzeitig von diesen Sensoren ausgegebener Bilder extrahiert werden, um Funktionen dieser beiden Sensoren zu überprüfen (z. B. um zu bestätigen, dass das Vorhandensein, die Position und/oder ein Abstand zu einem in diesem Bereich eines ersten Bildes erkannten Objekts hinreichend mit Merkmalen eines ähnlichen Objekts übereinstimmt, das in dem entsprechenden Bereich des zweiten Bildes erfasst wird.) (Das autonome Fahrzeug kann auf ähnliche Weise Merkmale vergleichen, die aus überlappenden Bereichen von Sichtfeldern von drei oder mehr Sensoren auf dem autonomen Fahrzeug extrahiert wurden, um Funktionen dieser Sensoren zu verifizieren.) Wenn jedoch das autonome Fahrzeug sich einem externen Objekt oder einer Oberfläche - wie zum Beispiel einem anderen Fahrzeug, einer Überführung, einem Fußgänger, einem Verkehrszeichen, einem Gebäude usw.- nähert, kann dieses externe Objekt oder die Oberfläche überlappende Bereiche von Sichtfeldern dieser zwei (oder mehr) Sensoren verdecken, so dass weniger oder keine der Sichtfelder dieser Sensoren überlappen, wodurch Redundanz zwischen den durch diese zwei Sensoren ausgegebenen Daten reduziert oder eliminiert wird.
  • Daher kann das autonome Fahrzeug die Ausrichtung zwischen überlappenden Bereichen von Sichtfeldern von Sensoren selektiv überprüfen, wenn eine ausreichende Überlappung erfasst wird; Sensordaten, die von diesen Sensoren ausgegeben werden, entsprechend verifizieren; und Navigationshandlungen auf Grundlage dieser verifizierten, örtlich erzeugten Sensordaten auswählen und ausführen. Wenn jedoch das autonome Fahrzeug eine unzureichende Überlappung von Sichtfeldern dieser Sensoren erfasst, kann das autonome Fahrzeug in Block S 140 ergänzende Wahrnehmungsdaten von anderen Fahrzeugen in der Nähe anfordern und diese ergänzenden Wahrnehmungsdaten nutzen, um die Redundanz von Daten zu erhöhen, welche die Sichtfelder dieser Sensoren darstellen.
  • Wenn beispielsweise das autonome Fahrzeug an einer Kreuzung mit einem zweiten Fahrzeug (z. B. einem Lastwagen) genau rechts von dem autonomen Fahrzeug anhält oder wenn das autonome Fahrzeug autonom entlang einer Straße fährt, wobei sich dieses zweite Fahrzeug mit einer ähnlichen Geschwindigkeit unmittelbar rechts von dem autonomen Fahrzeug bewegt, kann dieses zweite Fahrzeug Sichtfelder von optischen Sensoren verdecken, die sich von der rechten Seite des autonomen Fahrzeugs nach außen erstrecken. Insbesondere, während das zweite Fahrzeug unmittelbar auf der rechten Seite des autonomen Fahrzeugs bleibt, kann dieses zweite Fahrzeug: ein Sichtfeld rechts von dem autonomen Fahrzeug von optischen Sensoren, die an dem autonomen Fahrzeug angeordnet sind, verdecken, wodurch verhindert wird, dass das autonome Fahrzeug Fahrzeuge, Hindernisse und Verkehrszeichen usw. rechts vom autonomen Fahrzeug direkt erkennt; und Überlappungen zwischen optischen Daten reduzieren oder verhindern, die von diesen optischen Sensoren gesammelt werden, wodurch Sensordaten, mit denen das autonome Fahrzeug den Betrieb dieser optischen Sensoren verifizieren kann, reduziert oder verhindert werden.
  • Daher kann in diesem Beispiel das autonome Fahrzeug: in Block S130 eine betroffene Bodenfläche definieren, die sich nach rechts von dem autonomen Fahrzeug über dieses zweite Fahrzeug hinweg erstreckt; und in Block S140 eine Anforderung von ergänzenden Wahrnehmungsdaten, die dieser betroffenen Bodenfläche entsprechen, - an das drahtlose Ad-hoc-Netzwerk - übertragen. Nach Empfang dieser ergänzenden Wahrnehmungsdaten von anderen Fahrzeugen in der Nähe kann das autonome Fahrzeug diese ergänzenden Wahrnehmungsdaten mit lokal aufgezeichneten Sensordaten abgleichen, um das Sichtfeld des autonomen Fahrzeugs über das zweite Fahrzeug hinaus zu erweitern. Das autonome Fahrzeug kann auch die relative Ausrichtung dieser Sensoren auf dem autonomen Fahrzeug, die Genauigkeit der Daten und die Wahrnehmung dieser von diesen Sensoren am autonomen Fahrzeug aufgezeichneten Daten sowie die Genauigkeit und Wahrnehmung von ergänzenden Wahrnehmungsdaten, die von anderen Fahrzeugen auf Grundlage der Abgleichung von ähnlichen Merkmalen in diesen lokalen Sensordaten und gleichzeitigen ergänzenden Wahrnehmungsdaten empfangen werden, verifizieren.
  • Daher kann in dieser Implementierung das autonome Fahrzeug ergänzende Wahrnehmungsdaten nutzen, die von anderen Fahrzeugen in der Nähe empfangen werden, um sowohl seine Sicht auf seine Umgebung zu verbessern als auch die Redundanz seiner Sensorik zu erhöhen.
  • Entstellung der Szene
  • In einer ähnlichen Implementierung, gezeigt in 3, fragt das autonome Fahrzeug andere Fahrzeuge in der Nähe nach ergänzenden Wahrnehmungsdaten ab, die eine betroffene Bodenfläche in der Nähe des autonomen Fahrzeugs darstellen, die aber durch ein anderes Objekt (z. B. ein Gebäude, einen Lastkraftwagen, einen Personenkraftwagen) verdeckt ist, um: das Sichtfeld des autonomen Fahrzeugs über dieses Objekt hinweg zu erweitern; und andere Fahrzeuge, Fußgänger usw. außerhalb des unmittelbaren Sichtfeldes des autonomen Fahrzeugs zu berücksichtigen, wenn eine nächste Navigationshandlung ausgewählt und ausgeführt wird.
  • In einem Beispiel das autonome Fahrzeug: zeichnet die Sensordaten (z. B. Abstandskarten und/oder Farbbilder) zu einem ersten Zeitpunkt während eines Abtastzyklus auf; kompiliert diese Sensordaten in ein Abtastbild in Block S110; identifiziert einen Bereich des Abtastbildes, der aufgrund der Entstellung eines Sichtfeldes eines Sensors auf dem autonomen Fahrzeug durch ein externes Objekt in der Szene zu einem ersten Zeitpunkt keine Daten enthält (oder „leer“ ist), in Block S120; definiert eine betroffene Bodenfläche, welche diesen Bereich überschneidet und sich über das externe Objekt gegenüber dem autonomen Fahrzeug hinaus erstreckt, in Block S130; und überträgt dann in eine Anforderung von ergänzenden Wahrnehmungsdaten, die Objekte und Oberflächen innerhalb dieser betroffenen Bodenfläche darstellen, in Block S140. Das autonome Fahrzeug kann dann - von einem zweiten Fahrzeug auf der gegenüberliegenden Seite des externen Objekts von dem autonomen Fahrzeug aus - ergänzende Wahrnehmungsdaten empfangen, die von dem zweiten Fahrzeug etwa zum ersten Zeitpunkt aufgezeichnet wurden. Das autonome Fahrzeug kann diese ergänzenden Wahrnehmungsdaten dann mit dem Abtastbild, das von dem autonomen Fahrzeug zum ersten Zeitpunkt erzeugt wurde, kombinieren, um ein zusammengesetztes Abtastbild zu bilden, das sowohl Objekte, die für das autonome Fahrzeug zum ersten Zeitpunkt sichtbar sind, als auch Objekte, die zu etwa dem ersten Zeitpunkt nicht in der Sichtlinie des autonomen Fahrzeugs (z. B. auf der gegenüberliegenden Seite des externen Objekts von dem autonomen Fahrzeug aus) liegen, darstellt.
  • Objektklassifizierung
  • In einer anderen Implementierung, gezeigt in 3, fragt das autonome Fahrzeug andere Fahrzeuge in der Nähe in Reaktion darauf, dass ein Objekttyp in einem aktuellen Abtastbild nicht mit mindestens minimaler Konfidenz klassifiziert werden kann, nach ergänzenden Wahrnehmungsdaten ab. Insbesondere, wenn das autonome Fahrzeug in der Abtastung Merkmale erkennt, die ein einzelnes Objekt darstellen können (z. B. ein Cluster von Punkten in einer Tiefenkarte, der ein Fahrzeug, einen Fußgänger darstellen kann), aber nicht in der Lage ist, dieses Objekt mit ausreichender Konfidenz zu klassifizieren, da in diesem Bereich des Abtastbildes keine ausreichende Datendichte vorhanden ist, kann das autonome Fahrzeug ergänzende Wahrnehmungsdaten anfordern, die dieses Objekt darstellen. Wenn das autonome Fahrzeug Merkmale in der Abtastung erfasst, die entweder ein Objekt oder zwei einzelne Objekte darstellen können (z. B. ein Cluster von Punkten in einer Tiefenkarte, der einen Lastwagen oder zwei einzelne Personenkraftfahrzeuge darstellen kann), jedoch nicht in der Lage ist, diese Merkmale mit ausreichender Konfidenz als ein oder zwei Objekte zu klassifizieren, da in diesem Bereich des Abtastbildes keine ausreichende Datendichte vorhanden ist, kann das autonome Fahrzeug auf ähnliche Weise ergänzende Wahrnehmungsdaten anfordern, die dieses Objekt oder diese Objekte darstellen.
  • In einem Beispiel fordert das autonome Fahrzeug Sensorrohdaten an, die dieses unklassifizierte Objekt darstellen. In diesem Beispiel zeichnet das autonome Fahrzeug einen ersten Satz Tiefenkarten über einen Satz Tiefensensoren, die an dem autonomen Fahrzeug angeordnet sind, etwa zu einem ersten Zeitpunkt während eines Abtastzyklus auf und kompiliert den ersten Satz Tiefenkarten in ein erstes Abtastbild, das einen Satz von Oberflächen in der Szene darstellt, die für das autonome Fahrzeug zu einem ersten Zeitpunkt in Block S 110 sichtbar sind. Wenn das autonome Fahrzeug dann einen ersten Cluster von Punkten - in dem ersten Abtastbild - identifiziert, von denen vorhergesagt wird, dass sie ein einzelnes Objekt darstellen, das aber eine unzureichende Menge von Punkten zur Identifizierung des Typs des einzelnen Objekts enthält, wie beispielsweise mit einer Deep-Learning-Pipeline, führt das autonome Fahrzeug Folgendes aus: es berechnet eine georeferenzierte Grenze, die den Cluster von Punkten enthält, basierend auf einem raumbezogenen Standort des autonomen Fahrzeugs zum ersten Zeitpunkt; und es überträgt eine Abfrage an Fahrzeuge in der Nähe von georeferenzierten Tiefenkartendaten und/oder rohen Farbbildern, welche die georeferenzierte Grenze darstellen. Das autonome Fahrzeug kann dann - von einem zweiten Fahrzeug in der Nähe - einen Ausschnitt einer georeferenzierten rohen Tiefenkarte empfangen, die einen zweiten Cluster von Punkten enthält, der Oberflächen innerhalb dieser betroffenen Bodenfläche entspricht. Demgemäß führt das autonome Fahrzeug dann Folgendes aus: es lokalisiert diesen zweiten Cluster von Punkten in dem Abtastbild auf Grundlage georeferenzierter Informationen, die mit dieser rohen Tiefenkarte empfangen wurden, um ein zusammengesetztes Abtastbild zu bilden; und prognostiziert dann einen Objekttyp auf Grundlage einer Kombination des ersten Clusters von Punkten und des zweiten Clusters von Punkten in dem zusammengesetzten Abtastbild. In diesem Beispiel kann das autonome Fahrzeug eine Deep-Learning-Wahrnehmungs-Pipeline implementieren, um einen Objekttyp (z. B. ein Fahrzeug, einen Fußgänger, einen Mülleimer, ein Verkehrszeichen, einen Strauch) zu interpretieren, die durch diesen kombinierten Satz von Punkten in dem zusammengesetzten Abtastbild dargestellt wird. Das autonome Fahrzeug kann zusätzlich oder alternativ Computervisions-, Deep-Learning- oder künstliche Intelligenztechniken implementieren, um dieses Objekt zu klassifizieren, das in einem rohen, georeferenzierten Farbbild dargestellt ist, das vom zweiten Fahrzeug empfangen wird.
  • Nach der Klassifizierung des Objekts kann das autonome Fahrzeug auch auf ein Bewegungsmodell in Zusammenhang mit dem Objekttyp zugreifen und einen Verlauf dieses Objekts auf Grundlage des Bewegungsmodells und raumbezogener Standorte dieses Objekts (oder Punkten, von denen vorhergesagt wird, dass sie das Objekt darstellen) in vorhergehenden Abtastbildern vorhersagen. Das autonome Fahrzeug kann dann ein Pfadplanungsmodell implementieren, um eine nächste Navigationshandlung auszuwählen, welche die Wahrscheinlichkeit einer Kollision mit dem Objekt auf Grundlage dieses vorhergesagten Objektverlaufs begrenzt oder reduziert.
  • Zusätzlich oder alternativ kann das autonome Fahrzeug eine Klasse oder einen Typ dieses Objekts, eine georeferenzierte Grenze um dieses Objekt und/oder einen Verlauf des Objekts usw. von anderen Fahrzeugen in der Nähe anfordern, wie beispielsweise anderen Fahrzeugen, die diesem Objekt näher sind als das autonome Fahrzeug.
  • Unbekannter Obiektverlauf
  • In einer ähnlichen Implementierung, die in 3 gezeigt ist, fragt das autonome Fahrzeug als Reaktion auf das Erfassen eines neuen (sich bewegenden) Objekts in der Szene um das autonome Fahrzeug andere Fahrzeuge in der Nähe nach ergänzenden Wahrnehmungsdaten ab, die dieses neue Objekt darstellen, um dem autonomen Fahrzeug die Vorhersage der Objektgeschwindigkeit und des Objektverlaufs ohne vorherige Kenntnis der Position oder Geschwindigkeit des Objekts zu ermöglichen.
  • In einem Beispiel führt das autonome Fahrzeug Folgendes aus: es erzeugt ein erstes Abtastbild während eines aktuellen Abtastzyklus auf Grundlage von Sensordaten, die etwa zu einem ersten Zeitpunkt aufgezeichnet wurden; identifiziert ein bestimmtes Objekt in der Szene, das zuerst von dem autonomen Fahrzeug in diesem ersten Abtastbild erfasst wurde, aber in Abtastbildern, die während der vorhergehenden Abtastzyklen in Block S 120 erzeugt wurden, nicht dargestellt ist (z. B. fehlt); definiert eine betroffene Bodenfläche, die das bestimmte Objekt in Block S130 enthält; und sendet dann drahtlos eine Abfrage von Verläufen von Objekten innerhalb des betroffenen Bodenbereichs in Block S140. Das autonome Fahrzeug kann dann - von einem zweiten Fahrzeug in der Nähe - ergänzende Wahrnehmungsdaten empfangen, einschließlich eines vorhergesagten Verlaufs des bestimmten Objekts (und seines vorhergesagten Typs und seinem raumbezogenen Standort), der von dem zweiten Fahrzeug auf Grundlage von Sensordaten, die von dem zweiten Fahrzeug über eine Reihe von seinen eigenen Abtastzyklen bis etwa zum ersten Zeitpunkt aufgezeichnet wurden, geschätzt wird. Das autonome Fahrzeug kann dann eine Darstellung des bestimmten Objekts in dem ersten Abtastbild mit dem Verlauf des bestimmten Objekts, das von dem zweiten Fahrzeug empfangen wird, annotieren.
  • Allerdings kann das autonome Fahrzeug ergänzende Wahrnehmungsdaten von anderen Fahrzeugen auf eine beliebige andere Art und Weise als Reaktion auf einen oder mehrere beliebig andere Auslöser in Block S 130 und S140 anfordern.
  • Darüber hinaus kann das autonome Fahrzeug, sobald das autonome Fahrzeug alle Auslöser gelöscht hat - wie beispielsweise durch Bewegen außerhalb eines Standortes ergänzender Wahrnehmungsdaten oder Vervollständigen einer Navigationshandlung in Zusammenhang mit einem Auslöser ergänzender Wahrnehmungsdaten -: aufhören, andere Fahrzeuge auf dem Netzwerk nach ergänzenden Abtastdaten abzufragen; und kann stattdessen dazu übergehen, sich auf Sensordaten zu verlassen, die lokal gesammelt werden, um seinen Standort und seine Ausrichtung zu bestimmen und eine nächste Navigationshandlung auszuwählen.
  • Abgeleitete Wahrnehmungsdaten im Vergleich zu Sensorrohdaten
  • In den vorhergehenden Implementierungen kann das autonome Fahrzeug Sensorrohdaten und/oder abgeleitete Wahrnehmungsdaten von anderen Fahrzeugen anfordern, um seine eigene Wahrnehmung seiner Umgebung zu verbessern.
  • Sensorrohdaten
  • In einem Beispiel zeichnet das autonome Fahrzeug einen ersten Satz Tiefenkarten über einen Satz Tiefensensoren, die an dem autonomen Fahrzeug angeordnet sind, etwa zu einem ersten Zeitpunkt während eines Abtastzyklus auf und kompiliert den ersten Satz Tiefenkarten in ein erstes Abtastbild, das einen Satz von Oberflächen in der Szene darstellt, die für das autonome Fahrzeug zu einem ersten Zeitpunkt in Block S110 sichtbar sind. Das autonome Fahrzeug sendet dann drahtlos eine Abfrage von rohen Tiefenkartendaten, welche die betreffende Bodenfläche schneiden und die etwa zum ersten Zeitpunkt aufgezeichnet wurden. Das autonome Fahrzeug kann dann von einem zweiten Fahrzeug in der Nähe empfangen: ergänzende Wahrnehmungsdaten einschließlich eines Ausschnittes einer rohen Tiefenkarte, der die betroffene Bodenfläche überschneidet und von dem zweiten Fahrzeug zu einem zweiten Zeitpunkt kurz nach dem ersten Zeitpunkt (z. B. innerhalb von 100 Millisekunden vom ersten Zeitpunkt) aufgezeichnet wurde; und einen raumbezogenen Standort des zweiten Fahrzeugs zum zweiten Zeitpunkt. Das autonome Fahrzeug kann dann: diesen Ausschnitt der rohen Tiefenkarte, der von dem zweiten Fahrzeug empfangen wurde, in dem Abtastbild auf Grundlage des raumbezogenen Standorts des zweiten Fahrzeugs zu dem zweiten Zeitpunkt lokalisieren; und die Belegungskarten-, Bodenlinienwahrnehmungs- und/oder Deep-Learning-Wahrnehmungs-Pipelines implementieren, um Typen, Standorte, Geschwindigkeiten und/oder Verläufe der dargestellten Objekte in dem resultierenden zusammengesetzten Abtastbild zu etwa dem ersten Zeitpunkt zu interpretieren.
  • Abgeleitete Wahrnehmungsdaten
  • Alternativ kann das autonome Fahrzeug abgeleitete ergänzende Wahrnehmungsdaten wie beispielsweise in Form einer Objektkarte aus Sensorrohdaten von einem anderen Fahrzeug anfordern. Zum Beispiel kann das autonome Fahrzeug: einen ersten Satz Tiefenkarten über einen Satz Tiefensensoren, die an dem autonomen Fahrzeug angeordnet sind, etwa zu einem ersten Zeitpunkt aufzeichnen; einen ersten Satz fotografische Bilder über einen Satz Kameras, die an dem autonomen Fahrzeug angeordnet sind, etwa zu einem ersten Zeitpunkt aufzeichnen; und dann Computervisions-, Deep-Learning - und/oder künstliche Intelligenztechniken implementieren, um ein Abtastbild einschließlich einer ersten Objektkarte zu erzeugen, die Arten und georeferenzierte Standorte eines ersten Satzes von Objekten innerhalb der Szene etwa zu einem ersten Zeitpunkt auf Grundlage des ersten Satzes Tiefenkarten und des ersten Satzes fotografischer Bilder spezifiziert. Als Reaktion auf das Erfassen unzureichender Daten in einem Bereich des Abtastbildes kann das autonome Fahrzeug in Block S 120 eine betroffene Bodenfläche, die diesen Bereich überschneidet, definieren und dann drahtlos eine Abfrage von Typen, Standorten, Geschwindigkeiten und/oder vorhergesagten Verläufen der Objekte innerhalb dieser betroffenen Bodenfläche zu etwa einem ersten Zeitpunkt übertragen. Das autonome Fahrzeug kann dann - von einem zweiten Fahrzeug - ergänzende Wahrnehmungsdaten in Form eines zweiten Objektkartenausschnittes empfangen: erzeugt von dem zweiten Fahrzeug auf Grundlage von Wahrnehmungsdaten, die von dem zweiten Fahrzeug etwa zum ersten Zeitpunkt aufgezeichnet wurden (z. B. innerhalb von 100 Millisekunden nach dem ersten Zeitpunkt; innerhalb eines Abtastzyklus 50 Millisekunden nach dem ersten Zeitpunkt); und Typen, Standorte, Geschwindigkeiten und/oder vorhergesagte Verläufe eines zweiten Satzes von Objekten innerhalb der betroffenen Bodenfläche zu etwa dem ersten Zeitpunkt spezifizieren. Das autonome Fahrzeug kann dann den von dem zweiten Fahrzeug empfangenen zweiten Objektkartenausschnitt in die von dem autonomen Fahrzeug erzeugte erste Objektkarte einfügen, um ein zusammengesetztes Abtastbild zu bilden, das beide von dem zweiten Fahrzeug erfasste Objekte, aber nicht das autonome Fahrzeug und nicht von dem autonomen Fahrzeug selbst erfasst Objekte darstellt.
  • In dieser Implementierung kann der zweite Objektkartenausschnitt auch eine georeferenzierte Grenze von jedem Objekt in dem zweiten Satz von Objekten definieren, und das autonome Fahrzeug kann diese Objektgrenzen in die erste Objektkarte projizieren. Das autonome Fahrzeug kann diese Grenzen auch basierend auf der Konfidenz des autonomen Fahrzeugs in abgeleitete Wahrnehmungsdaten, die vom zweiten Fahrzeug empfangen werden, anpassen. Zum Beispiel kann das autonome Fahrzeug den zweiten Satz von Objekten in die erste Objektkarte mit der georeferenzierten Grenze von jedem Objekt in dem zweiten Satz von Objekten, der durch einen Pufferabstand erweitert ist, einfügen. In diesem Beispiel kann das autonome Fahrzeug: einen Pufferabstand auf einen ersten (minimalen) Abstand setzen, wenn das zweite Fahrzeug derselben autonomen Fahrzeugflotte wie das autonome Fahrzeug zugeordnet ist und eine aktualisierte Wahrnehmungs-Pipeline ausführt, um Objekte in der Nähe zu erfassen, zu klassifizieren und zu verfolgen; den Pufferabstand auf einen zweiten Abstand setzen, der größer als der erste Abstand ist, in Reaktion auf die Zuordnung des zweiten Fahrzeugs zu einer autonomen Fahrzeugflotte, die sich von der des ersten autonomen Fahrzeugs unterscheidet, aber historisch eine hohe Objektwahrnehmungsgenauigkeit aufweist; und den Pufferabstand auf einem dritten Abstand setzen, der größer als der zweite Abstand ist, in Reaktion auf die Zuordnung des zweiten Fahrzeugs zu einer autonomen Fahrzeugflotte, die sich von der des ersten autonomen Fahrzeugs unterscheidet, aber historisch eine geringe Objektwahrnehmungsgenauigkeit aufweist.
  • Auswahl abgeleiteter Wahrnehmungsdaten im Vergleich zu abgeleiteten Sensorrohdaten
  • Bei dieser Variante kann das autonome Fahrzeug Sensorrohdaten und abgeleitete Wahrnehmungsdaten auf Grundlage drahtloser Konnektivität und/oder Datenübertragungsratenbeschränkungen auf dem drahtlosen Netzwerk, wie in 3 gezeigt, selektiv anfordern. Zum Beispiel kann das autonome Fahrzeug: eine Datenübertragungsrate eines lokalen drahtlosen Netzwerkes zu etwa einem ersten Zeitpunkt während eines Abtastzyklus messen; und drahtlos - über das drahtlose Netzwerk - eine Abfrage von abgeleiteten Wahrnehmungsdaten einschließlich Typen und Standorten von Objekten innerhalb einer betroffenen Bodenfläche (z. B. einer Objektkarte) zu etwa einem ersten Zeitpunkt übertragen, falls die drahtlose Verbindung schwach ist und/oder wenn die Datenübertragungsrate des lokalen drahtlosen Netzwerks etwa zum ersten Zeitpunkt unter eine Schwellendatenübertragungsrate fällt. Wenn jedoch eine drahtlose Konnektivität gut ist und/oder wenn die Datenübertragungsrate des drahtlosen lokalen Netzwerks die Schwellendatenübertragungsrate zu etwa dem ersten Zeitpunkt überschreitet, kann das autonome Fahrzeug stattdessen eine Abfrage von Sensorrohdaten, welche die betroffene Bodenfläche überschneiden und zu etwa dem ersten Zeitpunkt aufgezeichnet wurden, übertragen.
  • Verifizierung ergänzender Wahrnehmungsdaten
  • In einer Variante fordert das autonome Fahrzeug ergänzende Wahrnehmungsdaten an, die sich über einen Bereich eines Abtastbildes hinaus erstrecken, für den das autonome Fahrzeug auf unzureichende Wahrnehmungsdaten Zugriff hat. Nach Empfang führt das autonome Fahrzeug Folgendes aus: es verifiziert das Vorhandensein und die Übereinstimmung bekannter Objekte in einem Ausschnitt des Abtastbildes mit hoher Datendichte mit ähnlichen Objekten, die in einem ersten Segment dieser ergänzenden Wahrnehmungsdaten dargestellt sind; und integriert dann ein zweites Segment dieser Wahrnehmungsdaten - entsprechend einem Ausschnitt des Abtastbildes mit niedriger Datendichte - in das Abtastbild, das auf die Verifizierung des ersten Segments der ergänzenden Wahrnehmungsdaten reagiert. Wenn jedoch das autonome Fahrzeug das erste Segment der ergänzenden Wahrnehmungsdaten nicht verifizieren kann, kann das autonome Fahrzeug: diese ergänzenden Wahrnehmungsdaten in ihrer Gesamtheit verwerfen; diese ergänzenden Wahrnehmungsdaten in das zusammenwirkende Abtastbild einbeziehen, aber mit niedrigeren Konfidenzwerten gekennzeichnet; oder diese ergänzenden Wahrnehmungsdaten in das zusammenwirkende Abtastbild mit größeren Umgehungszonen (oder „Pufferzonen“) einbeziehen.
  • In einem Beispiel führt das autonome Fahrzeug Folgendes aus: es identifiziert einen ersten Bereich des aktuellen Abtastbildes, der aufgrund der Entstellung eines Sichtfeldes eines Sensors auf dem autonomen Fahrzeug durch ein externes Objekt in der Szene zu einem ersten Zeitpunkt, keine Daten enthält; identifiziert einen zweiten Bereich in dem Abtastbild, der ausreichende (z. B. hohe Dichte, hohe Auflösung, höhere Redundanz) Wahrnehmungsdaten enthält; definiert eine Bodenfläche, die einen ersten Abschnitt, der den ersten Bereich des Abtastbildes enthält, und einen zweiten Abschnitt, der den zweiten Bereich des Abtastbildes enthält, einschließt; und überträgt eine Abfrage von ergänzenden Wahrnehmungsdaten in dieser betroffenen Bodenfläche. Das autonome Fahrzeug kann dann - von einem zweiten Fahrzeug in der Nähe - einen ersten Wahrnehmungsdatensatz, der den ersten Abschnitt der betroffenen Bodenfläche darstellt, und einen zweiten Wahrnehmungsdatensatz, der den zweiten Abschnitt der betroffenen Bodenfläche darstellt, die von dem zweiten autonomen Fahrzeug etwa zum ersten Zeitpunkt erfasst werden, empfangen. Das autonome Fahrzeug kann dann: die ergänzenden Wahrnehmungsdaten auf Grundlage einer Abgleichung zwischen dem zweiten Wahrnehmungsdatensatz und Merkmalen, die in dem zweiten Bereich des Abtastbildes erfasst werden, verifizieren; und kann das Abtastbild und den ersten Wahrnehmungsdatensatz kombinieren, um ein zusammengesetztes Abtastbild in Reaktion auf eine Verifizierung der ergänzenden Wahrnehmungsdaten zu bilden. Andernfalls kann das autonome Fahrzeug diese ergänzenden Wahrnehmungsdaten verwerfen oder ihnen eine niedrigere Priorität zuweisen.
  • Verzögerter Zugriff auf ergänzende Wahrnehmungsdaten
  • In einer anderen Variante wartet das autonome Fahrzeug auf ergänzende Wahrnehmungsdaten von einem anderen Fahrzeug, wenn angeforderte Wahrnehmungsdaten zu diesem Zeitpunkt nicht von einem anderen Fahrzeug verfügbar sind, jedoch in der nahen Zukunft verfügbar sein sollen (z. B. innerhalb der nächsten zehn Sekunden).
  • In einem Beispiel navigiert das autonome Fahrzeug autonom, um an einem ersten Standort zu einem ersten Zeitpunkt anzuhalten; erzeugt ein erstes Abtastbild auf Grundlage der Sensordaten, die etwa zum ersten Zeitpunkt aufgezeichnet wurden; erfasst einen Bereich von unzureichenden Daten in dem ersten Abtastbild; und überträgt eine Anforderung von ergänzenden Wahrnehmungsdaten innerhalb dieses Bereichs. Zu einem zweiten Zeitpunkt, der dem ersten Zeitpunkt folgt (z. B. um drei Sekunden), kann das autonome Fahrzeug eine Antwort von einem zweiten Fahrzeug in der Nähe empfangen, dass sich die betroffene Bodenfläche gegenwärtig nicht in dem Sichtfeld des zweiten Fahrzeugs befindet, das zu einem dritten Zeitpunkt (z. B. fünf Sekunden nach dem ersten Zeitpunkt) in sein Sichtfeld fallen soll. Wenn eine Differenz zwischen dem ersten Zeitpunkt und dem dritten Zeitpunkt unterhalb einer Schwellenwertzeit (z. B. zehn Sekunden) bleibt, kann das autonome Fahrzeug an dem ersten Ort weiter stehenbleiben und ergänzende Wahrnehmungsdaten, welche die betroffene Bodenfläche darstellen, vom zweiten Fahrzeug nahe (z. B. bald danach) dem dritten Zeitpunkt herunterladen. Während auf diese ergänzenden Wahrnehmungsdaten gewartet wird, kann das autonome Fahrzeug während nachfolgender Abtastzyklen damit fortfahren Abtastbilder zu erzeugen; nach Empfang von ergänzenden Wahrnehmungsdaten von dem zweiten Fahrzeug um den dritten Zeitpunkt herum kann das autonome Fahrzeug diese ergänzenden Wahrnehmungsdaten mit übereinstimmenden Abtastbildern, die von dem autonomen Fahrzeug erzeugt wurden, kombinieren. Das autonome Fahrzeug kann dann auf Grundlage von Objekten und Szenenkontext, die von diesen zusammengesetzten Abtastbildern abgeleitet sind, nach dem dritten Zeitpunkt autonom von dem ersten Standort wegnavigieren und dementsprechend den Zugriff auf ergänzende Wahrnehmungsdaten von dem zweiten Fahrzeug beenden.
  • Datenkombination
  • Block S 150 gibt als Reaktion auf das Empfangen von ergänzenden Wahrnehmungsdaten von einem anderen Fahrzeug nahe dem autonomen Fahrzeug die Eingliederung von ergänzenden Wahrnehmungsdaten in das Abtastbild an, um ein zusammengesetztes Abtastbild zu bilden. Im Allgemeinen kompiliert das autonome Fahrzeug in Block S 150 Zusatzdaten, die von anderen Fahrzeugen empfangen werden, mit Sensordaten, die lokal aufgezeichnet wurden, um seine Sicht auf eine Umgebung um das autonome Fahrzeug zu vergrößern und/oder anzureichern.
  • Wie vorstehend beschrieben, können autonome Fahrzeuge raumbezogene Standortmarkierungen in ergänzende Wahrnehmungsdaten einfügen, bevor diese ergänzenden Wahrnehmungsdaten an das drahtlose Ad-hoc-Netzwerk oder an ein bestimmtes autonomes Fahrzeug, das auf eine Anforderung ergänzender Wahrnehmungsdaten reagiert, übertragen werden. Nach Empfang ergänzender Wahrnehmungsdaten kann ein autonomes Fahrzeug somit diese ergänzenden Wahrnehmungsdaten mit seinen eigenen Sensordaten, die lokal zu etwa dem gleichen Zeitpunkt (z. B. innerhalb von zwei Sekunden nach Aufzeichnung der ergänzenden Wahrnehmungsdaten) auf Grundlage der raumbezogenen Standortmarkierungen in diesen ergänzenden Wahrnehmungsdaten, abstimmen, um ein zusammengesetztes Sensorbild zu bilden.
  • In einem Beispiel speichert das autonome Fahrzeug nach dem Erzeugen eines ersten Abtastbildes auf Grundlage von zu einem ersten Zeitpunkt aufgezeichneten Sensordaten das erste Abtastbild - das mit einem Zeitstempel des ersten Zeitpunkts versehen wurde - in den lokalen Speicher. Das autonome Fahrzeug wiederholt diesen Prozess während jedes nachfolgenden Abtastzyklus, um eine Sequenz von zeitgestempelten Abtastbildern zu erzeugen, und speichert diese Abtastbilder in einem lokalen Speicher (z. B. in einem Zehn-Sekunden-Bilddurchlaufzwischenspeicher). Während dieser Zeit kann das autonome Fahrzeug ergänzende Wahrnehmungsdaten für eine betroffene Bodenfläche zu einem ersten Zeitpunkt anfordern und kann einen ersten Satz ergänzende Wahrnehmungsdaten - aufgezeichnet durch ein zweites Fahrzeug zu einem zweiten Zeitpunkt - von dem zweiten Fahrzeug zu einem dritten Zeitpunkt nach dem ersten Zeitpunkt (z. B. nach drei Sekunden) empfangen. Nach Empfang dieses ersten Satzes von ergänzenden Wahrnehmungsdaten kann das autonome Fahrzeug das erste Abtastbild aus dem lokalen Speicher abrufen und den ersten Satz ergänzende Wahrnehmungsdaten in das erste Abtastbild integrieren, um das zusammengesetzte Abtastbild auf Grundlage der zeitlichen Nähe des ersten Abtastbildes zu dem ersten Satz von ergänzenden Wahrnehmungsdaten zu bilden. Bis zu einer Änderung in der Szene oder bis das autonome Fahrzeug einen Bereich unzureichender Wahrnehmungsdaten in einem Abtastbild, das von dem autonomen Fahrzeug erzeugt wird, ausschließt, kann das autonome Fahrzeug diese Anforderung von ergänzenden Wahrnehmungsdaten beibehalten und diesen Prozess wiederholen, um ergänzende Wahrnehmungsdaten, die von einem oder mehreren anderen Fahrzeugen empfangen werden, in zusammenwirkende Abtastbilder, die in einem lokalen Speicher auf dem autonomen Fahrzeug gespeichert werden, einfügen.
  • Das autonome Fahrzeug kann somit eine Sequenz von zusammengesetzten Abtastbildern erzeugen, welche die Szene um das autonome Fahrzeug herum während vorhergehender Abtastzyklen darstellen. Das autonome Fahrzeug kann auch: ein Objekt in dieser Sequenz vergangener zusammengesetzter Bilder erfassen und verfolgen; einen Verlauf des Objekts auf Grundlage von Änderungen in seinen raumbezogenen Standorten während dieser Sequenz vorhergehender zusammengesetzter Abtastbilder schätzen; diesen geschätzten Verlauf auf der Grundlage einer Differenz zwischen dem vorhergesagten und tatsächlichen raumbezogenen Standort des Objekts während des gegenwärtigen Abtastzyklus verifizieren; und dann diesen Verlauf nach vorne in die Zukunft extrapolieren, wenn gültig (z. B. wenn die Differenz zwischen dem vorhergesagten und tatsächlichen raumbezogenen Standort des Objekts kleiner als eine Schwellendifferenz ist). Das autonome Fahrzeug kann dann autonom eine nächste Navigationshandlung auf Grundlage der Szene, Objekten in der Szene und vorhergesagten Verläufen dieser Objekte wählen und ausführen, um beispielsweise die Wahrscheinlichkeit einer zukünftigen Kollision mit diesen Objekten zu verringern.
  • Autonome Navigation
  • Block S160 des Verfahrens S100 gibt das Auswählen einer nächsten Navigationshandlung auf Grundlage des zusammengesetzten Abtastbildes an; und Block S170 des Verfahrens S100 gibt das autonome Ausführen der nächsten Navigationshandlung an. Im Allgemeinen kann das autonome Fahrzeug in den Blöcken S160 und S170 autonome Lokalisierungs -, Wahrnehmungs- und Navigationstechniken implementieren, um eine nächste Navigationshandlung auf Grundlage von in dem zusammengesetzten Sensorbild erfassten veränderlichen und unveränderlichen Objekten auszuwählen.
  • Nächstes Zeitfenster
  • Das System kann diesen Prozess während jedes nachfolgenden Abtastzyklus wiederholen, um: ein nächstes Abtastbild zu erzeugen; einen Bereich unzureichender Daten in dem nächsten Abtastbild zu erfassen; eine neue betroffene Bodenfläche, die diesen Bereich überspannt, definieren; und eine Abfrage von ergänzenden Wahrnehmungsdaten, die diese betroffene Bodenfläche während dieses Abtastzyklus darstellen, übertragen. Insbesondere kann das autonome Fahrzeug die betroffene Bodenfläche neu definieren und einen Zeitpunkt oder ein Zeitfenster für den Empfang ergänzender Wahrnehmungsdaten über die Zeit aktualisieren, beispielsweise als Reaktion darauf, dass sich das autonome Fahrzeug innerhalb einer Szene bewegt und/oder wenn sich andere Objekte um das autonome Fahrzeug bewegen.
  • Gleichzeitiger Datenaustausch
  • Während das autonome Fahrzeug ergänzende Abtastdaten von anderen Fahrzeugen über das Ad-hoc-Netzwerk anfordert und herunterlädt, kann das autonome Fahrzeug gleichzeitig seine eigenen Sensordaten (z. B. komprimierte und/oder verkürzte 3D-Abtastbilder) an andere Fahrzeuge in dem Ad-hoc-Netzwerk übertragen, wie beispielsweise standardmäßig oder von diesen anderen Fahrzeugen angefordert. Insbesondere kann das autonome Fahrzeug sowohl Abfragen nach ergänzenden Wahrnehmungsdaten erzeugen als auch Abfragen von anderen Fahrzeugen in der Nähe beantworten, indem es seine eigenen Sensordaten in (nahezu) Echtzeit an diese anderen Fahrzeuge übermittelt.
  • Remote-Verwaltung
  • In einer Variante werden Anforderungen von ergänzende Wahrnehmungsdaten und Datenverteilung zwischen autonomen Fahrzeugen innerhalb einer autonomen Fahrzeugflotte oder über mehrere unterschiedliche autonome Fahrzeugflotten durch ein Remote-Computersystem verwaltet, wie beispielsweise ein Computernetzwerk oder ein Remote-Server.
  • In einer Implementierung senden autonome Fahrzeuge innerhalb einer autonomen Fahrzeugflotte automatisch Wahrnehmungsdaten, ihre raumbezogenen Standorte und Ausrichtungen, ihre geplanten Routen usw. an das Remote-Computersystem zurück, wie beispielsweise über ein dauerhaftes Mobilfunknetz, wie vorstehend beschrieben. Das Remote-Computersystem kann dann diese autonomen Fahrzeuge verfolgen, die vorstehend beschriebenen Verfahren und Techniken implementieren, um zu bestimmen, welche dieser autonomen Fahrzeuge vom Zugriff auf alle oder einige ergänzende Wahrnehmungsdaten, die von anderen Fahrzeugen der Flotte gesammelt werden (z. B. basierend auf einem oder mehreren vorstehend beschriebenen Auslösern), profitieren können, und dann diese ergänzenden Wahrnehmungsdaten an diese autonomen Fahrzeuge über das Mobilfunknetz entsprechend verteilen.
  • In einer ähnlichen Implementierung, während des autonomen Betriebs in einer geographischen Region, implementiert ein autonomes Fahrzeug vorstehend beschriebene Verfahren und Techniken, um eine betroffene Bodenfläche auf Grundlage eines Abtastbildes, das zu einem bestimmten Zeitpunkt erzeugt wurde, zu definieren und eine Abfrage von ergänzende Wahrnehmungsdaten innerhalb dieser betroffenen Bodenfläche zu erzeugen. Das autonome Fahrzeug sendet diese Abfrage dann über ein drahtloses Netzwerk an das Remote-Computersystem zurück. Im Laufe der Zeit verfolgt das Remote-Computersystem raumbezogene Standorte von einem Satz anderer Fahrzeuge innerhalb derselben geographischen Region. Für jedes Fahrzeug in diesem Satz von Fahrzeugen schätzt das Remote-Computersystem einen sensiblen Bereich um das Fahrzeug, der zu etwa dem bestimmten Zeitpunkt basierend auf einem raumbezogenen Standort des Fahrzeugs zu etwa der bestimmten Zeit in ein Sichtfeld einer Reihe von Sensoren auf dem Fahrzeug fällt. Das Remote-Computersystem wählt dann ein bestimmtes Fahrzeug - aus dem Satz von Fahrzeugen - aus, um auf die Abfrage des autonomen Fahrzeugs basierend auf einem bestimmten wahrnehmbaren Bereich zu antworten, der für das bestimmte Fahrzeug geschätzt wird, von dem erwartet wird, dass es die in der Abfrage definierten betroffene Bodenfläche überschneiden wird. Das Remote-Computersystem führt dann Folgendes aus: es ruft ergänzende Wahrnehmungsdaten für den bestimmten Zeitpunkt von dem bestimmten Fahrzeug über das drahtlose Netzwerk ab; und überträgt diese ergänzenden Wahrnehmungsdaten entsprechend über das drahtlose Netzwerk an das autonome Fahrzeug. In dieser Implementierung kann das autonome Fahrzeug die betroffene Bodenfläche regelmäßig aktualisieren, wie etwa während jedes nachfolgenden Abtastzyklus. Das Computersystem kann damit fortfahren: raumbezogene Standorte des autonomen Fahrzeugs und des bestimmten Fahrzeugs zu verfolgen; zu verifizieren, dass der für das bestimmte Fahrzeug geschätzte wahrnehmbare Bereich die von dem autonomen Fahrzeug definierte betroffene Bodenfläche überschneidet; und damit fortfahren Wahrnehmungsdaten, die von dem bestimmten Fahrzeug empfangen werden, in (nahezu) Echtzeit an das autonome Fahrzeug weiterzuleiten. Sobald jedoch die betroffene Bodenfläche, die von dem autonomen Fahrzeug außerhalb des wahrnehmbaren Bereichs, der für das bestimmte Fahrzeug geschätzt wurde, liegt, kann das Remote-Computersystem die Übertragung ergänzender Wahrnehmungsdaten von dem bestimmten Fahrzeug an das autonome Fahrzeug beenden.
  • In dieser Variante kann das Remote-Computersystem daher: als ein Gateway für Wahrnehmungsdaten, die zwischen unterschiedlichen Fahrzeugen innerhalb derselben autonomen Fahrzeugflotte oder verschiedenen autonomen Fahrzeugflotten ausgetauscht werden, fungieren; und kann raumbezogene Standorte, Anforderungen zur Erweiterung der Wahrnehmungsdaten und Sensorfelder überwachen, um die Verteilung von Wahrnehmungsdaten zwischen diesen autonomen Fahrzeugen zu verwalten.
  • Die hierin beschriebenen Systeme und Verfahren können mindestens teilweise als eine Maschine ausgeführt und/oder implementiert sein, die konfiguriert ist, um ein computerlesbares Medium zu empfangen, das computerlesbare Anweisungen speichert. Die Anweisungen können durch computerausführbare Komponenten ausgeführt werden, die in die Anwendung, das Applet, den Host, den Server, das Netzwerk, die Website, den Kommunikationsdienst, die Kommunikationsschnittstelle, Hardware/Firmware/Software-Elemente eines Computers mit menschlichem Annotator oder einer mobiler Vorrichtung, eines Armband, eines Smartphone oder irgendeine geeignete Kombination davon integriert sind. Andere Systeme und Verfahren der Ausführungsform können mindestens teilweise als eine Maschine verkörpert und/oder implementiert sein, die konfiguriert ist, um ein computerlesbares Medium zu empfangen, das computerlesbare Anweisungen speichert. Die Anweisungen können durch computerausführbare Komponenten ausgeführt werden, die durch computerausführbare Komponenten integriert sind, die Bestandteil der Vorrichtungen und Netzwerke des oben beschriebenen Typs sind. Das computerlesbare Medium kann auf jedem geeigneten computerlesbaren Medium wie etwa RAMs, ROMs, Flash-Speicher, EEPROMs, optischen Vorrichtungen (CD oder DVD), Festplattenlaufwerken, Diskettenlaufwerken oder jeder beliebigen geeigneten Vorrichtung gespeichert sein. Die computerausführbare Komponente kann ein Prozessor sein, aber jede geeignete dedizierte Hardwarevorrichtung kann (alternativ oder zusätzlich) die Anweisungen ausführen.
  • Wie Fachleute aus der vorhergehenden detaillierten Beschreibung und aus den Figuren und Ansprüchen erkennen werden, können Modifikationen und Änderungen an den Ausführungsformen der Erfindung vorgenommen werden, ohne vom Umfang dieser Erfindung, wie er in den folgenden Ansprüchen definiert ist, abzuweichen.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • US 62/610689 [0001]

Claims (20)

  1. Ein Verfahren zum Zugreifen auf ergänzende Daten von anderen Fahrzeugen schließt an einem autonomen Fahrzeug ein: • Aufzeichnen eines Abtastbildes einer Szene um das autonome Fahrzeug zu einem ersten Zeitpunkt; • Erfassen unzureichender Wahrnehmungsdaten in einem Bereich des Abtastbildes; • als Reaktion auf das Erfassen unzureichender Wahrnehmungsdaten in dem Bereich des Abtastbildes: ◯ Definieren einer betroffenen Bodenfläche, die den Bereich des Abtastbildes enthält; und ◯ drahtloses Übertragen einer Abfrage von Wahrnehmungsdaten, die Objekte innerhalb der betroffenen Bodenfläche darstellen, • als Reaktion auf das Empfangen ergänzender Wahrnehmungsdaten von einem zweiten Fahrzeug nahe der Szene Einbeziehen der ergänzenden Wahrnehmungsdaten in das Abtastbild, um ein zusammengesetztes Abtastbild zu bilden, wobei die ergänzenden Wahrnehmungsdaten Objekte innerhalb der betroffenen Bodenfläche, die von dem zweiten Fahrzeug zu etwa dem ersten Zeitpunkt erfasst wurden, darstellen, • Auswählen einer ersten Navigationshandlung auf Grundlage von Objekten in der Szene, die durch das zusammengesetzte Abtastbild dargestellt sind; und • autonomes Ausführen der ersten Navigationshandlung.
  2. Verfahren nach Anspruch 1: • wobei drahtloses Übertragen der Abfrage von Wahrnehmungsdaten, die Objekte innerhalb der betroffenen Bodenfläche darstellen, das direkte Übertragen der Abfrage an das zweite Fahrzeug über ein drahtloses lokales Ad-hoc-Netzwerk umfasst; und • ferner das Empfangen der ergänzenden Wahrnehmungsdaten von dem zweiten Fahrzeug über das drahtlose lokale Ad-hoc-Netzwerk umfasst.
  3. Verfahren nach Anspruch 1: • wobei drahtloses Übertragen der Abfrage von Wahrnehmungsdaten, die Objekte innerhalb der betroffenen Bodenfläche darstellen, das Übertragen der Abfrage an ein Remote-Computersystem über ein drahtloses Netzwerk umfasst; und • an dem Remote-Computersystem ferner umfassend: ◯ Verfolgen raumbezogener Standorte eines Satzes von Fahrzeugen innerhalb einer geographischen Region; ◯ für jedes Fahrzeug in dem Satz von Fahrzeugen Schätzen eines Bereichs um das Fahrzeug, der durch eine Reihe von Sensoren auf dem Fahrzeug zu etwa dem ersten Zeitpunkt auf Grundlage eines raumbezogenen Standorts des Fahrzeugs zu etwa dem ersten Zeitpunkt wahrnehmbar ist; ◯ Auswählen des zweiten Fahrzeugs aus dem Satz von Fahrzeugen, um auf die Abfrage auf Grundlage eines zweiten wahrnehmbaren Bereichs, der für das zweite Fahrzeug, welches die betroffene Bodenfläche schneidet, geschätzt wird, zu antworten, ◯ Abrufen der ergänzenden Wahrnehmungsdaten von dem zweiten Fahrzeug über das drahtlose Netzwerk, und ◯ Übertragen der ergänzenden Wahrnehmungsdaten an das autonome Fahrzeug über das drahtlose Netzwerk.
  4. Verfahren nach Anspruch 3, ferner umfassend, an dem Remote-Computersystem: • Verfolgen raumbezogener Standorte des autonomen Fahrzeugs und des zweiten Fahrzeugs; und • als Reaktion darauf, dass die betroffene Bodenfläche außerhalb des zweiten wahrnehmbaren Bereichs fällt, der für das zweite Fahrzeug zu einem zweiten Zeitpunkt nach dem ersten Zeitpunkt geschätzt wird, Einstellen der Übertragung ergänzender Wahrnehmungsdaten von dem zweiten Fahrzeug an das autonome Fahrzeug über das drahtlose Netzwerk.
  5. Verfahren nach Anspruch 1, ferner umfassend, an dem autonomen Fahrzeug: • Zuweisen eines ersten Zeitfensters, das den ersten Zeitpunkt für die Abfrage enthält; • Empfangen ergänzender Wahrnehmungsdaten von dem zweiten Fahrzeug, die von dem zweiten Fahrzeug innerhalb des ersten Zeitfensters aufgezeichnet wurden; • Aufzeichnen eines zweiten Abtastbildes der Szene um das autonome Fahrzeug zu einem zweiten Zeitpunkt, der dem ersten Zeitpunkt und der nachfolgenden Ausführung der ersten Navigationshandlung folgt; • Erfassen unzureichender Wahrnehmungsdaten in einem zweiten Bereich des zweiten Abtastbildes, • als Reaktion auf das Erfassen unzureichender Wahrnehmungsdaten in dem zweiten Bereich des zweiten Abtastbildes: ◯ Definieren einer zweiten betroffenen Bodenfläche, die den zweiten Bereich des zweiten Abtastbildes enthält und sich von der betroffenen Bodenfläche unterscheidet, die auf eine Änderung des raumbezogenen Standorts des autonomen Fahrzeugs nach Ausführung der ersten Navigationshandlung reagiert; und ◯ Definieren eines zweiten Zeitfensters, das den zweiten Zeitpunkt zum Abrufen von Wahrnehmungsdaten enthält, die Objekte innerhalb der zweiten betroffenen Bodenfläche darstellen, und ◯ drahtloses Übertragen des zweiten Zeitfensters und einer zweiten Abfrage von Wahrnehmungsdaten, die Objekte innerhalb der zweiten betroffenen Bodenfläche darstellen.
  6. Verfahren nach Anspruch 5, ferner umfassend: • als Reaktion auf das Empfangen eines zweiten Satzes von ergänzenden Wahrnehmungsdaten von dem zweiten Fahrzeug Einbeziehen des zweiten Satzes von ergänzenden Wahrnehmungsdaten in das zweite Abtastbild, um ein zweites zusammengesetztes Abtastbild zu bilden, wobei der zweite Satz von ergänzenden Wahrnehmungsdaten Objekte innerhalb der zweiten betroffenen Bodenfläche, die von dem zweiten Fahrzeug während des zweiten Zeitfensters erfasst wurde, darstellt. • Berechnen eines Verlaufs eines Objekts nahe der Szene auf Grundlage einer Änderung in der Position des Objekts von dem zusammengesetzten Abtastbild zu dem zweiten zusammengesetzten Abtastbild; • Auswählen einer zweiten Navigationshandlung auf Grundlage des Objektverlaufs; und • autonomes Ausführen der zweiten Navigationshandlung.
  7. Verfahren nach Anspruch 1: • wobei das Aufzeichnen des Abtastbildes der Szene um das autonome Fahrzeug zu dem ersten Zeitpunkt umfasst: ◯ Aufzeichnen eines ersten Satzes von Tiefenkarten über einen Satz von Tiefensensoren, die an dem autonomen Fahrzeug angeordnet sind, etwa zum ersten Zeitpunkt; ◯ Kompilieren des ersten Satzes von Tiefenkarten in das Abtastbild, das einen Satz von Oberflächen in der Szene darstellt, die für das autonome Fahrzeug zum ersten Zeitpunkt sichtbar sind; • wobei drahtloses Übertragen der Abfrage von Wahrnehmungsdaten, die Objekte innerhalb der betroffenen Bodenfläche darstellen, drahtloses Übertragen der Abfrage von rohen Tiefenkartendaten umfasst, welche die betroffene Bodenfläche überschneiden und zu etwa dem ersten Zeitpunkt aufgezeichnet wurden; • ferner umfassend das Empfangen von dem zweiten Fahrzeug: o ergänzender Wahrnehmungsdaten umfassend einen Ausschnitt einer rohen Tiefenkarte, welcher die betroffene Bodenfläche überschneidet und von dem zweiten Fahrzeug zu einem zweiten Zeitpunkt nahe dem ersten Zeitpunkt aufgezeichnet wird; und o eines raumbezogenen Standorts des zweiten Fahrzeugs zum zweiten Zeitpunkt; und • wobei das Einbeziehen der ergänzenden Wahrnehmungsdaten in das Abtastbild, um das zusammengesetzte Abtastbild zu bilden, das Lokalisieren des Ausschnitts der rohen Tiefenkarte in dem Abtastbild auf Grundlage des raumbezogenen Standorts des zweiten Fahrzeugs zu dem zweiten Zeitpunkt umfasst, um das zusammengesetzte Abtastbild zu bilden.
  8. Verfahren nach Anspruch 7: • wobei das Erfassen unzureichender Wahrnehmungsdaten in dem Bereich des Abtastbildes das Identifizieren eines ersten Clusters von Punkten in dem Abtastbild umfasst, von dem erwartet wird, dass er ein einzelnes Objekt darstellt und der eine unzureichende Anzahl von Punkten zur Identifizierung eines Typs des einzelnen Objekts enthält; • wobei das Definieren der betroffenen Bodenfläche das Berechnen einer raumbezogenen Grenze umfasst, die den Cluster von Punkten auf Grundlage eines raumbezogenen Standorts des autonomen Fahrzeugs zum ersten Zeitpunkt enthält; • wobei das Empfangen des Ausschnitts der rohen Tiefenkarte von dem zweiten Fahrzeug das Empfangen des Ausschnitts der rohen Tiefenkarte umfassend eines zweiten Cluster von Punkten, der Oberflächen innerhalb der betroffenen Bodenfläche entspricht, umfasst; • wobei das Einbeziehen der ergänzenden Wahrnehmungsdaten in das Abtastbild, um das zusammengesetzte Abtastbild zu bilden, das Lokalisieren des zweiten Clusters von Punkten in dem Abtastbild auf Grundlage des raumbezogenen Standorts des zweiten Fahrzeugs zum zweiten Zeitpunkt umfasst, um das zusammengesetzte Abtastbild zu bilden; und • ferner umfassend das Vorhersagen eines Typs des einzelnen Objekts auf Grundlage einer Kombination des ersten Clusters von Punkten und des zweiten Clusters von Punkten in dem zusammengesetzten Abtastbild.
  9. Verfahren nach Anspruch 8: • ferner umfassend: ◯ Zugreifen auf ein Bewegungsmodell, das dem Typ des einzelnen Objekts zugeordnet ist; und ◯ Vorhersagen eines Verlaufs des einzelnen Objekts auf Grundlage des Bewegungsmodells; • wobei das Auswählen der ersten Navigationshandlung und das autonome Ausführen der ersten Navigationshandlung das autonome Ausführen der ersten Navigationshandlung umfasst, um die Wahrscheinlichkeit einer Kollision mit dem einzelnen Objekt auf Grundlage des Verlaufs des einzelnen Objekts zu verringern.
  10. Verfahren nach Anspruch 1: • wobei das Aufzeichnen des Abtastbildes der Szene um das autonome Fahrzeug zum ersten Zeitpunkt umfasst: ◯ Aufzeichnen eines ersten Satzes von Tiefenkarten über einen Satz von Tiefensensoren, die an dem autonomen Fahrzeug angeordnet sind, etwa zum ersten Zeitpunkt; ◯ Aufzeichnen eines ersten Satzes von fotografischen Bildern über einen Satz von Kameras, die an dem autonomen Fahrzeug angeordnet sind, etwa zum ersten Zeitpunkt; und ◯ Erzeugen des Abtastbildes umfassend eine Objektkarte, die Typen und raumbezogene Standorte eines ersten Satzes von Objekten innerhalb der Szene zu etwa dem ersten Zeitpunkt auf Grundlage des ersten Satzes von Tiefenkarten und des ersten Satzes von fotografischen Bildern spezifiziert; • wobei drahtloses Übertragen der Abfrage von Wahrnehmungsdaten, die Objekte innerhalb der betroffenen Bodenfläche darstellen, ein drahtloses Übertragen der Abfrage nach Typen und Standorten von Objekten innerhalb der betroffenen Bodenfläche zu etwa einem ersten Zeitpunkt umfasst; • ferner umfassend das Empfangen ergänzender Wahrnehmungsdaten von dem zweiten Fahrzeug umfassend einen Objektkartenausschnitt, der von dem zweiten Fahrzeug auf Grundlage der Wahrnehmungsdaten, die von dem zweiten Fahrzeug zu etwa dem ersten Zeitpunkt aufgezeichnet wurden, erzeugt wurde, wobei der Objektkartenausschnitt Typen und raumbezogene Standorte eines zweiten Satzes von Objekten innerhalb der betroffenen Bodenfläche zu etwa dem ersten Zeitpunkt spezifiziert; und • wobei das Einbeziehen der ergänzenden Wahrnehmungsdaten in das Abtastbild, um das zusammengesetzte Abtastbild zu bilden, das Einfügen des Objektkartenausschnitts in die Objektkarte umfasst, um das zusammengesetzte Abtastbild zu bilden.
  11. Verfahren nach Anspruch 10: • wobei das Empfangen des Objektkartenausschnitts von dem zweiten Fahrzeug das Empfangen des Objektkartenausschnitts einer raumbezogenen Grenze von jedem Objekt in dem zweiten Satz von Objekten umfasst; und • wobei das Einfügen des Objektkartenausschnitts in die Objektkarte, um das zusammengesetzten Abtastbildes zu bilden, das Einfügen des zweiten Satzes von Objekten mit raumbezogenen Grenzen, die durch einen Pufferabstand erweitert sind, in die Objektkarte umfasst, um das zusammengesetzten Abtastbild zu bilden.
  12. Verfahren nach Anspruch 11, ferner umfassend: • Setzen des Pufferabstands auf einen ersten Abstand, der auf die Zuordnung des zweiten Fahrzeugs zu einer ersten autonomen Fahrzeugflotte, die das autonome Fahrzeug umfasst, reagiert; und • Setzen des Pufferabstands auf einen zweiten Abstand, der größer als der erste Abstand ist, der auf die Zuordnung des zweiten Fahrzeugs zu einer zweiten autonomen Fahrzeugflotte, die das erste autonome Fahrzeug ausschließt, reagiert.
  13. Verfahren nach Anspruch 10: • ferner umfassend, zu etwa dem ersten Zeitpunkt, Messen einer Datenübertragungsrate eines lokalen drahtlosen Netzwerks; • wobei drahtloses Übertragen der Abfrage von Wahrnehmungsdaten, die Objekte innerhalb der betroffenen Bodenfläche darstellen, umfasst: ◯ drahtloses Übertragen über das drahtlose Netzwerk der Abfrage von Typen und Standorten von Objekten innerhalb der betroffenen Bodenfläche zu etwa dem ersten Zeitpunkt als Reaktion darauf, dass die Datenübertragungsrate des drahtlosen lokalen Netzwerks zu etwa dem ersten Zeitpunkt unter eine Schwellendatenübertragungsrate fällt; und ◯ drahtloses Übertragen einer Abfrage von Sensorrohdaten, welche die betroffene Bodenfläche überschneiden und die etwa zu dem ersten Zeitpunkt als Reaktion darauf, dass die Datenübertragungsrate des drahtlosen lokalen Netzwerks die Schwellendatenübertragungsrate zu etwa dem ersten Zeitpunkt überschritt, aufgezeichnet wurden.
  14. Verfahren nach Anspruch 1: • wobei das Erfassen von unzureichenden Wahrnehmungsdaten in dem Bereich des Abtastbildes das Identifizieren des Bereichs des Abtastbildes, der aufgrund der Entstellung eines Sichtfeldes eines Sensors an dem autonomen Fahrzeug durch ein externes Objekt in der Szene zum ersten Zeitpunkt keine Daten enthält, umfasst; • wobei das Definieren der betroffenen Bodenfläche das Definieren der betroffenen Bodenfläche umfasst, die sich zum ersten Zeitpunkt über das externe Objekt gegenüber dem autonomen Fahrzeug erstreckt; • ferner umfassend Empfangen, von dem zweiten Fahrzeug, der ergänzenden Wahrnehmungsdaten, die von dem zweiten Fahrzeug zu etwa dem ersten Zeitpunkt aufgezeichnet wurden, wobei das zweite Fahrzeug sich etwa auf der gegenüberliegenden Seite des externen Objekts von dem autonomen Fahrzeug aus zu etwa dem ersten Zeitpunkt befindet, und • wobei das Einbeziehen der ergänzenden Wahrnehmungsdaten in das Abtastbild zum Bilden des zusammengesetzten Abtastbildes das Kombinieren des Abtastbildes und der ergänzenden Wahrnehmungsdaten umfasst, um das zusammengesetzte Abtastbild zu bilden, das Objekte, die für das autonome Fahrzeug zum ersten Zeitpunkt sichtbar sind und Objekte auf der gegenüberliegenden Seite des externen Objekts von dem autonomen Fahrzeug aus etwa zum ersten Zeitpunkt darstellt.
  15. Verfahren nach Anspruch 14, • wobei das autonome Fahrzeug in einer Rechtsabbiegespur vor einer Kreuzung zu einer Anfangszeit, die dem ersten Zeitpunkt vorausgeht, anhält; • wobei das Erfassen unzureichender Wahrnehmungsdaten in dem Bereich des Abtastbildes das Identifizieren des Bereichs des Abtastbildes, der aufgrund der Entstellung des Sichtfeldes des Sensors, der von einer linken Seite des autonomen Fahrzeugs nach außen zeigt, durch das externe Objekt, dass ein drittes Fahrzeug in einer Fahrspur links von dem autonomen Fahrzeug umfasst, keine Daten enthält; • wobei das Definieren der betroffenen Bodenfläche das Definieren der betroffenen Bodenfläche umfasst, die sich nach links von dem autonomen Fahrzeug entlang einer Querstraße perpendikulär zu der Rechtsabbiegespur erstreckt; • ferner umfassend das Abtasten des zusammengesetzten Abtastbildes nach entgegenkommendem Verkehr in der Querstraße und Annähern an die Kreuzung; und • wobei das Auswählen der ersten Navigationshandlung und das autonome Ausführen der ersten Navigationshandlung das autonome Ausführen einer Rechtskurve auf die Querstraße als Reaktion auf das Erfassen des Fehlens von entgegenkommenden Verkehr in der Querstraße umfasst.
  16. Verfahren von Anspruch 1, • wobei das Erfassen von unzureichenden Wahrnehmungsdaten in dem Bereich des Abtastbildes das Identifizieren des Bereichs des Abtastbildes, der aufgrund der Entstellung eines Sichtfeldes eines Sensors an dem autonomen Fahrzeug durch ein externes Objekt in der Szene zum ersten Zeitpunkt keine Daten enthält, umfasst; • ferner umfassend das Identifizieren eines zweiten Bereichs in dem Abtastbild, der ausreichende Wahrnehmungsdaten enthält; • wobei das Definieren der betroffenen Bodenfläche das Definieren der Bodenfläche umfasst, die einen ersten Abschnitt umfasst, der den Bereich des Abtastbildes enthält und einen zweiten Abschnitt umfasst, der den zweiten Bereich des Abtastbildes enthält; • ferner umfassend das Empfangen ergänzender Wahrnehmungsdaten von dem zweiten Fahrzeug, die von dem zweiten Fahrzeug aufgezeichnet wurden, umfassend einen ersten Satz von Wahrnehmungsdaten, die den ersten Abschnitt der betroffenen Bodenfläche darstellen, und umfassend einen zweiten Satz von Wahrnehmungsdaten, die den zweiten Abschnitt der betroffenen Bodenfläche zu etwa dem ersten Zeitpunkt darstellen, • wobei das Einbeziehen der ergänzenden Wahrnehmungsdaten in das Abtastbild, um das zusammengesetzte Abtastbild zu bilden, umfasst: ◯ Verifizieren der ergänzenden Wahrnehmungsdaten auf Grundlage einer Abgleichung zwischen dem zweiten Satz Wahrnehmungsdaten und Merkmalen, die in dem zweiten Bereich des Abtastbildes erfasst werden, und ◯ Kombinieren des Abtastbildes und der ersten Wahrnehmungsdaten, um als Reaktion auf die Verifizierung der ergänzenden Wahrnehmungsdaten das zusammengesetzte Abtastbild zu bilden.
  17. Verfahren nach Anspruch 1: • ferner umfassend: ◯ Speichern des Abtastbildes, das zu dem ersten Zeitpunkt mit einem Zeitstempel versehen wird, in einem lokalen Speicher; ◯ Aufzeichnen eines zweiten Abtastbildes der Szene zu einem zweiten Zeitpunkt, der dem ersten Zeitpunkt folgt; und o Empfangen der ergänzenden Wahrnehmungsdaten, die von dem zweiten Fahrzeug zu einem dritten Zeitpunkt aufgezeichnet wurden, von dem zweiten Fahrzeug zu einem vierten Zeitpunkt nach dem ersten Zeitpunkt; • wobei das Einbeziehen der ergänzenden Wahrnehmungsdaten in das Abtastbild, um das zusammengesetzte Abtastbild zu bilden, das Abrufen des Abtastbildes aus dem lokalen Speicher und das Einbeziehen der ergänzenden Wahrnehmungsdaten in das Abtastbild umfasst, um das zusammengesetzte Abtastbild auf Grundlage der Nähe des ersten Zeitpunkts zu dem dritten Zeitpunkt zu bilden; • ferner umfassend das Schätzen eines Objektverlaufs nahe der Szene auf Grundlage einer Änderung in der Position des Objekts von dem zusammengesetzten Abtastbild zu dem zweiten Abtastbild, und • wobei das Auswählen der ersten Navigationshandlung und das autonome Ausführen der ersten Navigationshandlung das autonome Ausführen der ersten Navigationshandlung zu etwa dem zweiten Zeitpunkt umfasst, um die Wahrscheinlichkeit einer Kollision mit dem Objekt auf Grundlage des Objektverlaufs zu verringern.
  18. Verfahren nach Anspruch 1: • wobei das Erfassen unzureichender Wahrnehmungsdaten in dem Bereich des Abtastbildes das Identifizieren eines bestimmten Objekts in der Szene, das erstmals in dem Abtastbild und nicht in vorhergehenden Abtastbildern dargestellt ist, umfasst; • wobei das Definieren der betroffenen Bodenfläche, die den Bereich des Abtastbildes enthält, das Definieren der betroffenen Bodenfläche umfasst, die das besondere Objekt enthält; • wobei drahtloses Übertragen der Abfrage von Wahrnehmungsdaten, die Objekte der betroffenen Bodenfläche darstellen, drahtloses Übertragen der Abfrage nach Objektverläufen innerhalb der betroffenen Bodenfläche umfasst; • ferner umfassend das Empfangen ergänzender Wahrnehmungsdaten von dem zweiten Fahrzeug umfassend einen Verlauf des bestimmten Objekts, der von dem zweiten Fahrzeug auf Grundlage der Sensordaten, die von dem zweiten Fahrzeug von einem Ausgangszeitpunkt vor dem ersten Zeitpunkt bis zu etwa dem ersten Zeitpunkt aufgezeichnet wurden, geschätzt wird; und • wobei das Einbeziehen ergänzender Wahrnehmungsdaten in das Abtastbild zur Bildung eines zusammengesetzten Abtastbildes das Annotieren einer Darstellung des bestimmten Objekts in dem Abtastbild mit dem Verlauf des bestimmten Objekts umfasst, der von dem zweiten Fahrzeug empfangen wurde, um das zusammengesetzte Abtastbild zu bilden.
  19. Verfahren nach Anspruch 1: • ferner umfassend: ◯ autonomes Navigieren zu einem Haltepunkt an einem ersten Standort zu einem Ausgangszeitpunkt, der dem ersten Zeitpunkt vorausgeht; ◯ zu einem zweiten Zeitpunkt nach dem ersten Zeitpunkt Empfangen einer Antwort von dem zweiten Fahrzeug, dass erwartet wird, dass die betroffene Bodenfläche zu einem dritten Zeitpunkt nach dem ersten Zeitpunkt in ein Sichtfeld des zweiten Fahrzeugs fällt; ◯ als Reaktion darauf, dass eine Differenz zwischen dem ersten Zeitpunkt und dem dritten Zeitpunkt unter einer Schwellenwartezeit bleibt: ■ Stehenbleiben an dem ersten Standort, und ■ Herunterladen ergänzender Wahrnehmungsdaten von dem zweiten Fahrzeug nach dem dritten Zeitpunkt; und • wobei autonomes Ausführen der ersten Navigationshandlung das autonome Wegnavigieren von dem ersten Standort nach dem dritten Zeitpunkt auf Grundlage des zusammengesetzten Abtastbildes umfasst.
  20. Verfahren nach Anspruch 1, ferner umfassend: • Speichern des Abtastbildes mit einem Zeitstempel zum ersten Zeitpunkt in einem lokalen Speicher; • Markieren des Abtastbildes mit einem raumbezogenen Standort des autonomen Fahrzeugs zum ersten Zeitpunkt; • Empfangen einer Abfrage von einem dritten Fahrzeug nach Wahrnehmungsdaten, die Objekte innerhalb einer zweiten betroffenen Bodenfläche zu etwa dem ersten Zeitpunkt darstellen, und • als Reaktion darauf, dass die zweite betroffene Bodenfläche einen geographischen Bereich überschneidet, der durch das Abtastbild dargestellt wird, Übertragen eines Ausschnitts des Abtastbildes und den raumbezogenen Standort des autonomen Fahrzeugs zum ersten Zeitpunkt zu dem dritten Fahrzeug.
DE112018006665.7T 2017-12-27 2018-12-27 Verfahren zum zugreifen auf ergänzende wahrnehmungsdaten von anderen fahrzeugen Pending DE112018006665T5 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762610689P 2017-12-27 2017-12-27
US62/610,689 2017-12-27
PCT/US2018/067735 WO2019133743A1 (en) 2017-12-27 2018-12-27 Method for accessing supplemental perception data from other vehicles

Publications (1)

Publication Number Publication Date
DE112018006665T5 true DE112018006665T5 (de) 2020-10-01

Family

ID=67064189

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112018006665.7T Pending DE112018006665T5 (de) 2017-12-27 2018-12-27 Verfahren zum zugreifen auf ergänzende wahrnehmungsdaten von anderen fahrzeugen

Country Status (4)

Country Link
US (2) US11620906B2 (de)
CN (1) CN111727413B (de)
DE (1) DE112018006665T5 (de)
WO (1) WO2019133743A1 (de)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10460534B1 (en) * 2015-10-26 2019-10-29 Allstate Insurance Company Vehicle-to-vehicle accident detection
US9972092B2 (en) * 2016-03-31 2018-05-15 Adobe Systems Incorporated Utilizing deep learning for boundary-aware image segmentation
JP7024396B2 (ja) * 2017-12-26 2022-02-24 トヨタ自動車株式会社 人物探索システム
US11488476B2 (en) * 2018-01-09 2022-11-01 Motional Ad Llc Detection system and method
US11760280B2 (en) * 2018-01-12 2023-09-19 Uatc, Llc Systems and methods for streaming processing for autonomous vehicles
US20190220016A1 (en) * 2018-01-15 2019-07-18 Uber Technologies, Inc. Discrete Decision Architecture for Motion Planning System of an Autonomous Vehicle
US10782699B2 (en) * 2018-03-10 2020-09-22 Baidu Usa Llc Real-time perception adjustment and driving adaption based on surrounding vehicles' behavior for autonomous driving vehicles
US11378956B2 (en) * 2018-04-03 2022-07-05 Baidu Usa Llc Perception and planning collaboration framework for autonomous driving
US10743141B2 (en) 2018-06-05 2020-08-11 Kenmar Corporation Systems and methods for determining a location of an electronic device using bilateration
US10824156B1 (en) * 2018-07-30 2020-11-03 GM Global Technology Operations LLC Occupancy grid movie system
DE102018216417A1 (de) * 2018-09-26 2020-03-26 Robert Bosch Gmbh Ortsvorhersage für dynamische Objekte
US11823461B1 (en) 2018-09-28 2023-11-21 Direct Current Capital LLC Systems and methods for perceiving a scene around a mobile device
JP6685619B1 (ja) * 2018-12-10 2020-04-22 三菱電機株式会社 物体認識装置および物体認識方法
US20200217948A1 (en) * 2019-01-07 2020-07-09 Ainstein AI, Inc Radar-camera detection system and methods
US11016492B2 (en) * 2019-02-28 2021-05-25 Zoox, Inc. Determining occupancy of occluded regions
JP7157686B2 (ja) * 2019-03-15 2022-10-20 本田技研工業株式会社 車両制御装置、車両制御方法、及びプログラム
FR3094511B1 (fr) * 2019-03-25 2021-04-09 Alstom Transp Tech Procédé d’acquisition de données capturées par un module de capture embarqué dans un engin mobile suivant une trajectoire prédéterminée, programme d’ordinateur et dispositif correspondants
EP3722992B1 (de) * 2019-04-10 2023-03-01 Teraki GmbH System und verfahren zur vorverarbeitung von einem fahrzeug erfassten bildern
US11312372B2 (en) * 2019-04-16 2022-04-26 Ford Global Technologies, Llc Vehicle path prediction
EP3745299A1 (de) * 2019-05-31 2020-12-02 Infineon Technologies AG Vorrichtung mit neuronalem netz und verfahren mit verwendung eines neuronalen netzes zur sensorfusion
US11088911B2 (en) * 2019-07-08 2021-08-10 Trane International Inc. Probability-based network data updates
JP7099412B2 (ja) * 2019-07-16 2022-07-12 トヨタ自動車株式会社 車両制御装置及び車両制御システム
NL2023628B9 (nl) * 2019-08-09 2021-08-20 Wilhelmus Maria Van Bentum Johannes Systeem voor het aansturen van een op basis van stuur- en versnellingswaarden bestuurbaar autonoom rijdend voer- of (lucht)vaartuig, autonoom rijdend voer- of (lucht)vaartuig voorzien van een dergelijk systeem.
US11335132B2 (en) * 2019-09-16 2022-05-17 Toyota Motor Engineering & Manufacturing North America, Inc. Partial sensor data sharing for connected vehicles
KR20210037791A (ko) * 2019-09-27 2021-04-07 현대모비스 주식회사 자율 주행 장치 및 방법
US11754408B2 (en) * 2019-10-09 2023-09-12 Argo AI, LLC Methods and systems for topological planning in autonomous driving
US11423780B2 (en) * 2019-12-30 2022-08-23 Subaru Corporation Traffic control system
US11055997B1 (en) * 2020-02-07 2021-07-06 Honda Motor Co., Ltd. System and method for resolving ambiguous right of way
KR20210105692A (ko) * 2020-02-19 2021-08-27 삼성전자주식회사 전자 장치 및 이의 제어 방법
US11210824B2 (en) * 2020-05-21 2021-12-28 At&T Intellectual Property I, L.P. Integer-based graphical representations of words and texts
WO2021261680A1 (ko) * 2020-06-26 2021-12-30 주식회사 에스오에스랩 센서 데이터 공유 및 활용 방법
US20220114433A1 (en) * 2020-10-08 2022-04-14 Toyota Motor Engineering & Manufacturing North America, Inc. Methods and systems for enhanced scene perception using vehicle platoon
DE102020006719A1 (de) * 2020-11-02 2022-05-05 Daimler Ag Verfahren zur Bereitstellung von Informationen über Verkehrsteilnehmer
EP3995922B1 (de) * 2020-11-10 2023-08-23 Yandex Self Driving Group Llc Verfahren und system zur bereitstellung von abtastdaten zur steuerung eines selbstfahrenden fahrzeugs
CN112867136B (zh) * 2020-12-31 2022-11-15 思看科技(杭州)股份有限公司 基于无线对等网络的三维扫描***和三维扫描方法
US20230024419A1 (en) * 2021-07-23 2023-01-26 GM Global Technology Operations LLC System and method for dynamically configurable remote data collection from a vehicle
CN114067562B (zh) * 2021-10-28 2022-08-19 武汉中海庭数据技术有限公司 一种基于多维度特征的车道有效性预测方法及预测***
CN114078329B (zh) * 2022-01-19 2022-04-22 青岛海信网络科技股份有限公司 一种目标车辆轨迹虚拟方法、装置、设备及介质
CN116929326A (zh) * 2022-04-07 2023-10-24 华为技术有限公司 一种数据采集方法及装置
US11691634B1 (en) * 2022-06-24 2023-07-04 Plus AI, Inc. On-vehicle driving behavior modelling

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6052068A (en) * 1997-03-25 2000-04-18 Frederick J. Price Vehicle identification system
US8965677B2 (en) 1998-10-22 2015-02-24 Intelligent Technologies International, Inc. Intra-vehicle information conveyance system and method
US7720580B2 (en) * 2004-12-23 2010-05-18 Donnelly Corporation Object detection system for vehicle
CA2556640C (en) * 2005-08-22 2013-04-30 Solectron Invotronics Inc. Off-board navigational system
DE102008035992A1 (de) * 2007-08-29 2009-03-05 Continental Teves Ag & Co. Ohg Ampelphasenassistent unterstützt durch Umfeldsensoren
EP2342536A1 (de) * 2008-11-06 2011-07-13 TomTom International B.V. Datenbeschaffungsvorrichtung, datenbeschaffungssystem und verfahren zum beschaffen von daten
CN101924924A (zh) * 2010-07-28 2010-12-22 厦门雅迅网络股份有限公司 一种无线远程视频监控的自适应传输方法及传输***
US9122933B2 (en) * 2013-03-13 2015-09-01 Mighty Carma, Inc. After market driving assistance system
DE102013210729A1 (de) 2013-06-10 2014-12-11 Robert Bosch Gmbh Verfahren und Vorrichtung zum Signalisieren eines visuell zumindest teilweise verdeckten Verkehrsobjekts für einen Fahrer eines Fahrzeugs
US9349055B1 (en) * 2013-06-26 2016-05-24 Google Inc. Real-time image-based vehicle detection based on a multi-stage classification
DE102013013867A1 (de) * 2013-08-20 2015-03-12 Audi Ag Kraftfahrzeug und Verfahren zur Steuerung eines Kraftfahrzeugs
US9403482B2 (en) * 2013-11-22 2016-08-02 At&T Intellectual Property I, L.P. Enhanced view for connected cars
KR102136402B1 (ko) 2014-02-26 2020-07-21 한국전자통신연구원 차량 정보 공유 장치 및 방법
US9849882B2 (en) 2015-02-06 2017-12-26 Jung H BYUN Vehicle control based on crowdsourcing data
KR20160112537A (ko) 2015-03-19 2016-09-28 현대자동차주식회사 차량, 및 차량의 제어방법
US9711050B2 (en) * 2015-06-05 2017-07-18 Bao Tran Smart vehicle
US9922553B2 (en) 2015-12-22 2018-03-20 Intel Corporation Vehicle assistance systems and methods utilizing vehicle to vehicle communications
CN107274695B (zh) * 2016-04-08 2020-10-27 上海三思电子工程有限公司 智能照明***、智能车辆及其车辆辅助驾驶***和方法
US10366290B2 (en) * 2016-05-11 2019-07-30 Baidu Usa Llc System and method for providing augmented virtual reality content in autonomous vehicles
US11010615B2 (en) * 2016-11-14 2021-05-18 Lyft, Inc. Rendering a situational-awareness view in an autonomous-vehicle environment
US11106967B2 (en) * 2017-07-03 2021-08-31 X Development Llc Update of local features model based on correction to robot action
US10349011B2 (en) * 2017-08-14 2019-07-09 GM Global Technology Operations LLC System and method for improved obstacle awareness in using a V2X communications system
US10324189B2 (en) * 2017-10-24 2019-06-18 Harman International Industries, Incorporated Collaborative data processing
US10297152B1 (en) * 2017-10-27 2019-05-21 Waymo Llc Displaying sensor data and supplemental data as a mask for autonomous vehicles
CN109838423B (zh) 2017-11-27 2024-04-30 华澳装备科技(盐城)有限公司 机械手液压回路、消除机械手平衡阀隐患的方法及硫化机

Also Published As

Publication number Publication date
US11620906B2 (en) 2023-04-04
US20190236955A1 (en) 2019-08-01
CN111727413B (zh) 2024-06-11
US20230237908A1 (en) 2023-07-27
CN111727413A (zh) 2020-09-29
WO2019133743A1 (en) 2019-07-04

Similar Documents

Publication Publication Date Title
DE112018006665T5 (de) Verfahren zum zugreifen auf ergänzende wahrnehmungsdaten von anderen fahrzeugen
EP2979261B1 (de) Backend für fahrerassistenzsysteme
DE112020002175T5 (de) Systeme und verfahren zur fahrzeugnavigation
DE102015203016B4 (de) Verfahren und Vorrichtung zur optischen Selbstlokalisation eines Kraftfahrzeugs in einem Umfeld
DE112019004832T5 (de) Betrieb eines Fahrzeugs unter Verwendung von Bewegungsplanung mit maschinellem Lernen
DE112018002143T5 (de) Systeme und verfahren zur kompression von fahrspurdaten
DE112020006426T5 (de) Systeme und verfahren zur fahrzeugnavigation
DE112020004931T5 (de) Systeme und verfahren zur bestimmung der verkehrssicherheit
EP2850607B1 (de) Verfahren und system zur erstellung eines aktuellen situationsabbilds
DE102017125493A1 (de) Verkehrszeichenerkennung
DE102017204404B3 (de) Verfahren und Vorhersagevorrichtung zum Vorhersagen eines Verhaltens eines Objekts in einer Umgebung eines Kraftfahrzeugs und Kraftfahrzeug
DE102021100584A1 (de) Erfassung und klassifizierung von sirenensignalen und lokalisierung von sirenensignalquellen
DE112020002764T5 (de) Systeme und verfahren zur fahrzeugnavigation
DE102019115455A1 (de) Fokus-basiertes markieren von sensordaten
WO2018197122A1 (de) Verfahren zum automatischen erstellen und aktualisieren eines datensatzes für ein autonomes fahrzeug
DE102020134834A1 (de) Objektverfolgung zur unterstützung autonomer fahrzeugnavigation
DE102014223363A1 (de) Verfahren und Vorrichtung zur Lokalisation eines Kraftfahrzeugs in einer ortsfesten Referenzkarte
DE112020002592T5 (de) Systeme und verfahren zur fahrzeugnavigation basierend auf bildanalyse
DE112019004633T5 (de) Systeme und verfahren zum verbessern des fahrzeugbetriebs unter verwendung beweglicher sensoren
DE112020002869T5 (de) Navigationssysteme und verfahren zum bestimmen von objektabmessungen
DE112021002001T5 (de) Navigieren eines fahrzeugs unter verwendung eines elektronischen horizonts
DE112021003811T5 (de) Systeme und verfahren zur dynamischen strassengeometriemodellierung und navigation
DE112020005275T5 (de) Systeme und verfahren zur selektiven verzögerung eines fahrzeugs
DE102021133739A1 (de) Steuern eines autonomen fahrzeugs unter verwendung einer näheregel
DE102021131820A1 (de) Zusammenführen von lidar-informationen und kamerainformationen

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G05D0001020000

Ipc: G05D0001430000