DE102018115372A1

DE102018115372A1 - Verfahren und vorrichtung zur parallelen beleuchtung durch ein vcsel-array

Info

Publication number: DE102018115372A1
Application number: DE102018115372.4A
Authority: DE
Inventors: Ariel Lipson; Michael Slutsky; Itai Afek
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2017-06-27
Filing date: 2018-06-26
Publication date: 2018-12-27
Also published as: US20180373253A1; CN109143261A; US10591923B2

Abstract

Die vorliegende Erfindung betrifft im Allgemeinen die Kommunikation und Vermeidung von Gefahren in einer überwachten Fahrumgebung. Genauer gesagt, lehrt die Anwendung ein System zur verbesserten Zielobjekterkennung in einem Fahrzeug, das mit einem Lasererkennungs- und Entfernungs-LIDAR-System ausgestattet ist, durch gleichzeitiges Senden mehrerer Laser in einem Array und Auflösen von Winkelmehrdeutigkeiten mittels winkelsensitiver Detektionstechniken.

Description

HINTERGRUND
Die vorliegende Anmeldung betrifft im Allgemeinen autonome und halbautonome Fahrzeuge. Genauer gesagt lehrt die Anwendung eine Vorrichtung zur verbesserten Zielobjekterkennung in einem Fahrzeug, das mit Lasererkennung und einem LIDAR-Entfernungsmesssystem ausgestattet ist.
HINTERGRUND-INFORMATIONEN
Der Betrieb von modernen Fahrzeugen wird zunehmend automatisierter, d. h. Fahrzeuge übernehmen die Fahrsteuerung mit geringerem Eingriff des Fahrers. Die Fahrzeugautomatisierung wurde kategorisiert nach nummerischen Ebenen von null, entsprechend keiner Automatisierung mit voller menschlicher Kontrolle, bis Fünf, entsprechend der vollen Automatisierung ohne menschliche Kontrolle. Verschiedene automatisierte Fahrerassistenzsysteme, wie beispielsweise Geschwindigkeitsregelung, adaptive Geschwindigkeitsregelung und Parkassistenzsysteme, entsprechen niedrigeren Automatisierungsebenen, während echte „fahrerlose“ Fahrzeuge mit höheren Automatisierungsebenen übereinstimmen.
Fahrzeuge werden immer häufiger mit Sensoren an Bord ausgestattet, um ihre Umgebung autonom oder halbautonom zu ermitteln. Ein wertvoller Sensor für diese Aufgabe ist LIDAR, eine Vermessungstechnik, die Strecken misst, indem sie ein Ziel mit einem Laserlicht beleuchtet. Feste LiDAR-Systeme erfordern jedoch typischerweise einen Laser für jeden Punkt in einem Sichtfeld, wodurch wiederum eine große Anzahl an Lasern erforderlich ist, um eine dichte Punktwolke aus einer Entfernung zu erreichen. Es wäre wünschenswert, eine höhere Dichte der Punktwolke bei gleichzeitiger Begrenzung der Anzahl der Laser-Sender zu erreichen.
KURZDARSTELLUNG
Ausführungsformen gemäß der vorliegenden Offenbarung stellen eine Reihe von Vorteilen bereit. So können Ausführungsformen gemäß der vorliegenden Offenbarung eine unabhängige Validierung von Steuerbefehlen autonomer Fahrzeuge ermöglichen, um die Diagnose von Software- oder Hardwarezuständen im primären Steuersystem zu erleichtern. Somit können Ausführungsformen gemäß der vorliegenden Offenbarung robuster sein, wodurch die Kundenzufriedenheit erhöht wird.
Gemäß einem Aspekt der vorliegenden Erfindung umfasst eine Vorrichtung eine Laser-Emissionsvorrichtung zum Emittieren eines Lasers in eine erste Richtung, einen Detektor mit einem ersten Erfassungsabschnitt zum Erfassen einer ersten Laserintensität und einem zweiten Erfassungsabschnitt zum Erfassen einer zweiten Laserintensität, eine Linse zum Verteilen einer Laserreflexion an einem Übergang des ersten Erfassungsabschnitts und des zweiten Erfassungsabschnitts, und einen Prozessor zum Bestimmen eines Einfallswinkels der Laserreflexion in Abhängigkeit von einem Verhältnis der ersten Laserintensität und der zweiten Laserintensität.
Gemäß einem weiteren Aspekt der vorliegenden Erfindung umfasst ein LiDAR-System einen Sender zum Senden eines Lichtimpulses, eine erste Linse zum Ändern der Richtung des Lichtimpulses, einen Detektor mit einem ersten Erfassungsbereich und einem zweiten Erfassungsbereich zum Erfassen einer Reflexion des Lichtimpulses, eine zweite Linse zum Defokussieren des Lichtimpulses, sodass der Lichtimpuls über einen Abschnitt des ersten Erfassungsbereichs und einen Abschnitt des zweiten Erfassungsbereichs verteilt ist, einen Prozessor zum Bestimmen eines Einfallswinkels der Reflexion des Lichtimpulses in Abhängigkeit von einer ersten Intensität der Reflexion des auf den ersten Erfassungsbereich einfallenden Lichtimpulses und einer zweiten Intensität der Reflexion des auf den zweiten Erfassungsbereich einfallenden Lichtimpulses.
Gemäß einem weiteren Aspekt der vorliegenden Erfindung umfasst ein LiDAR-System eine erste Laser-Emissionsvorrichtung zum Emittieren eines Lasers in eine erste Richtung, eine zweite Laseremissionsvorrichtung zum Emittieren eines zweiten Lasers in eine zweite Richtung, worin der erste Laser und der zweite Laser gleichzeitig gesendet werden, einen Detektor mit einem ersten Erfassungsabschnitt zum Erfassen einer ersten Laserintensität und einem zweiten Erfassungsabschnitt zum Erfassen einer zweiten Laserintensität, und einen Prozessor zum Bestimmen eines Einfallswinkels der Laserreflexion in Abhängigkeit von einem Verhältnis der ersten Laserintensität und der zweiten Laserintensität, wobei der Prozessor weiterhin arbeitet, um zu bestimmen, ob die Laserreflexion eine Reflexion des ersten Lasers ist.
Die vorstehenden Vorteile und andere Vorteile und Merkmale der vorliegenden Offenbarung werden aus der folgenden ausführlichen Beschreibung der bevorzugten Ausführungsformen in Verbindung mit den zugehörigen Zeichnungen ersichtlich.
Figurenliste
Die zuvor genannten sowie weitere Eigenschaften und Vorteile dieser Erfindung und die Art und Weise, diese zu erzielen, werden augenscheinlicher, und die Erfindung wird besser verstanden anhand der folgenden Beschreibung von Ausführungsformen der Erfindung in Verbindung mit den zugehörigen Zeichnungen, worin gilt:

1 zeigt ein schematisches Diagramm eines Kommunikationssystems, das ein autark gesteuertes Fahrzeug gemäß einer Ausführungsform beinhaltet.
2 ist ein schematisches Blockdiagramm eines automatisierten Antriebssystems (ADS) für ein Fahrzeug gemäß einer Ausführungsform.
3 ist ein Diagramm einer exemplarischen Umgebung für die Implementierung der vorliegend offenbarten Systeme und Verfahren.
4 ist ein Blockschaltbild einer exemplarischen Implementierung einer Vorrichtung zur LIDAR-Implementierung in einem Fahrzeug.
5 ist ein Blockdiagramm einer exemplarischen Implementierung eines Verfahrens zur LIDAR-Implementierung in einem Fahrzeug.
6 stellt eine exemplarische Ausführungsform eines vorgeschlagenen VCSEL-Arrays für ein verbessertes LiDAR-Scannen dar.
7 stellt eine exemplarische grafische Darstellung der Erkennung eines einfallenden Strahls dar.

Die hierin dargestellten Beispiele zeigen bevorzugte Ausführungsformen der Erfindung, und solche Beispiele sollen in keiner Weise als einschränkend für den Umfang der Erfindung ausgelegt werden.
AUSFÜHRLICHE BESCHREIBUNG
Die folgende ausführliche Beschreibung ist ihrer Art nach lediglich exemplarisch und soll die Offenbarung oder die Anwendung und Verwendungen derselben in keiner Weise einschränken. Darüber hinaus besteht keinerlei Verpflichtung zur Einschränkung auf eine der im vorstehenden Hintergrund oder in der folgenden ausführlichen Beschreibung dargestellten Theorien. So hat z. B. der LIDAR-Sensor der vorliegenden Erfindung einen besonderen Anwendungszweck zur Verwendung an einem Fahrzeug. Jedoch kann der LIDAR-Sensor der Erfindung, wie Fachleute auf dem Gebiet erkennen werden, auch andere Anwendungsmöglichkeiten besitzen.
Moderne Fahrzeuge beinhalten manchmal verschiedene aktive Sicherheits- und Steuersysteme, wie Zusammenstoß-Vermeidungssysteme, adaptive Fahrgeschwindigkeits-Regelungssysteme, Spurhaltungssysteme, Fahrspurzentrierungs-Systeme usw., bei denen die Fahrzeugtechnik sich in Richtung halbautonom und vollständig autonom gefahrene Fahrzeuge bewegt. So sind z. B. Zusammenstoß-Vermeidungssysteme im Fachbereich dafür bekannt, dass sie eine automatische Fahrzeugsteuerung bereitstellen, wie z. B. Bremsen, wenn ein potenzieller Zusammenstoß mit einem anderen Fahrzeug oder Objekt erkannt wird, und sie können auch eine Warnung ausgeben, so dass der Fahrer entsprechende Korrekturmaßnahmen einleiten kann, um die Kollision zu vermeiden. Adaptive Fahrgeschwindigkeits-Regelungssysteme sind ebenfalls dafür bekannt, dass sie mit einem nach vorn gerichteten Sensor ausgestattet sind, der eine automatische Fahrgeschwindigkeitsregelung und/oder Bremsen bereitstellt, wenn sich das gegenständliche Fahrzeug einem anderen Fahrzeug nähert. Die Objekterfassungssensoren für diese Arten von Systemen können irgendeine von einer Anzahl an Technologien verwenden, wie Kurzstreckenradar, Langstreckenradar, Kameras mit Bildverarbeitung, Laser oder LiDAR, Ultraschall usw. Die Objekterfassungssensoren detektieren Fahrzeuge und andere Objekte im Weg eines Subjektfahrzeugs, und die Anwendungssoftware verwendet die Objekterfassungsinformationen, um Warnungen oder Maßnahmen vorzusehen, wie es angemessen ist.
LiDAR-Sensoren werden manchmal in Fahrzeugen eingesetzt, um Objekte und ihre Ausrichtung und Distanz zum Fahrzeug zu erkennen und Reflexionen von den Objekten in Form von multiplen Abtastpunkten bereitzustellen, die zusammen eine Karte von einem Bereich der Punktwolke (Cluster) bilden, auf der für jedes ½° über das gesamte Sichtfeld des Sensors ein separater Abtastpunkt bereitgestellt wird. Wenn daher ein Zielfahrzeug oder ein anderes Objekt vor dem eigenen Fahrzeug erfasst wird, können mehrere Abtastpunkte zurückgegeben werden, die die Entfernung des Zielfahrzeugs von dem betreffenden Fahrzeug identifizieren. Durch die Bereitstellung eines Abtastrückgabepunkt-Clusters können Objekte mit den unterschiedlichsten und willkürlichsten Formen, wie LKW, Anhänger, Fahrräder, Fußgänger, Leitplanken usw., besser erfasst werden. Dabei werden die Objekte umso besser erfasst, je größer bzw. näher sie am betreffenden Fahrzeug sind, da dann mehr Abtastpunkte bereitgestellt werden.
Die meisten bekannten LiDAR-Sensoren verwenden einen einzelnen Laser und einen schnell rotierenden Spiegel zur Erzeugung einer dreidimensionalen Punktwolke von Reflexionen oder Rückgabepunkten, die das Fahrzeug umgeben. Wenn sich der Spiegel dreht, gibt der Laser Lichtimpulse ab und der Sensor misst die Zeit, die der Lichtimpuls benötigt, um reflektiert und von Objekten in seinem Sichtfeld zurückgesendet zu werden, um die Entfernung zu den Objekten zu ermitteln, die im Fachbereich als Laufzeitmessungen bekannt sind. Durch sehr schnelles Pulsen des Lasers kann ein dreidimensionales Objektbild im Sichtfeld des Sensors erzeugt werden. Es können mehrere Sensoren eingesetzt werden und die Bilder von diesen können korreliert werden, um ein dreidimensionales Bild jener Objekte zu erzeugen, die das Fahrzeug umgeben.
Ein Nachteil der meisten bekannten LiDAR-Sensoren ist die endliche Winkelrasterauflösung. Der LiDAR ist dazu in der Lage, den Laser in diskreten Winkeln um das Fahrzeug herum zu pulsieren. Wenn der Laser beispielsweise mit einer Winkelauflösung von 0,5 Grad bei 50 Metern gepulst wird, beträgt der Abstand des Sichtfeldes etwa 0,5 Meter. Bei einem LiDAR in einer autonomen Fahrzeuganwendung kann ein Zielfahrzeug nur einen oder zwei der gesendeten Laserpulse reflektieren. Einige wenige Treffer eines Zielobjekts in großer Entfernung können unzureichende Informationen über die Objektgrenzen liefern. Es wäre wünschenswert, die Oberflächenlänge und die Winkelausrichtung jedes Trefferpunkts zu schätzen und zusätzliche Objektinformationen zu erhalten.
1 veranschaulicht schematisch eine Betriebsumgebung, die ein mobiles Fahrzeugkommunikations- und Steuersystem 10 für ein Kraftfahrzeug 12 umfasst. Das Kommunikations- und Steuersystem 10 für das Fahrzeug 12 beinhaltet im Allgemeinen ein oder mehrere Drahtlosträgersysteme 60, ein Festnetz 62, einen Computer 64, eine vernetzte drahtlose Vorrichtung 57, einschließlich, aber nicht beschränkt auf ein Smartphone, Tablet oder eine tragbare Vorrichtung, wie beispielsweise eine Uhr, und eine Fernzugriffszentrale 78.
Das Fahrzeug 12, das in 1 schematisch dargestellt ist, beinhaltet ein Antriebssystem 13, das in verschiedenen Ausführungsformen einen Verbrennungsmotor, eine Elektromaschine, wie z. B. einen Traktionsmotor und/oder ein Brennstoffzellenantriebssystem, beinhalten kann. Das Fahrzeug 12 ist in der dargestellten Ausführungsform als Pkw dargestellt, es ist jedoch zu beachten, dass jedes andere Fahrzeug, einschließlich Motorräder, Lastwagen, Geländelimousinen (SUVs), Wohnmobile (RVs), Wasserfahrzeuge, Luftfahrzeuge usw. ebenfalls verwendet werden kann.
Das Fahrzeug 12 beinhaltet zudem ein Getriebe 14, das so konfiguriert ist, dass es Leistung von dem Antriebssystem 13 auf eine Vielzahl von Fahrzeugrädern 15 gemäß wählbaren Drehzahlverhältnissen überträgt. Nach verschiedenen Ausführungsformen kann das Getriebe 14 ein Stufenverhältnis-Automatikgetriebe, ein stufenlos verstellbares Getriebe oder ein anderes geeignetes Getriebe beinhalten. Das Fahrzeug 12 beinhaltet zusätzlich Radbremsen 17, die so konfiguriert sind, dass sie ein Bremsmoment an die Fahrzeugräder 15 liefern. Die Radbremsen 17 können in verschiedenen Ausführungsformen Reibungsbremsen, ein regeneratives Bremssystem, wie z. B. eine Elektromaschine und/oder andere geeignete Bremssysteme, beinhalten.
Das Fahrzeug 12 beinhaltet zudem ein Lenksystem 16. Während in einigen Ausführungsformen innerhalb des Umfangs der vorliegenden Offenbarung zur Veranschaulichung als ein Lenkrad dargestellt, kann das Lenksystem 16 kein Lenkrad beinhalten.
Das Fahrzeug 12 beinhaltet ein drahtloses Kommunikationssystem 28, das dazu konfiguriert ist, drahtlos mit anderen Fahrzeugen („V2V“) und/oder Infrastruktur („V2I“) zu kommunizieren. In einer exemplarischen Ausführungsform ist das drahtlose Kommunikationssystem 28 konfiguriert, um über ein drahtloses lokales Netzwerk (WLAN) unter Verwendung des IEEE 802.11-Standards oder mittels einer mobilen Datenkommunikation zu kommunizieren. Im Geltungsbereich der vorliegenden Offenbarung werden jedoch auch zusätzliche oder alternative Kommunikationsverfahren, wie beispielsweise ein dedizierter Nahbereichskommunikations-(DSRC)-Kanal, berücksichtigt. DSRC-Kanäle beziehen sich auf Einweg- oder Zweiwege-Kurzstrecken- bis Mittelklasse-Funkkommunikationskanäle, die speziell für den Automobilbau und einen entsprechenden Satz von Protokollen und Standards entwickelt wurden.
Das Antriebssystem 13, das Getriebe 14, das Lenksystem 16 und die Radbremsen 17 stehen mit oder unter der Steuerung von mindestens einer Steuereinheit 22 in Verbindung. Obgleich zu Veranschaulichungszwecken als eine einzige Einheit dargestellt, kann die Steuereinheit 22 zusätzlich eine oder mehrere andere „Steuereinheiten“ beinhalten. Die Steuerung 22 kann einen Mikroprozessor, wie beispielsweise eine zentrale Verarbeitungseinheit (CPU) oder eine grafische Verarbeitungseinheit (GPU), beinhalten, die mit verschiedenen Arten von computerlesbaren Speichervorrichtungen oder Medien in Verbindung steht. Computerlesbare Speichergeräte oder Medien können flüchtige und nichtflüchtige Speicher in einem Nur-Lese-Speicher (ROM), einem Speicher mit direktem Zugriff (RAM) und einem Aufrechterhaltungsspeicher („Keep-Alive-Memory, KAM“) beinhalten. KAM ist ein persistenter oder nichtflüchtiger Speicher, der verwendet werden kann, um verschiedene Betriebsvariablen zu speichern, während die CPU ausgeschaltet ist. Computerlesbare Speichergeräte oder Medien können unter Verwendung einer beliebigen Anzahl an bekannten Speichergeräten, wie beispielsweise PROMs (programmierbarer Nur-Lese-Speicher), EPROMs (elektrische PROM), EEPROMs (elektrisch löschbarer PROM), Flash-Speicher oder beliebigen anderen elektrischen, magnetischen, optischen oder kombinierten Speichergeräten implementiert sein, die Daten speichern können, von denen einige ausführbare Anweisungen darstellen, die von der Steuereinheit 22 beim Steuern des Fahrzeugs verwendet werden.
Die Steuereinheit 22 beinhaltet ein automatisiertes Antriebssystem (ADS) 24 zum automatischen Steuern verschiedener Stellglieder im Fahrzeug. In einer exemplarischen Ausführungsform ist das ADS 24 ein sogenanntes Level-Vier- oder Level-Fünf-Automatisierungssystem. In verschiedenen Ausführungsformen erzeugt das autonome Fahrsystem ein Notrufsignal und sendet das Notrufsignal an ein Kommunikationssystem, nachdem das Fahrzeug in den vorbestimmten Zustand gebracht wurde und wenn das Bedienerunfähigkeitsauslösesignal noch für eine vorbestimmte Zeitdauer vorhanden ist oder falls der Bediener nicht innerhalb der vorbestimmten Zeitdauer reagiert. Ein Level-Fünf-System zeigt eine „Vollautomatisierung“ an und verweist auf die Vollzeitleistung eines automatisierten Fahrsystems aller Aspekte der dynamischen Fahraufgabe unter allen Fahrbahn- und Umgebungsbedingungen, die von einem menschlichen Fahrer verwaltet werden können. In einer exemplarischen Ausführungsform ist das ADS 24 so konfiguriert, dass es das Antriebssystem 13, das Getriebe 14, das Lenksystem 16 und die Radbremsen 17 steuert, um die Fahrzeugbeschleunigung, das Lenken und das Bremsen ohne menschliches Eingreifen über eine Vielzahl von Stellgliedern 30 in Reaktion auf Eingaben von einer Vielzahl von Sensoren 26, wie z. B. GPS, RADAR, LIDAR, optischen Kameras, thermischen Kameras, Ultraschallsensoren und/oder zusätzlichen Sensoren, zu steuern.
1 veranschaulicht mehrere vernetzte Geräte, die mit dem drahtlosen Kommunikationssystem 28 des Fahrzeugs 12 kommunizieren können. Eines der vernetzten Geräte, das über das drahtlose Kommunikationssystem 28 mit dem Fahrzeug 12 kommunizieren kann, ist das drahtlose vernetzte Gerät 57. Das drahtlose vernetzte Gerät 57 kann eine Computerverarbeitungsfähigkeit, einen Sender-Empfänger, der mit einem drahtlosen Nahbereichsprotokoll kommunizieren kann, und eine visuelle Anzeige 59 beinhalten. Die Computerverarbeitungsfähigkeit beinhaltet einen Mikroprozessor in Form einer programmierbaren Vorrichtung, die eine oder mehrere in einer internen Speicherstruktur gespeicherte Befehle beinhaltet und angewendet wird, um binäre Eingaben zu empfangen und binäre Ausgaben zu erzeugen. In einigen Ausführungsformen beinhaltet das drahtlose vernetzte Gerät 57 ein GPS-Modul, das GPS-Satellitensignale empfangen und GPS-Koordinaten basierend auf diesen Signalen erzeugen kann. In weiteren Ausführungsformen beinhaltet das drahtlose vernetzte Gerät 57 eine Mobilfunk-Kommunikationsfunktionalität, wodurch das drahtlose vernetzte Gerät 57, wie hierin erläutert, Sprach- und/oder Datenkommunikationen über das Mobilfunkanbietersystem 60 unter Verwendung eines oder mehrerer Mobilfunk-Kommunikationsprotokolle durchführt. Die visuelle Anzeige 59 kann zudem einen Berührungsbildschirm als grafische Benutzeroberfläche beinhalten.
Das Mobilfunkanbietersystem 60 ist vorzugsweise ein Mobiltelefonsystem, das eine Vielzahl von Mobilfunktürmen 70 (nur einer dargestellt), eine oder mehrere Mobilvermittlungsstellen (MSCs) 72, sowie alle anderen Netzwerkkomponenten beinhaltet, die zum Verbinden des Mobilfunkanbietersystems 60 mit dem Festnetz 62 erforderlich sind. Jeder Mobilfunkturm 70 beinhaltet Sende- und Empfangsantennen und eine Basisstation, wobei die Basisstationen von unterschiedlichen Mobilfunktürmen mit der MSC 72 entweder direkt oder über zwischengeschaltete Geräte, wie z. B. eine Basisstationssteuereinheit, verbunden sind. Das Drahtlosträgersystem 60 kann jede geeignete Kommunikationstechnologie implementieren, beispielsweise digitale Technologien, wie CDMA (z. B. CDMA2000), LTE (z. B. 4G LTE oder 5G LTE), GSM/GPRS oder andere aktuelle oder neu entstehende drahtlose Technologien. Andere Mobilfunkturm/Basisstation/MSC-Anordnungen sind möglich und könnten mit dem Mobilfunkanbietersystem 60 verwendet werden. So könnten sich beispielsweise die Basisstation und der Mobilfunkturm an derselben Stelle oder entfernt voneinander befinden, jede Basisstation könnte für einen einzelnen Mobilfunkturm zuständig sein oder eine einzelne Basisstation könnte verschiedene Mobilfunktürme bedienen, oder verschiedene Basisstationen könnten mit einer einzigen MSC gekoppelt werden, um nur einige der möglichen Anordnungen zu nennen.
Abgesehen vom Verwenden des Mobilfunkanbietersystems 60 kann ein unterschiedliches Mobilfunkanbietersystem in der Form von Satellitenkommunikation verwendet werden, um unidirektionale oder bidirektionale Kommunikation mit dem Fahrzeug 12 bereitzustellen. Dies kann unter Verwendung von einem oder mehreren Kommunikationssatelliten 66 und einer Uplink-Sendestation 67 erfolgen. Bei der unidirektionalen Kommunikation kann es sich beispielsweise um Satellitenradiodienste handeln, worin die Programmierinhalte (Nachrichten, Musik usw.) von der Sendestation 67 empfangen, für das Hochladen gepackt und anschließend an den Satelliten 66 gesendet wird, der die Programmierung an die Teilnehmer ausstrahlt. Bei der bidirektionalen Kommunikation kann es sich beispielsweise um Satellitentelefondienste handeln, die den Satelliten 66 verwenden, um Telefonkommunikationen zwischen dem Fahrzeug 12 und der Station 67 weiterzugeben. Die Satellitentelefonie kann entweder zusätzlich oder anstelle des Mobilfunkanbietersystems 60 verwendet werden.
Das Festnetz 62 kann ein herkömmliches landgebundenes Telekommunikationsnetzwerk sein, das mit einem oder mehreren Festnetztelefonen verbunden ist und das Mobilfunkanbietersystem 60 mit der Fernzugriffszentrale 78 verbindet. So kann beispielsweise das Festnetz 62 ein öffentliches Telekommunikationsnetz (PSTN) beinhalten, wie es beispielsweise verwendet wird, um fest verdrahtete Telefonie, paketvermittelte Datenkommunikationen und die Internetinfrastruktur bereitzustellen. Ein oder mehrere Segmente des Festnetzes 62 könnten durch Verwenden eines normalen drahtgebundenen Netzwerks, eines Lichtleiter- oder eines anderen optischen Netzwerks, eines Kabelnetzes, von Stromleitungen, anderen drahtlosen Netzwerken, wie z. B. drahtlosen lokalen Netzwerken (WLANs) oder Netzwerken, die drahtlosen Breitbandzugang (BWA) bereitstellen oder einer Kombination derselben implementiert sein. Weiterhin muss die Fernzugriffszentrale 78 nicht über das Festnetz 62 verbunden sein, sondern könnte Funktelefonausrüstung beinhalten, sodass sie direkt mit einem drahtlosen Netzwerk, wie z. B. dem Mobilfunkanbietersystem 60, kommunizieren kann.
Obgleich in 1 als ein einziges Gerät dargestellt, kann der Computer 64 eine Anzahl an Computern beinhalten, die über ein privates oder öffentliches Netzwerk, wie z. B. das Internet, zugänglich sind. Jeder Computer 64 kann für einen oder mehrere Zwecke verwendet werden. In einer exemplarischen Ausführungsform kann der Computer 64 als ein Webserver konfiguriert sein, der durch das Fahrzeug 12 über das drahtlose Kommunikationssystem 28 und den Mobilfunkanbieter 60 zugänglich ist. Zu anderen derart zugänglichen Computern 64 können beispielsweise gehören: ein Computer in einer Reparaturwerkstatt, der Diagnoseinformationen und andere Fahrzeugdaten vom Fahrzeug über das drahtlose Kommunikationssystem 28 oder einen Speicherort eines Drittanbieters hochgeladen werden können oder aus welchem Fahrzeugdaten oder sonstigen Informationen, entweder durch Kommunikation mit dem Fahrzeug 12, der Fernzugriffszentrale 78, dem drahtlosen vernetzten Gerät 57 oder einer Kombination aus diesen bereitgestellt werden. Der Computer 64 kann eine durchsuchbare Datenbank und ein Datenbankverwaltungssystem instandhalten, das die Eingabe, Löschung und Änderung von Daten, sowie den Empfang von Anfragen ermöglicht, um Daten innerhalb der Datenbank zu lokalisieren. Der Computer 64 kann zudem für die Bereitstellung von Internetverbindungen, wie z. B. DNS-Diensten, oder als Netzwerkadressenserver verwendet werden, der DHCP oder ein anderes geeignetes Protokoll verwendet, um dem Fahrzeug 12 eine IP-Adresse zuzuweisen.
Die Fernzugriffszentrale 78 ist konzipiert, um das drahtlose Kommunikationssystem 28 des Fahrzeugs 12 mit einer Vielzahl von unterschiedlichen Systemfunktionen bereitzustellen, und beinhaltet nach der in 1 gezeigten exemplarischen Ausführungsform im Allgemeinen einen oder mehrere Switches 80, Server 82, Datenbanken 84, Live-Berater 86 sowie ein automatisiertes Sprachausgabesystem (VRS) 88. Diese verschiedenen Komponenten der Fernzugriffszentrale sind bevorzugt miteinander über ein verdrahtetes oder drahtloses lokales Netzwerk 90 gekoppelt. Der Switch 80, der als Nebenstellenanlagen (PBX)-Switch genutzt werden kann, leitet eingehende Signale weiter, sodass Sprachübertragungen gewöhnlich entweder zum Live-Berater 86 über das reguläre Telefon oder automatisiert zum Sprachausgabesystem 88 unter Verwendung von VoIP gesendet werden. Das Live-Berater-Telefon kann auch VoIP verwenden, wie durch die gestrichelte Linie in 1 angezeigt. VoIP und andere Datenkommunikation durch den Switch 80 werden über ein Modem (nicht dargestellt) implementiert, das zwischen dem Switch 80 und Netzwerk 90 verbunden ist. Datenübertragungen werden über das Modem an den Server 82 und/oder die Datenbank 84 weitergegeben. Die Datenbank 84 kann Kontoinformationen, wie beispielsweise Teilnehmerauthentisierungs-Informationen, Fahrzeugkennungen, Profildatensätze, Verhaltensmuster und andere entsprechende Teilnehmerinformationen, speichern. Datenübertragungen können zudem durch drahtlose Systeme, wie z. B. 802.11x, GPRS und dergleichen, erfolgen. Obwohl die veranschaulichte Ausführungsform beschrieben wurde, als ob sie in Verbindung mit einer bemannten Fernzugriffszentrale 78 verwendet werden würde, die den Live-Berater 86 einsetzt, ist es offensichtlich, dass die Fernzugriffszentrale stattdessen VRS 88 als einen automatisierten Berater verwenden kann, oder eine Kombination von VRS 88 und dem Live-Berater 86 verwendet werden kann.
Wie in 2 dargestellt, beinhaltet das ADS 24 mehrere verschiedene Steuersysteme, einschließlich mindestens eines Wahrnehmungssystems 32 zum Feststellen des Vorhandenseins, der Position, der Klassifizierung und der Bahn der erkannten Eigenschaften oder Objekte in der Nähe des Fahrzeugs. Das Wahrnehmungssystem 32 ist so konfiguriert, dass es Eingaben, wie beispielsweise in 1 veranschaulicht, von einer Vielzahl von Sensoren 26 empfängt und Sensoreingaben synthetisiert und verarbeitet, um Parameter zu erzeugen, die als Eingaben für andere Steueralgorithmen des ADS 24 verwendet werden.
Das Wahrnehmungssystem 32 beinhaltet ein Sensorfüsions- und Vorverarbeitungsmodul 34, das die Sensordaten 27 aus der Vielzahl der Sensoren 26 verarbeitet und synthetisiert. Das Sensorfüsions- und Vorverarbeitungsmodul 34 führt eine Kalibrierung der Sensordaten 27 durch, einschließlich, aber nicht beschränkt auf LIDAR-zu-LIDAR-Kalibrierung, Kamera-zu-LIDAR-Kalibrierung, LIDAR-zu-Chassis-Kalibrierung und LIDAR-Strahlintensitätskalibrierung. Das Sensorfusions- und Vorverarbeitungsmodul 34 gibt vorverarbeitete Sensorausgaben 35 aus.
Ein Klassifizierungs- und Segmentierungsmodul 36 empfängt die vorverarbeitete Sensorausgabe 35 und führt Objektklassifizierung, Bildklassifizierung, Ampelklassifizierung, Objektsegmentierung, Bodensegmentierung und Objektverfolgungsprozesse durch. Die Objektklassifizierung beinhaltet, ist aber nicht beschränkt auf die Identifizierung und Klassifizierung von Objekten in der Umgebung, einschließlich Identifizierung und Klassifizierung von Verkehrssignalen und -zeichen, RADAR-Fusion und -verfolgung, um die Platzierung und das Sichtfeld (FoV) des Sensors und die falsche positive Ablehnung über die LIDAR-Fusion zu berücksichtigen, um die vielen falschen Positiven zu beseitigen, die in einer städtischen Umgebung existieren, wie zum Beispiel Schachtabdeckungen, Brücken, in die Fahrbahn ragende Bäume oder Lichtmasten und andere Hindernisse mit einem hohen RADAR-Querschnitt, die aber nicht die Fähigkeit des Fahrzeugs beeinflussen, entlang seines Kurses zu fahren. Zusätzliche Objektklassifizierungs- und Verfolgungsprozesse, die durch das Klassifizierungs- und Segmentierungsmodell 36 durchgeführt werden, beinhalten, sind aber nicht beschränkt auf Freespace-Erkennung und High-Level-Tracking, die Daten von RADAR-Spuren, LIDAR-Segmentierung, LIDAR-Klassifizierung, Bildklassifizierung, Objektform-Passmodellen, semantischen Informationen, Bewegungsvorhersage, Rasterkarten, statischen Hinderniskarten und andere Quellen verschmelzen, um qualitativ hochwertige Objektspuren zu erzeugen.
Das Klassifizierungs- und Segmentierungsmodul 36 führt zusätzlich eine Verkehrssteuerungs-Klassifizierungs- und Verkehrssteuerungsvorrichtungsverschmelzung mit Spurassoziations- und Verkehrssteuerungsvorrichtungsverhaltensmodellen durch. Das Klassifizierungs- und Segmentierungsmodul 36 erzeugt eine Objektklassifizierungs- und Segmentierungsausgabe 37, die eine Objektidentifikationsinformation enthält.
Ein Lokalisierungs- und Abbildungsmodul 40 verwendet die Objektklassifizierungs- und Segmentierungsausgabe 37, um Parameter zu berechnen, einschließlich, aber nicht beschränkt auf Schätzungen der Position und Orientierung des Fahrzeugs 12 in sowohl typischen als auch anspruchsvollen Antriebsszenarien. Zu diesen anspruchsvollen Antriebsszenarien gehören unter anderem dynamische Umgebungen mit vielen Autos (z. B. dichter Verkehr), Umgebungen mit großflächigen Obstruktionen (z. B. Fahrbahnbaustellen oder Baustellen), Hügel, mehrspurige Straßen, einspurige Straßen, eine Vielzahl von Straßenmarkierungen und Gebäuden oder deren Fehlen (z. B. Wohn- und Geschäftsbezirke) und Brücken und Überführungen (sowohl oberhalb als auch unterhalb eines aktuellen Straßensegments des Fahrzeugs).
Das Lokalisierungs- und Abbildungsmodul 40 enthält auch neue Daten, die als Ergebnis von erweiterten Kartenbereichen erfasst werden, die durch fahrzeugeigene Abbildungsfunktionen erhalten werden, die durch das Fahrzeug 12 während des Betriebs ausgeführt werden, und Kartierungsdaten, die über das drahtlose Kommunikationssystem 28 an das Fahrzeug 12 „geschoben“ werden. Das Lokalisierungs- und Abbildungsmodul 40 aktualisiert die vorherigen Kartendaten mit den neuen Informationen (z. B. neue Spurmarkierungen, neue Gebäudestrukturen, Hinzufügen oder Entfernen von Baustellenzonen usw.), während unbeeinflusste Kartenbereiche unverändert bleiben. Beispiele von Kartendaten, die erzeugt oder aktualisiert werden können, beinhalten, sind aber nicht beschränkt auf die Ausweichspurkategorisierung, die Spurgrenzerzeugung, die Spurverbindung, die Klassifizierung von Neben- und Hauptstraßen, die Klassifizierung der Links- und Rechtskurven und die Kreuzungsspurerstellung.
In einigen Ausführungsformen verwendet das Lokalisierungs- und Abbildungsmodul 40 Simultanlokalisierungs- und Abbildungs-(„SLAM“)-Techniken, um Karten der Umgebung zu entwickeln. SLAM ist die Abkürzung für simultane Fehlerlokalisierung und Kartierung. SLAM-Techniken konstruieren eine Karte einer Umgebung und verfolgen die Position eines Objekts innerhalb der Umgebung. GraphSLAM, eine Variante von SLAM, verwendet sparsame Matrizen, die zum Erstellen eines Graphen mit Beobachtungsabhängigkeiten verwendet werden.
Die Objektposition innerhalb einer Karte wird durch eine Gaußsche Wahrscheinlichkeitsverteilung dargestellt, die sich um den vorhergesagten Pfad des Objekts zentriert. SLAM verwendet in seiner einfachsten Form drei Einschränkungen: eine anfängliche Standortbeschränkung; eine relative Bewegungseinschränkung, die der Pfad des Objekts ist; und eine relative Messeinschränkung, die eine oder mehrere Messungen eines Objekts zu einer Landmarke ist.
Die anfängliche Bewegungseinschränkung ist die Ausgangsposition (z. B. Position und Orientierung) des Fahrzeugs, die sich aus der Position des Fahrzeugs im zweidimensionalen oder dreidimensionalen Raum einschließlich Neigungs-, Drehungs- und Gierdaten zusammensetzt. Die relative Bewegungseinschränkung ist die Verschiebung des Objektes, die eine gewisse Flexibilität zur Anpassung an die Kartenkonsistenz enthält. Die relative Messeinschränkung beinhaltet eine oder mehrere Messungen von den Objektsensoren bis zu einer Landmarke. Die anfängliche Positionsbeschränkung, die relative Bewegungseinschränkung und die relative Messeinschränkung sind typischerweise Gaußsche Wahrscheinlichkeitsverteilungen. Objektortungsverfahren innerhalb einer sensorerzeugten Karte verwenden typischerweise Kalman-Filter, verschiedene statistische Korrelationsverfahren wie die Pearson-Produkt-Moment-Korrelation und/oder Partikelfilter.
In einigen Ausführungsformen wird nach dem Erstellen einer Karte die Fahrzeuglokalisierung in Echtzeit über einen Partikelfilter erreicht. Partikelfilter sind im Gegensatz zu Bayes- oder Kalman-Filtern für nichtlineare Systeme geeignet. Zur Ortung eines Fahrzeugs werden Partikel um einen erwarteten Mittelwert über eine Gaußsche Wahrscheinlichkeitsverteilung erzeugt. Jedem Partikel wird ein nummerisches Gewicht zugeordnet, das die Genauigkeit der Partikelposition zur vorhergesagten Position repräsentiert. Die Sensordaten werden berücksichtigt und die Partikelgewichte den Sensordaten angepasst. Je enger die Annäherung des Partikels an die eingestellte Position des Sensors ist, desto größer ist der nummerische Wert der Partikelgewichte.
Sobald ein Aktionsbefehl auftritt, wird jedes Partikel an eine neue vorhergesagte Position aktualisiert. Die Sensordaten werden an der neuen vorhergesagten Position beobachtet und jedem Partikel wird ein neues Gewicht zugewiesen, das die Genauigkeit der Partikelposition in Bezug auf die vorhergesagte Position und die Sensordaten angibt. Die Partikel werden neu abgetastet, wobei die Gewichte mit der größten nummerischen Größe ausgewählt werden, was die Genauigkeit der vorhergesagten und sensorkorrigierten Objektposition erhöht. Typischerweise ergibt sich aus Mittelwert, Varianz und Standardabweichung der neu abgetasteten Daten die Wahrscheinlichkeit einer neuen Objektposition.
Die Verarbeitung des Partikelfilters wird ausgedrückt als: $P (H_{t} | H_{t - 1}, A_{t}, D_{t})$
wobei H_t die aktuelle Hypothese ist, welche die Objektposition ist. H_t-1 ist die vorhergehende Objektposition, A_t ist die Handlung, die typischerweise ein Motorbefehl ist, und D_t sind die beobachtbaren Daten.
In einigen Ausführungsformen behält das Lokalisierungs- und Abbildungsmodul 40 eine Schätzung der globalen Position des Fahrzeugs bei, indem es Daten aus mehreren Quellen einbezieht, wie zuvor in einem erweiterten Kalman-Filter (EKF)-Framework erläutert. Kalman-Filter sind lineare Filter, die auf rekursiven Bayes'schen Filtern basieren. Rekursive Bayes'sche Filter, die auch als Rekursive Bayes'sche Schätzung bezeichnet werden, ersetzen im Wesentlichen das Posterior einer Schätzung in die vorherige Position, um ein neues Posterior auf einer neuen Iteration der Schätzung zu berechnen. Dies ergibt effektiv: $P (H_{t} | H_{t - 1}, D_{t})$
wobei die Wahrscheinlichkeit einer Hypothese H_t durch die Hypothese bei der vorhergehenden Iteration H_t-l und die Daten D_t zur aktuellen Zeit t bewertet wird.
Ein Kalman-Filter fügt eine Aktionsvariable A_t hinzu, wobei t eine Zeit-Iteration ist, woraus sich ergibt: $P (H_{t} | H_{t - 1}, A_{t}, D_{t})$
wobei die Wahrscheinlichkeit einer Hypothese H_t auf der vorhergehenden Hypothese H_t-l, einer Handlung A_t, und der Daten D_t zum gegenwärtigen Zeitpunkt t basiert.
Ein Kalman-Filter, in der Robotik verbreitet genutzt, schätzt eine aktuelle Position, die eine gemeinsame Wahrscheinlichkeitsverteilung ist und basierend auf einem Aktionsbefehl eine neue Position voraussagt, die auch eine gemeinsame Wahrscheinlichkeitsverteilung ist, die auch als Zustandsvorhersage bezeichnet wird. Es werden Sensordaten erfasst und eine getrennte gemeinsame Wahrscheinlichkeitsverteilung berechnet, die als Sensorvorhersage bezeichnet wird.
Die Zustandsvorhersage wird ausgedrückt als: $X_{t}^{'} = A X_{t - 1} + B μ + ε_{t}$
wobei X'_t ein neuer Zustand ist, der auf dem vorherigen Zustand AX_t-l, Bµ und ξ_t basiert. Die Konstanten A und B sind von der Physik des Interesses bestimmt, wobei µ der Befehl des Robotermotors sein kann und ξ_t eine Gauß'sche Zustandsfehlervorhersage ist.
Die Sensorvorhersage wird ausgedrückt als: $Z_{t}^{'} = C X_{t} + ε_{z}$
wobei Z'_t der neue Sensorschätzwert, C eine Funktion und ξ_z eine Gauß'sche Sensorfehlervorhersage ist.
Eine neue Schätzung des vorhergesagten Zustandes wird ausgedrückt als: $X_{E S T} = X_{t}^{'} + K (Z_{t} - Z_{t}^{'})$
wobei das Produkt K(Z_t - Z'_t) als Kaiman-Verstärkungsfaktor bezeichnet wird. Wenn der Unterschied zwischen der Sensorvorhersage Z'_t und den tatsächlichen Sensordaten Z_t ist. (das heißt wenn Z_t - Z'_t) relativ annähernd Null ist, dann gilt X'_t als die neue Zustandsschätzung. Wenn Z_t - Z'_t relativ größer als Null ist, wird der K(Z_t - Z'_t) Faktor hinzugefügt, um eine neue Zustandsschätzung zu erhalten.
Sobald die Fahrzeugbewegungsinformationen empfangen werden, aktualisiert das EKF die Fahrzeugpositionsschätzung und erweitert gleichzeitig die geschätzte Kovarianz. Sobald die Sensorkovarianz in das EKF integriert ist, erzeugt das Lokalisierungs- und Abbildungsmodul 40 einen Lokalisierungs- und Abbildungsausgang 41, der die Position und Orientierung des Fahrzeugs 12 in Bezug auf erfasste Hindernisse und Straßenmerkmale beinhaltet.
Ein Fahrzeug-Odometrie-Modul 46 empfängt Daten 27 von den Fahrzeugsensoren 26 und erzeugt eine Fahrzeug-Odometrie-Ausgabe 47, die beispielsweise Fahrzeugkurs- und Geschwindigkeits- und Entfernungsinformationen beinhaltet. Ein absolutes Positionierungsmodul 42 empfängt die Lokalisierungs- und Abbildungsausgabe 41 und die Fahrzeug-Odometrieinformation 47 und erzeugt eine Fahrzeugpositionsausgabe 43, die in getrennten Berechnungen verwendet wird, wie unten erörtert wird.
Ein Objektvorhersagemodul 38 verwendet die Objektklassifizierungs- und Segmentierungsausgabe 37, um Parameter zu erzeugen, einschließlich, aber nicht beschränkt auf eine Position eines erkannten Hindernisses relativ zum Fahrzeug, einen vorhergesagten Weg des erkannten Hindernisses relativ zum Fahrzeug und eine Position und Orientierung der Fahrbahnen relativ zum Fahrzeug. Bayes'sche Modelle können in einigen Ausführungsformen verwendet werden, um die Absicht eines Fahrers oder Fußgängers basierend auf semantischen Informationen, vorheriger Trajektorien und unmittelbarer Pose vorherzusagen, wobei die Pose die Kombination von Position und Orientierung eines Objekts ist.
Der Bayes'sche Satz, in der Robotik verbreitet genutzt, auch als Bayes'scher Filter bezeichnet, ist eine Form der bedingten Wahrscheinlichkeit. Der Bayes'sche Satz, nachfolgend in Gleichung 7 dargestellt, enthält die These, dass die Wahrscheinlichkeit einer Hypothese H mit Daten D gleich der Wahrscheinlichkeit einer Hypothese H mal die Wahrscheinlichkeit der Daten D mit der Hypothese H ist, dividiert durch die Wahrscheinlichkeit der Daten P (D). $P (H | D) = \frac{P (H) P (D | H)}{P (D)}$
P(H/D) wird als Posterior bezeichnet und P(H) wird als Prior bezeichnet. Der Bayes'sche Satz misst einen Wahrscheinlichkeitsgrad der Überzeugung in einem Satz vor (dem Vorherigen) und nach (dem Nachfolgenden), wobei in Anbetracht der in den Daten enthaltenen Beweisen D. Bayes' Satz bei der Iteration rekursiv verwendet werden kann. Bei jeder neuen Iteration wird der vorherige Posterior zu dem vorhergehenden, um einen neuen Posterior zu erzeugen, bis die Iteration abgeschlossen ist. Daten über den vorhergesagten Weg von Objekten (einschließlich Fußgänger, umliegende Fahrzeuge und andere bewegte Objekte) werden als Objektvorhersageausgabe 39 ausgegeben und in getrennten Berechnungen verwendet, wie unten erörtert wird.
Das ADS 24 beinhaltet auch ein Beobachtungsmodul 44 und ein Interpretationsmodul 48. Das Beobachtungsmodul 44 erzeugt eine Beobachtungsausgabe 45, die vom Interpretationsmodul 48 empfangen wird. Das Beobachtungsmodul 44 und das Interpretationsmodul 48 erlauben den Zugriff durch die Fernzugriffszentrale 78. Ein Live-Experte oder Berater, z. B. der in 1 dargestellte Berater 86 kann optional die Objektvorhersageausgabe 39 überprüfen und zusätzliche Eingabe- und/oder Übersteuerungsautomatik-Fahrvorgänge bereitstellen und den Betrieb des Fahrzeugs annehmen, falls dies durch eine Fahrzeugsituation gewünscht oder erforderlich ist. Das Beobachtungs- und Interpretationsmodul 48 erzeugt eine interpretierte Ausgabe 49, die eine zusätzliche Eingabe durch den Live-Experten beinhaltet, falls vorhanden.
Ein Wegplanungsmodul 50 verarbeitet und synthetisiert die Objektvorhersageausgabe 39, die interpretierte Ausgabe 49 und zusätzliche Kursinformationen 79, die von einer Online-Datenbank oder der Fernzugriffszentrale 78 empfangen werden, um einen Fahrzeugweg zu ermitteln, der verfolgt werden soll, um das Fahrzeug unter Beachtung der Verkehrsgesetze und Vermeidung von erkannten Hindernissen auf dem gewünschten Kurs zu halten. Das Wegplanungsmodul 50 verwendet Algorithmen, die konfiguriert sind, um beliebige erkannte Hindernisse in der Nähe des Fahrzeugs zu vermeiden, das Fahrzeug in einer gegenwärtigen Fahrspur zu halten und das Fahrzeug auf dem gewünschten Kurs zu halten. Das Wegplanungsmodul 50 nutzt Positions-Graph-Optimierungstechniken, einschließlich der nichtlinearen kleinstquadratischen Positions-Graph-Optimierung, um die Karte der Fahrzeugtrajektorien in sechs Freiheitsgraden zu optimieren und Wegfehler zu reduzieren. Das Wegplanungsmodul 50 gibt die Fahrzeugweginformationen als Wegplanungsausgabe 51 aus. Der Wegplanungsausgangswert 51 beinhaltet eine vorgegebene Fahrzeugroute auf der Grundlage der Route, eine Fahrzeugposition relativ zu der Route, Position und Orientierung der Fahrspuren und das Vorhandensein und den Weg erfasster Hindernisse.
Ein erstes Steuermodul 52 verarbeitet und synthetisiert die Wegplanungsausgabe 51 und die Fahrzeugpositionsausgabe 43 zum Erzeugen einer ersten Steuerausgabe 53. Das erste Steuermodul 52 enthält auch die Kursinformation 79, die von der Fernzugriffszentrale 78, im Falle einer Fernübernahmebetriebsart des Fahrzeugs bereitgestellt wird.
Ein Fahrzeugsteuermodul 54 empfängt die erste Steuerausgabe 53 sowie die Geschwindigkeits- und Kursinformation 47, die von der Fahrzeug-Odometrie 46 empfangen wird, und erzeugt einen Fahrzeugsteuerausgabe 55. Die Fahrzeugsteuerausgabe 55 beinhaltet einen Satz Stellgliedbefehle, um den befohlenen Weg vom Fahrzeugsteuermodul 54 zu erreichen, einschließlich, jedoch nicht beschränkt auf einen Lenkbefehl, einen Schaltbefehl, einen Drosselbefehl und einen Bremsbefehl.
Die Fahrzeugsteuerausgabe 55 wird an die Stellglieder 30 übermittelt. In einer exemplarischen Ausführungsform beinhalten die Stellglieder 30 eine Lenksteuerung, eine Schaltsteuerung, eine Drosselsteuerung und eine Bremssteuerung. Die Lenksteuerung kann beispielsweise ein Lenksystem 16 steuern, wie in 1 veranschaulicht. Die Gangschaltsteuerung kann beispielsweise ein Getriebe 14 steuern, wie in 1 veranschaulicht. Die Drosselklappensteuerung kann beispielsweise ein Antriebssystem 13 steuern, wie in 1 veranschaulicht. Die Bremssteuerung kann beispielsweise die Radbremsen 17 steuern, wie in 1 veranschaulicht.
Es versteht sich, dass das offenbarte Verfahren mit einer beliebigen Anzahl an unterschiedlichen Systemen verwendet werden kann und nicht speziell auf die hierin dargestellte Betriebsumgebung einschränkt ist. Die Architektur, der Aufbau, die Konfiguration und der Betrieb des Systems 10 und dessen einzelne Komponenten sind allgemein bekannt. Darüber hinaus können weitere hier nicht dargestellte Systeme ebenfalls die offenbarten Verfahren verwenden.
Nun zeigt 3 eine exemplarische Umgebung 300 zum Implementieren der vorliegenden offenbarten Systeme und Verfahren. Bei der darstellenden Ausführungsform fährt ein Fahrzeug 310 mit einem betriebsbereiten LIDAR-System. Das System hat einen Sender, der betriebsbereit ist und gepulstes Licht oder Laser 330 vom Fahrzeug 310 weg sendet. Ein Teil des gepulsten Lichts trifft an den Objekten 320 um das Fahrzeug herum ein und ein reflektiertes Signal wird an einen Empfänger am Fahrzeug zurückgesandt. Das Fahrzeug ist auch mit einem Prozessor ausgestattet, der das zurückgesendete Signal verarbeitet, um die Amplitude, Laufzeit und Phasenverschiebung unter anderen Merkmalen zu messen, um die Entfernung zu den Objekten 320, sowie die Größe und Geschwindigkeit der Objekte 320 zu ermitteln.
Nun zeigt 4 ein funktionelles Blockschaltbild eines LIDAR-Systems 400 nach einem exemplarischen Verfahren und System. Der LIDAR-Empfänger 410 ist betriebsbereit, um einen Laserstrahl zu erzeugen, diesen zu senden und die von einem Objekt innerhalb des Sichtfelds gestreuten/reflektierte Laserenergie zu erfassen. Der Scanner 420 bewegt den Laserstrahl über die Zielbereiche, das Positions-Lagemesssystem (POS) misst die Sensorposition und -lage 430, der Systemprozessor 440 steuert alle oben genannten Aktionen, das Fahrzeugsteuersystem und die Benutzeroberfläche 450, Datenspeicher 460.
Der LIDAR-Empfänger 410 ist betriebsbereit, um einen Laserstrahl zu erzeugen, diesen zum Sichtfeld zu senden und von einem Ziel reflektierte Energie zu erfassen. LIDAR-Sensoren nutzen Laufzeitmessungen, um die Entfernung von Objekten zur ermitteln, von denen die gepulsten Laserstrahlen reflektiert werden. Das oszillierende Lichtsignal wird vom Ziel reflektiert und vom Detektor innerhalb des LIDAR-Empfängers 410 mit einer Phasenverschiebung erfasst, die von der Entfernung des Objekts vom Sensor abhängt. Ein elektronischer Phasenregelkreis (PLL) kann verwendet werden, um die Phasenverschiebung aus dem Signal zu extrahieren und diese Phasenverschiebung wird unter Verwendung bekannter Techniken in eine Entfernung übersetzt. Der Detektor kann auch eine Spitzenerkennung einsetzen.
Der Scanner 420 dient zum Bewegen des Laserstrahls über das Sichtfeld. In einer exemplarischen Anwendung, wird ein Drehspiegel verwendet, um einen stationären Laser über das Sichtfeld hinweg zu reflektieren. In einer weiteren exemplarischen Anwendung wird eine Anzahl an festen Lasern in unterschiedliche Richtungen gepulst, um ein Sichtfeld-Objektmodell zu generieren.
Ein POS 430 wird verwendet, um die Zeit, Position und Ausrichtung des Scanners 420 zu ermitteln, wenn ein Laser gepulst wird. Das System kann einen GPS-Sensor, ein inertiales Messsystem und weitere Sensoren beinhalten. Der POS kann weiter betriebsbereit sein, um die Entfernungsmessung, den Scanwinkel, die Sensorposition, die Sensorausrichtung und die Signalamplitude zu ermitteln. Die vom POS 430 generierten Daten können mit den vom LIDAR-Empfänger 410 generierten Daten kombiniert werden, um ein Sichtfeld-Objektmodell zu generieren.
Der Systemprozessor 440 ist betriebsbereit, um Steuersignale an den LIDAR-Empfänger 410, den POS 430 und den Scanner 420 zu senden und um Daten von diesen Vorrichtungen zu empfangen. Der Systemprozessor 240 empfängt die Daten und ermittelt den Standort von Objekten innerhalb des Sichtfelds und er kann weitere Informationen, wie die Geschwindigkeit von Objekten, die Zusammensetzung von Objekten, die Signalfilterung usw., ermitteln. Der Speicher 460 ist betriebsbereit, um digitale Darstellungen von zurückgesendeten Signalimpulsen zu speichern und/oder um digitale Daten zu speichern, die vom Systemprozessor 440 berechnet wurden. Das Fahrzeugsteuersystem/die Bedienoberfläche 450 ist betriebsbereit, um Eingaben von einem Benutzer zu empfangen, um nach Bedarf Ergebnisse anzuzeigen und als Option, um Fahrzeugsteuersignale in Reaktion auf die vom Systemprozessor 440 generierten Daten zu generieren. Fahrzeugsteuersignale können zur Steuerung eines autonomen Fahrzeugs verwendet werden, die u. a. zum Vermeiden von Zusammenstößen oder als Fahrerwarnsystem genutzt werden können.
5 ist ein Blockdiagramm eines Array-LiDAR-Systems 500 gemäß einer Ausführungsform. Ein Array-LiDAR 510 beinhaltet eine Anordnung von Lasern 511. Jeder Laser 511 kann ein oberflächenemittierender Vertikalresonatorlaser (VCSEL) sein. Eine VCSEL ist eine halbleiterbasierte Laserdiode, die einen optischen Strahl senkrecht von ihrer Oberfläche emittiert, wie dargestellt. Der von jedem Laser 511 (z. B. VCSEL) emittierte Laserstrahl 512 bildet ein Sichtfeld. Jedes Objekt 515 im Sichtfeld des Arrays des LiDAR 510 führt zu Reflexionen 516, die an einem Bandpassfilter (BPF) 520 empfangen werden. Die Reflexionen 516 im Sichtfeld der Empfangsseite des Arrays des LiDAR-Systems 500 werden vom BPF 520 gefiltert und durch eine Linse 525 auf eine Lawinenfotodiode (APD) 535 fokussiert, die das empfangene und gefilterte Licht in ein elektrisches Signal umwandelt. Dieses elektrische Signal wird einem Verarbeitungssystem 530 zugeführt. Das Verarbeitungssystem 530 kann das letztendlich als Laserstrahl 512 emittierte Signal erzeugen. Das erzeugte Signal kann vor dem Erreichen des Arrays des LiDAR 510 einen Amplitudenmodulator 505 durchlaufen.
Das exemplarische LiDAR-System 500 ist in der Lage, Lichtimpulse mit einer bekannten Impulsdauer und einer bekannten Impulswiederholrate zu senden und Lichtimpulse zu empfangen, die aus der gesendeten Impulsreflexion von einem Objekt mit dem Strahlengang des gesendeten Laserpulses resultieren. Eine typische Impulsdauer kann 10 nsec betragen, wobei eine typische Impulswiederholrate 140 kHz betragen kann. Eine längere Impulsdauer kann zu einem niedrigeren SNR führen
Der Sender 510 ist in der Lage, eine Sequenz von Laserimpulsen in eine bekannte Richtung zu senden. Der Sender kann eine Laserdiode zum Erzeugen eines Lasers, einen Wellenlängenmodulator, einen Pulsweitenmodulator, einen Frequenzmodulator und/oder einen Verstärker beinhalten. Der Sender ist in der Lage, die Laserimpulse über einen bestimmten Zeitraum über ein gewünschtes Sichtfeld abzutasten.
Empfänger 530 ist betriebsbereit, um die gepulsten Lasersignale zu empfangen, nachdem diese von Objekten innerhalb des Sichtfelds reflektiert werden. Der Empfänger kann Verstärker, Mischer, Zirkulatoren und dergleichen beinhalten, um das empfangene gepulste Lasersignal in ein Zwischenfrequenzsignal zu konvertieren, das vom Prozessor 540 manipuliert werden kann. Der Empfänger 530 kann auch weiter betriebsbereit sein, um die empfangenen gepulsten Lasersignale in digitale Darstellungen zu konvertieren. Diese digitalen Darstellungen können die empfangenen gepulsten Lasersignale oder das umgewandelte ZF-Signal darstellen.
Der Prozessor 540 ist betriebsbereit, um Steuersignale zu generieren, die den Empfänger 530 und den Sender 510 steuern. Diese Steuersignale können betriebsbereit sein, um die Impulsrate des Laserimpulses und die Impulsbreite des Impulses zu steuern. Zusätzlich können die Steuersignale den Empfänger 530 steuern, so dass der Empfänger 530 betriebsbereit ist, um reflektierte gepulsten Lasersignale bei unterschiedlichen Impulsraten und Impulsbreiten zu empfangen. In einer exemplarischen Ausführungsform erzeugt der Prozessor ein Steuersignal, sodass der Sender 510 einen Laserimpuls mit einer bekannten Impulsdauer sendet. Somit wird der Laser für eine bekannte Zeitdauer pro Impuls ausgesendet. Der Prozessor 540 erzeugt zudem ein Steuersignal, sodass der Empfänger 530 eine reflektierte Darstellung des Laserimpulses empfängt und die Pulsdauer des empfangenen Laserimpulses bestimmt oder aufzeichnet.
Sobald die Daten vom Sender 510 und/oder vom Empfänger 530 empfangen wurden, ermittelt der Prozessor 540 die Entfernung zu einem Objekt in Reaktion auf die Daten, welche die reflektierte Darstellung des Lasers darstellen. Des Weiteren vergleicht der Prozessor 540 die Dauer des gesendeten Laserimpulses mit der Dauer des entsprechenden empfangenen Datenimpulses. Wenn der empfangene Laserimpuls eine größere Zeitdauer aufweist als der ausgesendete Laserimpuls, dann kann davon ausgegangen werden, dass der Lichtimpuls auf eine geneigte Fläche eingefallen ist, da sich ein LiDAR-Impuls bei Reflexion von einer geneigten Fläche aufgrund der erhöhten Laufzeit eines Abschnitts des Lichtimpulses erweitert. So erzeugt beispielsweise ein 0,5°-Strahl bei 60m eine Entfernung von λ = 0,5m bei 45° Oberfläche. Wenn g(t) die Form eines Impulses ist, der von einer senkrechten Oberfläche reflektiert wird, dann erzeugt eine geneigte Oberfläche die folgende Wellenform: $s (t) = \frac{1}{Δ} \int_{- Δ / 2}^{Δ / 2} g (t - \frac{2 x tan α}{c}) d x = \frac{1}{Δ} \int_{- Δ / 2}^{Δ / 2} \sum_{k} {\hat{g}}_{k} exp [2 π j k (t - \frac{2 x tan α}{c})] d x$
Nun zu 6, ist eine exemplarische Ausführungsform eines vorgeschlagenen VCSEL-Arrays 600 für ein verbessertes LiDAR-Scannen dargestellt. Ein Array-LiDAR 610 verwendet ein Array von Lasern, um eine Szene zu beleuchten. In dieser exemplarischen Ausführungsform ist das Array-LiDAR 610 mit dem einzelnen VCSEL in einem rechteckigen Array dargestellt. Jeder der VCSEL weist die gleiche Ausrichtung auf dem Substrat auf und eine Streulinse wird verwendet, um die Laserstrahlen über das Sichtfeld zu verteilen. Das Umschalten der einzelnen Laser erzeugt ein Abtasten der Szene.
Eine sequentielle VCSEL-Array-Abtastung bedient jeweils einen einzelnen VCSEL, wobei jeder VCSEL in eine bestimmte Richtung zeigt, die durch die Streulinse gesteuert wird. Für jedes erkannte Signal gibt es sowohl Reichweiten- als auch Richtungsinformationen. Für aktive Sicherheitsanwendungen, beispielsweise für den Einsatz in einem autonomen Fahrzeug, ist es wichtig, sowohl ein breites Sichtfeld (FOV) als auch eine dichte Punktwolke zu erreichen. Um beispielsweise eine dichte (1DEG) Punktwolke im FOV von 40DEG X 140DEG zu erreichen, sind 5600 VCSEL-Abtastungen erforderlich. Darüber hinaus muss jeder Impuls bis zu einige hundert Mal übertragen werden, um ein gewünschtes SNR zu erhalten. Für die zuverlässige Detektion von Zielen in bis zu 100 m Entfernung beträgt die Gesamtaufnahmezeit pro Bild somit mindestens 0,4 Sekunden, was eine ungeeignete Verzögerung beim Bestimmen einer zuverlässigen Punktwolke für dynamische Anwendungen darstellt. Ein Fahrzeug, das sich beispielsweise mit 60 mph bewegt, bewegt sich in 0,4 Sekunden etwa 10 Yards. $t_{a c q} = \frac{2 R_{m a x}}{c} \times H \times W \times N P u l s e = \frac{2 \times 100}{3 \times 10^{8}} \times 5600 \times 100 \approx 0,4_{Sek}$
Das vorgeschlagene VCSEL-Array 600 reduziert die Erfassungszeit, indem mehrere VCSELs parallel betrieben werden. Dieser Ansatz kann zu winkligen Mehrdeutigkeiten führen, da ein einfacher Detektor keine Informationen über die Quelle des erfassten Signals liefert. Die Mehrdeutigkeiten können durch winkelsensitive Detektionstechniken aufgelöst werden.
In einer exemplarischen Ausführungsform wird ein System mit VCSELs in Sub-Arrays 612 der Breite zehn dargestellt. Um das horizontale FOV abzudecken, benötigt das exemplarische System nur 10 einzelne VCSEL-Erfassungsintervalle, wodurch sich die vorstehend genannte Zeitskala t_acq um den Faktor 140/10 = 14 bis 0,027 s reduziert. Im Allgemeinen erzeugt die naive Einzelabtastung des Arrays eine Erfassungszeit, die linear mit der Größe des Arrays skaliert, während die parallele Übertragung die Erfassungszeit bei einem konstanten Wert proportional zur Größe des Sub-Arrays reduziert: $t_{a c q} = \frac{2 R_{m a x}}{c} \times H \times w_{G r u p p e} \times N_{p u l s e}$
Es ist wünschenswert, die parallelen VCSELs gut zu positionieren, um deren Winkeldifferenz zu vergrößern und dadurch die Winkelmehrdeutigkeit zu verringern. In dieser exemplarischen Ausführungsform wird ein erster Laser 614 in einem ersten Winkel von einem ersten Sub-Array 612 ausgesendet. Ein zweiter Laser 616 wird gleichzeitig in einem zweiten Winkel von einem zweiten Sub-Array ausgesendet. Reflexionen der beiden Laser werden dann an mindestens einem Detektor empfangen, bei welchem die Laufzeit und die Detektorgeometrie teilweise mit einer zusätzlichen Signalverarbeitung berücksichtigt werden, um die Punktwolke für das FOV zu bestimmen.
Wenn das ausgesandte Licht von einem Objekt innerhalb des FOV reflektiert wird, wird eine Linse am Detektor verwendet, um die Signalrichtung zu einem bestimmten Punkt auf dem Detektor zu überführen. Ein Einzelelementdetektor kann die Winkelinformationen für diesen speziellen Punkt nicht auflösen und ist daher in Bezug auf den Einfallswinkel „blind“, weshalb es wünschenswert ist, die Winkelmehrdeutigkeiten mit winkelsensitiven Detektionstechniken aufzulösen.
Nun zu 7, wobei eine exemplarische grafische Darstellung der einfallenden Strahlenerkennung 700 dargestellt wird. Die grafische Darstellung 700 zeigt die Ergebnisse eines Quadrantendetektors, worin die aktive Fläche des Quadrantendetektors in vier empfindliche Bereiche aufgeteilt ist: oben links 710, oben rechts 720, unten links 730 und unten rechts 740, wodurch vier parallele Detektoren in der gleichen Einheit entstehen.
In einer exemplarischen Ausführungsform erzeugt der Betrieb des Detektors außerhalb des Fokus einen großen Fleck, der die 4 Detektoren überdeckt. Ein Strahl teilt die Spot-Intensität zwischen den 4 Quadranten entsprechend dem Einfallswinkel auf. Die relative Intensität der vier erfassten Signale kann in grobe Winkelinformationen umgesetzt werden. Impulse, die in verschiedenen Zeitfenstern ankommen, können dann zur Quelle VCSEL zurückverfolgt werden, welche die genaue Winkelinformationen bereitstellt. Für zwei gleichzeitig eintreffende Impulse kann eine zusätzliche Verarbeitung erforderlich sein. In einer exemplarischen Ausführungsform wurde ein Detektor mit mehreren Elementen verwendet, wobei der einfallende reflektierte Laser teilweise auf die obere und teilweise auf die untere Hälfte des Detektors gefallen ist. Das Verhältnis der Intensität zwischen den beiden Hälften wurde überwacht. Mittels einer Nachschlagetabelle kann das Intensitätsverhältnis zwischen dem auf jeden Quadranten einfallenden Strahl zum Ermitteln des Einfallswinkels herangezogen werden. Bei einem Strahl von 5,0 Grad betrug das Verhältnis beispielsweise 9,3/90,3=10,2% und für einen Strahl von 6,0 Grad betrug das Verhältnis 3,8/95,9=0,39%. Damit ist der Unterschied groß genug, um zwischen einfallenden reflektierten Strahlen mit engen Einfallswinkeln unterscheiden zu können.
Obwohl diese exemplarische Ausführungsform im Kontext eines voll funktionierenden Computersystems beschrieben wird, versteht es sich, dass Fachleute auf diesem Gebiet erkennen werden, dass die Mechanismen der vorliegenden Offenbarung als ein Programmprodukt mit einer oder mehreren Arten von nicht flüchtigen computerlesbaren Signalträgermedien verbreitet werden können, die verwendet werden, um das Programm und die zugehörigen Befehle zu speichern und deren Verbreitung auszuführen, wie ein nichtflüchtiges computerlesbares Medium, welches das Programm und Computerbefehle enthält, die darin gespeichert sind, um einen Computerprozessor zu veranlassen, das Programm auszuführen. Ein derartiges Programmprodukt kann vielerlei Formen annehmen, wobei die vorliegende Offenbarung in gleicher Weise, unabhängig von der spezifischen für die Verbreitung verwendeten Art von computerlesbarem Signalträgermedium, Anwendung findet. Zu den Beispielen für Signalträgermedien gehören: beschreibbare Medien, wie beispielsweise Disketten, Festplatten, Speicherkarten und optische Speicherplatten, sowie Übertragungsmedien, wie beispielsweise digitale und analoge Kommunikationsverbindungen.

Claims

Vorrichtung, umfassend: - eine Laseremissionsvorrichtung zum Emittieren eines Lasers in eine erste Richtung; - einen Detektor mit einem ersten Erfassungsabschnitt zum Erfassen einer ersten Laserintensität und einem zweiten Erfassungsabschnitt zum Erfassen einer zweiten Laserintensität; - eine Linse zum Verteilen einer Laserreflexion an einer Verbindung des ersten Erfassungsabschnitts und des zweiten Erfassungsabschnitts; und - einen Prozessor zum Bestimmen eines Einfallswinkels der Laserreflexion in Abhängigkeit von einem Verhältnis der ersten Laserintensität zur zweiten Laserintensität.
Vorrichtung nach Anspruch 1, worin die erste Laseremissionsvorrichtung ein oberflächenemittierender Vertikalresonatorlaser ist.
Vorrichtung nach Anspruch 1, worin die Vorrichtung Teil eines LIDAR-Systems ist.
Vorrichtung nach Anspruch 1, wobei die Laserreflexion eine Reflexion des Lasers von einem Ziel innerhalb eines Sichtfeldes ist.
Vorrichtung nach Anspruch 1, worin der Detektor einen dritten Erfassungsabschnitt zum Erfassen einer dritten Laserintensität aufweist und worin der Prozessor ferner eine Einfallshöhe durch Bestimmen eines Verhältnisses der ersten Laserintensität und der dritten Laserintensität bestimmen kann.
Vorrichtung nach Anspruch 1, worin die Linse die Laserreflexion defokussiert, um die Laserreflexion auf einen größeren Abschnitt des ersten Erfassungsabschnitts und des zweiten Erfassungsabschnitts zu verteilen.
Vorrichtung nach Anspruch 1, worin die Laseremissionsvorrichtung und der Detektor feste Ausrichtungen aufweisen.
LiDAR-System, umfassend: - einen Sender zum Übertragen eines Lichtimpulses; - eine erste Linse zum Ändern der Richtung des Lichtimpulses; - einen Detektor mit einem ersten Erfassungsbereich und einem zweiten Erfassungsbereich zum Erfassen einer Reflexion des Lichtimpulses; - eine zweite Linse zum Defokussieren des Lichtimpulses, sodass der Lichtimpuls über einen Abschnitt des ersten Erfassungsbereichs und einen Abschnitt des zweiten Erfassungsbereichs verteilt ist; und - einen Prozessor zum Bestimmen eines Einfallswinkels der Reflexion des Lichtimpulses in Reaktion auf eine erste Intensität der Reflexion des auf den ersten Erfassungsbereich einfallenden Lichtimpulses und eine zweite Intensität der Reflexion des auf den zweiten Erfassungsbereich einfallenden Lichtimpulses.
LiDAR-System nach Anspruch 8, worin der Sender ein oberflächenemittierender Vertikalresonatorlaser ist.
LiDAR-System, umfassend: - eine erste Laseremissionsvorrichtung zum Emittieren eines ersten Lasers in eine erste Richtung; - eine zweite Laseremissionsvorrichtung zum Emittieren eines zweiten Lasers in eine zweite Richtung, worin der erste Laser und der zweite Laser gleichzeitig übertragen werden; - einen Detektor mit einem ersten Erfassungsabschnitt zum Erfassen einer ersten Laserintensität und einem zweiten Erfassungsabschnitt zum Erfassen einer zweiten Laserintensität; und - einen Prozessor zum Bestimmen eines Einfallswinkels der Laserreflexion in Abhängigkeit von einem Verhältnis der ersten Laserintensität und der zweiten Laserintensität zur zweiten Laserintensität, wobei der Prozessor weiterhin arbeitet, um zu ermitteln, ob die Laserreflexion eine Reflexion des ersten Lasers ist.