DE102018118679A1

DE102018118679A1 - Verfahren und vorrichtung zur parallelen aufnahme in ein lidar-array

Info

Publication number: DE102018118679A1
Application number: DE102018118679.7A
Authority: DE
Inventors: Ariel Lipson; Michael Slutsky; Itai Afek
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2017-08-02
Filing date: 2018-08-01
Publication date: 2019-02-07
Also published as: US20190041865A1; CN109387856A

Abstract

Die vorliegende Erfindung betrifft im Allgemeinen die Kommunikation und Vermeidung von Gefahren in einer überwachten Fahrumgebung. Genauer gesagt, lehrt die Anwendung ein System zur verbesserten Zielobjekterkennung in einem Fahrzeug, das mit einem Lasererkennungs- und Entfernungs-LIDAR-System ausgestattet ist, durch gleichzeitiges Übertragen mehrerer Laser bei verschiedenen Wellenlängen. Die mehreren Laser werden erfasst und nach Wellenlängen getrennt, um die Aufnahmezeit zu verkürzen und/oder die Punktdichte zu erhöhen.

Description

HINTERGRUND
Die vorliegende Anmeldung betrifft im Allgemeinen autonome und halbautonome Fahrzeuge. Genauer gesagt lehrt die Anwendung eine Vorrichtung zur verbesserten Zielobjekterkennung in einem Fahrzeug, das mit Lasererkennung und einem LIDAR-Entfernungsmesssystem ausgestattet ist.
Hintergrund-Informationen
Der Betrieb von modernen Fahrzeugen wird zunehmend automatisierter, d. h. Fahrzeuge übernehmen die Fahrsteuerung mit geringerem Eingriff des Fahrers. Die Fahrzeugautomatisierung wurde kategorisiert nach nummerischen Ebenen von null, entsprechend keiner Automatisierung mit voller menschlicher Kontrolle, bis Fünf, entsprechend der vollen Automatisierung ohne menschliche Kontrolle. Verschiedene automatisierte Fahrerassistenzsysteme, wie beispielsweise Geschwindigkeitsregelung, adaptive Geschwindigkeitsregelung und Parkassistenzsysteme, entsprechen niedrigeren Automatisierungsebenen, während echte „fahrerlose“ Fahrzeuge mit höheren Automatisierungsebenen übereinstimmen.
Fahrzeuge werden immer häufiger mit Sensoren an Bord ausgestattet, um ihre Umgebung autonom oder halbautonom zu ermitteln. Ein wertvoller Sensor für diese Aufgabe ist LIDAR, eine Vermessungstechnik, die Strecken misst, indem sie ein Ziel mit einem Laserlicht beleuchtet. Feste LiDAR-Systeme erfordern jedoch typischerweise einen Laser für jeden Punkt in einem Sichtfeld, wodurch wiederum eine große Anzahl an Lasern erforderlich ist, um eine dichte Punktwolke aus einer Entfernung zu erreichen, die eine lange Erfassungszeit für die einzelnen Bildabtastungen erfordert. Es wäre wünschenswert, eine höhere Dichte der Punktwolke bei gleichzeitiger Reduzierung der Erfassungszeit pro Abtastung zu erreichen.
KURZDARSTELLUNG
Ausführungsformen gemäß der vorliegenden Offenbarung stellen eine Reihe von Vorteilen bereit. So können Ausführungsformen gemäß der vorliegenden Offenbarung eine unabhängige Validierung von Steuerbefehlen autonomer Fahrzeuge ermöglichen, um die Diagnose von Software- oder Hardwarezuständen im primären Steuersystem zu erleichtern. Somit können Ausführungsformen gemäß der vorliegenden Offenbarung robuster sein, wodurch die Kundenzufriedenheit erhöht wird.
Gemäß einem Aspekt der vorliegenden Erfindung, eine Vorrichtung beinhaltet eine erste Senderanordnung zum Übertragen einer ersten mit einer ersten Frequenz amplitudenmodulierten Lichtwelle, eine zweite Senderanordnung zum Übertragen einer zweiten mit einer zweiten Frequenz amplitudenmodulierten Lichtwelle, ein Detektor zum Erfassen der ersten Lichtwelle und der zweiten Lichtwelle und zum Erzeugen eines analogen Signals als Reaktion auf die erste Lichtwelle und die zweite Lichtwelle, einen ersten Prozessor zum Erzeugen eines ersten Datensignals, das die erste Lichtwelle als Reaktion auf das Analogsignal und zum Erzeugen eines zweiten Datensignals, das die zweite Lichtwelle als Reaktion auf das Analogsignal darstellt, und einen zweiten Prozessor zum Bestimmen der Entfernung eines Objekts als Reaktion auf das erste Datensignal und das zweite Datensignal.
Gemäß einem weiteren Aspekt der vorliegenden Erfindung umfasst ein LiDAR-System einen ersten Sender zum Übertragen eines ersten Lichtimpulses mit einer ersten Frequenz, einen zweiten Sender zum Übertragen eines zweiten Lichtimpulses mit einer zweiten Frequenz, einen Detektor zum Erfassen einer reflektierten Darstellung des ersten Lichtimpulses und einer reflektierten Darstellung des zweiten Lichtimpulses, und einen ersten Filter zum Filtern der reflektierten Darstellung des ersten Lichtimpulses bei der ersten Frequenz, um einen ersten gefilterten Lichtimpuls zu erzeugen, einen zweiten Filter zum Filtern der reflektierten Darstellung des zweiten Lichtimpulses bei der zweiten Frequenz, um einen zweiten gefilterten Lichtimpuls zu erzeugen, und einen Prozessor zum Bestimmen der Entfernung eines Objekts als Reaktion auf den ersten gefilterten Lichtimpuls und den zweiten gefilterten Lichtimpuls.
Gemäß einem weiteren Aspekt der vorliegenden Erfindung umfasst ein Verfahren das Übertragen einer ersten Lichtwellenamplitude, die mit einer ersten Frequenz und einer zweiten Lichtwellenamplitude, die mit einer zweiten Frequenz moduliert ist, Empfangen einer reflektierten Darstellung der ersten Lichtwelle, Filtern der reflektierten Darstellung der ersten Lichtwelle mit der ersten Frequenz, Empfangen einer reflektierten Darstellung der zweiten Lichtwelle, Filtern der reflektierten Darstellung der zweiten Lichtwelle mit der zweiten Frequenz und Bestimmen der Entfernung eines Objekts als Reaktion auf die reflektierte Darstellung der ersten Lichtwelle und der reflektierten Darstellung der zweiten Lichtwelle.
Die vorstehenden Vorteile und andere Vorteile und Merkmale der vorliegenden Offenbarung werden aus der folgenden ausführlichen Beschreibung der bevorzugten Ausführungsformen in Verbindung mit den zugehörigen Zeichnungen ersichtlich.
Figurenliste
Die zuvor genannten sowie weitere Eigenschaften und Vorteile dieser Erfindung und die Art und Weise, diese zu erzielen, werden augenscheinlicher, und die Erfindung wird besser verstanden anhand der folgenden Beschreibung von Ausführungsformen der Erfindung in Verbindung mit den zugehörigen Zeichnungen, worin gilt:

1 zeigt ein schematisches Diagramm eines Kommunikationssystems, das ein autark gesteuertes Fahrzeug gemäß einer Ausführungsform beinhaltet.
2 ist ein schematisches Blockdiagramm eines automatisierten Antriebssystems (ADS) für ein Fahrzeug gemäß einer Ausführungsform.
3 ist ein Diagramm einer exemplarischen Umgebung für die Implementierung der vorliegend offenbarten Systeme und Verfahren.
4 ist ein Blockschaltbild einer exemplarischen Implementierung einer Vorrichtung zur LIDAR-Implementierung in einem Fahrzeug.
5 ist ein Blockdiagramm einer exemplarischen Implementierung eines Verfahrens zur LIDAR-Implementierung in einem Fahrzeug.
6 stellt ein Flussdiagramm eines Verfahrens der parallelen Aufnahme unter Verwendung der Lock-in-Verstärkung in LiDAR-Arrays dar.

Die hierin dargestellten Beispiele zeigen bevorzugte Ausführungsformen der Erfindung, und solche Beispiele sollen in keiner Weise als einschränkend für den Umfang der Erfindung ausgelegt werden.
AUSFÜHRLICHE BESCHREIBUNG
Die folgende ausführliche Beschreibung ist ihrer Art nach lediglich exemplarisch und soll die Offenbarung oder die Anwendung und Verwendungen derselben in keiner Weise einschränken. Darüber hinaus besteht keinerlei Verpflichtung zur Einschränkung auf eine der im vorstehenden Hintergrund oder in der folgenden ausführlichen Beschreibung dargestellten Theorien. So hat z. B. der LIDAR-Sensor der vorliegenden Erfindung einen besonderen Anwendungszweck zur Verwendung an einem Fahrzeug. Jedoch kann der LIDAR-Sensor der Erfindung, wie Fachleute auf dem Gebiet erkennen werden, auch andere Anwendungsmöglichkeiten besitzen.
Moderne Fahrzeuge beinhalten manchmal verschiedene aktive Sicherheits- und Steuersysteme, wie Zusammenstoß-Vermeidungssysteme, adaptive Fahrgeschwindigkeits-Regelungssysteme, Spurhaltungssysteme, Fahrspurzentrierungs-Systeme usw., bei denen die Fahrzeugtechnik sich in Richtung halbautonom und vollständig autonom gefahrene Fahrzeuge bewegt. So sind z. B. Zusammenstoß-Vermeidungssysteme im Fachbereich dafür bekannt, dass sie eine automatische Fahrzeugsteuerung bereitstellen, wie z. B. Bremsen, wenn ein potenzieller Zusammenstoß mit einem anderen Fahrzeug oder Objekt erkannt wird, und sie können auch eine Warnung ausgeben, so dass der Fahrer entsprechende Korrekturmaßnahmen einleiten kann, um die Kollision zu vermeiden. Adaptive Fahrgeschwindigkeits-Regelungssysteme sind ebenfalls dafür bekannt, dass sie mit einem nach vorn gerichteten Sensor ausgestattet sind, der eine automatische Fahrgeschwindigkeitsregelung und/oder Bremsen bereitstellt, wenn sich das gegenständliche Fahrzeug einem anderen Fahrzeug nähert. Die Objekterfassungssensoren für diese Arten von Systemen können irgendeine von einer Anzahl an Technologien verwenden, wie Kurzstreckenradar, Langstreckenradar, Kameras mit Bildverarbeitung, Laser oder LiDAR, Ultraschall usw. Die Objekterfassungssensoren detektieren Fahrzeuge und andere Objekte im Weg eines Subjektfahrzeugs, und die Anwendungssoftware verwendet die Objekterfassungsinformationen, um Warnungen oder Maßnahmen vorzusehen, wie es angemessen ist.
LiDAR-Sensoren werden manchmal in Fahrzeugen eingesetzt, um Objekte und ihre Ausrichtung und Distanz zum Fahrzeug zu erkennen und Reflexionen von den Objekten in Form von multiplen Abtastpunkten bereitzustellen, die zusammen eine Karte von einem Bereich der Punktwolke (Cluster) bilden, auf der für jedes ½° über das gesamte Sichtfeld des Sensors ein separater Abtastpunkt bereitgestellt wird. Wenn daher ein Zielfahrzeug oder ein anderes Objekt vor dem eigenen Fahrzeug erfasst wird, können mehrere Abtastpunkte zurückgegeben werden, die die Entfernung des Zielfahrzeugs von dem betreffenden Fahrzeug identifizieren. Durch die Bereitstellung eines Abtastrückgabepunkt-Clusters können Objekte mit den unterschiedlichsten und willkürlichsten Formen, wie LKW, Anhänger, Fahrräder, Fußgänger, Leitplanken usw., besser erfasst werden. Dabei werden die Objekte umso besser erfasst, je größer bzw. näher sie am betreffenden Fahrzeug sind, da dann mehr Abtastpunkte bereitgestellt werden.
Die meisten bekannten LiDAR-Sensoren verwenden einen einzelnen Laser und einen schnell rotierenden Spiegel zur Erzeugung einer dreidimensionalen Punktwolke von Reflexionen oder Rückgabepunkten, die das Fahrzeug umgeben. Wenn sich der Spiegel dreht, gibt der Laser Lichtimpulse ab und der Sensor misst die Zeit, die der Lichtimpuls benötigt, um reflektiert und von Objekten in seinem Sichtfeld zurückgesendet zu werden, um die Entfernung zu den Objekten zu ermitteln, die im Fachbereich als Laufzeitmessungen bekannt sind. Durch sehr schnelles Pulsen des Lasers kann ein dreidimensionales Objektbild im Sichtfeld des Sensors erzeugt werden. Es können mehrere Sensoren eingesetzt werden und die Bilder von diesen können korreliert werden, um ein dreidimensionales Bild jener Objekte zu erzeugen, die das Fahrzeug umgeben.
Ein Nachteil der meisten bekannten LiDAR-Sensoren ist die endliche Winkelrasterauflösung. Der LiDAR ist dazu in der Lage, den Laser in diskreten Winkeln um das Fahrzeug herum zu pulsieren. Wenn der Laser beispielsweise mit einer Winkelauflösung von 0,5 Grad bei 50 Metern gepulst wird, beträgt der Abstand des Sichtfeldes etwa 0,5 Meter. Bei einem LiDAR in einer autonomen Fahrzeuganwendung kann ein Zielfahrzeug nur einen oder zwei der gesendeten Laserpulse reflektieren. Einige wenige Treffer eines Zielobjekts in großer Entfernung können unzureichende Informationen über die Objektgrenzen liefern. Es wäre wünschenswert, die Oberflächenlänge und die Winkelausrichtung jedes Trefferpunkts zu schätzen und zusätzliche Objektinformationen zu erhalten.
1 veranschaulicht schematisch eine Betriebsumgebung, die ein mobiles Fahrzeugkommunikations- und Steuersystem 10 für ein Kraftfahrzeug 12 umfasst. Das Kommunikations- und Steuersystem 10 für das Fahrzeug 12 beinhaltet im Allgemeinen ein oder mehrere Drahtlosträgersysteme 60, ein Festnetz 62, einen Computer 64, eine vernetzte drahtlose Vorrichtung 57, einschließlich, aber nicht beschränkt auf ein Smartphone, Tablet oder eine tragbare Vorrichtung, wie beispielsweise eine Uhr, und eine Fernzugriffszentrale 78.
Das Fahrzeug 12, das in 1 schematisch dargestellt ist, beinhaltet ein Antriebssystem 13, das in verschiedenen Ausführungsformen einen Verbrennungsmotor, eine Elektromaschine, wie beispielsweise einen Traktionsmotor und/oder ein Brennstoffzellenantriebssystem beinhalten kann. Das Fahrzeug 12 ist in der dargestellten Ausführungsform als Pkw dargestellt, es ist jedoch zu beachten, dass jedes andere Fahrzeug, einschließlich Motorräder, Lastwagen, Geländelimousinen (SUVs), Wohnmobile (RVs), Wasserfahrzeuge, Luftfahrzeuge usw. ebenfalls verwendet werden kann.
Das Fahrzeug 12 beinhaltet zudem ein Getriebe 14, das so konfiguriert ist, dass es Leistung vom Antriebssystem 13 auf eine Vielzahl von Fahrzeugrädern 15 gemäß wählbaren Drehzahlverhältnissen überträgt. Gemäß verschiedenen Ausführungsformen kann das Getriebe 14 ein Stufenverhältnis-Automatikgetriebe, ein stufenlos verstellbares Getriebe oder ein anderes geeignetes Getriebe beinhalten. Das Fahrzeug 12 beinhaltet zusätzlich Radbremsen 17, die so konfiguriert sind, dass sie ein Bremsmoment an die Fahrzeugräder 15 liefern. Die Radbremsen 17 können in verschiedenen Ausführungsformen Reibungsbremsen, ein regeneratives Bremssystem, wie z. B. eine Elektromaschine und/oder andere geeignete Bremssysteme, beinhalten.
Das Fahrzeug 12 beinhaltet zudem ein Lenksystem 16. Während in einigen Ausführungsformen innerhalb des Umfangs der vorliegenden Offenbarung zur Veranschaulichung als ein Lenkrad dargestellt, kann das Lenksystem 16 kein Lenkrad beinhalten.
Das Fahrzeug 12 beinhaltet ein drahtloses Kommunikationssystem 28, das konfiguriert ist, um drahtlos mit anderen Fahrzeugen („V2V“) und/oder Infrastruktur („V2I“) zu kommunizieren. In einer exemplarischen Ausführungsform ist das drahtlose Kommunikationssystem 28 konfiguriert, um über ein drahtloses lokales Netzwerk (WLAN) unter Verwendung des IEEE 802.11-Standards oder mittels einer mobilen Datenkommunikation zu kommunizieren. Im Geltungsbereich der vorliegenden Offenbarung werden jedoch auch zusätzliche oder alternative Kommunikationsverfahren, wie beispielsweise ein dedizierter Nahbereichskommunikations-(DSRC)-Kanal, berücksichtigt. DSRC-Kanäle beziehen sich auf Einweg- oder Zweiwege-Kurzstrecken- bis Mittelklasse-Funkkommunikationskanäle, die speziell für den Automobilbau und einen entsprechenden Satz von Protokollen und Standards entwickelt wurden.
Das Antriebssystem 13, das Getriebe 14, das Lenksystem 16 und die Radbremsen 17 stehen mit oder unter der Steuerung von mindestens einer Steuereinheit 22 in Verbindung. Obgleich zu Veranschaulichungszwecken als eine einzige Einheit dargestellt, kann die Steuereinheit 22 zusätzlich eine oder mehrere andere „Steuereinheiten“ beinhalten. Die Steuerung 22 kann einen Mikroprozessor, wie beispielsweise eine zentrale Verarbeitungseinheit (CPU) oder eine grafische Verarbeitungseinheit (GPU), beinhalten, die mit verschiedenen Arten von computerlesbaren Speichervorrichtungen oder Medien in Verbindung steht. Computerlesbare Speichergeräte oder Medien können flüchtige und nichtflüchtige Speicher in einem Nur-Lese-Speicher (ROM), einem Speicher mit direktem Zugriff (RAM) und einem Aufrechterhaltungsspeicher („Keep-Alive-Memory, KAM“) beinhalten. KAM ist ein persistenter oder nichtflüchtiger Speicher, der verwendet werden kann, um verschiedene Betriebsvariablen zu speichern, während die CPU ausgeschaltet ist. Computerlesbare Speichergeräte oder Medien können unter Verwendung einer beliebigen Anzahl an bekannten Speichergeräten, wie beispielsweise PROMs (programmierbarer Nur-Lese-Speicher), EPROMs (elektrische PROM), EEPROMs (elektrisch löschbarer PROM), Flash-Speicher oder beliebigen anderen elektrischen, magnetischen, optischen oder kombinierten Speichergeräten implementiert sein, die Daten speichern können, von denen einige ausführbare Anweisungen darstellen, die von der Steuereinheit 22 beim Steuern des Fahrzeugs verwendet werden.
Die Steuerung 22 beinhaltet ein automatisiertes Antriebssystem (ADS) 24 zum automatischen Steuern verschiedener Stellglieder im Fahrzeug. In einer exemplarischen Ausführungsform ist das ADS 24 ein sogenanntes Level-Vier- oder Level-Fünf-Automatisierungssystem. In verschiedenen Ausführungsformen erzeugt das autonome Fahrsystem ein Notrufsignal und sendet das Notrufsignal an ein Kommunikationssystem, nachdem das Fahrzeug in den vorbestimmten Zustand gebracht wurde und wenn das Bedienerunfähigkeitsauslösesignal noch für eine vorbestimmte Zeitdauer vorhanden ist oder falls der Bediener nicht innerhalb der vorbestimmten Zeitdauer reagiert. Ein Level-Fünf-System zeigt eine „Vollautomatisierung“ an und verweist auf die Vollzeitleistung eines automatisierten Fahrsystems aller Aspekte der dynamischen Fahraufgabe unter allen Fahrbahn- und Umgebungsbedingungen, die von einem menschlichen Fahrer verwaltet werden können. In einer exemplarischen Ausführungsform ist das ADS 24 so konfiguriert, dass es das Antriebssystem 13, das Getriebe 14, das Lenksystem 16 und die Radbremsen 17 steuert, um die Fahrzeugbeschleunigung, das Lenken und das Bremsen ohne menschliches Eingreifen über eine Vielzahl von Stellgliedern 30 in Reaktion auf Eingaben von einer Vielzahl von Sensoren 26, wie z. B. GPS, RADAR, LIDAR, optischen Kameras, thermischen Kameras, Ultraschallsensoren und/oder zusätzlichen Sensoren, zu steuern.
1 veranschaulicht mehrere vernetzte Geräte, die mit dem drahtlosen Kommunikationssystem 28 des Fahrzeugs 12 kommunizieren können. Eines der vernetzten Geräte, das über das drahtlose Kommunikationssystem 28 mit dem Fahrzeug 12 kommunizieren kann, ist das drahtlose vernetzte Gerät 57. Das drahtlose vernetzte Gerät 57 kann eine Computerverarbeitungsfähigkeit, einen Sender-Empfänger, der mit einem drahtlosen Nahbereichsprotokoll kommunizieren kann, und eine visuelle Anzeige 59 beinhalten. Die Computerverarbeitungsfähigkeit beinhaltet einen Mikroprozessor in Form einer programmierbaren Vorrichtung, die eine oder mehrere in einer internen Speicherstruktur gespeicherte Befehle beinhaltet und angewendet wird, um binäre Eingaben zu empfangen und binäre Ausgaben zu erzeugen. In einigen Ausführungsformen beinhaltet das drahtlose vernetzte Gerät 57 ein GPS-Modul, das GPS-Satellitensignale empfangen und GPS-Koordinaten basierend auf diesen Signalen erzeugen kann. In weiteren Ausführungsformen beinhaltet das drahtlose vernetzte Gerät 57 eine Mobilfunk-Kommunikationsfunktionalität, wodurch das drahtlose vernetzte Gerät 57, wie hierin erläutert, Sprach- und/oder Datenkommunikationen über das Mobilfunkanbietersystem 60 unter Verwendung eines oder mehrerer Mobilfunk-Kommunikationsprotokolle durchführt. Die visuelle Anzeige 59 kann zudem einen Berührungsbildschirm als grafische Benutzeroberfläche beinhalten.
Das Mobilfunkanbietersystem 60 ist vorzugsweise ein Mobiltelefonsystem, das eine Vielzahl von Mobilfunktürmen 70 (nur einer dargestellt), eine oder mehrere Mobilvermittlungsstellen (MSCs) 72, sowie alle anderen Netzwerkkomponenten beinhaltet, die zum Verbinden des Mobilfunkanbietersystems 60 mit dem Festnetz 62 erforderlich sind. Jeder Mobilfunkturm 70 beinhaltet Sende- und Empfangsantennen und eine Basisstation, wobei die Basisstationen von unterschiedlichen Mobilfunktürmen mit der MSC 72 entweder direkt oder über zwischengeschaltete Geräte, wie z. B. eine Basisstationssteuereinheit, verbunden sind. Das Drahtlosträgersystem 60 kann jede geeignete Kommunikationstechnologie implementieren, beispielsweise digitale Technologien, wie CDMA (z. B. CDMA2000), LTE (z. B. 4G LTE oder 5G LTE), GSM/GPRS oder andere aktuelle oder neu entstehende drahtlose Technologien. Andere Mobilfunkturm/Basisstation/MSC-Anordnungen sind möglich und könnten mit dem Mobilfunkanbietersystem 60 verwendet werden. So könnten sich beispielsweise die Basisstation und der Mobilfunkturm an derselben Stelle oder entfernt voneinander befinden, jede Basisstation könnte für einen einzelnen Mobilfunkturm zuständig sein oder eine einzelne Basisstation könnte verschiedene Mobilfunktürme bedienen, oder verschiedene Basisstationen könnten mit einer einzigen MSC gekoppelt werden, um nur einige der möglichen Anordnungen zu nennen.
Abgesehen vom Verwenden des Mobilfunkanbietersystems 60 kann ein unterschiedliches Mobilfunkanbietersystem in der Form von Satellitenkommunikation verwendet werden, um unidirektionale oder bidirektionale Kommunikation mit dem Fahrzeug 12 bereitzustellen. Dies kann unter Verwendung von einem oder mehreren Kommunikationssatelliten 66 und einer Uplink-Sendestation 67 erfolgen. Bei der unidirektionalen Kommunikation kann es sich beispielsweise um Satellitenradiodienste handeln, worin die Programmierinhalte (Nachrichten, Musik usw.) von der Sendestation 67 empfangen, für das Hochladen gepackt und anschließend an den Satelliten 66 gesendet wird, der die Programmierung an die Teilnehmer ausstrahlt. Bei der bidirektionalen Kommunikation kann es sich beispielsweise um Satellitentelefondienste handeln, die den Satelliten 66 verwenden, um Telefonkommunikationen zwischen dem Fahrzeug 12 und der Station 67 weiterzugeben. Die Satellitentelefonie kann entweder zusätzlich oder anstelle des Mobilfunkanbietersystems 60 verwendet werden.
Das Festnetz 62 kann ein herkömmliches landgebundenes Telekommunikationsnetzwerk sein, das mit einem oder mehreren Festnetztelefonen verbunden ist und das Mobilfunkanbietersystem 60 mit der Fernzugriffszentrale 78 verbindet. So kann beispielsweise das Festnetz 62 ein öffentliches Telekommunikationsnetz (PSTN) beinhalten, wie es beispielsweise verwendet wird, um fest verdrahtete Telefonie, paketvermittelte Datenkommunikationen und die Internetinfrastruktur bereitzustellen. Ein oder mehrere Segmente des Festnetzes 62 könnten durch Verwenden eines normalen drahtgebundenen Netzwerks, eines Lichtleiter- oder eines anderen optischen Netzwerks, eines Kabelnetzes, von Stromleitungen, anderen drahtlosen Netzwerken, wie z. B. drahtlosen lokalen Netzwerken (WLANs) oder Netzwerken, die drahtlosen Breitbandzugang (BWA) bereitstellen oder einer Kombination derselben implementiert sein. Weiterhin muss die Fernzugriffszentrale 78 nicht über das Festnetz 62 verbunden sein, sondern könnte Funktelefonausrüstung beinhalten, sodass sie direkt mit einem drahtlosen Netzwerk, wie z. B. dem Mobilfunkanbietersystem 60, kommunizieren kann.
Obgleich in 1 als ein einziges Gerät dargestellt, kann der Computer 64 eine Anzahl an Computern beinhalten, die über ein privates oder öffentliches Netzwerk, wie z. B. das Internet, zugänglich sind. Jeder Computer 64 kann für einen oder mehrere Zwecke verwendet werden. In einer exemplarischen Ausführungsform kann der Computer 64 als ein Webserver konfiguriert sein, der durch das Fahrzeug 12 über das drahtlose Kommunikationssystem 28 und den Mobilfunkanbieter 60 zugänglich ist. Zu anderen derart zugänglichen Computern 64 können beispielsweise gehören: ein Computer in einer Reparaturwerkstatt, der Diagnoseinformationen und andere Fahrzeugdaten vom Fahrzeug über das drahtlose Kommunikationssystem 28 oder einen Speicherort eines Drittanbieters hochgeladen werden können oder aus welchem Fahrzeugdaten oder sonstigen Informationen, entweder durch Kommunikation mit dem Fahrzeug 12, der Fernzugriffszentrale 78, dem drahtlosen vernetzten Gerät 57 oder einer Kombination aus diesen bereitgestellt werden. Der Computer 64 kann eine durchsuchbare Datenbank und ein Datenbankverwaltungssystem instandhalten, das die Eingabe, Löschung und Änderung von Daten, sowie den Empfang von Anfragen ermöglicht, um Daten innerhalb der Datenbank zu lokalisieren. Der Computer 64 kann zudem für die Bereitstellung von Internetverbindungen, wie z. B. DNS-Diensten, oder als Netzwerkadressenserver verwendet werden, der DHCP oder ein anderes geeignetes Protokoll verwendet, um dem Fahrzeug 12 eine IP-Adresse zuzuweisen.
Die Fernzugriffszentrale 78 ist konzipiert, um das drahtlose Kommunikationssystem 28 des Fahrzeugs 12 mit einer Vielzahl von unterschiedlichen Systemfunktionen bereitzustellen, und beinhaltet nach der in 1 gezeigten exemplarischen Ausführungsform im Allgemeinen einen oder mehrere Switches 80, Server 82, Datenbanken 84, Live-Berater 86 sowie ein automatisiertes Sprachausgabesystem (VRS) 88. Diese verschiedenen Komponenten der Fernzugriffszentrale sind bevorzugt miteinander über ein verdrahtetes oder drahtloses lokales Netzwerk 90 gekoppelt. Der Switch 80, der als Nebenstellenanlagen (PBX)-Switch genutzt werden kann, leitet eingehende Signale weiter, sodass Sprachübertragungen gewöhnlich entweder zum Live-Berater 86 über das reguläre Telefon oder automatisiert zum Sprachausgabesystem 88 unter Verwendung von VoIP gesendet werden. Das Live-Berater-Telefon kann auch VoIP verwenden, wie durch die gestrichelte Linie in 1 angezeigt. VoIP und andere Datenkommunikation durch den Switch 80 werden über ein Modem (nicht dargestellt) implementiert, das zwischen dem Switch 80 und Netzwerk 90 verbunden ist. Datenübertragungen werden über das Modem an den Server 82 und/oder die Datenbank 84 weitergegeben. Die Datenbank 84 kann Kontoinformationen, wie beispielsweise Teilnehmerauthentisierungs-Informationen, Fahrzeugkennungen, Profildatensätze, Verhaltensmuster und andere entsprechende Teilnehmerinformationen, speichern. Datenübertragungen können zudem durch drahtlose Systeme, wie z. B. 802.11x, GPRS und dergleichen, erfolgen. Obwohl die veranschaulichte Ausführungsform beschrieben wurde, als ob sie in Verbindung mit einer bemannten Fernzugriffszentrale 78 verwendet werden würde, die den Live-Berater 86 einsetzt, ist es offensichtlich, dass die Fernzugriffszentrale stattdessen VRS 88 als einen automatisierten Berater verwenden kann, oder eine Kombination von VRS 88 und dem Live-Berater 86 verwendet werden kann.
Wie in 2 dargestellt, beinhaltet das ADS 24 mehrere verschiedene Steuersysteme, einschließlich mindestens eines Wahrnehmungssystem 32 zum Feststellen des Vorhandenseins, der Position, der Klassifizierung und der Bahn der erkannten Eigenschaften oder Objekte in der Nähe des Fahrzeugs. Das Wahmehmungssystem 32 ist so konfiguriert, dass es Eingaben, wie beispielsweise in 1 veranschaulicht, von einer Vielzahl von Sensoren 26 empfängt und Sensoreingaben synthetisiert und verarbeitet, um Parameter zu erzeugen, die als Eingaben für andere Steueralgorithmen des ADS 24 verwendet werden.
Das Wahmehmungssystem 32 umfasst ein Sensorfusions- und Vorverarbeitungsmodul 34, das die Sensordaten 27 aus der Vielzahl der Sensoren 26 verarbeitet und synthetisiert. Das Sensorfusions- und Vorverarbeitungsmodul 34 führt eine Kalibrierung der Sensordaten 27 durch, einschließlich, aber nicht beschränkt auf LIDAR-zu-LIDAR-Kalibrierung, Kamera-zu-LIDAR-Kalibrierung, LIDAR-zu-Chassis-Kalibrierung und LIDAR-Strahlintensitätskalibrierung. Das Sensorfusions- und Vorverarbeitungsmodul 34 gibt vorverarbeitete Sensorausgaben 35 aus.
Ein Klassifizierungs- und Segmentierungsmodul 36 empfängt die vorverarbeitete Sensorausgabe 35 und führt Objektklassifizierung, Bildklassifizierung, Ampelklassifizierung, Objektsegmentierung, Bodensegmentierung und Objektverfolgungsprozesse durch. Die Objektklassifizierung beinhaltet, ist aber nicht beschränkt auf die Identifizierung und Klassifizierung von Objekten in der Umgebung, einschließlich Identifizierung und Klassifizierung von Verkehrssignalen und -zeichen, RADAR-Fusion und -verfolgung, um die Platzierung und das Sichtfeld des Sensors und die falsche positive Ablehnung über die LIDAR-Fusion zu berücksichtigen, um die vielen falschen Positiven zu beseitigen, die in einer städtischen Umgebung existieren, wie zum Beispiel Schachtabdeckungen, Brücken, in die Fahrbahn ragende Bäume oder Lichtmasten und andere Hindernisse mit einem hohen RADAR-Querschnitt, die aber nicht die Fähigkeit des Fahrzeugs beeinflussen, entlang seines Kurses zu fahren. Zusätzliche Objektklassifizierungs- und Verfolgungsprozesse, die durch das Klassifizierungs- und Segmentierungsmodell 36 durchgeführt werden, beinhalten, sind aber nicht beschränkt auf Freespace-Erkennung und High-Level-Tracking, die Daten von RADAR-Spuren, LIDAR-Segmentierung, LIDAR-Klassifizierung, Bildklassifizierung, Objektform-Passmodellen, semantischen Informationen, Bewegungsvorhersage, Rasterkarten, statischen Hinderniskarten und andere Quellen verschmelzen, um qualitativ hochwertige Objektspuren zu erzeugen.
Das Klassifizierungs- und Segmentierungsmodul 36 führt zusätzlich eine Verkehrssteuerungs-Klassifizierungs- und Verkehrssteuerungsvorrichtungsverschmelzung mit Spurassoziations- und Verkehrssteuerungsvorrichtungsverhaltensmodellen durch. Das Klassifizierungs- und Segmentierungsmodul 36 erzeugt eine Objektklassifizierungs- und Segmentierungsausgabe 37, die eine Objektidentifikationsinformation enthält.
Ein Lokalisierungs- und Abbildungsmodul 40 verwendet die Objektklassifizierungs- und Segmentierungsausgabe 37, um Parameter zu berechnen, einschließlich, aber nicht beschränkt auf Schätzungen der Position und Orientierung des Fahrzeugs 12 in sowohl typischen als auch anspruchsvollen Antriebsszenarien. Zu diesen anspruchsvollen Antriebsszenarien gehören unter anderem dynamische Umgebungen mit vielen Autos (z. B. dichter Verkehr), Umgebungen mit großflächigen Obstruktionen (z. B. Fahrbahnbaustellen oder Baustellen), Hügel, mehrspurige Straßen, einspurige Straßen, eine Vielzahl von Straßenmarkierungen und Gebäuden oder deren Fehlen (z. B. Wohn- und Geschäftsbezirke) und Brücken und Überführungen (sowohl oberhalb als auch unterhalb eines aktuellen Straßensegments des Fahrzeugs).
Das Lokalisierungs- und Abbildungsmodul 40 enthält auch neue Daten, die als Ergebnis von erweiterten Kartenbereichen erfasst werden, die durch fahrzeugeigene Abbildungsfunktionen erhalten werden, die durch das Fahrzeug 12 während des Betriebs ausgeführt werden, und Kartierungsdaten, die über das drahtlose Kommunikationssystem 28 an das Fahrzeug 12 „geschoben“ werden. Das Lokalisierungs- und Abbildungsmodul 40 aktualisiert die vorherigen Kartendaten mit den neuen Informationen (z. B. neue Spurmarkierungen, neue Gebäudestrukturen, Hinzufügen oder Entfernen von Baustellenzonen usw.), während unbeeinflusste Kartenbereiche unverändert bleiben. Beispiele von Kartendaten, die erzeugt oder aktualisiert werden können, beinhalten, sind aber nicht beschränkt auf die Ausweichspurkategorisierung, die Spurgrenzerzeugung, die Spurverbindung, die Klassifizierung von Neben- und Hauptstraßen, die Klassifizierung der Links- und Rechtskurven und die Kreuzungsspurerstellung.
In einigen Ausführungsformen verwendet das Lokalisierungs- und Abbildungsmodul 40 Simultanlokalisierungs- und Abbildungs-(„SLAM“)-Techniken, um Karten der Umgebung zu entwickeln. SLAM ist die Abkürzung für simultane Fehlerlokalisierung und Kartierung. SLAM-Techniken konstruieren eine Karte einer Umgebung und verfolgen die Position eines Objekts innerhalb der Umgebung. GraphSLAM, eine Variante von SLAM, verwendet sparsame Matrizen, die zum Erstellen eines Graphen mit Beobachtungsabhängigkeiten verwendet werden.
Die Objektposition innerhalb einer Karte wird durch eine Gaußsche Wahrscheinlichkeitsverteilung dargestellt, die sich um den vorhergesagten Pfad des Objekts zentriert. SLAM verwendet in seiner einfachsten Form drei Einschränkungen: eine anfängliche Standortbeschränkung; eine relative Bewegungseinschränkung, die der Pfad des Objekts ist; und eine relative Messeinschränkung, die eine oder mehrere Messungen eines Objekts zu einer Landmarke ist.
Die anfängliche Bewegungseinschränkung ist die Ausgangsposition (z. B. Position und Orientierung) des Fahrzeugs, die sich aus der Position des Fahrzeugs im zweidimensionalen oder dreidimensionalen Raum einschließlich Neigungs-, Drehungs- und Gierdaten zusammensetzt. Die relative Bewegungseinschränkung ist die Verschiebung des Objektes, die eine gewisse Flexibilität zur Anpassung an die Kartenkonsistenz enthält. Die relative Messeinschränkung beinhaltet eine oder mehrere Messungen von den Objektsensoren bis zu einer Landmarke. Die anfängliche Positionsbeschränkung, die relative Bewegungseinschränkung und die relative Messeinschränkung sind typischerweise Gaußsche Wahrscheinlichkeitsverteilungen. Objektortungsverfahren innerhalb einer sensorerzeugten Karte verwenden typischerweise Kalman-Filter, verschiedene statistische Korrelationsverfahren wie die Pearson-Produkt-Moment-Korrelation und/oder Partikelfilter.
In einigen Ausführungsformen wird nach dem Erstellen einer Karte die Fahrzeuglokalisierung in Echtzeit über einen Partikelfilter erreicht. Partikelfilter sind im Gegensatz zu Bayes- oder Kalman-Filtern für nichtlineare Systeme geeignet. Zur Ortung eines Fahrzeugs werden Partikel um einen erwarteten Mittelwert über eine Gaußsche Wahrscheinlichkeitsverteilung erzeugt. Jedem Partikel wird ein nummerisches Gewicht zugeordnet, das die Genauigkeit der Partikelposition zur vorhergesagten Position repräsentiert. Die Sensordaten werden berücksichtigt und die Partikelgewichte den Sensordaten angepasst. Je enger die Annäherung des Partikels an die eingestellte Position des Sensors ist, desto größer ist der nummerische Wert der Partikelgewichte.
Sobald ein Aktionsbefehl auftritt, wird jedes Partikel an eine neue vorhergesagte Position aktualisiert. Die Sensordaten werden an der neuen vorhergesagten Position beobachtet und jedem Partikel wird ein neues Gewicht zugewiesen, das die Genauigkeit der Partikelposition in Bezug auf die vorhergesagte Position und die Sensordaten angibt. Die Partikel werden neu abgetastet, wobei die Gewichte mit der größten nummerischen Größe ausgewählt werden, was die Genauigkeit der vorhergesagten und sensorkorrigierten Objektposition erhöht. Typischerweise ergibt sich aus Mittelwert, Varianz und Standardabweichung der neu abgetasteten Daten die Wahrscheinlichkeit einer neuen Objektposition.
Die Verarbeitung des Partikelfilters wird ausgedrückt als: $P (H_{t} | H_{t - 1}, A_{t}, D_{t})$
wobei Ht die aktuelle Hypothese ist, welche die Objektposition ist. Ht-i ist die vorhergehende Objektposition, At ist die Handlung, die typischerweise ein Motorbefehl ist, und Dt sind die beobachtbaren Daten.
In einigen Ausführungsformen behält das Lokalisierungs- und Abbildungsmodul 40 eine Schätzung der globalen Position des Fahrzeugs bei, indem es Daten aus mehreren Quellen einbezieht, wie zuvor in einem erweiterten Kalman-Filter (EKF)-Framework erläutert. Kalman-Filter sind lineare Filter, die auf rekursiven Bayes'schen Filtern basieren. Rekursive Bayes'sche Filter, die auch als Rekursive Bayes'sche Schätzung bezeichnet werden, ersetzen im Wesentlichen das Posterior einer Schätzung in die vorherige Position, um ein neues Posterior auf einer neuen Iteration der Schätzung zu berechnen. Dies ergibt effektiv: $P (H_{t} | H_{t - 1}, D_{t})$
wobei die Wahrscheinlichkeit einer Hypothese Ht durch die Hypothese bei der vorhergehenden Iteration H_t-1 und die Daten Dt zur aktuellen Zeit t bewertet wird.
Ein Kalman-Filter fügt eine Aktionsvariable At hinzu, wobei t eine Zeit-Iteration ist, woraus sich ergibt: $P (H_{t} | H_{t - 1}, A_{t}, D_{t})$
wobei die Wahrscheinlichkeit einer Hypothese Ht auf der vorhergehenden Hypothese H_t-1, einer Handlung At, und der Daten Dt zum gegenwärtigen Zeitpunkt t basiert.
Ein Kalman-Filter, in der Robotik verbreitet genutzt, schätzt eine aktuelle Position, die eine gemeinsame Wahrscheinlichkeitsverteilung ist und basierend auf einem Aktionsbefehl eine neue Position voraussagt, die auch eine gemeinsame Wahrscheinlichkeitsverteilung ist, die auch als Zustandsvorhersage bezeichnet wird. Es werden Sensordaten erfasst und eine getrennte gemeinsame Wahrscheinlichkeitsverteilung berechnet, die als Sensorvorhersage bezeichnet wird.
Die Zustandsvorhersage wird ausgedrückt als: $X_{t}^{'} = A X_{t - 1} + B μ + ε_{t}$
wobei X'_t ein neuer Zustand ist, der auf dem vorherigen Zustand AX_t-1, Bµ und _ξt basiert. Die Konstanten A und B sind von der Physik des Interesses bestimmt, wobei µ der Befehl des Robotermotors sein kann und ξ_t eine Gauß'sche Zustandsfehlervorhersage ist.
Die Sensorvorhersage wird ausgedrückt als: $Z_{t}^{'} = C X_{t} + ε_{z}$
wobei Z't der neue Sensorschätzwert, C eine Funktion und ξ_z eine Gauß'sche Sensorfehlervorhersage ist.
Eine neue Schätzung des vorhergesagten Zustandes wird ausgedrückt als: $X_{E S T} = X_{t}^{'} + K (Z_{t} - Z_{t}^{'})$
wobei das Produkt K(Zt - Z't) als Kalman-Verstärkungsfaktor bezeichnet wird. Wenn der Unterschied zwischen der Sensorvorhersage Z't und den tatsächlichen Sensordaten Zt ist. (das heißt wenn Zt - Z't) relativ annähernd Null ist, dann gilt X't als die neue Zustandsschätzung. Wenn Zt - Z't relativ größer als Null ist, wird der K(Zt - Z't) Faktor hinzugefügt, um eine neue Zustandsschätzung zu erhalten.
Sobald die Fahrzeugbewegungsinformationen empfangen werden, aktualisiert das EKF die Fahrzeugpositionsschätzung und erweitert gleichzeitig die geschätzte Kovarianz. Sobald die Sensorkovarianz in das EKF integriert ist, erzeugt das Lokalisierungs- und Abbildungsmodul 40 einen Lokalisierungs- und Abbildungsausgang 41, der die Position und Orientierung des Fahrzeugs 12 in Bezug auf erfasste Hindernisse und Straßenmerkmale beinhaltet.
Ein Fahrzeug-Odometrie-Modul 46 empfängt Daten 27 von den Fahrzeugsensoren 26 und erzeugt eine Fahrzeug-Odometrie-Ausgabe 47, die beispielsweise Fahrzeugkurs- und Geschwindigkeits- und Entfernungsinformationen beinhaltet. Ein absolutes Positionierungsmodul 42 empfängt die Lokalisierungs- und Abbildungsausgabe 41 und die Fahrzeug-Odometrieinformation 47 und erzeugt eine Fahrzeugpositionsausgabe 43, die in getrennten Berechnungen verwendet wird, wie unten erörtert wird.
Ein Objektvorhersagemodul 38 verwendet die Objektklassifizierungs- und Segmentierungsausgabe 37, um Parameter zu erzeugen, einschließlich, aber nicht beschränkt auf eine Position eines erkannten Hindernisses relativ zum Fahrzeug, einen vorhergesagten Weg des erkannten Hindernisses relativ zum Fahrzeug und eine Position und Orientierung der Fahrbahnen relativ zum Fahrzeug. Bayes'sche Modelle können in einigen Ausführungsformen verwendet werden, um die Absicht eines Fahrers oder Fußgängers basierend auf semantischen Informationen, vorheriger Trajektorien und unmittelbarer Pose vorherzusagen, wobei die Pose die Kombination von Position und Orientierung eines Objekts ist.
Der Bayes'sche Satz, in der Robotik verbreitet genutzt, auch als Bayes'scher Filter bezeichnet, ist eine Form der bedingten Wahrscheinlichkeit. Der Bayes'sche Satz, nachfolgend in Gleichung 7 dargestellt, enthält die These, dass die Wahrscheinlichkeit einer Hypothese H mit Daten D gleich der Wahrscheinlichkeit einer Hypothese H mal die Wahrscheinlichkeit der Daten D mit der Hypothese H ist, dividiert durch die Wahrscheinlichkeit der Daten P (D). $P (H | D) = \frac{P (H) P (D | H)}{P (D)}$
P(H/D) wird als Posterior bezeichnet und P(H) wird als Prior bezeichnet. Der Bayes'sche Satz misst einen Wahrscheinlichkeitsgrad der Überzeugung in einem Satz vor (dem Vorherigen) und nach (dem Nachfolgenden), wobei in Anbetracht der in den Daten enthaltenen Beweisen D. Bayes' Satz bei der Iteration rekursiv verwendet werden kann. Bei jeder neuen Iteration wird der vorherige Posterior zu dem vorhergehenden, um einen neuen Posterior zu erzeugen, bis die Iteration abgeschlossen ist. Daten über den vorhergesagten Weg von Objekten (einschließlich Fußgänger, umliegende Fahrzeuge und andere bewegte Objekte) werden als Objektvorhersageausgabe 39 ausgegeben und in getrennten Berechnungen verwendet, wie unten erörtert wird.
Das ADS 24 beinhaltet auch ein Beobachtungsmodul 44 und ein Interpretationsmodul 48. Das Beobachtungsmodul 44 erzeugt eine Beobachtungsausgabe 45, die vom Interpretationsmodul 48 empfangen wird. Das Beobachtungsmodul 44 und das Interpretationsmodul 48 erlauben den Zugriff durch die Fernzugriffszentrale 78. Ein Live-Experte oder Berater, z. B. der in 1 dargestellte Berater 86 kann optional die Objektvorhersageausgabe 39 überprüfen und zusätzliche Eingabe- und/oder Übersteuerungsautomatik-Fahrvorgänge bereitstellen und den Betrieb des Fahrzeugs annehmen, falls dies durch eine Fahrzeugsituation gewünscht oder erforderlich ist. Das Beobachtungs- und Interpretationsmodul 48 erzeugt eine interpretierte Ausgabe 49, die eine zusätzliche Eingabe durch den Live-Experten beinhaltet, falls vorhanden.
Ein Wegplanungsmodul 50 verarbeitet und synthetisiert die Objektvorhersageausgabe 39, die interpretierte Ausgabe 49 und zusätzliche Kursinformationen 79, die von einer Online-Datenbank oder der Fernzugriffszentrale 78 empfangen werden, um einen Fahrzeugweg zu ermitteln, der verfolgt werden soll, um das Fahrzeug unter Beachtung der Verkehrsgesetze und Vermeidung von erkannten Hindernissen auf dem gewünschten Kurs zu halten. Das Wegplanungsmodul 50 verwendet Algorithmen, die konfiguriert sind, um beliebige erkannte Hindernisse in der Nähe des Fahrzeugs zu vermeiden, das Fahrzeug in einer gegenwärtigen Fahrspur zu halten und das Fahrzeug auf dem gewünschten Kurs zu halten. Das Wegplanungsmodul 50 nutzt Positions-Graph-Optimierungstechniken, einschließlich der nichtlinearen kleinstquadratischen Positions-Graph-Optimierung, um die Karte der Fahrzeugtrajektorien in sechs Freiheitsgraden zu optimieren und Wegfehler zu reduzieren. Das Wegplanungsmodul 50 gibt die Fahrzeugweginformationen als Wegplanungsausgabe 51 aus. Der Wegplanungsausgangswert 51 beinhaltet eine vorgegebene Fahrzeugroute auf der Grundlage der Route, eine Fahrzeugposition relativ zu der Route, Position und Orientierung der Fahrspuren und das Vorhandensein und den Weg erfasster Hindernisse.
Ein erstes Steuermodul 52 verarbeitet und synthetisiert die Wegplanungsausgabe 51 und die Fahrzeugpositionsausgabe 43 zum Erzeugen einer ersten Steuerausgabe 53. Das erste Steuermodul 52 enthält auch die Kursinformation 79, die von der Fernzugriffszentrale 78, im Falle einer Fernübernahmebetriebsart des Fahrzeugs bereitgestellt wird.
Ein Fahrzeugsteuermodul 54 empfängt die erste Steuerausgabe 53 sowie die Geschwindigkeits- und Kursinformation 47, die von der Fahrzeug-Odometrie 46 empfangen wird, und erzeugt einen Fahrzeugsteuerausgabe 55. Die Fahrzeugsteuerausgabe 55 beinhaltet einen Satz Stellgliedbefehle, um den befohlenen Weg vom Fahrzeugsteuermodul 54 zu erreichen, einschließlich, jedoch nicht beschränkt auf einen Lenkbefehl, einen Schaltbefehl, einen Drosselbefehl und einen Bremsbefehl.
Die Fahrzeugsteuerausgabe 55 wird an die Stellglieder 30 übermittelt. In einer exemplarischen Ausführungsform beinhalten die Stellglieder 30 eine Lenksteuerung, eine Schaltsteuerung, eine Drosselsteuerung und eine Bremssteuerung. Die Lenksteuerung kann beispielsweise ein Lenksystem 16 steuern, wie in 1 veranschaulicht. Die Gangschaltsteuerung kann beispielsweise ein Getriebe 14 steuern, wie in 1 veranschaulicht. Die Drosselklappensteuerung kann beispielsweise ein Antriebssystem 13 steuern, wie in 1 veranschaulicht. Die Bremssteuerung kann beispielsweise die Radbremsen 17 steuern, wie in 1 veranschaulicht.
Es versteht sich, dass das offenbarte Verfahren mit einer beliebigen Anzahl an unterschiedlichen Systemen verwendet werden kann und nicht speziell auf die hierin dargestellte Betriebsumgebung einschränkt ist. Die Architektur, der Aufbau, die Konfiguration und der Betrieb des Systems 10 und dessen einzelne Komponenten sind allgemein bekannt. Darüber hinaus können weitere hier nicht dargestellte Systeme ebenfalls die offenbarten Verfahren verwenden.
Nun zeigt 3 eine exemplarische Umgebung 300 zum Implementieren der vorliegenden offenbarten Systeme und Verfahren. Bei der darstellenden Ausführungsform fährt ein Fahrzeug 310 mit einem betriebsbereiten LIDAR-System. Das System hat einen Sender, der betriebsbereit ist und gepulstes Licht oder Laser 330 vom Fahrzeug 310 weg sendet. Ein Teil des gepulsten Lichts trifft an den Objekten 320 um das Fahrzeug herum ein und ein reflektiertes Signal wird an einen Empfänger am Fahrzeug zurückgesandt. Das Fahrzeug ist auch mit einem Prozessor ausgestattet, der das zurückgesendete Signal verarbeitet, um die Amplitude, Laufzeit und Phasenverschiebung unter anderen Merkmalen zu messen, um die Entfernung zu den Objekten 320, sowie die Größe und Geschwindigkeit der Objekte 320 zu ermitteln.
Nun zeigt 4 ein funktionelles Blockschaltbild eines LIDAR-Systems 400 nach einem exemplarischen Verfahren und System. Der LIDAR-Empfänger 410 ist betriebsbereit, um einen Laserstrahl zu erzeugen, diesen zu senden und die von einem Objekt innerhalb des Sichtfelds gestreuten/reflektierte Laserenergie zu erfassen. Der Scanner 420 bewegt den Laserstrahl über die Zielbereiche, das Positions-Lagemesssystem (POS) misst die Sensorposition und -lage 430, der Systemprozessor 440 steuert alle oben genannten Aktionen, das Fahrzeugsteuersystem und die Benutzeroberfläche 450, Datenspeicher 460.
Der LIDAR-Empfänger 410 ist betriebsbereit, um einen Laserstrahl zu erzeugen, diesen zum Sichtfeld zu senden und von einem Ziel reflektierte Energie zu erfassen. LIDAR-Sensoren nutzen Laufzeitmessungen, um die Entfernung von Objekten zur ermitteln, von denen die gepulsten Laserstrahlen reflektiert werden. Das oszillierende Lichtsignal wird vom Ziel reflektiert und vom Detektor innerhalb des LIDAR-Empfängers 410 mit einer Phasenverschiebung erfasst, die von der Entfernung des Objekts vom Sensor abhängt. Ein elektronischer Phasenregelkreis (PLL) kann verwendet werden, um die Phasenverschiebung aus dem Signal zu extrahieren und diese Phasenverschiebung wird unter Verwendung bekannter Techniken in eine Entfernung übersetzt. Der Detektor kann auch eine Spitzenerkennung einsetzen.
Der Scanner 420 dient zum Bewegen des Laserstrahls über das Sichtfeld. In einer exemplarischen Anwendung, wird ein Drehspiegel verwendet, um einen stationären Laser über das Sichtfeld hinweg zu reflektieren. In einer weiteren exemplarischen Anwendung wird eine Anzahl an festen Lasern in unterschiedliche Richtungen gepulst, um ein Sichtfeld-Objektmodell zu generieren.
Ein POS 430 wird verwendet, um die Zeit, Position und Ausrichtung des Scanners 420 zu ermitteln, wenn ein Laser gepulst wird. Das System kann einen GPS-Sensor, ein inertiales Messsystem und weitere Sensoren beinhalten. Der POS kann weiter betriebsbereit sein, um die Entfernungsmessung, den Scanwinkel, die Sensorposition, die Sensorausrichtung und die Signalamplitude zu ermitteln. Die vom POS 430 generierten Daten können mit den vom LIDAR-Empfänger 410 generierten Daten kombiniert werden, um ein Sichtfeld-Objektmodell zu generieren.
Der Systemprozessor 440 ist betriebsbereit, um Steuersignale an den LiDAR-Empfänger 410, den POS 430 und den Scanner 420 zu senden und um Daten von diesen Vorrichtungen zu empfangen. Der Systemprozessor 240 empfängt die Daten und ermittelt den Standort von Objekten innerhalb des Sichtfelds und er kann weitere Informationen, wie die Geschwindigkeit von Objekten, die Zusammensetzung von Objekten, die Signalfilterung usw., ermitteln. Der Speicher 460 ist betriebsbereit, um digitale Darstellungen von zurückgesendeten Signalimpulsen zu speichern und/oder um digitale Daten zu speichern, die vom Systemprozessor 440 berechnet wurden. Das Fahrzeugsteuersystem/die Bedienoberfläche 450 ist betriebsbereit, um Eingaben von einem Benutzer zu empfangen, um nach Bedarf Ergebnisse anzuzeigen und als Option, um Fahrzeugsteuersignale in Reaktion auf die vom Systemprozessor 440 generierten Daten zu generieren. Fahrzeugsteuersignale können zur Steuerung eines autonomen Fahrzeugs verwendet werden, die u. a. zum Vermeiden von Zusammenstößen oder als Fahrerwamsystem genutzt werden können.
5 ist ein Blockdiagramm eines Array-LiDAR-Systems 500 gemäß einer exemplarischen Ausführungsform. Um der inhärent langen Erfassungszeit für LiDAR-Arrays zu begegnen, verwendet das vorliegende System zwei LiDAR-Sender 510, 511, die einzelne LiDAR-Sender oder LiDAR-Arrays sein können. In dieser exemplarischen Ausführungsform sendet der erste LiDAR-Sender 510 eine mit einer ersten Frequenz amplitudenmodulierte Lichtwelle 512 und der zweite LiDAR-Sender 511 eine mit einer zweiten Frequenz amplitudenmodulierte Lichtwelle 513. Jeder Laser kann ein oberflächenemittierender Vertikalresonatorlaser (VCSEL) sein. Eine VCSEL ist eine halbleiterbasierte Laserdiode, die einen optischen Strahl senkrecht von ihrer Oberfläche emittiert, wie dargestellt. Die Lichtwellen sind kontinuierliche Wellenübertragungen oder können sehr lange gepulste Wellen sein, wobei die Pulsdauer größer ist als die Laufzeit der übertragenen und zurückgegebenen Welle.
Die von jedem Laser emittierte Lichtwelle 512 513 bildet ein Sichtfeld. Jedes Objekt 515 im Sichtfeld des LiDAR-Senders 510 511 führt zu Reflexionen 516, die an einem Bandpassfilter (BPF) 520 empfangen werden. Die Reflexionen 516 im Sichtfeld der Empfangsseite des Array-LiDAR-Systems 500 werden durch den BPF 520 gefiltert. Der BPF 520 kann die beiden Reflexionen 516 entsprechend ihrer jeweiligen Amplitudenmodulationen trennen und die Reflexionen 516 durch eine erste Linse 525 und eine zweite Linse 526 zu einer ersten Lawinenphotodiode (APD) 535 und einer zweiten APD 536 fokussieren, die das empfangene und gefilterte Licht in ein elektrisches Signal umwandelt. Dieses elektrische Signal wird von einem ersten Verstärker 6 oder einem zweiten Verstärker 7 verstärkt und einem Auswertsystem 530 zugeführt. Das Verarbeitungssystem 530 kann das letztendlich als Laserstrahl 512 emittierte Signal erzeugen. Das erzeugte Signal kann einen ersten Amplitudenmodulator 505 zum Erzeugen eines ersten Signals oder einen zweiten Amplitudenmodulator zum Erzeugen eines zweiten Signals durchlaufen. Die ersten oder zweiten Signale können durch einen Verstärker 2 3 verstärkt und dann entweder an den ersten oder zweiten LiDAR-Sender 512 513 angelegt werden, wobei sie in Lichtimpulse mit unterschiedlichen Wellenlängen umgewandelt werden.
Das System wird mit mehreren Quellen parallel betrieben, wobei die Quellen bei einigen MHz amplitudenmoduliert sind und jede Quelle eine andere Modulationsfrequenz aufweist. Die detektierte Signalhüllkurve setzt sich somit aus mehreren amplitudenmodulierten Signalen zusammen. Jedes Einzelfrequenzsignal - Amplitude und Phase - kann durch Mischen mit einem Referenzsignal und Integrieren mittels eines Lock-in-Verstärkerprinzips getrennt werden.
Das exemplarische LiDAR-System 500 ist in der Lage, Lichtwellen mit unterschiedlichen Wellenlängen so zu übertragen, dass zwei Lichtimpulse empfangen und durch eine Parallelschaltung im Verstärker oder dergleichen getrennt werden können. Dadurch können zwei Lichtimpulse gleichzeitig übertragen werden, wodurch die Abtastzeit eines LiDAR-Arrays um die Hälfte reduziert oder die Abtastpunkte innerhalb eines Sichtfeldes für die gleiche Aufnahmezeit verdoppelt werden.
Der Prozessor 530 ist betriebsbereit, um Steuersignale zu erzeugen, die den Empfängerabschnitt des LiDAR und den Senderabschnitt des LiDAR steuern. Diese Steuersignale können zum Steuern der Frequenz der Amplitudenmodulation der Lichtwelle, der Start- und Stoppzeiten der Lichtwelle und der Amplitude des Impulses verwendet werden. Zusätzlich können die Steuersignale den Empfängerabschnitt steuern, sodass der LiDAR 500 betriebsbereit ist, um reflektierte gepulste Lasersignale zu empfangen, die mit unterschiedlichen Frequenzen, Pulsraten und/oder Pulsbreiten amplitudenmoduliert sind. In einer exemplarischen Ausführungsform erzeugt der Prozessor 530 ein erstes Steuersignal, sodass der erste Sender 510 einen mit einer ersten bekannten Frequenz amplitudenmodulierten Lichtimpuls sendet. Der Prozessor 530 ist weiterhin betriebsbereit, um ein zweites Steuersignal zu erzeugen, sodass der zweite Sender 511 einen zweiten Lichtimpuls mit einer zweiten bekannten Frequenz sendet. Somit wird der Laser für eine bekannte Zeitdauer pro Impuls ausgesendet. Der Prozessor 530 erzeugt zudem ein Steuersignal, sodass der Empfängerabschnitt betriebsbereit ist, um eine reflektierte Darstellung des ersten und zweiten Lichtimpulses zu empfangen, und die Frequenz der Amplitudenmodulation der empfangenen Lichtimpulse zu bestimmen.
Die Erhöhung der Bildrate des VCSEL-Arrays wird durch eine räumlich/zeitlich kohärente VCSEL-Gruppierung erleichtert. Das offenbarte System reduziert den Kompromiss zwischen der erforderlichen SNR und der Bildrate, indem es lange Vorlaufzeiten für die Sondierung näherer Ziele nutzt. Ziele des derzeitigen Systems sind unter anderem eine einstellbare oder erhöhte Abtastrate des Festkörper-LiDAR, ein optimales SNR-Budgetmanagement und reduzierte Kosten für das Elektronikdesign. Dies führt zu einer verbesserten LiDAR-Leistung und einer fertigungsgerechten Gestaltung.
Mit Bezug nun auf 6 ist ein exemplarisches Verfahren der parallelen Aufnahme unter Verwendung der Lock-in-Verstärkung in LiDAR-Arrays dargestellt. Das Verfahren ist zunächst betriebsbereit, um gleichzeitig eine erste, mit einer ersten Frequenz modulierte Lichtwelle und eine zweite, mit einer zweiten Frequenz 610 modulierte Lichtwelle zu übertragen. Das Verfahren ist dann betriebsbereit, um eine reflektierte Darstellung der ersten Lichttraufe 620 zu erhalten. Das Verfahren ist dann betriebsbereit, um die reflektierte Darstellung der ersten Lichtwelle bei der ersten Frequenz 630 zu filtern. Das Verfahren ist dann betriebsbereit, um eine reflektierte Darstellung der zweiten Lichttraufe 640 zu erhalten. Das Verfahren ist dann betriebsbereit, um die reflektierte Darstellung der zweiten Lichtwelle bei der zweiten Frequenz 650 durch einen Bandpassfilter zu filtern. Das Verfahren ist dann betriebsbereit, um die Entfernung eines Objekts als Reaktion auf die reflektierte Darstellung der ersten Lichtwelle und der zweiten Lichtraufe 660 zu bestimmen.
Obwohl diese exemplarische Ausführungsform im Kontext eines voll funktionierenden Computersystems beschrieben wird, versteht es sich, dass Fachleute auf diesem Gebiet erkennen werden, dass die Mechanismen der vorliegenden Offenbarung als ein Programmprodukt mit einer oder mehreren Arten von nicht flüchtigen computerlesbaren Signalträgermedien verbreitet werden können, die verwendet werden, um das Programm und die zugehörigen Befehle zu speichern und deren Verbreitung auszuführen, wie ein nichtflüchtiges computerlesbares Medium, welches das Programm und Computerbefehle enthält, die darin gespeichert sind, um einen Computerprozessor zu veranlassen, das Programm auszuführen. Ein derartiges Programmprodukt kann vielerlei Formen annehmen, wobei die vorliegende Offenbarung in gleicher Weise, unabhängig von der spezifischen für die Verbreitung verwendeten Art von computerlesbarem Signalträgermedium, Anwendung findet. Zu den Beispielen für Signalträgermedien gehören: beschreibbare Medien, wie beispielsweise Disketten, Festplatten, Speicherkarten und optische Speicherplatten, sowie Übertragungsmedien, wie beispielsweise digitale und analoge Kommunikationsverbindungen.

Claims

Verfahren, umfassend: - das Übertragen eines ersten Lichtimpulses mit einer ersten Frequenz und eines zweiten Lichtimpulses mit einer zweiten Frequenz; - das Empfangen einer reflektierten Darstellung des ersten Lichtimpulses. - das Filtern der reflektierten Darstellung des ersten Lichtimpulses bei der ersten Frequenz; - das Empfangen einer reflektierten Darstellung des zweiten Lichtimpulses; - das Filtern der reflektierten Darstellung des zweiten Lichtimpulses bei der zweiten Frequenz; und - das Bestimmen der Entfernung eines Objekts als Reaktion auf die reflektierte Darstellung des ersten Lichtimpulses und die reflektierte Darstellung des zweiten Lichtimpulses.
Verfahren nach Anspruch 1, worin der erste Lichtimpuls und der zweite Lichtimpuls gleichzeitig übertragen werden.
Verfahren nach Anspruch 1, worin das Filtern der reflektierten Darstellung des ersten Lichtimpulses durch einen Lock-in-Verstärker durchgeführt wird.
Verfahren nach Anspruch 1, worin die reflektierte Darstellung des ersten Lichtimpulses und die reflektierte Darstellung des zweiten Lichtimpulses von einem gemeinsamen Detektor empfangen werden.
LiDAR-System, umfassend: - einen ersten Sender zum Übertragen eines ersten Lichtimpulses mit einer ersten Frequenz; - einen zweiten Sender zum Übertragen eines zweiten Lichtimpulses mit einer zweiten Frequenz; - einen Detektor zum Erfassen einer reflektierten Darstellung des ersten Lichtimpulses und einer reflektierten Darstellung des zweiten Lichtimpulses; - einen ersten Filter zum Filtern der reflektierten Darstellung des ersten Lichtimpulses bei der ersten Frequenz, um einen ersten gefilterten Lichtimpuls zu erzeugen; - einen zweiten Filter zum Filtern der reflektierten Darstellung des zweiten Lichtimpulses bei der zweiten Frequenz, um einen zweiten gefilterten Lichtimpuls zu erzeugen; und - einen Prozessor zum Bestimmen der Entfernung eines Objekts als Reaktion auf den ersten gefilterten Lichtimpuls und den zweiten gefilterten Lichtimpuls.
LiDAR-System nach Anspruch 5, worin der erste Lichtimpuls und der zweite Lichtimpuls gleichzeitig übertragen werden.
Das LiDAR-System nach Anspruch 5, worin das erste Filter eine parallele Verriegelung im Verstärker ist.
Vorrichtung, umfassend: - ein erstes Sender-Array zum Übertragen eines ersten Vielzahl an Lichtimpulsen bei einer ersten Frequenz; - ein zweites Sender-Array zum Übertragen einer zweiten Vielzahl an Lichtimpulsen bei einer zweiten Frequenz; - einen Detektor zum Erfassen der ersten Vielzahl an Lichtimpulsen und der zweiten Vielzahl an Lichtimpulsen und zum Erzeugen eines analogen Signals als Reaktion auf die erste Vielzahl an Lichtimpulsen und die zweite Vielzahl an Lichtimpulsen; - einen ersten Prozessor zum Erzeugen eines ersten Datensignals, das die erste Vielzahl an Lichtimpulsen als Reaktion auf das analoge Signal darstellt, und zum Erzeugen eines zweiten Datensignals, das die zweite Vielzahl an Lichtimpulsen als Reaktion auf das analoge Signal darstellt; und - einen zweiten Prozessor zum Bestimmen der Entfernung eines Objekts als Reaktion auf das erste Datensignal und das zweite Datensignal.
Vorrichtung nach Anspruch 8, worin mindestens einer der ersten Lichtimpulse und mindestens einer der zweiten Lichtimpulse gleichzeitig übertragen werden.
Vorrichtung nach Anspruch 8, ferner umfassend einen Analog-Digital-Wandler zum Umwandeln des analogen Signals in ein digitales Signal, worin der erste Prozessor ein digitaler Signalprozessor ist.