DE102016104463B4

DE102016104463B4 - Mehrdimensionale Verschmelzung von Bildern in Echtzeit

Info

Publication number: DE102016104463B4
Application number: DE102016104463.6A
Authority: DE
Inventors: Robert C. Allen; Brendan Blanton; Lauren Gresko; Rajib Mitra; Frank Vincent
Original assignee: Boeing Co
Current assignee: Boeing Co
Priority date: 2015-03-11
Filing date: 2016-03-11
Publication date: 2023-07-27
Anticipated expiration: 2036-03-12
Also published as: DE102016104463A1; US20160266256A1; US10210401B2; JP6883948B2; US20170293810A1; US9715016B2; JP2016189184A

Abstract

Verfahren (400) zum Erzeugen eines synthetischen Bilds, das eine Umgebung eines Fahrzeugs darstellt, wobei das Verfahren aufweist:Erzeugen (402) eines ersten Bildes der Umgebung, indem Infrarotinformation von einer Infrarot(IR)-Kamera auf dem Fahrzeug verwendet wird;Erzeugen (404) eines zweiten Bildes der Umgebung, indem Laser-Punktwolken-Daten von einem LIDAR auf dem Fahrzeug verwendet werden;Erzeugen (406) einer eingebetteten Punktwolke, die die Umgebung darstellt, basierend auf einer Kombination des ersten Bildes und des zweiten Bildes derart, dass zusätzliche Daten in die Laser-Punktwolken-Daten eingebettet werden;Empfangen (408) von Navigationsinformation von der Umgebung, die von dem Fahrzeug durchquert wird, aus Daten, die in einer Navigationsdatenbank gespeichert sind;Umwandeln (410) der eingebetteten Punktwolke in einen geo-referenzierten Koordinatenraum basierend auf der Navigationsinformation; undKombinieren (412) der umgewandelten eingebetteten Punktwolke mit Bildern des Terrains der Umgebung, um das synthetische Bild zu erzeugen, das die Umgebung des Fahrzeugs darstellt,wobei das Erzeugen der eingebetteten Punktwolke aufweist:für jeden Laser-Datenpunkt der Laser-Punktwolken-Daten von dem LIDAR, Projizieren des Laser-Datenpunkts auf einen entsprechenden Pixel-Ort des ersten Bildes, um die Laser-Punktwolken-Daten auf das erste Bild zu mappen.

Description

GEBIET
Die vorliegende Offenbarung betrifft allgemein die Erzeugung einer synthetischen 3D-Darstellung einer Umgebung eines Fahrzeugs basierend auf einer Echtzeitverschmelzung von Daten von mehreren Sensoren, wobei das Bild auf einem multifunktionalen Display (MFD) des Fahrzeugs und/oder einem Helm- oder Kopf-verbundenen Display (HMD) angezeigt wird.
HINTERGRUND
Während einiger Flugoperationen können Störungen bzw. Verdunkelungen in der Atmosphäre, wie beispielsweise durch Regen, Schnee, Staub und/oder Sand, die Sicht eines Piloten einschränken. Die Fähigkeit des Piloten, das Flugzeug unter allen Wetterbedingungen zu führen, kann deshalb in einigen Betriebssituationen beschränkt sein. Während einige Flugzeugsysteme, wie beispielsweise Radar, dem Piloten zusätzliche Information betreffend der Umgebung des Flugzeugs geben, kann diese zusätzliche Information nicht ausreichend sein, um dem Piloten ein Rollen auf der Start/Landebahn, ein Starten und/oder Landen unter allen Bedingungen zu ermöglichen, wenn signifikante Störungen bzw. Verdunkelungen in der Atmosphäre vorhanden sind.
US 2010/0231705 A1 betrifft gemäß Zusammenfassung ein Sichtsystem zur Unterstützung der Flugzeugsteuerung, wobei das System einen Sichtliniendetektor zum Bestimmen der Sichtlinie des Piloten des Flugzeugs, ein vom Piloten getragenes Head Mounted Display (HMD) und einen Prozessor umfasst, der die ermittelte Sichtlinie vom Sichtliniendetektor empfängt, ein räumliches Bild der externen Szene zum Flugzeug erzeugt, symbolische Informationen bezüglich der Flugzeugführung ermittelt und die symbolischen Informationen dem räumlichen Bild überlagert, um ein kombiniertes räumliches und symbolisches Bild zu erzeugen, wobei das HMD dem Piloten das kombinierte räumliche und symbolische Bild in Echtzeit in Übereinstimmung mit der bestimmten Sichtlinie anzeigt. Das räumliche Bild kann ein aus einem Sensorbild und einem synthetischen Bild kombiniertes Bild sein. An das HMD kann eine Kommunikationsschnittstelle gekoppelt sein, die es dem Piloten ermöglicht, Fluganweisungen zu empfangen und zu bestätigen
JP 2003 302470 A offenbart eine Fußgänger-Erfassungseinrichtung, die ein Laser-Radar umfasst, um die Entfernung und die Richtung zu einem Objekt zu bestimmen.
US 2008/0158256 A1 offenbart ein Verfahren und ein System zur Bereitstellung einer perspektivischen Ansicht, indem eine Vielzahl von Sensordaten fusioniert werden.
ZUSAMMENFASSUNG
In einem Beispiel wird ein Verfahren zum Erzeugen eines synthetischen Bildes beschrieben, das eine Umgebung eines Fahrzeugs darstellt. Das Verfahren, welches in Anspruch 1 definiert ist, umfasst das Erzeugen eines ersten Bildes der Umgebung, indem Infrarotinformation von einer Infrarot(IR)-Kamera auf dem Fahrzeug benutzt wird, Erzeugen eines zweiten Bildes der Umgebung, indem Laser-Punktwolken-Daten von einem LIDAR auf dem Fahrzeug verwendet werden, Erzeugen einer eingebetteten Punktwolke, die die Umgebung darstellt, basierend auf einer Kombination des ersten Bildes und des zweiten Bildes derart, dass zusätzliche Daten in die Laser-Punktwolken-Daten eingebettet sind, Empfangen von Navigationsinformation von der Umgebung, die das Fahrzeug durchquert, von Daten, die in einer Navigationsdatenbank gespeichert sind, Umformen der eingebetteten Punktwolke in einen geo-referenzierten Koordinatenraum basierend auf der Navigationsinformation, und Kombinieren der umgewandelten eingebetteten Punktwolke mit Bildern des Terrains der Umgebung, um das synthetische Bild zu erzeugen, das die Umgebung des Fahrzeugs darstellt, wobei das Erzeugen der eingebetteten Punktwolke das folgende Merkmal aufweist: für jeden Laser-Datenpunkt der Laser-Punktwolken-Daten von dem LIDAR, Projizieren des Laser-Datenpunkts auf einen entsprechenden Pixel-Ort des ersten Bildes, um die Laser-Punktwolken-Daten auf das erste Bild zu mappen.
In einem anderen Beispiel wird ein nicht flüchtiges computerlesbares Medium beschrieben, das Befehle abgespeichert enthält, die, wenn sie von einer Computervorrichtung ausgeführt werden, die Computervorrichtung veranlasst, Funktionen auszuführen. Die Funktionen umfassen das Erzeugen eines ersten Bildes der Umgebung, indem Infrarotinformation benutzt wird, die von einer Infrarot(IR)-Kamera auf einem Fahrzeug gesammelt wird, Erzeugen eines zweiten Bildes der Umgebung, indem Laser-Punktwolken-Daten benutzt werden, die von einem LI DAR auf dem Fahrzeug gesammelt werden, Erzeugen einer eingebetteten Punktwolke, die die Umgebung darstellt, basierend auf einer Kombination des ersten Bildes und des zweiten Bildes, derart, dass zusätzliche Daten in die Laser-Punktwolken-Daten eingebettet werden, Empfangen von Navigationsinformation von der Umgebung, die von dem Fahrzeug durchquert wird, von Daten, die in einer Navigationsdatenbank gespeichert sind, Umwandeln der eingebetteten Punktwolke in einen geo-referenzierten Koordinatenraum basierend auf der Navigationsinformation, und Kombinieren der umgewandelten eingebetteten Punktwolke mit Bildern des Terrains der Umgebung, um das synthetische Bild zu erzeugen, das die Umgebung des Fahrzeugs darstellt.
In einem anderen Beispiel wird ein System beschrieben. Das System, welches in Anspruch 13 definiert ist, weist eine Infrarot(IR)-Kamera auf, um Infrarotinformation von einer Umgebung eines Fahrzeugs zu sammeln. Ferner weist es ein LIDAR auf, um Laser-Punktwolken-Daten der Umgebung des Fahrzeugs zu sammeln, ein Navigationssystem, das ausgelegt ist, um Navigationsinformation des Fahrzeugs zu bestimmen, und einen Prozessor aufweist, um eine synthetische Darstellung der Umgebung des Fahrzeugs zu erzeugen in Echtzeit, während das Fahrzeug die Umgebung durchquert, basierend auf Ausgangssignalen der IR-Kamera, des LIDAR und des Navigationssystems. Erzeugen der synthetischen Darstellung umfasst das Erzeugen einer eingebetteten Punktwolke, die die Umgebung darstellt, basierend auf einer Kombination der Infrarotinformation und der Laser-Punktwolken-Daten, derart, dass zusätzliche Daten in die Laser-Punktwolken-Daten eingebettet werden, für jeden Laser-Datenpunkt der Laser-Punktwolken-Daten von dem LIDAR, Projizieren des Laser-Datenpunkts auf einen entsprechenden Pixel-Ort der Infrarotinformation, um die Laser-Punktwolken-Daten auf das erste Bild zu mappen, und Kombinieren der eingebetteten Punktwolke mit Bildern des Terrains der Umgebung. Das System umfasst auch ein Display bzw. eine Anzeige, um das synthetische Bild des Terrains der Umgebung auf einem Display des Fahrzeugs darzustellen.
Die Merkmale, Funktionen und Vorteile, die hier beschrieben werden, können unabhängig in verschiedenen Ausführungsformen erreicht werden oder können auch in anderen Ausführungsformen kombiniert werden, wobei weitere Details sich mit Bezug auf die nachfolgende Beschreibung und Zeichnungen ergeben.
Figurenliste
Die neuen Merkmale und Eigenschaften der beispielhaften Ausführungsformen sind in den angehängten Ansprüchen ausgeführt. Die beispielhaften Ausführungsformen sowie ein bevorzugter Benutzungsmodus sowie weitere Aufgaben und Erläuterungen werden am besten durch Bezugnahme auf die nachfolgende detaillierte Beschreibung einer beispielhaften Ausführungsform der vorliegenden Offenbarung verstanden, wenn sie in Verbindung mit den begleitenden Zeichnungen gelesen wird, wobei:

1 ein Blockdiagramm eines beispielhaften Systems zur Erzeugung synthetischer Bilder ist, die eine Umgebung eines Fahrzeugs, wie beispielsweise eines Flugzeugs, darstellen, gemäß einer beispielhaften Ausführungsform;
2 ein Diagramm ist, das ein System mit funktionalen Komponenten zur Erzeugung eines synthetischen Bilds darstellt, das eine Umgebung eines Fahrzeugs repräsentiert, entsprechend einer beispielhaften Ausführungsform;
3 ein Diagramm ist, das ein detailliertes System mit funktionalen Komponenten zur Erzeugung eines synthetischen Bilds darstellt, das eine Umgebung eines Fahrzeugs repräsentiert, entsprechend einer beispielhaften Ausführungsform;
4 ein Flussdiagramm eines beispielhaften Verfahrens zum Erzeugen eines synthetischen Bilds zeigt, das eine Umgebung eines Fahrzeugs entsprechend einer beispielhaften Ausführungsform repräsentiert;
5 ein Beispiel eines synthetischen Bilds ist, das eine Umgebung eines Fahrzeugs darstellt, entsprechend einer beispielhaften Ausführungsform; und
6 eine schematische Zeichnung einer beispielhaften Computervorrichtung zeigt, entsprechend einer beispielhaften Ausführungsform.

DETAILLIERTE BESCHREIBUNG
Offenbarte Ausführungsformen werden nun in größerem Detail nachfolgend mit Bezug auf die begleitenden Zeichnungen erläutert, in denen einige, aber nicht alle der offenbarten Ausführungsformen gezeigt sind. Verschiedene unterschiedliche Ausführungsformen werden tatsächlich beschrieben und sollen nicht als die Ausführungsformen beschränkend verstanden werden, die hier ausgeführt sind. Vielmehr sind diese Ausführungsformen so beschrieben, dass diese Offenbarung umfassend und vollständig sein wird und der volle Umfang der Offenbarung sich einem Fachmann erschließen wird.
Manchmal während Flugoperationen bei Bedingungen mit einer Sicht nahe Null (nahe „Null-Sicht“) oder ohne Sicht (einer „Null-Sicht“) aufgrund von vorhandenen Störungen bzw. Verdunkelungen in der Atmosphäre (beispielsweise Regen, Schnee, Staub, Sand) ist die Sicht von Flugzeugbesatzungen eingeschränkt. Beispielhafte Systeme und Verfahren, die hier beschrieben sind, können eingesetzt werden, um den Flugzeugbesatzungen ein synthetisch erzeugtes Bild zu präsentieren, basierend auf einem zunehmenden und/oder abnehmenden Grad der Verdunkelung, zur Anzeige auf einem Multifunktionsdisplay und/oder einem Helm-integrierten Display eines Flugzeugs. Wenn sich die Dichte der Verdunkelung erhöht, kann die Intensität des synthetischen Bilds ebenfalls erhöht werden, und wenn die Verdunkelung verschwindet und sich in ihrer Intensität reduziert, kann die Intensität des synthetischen Bilds ebenfalls reduziert werden.
Beispielhafte Systeme und Verfahren umfassen somit das Erzeugen eines synthetischen Bilds, das von einem Piloten gesehen werden kann, wenn er bei nahe Null-Sicht-Bedingungen arbeitet. Ein beispielhaftes System umfasst eine langwellige Infrarot(IR)-Kamera, ein LIDAR (Licht-Erfassungs- und Entfernungsbestimmungs-)System, das Punktwolken-Daten erzeugt, ein System oder Datenbank, das/die ausgebildet ist, um dreidimensionale (3D) Navigationsinformationen zu speichern, und einen Prozessor, um das synthetische Bild basierend auf Ausgangssignalen der IR-Kamera, dem LI DAR und der 3D-Navigationsdatenbank zu erzeugen.
Ein beispielhaftes Verfahren zeigt verschmolzene bzw. vereinigte Bilder der Terraindatenbank des Flugzeugs mit Bildern, die aus mehreren Sensorausgangssignalen erzeugt wurden, um das synthetische Bild zu erzeugen. Das synthetische Bild kann aus mehreren (beispielsweise drei) überlagerten Bildern aufgebaut sein. Mehrere Bilder können Bilder sein, die ein Bild umfassen, das von einer Infrarot(IR)-Kamera (beispielsweise langwellige, mittelwellige oder kurzwellige oder andere IR-Kameras) erzeugt wurde, aufeinanderfolgende Bilder, die von einem RADAR-System oder Sensoren erzeugt wurden, die Punktwolken-Daten erzeugen (beispielsweise von einem LIDAR erfasst), und andere Bilder, wie beispielsweise ein Terrainbild, das aus Daten gewonnen wird, die in einer 3D-Navigationsdatenbank gespeichert sind. Die Bilder werden dann übereinandergelegt, um das synthetische Bild oder die synthetische Darstellung zu bilden. Jedes dieser drei Bilder, das zur Ausbildung des einzelnen synthetischen Bilds ausgewählt ist, kann mit einem Zeitstempel versehen sein, so dass alle Bilder etwa den gleichen Zeitpunkt darstellen. Der Ausgang ist ein in Echtzeit synthetisch erzeugtes Bild, das sowohl auf multifunktionalen Displays (MFD) als auch auf Kopf-verbundenen Displays (HMD) angezeigt wird, um es der Flugzeugbesatzung oder den Operatoren zu ermöglichen, sicher bei nahe Null- oder Null-Sicht-Bedingungen zu arbeiten.
Der Einsatz der beispielhaften Systeme und Verfahren kann die Sicherheit und die Situations-Wahrnehmung der Flugzeugbesatzung erhöhen, die bei Sichtflugregel(VFR)-Bedingungen oder weniger oder in verschlechterten Sichtumgebungen (DVE) arbeiten. Beispielsweise kann die Verwendung der Systeme und Verfahren, die hier beschrieben sind, Situationen verbessern, um es der Flugzeugbesatzung zu ermöglichen, sicherer zu arbeiten (beispielsweise zu rollen, zu starten, zu landen etc.) bei Sichtbedingungen, die gering sind, nahe null sind oder null sind.
Obgleich einige Beispiele sich hier auf ein Flugzeug und Flugzeugoperationen beziehen, können die Systeme und Verfahren bei jeglichem Fahrzeug angewendet werden, das in einer verdunkelten Atmosphäre betrieben wird, oder auf jede Atmosphäre, bei der eingebettete 3D-Punktwolken-Daten gesammelt werden und für die Echtzeit-Punktwolken-Visualisierung verwendet werden, was beispielsweise Automobilanwendungen, Bergbauanwendungen und/oder Flugzeuganwendungen umfasst, um einige Beispiele zu nennen. Solche Verfahren können ferner bei jeder Anwendung eingesetzt werden, die Verdunkelungen in der Atmosphäre oder der Umgebung erfährt oder auch nicht. Weitere Anwendungen umfassen die Benutzung der Verfahren, die hier beschrieben sind, für die Erfassung eines Hindernisses oder für die Kollisionsvermeidung für Boden- und Luftfahrzeuge.
Es wird nun auf die Figuren Bezug genommen. 1 ist ein Blockdiagramm eines beispielhaften Systems 100 zur Erzeugung von synthetischen Bildern, die eine Umgebung eines Fahrzeugs, beispielsweise eines Flugzeugs, darstellen. Das System 100 umfasst Sensoren 102, beispielsweise eine Infrarot(IR)-Kamera 104, ein LIDAR (Licht-Erfassungs- und Entfernungsmesssystem) 106, ein RADAR (Radioerfassungs- und -entfernungsmesssystem) 108 und möglicherweise andere Sensoren 110, die in Kommunikation mit einem Prozessor 112 sind. Das System 100 umfasst ferner eine dreidimensionale (3D) Terraindatenbank 114, die ebenfalls mit dem Prozessor 112 in Verbindung steht. Der Prozessor 112 kann Ausgangssignale der Sensoren 102 und der 3D-Terraindatenbank 114 empfangen, und die Ausgangssignale verarbeiten, um Ausgangsbilder 116 zu erzeugen, die in dem Datenspeicher 118 gespeichert werden. Das System 100 kann ferner ein Display bzw. eine Anzeige 120 aufweisen, die in Verbindung mit dem Datenspeicher 118 und/oder dem Prozessor 112 steht, um die Ausgangsbilder 116 zu empfangen und anzuzeigen.
Das System 100 kann vollständig innerhalb eines Fahrzeugs oder eines Flugzeugs sein, oder Teile des Systems 100 können in einem Flugzeug vorhanden sein (beispielsweise die Sensoren) und Teile des Systems können woanders sein oder innerhalb anderer Computervorrichtungen untergebracht sein (beispielsweise die 3D-Terraindatenbank).
Die IR-Kamera 104 kann eine langwellige IR-Kamera sein, die ausgelegt ist, um Infrarotinformation einer Umgebung eines Fahrzeugs oder eines Flugzeugs zu sammeln, und um ein Bild zu erzeugen, indem die Infrarotinformation benutzt wird.
Das LIDAR 106 kann die Entfernung zu Umgebungsmerkmalen abschätzen, während es eine Szene abtastet, um eine „Punktwolke“ aufzubauen, die reflektive Flächen in der Umgebung anzeigt. Individuelle Punkte in der Punktwolke können bestimmt werden durch Übertragung eines Laserimpulses und Erfassung eines Rückimpulses, falls vorhanden, der von einem Objekt in der Umgebung reflektiert wurde, und es kann dann eine Distanz zu dem Objekt bestimmt werden entsprechend einer Zeitverzögerung zwischen dem ausgesendeten Impuls und dem Empfang des reflektierten Impulses. Ein Laser oder ein Satz von Lasern können schnell und wiederholt Bereiche der Umgebung abtasten, um kontinuierlich Echtzeitinformation über Entfernungen zu reflektierenden Objekten in der Umgebung zu erzeugen. Das Kombinieren gemessener Entfernungen und Ausrichtungen der Laser, während jede Entfernung gemessen wird, ermöglicht es, eine dreidimensionale Position jedem zurückkommenden Impuls zuzuordnen. Auf diese Weise kann eine dreidimensionale Karte von Punkten (beispielsweise eine Punktwolke) für die gesamte abgetastete Zone erzeugt werden, wobei die Punkte Orte der reflektierten Merkmale in der Umgebung angeben. Das LIDAR 106 kann Punktwolken-Daten ausgeben oder kann Bilder ausgeben, die beispielsweise unter Verwendung der Punktwolken-Daten erzeugt wurden. Somit kann das LIDAR konfiguriert sein, um Laserpunktwolken-Daten der Umgebung des Fahrzeugs zu sammeln.
Das RADAR 108 ist ein Objekterfassungssensor, der Radio- bzw. Funkwellen einsetzt, um die Entfernung, Höhe, Richtung und Geschwindigkeit von Objekten in einer Umgebung zu bestimmen. Beispielsweise kann das RADAR eine Antenne aufweisen, die Impulse von Funkwellen oder Mikrowellen sendet, die von einem Objekt in deren Pfad zurückgeworfen werden. Das Objekt reflektiert einen Teil der Energie der Welle zu einem Empfänger des RADAR-Systems, um die Position des Objekts abzuschätzen oder zu bestimmen.
Der andere Sensor bzw. die anderen Sensoren 110 können eine Vielzahl von Sensoren aufweisen, die auf dem Fahrzeug für Navigationszwecke vorhanden sind, wie beispielsweise andere Abbildungskameras, Trägheitsmesseinheiten (IMUs), Temperatursensoren, SONAR oder andere Gruppen von Sensoren und optischen Komponenten. Bei einigen Beispielen können die Sensoren 110 ein Trägheitsnavigationssystem (INS) aufweisen, das ausgelegt ist, um Navigationsinformation des Fahrzeugs zu bestimmen, ein globales Positionserfassungssystem (GPS) zum Bestimmen von Navigationsinformation, oder ein anderes Navigationssystem.
Die 3D-Terraindatenbank 114 kann Terrainbilder speichern, die von einer Kamera auf dem Fahrzeug aufgenommen wurden, um eine visuelle Darstellung der Umgebung des Fahrzeugs zu erzeugen.
Der Prozessor 112 kann Ausgangssignale von den Sensoren 102 empfangen, um ein synthetisches Bild einer Umgebung oder eines Umfelds des Fahrzeugs zu erzeugen, in dem sich das System 100 befindet. Der Prozessor kann somit das synthetische Bild erzeugen, das die Umgebung des Fahrzeugs darstellt, in Echtzeit, während das Fahrzeug die Umgebung durchquert, basierend auf Ausgangssignalen der IR-Kamera 104, des LIDAR 106, des RADARs 108 und der Sensoren 110. Um dies zu tun, kann bei einem Beispiel der Prozessor 112 eine eingebettete Punktwolke erzeugen, die die Umgebung darstellt, basierend auf einer Kombination der Infrarotinformation von der IR-Kamera 104 und der Laser-Punktwolken-Daten von dem LIDAR 106, und kann die eingebettete Punktwolke mit Bildern des Terrains der Umgebung kombinieren, die von der 3D-Terraindatenbank 114 erhalten wurde. Die LIDAR-Daten umfassen Voxels mit x, y, z und Höhen-Koordinaten, und solche Werte werden auf die 2D-Sensordaten von der Kamera 104 gemappt bzw. abgebildet, wobei die Mappings in die Punktwolken-Daten als zusätzliche Metadaten eingebettet sind.
Terrainbilder aus der 3D-Terraindatenbank 114 können auf die eingebettete Punktwolke überlagert werden, um die Ausgangsbilder 116 zur Speicherung in dem Datenspeicher 118 und zur Anzeige zu erzeugen.
Die Ausgangsbilder 116 umfassen synthetisch und in Echtzeit erzeugte Bilder, die zu der Anzeige 120 gesendet werden, die sowohl multifunktionale Anzeigen (MFD) und Kopf-verbundene Displays (HMD) umfassen kann, um es der Flugzeugbesatzung zu ermöglichen, das synthetische Bild zu sehen. Die Anzeige 120 kann andere Anzeigen eines Fahrzeugs ebenfalls aufweisen.
Das System 100 kann ständig in Betrieb sein oder nach Anforderung durch die Operatoren im Fahrzeug, um die synthetischen Bilder der Umgebung des Fahrzeugs zu erzeugen und dem Piloten Zweit- bzw. Sekundärbilder anzuzeigen (zusätzlich zu den primären Ansichten innerhalb eines Sichtfelds des Piloten), oder um dem Piloten alternative virtuelle Bilder anzuzeigen während Nahe-Null- oder Null-Sicht-Bedingungen, für einen Betrieb mit verbesserter Sicherheit.
2 ist ein Diagramm, das ein System 200 mit funktionalen Komponenten zur Erzeugung eines synthetischen Bilds, das eine Umgebung eines Fahrzeugs darstellt, zeigt. Das System 200 umfasst Kamera(s) 202, wie beispielsweise eine visuelle Kamera, eine IR-Kamera oder eine passive Millimeterwellen(PMMW)-Abbildungsvorrichtung, um ein Video auszugeben, 3D-Sensor(en) 204, wie beispielsweise LIDAR und RADAR, um Punktwolken-Daten auszugeben, und Navigationssensoren 206, wie beispielsweise GPS und ein Navigationssystem, um Fahrzeug-Zustandsdaten (beispielsweise Position, Ausrichtung, Geschwindigkeit und Beschleunigung), zu einem Verschmelzungs-Algorithmus 208 auszugeben. Die 3D-Sensoren 204 erzeugen Punkte im Raum (beispielsweise 3D-Darstellung der echten Welt) zur Erzeugung von 3D-Modellen der Umgebung, und die Kamera 202 kann mit hohen Bildwiederholraten abbilden (d.h. 60 Hz oder mehr), um übereinstimmende Ansichten zur Kombination durch den Verschmelzungs-Algorithmus zu erzeugen, basierend auf den Fahrzeug-Zustandsdaten, um beispielsweise ein virtuelles Bild der 3D-Welt aus einer Perspektive eines Piloten zu erzeugen. Der Verschmelzungs-Algorithmus 208 empfängt die Punktwolken-Daten und bestimmt für jeden erzeugten Punkt einen entsprechenden Punkt in dem Bild von dem Video, um das Bild in die 3D-Darstellung der Welt einzubetten.
Der Verschmelzungs-Algorithmus 208 gibt einen Punktwolken-eingebetteten Videodatenstrom 210 aus, der Sensorwerte (beispielsweise Breitengrad, Längengrad und Höhe), LIDAR-Daten (beispielsweise Intensität und Entfernung), RADAR-Daten (beispielsweise Polarisation, Entfernung und Intensität), Kamera-RGB-Farbe, IR-Intensität und andere eingebettete Metadaten umfasst. Beispielsweise erzeugt LIDAR zusätzliche Information von Punkten, wie beispielsweise Reflexionsgrad, und all diese Metadaten können für einen vorgegebenen Punkt abgespeichert werden. Andere Metadaten, die zu speichern sind, umfassen Intensität dieses Punkts, die Farbe dieses Punkts (von einer Farbkamera), Entfernung, etc. Ein angereicherter Datensatz 212 kann somit zur Visualisierung für die Piloten erzeugt werden, indem die multi-spektralen Daten, die in dem 3D-Modell eingebettet sind, verwendet werden, oder für Anwendungen weiterverarbeitet werden, wie beispielsweise eine Hindernis- oder Zielerfassungs-Anwendung. Der angereicherte Datensatz 212 umfasst Daten, die eingebettet sind, um ein weiteres Detail der von den Sensoren gesehenen Objekte bereitzustellen.
Innerhalb eines Beispiels kann der Verschmelzungs-Algorithmus 208 eingesetzt werden, um ein synthetisches Bild zu erzeugen, das von einem Piloten gesehen werden kann, wenn er bei Nahe-Null-Sicht-Bedingungen arbeitet. Abbildungen bzw. Bilder einer Terraindatenbank des Fahrzeugs können mit Bildern verschmolzen werden, die von den mehreren Sensorausgängen erzeugt werden, um das synthetische Bild zu erzeugen. Das synthetische Bild kann aus drei verschmolzenen Datensätzen aufgebaut sein. Die drei Datensätze umfassen ein visuelles Bild, das von der Kamera 202 erzeugt wird, ein zweites Bild, das unter Verwendung der Punktwolken-Daten erzeugt wird, die von dem LIDAR 204 erfasst wurden, und ein drittes Bild ist ein Terrainbild, das aus den in einer 3D-Navigationsdatenbank gespeicherten Daten erhalten wird. Der Ausgang ist ein synthetisch in Echtzeit erzeugtes Bild, das sowohl auf Multifunktionsdisplays (MFD) als auch auf Kopf-verbundenen Displays (HMD; head-mounted displays) dargestellt werden kann, um es den Operatoren zu ermöglichen, sicher bei Nahe-Null- oder Null-Sicht-Bedingungen zu arbeiten. Die drei Bilder werden dann übereinandergelegt, um das synthetische Bild zu formen. Es ist anzumerken, dass jedes der drei Bilder, die zur Ausbildung des einzelnen synthetischen Bildes ausgewählt sind, mit einem Zeitstempel versehen sind, so dass alle drei Bilder etwa den gleichen Zeitpunkt darstellen.
3 ist ein Diagramm, das ein detailliertes System 300 mit funktionalen Komponenten zur Erzeugung eines synthetischen Bildes zeigt, das eine Umgebung eines Fahrzeugs darstellt. Ähnlich zu 2 umfasst das System 300 in 3 Kamera(s) 302, um ein Video auszugeben, 3D-Sensoren 304, um Punktwolken-Daten auszugeben, und Navigationssensoren 306, um Fahrzeug-Zustandsdaten auszugeben. Das Video wird an ein Videovorverarbeitungsmodul 308 gesendet, das optische Verzerrung entfernt und die Kameraausgangssignale kalibriert, um beispielsweise Paralaxe in den Rohbildern zu korrigieren.
Die Punktwolken-Daten werden an ein Registrierungsmodul 310 gesendet, um die Rücksignale von LIDAR/RADAR an einer Plattform zu registrieren. Die Registrierung korrigiert Sensorparalaxe, Fehlausrichtung der Sensoren oder Verzerrung (beispielsweise aus Azimutwinkel relativ zu der Fahrzeugbewegung). Nach Korrekturen werden die Punktwolken-Daten zu einem Projektionsmodul 312 gesendet, wobei jeder Punkt genommen wird und in eine entsprechende Pixelposition des Videos projiziert wird. Die Projektion der Punktwolken-Daten in das Video umfasst ein geometrisches Mappen der Daten in den gleichen Referenzkoordinaten. Mehrere Sensoren sind beispielsweise auf einer Plattform an unterschiedlichen Winkeln, und die Projektion erfordert zum Mappen der Daten in Echtzeit den gleichen Raum (für jeden Winkel bei LIDAR werden Azimut und Höhe auf ein Pixel gemappt, und für RADAR kann zwischen Pixeln zum Mappen interpoliert werden).
Die Projektion kann das Einbetten der 2D(Winkel-Winkel)-Information in den 3D(Winkel-Winkel-Entfernungs-)Punkt-Raum umfassen, so dass die Kameradaten (beispielsweise Farbe oder Intensität) verwertet werden können. Sensorlage, Sichtfeld und Winkelauflösung der 3D-Sensoren 304 wird berücksichtigt und für Bereiche, wo die 3D- und 2D-Sensoren überlappen, wird die Winkelauflösung adressiert. Beispielsweise kann das RADAR eine geringere Winkelauflösung im Vergleich zu LIDAR haben, wobei beide unterschiedlich sind von dem Abbildungssystem oder der Kamera. Dies impliziert, dass für ein gegebenes Kamerapixelsichtfeld, dessen Farbe oder Intensitätsdaten abwärts abgetastet werden können oder sogar vielleicht aufwärts abgetastet werden können, Informationen in die Punktwolken-Daten eingebettet werden.
Nach der Projektion der Daten in das Video wird eine eingebettete Punktwolke erzeugt, wie mit Block 314 gezeigt. Als Nächstes wird die eingebettete Punktwolke georegistriert in einen Breitengrad/Längengrad-Höhen-Raum basierend auf den Fahrzeugnavigationsdaten, um zu berechnen, wo das Fahrzeug war, als die Daten gesammelt wurden, wie mit Block 316 gezeigt. Die eingebetteten Punktwolken-Daten umfassen plattformbezogene Winkel-Winkel-Entfernungs- oder XYZ-Punkte, wobei jeder in Echtzeit verbessert wurde, um Daten von einem oder mehreren bordeigenen Sensoren zu enthalten. Bevor die LIDAR-Punktwolken-Daten nun weiterverarbeitet werden können, wird die Geo-Registrierung ausgeführt, um die 3D-plattformbezogenen Punktwolken-Daten in 3D-geo-referenzierte (beispielsweise Breitengrad, Längengrad, Höhe) Information zu transformieren. Dies verwendet genaue GPS-Plattformdaten mit sechs Freiheitsgraden (sechs DOF) (beispielsweise Breitengrad, Längengrad, Höhe, Kurs, Neigung, Rollen) von den Navigationssensoren 306 und dem Wissen der 3D-Punktwolkensensor-Fluglage und dem linearen Offset relativ zu dem Navigationsreferenzpunkt. Bordeigene Sensoren und a priori Terrainhöhendaten können verwendet werden, um Navigationsfehler zu korrigieren und die Geo-Registrierungsgenauigkeit der eingebetteten Punktwolken-Daten zu verbessern, um Hindernis/Zielklassifizierungs- und Kollisionsvermeidungs-Anwendungen zu unterstützen.
Danach optimiert ein Korrelationsmodul 318 die geo-registrierten Daten zur Speicherung in einer Punkt-Datenbank 320. Punktwolken-Datensätze werden in effizienten 3D-Darstellungen gespeichert (beispielsweise als Octtrees, Voxels, etc.). Da Daten gesammelt werden, werden die „besten“ Sensormetadaten (nachfolgend beschrieben) gespeichert und mit einem 3D-Punkt korreliert. Da Punkte in Echtzeit in das System fließen, werden die Datenpunkte von den Sensoren analysiert, um zu bestimmen, ob die Datenpunkte zusätzliche räumliche Auflösungen anzeigen. Falls ja, wird ein neuer Punkt höherer Auflösung in dem Datensatz erzeugt. Falls nicht, werden die Sensordaten für eine Aktualisierung evaluiert.
Verschiedene Kriterien werden für die Evaluierung im Korrelationsmodul 318 verwendet, um die besten Sensordaten zu identifizieren, wie beispielsweise Entfernung, Ansicht, Navigationsgenauigkeit und Sensormessgenauigkeit. Die Entfernung wird verwendet, da typischerweise je näher ein Sensor zu einem Messpunkt ist, die Daten desto genauer sind, und somit können verschiedene Schwellenwerte in Bezug auf Distanz/Entfernung für die Evaluierung gesetzt werden und für die Kriterien für die weitere Korrelation genutzt werden. Die Ansicht wird verwendet, da die Anwendung von 2D-Daten auf die 3D-Welt ausgeführt wird, und es gewünscht ist, mehrere Ansichten des gleichen Objekts zu erhalten. Plattformnavigationsgenauigkeit kann ebenfalls verwendet werden für genaue Daten im Hinblick auf Geo-Registrierung. Schließlich werden Attribute des Sensors importiert, um zu bestimmen, welche Daten beibehalten werden. Dies sind Faktoren wie beispielsweise Messgenauigkeit (beispielsweise RADAR und LIDAR arbeiten nicht gut bei geringen Streifwinkeln zum Ziel).
Ebenfalls können unterschiedliche Grade der Verdunkelung (beispielsweise Rauch, Regen etc.) basierend auf Ausgangssignalen der anderen bordeigenen Sensoren bestimmt werden, um zu bestimmen, was die 3D-Sensoren 304 erfahren und um Daten zu erhalten, vorzugsweise bei klaren Luftbedingungen.
Die Korrelation aller Punkte, die die gewünschten Kriterien erfüllen, können folglich verwendet werden, um Daten zu erhalten, die als nützlich betrachtet werden, was zu einem angereicherten Datensatz zur Hinderniserkennung, 3D-Visualisierung etc. führt.
Das System 300 umfasst ferner eine Rückkopplungsschleife, die eine ein Sensoranalysemodul 324, ein Echtzeit-Sensor-Optimierungsmodul 326 und ein adaptives Sensorsteuerungsmodul 328 aufweist. Das System 300 arbeitet in Echtzeit, da Datenpunkte gesammelt werden, um die angereicherten Datensätze 322 aufzubauen. Es gibt in Echtzeit Gelegenheiten, um eine adaptive Sensorsteuerung auszuführen, um so die Sensorparameter einzustellen, um die Daten besser zu optimieren. Basierend auf Ausgangssignalen der bordeigenen Sensoren oder der Evaluierung von Sensordaten (beispielsweise durch das Sensoranalysemodul 324) können beispielsweise Grade der Verdunkelung der Sensoren oder der Umgebung erfasst werden (beispielsweise verschneite Umgebung). Verschiedene Verdunkelungen können zur Einstellung der Sensorparameter bestimmt werden, beispielsweise zur Einstellung der Filter, Kontrasteinstellungen, Verstärkung, Leistung des Lasers zur Verhinderung von Sättigung, etc. In einem spezifischen Beispiel kann es bei verschneiten Bedingungen wünschenswert sein, die Energie des Lasers im LIDAR zu reduzieren, um zusätzliche unerwünschte Rücksignale von Partikeln/Schnee in der Atmosphäre zu verhindern und die Abhängigkeit vom RADAR zu erhöhen.
Das adaptive Sensorsteuerungsmodul 328 kann Einstellungen zu den Kameras 302, den 3D-Sensoren 304 als auch den Navigationssensoren 306 ausgeben, um den Betrieb aller Sensoren basierend auf Betriebsbedingungen des Systems 300 zu optimieren.
4 zeigt ein Flussdiagramm eines beispielhaften Verfahrens 400 zum Erzeugen eines synthetischen Bilds, das eine Umgebung eines Fahrzeugs darstellt. Das Verfahren 400, das in 4 gezeigt ist, stellt eine Ausführungsform eines Verfahrens dar, das beispielsweise verwendet werden könnte mit den Systemen, die in den 1-3 gezeigt sind, und das von einer Computervorrichtung (oder Komponenten einer Computervorrichtung) ausgeführt werden könnte, wie beispielsweise einer Client-Vorrichtung oder einem Server, oder von Komponenten einer Client-Vorrichtung sowie eines Servers ausgeführt werden könnte. Beispielhafte Vorrichtungen oder Systeme können verwendet werden oder konfiguriert werden, um logische Funktionen auszuführen, die in 4 dargestellt sind. Manchmal können Komponenten der Vorrichtungen und/oder Systeme konfiguriert sein, um die Funktionen auszuführen, derart, dass die Komponenten tatsächlich konfiguriert und strukturiert sind (mit Hardware und/oder Software), um eine solche Ausführung zu ermöglichen. In anderen Beispielen können Komponenten der Vorrichtungen und/oder Systeme angeordnet sein, um ausgelegt zu sein, in der Lage zu sein oder geeignet zu sein, um diese Funktionen auszuführen. Das Verfahren 400 kann ein oder mehrere Operationen, Funktionen oder Aktionen umfassen, die durch einen oder mehrere Blöcke 402-412 dargestellt sind. Obgleich die Blöcke in einer sequenziellen Reihenfolge dargestellt sind, können diese Blöcke auch parallel ausgeführt werden und/oder in unterschiedlicher Reihenfolge als jene, die hier beschrieben ist. Ebenfalls können die verschiedenen Blöcke in weniger Blöcke kombiniert werden, aufgeteilt werden in zusätzliche Blöcke und/oder entfernt werden basierend auf der gewünschten Implementierung.
Es versteht sich, dass für diese und andere Prozesse und Verfahren, die hier offenbart sind, die Flussdiagramme Funktionalität und Arbeitsweise von einer möglichen Implementierung vorhandener Ausführungsformen zeigen. In dieser Hinsicht kann jeder Block ein Modul, ein Segment oder ein Teil von Programmcode darstellen, der einen oder mehrere Befehle umfasst, die von einem Prozessor ausgeführt werden, um spezifische logische Funktionen oder Schritte in dem Prozess zu implementieren. Der Programmcode kann auf jedem Typ von computerlesbarem Medium oder Datenspeicher gespeichert sein, wie beispielsweise einer Speichervorrichtung, die eine Disk oder eine Festplatte aufweist. Das computerlesbare Medium kann ein nicht flüchtiges computerlesbares Medium oder Speicher sein, wie beispielsweise ein computerlesbares Medium, das Daten für kurze Zeitperioden speichert, wie Registerspeicher, Prozessor-Cache und Random Access Memory (RAM). Das computerlesbare Medium kann auch nicht flüchtige Medien aufweisen, wie beispielsweise Sekundär- oder bleibender Langzeitspeicher, wie Nur-Lese-Speicher (ROM), optische oder magnetische Platten, Compact-Disc-Nur-Lese-Speicher (CD-ROM). Das computerlesbare Medium kann auch jedes andere volatile oder nicht volatile Speichersystem sein. Das computerlesbare Medium kann beispielsweise als materielles computerlesbares Speichermedium betrachtet werden.
Zusätzlich kann jeder Block in 4 Schaltungen darstellen, die verdrahtet sind, um die spezifischen logischen Funktionen in dem Prozess auszuführen. Alternative Implementierungen sind innerhalb des Rahmens der beispielhaften Ausführungsformen der vorliegenden Offenbarung enthalten, in denen Funktionen außerhalb der Ordnung ausgeführt werden können, die gezeigt oder diskutiert wird, einschließlich einer nahezu gleichzeitigen Ausführung oder in umgekehrter Reihenfolge abhängig von der jeweiligen Funktionalität, was sich für einen Fachmann ergibt.
In Block 402 umfasst das Verfahren 400 das Erzeugen eines ersten Bildes der Umgebung, indem Information von einer Infrarot(IR-)Kamera auf dem Fahrzeug verwendet wird. Die Kamera kann mit hoher Rate abbilden, wie beispielsweise mit 60 Hz, und kann einen Datenvideostrom der Umgebung ausgeben. Bilder des Videos können für Bilder der Umgebung ausgewählt werden. Die Kamera kann eine langwellige, kurzwellige oder mittelwellige IR-Kamera sein, oder jeder andere Typ von 2D-Sensor, der Daten einer Umgebung ausgibt.
Bei Block 404 umfasst das Verfahren 400 das Erzeugen eines zweiten Bilds der Umgebung, indem Laser-Punktwolken-Daten von einem LIDAR auf dem Fahrzeug verwendet werden. Bei einigen Ausführungsformen können die Beiträge, die die Punktwolken-Daten, die vom LI DAR erzeugt werden, beitragen, skaliert werden basierend auf einer Menge von Aerosolen oder anderen Verdunkelungen in der Atmosphäre. Beispielsweise gibt es, in einem Fall, wenn es nur geringe oder keine Verdunkelungen in der Luft gibt, geringe oder keine Punktwolken-Daten aufgrund der geringen Menge von Laser-Rücksignalen. Deshalb wird ein synthetisches Bild, das basierend auf den LIDAR-Daten generiert wird, hauptsächlich von Information aufgebaut sein, die von der IR-Kamera und anderen Navigationsinformationen erhalten wurde. Wenn es eine große Menge von Verdunkelungen in der Luft gibt, kann optional ein kompletter Punktwolken-Datensatz zusammen mit der Information verwendet werden, die von der IR-Kamera erhalten wurde, und der Navigationsinformation, um das synthetische Bild zu erzeugen. Somit kann eine Menge von LIDAR-Information, die zum Erzeugen des Punktwolken-Datensatzes verwendet wird, gewichtet werden basierend auf einer Menge von Verdunkelungen in der Luft.
Bei Block 406 umfasst das Verfahren 400 das Erzeugen einer eingebetteten Punktwolke, die die Umgebung darstellt, basierend auf einer Kombination des ersten Bildes und des zweiten Bildes derart, dass zusätzliche Daten in die Laser-Punktwolken-Daten eingebettet werden. Für jeden Laser-Datenpunkt der Laser-Punktwolken-Daten von dem LIDAR kann der Laser-Datenpunkt an einen entsprechenden Pixel-Ort des ersten Bildes projiziert werden, um so die Laser-Punktwolken-Daten auf das erste Bild zu mappen. Das Mappen kann auf Koordinatenwerten der Laser-Daten basieren, einschließlich x, y, z und Höhe, und diese Mappings, die auf die 2D-Sensor-Bilddaten der Kamera zeigen, können in die Laser-Daten eingebettet werden.
Bei Block 408 umfasst das Verfahren 400 das Empfangen von Navigationsinformation von der Umgebung, die das Fahrzeug durchquert, von Daten, die in einer Navigationsdatenbank gespeichert sind. Das erste Bild, das zweite Bild und die Navigationsinformation können jeweils zur gleichen Zeit erzeugt und empfangen werden.
Bei Block 410 umfasst das Verfahren 400 das Umwandeln der eingebetteten Punktwolke in einen geo-referenzierten Koordinatenraum basierend auf der Navigationsinformation. Bei einem Beispiel können die eingebetteten Punktwolken-Daten umgewandelt werden, indem die eingebetteten Punktwolken-Daten entsprechend der IR-Kamera und der LIDAR-Lage und linearer Offsets relativ zu einem Navigationssystem des Fahrzeugs eingestellt werden, und die Einstellungen können ausgeführt werden, indem Plattformdaten mit sechs Freiheitsgraden (DOF) verwendet werden, einschließlich Breitengrad, Längengrad, Höhe, Richtung, Neigung und Rollen von dem Navigationssystem des Fahrzeugs.
Bei Block 412 umfasst das Verfahren 400 ein Kombinieren der umgewandelten eingebetteten Punktwolke mit Bildern des Terrains der Umgebung, um das synthetische Bild zu erzeugen, das die Umgebung des Fahrzeugs darstellt. Das synthetische Bild kann eine synthetische Darstellung oder eine virtuelle Darstellung der Umgebung sein. Eine Kombination der Punktwolke mit Bildern kann ein Überlagern eines Bilds des Terrains auf die umgewandelte eingebettete Punktwolke aufweisen, indem die Navigationsinformation benutzt wird, um die Bilder auf entsprechende Punkte in den Punktwolken-Daten zu mappen oder umgekehrt. Nach dem Kombinieren der Daten kann das synthetische Bild des Terrains der Umgebung auf einem multifunktionalen Display (MFD) des Fahrzeugs dargestellt werden, oder auf einem Kopf-verbundenen Display (head mounted display; HMD).
Innerhalb der Beispiele wird das Verfahren 400 in Echtzeit ausgeführt, wenn die Infrarotinformation von der IR-Kamera empfangen wird und die Laser-Punktwolken-Daten von dem LIDAR empfangen werden, während das Fahrzeug die Umgebung durchquert. Während das Fahrzeug die Umgebung durchquert, wird folglich die Infrarotinformation von der IR-Kamera empfangen, die Laser-Punktwolken-Daten von dem LIDAR empfangen, die Navigationsinformation von einem Navigationssystem auf dem Fahrzeug empfangen, und das synthetische Bild, das die Umgebung des Fahrzeugs darstellt, wird für die Anzeige erzeugt und wird für die Anzeige im Wesentlichen simultan mit dem Empfang der Daten bereitgestellt (nach der Datenverarbeitung). Das Entwickeln des angereicherten Datensatzes von mehreren Sensoren in Echtzeit erlaubt verbesserte Fähigkeiten, wie das adaptive Sensor-Feedback und Korrelation von Merkmalen über mehrere Messungen, um den optimalen 3D-Datensatz zu erhalten. Die kombinierte Punktwolke ermöglicht auch Algorithmen, wie beispielsweise verbesserte Visualisierungen, Hinderniserkennung und Zielerfassung, um einen einzelnen Mehrsensor-Datensatz zu bearbeiten, um eine effizientere Verarbeitung und größere Leistung zu ermöglichen.
Bei einigen Beispielen kann das Verfahren 400 ausgelöst oder benutzt werden, wenn das Fahrzeug in einer Umgebung mit verschlechterter Sicht (DVE) arbeitet, einschließlich von Bedingungen mit einer Nahe-Null- bis Null-Sicht. Als ein Beispiel beschränkt das Wetter häufig bestimmte Operationen oder versuchte Landungen eines Flugzeugs, und verbesserte Sichtsysteme, die von der FAA für Verkehrsflugzeuge zertifiziert sind, zeigen einige Kamerabilder kombiniert mit Flugzeugsymbolen auf einem Bildschirm für etwa 100 Fuß oberhalb eines Näherungspunkts; allerdings ermöglichen solche Displays nicht die Landung in einer DVE Null-Sicht-Umgebung. Indem das Verfahren 400 verwendet wird, können Kamerabilder mit LIDAR-integrierten Daten übereinstimmend mit der Navigationslösung des Flugzeugs überlagert werden mit einem digitalen Terrainbild, um ein synthetisches Bild in Echtzeit darzustellen, das ein Landen bei Null-Sicht-Bedingungen ermöglicht.
Zusätzliche Funktionen können in dem Verfahren 400 ausgeführt werden. Beispielsweise kann das Verfahren 400 auch ein Bestimmen eines Grads der Verdunkelung der eingebetteten Punktwolke umfassen, und ein Einstellen der Parameter von der IR-Kamera und/oder dem LIDAR auf dem Fahrzeug basierend auf dem Grad der Verdunkelung für eine adaptive Feedback-Steuerung der Sensorparameter. Der Grad der Verdunkelung kann bestimmt werden basierend auf Ausgangssignalen von anderen der bordeigenen Sensoren, die einen Grad von Niederschlag in der Umgebung anzeigen, oder basierend auf einer Analyse der Punktwolken-Daten. Als ein spezifisches Beispiel kann die Leistung des LIDAR basierend auf einem hohen Grad von Niederschlag auf eine geringere Menge von falschen Rücksignalen aufgrund von Reflexionen an Regen/Schnee in der Atmosphäre reduziert werden.
Die Infrarotinformation von den Systemsensoren und die Laser-Punktwolken-Daten von dem LIDAR können ferner in einem Datensatz gespeichert werden, und da Daten von der Infrarotinformation von der IR-Kamera und Laser-Punktwolken-Daten von dem LIDAR empfangen werden, können Funktionen ausgeführt werden, um zu bestimmen, ob die Daten eine zusätzliche räumliche Auflösung von der Darstellung der Umgebung anzeigen. Beispielsweise können in klaren Umgebungen zusätzliche Daten empfangen werden, um ein stärker angereichertes höher auflösendes Bild aufzubauen, und in Umgebungen mit mehr Wolken können Daten nicht nützlich sein, um höhere Auflösung anzuzeigen, können aber für Aktualisierungen alternativer Ansichten bzw. Blickrichtungen beispielsweise ausgewertet werden. Ob die Daten eine zusätzliche räumliche Auflösung der Darstellung der Umgebung anzeigen, kann basieren darauf, ob die Daten von abwechselnder Entfernung oder Blickrichtungen zu einem Zielobjekt oder Gebiet sind, oder können ebenfalls basieren auf Sensormessgenauigkeit.
5 ist ein Beispiel eines synthetischen Bilds, das eine Umgebung eines Fahrzeugs darstellt. Das Bild in 5 zeigt ein Beispiel eines Bilds mehrerer Sensorverschmelzungen. Drei unterschiedliche Sensoren (beispielsweise LIDAR, RADAR und IR-Kamera) haben Ausgangssignale, die miteinander verschmolzen sind, um ein verbessertes Bild zu erzeugen. Diese Fähigkeit kann auf eine Anzahl von „n“ von 3D- und 2D-Sensoren ausgeweitet werden.
In 5 wird ein Basisbild bestimmt, indem Infrarotinformation benutzt wird. Die Basisinformation zeigt eine Anzahl von Details der Objekte an, einschließlich Straßen, Bäumen, Fahrzeugen und deren Anordnung jeweils zueinander. LIDAR-Daten können Punktwolken-Darstellungen der Objekte anzeigen, wie beispielsweise eine Person oder über Kopf hängende Leitungen. Radardaten können Polarisationsdaten einiger Fahrzeuge anzeigen. Alle Daten können gemappt werden oder überlagert werden auf Terrainbilder, um weitere Darstellungen der Daten anzuzeigen. Durch Auswertung dieses angereicherten Datensatzes kann die Objekterkennung verbessert werden sowie eine Erzeugung einer 3D-Visualisierung der Umgebung in Echtzeit.
Wie erwähnt, können Teile der hier beschriebenen Verfahren (beispielsweise das Verfahren 400) von einer Computervorrichtung (oder Komponenten einer Computervorrichtung) ausgeführt werden, sowie durch Komponenten von Elementen, die in 1 gezeigt sind. 6 zeigt eine schematische Zeichnung einer beispielhaften Computervorrichtung 600. Die Computervorrichtung 600 in 6 kann Vorrichtungen darstellen, die in 1-3 gezeigt sind, einschließlich der Prozessoren, der Verschmelzungs-Algorithmen oder jeder der Blöcke, die konzeptionell Berechnungskomponenten in 3 darstellen, oder die Computervorrichtung 600 kann die Systeme in 1-3 im Allgemeinen darstellen. Bei einigen Beispielen können einige Komponenten, die in 6 dargestellt sind, über mehrere Computervorrichtungen verteilt sein. Allerdings sind die Komponenten zum Zwecke des Beispiels als Teil einer beispielhaften Vorrichtung 600 gezeigt und beschrieben. Die Computervorrichtung 600 kann eine mobile Vorrichtung, ein Desktopcomputer, eine E-Mail/Nachrichtenvorrichtung, ein Tablet-Computer oder eine ähnliche Vorrichtung sein oder umfassen, die ausgelegt sein kann, um die Funktionen, die hier beschrieben sind, auszuführen.
Die Computervorrichtung 600 kann eine Schnittstelle 602, eine drahtlose Kommunikationskomponente 604, Sensor(en) 606, Datenspeicher 608 und einen Prozessor 610 umfassen. Komponenten, die in 6 dargestellt sind, können über eine Kommunikationsverbindung 612 miteinander verbunden sein. Die Computervorrichtung 600 kann ebenfalls Hardware aufweisen, um eine Kommunikation innerhalb der Computervorrichtung 600 und zwischen der Computervorrichtung 600 und einer anderen Computervorrichtung (nicht gezeigt), wie beispielsweise einer Servereinheit zu ermöglichen. Die Hardware kann Sender, Empfänger und Antennen beispielsweise aufweisen.
Die Schnittstelle 602 kann ausgelegt sein, um es der Computervorrichtung 600 zu ermöglichen, mit einer anderen Computervorrichtung (nicht gezeigt), beispielsweise einem Server, zu kommunizieren. Die Schnittstelle 602 kann folglich ausgelegt sein, um Eingangsdaten von einer oder mehrerer Computervorrichtungen zu empfangen, und kann auch ausgelegt sein, um Ausgangsdaten zu einer oder mehreren Computervorrichtungen zu senden. In einigen Beispielen kann die Schnittstelle 602 ebenfalls Datengruppen, die von der Computervorrichtung 600 empfangen und gesendet werden, aufrechterhalten und verwalten. Die Schnittstelle 602 kann auch einen Empfänger und einen Sender aufweisen, um Daten zu empfangen und zu senden. Bei anderen Beispielen kann die Schnittstelle 602 auch eine Benutzer-Schnittstelle, wie beispielsweise eine Tastatur, ein Mikrofon, ein Touchscreen etc., aufweisen, um Eingangssignale ebenfalls zu empfangen.
Die drahtlose Kommunikationskomponente 604 kann eine Kommunikationsschnittstelle sein, die ausgelegt ist, um eine drahtlose Datenkommunikation für die Computervorrichtung 600 entsprechend einem oder mehreren Standards für drahtlose Kommunikation zu unterstützen. Beispielsweise kann die drahtlose Kommunikationskomponente 604 eine Wi-Fi-Kommunikationskomponente aufweisen, die ausgelegt ist, eine drahtlose Datenkommunikation entsprechend einem oder mehrerer IEEE 802.11-Standards zu unterstützen. Als ein anderes Beispiel kann die drahtlose Kommunikationskomponente 604 eine Bluetooth-Kommunikationskomponente aufweisen, die ausgelegt ist, um eine drahtlose Datenkommunikation entsprechend einem oder mehreren Bluetooth-Standards zu unterstützen. Andere Beispiele sind ebenfalls möglich.
Der Sensor 606 kann einen oder mehrere Sensoren aufweisen oder kann einen oder mehrere Sensoren darstellen, die innerhalb der Computervorrichtung 600 vorhanden sind. Beispielhafte Sensoren umfassen einen Beschleunigungsmesser, ein Gyroskop, einen Schrittzähler, Lichtsensoren, Mikrofon, Kamera oder andere orts- und/oder kontextbezogene Sensoren.
Der Datenspeicher 608 kann Programmlogik 614 speichern, auf die der Prozessor 610 zugreifen kann und die er ausführen kann. Der Datenspeicher 608 kann ebenfalls gesammelte Sensordaten oder Bilddaten 616 speichern.
Die Beschreibung der unterschiedlichen vorteilhaften Anordnungen wurde zum Zwecke der Darstellung und Beschreibung gemacht, und es ist nicht beabsichtigt, dass sie die Ausführungsformen auf die hier offenbarten beschränkt. Viele Modifikationen und Variationen ergeben sich für einen Fachmann. Ferner können unterschiedliche vorteilhafte Ausführungsformen unterschiedliche Vorteile beschreiben im Vergleich zu anderen vorteilhaften Ausführungsformen. Die Ausführungsform oder Ausführungsformen, die ausgewählt wurden, sind getroffen und beschrieben, um am besten die Prinzipien der Ausführungsformen der praktischen Anwendung zu erläutern, um es dem Fachmann zu ermöglichen, die Offenbarung verschiedener Ausführungsformen mit verschiedenen Modifikationen zu verstehen, die für bestimmte gedachte Anwendungen geeignet sind.

Claims

Verfahren (400) zum Erzeugen eines synthetischen Bilds, das eine Umgebung eines Fahrzeugs darstellt, wobei das Verfahren aufweist: Erzeugen (402) eines ersten Bildes der Umgebung, indem Infrarotinformation von einer Infrarot(IR)-Kamera auf dem Fahrzeug verwendet wird; Erzeugen (404) eines zweiten Bildes der Umgebung, indem Laser-Punktwolken-Daten von einem LIDAR auf dem Fahrzeug verwendet werden; Erzeugen (406) einer eingebetteten Punktwolke, die die Umgebung darstellt, basierend auf einer Kombination des ersten Bildes und des zweiten Bildes derart, dass zusätzliche Daten in die Laser-Punktwolken-Daten eingebettet werden; Empfangen (408) von Navigationsinformation von der Umgebung, die von dem Fahrzeug durchquert wird, aus Daten, die in einer Navigationsdatenbank gespeichert sind; Umwandeln (410) der eingebetteten Punktwolke in einen geo-referenzierten Koordinatenraum basierend auf der Navigationsinformation; und Kombinieren (412) der umgewandelten eingebetteten Punktwolke mit Bildern des Terrains der Umgebung, um das synthetische Bild zu erzeugen, das die Umgebung des Fahrzeugs darstellt, wobei das Erzeugen der eingebetteten Punktwolke aufweist: für jeden Laser-Datenpunkt der Laser-Punktwolken-Daten von dem LIDAR, Projizieren des Laser-Datenpunkts auf einen entsprechenden Pixel-Ort des ersten Bildes, um die Laser-Punktwolken-Daten auf das erste Bild zu mappen.
Verfahren (400) nach Anspruch 1, wobei das erste Bild, das zweite Bild und die Navigationsinformation jeweils erzeugt und empfangen werden zu etwa dem gleichen Zeitpunkt.
Verfahren (400) nach einem der Ansprüche 1 bis 2, wobei das Umwandeln der eingebetteten Punktwolken-Daten in den geo-referenzierten Koordinatenraum basierend auf der Navigationsinformation aufweist: Einstellen der eingebetteten Punktwolken-Daten gemäß der IR-Kamera und der LIDAR-Lage und der linearen Offsets relativ zu einem Navigationssystem des Fahrzeugs, wobei die Einstellungen ausgeführt werden, indem Plattformdaten mit sechs Freiheitsgraden (DOF) verwendet werden, einschließlich Breitengrad, Längengrad, Höhe, Richtung, Neigung und Rollen von dem Navigationssystem des Fahrzeugs.
Verfahren (400) nach einem der Ansprüche 1 bis 3, wobei das Kombinieren der umgewandelten eingebetteten Punktwolke mit Bildern des Terrains der Umgebung aufweist: Überlagern eines Bildes des Terrains auf die umgewandelte eingebettete Punktwolke.
Verfahren (400) nach einem der Ansprüche 1 bis 4, ferner mit: Anzeigen des synthetischen Bildes des Terrains der Umgebung auf einem Multifunktions-Display (MFD) des Fahrzeugs oder einem Kopf-verbundenen Display (HMD).
Verfahren (400) nach einem der Ansprüche 1 bis 5, ferner mit: Ausführen des Verfahrens in Echtzeit, wenn die Infrarotinformationen von der IR-Kamera empfangen werden und die Laser-Punktwolken-Daten von dem LIDAR empfangen werden, während das Fahrzeug die Umgebung durchquert.
Verfahren (400) nach einem der Ansprüche 1 bis 6, ferner mit, während das Fahrzeug die Umgebung durchquert: Empfangen der Infrarotinformation von der IR-Kamera; Empfangen der Laser-Punktwolken-Daten von dem LIDAR; Empfangen der Navigationsinformation von einem Navigationssystem auf dem Fahrzeug; Ausführen des Verfahrens in Echtzeit, um das synthetische Bild zu erzeugen, das die Umgebung des Fahrzeugs darstellt, während das Fahrzeug die Umgebung quert; und Anzeigen des synthetischen Bilds des Terrains der Umgebung auf einem Display des Fahrzeugs.
Verfahren (400) nach einem der Ansprüche 1 bis 7, ferner mit: Erzeugen des synthetischen Bildes basierend auf dem Fahrzeug, das in einer Umgebung mit verschlechterter Sicht (DVE) betrieben wird, einschließlich Bedingungen mit Nahe-Null- bis Null-Sicht.
Verfahren (400) nach einem der Ansprüche 1 bis 8, ferner mit: Bestimmen eines Grads der Verdunkelung der eingebetteten Punktwolke; und Einstellen der Parameter der IR-Kamera und/oder des LIDAR auf dem Fahrzeug basierend auf dem Grad der Verdunkelung, für eine adaptive Feedback-Steuerung der Sensorparameter.
Verfahren (400) nach einem der Ansprüche 1 bis 9, ferner mit: Speichern der Infrarotinformation von der IR-Kamera und der Laser-Punktwolken-Daten von dem LIDAR in einem Datensatz; Bestimmen, wenn Daten von der Infrarotinformation von der IR-Kamera und die Laser-Punktwolken-Daten von dem LIDAR empfangen werden, ob die Daten zusätzliche räumliche Auflösung einer Darstellung der Umgebung anzeigen; basierend auf den Daten, die die zusätzliche räumliche Auflösung anzeigen, Erzeugen eines neuen Datenpunkts mit höherer Auflösung in dem Datensatz; und basierend auf den Daten, die nicht zusätzliche räumliche Auflösung anzeigen, Auswerten der Daten für eine Aktualisierung.
Verfahren (400) nach Anspruch 10, wobei das Bestimmen, ob die Daten zusätzliche räumliche Auflösung der Darstellung der Umgebung anzeigen, aufweist: Bestimmen, ob die Daten eine wechselnde Entfernung oder Blickrichtung zu einem Zielobjekt oder Gebiet haben oder Bestimmen der Sensormessgenauigkeit, wobei die Sensormessgenauigkeit auf einem Grad der Verdunkelung der Umgebung basiert.
Verfahren nach Anspruch 10, wobei das Bestimmen, ob die Daten zusätzliche räumliche Auflösung der Darstellung der Umgebung anzeigen, aufweist: Bestimmen der Sensormessgenauigkeit, wobei die Sensormessgenauigkeit auf einem Grad der Verdunkelung der Umgebung basiert.
System (100) mit: einer Infrarot(IR)-Kamera (104), um Infrarotinformation von einer Umgebung eines Fahrzeugs zu sammeln; einem LIDAR (106), um Laser-Punktwolken-Daten der Umgebung des Fahrzeugs zu sammeln; einem Navigationssystem (110), das ausgelegt ist, um Navigationsinformation des Fahrzeugs zu bestimmen; einem Prozessor (112), der eine synthetische Darstellung (116) der Umgebung des Fahrzeugs in Echtzeit erzeugt, während das Fahrzeug die Umgebung quert, basierend auf Ausgangssignalen der IR-Kamera (104), des LIDAR (106) und des Navigationssystems (110), wobei die Erzeugung der synthetischen Darstellung aufweist: Erzeugen einer eingebetteten Punktwolke, die die Umgebung darstellt, basierend auf einer Kombination der Infrarotinformation und der Laser-Punktwolken-Daten derart, dass zusätzliche Daten in die Laser-Punktwolken-Daten eingebettet werden, für jeden Laser-Datenpunkt der Laser-Punktwolken-Daten von dem LIDAR, Projizieren des Laser-Datenpunkts auf einen entsprechenden Pixel-Ort der Infrarotinformation, um die Laser-Punktwolken-Daten auf die Infrarotinformation zu mappen; und Kombinieren der eingebetteten Punktwolke mit Bildern des Terrains der Umgebung; und einem Display (120), um das synthetische Bild des Terrains der Umgebung auf einem Display des Fahrzeugs darzustellen.
System (100) nach Anspruch 13, wobei der Prozessor (112) ferner ausgelegt ist, um die synthetische Darstellung (116) basierend auf dem Fahrzeug zu erzeugen, das in einer Umgebung mit verschlechterter Sicht (DVE) betrieben wird, einschließlich Bedingungen mit einer Nahe-Null- bis Null-Sicht.
System nach einem der Ansprüche 13 bis 14, wobei der Prozessor (112) ferner ausgebildet ist, zum: Bestimmen eines Grads der Verdunkelung der eingebetteten Punktwolke; und Einstellen der Parameter von IR-Kamera und/oder LIDAR auf dem Fahrzeug basierend auf dem Grad der Verdunkelung für eine adaptive Feedback-Steuerung der Sensorparameter.