-
Die vorliegende Erfindung betrifft ein computerimplementiertes Verfahren zur Erstellung eines dreidimensionalen virtuellen Modells einer Umgebung eines Kraftfahrzeugs gemäß Anspruch 1.
-
Unter einem virtuellen Modell wird dabei im Rahmen dieser Beschreibung insbesondere ein Modell verstanden, das in einem digitalen elektronischen Speicher gespeicherte Daten umfasst. Das dreidimensionale virtuelle Modell kann beispielsweise von einem Fahrerassistenzsystem zur Steuerung des Kraftfahrzeugs verwendet werden.
-
Aus
DE 11 2018 007 236 T5 ist ein Verfahren zur Erstellung eines dreidimensionalen virtuellen Modells einer Umgebung eines Kraftfahrzeugs bekannt. Ein 3D-Szenengenerator ist zum Erzeugen eines 3D-Modells zur Digitalbild-Szenenrekonstruktion basierend auf einem trainierten generativen Modell und einem digitalen Bild, das in einer realen Umgebung aufgenommen wurde, vorgesehen. Ein Bildsimulator dient dem Erzeugen eines simulierten Bildes basierend auf dem 3D-Modell, wobei das simulierte Bild dem aufgenommenen Bild entspricht. Ein Diskriminator dient dem Anwenden eines diskriminativen Modells auf das simulierte Bild, um zu bestimmen, ob das simulierte Bild simuliert ist.
-
Aus „Multi-view matching for unordered image sets, or 'How do I organize my holiday snaps?'“ (Schaffalitzky, Frederik und Zisserman, Andrew; Computer Vision - ECCV 2002; 7th European Conference on Computer Vision Copenhagen, Denmark; Part I 7; Springer Berlin Heidelberg, 2002; S. 414-431) ist ein Verfahren bekannt, um das Problem der Bestimmung relativer Standpunkte bei einer großen Anzahl von Bildern, bei denen keine Ordnungsinformationen zur Verfügung gestellt werden, zu lösen.
-
Aus „Uncertainty Guided Policy for Active Robotic 3D Reconstruction using Neural Radiance Fields“ (Lee, Soomin, et al.; arXiv: 2209.08409v1) ist bekannt, wie ein mobiler Roboter mit einer armgehaltenen Kamera eine günstige Anzahl von Ansichten auswählen kann, um die 3D-Form eines Objekts effizient wiederherzustellen. Es wird ein strahlenbasierter volumetrischer Unsicherheitsschätzer offenbart, der die Entropie der Gewichtsverteilung der Farbproben entlang jedes Strahls der impliziten neuronalen Repräsentation des Objekts berechnet. Es wird eine Strategie zur Auswahl der nächstbesten Ansicht beschrieben, die sich an der strahlenbasierten volumetrischen Unsicherheit in neuronalen strahlungsfeldbasierten Darstellungen orientiert.
-
Demgegenüber liegt der Erfindung die Aufgabe zugrunde, ein verbessertes Verfahren zur Erstellung eines solchen Modells zu schaffen. Außerdem soll ein System zur Durchführung eines solchen Verfahrens geschaffen werden.
-
Diese Aufgabe wird durch ein Verfahren gemäß Anspruch 1 und ein System gemäß Anspruch 6 gelöst. Ausführungsformen der Erfindung sind in den abhängigen Ansprüchen angegeben.
-
Gemäß Anspruch 1 werden Bilder der Umgebung aufgenommen. Dies kann beispielsweise mit einer oder mehreren Kameras durchgeführt werden. Die Kamera(s) können dabei in oder an dem Kraftfahrzeug angeordnet sein. Die Bilder können dabei insbesondere unterschiedliche Ausschnitte der Umgebung zeigen. Die Ausschnitte können dabei beispielsweise einander überlappen. Beispielsweise können die Bilder mit der oder den gleichen Kamera/s zu unterschiedlichen Zeitpunkten aufgenommen werden, während das Kraftfahrzeug sich bewegt.
-
In jedem der Bilder werden mehrere Bereiche bestimmt. Dabei ist es insbesondere möglich, dass in jedem Bild jeweils mehrere Bereiche bestimmt werden. Es ist beispielsweise möglich, dass Bereiche überlappen. Die Bereiche können insbesondere auch vergleichsweise wenige Bildpunkte umfassen. Für jeden der Bereiche wird jeweils eine Bereichs-Entropie berechnet. Unter der Bereichs-Entropie wird dabei im Rahmen dieser Beschreibung insbesondere ein Maß für den Informationsgehalt des jeweiligen Bereichs verstanden. Eine hohe Bereichs-Entropie bedeutet, dass der Bereich viel Textur oder Struktur und somit wenig Redundanz enthält. Eine niedrige Bereichs-Entropie bedeutet, dass der Bereich wenig Zufälligkeit und somit eine hohe Redundanz enthält. Die Bereichs-Entropie kann beispielsweise in Bit angegeben werden. Die maximale Bereichs-Entropie kann der Summe des Speicherplatzes für alle Pixelwerte des Bereichs entsprechen. Die Entropie eines homogenen Bereichs, in dem alle Pixel den gleichen Farbwert haben, kann Null sein. Es ist auch möglich, die Bereichs-Entropie als einen dimensionslosen Wert zwischen 0 und 1 anzugeben.
-
Beispielsweise kann also ein gut ausgeleuchteter Bereich mit einem oder mehreren Objekten, deren bzw. dessen Umrandung/en einen hohen Kontrast zur jeweiligen Umgebung aufweisen, eine relativ hohe Bereichs-Entropie aufweisen, wohingegen ein Bereich, der beispielsweise schlecht ausgeleuchtet oder durch Niederschlag oder Nebel im Kontrast reduziert ist, eine relativ niedrige Bereichs-Entropie aufweisen kann.
-
Aus den Bereichen wird zumindest ein Bereich ausgewählt, der eine höhere Bereichs-Entropie aufweist als andere Bereiche. Es können auch mehrere solche Bereiche ausgewählt werden. Vorzugsweise wird der Bereich oder die Bereiche mit der höchsten Bereichs-Entropie ausgewählt. Wenn mehrere Bereiche ausgewählt werden, müssen diese nicht zwangsläufig gleiche Bereichs-Entropien aufweisen.
-
Das dreidimensionale virtuelle Modell wird erzeugt, indem zunächst dreidimensionale Koordinaten für den ausgewählten zumindest einen Bereich ermittelt werden. Erst danach werden dreidimensionale Koordinaten für die nicht ausgewählten Bereiche ermittelt. Das dreidimensionale virtuelle Modell umfasst dabei die dreidimensionalen Koordinaten aller Bereiche. Die dreidimensionalen Koordinaten aller Bereiche können beispielsweise von einer Entfernung eines Objekts in diesem Bereich vom Kraftfahrzeug abhängen. Es ist insbesondere möglich, dass für jeden Bereich mehrere dreidimensionale Koordinaten ermittelt werden. Beispielsweise können für jeden Bildpunkt in jedem Bereich dreidimensionale Koordinaten ermittelt werden.
-
Die ausgewählten Bereiche werden somit als Startbereiche für die Ermittlung der dreidimensionalen Koordinaten verwendet. Diese Bereiche weisen eine höhere Bereichs-Entropie auf als andere Bereiche und sind somit besonders gut als Startbereiche geeignet, da die Konturen der Objekte in diesen Bereichen besonders gut gegenüber ihrer Umgebung abgegrenzt sind. Diese Bereiche sind deshalb besonders gut für eine Tiefenschätzung geeignet, da für viel Textur oder Struktur Ankerpunkte berechnet werden können.
-
Nach einer Ausführungsform der Erfindung kann das dreidimensionale virtuelle Modell eine Punktewolke umfassen. Die Punktewolke kann mehrere Punkte umfassen. Jeder der Punkte kann durch die dreidimensionalen Koordinaten bestimmt sein.
-
Nach einer Ausführungsform der Erfindung kann jeder der Punkte genau einem einzigen der Bildpunkte entsprechen.
-
Nach einer Ausführungsform der Erfindung können die dreidimensionalen Koordinaten unter Verwendung einer Triangulationsberechnung oder durch einen Algorithmus berechnet werden. Bei der Triangulationsberechnung können insbesondere mehrere Bilder unterschiedlicher Kameras verwendet werden. Der Algorithmus kann maschinelles Lernen verwenden. Der Algorithmus kann beispielsweise Bestandteil einer künstlichen Intelligenz sein.
-
Nach einer Ausführungsform der Erfindung kann das dreidimensionale virtuelle Modell ein Modell der Umgebung sein.
-
Nach einer Ausführungsform der Erfindung kann das dreidimensionale virtuelle Modell als Eingangsdaten für ein Fahrerassistenzsystem des Kraftfahrzeugs verwendet werden. Unter einem Fahrerassistenzsystem wird dabei im Rahmen dieser Beschreibung insbesondere eine elektronische Zusatzeinrichtung im Kraftfahrzeug zur Unterstützung des Fahrers in bestimmten Fahrsituationen verstanden. Hierbei stehen oft Sicherheitsaspekte, aber auch die Steigerung des Fahrkomforts im Vordergrund. Ein weiterer Aspekt ist die Verbesserung der Wirtschaftlichkeit. Das Fahrerassistenzsystem kann beispielsweise einen Bremsassistent und/oder einen Spurhalteassistent umfassen. Es ist auch möglich, dass das Fahrerassistenzsystem das Kraftfahrzeug autonom steuert und für diese autonome Steuerung das dreidimensionale virtuelle Modell verwendet.
-
Das System gemäß Anspruch 6 umfasst einen digitalen elektronischen Speicher und eine Verarbeitungseinheit. Die Verarbeitungseinheit kann auch als Prozessor bezeichnet werden. Das System kann auch mehrere einzelne digitale elektronische Speicher und/oder Verarbeitungseinheiten umfassen. Im digitalen elektronischen Speicher sind Instruktionen gespeichert, die durch die Verarbeitungseinheit auslesbar und ausführbar sind. Die Verarbeitungseinheit ist dazu ausgebildet, bei Ausführung der Instruktionen ein Verfahren nach einer Ausführungsform der Erfindung durchzuführen.
-
Das System kann beispielsweise auch eine Kamera aufweisen, die einen weiteren digitalen elektronischen Speicher und eine weitere Verarbeitungseinheit umfasst. Weitere Merkmale und Vorteile der vorliegenden Erfindung werden deutlich anhand der nachfolgenden Beschreibung bevorzugter Ausführungsbeispiele unter Bezugnahme auf die beiliegenden Abbildungen. Dabei werden für gleiche oder ähnliche Merkmale und für Merkmale mit gleichen oder ähnlichen Funktionen dieselben Bezugszeichen verwendet. Dabei zeigt
- 1A eine schematische perspektivische Ansicht eines von einer Kamera eines Kraftfahrzeugs aufgenommenen Bilds bei guten Sichtverhältnissen;
- 1B eine schematische Darstellung von Bereichen des Bildes aus 1A mit unterschiedlichen Bereits-Entropien;
- 2A eine schematische perspektivische Ansicht des Bilds aus 1A bei schlechteren Sichtverhältnissen; und
- 2B eine schematische Darstellung von Bereichen des Bildes aus 2A mit unterschiedlichen Bereits-Entropien.
-
Das Bild in 1 A ist von einer Kamera im Innenraum des Kraftfahrzeugs 1 aufgenommen worden. Es zeigt eine Umgebung 2 des Kraftfahrzeugs 1 bei relativ guten Sichtverhältnissen. Es kann sich beispielsweise um ein Bild handeln, das bei Tageslicht ohne Niederschlag und Nebel aufgenommen wurde.
-
In 1B sind unterschiedliche Bereiche 3, 4 und 5 mit unterschiedlichen Bereichs-Entropien dargestellt. Der Bereich 3 umfasst den Himmel ohne Wolken und weist damit eine besonders niedrige Bereichs-Entropie auf, da es sich um eine konturlose Fläche mit wenig Farbveränderungen handelt. Die Bereiche 5 umfassen die Fahrbahn beziehungsweise eine Fahrbahnbegrenzung. Sie weisen ebenfalls überwiegend wenig Farbveränderungen auf, haben jedoch Konturen. Sie weisen somit eine höhere Bereichs-Entropie als der Bereich 3 auf. Die Bereiche 4 umfassen jeweils einen Baum und weisen die höchste Bereichs-Entropie auf, da der Baum jeweils viele unterschiedliche Farbtöne und sehr viele gegeneinander scharf abgegrenzte Konturen aufweist. Dies gilt insbesondere für die äußeren gut ausgeleuchteten Bereiche des Baums.
-
Für die Erstellung eines dreidimensionalen virtuellen Modells der Umgebung 2, werden zumindest die Bereiche 4 ausgewählt, da sie die höchste Bereichs-Entropie aufweisen. Optional können auch noch die Bereiche 5 ausgewählt werden. Das dreidimensionale virtuelle Modell wird nun erzeugt, indem zunächst dreidimensionale Koordinaten für die ausgewählten Bereiche ermittelt werden. Dies kann mit einem Algorithmus oder durch eine Triangulationsberechnung unter Verwendung weiterer Bilder erfolgen. Die ausgewählten Bereiche eignen sich hierfür besonders gut, da für die Triangulationsberechnung bzw. den Algorithmus Konturen abgebildeter Objekte, z.B. der Bäume in den Bereichen 4, gut zu ermitteln sind. Dreidimensionale Koordinaten für Bereiche mit geringerer Bereichs-Entropie, wie zum Beispiel der Bereich 3, können danach ermittelt werden. Sie sind für das dreidimensionale virtuelle Modell von geringerer Bedeutung, da sie weiter entfernt vom Kraftfahrzeug 1 sind und unter Umständen - wie im Falle des Himmels im Bereich 3 - keine erkennbaren Objekte enthalten.
-
Besonders vorteilhaft ist die Verwendung eines Verfahrens nach einer Ausführungsform der Erfindung bei schlechteren Sichtverhältnissen, wie in 2A dargestellt. Es weisen alle Bereiche 6, 7, 8 und 9 in 2B eine geringere Bereichs-Entropie auf als die entsprechenden Bereiche in 1B. Dies wird durch die geringeren Kontraste aufgrund der schlechteren Sichtverhältnisse verursacht. Die schlechteren Sichtverhältnisse können beispielsweise durch Niederschlag oder Nebel verursacht sein.
-
Ein sehr großer Bereich 6 weist eine besonders geringe Bereichs-Entropie auf. Es kann sich beispielsweise um einen konturarmen Bereich handeln, der für den Fahrer ganz überwiegend aus sich kaum unterscheidenden Grautönen besteht, wie es beispielsweise bei Nebel auftritt. Dieser Bereich 6 eignet sich kaum oder überhaupt nicht für die Erstellung des dreidimensionalen virtuellen Modells. Auch die Fahrbahn im Bereich 8 weist eine geringere Bereichs-Entropie auf als noch bei besseren Sichtverhältnissen in 1 B. Der Bereich 7, der näher zum Kraftfahrzeug angeordnet ist als der Bereich 8, umfasst ebenfalls einen Teil der Fahrbahn. Aufgrund der geringeren Distanz zum Kraftfahrzeug 1, sind jedoch mehr Konturen zu erkennen, sodass die Bereichs-Entropie im Bereich 7 etwas höher ist als im Bereich 8. In 2B weist der Bereich 9 die höchste Bereichs-Entropie auf. Er umfasst einen Baum in einer relativ geringen Distanz zum Kraftfahrzeug 1.
-
Für die Erstellung eines dreidimensionalen virtuellen Modells der Umgebung 2 aus 2A, wird zumindest der Bereich 9 ausgewählt, da er die höchste Bereich-Entropie aufweist. Optional könnte auch noch der Bereich 7 ausgewählt werden. Das dreidimensionale virtuelle Modell wird nun erzeugt, indem zunächst dreidimensionale Koordinaten für die ausgewählten Bereiche ermittelt werden. Dies kann mit einem Algorithmus oder durch eine Triangulationsberechnung unter Verwendung weiterer Bilder erfolgen. Die ausgewählten Bereiche eignen sich hierfür besonders gut, da für die Triangulationsberechnung bzw. den Algorithmus Konturen abgebildeter Objekte, z.B. des Baums im Bereich 9, gut zu ermitteln sind.
-
Besonders bei vergleichsweise schlechten Sichtverhältnissen ist es vorteilhaft, zunächst die dreidimensionalen Koordinaten in den Bereichen mit relativ hoher Bereichs-Entropie zu ermitteln, da die Entropie des gesamten Bildes vergleichsweise niedrig ist, sodass eine zufällige Auswahl eines Bereichs für die Ermittlung der dreidimensionalen Koordinaten wahrscheinlich schlecht geeignet wäre. Im Bereich 6, der beispielsweise überwiegend aus Nebel bestehen kann, können die dreidimensionalen Koordinaten unter Umständen nur sehr ungenau ermittelt werden. Wenn hingegen bereits zuvor die dreidimensionalen Koordinaten in den Bereichen 7, 8 und 9 ermittelt wurden, liegen bereits vergleichsweise viele dreidimensionale Koordinaten vor, sodass in den übrigen Bereichen die dreidimensionalen Koordinaten genauer ermittelt werden können.
