-
Stand der Technik
-
Die vorliegende Erfindung betrifft ein Verfahren zum Ermitteln eines Beleuchtungsparameters.
-
Durch ein korrektes Abschätzen von Beleuchtungsbedingungen können eine Vielzahl von Anwendungen unterstützt werden. So ist es beispielsweise für ein AR-System (Augmented Reality System) essentiell, dass eine vorliegende Beleuchtung korrekt abgeschätzt wird. Damit Objekte fotorealistisch in die Umgebung eingebettet werden können ist nicht nur Kenntnis über eine 3D-Geometrie und eine Kamerakalibrierung notwendig, sondern auch ein Wissen über vorliegende Beleuchtungsbedingungen. Beleuchtungsbedingungen werden gerade in Außenbereichen dabei zumeist basierend auf einem einzelnen Bild abgeschätzt. Auch ist ein entsprechendes Abschätzen von Beleuchtungsbedingungen im Innenbereich bekannt.
-
So existieren bereits unterschiedliche Verfahren zum Ermitteln von Beleuchtungsparametern, bei denen Beleuchtungsbedingungen basierend auf einem einzelnen Bild und der darin vorliegenden Dynamik ermittelt werden. Dabei werden auch neuronale Netzwerke eingesetzt, wobei die Abschätzung von Beleuchtungsbedingungen, beispielsweise einer vorliegenden Lage der Sonne, entweder als ein Klassifizierungsproblem oder ein Regressionsproblem behandelt wird.
-
Die Abschätzung von Beleuchtungsbedingungen bzw. zugehörigen Beleuchtungsparametern basierend auf Einzelbildern führt jedoch dazu, dass diese nicht direkt in Zusammenhang mit AR Anwendungen verwendet werden können, da sie oftmals starke Fluktuationen der Beleuchtungsparameter mit sich bringen. Diese Fluktuationen kommen daher, dass nicht alle Bilder die gleiche Qualität hinsichtlich der Abbildung von Beleuchtungsparametern aufweisen. So könnte beispielsweise ein Einzelbild vollkommen im Schatten liegen, wodurch für dieses Einzelbild keine korrekte Ermittlung der Beleuchtungsparameter möglich wäre, da die Lage der Sonne nicht abgeschätzt werden kann. Es wird daher nach einem robusteren Verfahren zum Ermitteln von Beleuchtungsparametern gesucht.
-
Offenbarung der Erfindung
-
Das erfindungsgemäße Verfahren zum Ermitteln eines Beleuchtungsparameters umfasst ein Auswählen mehrerer Bildbereiche, wobei die Bildbereiche einzelne Bereiche eines Einzelbildes einer Kamera und/oder einzelne Bereiche unterschiedlicher Bereiche einer Bildsequenz einer Kamera umfassen, ein Ermitteln eines Bildmerkmals aus jedem der Bildbereiche, ein Ermitteln zumindest eines Beleuchtungsparameters für jedes der Bildmerkmale, wobei der Beleuchtungsparameter eine Charakteristik einer in dem jeweiligen Bildbereich für das Bildmerkmal vorliegenden Beleuchtung beschreibt, und ein Berechnen eines resultierenden Beleuchtungsparameters basierend auf einer Kombination der ermittelten Beleuchtungsparameter.
-
Die erfindungsgemäße Vorrichtung ist dazu eingerichtet das erfindungsgemäße Verfahren auszuführen. Dazu umfasst die Vorrichtung insbesondere eine Recheneinheit, welcher das Einzelbild oder die Bilder der Bildsequenz bereitgestellt werden. Die Vorrichtung kann bspw. als Recheneinheit und/oder Steuereinheit ausgebildet sein.
-
Gegenstand der vorliegenden Anmeldung sind auch ein System mit zumindest einer Kamera und der Vorrichtung, sowie ein entsprechendes Computerprogramm und ein maschinenlesbares Speichermedium.
-
Es erfolgt ein Auswählen mehrerer Bildbereiche. Die Bildbereiche können entweder zusammen in einem Einzelbild angeordnet sein oder können einzelne Bildbereiche mehrerer aufeinander folgender Bilder einer Bildsequenz umfassen. Auch kann bei dem Auswählen mehrerer Bildbereiche ein Auswählen mehrerer Bildbereiche aus einem Einzelbild und zugleich ein Auswählen einzelner Bildbereiche aus unterschiedlichen Bildern der Bildsequenz erfolgen. Es wird somit nicht nur ein einziges Bild als Ganzes betrachtet, sondern es werden mehrere Bildbereiche für das Ermitteln des Beleuchtungsparameters betrachtet, welche entweder aus einem Einzelbild, unterschiedlichen Bildern einer Bildsequenz oder beiden stammen. Das Betrachten einzelner Bereiche eines Einzelbildes wird dabei auch als ortsabhängiges Betrachten in einem Einzelbild bezeichnet. Das Betrachten einzelner Bereiche unterschiedlicher Bilder einer Bildsequenz wird auch als zeitabhängiges Betrachten von Bildbereichen bezeichnet. Es erfolgt bevorzugt ein ortsabhängiges und/oder zeitabhängiges Betrachten von Bildmerkmalen zum Ermitteln des Beleuchtungsparameters.
-
Es erfolgt das Ermitteln zumindest eines Beleuchtungsparameters für jedes der Bildmerkmale. Der Beleuchtungsparameter beschreibt eine Charakteristik einer in dem jeweiligen Bildbereich für das Bildmerkmal vorliegenden Beleuchtung. Es erfolgt somit eine Analyse der Bildmerkmale, um einen oder mehrere dem jeweiligen Bildmerkmal zugehörigen Beleuchtungsparameter zu ermitteln. Bevorzugt werden dabei für alle Bildmerkmale gleichartige Beleuchtungsparameter ermittelt. Es werden also Beleuchtungsparameter ermittelt, welche dieselbe Charakteristik der vorliegenden Beleuchtung beschreiben. Beispielhafte Beleuchtungsparameter sind beispielsweise eine Einfallrichtung des Lichts, eine Intensität des Lichts, eine Färbung des Lichts oder ähnliches.
-
Nicht für jedes der Bildmerkmale liegt eine gleiche Beleuchtung vor, da diese aus den Bildbereichen ermittelt wurde, welche an unterschiedlichen Orten in einem einzelnen Bild liegen oder zu unterschiedlichen Zeiten in mehreren Bildern erfasst wurden. Sollte somit zufällig ein Bildbereich bzw. Bildmerkmal betrachtet werden, das keinen deutlichen Rückschluss auf eine tatsächlich vorliegende Beleuchtung bzw. deren Charakteristik zulässt, so kann dennoch eine hinreichende Aussage über die tatsächlich vorliegende Beleuchtung getroffen werden. Dies erfolgt durch das Berechnen eines resultierenden Beleuchtungsparameters basierend auf einer Kombination der ermittelten Beleuchtungsparameter. Es werden somit alle der betrachteten Bildbereiche hinsichtlich eines vorliegenden Beleuchtungsparameters analysiert und aus der Zusammenschau der einzelnen Beleuchtungsparameter wird der resultierende Beleuchtungsparameter ermittelt.
-
Es wird ferner darauf hingewiesen, dass auch mehrere Bildmerkmale aus einem oder mehreren der ausgewählten Bildbereiche ermittelt werden können und für diese zugehörige Beleuchtungsparameter ermittelt werden, basierend auf denen der resultierende Beleuchtungsparameter berechnet wird.
-
Das Auswählen der mehreren Bildbereiche kann in unterschiedlicher Weise erfolgen, so kann beispielsweise eine zufällige Auswahl erfolgen oder es kann basierend auf bestimmten Bildeigenschaften, beispielsweise eine Dynamik des Bildes, eine Auswahl der Bildbereiche erfolgen.
-
Das Verfahren kann einen Schritt des Ausgebens eines Signals in Abhängigkeit des ermittelten resultierenden Beleuchtungsparameter umfassen. Das ausgegebene Signal kann als Informationssignal, welches bevorzugt den resultierenden Beleuchtungsparameter umfasst oder repräsentiert, und/oder als Steuersignal ausgebildet sein. Ansprechend auf das ausgegebene Signal kann eine Information bezüglich des resultierenden Beleuchtungsparameters ausgegeben, insbesondere angezeigt werden und/oder eine Einheit, bspw. eines AR Systems, eines Fahrzeugs etc. gesteuert werden.
-
Bevorzugt wird der berechnete resultierende Beleuchtungsparameter für eine Nutzung durch ein Videosystem bereitgestellt, durch welches ein virtuelles Objekt in die erfasste Bildsequenz eingefügt wird, und weiter bevorzugt auch durch dieses genutzt. Insbesondere wird der berechnete resultierende Beleuchtungsparameter für eine Nutzung durch AR-System bereitgestellt. Das Verfahren wird dazu bevorzugt durch das AR System ausgeführt.
-
Es werden somit bevorzugt mehrere Bildbereiche einer Bildsequenz zusammen betrachtet, um die Lichtverhältnisse der Bildsequenz abzuschätzen. Die Bildbereiche können Unterbilder aus demselben Bild (räumliche Aggregation), aus Bildern mit unterschiedlichen Zeitstempeln (zeitliche Aggregation) oder aus beidem (räumlich-zeitliche Aggregation sein. Auf diese Weise können Beobachtungen über die gleichen Lichtverhältnisse in verschiedenen Blickwinkeln assoziiert werden. Darüber hinaus ist die vorgeschlagene Aggregationsmethode unter Verwendung eines Transformatornetzwerks vorteilhafter als bisherige Aggregationstechniken, die eine manuelle Hyperparameterabstimmung erfordert.
-
Die Unteransprüche zeigen bevorzugte Weiterbildungen der Erfindung.
-
Bevorzugt werden bei dem Ermitteln des Bildmerkmals die ausgewählten Bildbereiche einer Merkmalsanalyse unterzogen, um die Bildmerkmale in den Bildbereichen zu ermitteln. Dabei können insbesondere bereits bekannte oder andersweitig vordefinierte Merkmale in den Bildbereichen identifiziert werden, wodurch eine besonders kontinuierliche Berechnung des Beleuchtungsparameters über einen zeitlichen Verlauf hin erfolgt.
-
Bevorzugt wird das Bildmerkmal mittels eines neuronalen Netzwerkes ermittelt, wobei das Bildmerkmal insbesondere ein eingebettetes Merkmal ist. Ein eingebettetes Merkmal wird in der Fachsprache auch als „embedded feature“ bezeichnet. So arbeiten neuronale Netzwerke besonders effizient, wenn diese eingebettete Merkmale definieren oder erkennen sollen.
-
Das Ermitteln des zumindest einen Beleuchtungsparameters für jedes der Bildmerkmale erfolgt mittels eines Transformers. Ein Transformer ist dabei ein auf maschinellem Lernen basierendes System. Durch einen Transformer wird grundsätzlich einer bestimmten Datenabfolge eine weitere Datenabfolge zugeordnet, was basierend auf einer durch maschinenlernen trainierten Systematik erfolgt. In den hier beschriebenen Verfahren wird bevorzugt einem Bildmerkmal, welches durch unterschiedliche Farb-, Helligkeits-, Kontrast- und ähnliche Parameter beschrieben ist, ein zugehöriger Beleuchtungsparameter zugeordnet. Um eine korrekte Zuordnung zu ermöglichen ist der Transformer bevorzugt ein maschinell lernendes System, welches basierend auf unterschiedlichen beispielhaften Bildmerkmalen mit zugehörigen bekannten Beleuchtungsparametern trainiert wurde.
-
Bevorzugt weist der zumindest eine Beleuchtungsparameter eine richtungsabhängige Komponente auf, welche von einer Lage der die Beleuchtung verursachenden Lichtquelle abhängig ist. Das Verfahren umfasst dabei bevorzugt ein Zuordnen eines Ausrichtungsparameter für jedes der Bildmerkmale, wobei der Ausrichtungsparameter eine Ausrichtung einer Kamera gegenüber ihrer Umgebung bei dem Erfassen des jeweiligen Bildbereichs und/oder eine Position des Bildmerkmals in dem zugehörigen Einzelbild beschreibt, und ein Anpassen der Beleuchtungsparameter basierend auf dem Ausrichtungsparameter, wobei die angepassten Beleuchtungsparameter derart angepasst sind, dass diese die Charakteristik der Beleuchtung in einem gemeinsamen Bezugssystem beschreiben, wobei das gemeinsame Bezugssystem für alle Beleuchtungsparameter aller Bildmerkmale gleich ist. Eine richtungsabhängige Komponente eines Beleuchtungsparameters beschreibt beispielsweise die Richtung, aus der ein Licht auf das jeweils betrachtete Bildmerkmal des jeweiligen Bildbereiches fällt. Diese ist Richtungsabhängig, da diese sich mit der Lage der Lichtquelle ändert. Die richtungsabhängige Komponente wird bevorzugt in ein gemeinsames Bezugssystem überführt, da solche richtungsabhängigen Komponenten auch abhängig von der Ausrichtung der Kamera sind. So kann beispielsweise ein Licht, welches aus Sicht der Kamera von links auf einen Gegenstand fällt, bei einer entsprechenden neuen Anordnung der Kamera plötzlich von rechts auf dasselbe Objekt fallen, obwohl die Beleuchtung nicht verändert wurde. Die Änderung ergibt sich dabei aus der Ausrichtung der Kamera gegenüber ihrer Umgebung. Auch kann eine Position eines betrachteten Bildmerkmals in dem zugehörigen Einzelbild einen Einfluss auf die richtungsabhängige Komponente haben. Daher ist es vorteilhaft, wenn die Ausrichtung der Kamera gegenüber ihrer Umgebung und/oder die Position eines betrachteten Bildmerkmals in dem zugehörigen Einzelbild als Ausrichtungsparameter jedem der Bildmerkmale zugeordnet wird. Damit wird es ermöglicht, dass im Folgenden die Beleuchtungsparameter für ein gewünschtes Bezugssystem angepasst werden können. Dies erfolgt durch das Anpassen des Beleuchtungsparameters basierend auf dem Ausrichtungsparameter. Mit dem Anpassen der Beleuchtungsparameter basierend auf dem Ausrichtungsparameter wird die richtungsabhängige Komponente der Beleuchtungsparameter unterschiedlicher Bildmerkmale in ein gemeinsames Bezugssystem transformiert. Es wird somit erreicht, dass auch bei einer Neuausrichtung der Kamera gegenüber ihrer Umgebung die Beleuchtungsparameter aus aufeinander folgenden Bildern der Bildsequenz gemeinsam betrachtet, verglichen und/oder kombiniert werden können.
-
Bevorzugt ist die Kamera eine Kamera eines Fahrzeuges und der Ausrichtungsparameter wird basierend auf einer Bewegung des Fahrzeuges ermittelt. So sind Kameras an Fahrzeugen zumeist mit einer fixen Ausrichtung installiert und somit kann auf die Ausrichtung der Kamera gegenüber ihrer Umgebung basierend auf der Bewegung des Fahrzeuges geschlossen werden.
-
Weiter bevorzugt wird der Ausrichtungsparameter mittels eines Structure from Motion Verfahrens ermittelt. So kann die Kamera in beliebiger Art angeordnet sein, was ebenfalls manuell geführte Kameras umfasst, und es kann der notwendige Ausrichtungsparameter erfasst werden.
-
Bevorzugt ist der resultierende Beleuchtungsparameter ein Durchschnittswert der ermittelten Beleuchtungsparameter. Optional werden einzelne Beleuchtungsparameter verworfen, wenn diese ein vorgegebenes Kriterium nicht erfüllen.
-
Bevorzugt ist der zumindest eine Beleuchtungsparameter ein Parameter eines Sonnen-Himmel-Modells. Solche Sonnen-Himmel-Modelle werden in der Fachsprache auch „sun-sky models“ genannt. Durch diese werden u.a. die Lage der Sonne und Eigenschaften des einfallenden Sonnenlichts, welches beispielsweise von einem Zustand des Himmels abhängig sind, berücksichtigt.
-
Bevorzugt wird bei dem Auswählen mehrerer Bildbereiche auch ein Bereich oder mehrere Bereiche eines Einzelbildes einer weiteren Kamera und/oder einzelne Bereiche unterschiedlicher Bilder einer Bildsequenz einer weiteren Kamera ausgewählt. Durch das Verfahren kann somit auch auf Bilder zweier Einzelkameras angewendet werden, wobei es vorteilhaft ist, wenn die beiden Kameras eine vorgegebene Ausrichtung zueinander aufweisen. Ist an dem Fahrzeug somit beispielsweise eine weitere Kamera angeordnet, so können auch die Bilder dieser weiteren Kamera für das Ermitteln des Beleuchtungsparameters herangezogen werden.
-
Kurze Beschreibung der Zeichnungen
-
Nachfolgend werden Ausführungsbeispiele der Erfindung unter Bezugnahme auf die begleitende Zeichnung im Detail beschrieben. In der Zeichnung ist:
- 1 eine schematische Darstellung einer Datenverarbeitung im Rahmen des erfindungsgemäßen Verfahrens, und
- 2 eine Darstellung einer beispielhaften Vorrichtung zum Ermitteln eines Beleuchtungsparameters.
-
Ausführungsformen der Erfindung
-
1 zeigt schematische Darstellung einer Datenverarbeitung im Rahmen eines Verfahrens 100 zum Ermitteln eines Beleuchtungsparameters gemäß einer Ausführungsform der Erfindung.
-
Durch das Verfahren 100 wird zumindest ein Beleuchtungsparameter ermittelt, welcher die Lichtverhältnisse in einem durch eine Kamera 2 erfassten Bereich beschreibt. In der hier beschriebenen Ausführungsform wird der Beleuchtungsparameter basierend auf einer Bildsequenz 10 ermittelt, welche durch eine Kamera 2 eines Fahrzeuges 17 erfasst wurde. Diese Bildsequenz 10 umfasst mehrere Einzelbilder, welche in zeitlicher Abfolge erfasst wurden. In der hier beschriebenen Ausführungsform wurden die Bilder von einer einzigen Kamera 2 erfasst, wobei das Fahrzeug 17 sich während dem Erfassen der Bilder in Bewegung befand. Durch die Einzelbilder der Bildsequenz 10 sind somit nicht immer der gleiche Ausschnitt der Umgebung der Kamera 2 abgebildet, da sich zum Einen der erfasste Raum durch die Bewegung der Kamera 2 verändert hat, als auch da sich Objekte innerhalb des erfassten Raumes durch eine Eigenbewegung verschieben können.
-
Es erfolgt ein Auswählen 101 mehrerer Bildbereiche aus den Bildern der Bildsequenz 10. So ist in 1 beispielhaft dargestellt, dass aus jedem der einzelnen Bilder der Bildsequenz 10 jeweils zwei Bildbereiche ausgewählt wurden. Es wird darauf hingewiesen, dass optional lediglich ein einzelner Bildbereich für jedes Bild der Bildsequenz ausgewählt wird oder dass anstelle der Bildsequenz 10 lediglich ein Einzelbild betrachtet wird, aus dem mehrere Bildbereiche ausgewählt werden. Die Auswahl der Bildbereiche kann auf unterschiedliche Weise erfolgen. So kann eine zufällige Auswahl der Bildbereiche erfolgen oder es kann eine parameterbasierte Auswahl der Bildbereiche erfolgen, wo beispielsweise Bildbereiche mit spezifischen Eigenschaften selektiert werden, beispielsweise Bildbereiche mit einer hohen Dynamik. Gemäß 1 werden für jedes der vier Bilder der Bildsequenz 10 jeweils zwei Bildbereiche ausgewählt, wodurch eine Vielzahl einzelner Bildbereiche 11, hier acht Bildbereiche, ausgewählt werden und für eine weitere Verarbeitung bereitstehen. Die Anzahl der ausgewählten Bildbereiche und die Anzahl der Bildsequenz 10 ist lediglich beispielhaft gewählt.
-
Es erfolgt ein Ermitteln 102 eines Bildmerkmals aus jedem der Bildbereiche. Dies wird mittels einer Verarbeitung der einzelnen ausgewählten Bildbereiche mittels eines neuronalen Netzwerkes 12, hier einem sogenannten Convolutional Network, erreicht. Dabei werden die ausgewählten Bildbereiche einer Merkmalsanalyse unterzogen, um die Bildmerkmale in den Bildbereichen zu ermitteln. Im einfachsten Falle ist das Bildmerkmal ein vordefinierter Typ eines Objektes, welcher durch das neuronale Netzwerk 12 erkannt wird und im Folgenden hinsichtlich eines Beleuchtungsparameters analysiert wird. Bevorzugt ist das Bildmerkmal ein sogenanntes „eingebettetes Merkmal“, also ein Merkmal, welches durch einen Satz von Eigenschaften beschrieben wird, die dem neuronalen Netzwerk 12 bekannt sind. Die Verwendung von eingebetteten Merkmalen im Rahmen neuronaler Netzwerke 12 ist dabei auch als die Verwendung von sogenannten „embedded features“ bekannt. Es wird somit erreicht, dass einzelne Bildmerkmale aus den einzelnen Bildbereichen 11 für eine weitere Betrachtung extrahiert werden. Dabei können auch mehrere Bildmerkmale aus einem einzelnen Bildbereich extrahiert werden. Im Ergebnis wird von dem neuronalen Netzwerk 12 eine Vielzahl von Bildmerkmalen 13 bereitgestellt.
-
In der hier beschriebenen Ausführungsform wird für jedes Bildmerkmal ein zugehöriger Beleuchtungsparameter berechnet. Optional werden jedoch für jedes Bildmerkmal mehrere unterschiedliche Beleuchtungsparameter berechnet, wobei für die unterschiedlichen Bildmerkmale jedoch bevorzugt dieselben Typen von Beleuchtungsparametern berechnet werden. Beispielhaft sei der Beleuchtungsparameter eine Einfallrichtung einer Lichtquelle, welche beispielsweise gemäß einem Sonnen-Himmel-Modell definiert ist. Dieser Beleuchtungsparameter weist eine richtungsabhängige Komponente auf, welche abhängig von der Lage der Kamera 2 und dem Stand der Sonne ist. Der Beleuchtungsparameter ist somit von der Lage der die Beleuchtung verursachenden Lichtquelle abhängig.
-
Die richtungsabhängige Komponente ist somit auch abhängig von der Ausrichtung der Kamera 2, was dazu führt, dass bei einer Betrachtung der Bildsequenz 10, bei der die Kamera 2 möglicherweise bewegt wird, eine Korrektur dieser richtungsabhängigen Komponente erfolgen muss, damit die Beleuchtungsparameter unterschiedlicher Bildbereiche vergleichbar sind bzw. kombiniert werden können. Es erfolgt daher ein Zuordnen 103 eines Ausrichtungsparameters zu jedem der Bildmerkmale, wobei der Ausrichtungsparameter eine Ausrichtung der Kamera 2 gegenüber ihrer Umgebung bei dem Erfassen des jeweiligen Bildbereichs und eine Position des jeweils betrachteten Bildmerkmals in dem zugehörigen Einzelbild beschreibt. Die Ausrichtung der Kamera 2 wird dabei bevorzugt in einem vordefinierten gemeinsamen Bezugssystem definiert. Jedem der Bildmerkmale wird einer oder mehrere Ausrichtungsparameter zugeordnet. Die Ausrichtung der Kamera 2 und somit der Ausrichtungsparameter wird basierend auf einer Bewegung des Fahrzeuges 17 ermittelt, an dem die Kamera 2 angeordnet ist. Das bedeutet, dass aus einer Bewegung des Fahrzeuges 17 auf eine Ausrichtung der Kamera 2 geschlossen wird. Es wird somit der Vielzahl von Bildmerkmalen 13 eine Vielzahl von Ausrichtungsparametern 14 zugeordnet. Alternativ dazu wird der Ausrichtungsparameter mittels eines Structure from Motion Verfahrens ermittelt, wodurch auf eine Sensorik für das Erfassen der Bewegung des Fahrzeuges 17 nicht zurückgegriffen werden muss.
-
Es erfolgt ein Ermitteln 104 des Beleuchtungsparameters für jedes der Bildmerkmale. Dazu werden die Bildmerkmale einem Transformer 15 bereitgestellt, durch welchen der Beleuchtungsparameter ermittelt wird. Der Transformer ist ein System für maschinelles Lernen und wurde basierend auf unterschiedlichen Bildmerkmalen trainiert, für welche die Beleuchtungsparameter bekannt waren. Entsprechend wird durch das antrainierte System, also durch den Transformer 15, für jedes der Bildmerkmale aus der Vielzahl von Bildmerkmalen 13 ein möglichst präziser zugehöriger Wert für den Beleuchtungsparameter ermittelt.
-
Durch das Ermitteln der Beleuchtungsparameter wird für jedes der Bildmerkmale auch ein zugehöriger Beleuchtungsparameter ermittelt, wobei die daraus resultierende Vielzahl der Beleuchtungsparameter 16 in 1 beispielhaft dargestellt ist. Dazu wird jeder der Beleuchtungsparameter auf ein zylindrisches Objekt angewendet, was in 1 beispielsweise daraus erkenntlich ist, dass eine unterschiedliche richtungsabhängige Komponente durch die unterschiedlichen Beleuchtungsparameter der unterschiedlichen Bildmerkmale definiert ist, welche zu unterschiedlichen Schattenwürfen des Objektes führt. Es wird jedoch nochmals explizit darauf hingewiesen, dass mehrere Beleuchtungsparameter für jedes Bildmerkmal berechnet werden können, wodurch ebenfalls unterschiedliche Helligkeitswerte, Farbeinflüsse oder ähnliche Parameter durch den Transformer für jedes Bildmerkmal ausgegeben werden. Ferner wird darauf hingewiesen, dass das zylindrische Objekt hier lediglich der Illustration dient und kein Objekt aus dem Einzelbild oder der Bildsequenz ist.
-
Da die Bildsequenz 10 dieser Ausführungsform durch eine an einem Fahrzeug 17 angeordneten Kamera 2 erfasst wurde und somit in ihrer Ausrichtung veränderlich ist, erfolgt ein Anpassen 105 der Beleuchtungsparameter basierend auf dem Ausrichtungsparameter. Dabei werden die Beleuchtungsparameter derart angepasst, dass diese die Charakteristik der Beleuchtung, hier die richtungsabhängige Komponente, in einem gemeinsamen Bezugssystem beschreiben. Das gemeinsame Bezugssystem ist dabei für alle Beleuchtungsparameter aller Bildmerkmale gleich. Es wird somit eine Bewegung der Kamera 2, welche ebenfalls zu einer Veränderung der richtungsabhängigen Komponente des Beleuchtungsparameters führt, kompensiert. Aus dem Anpassen 105 der Beleuchtungsparameter ergeben sich angepasste Beleuchtungsparameter, hier eine Vielzahl angepasster Beleuchtungsparameter 18. Diese sind in 1 ebenso beispielhaft dargestellt, indem diese auf ein beispielhaftes zylindrisches Objekt angewendet wurden. Es ist ersichtlich, dass der Schattenwurf des Objektes nun unabhängig von der Ausrichtung des Fahrzeuges 17 gleich ist, da dieser durch die gemeinsame Lichtquelle verursacht wurde, welche die in den Bildern der Bildsequenz 10 dargestellte Szene beleuchtet.
-
In einem letzten Schritt erfolgt ein Berechnen 106 eines resultierenden Beleuchtungsparameters basierend auf einer Kombination der ermittelten Beleuchtungsparameter, hier basierend auf den angepassten Beleuchtungsparametern. So wird in der hier beschriebenen Ausführungsform der resultierende Beleuchtungsparameter 107 als ein Durchschnittswert der ermittelten angepassten Beleuchtungsparameter ermittelt. Dieser resultierende Beleuchtungsparameter wird für eine weitere Verwendung in einem AR-System bereitgestellt.
-
Es wird darauf hingewiesen, dass der Schritt des Anpassens der Beleuchtungsparameter optional ist, da dieser nicht zwingend notwendig ist, wenn die Kamera 2 in ihrer Position gegenüber dem Bezugssystem fixiert ist.
-
2 zeigt eine beispielhafte Vorrichtung 1 zum Ermitteln eines Beleuchtungsparameters. Die Vorrichtung 1 ist dazu eingerichtet das zuvor beschriebene Verfahren 100 auszuführen. Dazu werden der Vorrichtung 1 die Einzelbilder einer Bildsequenz von einer Kamera 2 bereitgestellt und von der Vorrichtung 1 wird als Ausgangswert der resultierende Beleuchtungsparameter ausgegeben.
-
Das Verfahren nutzt bevorzugt eine Bildsequenz 10 von RGB-Bildern mit niedrigem Dynamikumfang und die entsprechenden Gierwinkel der Kamera 2 als Eingänge, welche als Ausrichtungsparameter genutzt werden können. Die Kamerawinkel können mit einer konventionellen Struktur aus Bewegungsverfahren abgeschätzt werden. Aus den Bildern werden kleine Ausschnitte erzeugt und an ein neuronales Faltungsnetzwerk geliefert. Das Convolutional Neural Network extrahiert Merkmale aus den zugeschnittenen Bildern, die mit den entsprechenden Positionskodierungen kombiniert werden, die unter Verwendung der Position jedes Zuschnitts im Bild und des Kamera-Gierwinkels jedes Frames generiert werden. Anhand dieser Daten durchläuft das Transformatorennetzwerk einen Aufmerksamkeitsprozess. Danach erfolgt ein Kalibrieren der Beleuchtungsschätzung mit den Gierwinkeln der Kamera 2 und ein Mitteln, um die Beleuchtungsschätzung für die gegebene Sequenz zu erhalten.
-
Gemäß der vorliegenden Ausführungsform umfasst die Vorrichtung 1 einen Prozessor, ein Speichermedium mit einem Computerprogramm, sowie mindestens eine Kommunikationsschnittstelle zum Einlesen der Bilder und/oder Ausgeben des resultierenden Beleuchtungsparameters. Das Computerprogramm umfasst Befehle, die bei der Ausführung durch den Prozessor bewirken, dass der Beleuchtungsparameter gemäß dem beschriebenen Verfahren ermittelt wird.
-
Neben der obigen schriftlichen Offenbarung wird explizit auf die Offenbarung der 1 und 2 verwiesen.
