DE102009001521B4

DE102009001521B4 - Verfahren zur Erzeugung einer HDR-Videobildfolge

Info

Publication number: DE102009001521B4
Application number: DE102009001521A
Authority: DE
Inventors: Kilian Jakob; Peter Rieder; Markus Schu
Original assignee: Entropic Communications LLC
Current assignee: Entropic Communications LLC
Priority date: 2009-03-12
Filing date: 2009-03-12
Publication date: 2012-12-27
Anticipated expiration: 2029-03-13
Also published as: DE102009001521A1; WO2010103109A1

Abstract

Verfahren zur Erzeugung einer Videobildfolge mit hohem Dynamikbereich, das umfasst: Erzeugen von mehreren Bildsequenzen, die jeweils mindestens ein Bild aufweisen; und Erzeugen jeweils wenigstens eines Bildes aus den einzelnen Bildern einer Bildsequenz; wobei vor Erzeugen der Bilder einer ersten Bildsequenz Bewegung in wenigstens einer zeitlich vorangehenden zweiten Bildsequenz ausgewertet und ein Bewegungswert ermittelt wird, und wobei die Belichtungen der einzelnen Bilder der ersten Bildsequenz abhängig von dem Bewegungswert derart eingestellt werden, dass abhängig von dem Bewegungswert eine Streuung der Belichtung für die einzelnen Bilder der ersten Bildsequenz variiert wird und/oder die Anzahl der für die Bilder der ersten Bildfolge verwendeten unterschiedlichen Belichtungen von dem Bewegungswert abhängig ist, und/oder die Anzahl der Bilder der ersten Bildsequenz abhängig von dem Bewegungswert eingestellt wird.

Description

Die vorliegende Erfindung betrifft ein Verfahren zur Erzeugung einer HDR-Videobildfolge.
HDR-Videobildfolgen sind Videobildfolgen, bei denen die einzelnen Bilder im Vergleich zu herkömmlichen Videobildern einen hohen Dynamikbereich (High Dynamic Range, HDR) besitzen. Solche HDR-Bilder können dadurch erzeugt werden, dass aus einer gegebenen Kameraposition mehrere Bilder mit unterschiedlichen Belichtungszeiten aufgenommen werden, deren Bildinformationen anschließend überlagert werden. In einem Bild mit langer Belichtungszeit werden beispielsweise dunkle Details der fotografierten Umgebung kontrastreich dargestellt, während beispielsweise in Bildern mit niedriger Belichtungszeit helle Details der abgebildeten Umgebung kontrastreich erscheinen. Durch Kombination der einzelnen mit unterschiedlichen Belichtungszeiten erzeugten Bilder entsteht ein Bild, in dem sowohl helle als auch dunkle Details der fotografierten Umgebung kontrastreich dargestellt sind.
Ein Verfahren zur Erzeugung einer HDR-Videobildfolge ist beispielsweise in der US 6 993 200 B2 beschrieben.
Dokument WO 2007/017835 A2 befasst sich mit einer adaptiven Belichtungssteuerung. Dabei wird ein erstes Bild belichtet und anschließend analysiert, um Abbildungsfehler und Artefakte zu identifizieren. Das Analysieren kann das Identifizieren einer Bewegung umfassen. In Abhängigkeit von der Analyse der ersten Bildaufnahme werden Kameraparameter für die nächste Bildaufnahme eingestellt.
Aufgabe der vorliegenden Erfindung ist es, ein verbessertes Verfahren zur Erzeugung einer HDR-Videosignalfolge und eine zur Durchführung dieses Verfahrens geeignete Vorrichtung zur Verfügung zu stellen.
Diese Aufgabe wird durch ein Verfahren nach Anspruch 1 gelöst.
Das erfindungsgemäße Verfahren zur Erzeugung einer Videobildfolge mit hohem Dynamikbereich umfasst: Erzeugen von mehreren Bildsequenzen, die jeweils mehrere Bilder mit unterschiedlichen Belichtungen aufweisen; und Erzeugen jeweils eines Bildes aus den einzelnen Bilder einer Bildsequenz. Bei diesem Verfahren wird vor Erzeugen der Bilder einer ersten Bildsequenz Bewegung in wenigstens einer zeitlich vorangehenden zweiten Bildsequenz ausgewertet und ein Bewegungswert wird ermittelt. Die Belichtungen der einzelnen Bilder der ersten Bildsequenz werden hierbei abhängig von dem Bewegungswert eingestellt.
Die Belichtung eines Bildes wird sowohl durch die Belichtungszeit, für die bei Aufnahme des Bildes belichtet wird, als auch durch die Größe der Blendenoffnung beeinflusst. Eine unterschiedliche Belichtung der einzelnen Bilder kann also durch eine Variation der Belichtungszeit und/oder durch eine Variation der Blendenöffnung erreicht werden. Eine ”hohere Belichtung” eines Bildes im Vergleich zu einem anderen Bild liegt dann vor, wenn für die Aufnahme des einen Bildes eine höhere Belichtungszeit und/oder eine größere Blendenöffnung als fur die Aufnahme des anderen Bildes verwendet wurde.
Grundsätzlich führt eine Vergrößerung der Blendenöffnung zu einer Verringerung der Tiefenschärfe, und eine Erhohung der Belichtungszeit führt zu einer Bewegungsunschärfe (Motion Blur). Indem die Belichtung über beide Parameter variierbar ist, besteht bei Anpassung bzw. Änderung der Belichtung eine Optimierungsmöglichkeit hinsichtlich einer möglichst geringen Bewegungsunschärfe oder einer moglichst großen Tiefenscharfe.
Ausfuhrungsbeispiele der vorliegenden Erfindung werden nachfolgend anhand von Figuren erläutert. Die Figuren dienen zur Veranschaulichung des Grundprinzips der Erfindung. In den Figuren sind daher nur die zum Verständnis dieses Grundprinzips notwendigen Merkmale dargestellt. In den Figuren bezeichnen, sofern nicht anders angegeben, gleiche Bezugszeichen gleiche Merkmale mit gleicher Bedeutung.
1 veranschaulicht drei mit unterschiedlichen Belichtungszeiten aufgenommene Videobildfolgen.
2 veranschaulicht schematisch die Erzeugung einer HDR-Videobildfolge aus den drei Videobildfolgen gemäß 1.
3 veranschaulicht eine Videobildfolge, die zeitlich aufeinanderfolgende Bilder umfasst, die mit unterschiedlichen Belichtungszeiten erzeugt wurden.
4 veranschaulicht die Erzeugung mehrerer Videosignalfolgen mit gleicher Bewegungsphase aus der Videosignalfolge gemäß 3.
5 veranschaulicht ein Verfahren zur Einstellung der Belichtungszeit für die Erzeugung eines Videobildes.
6 veranschaulicht ein Beispiel einer Vorrichtung zur Erzeugung mehrerer Videobildfolgen mit bewegungsabhängigen Belichtungszeiten.
7 veranschaulicht eine Abhängigkeit der Belichtungszeit von einem Bewegungswert gemäß einem ersten Beispiel.
8 veranschaulicht eine Abhängigkeit der Belichtungszeit von einem Bewegungswert gemaß einem zweiten Beispiel.
9 veranschaulicht ein Beispiel einer Vorrichtung zur Erzeugung einer Videobildfolge, die Bilder mit bewegungsabhängigen Belichtungszeiten aufweist.
10 veranschaulicht eine Abhängigkeit der Belichtungszeit von einem Bewegungswert während der Dauer einer Bildsequenz.
1 veranschaulicht schematisch mehrere – in dem Beispiel drei – Videobildfolgen S1, S2, S3 die jeweils eine Anzahl zeitlich aufeinanderfolgender Videobilder aufweisen. Diese einzelnen Videobildfolgen bilden die Grundlage für die Erzeugung einer HDR-Videobildfolge. Die Videobilder der unterschiedlichen Videobildfolgen werden dabei mit unterschiedlichen Belichtungen aufgenommen. Zu Zwecken der Erläuterung sei beispielsweise angenommen, dass Videobilder einer ersten Videobildfolge S1 mit einer ersten Belichtung, Videobilder einer zweiten Videobildfolge S2 mit einer zweiten Belichtung und Videobilder einer dritten Videobildfolge S3 mit einer dritten Belichtung aufgenommen werden, wobei die erste Belichtung größer als die zweite Belichtung und wobei die zweite Belichtung größer als die dritte Belichtung ist.
Die Belichtung kann durch einen oder mehrere der nachfolgend genannten Parameter variiert werden: Belichtungszeit, Blendenoffnung und Zusatzbeleuchtung. Die Belichtung vergroßert sich dabei, wenn bei gleicher Blendenoffnung und gleicher Zusatzbeleuchtung die Belichtungszeit vergroßert wird, wenn bei gleicher Belichtungszeit und gleicher Zusatzbeleuchtung die Blendenöffnung vergroßert wird, oder wenn bei gleicher Belichtungszeit und gleicher Blendenoffnung die Lichtstärke der Zusatzbeleuchtung verstärkt wird. Die Zusatzbeleuchtung kann beispielsweise durch eine Leuchte mit zwei oder mehr Helligkeitsstufen realisiert sein. Um von Bild zu Bild die Helligkeit variieren zu können, sollte die Leuchte geringe Verzogerungszeiten bzw. Nachleuchtzeiten besitzen. Dies kann beispielsweise durch eine Leuchte auf Basis von Leuchtdioden (LEDs) erreicht werden. Eine solche Leuchte umfasst beispielsweise eine oder mehrere LEDs, die je nach gewunschter Helligkeit der Zusatzbeleuchtung eingeschaltet oder abgeschaltet werden.
Mit B ist nachfolgend die Belichtung bezeichnet. Diese Belichtung B ist eine Funktion der erläuterten Belichtungszeit T_B, der Blendenöffnung A und der Helligkeit Z einer Zusatzbeleuchtung, so dass allgemein gilt: B = f(T_B, A, Z).
Eine Variation einer Belichtung B₀ hin zu einem anderen Belichtungswert B₀' kann dabei durch Variation eines beliebigen der drei Parameter erreicht werden. Die in 1 schematisch dargestellten Videobildfolgen besitzen jeweils gleiche Bewegungsphasen. Dies ist in 1 dadurch veranschaulicht, dass jeweils ein Bild jeder der Videobildfolgen denselben Aufnahmezeitpunkt besitzt. Diese Aufnahmezeitpunkte sind in 1 mit t₀, t₀ – T, t₀ – 2T bezeichnet. T bezeichnet in diesem Fall einen zeitlichen Abstand zwischen den Aufnahmezeitpunkten der einzelnen Bilder einer jeden der Videobildfolgen. Bilder der einzelnen Videobildfolgen S1, S2, S3, die denselben Aufnahmezeitpunkt besitzen, werden nachfolgenden als Bildsequenz mit gleichem Aufnahmezeitpunkt bezeichnet.
Die Bilder einer Bildsequenz mit gleichem Aufnahmezeitpunkt, die unterschiedliche Belichtungszeiten besitzen, können in hinlänglich bekannter Weise zu einem HDR-Bild überlagert werden. Führt man ein solches Überlagerungsverfahren für alle Bildsequenzen mit gleichem Aufnahmezeitpunkt durch, so erhält man eine HDR-Videobildfolge. Ein solches Vorgehen ist schematisch in 2 dargestellt.
Mit 1 ist in 2 eine Überlagerungseinheit dargestellt, der die einzelnen Videobildfolgen S1, S2, S3 zugeführt sind und die dazu ausgebildet ist, die Bildinformationen der Bildsequenzen mit gleichem Aufnahmezeitpunkt zu überlagern und so eine HDR-Videobildfolge S zu erzeugen. Verfahren zur Überlagerung von einzelnen Bildern einer Bildsequenz mit gleichem Aufnahmezeitpunkt zu einem HDR-Bild sowie Vorrichtungen zur Durchfuhrung eines solchen Verfahrens sind grundsätzlich bekannt, so dass auf weitere Ausfuhrungen hierzu verzichtet werden kann.
Bildsequenzen mit gleichem Aufnahmezeitpunkt können dadurch erzeugt werden, dass mehrere Aufnahmevorrichtungen, wie z. B. Kameras, bereitgestellt werden, die aus derselben Kameraposition Bilder mit unterschiedlichen Belichtungszeiten zu gleichen Aufnahmezeitpunkten erzeugen. Ein solches Vorgehen ist allerdings insofern aufwendig, da mehrere Kameras benotigt werden.
Bildsequenzen mit gleichem Aufnahmezeitpunkt konnen auch dadurch erzeugt werden, dass die einzelnen Bilder einer Sequenz aus einer Kameraposition zeitlich aufeinanderfolgend aufgenommen werden und dass anschließend eine bewegungskompensierte Interpolation durchgefuhrt wird, durch welche aus den zeitlich aufeinanderfolgenden Bildern mit unterschiedlicher Belichtungszeit Bilder mit gleicher Bewegungsphase erzeugt werden.
4 zeigt schematisch eine Vorrichtung zur Erzeugung von Videobildfolgen S1, S2, S3 mit gleichen Bewegungsphasen aus der in 3 dargestellten Videobildfolge S', die zeitlich aufeinanderfolgend Bilder mit unterschiedlichen Belichtungszeiten umfasst. Eine solche Videobildfolge S' mit zeitlich aufeinanderfolgenden Bildern, die unterschiedliche Belichtungszeiten besitzen, kann unter Verwendung einer einzigen Aufnahmevorrichtung erzeugt werden, wobei von Bild zu Bild die Belichtungszeit geandert wird. Die Bildfrequenz dieser Videobildfolge S' ist hoher als die Bildfrequenz der in 1 dargestellten Videobildfolgen S1, S2, S3. Diese Bildfrequenz der Videobildfolge S' entspricht dem Produkt aus der gewünschten Bildfrequenz der späteren HDR-Videobildfolge und der Anzahl der Bilder, deren Bildinformationen zu einem HDR-Bild überlagert werden sollen. Die einzelnen Bilder der in 3 dargestellten Bildfolge S' können zeitlich gleichmäßig beabstandet sein. In diesem Fall gilt bezogen auf die Darstellung gemaß 3 k₁ = k₂ = k₃ = 1/3. In diesem Zusammenhang sei darauf hingewiesen, dass die Überlagerung von drei Bildern zu einem HDR-Bild lediglich als Beispiel zu verstehen ist. Selbstverständlich können auch nur zwei oder auch mehr als drei Bilder, die mit unterschiedlichen Belichtungszeiten erzeugt wurden, zu einem HDR-Bild uberlagert werden.
4 zeigt schematisch eine Vorrichtung zur Erzeugung von Videobildfolgen S1, S2, S3 mit gleichen Bewegungsphasen aus der in 3 dargestellten Videobildfolge S'. Diese Vorrichtung umfasst für jede der zu erzeugenden Videobildfolgen S1, S2, S3 eine Bewegungsschätz- und Interpolationseinheit 21, 22, 23. Jeder dieser Bewegungsschätz- und Interpolationseinheiten ist eine Teilbildfolge der Bildfolge S' zugeführt. Diese Teilbildfolgen sind dadurch gebildet, dass ein Multiplexer 20 im Zeitmultiplex die Bilder der Eingangsbildfolge S' derart abwechselnd den einzelnen Bewegungsschätz- und Interpolationseinheiten 21, 22, 23 zugeführt sind, dass der ersten Bewegungsschätz- und Interpolationseinheit 21 beispielsweise nur die Bilder, die mit der ersten Belichtungszeit erzeugt wurden zugeführt sind; dass der zweiten Bewegungsschätz- und Interpolationseinheit 22 nur die Bilder, die mit der zweiten Belichtungszeit erzeugt wurden zugeführt sind; und dass der dritten Bewegungsschatz- und Interpolationseinheit 23 nur die Bilder, die mit der dritten Belichtungszeit erzeugt wurden, zugeführt sind. Die einzelnen Bewegungsschätz- und Interpolationseinheiten 21, 22, 23 sind dazu ausgebildet, eine Bewegungsschätzung durchzufuhren und unter Verwendung dieser Bewegungsschätzung Bildfolgen zu erzeugen, die eine gleiche Bewegungsphase besitzen. Solche Bewegungsschätz- und Interpolationsverfahren sowie Vorrichtungen zur Durchführung solcher Bewegungsschätz- und Interpolationsverfahren sind grundsätzlich bekannt, so dass auf weitere Ausführungen hierzu verzichtet werden kann.
Bei dem erfindungsgemäßen Verfahren ist vorgesehen, die Belichtungen der Bilder der Bildsequenz, die zu einem HDR-Bild überlagert werden, abhängig von einem Bewegungswert einzustellen. Der Bewegungswert zu einem gegebenen Zeitpunkt, zu dem ein Bild erzeugt bzw. aufgenommen wird, ist dabei abhängig von Bewegung, die in Bildern der Bildfolge vorhanden ist, die vor diesem Zeitpunkt aufgenommen wurden. Ein solches Verfahren wird nachfolgend anhand von 5 unter Einbeziehung der 1 und 3 erläutert werden.
Für die folgende Erläuterung sei angenommen, dass t₀ in den 1 und 3 einen Zeitpunkt bezeichnet, zu dem wenigstens ein Bild einer Bildsequenz aufgenommen werden soll, deren Bilder später zu einem HDR-Bild überlagert werden sollen. Bei dem in 1 dargestellten Fall, bei dem gleichzeitig mehrere Bildfolgen mit gleicher Bewegungsphase erzeugt werden, werden zu diesem Zeitpunkt t₀ mehrere Bilder erzeugt. Bei dem in 3 dargestellten Fall, bei dem die Bildsequenzen mit zu überlagernden Bildern zeitlich aufeinanderfolgend erzeugt werden, wird zum Zeitpunkt t₀ nur ein Bild erzeugt.
In einem ersten Verfahrensschritt 101 ist bei dem Verfahren vorgesehen, einen Bewegungswert zu erzeugen, der abhängig ist von einem Bewegungswert der Videobildfolge vor dem Zeitpunkt t₀. Die Ermittlung des Bewegungswertes umfasst den Vergleich wenigstens zweier zuvor aufgenommener zeitlich aufeinanderfolgender Bilder. Sind entsprechend dem Beispiel gemäß 1 mehrere Bildfolgen S1, S2, S3 mit gleichen Bewegungsphasen vorhanden, so kann zur Ermittlung des Bewegungswertes eine dieser Bildfolgen ausgewählt und der Bewegungswert kann durch Vergleich zweier zeitlich aufeinanderfolgender Bilder der ausgewählten Bildfolge ermittelt werden. Die zeitlich aufeinanderfolgenden Bilder konnen dabei unmittelbar zeitlich aufeinanderfolgen. Zwischen den zwei zu vergleichenden Bildern können jedoch noch weitere Bilder vorhanden sein.
Es konnen auch zeitlich aufeinanderfolgende Bilder aus unterschiedlichen der in 1 dargestellten Bildfolgen S1, S2, S3 miteinander verglichen werden. Allerdings können sich in diesem Fall unterschiedliche Belichtungen auf das Vergleichsergebnis auswirken.
Um Bewegung in einer Bildfolge gemaß 3 zu ermitteln, besteht die Möglichkeit, entsprechend der Erläuterungen zu 4 aus dieser Bildfolge S' mehrere Bildfolgen mit gleichen Bewegungsphasen zu erzeugen, eine dieser Bildfolgen auszuwahlen und Bewegung durch Vergleich zweier zeitlich aufeinanderfolgender Bilder der ausgewahlten Bildfolge zu ermitteln.
Darüberhinaus besteht auch die Moglichkeit, unmittelbar Bilder der Bildfolge S' miteinander zu vergleichen, und zwar insbesondere solche zeitlich aufeinanderfolgenden Bilder der Bildfolge S', die dieselbe Bewegungsphase bezogen auf die Bilder der späteren HDR-Videobildfolge besitzen. Bilder mit gleicher Bewegungsphase sind bezogen auf das Beispiel gemaß 3 beispielsweise solche Bilder, fur deren Aufnahmezeitpunkte gilt: t₀ – k₁·T – i·T, mit i ≥ 0 oder Bilder für deren Aufnahmezeitpunkt gilt: t₀ – k₂·T – i·T, mit i ≥ 0 oder Bilder für deren Aufnahmezeitpunkt gilt: t₀ – k₃·T – i·T, mit i ≥ 0.
Die einzelnen Bilder aller zuvor erläuterten Videobildfolgen weisen jeweils eine Anzahl von matrixartig angeordneten Bildpunkten (Pixel) auf, denen jeweils wenigstens ein Bildinformationswert zugeordnet ist. Bei einer RGB-Darstellung sind jedem Bildpunkt drei Bildpunktewerte zugeordnet: ein erster Bildpunktwert fur die Farbe Rot (R); ein zweiter Bildpunktwert für die Farbe Grün (G); und ein dritter Bildpunktwert fur die Farbe Blau (B). Bei einer YUV-Darstellung sind jedem Bildpunktwert ebenfalls drei Bildpunktwerte zugeordnet: ein Luminanzwert (Y); und zwei Chrominanzwerte (U, V).
Ein Vergleich zweier zeitlich aufeinanderfolgender Bilder zur Ermittlung des Bewegungswertes umfasst beispielsweise die Ermittlung eines Abstandsmaßes. Dieses Abstandsmaß ist ein Maß fur die Differenz der den einzelnen Bildpunkten der zu vergleichenden Bilder zugeordneten Bildpunktwerte. Die Ermittlung des Abstandsmaßes umfasst beispielsweise die Ermittlung der Differenz zwischen den Bildpunktwerten solcher Bildpunkte, die sich in den beiden Bildern an den gleichen Positionen befinden, die Betragsbildung dieser Differenz und das Aufsummieren dieser Differenzen. Das so erhaltene Ergebnis wird auch als Summe der Absolutwerte der Differenzen (SAD, Sum of Absolute Differences) bezeichnet. Das Abstandsmaß ist in diesem Fall umso hoher, je starker sich die Bildinhalte der beiden zu vergleichenden Bilder unterscheiden, je mehr bewegte Inhalte in den beiden zu vergleichenden Bildern also vorhanden sind. Anstelle der Betrage der Differenzen konnen selbstverständlich beliebige andere Abstandsmaße verwendet werden, wie z. B. geradzahlige Potenzen der Bildpunktdifferenzen.
Der Vergleich zweier zeitlich aufeinanderfolgender Bilder kann die Auswertung nur jeweils eines der einem Bildpunkt zugeordneten Bildpunktwerte umfassen, wie z. B. nur des Rot-Wert, des Grün-Werts oder des Blau-Werts bzw. des Y-Werts, des U-Werts oder des V-Werts. Selbstverständlich besteht auch die Moglichkeit, alle einem Bildpunkt zugeordnete Bildpunktwerte auszuwerten und die so erhaltenen Abstandsmaße zu addieren, um ein Gesamt-Abstandsmaß zu erhalten.
Bei dem erfindungsgemaßen Verfahren ist insbesondere vorgesehen, einen Unterschied zwischen den Belichtungen der einzelnen Bilder einer Bildsequenz derart abhängig von dem Bewegungswert einzustellen, dass diese Unterschiede umso geringer ist, je mehr bewegte Inhalte die zuvor erzeugten Bilder enthalten. Dem liegt die Überlegung zugrunde, dass bei bewegten Inhalten eine hohe Tiefenschärfe bzw. eine hohe Dynamik der dargestellten Bilder vom Betrachter ohnehin kaum wahrgenommen werden. Bei Erzeugung der zu überlagernden Bilder aus einer Bildfolge, die nur durch eine einzige Aufnahmevorrichtung erzeugt wurde, wie z. B. die Bildfolge S' gemäß 3, und bei der die Erzeugung der zu überlagernden Bilder eine Bewegungsschätzung umfasst, (vgl. die Ausführungen zu 4) besteht außerdem die Gefahr, dass bei einer fehlerhaften Bewegungsschätzung die Uberlagerung von Bildern mit unterschiedlichen Belichtungszeiten den Bildeindruck stark verfälscht.
Allgemein besteht die Moglichkeit, die Streuung der Belichtungen, die auf die Bilder einer Bildsequenz angewendet werden, abhängig von der detektierten Bewegung zu variieren. Die Streuung ist bestimmt durch den Unterschied zwischen der höchsten und der geringsten Belichtung, also beispielsweise einer längsten und einer kürzesten Belichtungszeit oder einer größten und kleinsten Blendenöffnung. Sind beispielsweise B₁, B₂, ..., B_n, B₁ < B₂ < ... < B_n, die Belichtungen, mit denen die Bilder einer Bildsequenz aufgenommen werden und ist D = B₁–B_n der Variationsbereich der Belichtung, so gilt, dass D mit zunehmender Bewegung kleiner wird.
Bei einem weiteren Beispiel ist vorgesehen, die Anzahl der verwendeten unterschiedlichen Belichtungen mit zunehmender Bewegung zu reduzieren. Im Extremfalls, wenn ein hohes Maß an Bewegung in den zuvor aufgenommenen Bildern vorhanden ist, kann hierbei für alle Bilder der Bildsequenz dieselbe Belichtung verwendet werden.
Alternativ oder zusätzlich zu einer Variation der Belichtung abhängig von der detektierten Bewegung ist bei einem weiteren Beispiel vorgesehen, die Anzahl der Bilder einer Bildsequenz abhangig von der detektierten Bewegung zu variieren. So ist beispielsweise vorgesehen, die Anzahl der Bilder einer Bildsequenz zu vergrößern, wenn ein hohes Maß an Bewegung vorliegt. Die Belichtungen dieser einzelnen Bilder können sich unterscheiden, wobei die Variation der Belichtung durch Variation eines der zuvor genannten Parameter erreicht werden kann. Werden die einzelne Bilder einer Sequenz zeitlich aufeinanderfolgend aufgenommen und wird die Belichtung durch Variation der Belichtungszeiten für die einzelnen Bilder variiert, so reduziert sich mit zunehmender Anzahl von Bildern pro Bildsequenz die maximal zulässige Belichtungszeit pro Bild, wenn fur die Aufnahme der Bilder einer Sequenz eine vorgegebene Zeit zur Verfügung steht. Um auch bei zunehmender Anzahl von Bildern dennoch eine hohe Streuung der Belichtung einstellen zu können, ist bei einem Beispiel vorgesehen, die Belichtung über die Blendenöffnung einzustellen.
Bei einem weiteren Beispiel ist in diesem Fall vorgesehen, wahrend einer Zeiteinheit nur ein einziges Bild zu erzeugen und nicht mehrere zu überlagernde Bilder mit gleicher Belichtungszeit.
Ein Beispiel einer Vorrichtung zur Erzeugung mehrerer Videobildfolgen mit gleicher Bewegungsphase und bewegungsabhängiger Belichtungszeit ist in 6 dargestellt. Diese Vorrichtung umfasst drei Aufnahmevorrichtungen bzw. Kameras 31, 32, 33, die sich an einer gemeinsamen Kameraposition befinden. Jede dieser Aufnahmevorrichtungen besitzt eine einstellbare Belichtungszeit, die abhängig ist von einem der Aufnahmevorrichtung 31, 32, 33 zugeführten Belichtungssignal E1, E2, E3. Diese Belichtungszeit kann Bild für Bild eingestellt werden. Jede der Aufnahmevorrichtungen 31, 32, 33 weist einen Ausgang auf, an dem die durch die jeweilige Aufnahmevorrichtung erzeugte Bildfolge zur Verfugung steht. Diese Bildfolgen können eine Überlagerungseinheit 1 (gestrichelt dargestellt) zugeführt werden, die aus diesen Bildfolgen S1, S2, S3 eine HDR-Bildfolge erzeugt.
Wenigstens eine der durch die Aufnahmevorrichtungen 31, 32, 33 erzeugten Bildfolgen S1, S2, S3 ist eine Bewegungsermittlungseinheit zugeführt, die dazu ausgebildet ist, Bewegung in den bereits aufgenommenen Bildern der Bildfolge zu ermitteln, beispielsweise durch Vergleich zweier zeitlich aufeinanderfolgender wenigstens einer der Bildfolgen. Am Ausgang dieser Bewegungsermittlungseinheit 41 steht der Bewegungswert S41 zur Verfugung. Dieser Bewegungswert S41 ist einer Belichtungseinstelleinheit 43 zugeführt, die abhangig von diesem Bewegungswert Belichtungssignale E1, E2, E3 bereitstellt, die Belichtungszeiten der einzelnen Aufnahmevorrichtungen 31, 32, 33 erzeugt.
Die Belichtungseinstelleinheit 43 ist beispielsweise dazu ausgebildet, fest vorgegebene unterschiedliche Belichtungswerte einzustellen, wenn der Bewegungswert S41 unterhalb eines vorgegebenen Schwellenwertes S41₀ liegt, und gleiche Belichtungswerte einzustellen, wenn der Bewegungswert S41 oberhalb eines vorgegebenen Schwellenwertes liegt. Ein solches Vorgehen ist schematisch in 7 dargestellt, in der die Belichtungswerte E1, E2, E3 abhängig von dem Bewegungswert S41 dargestellt sind. Zu Zwecken der Erläuterung sei dabei angenommen, dass der Bewegungswert S41 umso großer ist, je mehr Bewegungsanteile die zur Ermittlung des Bewegungswertes S41 miteinander verglichenen Bilder aufweisen.
Bei einem weiteren Beispiel ist vorgesehen, die Belichtungswerte E1, E2, E3 so einzustellen, dass diese sich mit zunehmendem Bewegungswert S41 aneinander annähern. Ein solches Vorgehen ist in 8 dargestellt. S44₀ bezeichnet hierbei einen Schwellenwert, ab dem gleiche Belichtungswerte für alle Anzeigevorrichtungen 31, 32, 33 vorgesehen sind.
9 zeigt ein Beispiel einer Vorrichtung zur Erzeugung einer Bildfolge mit zeitlich aufeinanderfolgenden Bildern mit unterschiedlicher Belichtungszeit. Diese Vorrichtung umfasst eine Aufnahmevorrichtung 34, die eine durch ein Belichtungssignal E einstellbare Belichtungszeit besitzt. An einem Ausgang dieser Vorrichtung steht das Bildsignal S' zur Verfügung. Dieses Bildsignal S' ist einer Bewegungsermittlungseinheit 44 zugefuhrt, die dazu ausgebildet ist, Bewegung in der bisher aufgenommenen Bildfolge zu ermitteln und unter Berücksichtigung dieser Bewegung einen Bewegungswert S44 zu erzeugen. Dieser Bewegungswert S44 ist einer Belichtungseinstelleinheit 42 zugeführt. Diese Belichtungseinstelleinheit 42 ist dazu ausgebildet, das Belichtungssignal E zu erzeugen. Anders als bei der anhand von 6 erläuterten Vorrichtung erzeugt die Bewegungseinstelleinheit 42 gemäß 9 zeitlich aufeinanderfolgend jeweils unterschiedliche Belichtungswerte E und zwar je einen Belichtungswert für jedes durch die Aufnahmevorrichtung 34 zu erzeugende Bild einer Bildsequenz. Die zeitliche Abfolge der durch diese Belichtungseinstelleinheit 42 erzeugten Belichtungswerte ist schematisch in 10 dargestellt. T bezeichnet in 10 den zeitlichen Abstand zwischen zwei Bildern der späteren HDR-Bildfolge. Die mehreren Bilder mit unterschiedlichen Belichtungszeiten werden innerhalb dieser Zeitdauer T erzeugt. E1 bezeichnet in 10 einen ersten Belichtungswert, E2 einen zweiten Belichtungswert und E3 einen dritten Belichtungswert, die jeweils für ein Bild einer Bildsequenz angewendet werden, wobei die einzelnen Bilder dieser Bildsequenz anschließend zur einem HDR-Bild überlagert werden. In dem dargestellten Beispiel wird das Bild mit der großten Belichtungszeit E1 zuerst, dann das Bild mit der nächstkleineren Belichtungszeit E2 und danach das Bild mit der kleinsten Belichtungszeit E3 aufgenommen. Diese Reihenfolge ist jedoch grundsätzlich beliebig.
Die einzelnen Belichtungswerte E1, E2, E3 sind von dem Bewegungswert S44 abhängig. Die Abhängigkeit der Belichtungswerte E1, E2, E3 von dem Bewegungswert S44 entspricht beispielsweise der zuvor anhand der 7 und 8 erläuterten Abhängigkeiten der Belichtungswerte E1, E2, E3 von dem Bewegungswert S41.

Claims

Verfahren zur Erzeugung einer Videobildfolge mit hohem Dynamikbereich, das umfasst: Erzeugen von mehreren Bildsequenzen, die jeweils mindestens ein Bild aufweisen; und Erzeugen jeweils wenigstens eines Bildes aus den einzelnen Bildern einer Bildsequenz; wobei vor Erzeugen der Bilder einer ersten Bildsequenz Bewegung in wenigstens einer zeitlich vorangehenden zweiten Bildsequenz ausgewertet und ein Bewegungswert ermittelt wird, und wobei die Belichtungen der einzelnen Bilder der ersten Bildsequenz abhängig von dem Bewegungswert derart eingestellt werden, dass abhängig von dem Bewegungswert eine Streuung der Belichtung für die einzelnen Bilder der ersten Bildsequenz variiert wird und/oder die Anzahl der für die Bilder der ersten Bildfolge verwendeten unterschiedlichen Belichtungen von dem Bewegungswert abhängig ist, und/oder die Anzahl der Bilder der ersten Bildsequenz abhängig von dem Bewegungswert eingestellt wird.
Verfahren nach Anspruch 1, bei dem die Streuung mit zunehmender durch den Bewegungswert angezeigter Bewegung abnimmt.
Verfahren nach Anspruch 1, bei dem die Anzahl der verwendeten unterschiedlichen Belichtungen mit zunehmender durch den Bewegungswert angezeigter Bewegung abnimmt.
Verfahren nach einem der vorangehenden Ansprüche, bei dem die Anzahl der Bilder der ersten Bildsequenz mit zunehmender durch den Bewegungswert angezeigter Bewegung zunimmt.
Verfahren nach einem der vorangehenden Ansprüche, bei dem die Bewegung innerhalb einer zeitlich vorangehenden zweiten Bildsequenz ausgewertet wird.
Verfahren nach einem der Ansprüche 1 bis 4, bei dem die Bewegung zwischen wenigstens zwei zeitlich vorangehenden zweiten Bildsequenzen ausgewertet wird.
Verfahren nach einem der vorangehenden Ansprüche, bei dem die Belichtung von wenigstens einem der folgenden Parameter abhängig ist: Dauer der Belichtungszeit, Größe der Blendenöffnung, Helligkeit einer Zusatzbeleuchtung.