DE102009001521B4 - Verfahren zur Erzeugung einer HDR-Videobildfolge - Google Patents
Verfahren zur Erzeugung einer HDR-Videobildfolge Download PDFInfo
- Publication number
- DE102009001521B4 DE102009001521B4 DE102009001521A DE102009001521A DE102009001521B4 DE 102009001521 B4 DE102009001521 B4 DE 102009001521B4 DE 102009001521 A DE102009001521 A DE 102009001521A DE 102009001521 A DE102009001521 A DE 102009001521A DE 102009001521 B4 DE102009001521 B4 DE 102009001521B4
- Authority
- DE
- Germany
- Prior art keywords
- images
- image sequence
- image
- exposure
- movement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/58—Control of the dynamic range involving two or more exposures
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
Description
- Die vorliegende Erfindung betrifft ein Verfahren zur Erzeugung einer HDR-Videobildfolge.
- HDR-Videobildfolgen sind Videobildfolgen, bei denen die einzelnen Bilder im Vergleich zu herkömmlichen Videobildern einen hohen Dynamikbereich (High Dynamic Range, HDR) besitzen. Solche HDR-Bilder können dadurch erzeugt werden, dass aus einer gegebenen Kameraposition mehrere Bilder mit unterschiedlichen Belichtungszeiten aufgenommen werden, deren Bildinformationen anschließend überlagert werden. In einem Bild mit langer Belichtungszeit werden beispielsweise dunkle Details der fotografierten Umgebung kontrastreich dargestellt, während beispielsweise in Bildern mit niedriger Belichtungszeit helle Details der abgebildeten Umgebung kontrastreich erscheinen. Durch Kombination der einzelnen mit unterschiedlichen Belichtungszeiten erzeugten Bilder entsteht ein Bild, in dem sowohl helle als auch dunkle Details der fotografierten Umgebung kontrastreich dargestellt sind.
- Ein Verfahren zur Erzeugung einer HDR-Videobildfolge ist beispielsweise in der
US 6 993 200 B2 beschrieben. - Dokument
WO 2007/017835 A2 - Aufgabe der vorliegenden Erfindung ist es, ein verbessertes Verfahren zur Erzeugung einer HDR-Videosignalfolge und eine zur Durchführung dieses Verfahrens geeignete Vorrichtung zur Verfügung zu stellen.
- Diese Aufgabe wird durch ein Verfahren nach Anspruch 1 gelöst.
- Das erfindungsgemäße Verfahren zur Erzeugung einer Videobildfolge mit hohem Dynamikbereich umfasst: Erzeugen von mehreren Bildsequenzen, die jeweils mehrere Bilder mit unterschiedlichen Belichtungen aufweisen; und Erzeugen jeweils eines Bildes aus den einzelnen Bilder einer Bildsequenz. Bei diesem Verfahren wird vor Erzeugen der Bilder einer ersten Bildsequenz Bewegung in wenigstens einer zeitlich vorangehenden zweiten Bildsequenz ausgewertet und ein Bewegungswert wird ermittelt. Die Belichtungen der einzelnen Bilder der ersten Bildsequenz werden hierbei abhängig von dem Bewegungswert eingestellt.
- Die Belichtung eines Bildes wird sowohl durch die Belichtungszeit, für die bei Aufnahme des Bildes belichtet wird, als auch durch die Größe der Blendenoffnung beeinflusst. Eine unterschiedliche Belichtung der einzelnen Bilder kann also durch eine Variation der Belichtungszeit und/oder durch eine Variation der Blendenöffnung erreicht werden. Eine ”hohere Belichtung” eines Bildes im Vergleich zu einem anderen Bild liegt dann vor, wenn für die Aufnahme des einen Bildes eine höhere Belichtungszeit und/oder eine größere Blendenöffnung als fur die Aufnahme des anderen Bildes verwendet wurde.
- Grundsätzlich führt eine Vergrößerung der Blendenöffnung zu einer Verringerung der Tiefenschärfe, und eine Erhohung der Belichtungszeit führt zu einer Bewegungsunschärfe (Motion Blur). Indem die Belichtung über beide Parameter variierbar ist, besteht bei Anpassung bzw. Änderung der Belichtung eine Optimierungsmöglichkeit hinsichtlich einer möglichst geringen Bewegungsunschärfe oder einer moglichst großen Tiefenscharfe.
- Ausfuhrungsbeispiele der vorliegenden Erfindung werden nachfolgend anhand von Figuren erläutert. Die Figuren dienen zur Veranschaulichung des Grundprinzips der Erfindung. In den Figuren sind daher nur die zum Verständnis dieses Grundprinzips notwendigen Merkmale dargestellt. In den Figuren bezeichnen, sofern nicht anders angegeben, gleiche Bezugszeichen gleiche Merkmale mit gleicher Bedeutung.
-
1 veranschaulicht drei mit unterschiedlichen Belichtungszeiten aufgenommene Videobildfolgen. -
2 veranschaulicht schematisch die Erzeugung einer HDR-Videobildfolge aus den drei Videobildfolgen gemäß1 . -
3 veranschaulicht eine Videobildfolge, die zeitlich aufeinanderfolgende Bilder umfasst, die mit unterschiedlichen Belichtungszeiten erzeugt wurden. -
4 veranschaulicht die Erzeugung mehrerer Videosignalfolgen mit gleicher Bewegungsphase aus der Videosignalfolge gemäß3 . -
5 veranschaulicht ein Verfahren zur Einstellung der Belichtungszeit für die Erzeugung eines Videobildes. -
6 veranschaulicht ein Beispiel einer Vorrichtung zur Erzeugung mehrerer Videobildfolgen mit bewegungsabhängigen Belichtungszeiten. -
7 veranschaulicht eine Abhängigkeit der Belichtungszeit von einem Bewegungswert gemäß einem ersten Beispiel. -
8 veranschaulicht eine Abhängigkeit der Belichtungszeit von einem Bewegungswert gemaß einem zweiten Beispiel. -
9 veranschaulicht ein Beispiel einer Vorrichtung zur Erzeugung einer Videobildfolge, die Bilder mit bewegungsabhängigen Belichtungszeiten aufweist. -
10 veranschaulicht eine Abhängigkeit der Belichtungszeit von einem Bewegungswert während der Dauer einer Bildsequenz. -
1 veranschaulicht schematisch mehrere – in dem Beispiel drei – Videobildfolgen S1, S2, S3 die jeweils eine Anzahl zeitlich aufeinanderfolgender Videobilder aufweisen. Diese einzelnen Videobildfolgen bilden die Grundlage für die Erzeugung einer HDR-Videobildfolge. Die Videobilder der unterschiedlichen Videobildfolgen werden dabei mit unterschiedlichen Belichtungen aufgenommen. Zu Zwecken der Erläuterung sei beispielsweise angenommen, dass Videobilder einer ersten Videobildfolge S1 mit einer ersten Belichtung, Videobilder einer zweiten Videobildfolge S2 mit einer zweiten Belichtung und Videobilder einer dritten Videobildfolge S3 mit einer dritten Belichtung aufgenommen werden, wobei die erste Belichtung größer als die zweite Belichtung und wobei die zweite Belichtung größer als die dritte Belichtung ist. - Die Belichtung kann durch einen oder mehrere der nachfolgend genannten Parameter variiert werden: Belichtungszeit, Blendenoffnung und Zusatzbeleuchtung. Die Belichtung vergroßert sich dabei, wenn bei gleicher Blendenoffnung und gleicher Zusatzbeleuchtung die Belichtungszeit vergroßert wird, wenn bei gleicher Belichtungszeit und gleicher Zusatzbeleuchtung die Blendenöffnung vergroßert wird, oder wenn bei gleicher Belichtungszeit und gleicher Blendenoffnung die Lichtstärke der Zusatzbeleuchtung verstärkt wird. Die Zusatzbeleuchtung kann beispielsweise durch eine Leuchte mit zwei oder mehr Helligkeitsstufen realisiert sein. Um von Bild zu Bild die Helligkeit variieren zu können, sollte die Leuchte geringe Verzogerungszeiten bzw. Nachleuchtzeiten besitzen. Dies kann beispielsweise durch eine Leuchte auf Basis von Leuchtdioden (LEDs) erreicht werden. Eine solche Leuchte umfasst beispielsweise eine oder mehrere LEDs, die je nach gewunschter Helligkeit der Zusatzbeleuchtung eingeschaltet oder abgeschaltet werden.
- Mit B ist nachfolgend die Belichtung bezeichnet. Diese Belichtung B ist eine Funktion der erläuterten Belichtungszeit TB, der Blendenöffnung A und der Helligkeit Z einer Zusatzbeleuchtung, so dass allgemein gilt:
B = f(TB, A, Z). - Eine Variation einer Belichtung B0 hin zu einem anderen Belichtungswert B0' kann dabei durch Variation eines beliebigen der drei Parameter erreicht werden. Die in
1 schematisch dargestellten Videobildfolgen besitzen jeweils gleiche Bewegungsphasen. Dies ist in1 dadurch veranschaulicht, dass jeweils ein Bild jeder der Videobildfolgen denselben Aufnahmezeitpunkt besitzt. Diese Aufnahmezeitpunkte sind in1 mit t0, t0 – T, t0 – 2T bezeichnet. T bezeichnet in diesem Fall einen zeitlichen Abstand zwischen den Aufnahmezeitpunkten der einzelnen Bilder einer jeden der Videobildfolgen. Bilder der einzelnen Videobildfolgen S1, S2, S3, die denselben Aufnahmezeitpunkt besitzen, werden nachfolgenden als Bildsequenz mit gleichem Aufnahmezeitpunkt bezeichnet. - Die Bilder einer Bildsequenz mit gleichem Aufnahmezeitpunkt, die unterschiedliche Belichtungszeiten besitzen, können in hinlänglich bekannter Weise zu einem HDR-Bild überlagert werden. Führt man ein solches Überlagerungsverfahren für alle Bildsequenzen mit gleichem Aufnahmezeitpunkt durch, so erhält man eine HDR-Videobildfolge. Ein solches Vorgehen ist schematisch in
2 dargestellt. - Mit
1 ist in2 eine Überlagerungseinheit dargestellt, der die einzelnen Videobildfolgen S1, S2, S3 zugeführt sind und die dazu ausgebildet ist, die Bildinformationen der Bildsequenzen mit gleichem Aufnahmezeitpunkt zu überlagern und so eine HDR-Videobildfolge S zu erzeugen. Verfahren zur Überlagerung von einzelnen Bildern einer Bildsequenz mit gleichem Aufnahmezeitpunkt zu einem HDR-Bild sowie Vorrichtungen zur Durchfuhrung eines solchen Verfahrens sind grundsätzlich bekannt, so dass auf weitere Ausfuhrungen hierzu verzichtet werden kann. - Bildsequenzen mit gleichem Aufnahmezeitpunkt können dadurch erzeugt werden, dass mehrere Aufnahmevorrichtungen, wie z. B. Kameras, bereitgestellt werden, die aus derselben Kameraposition Bilder mit unterschiedlichen Belichtungszeiten zu gleichen Aufnahmezeitpunkten erzeugen. Ein solches Vorgehen ist allerdings insofern aufwendig, da mehrere Kameras benotigt werden.
- Bildsequenzen mit gleichem Aufnahmezeitpunkt konnen auch dadurch erzeugt werden, dass die einzelnen Bilder einer Sequenz aus einer Kameraposition zeitlich aufeinanderfolgend aufgenommen werden und dass anschließend eine bewegungskompensierte Interpolation durchgefuhrt wird, durch welche aus den zeitlich aufeinanderfolgenden Bildern mit unterschiedlicher Belichtungszeit Bilder mit gleicher Bewegungsphase erzeugt werden.
-
4 zeigt schematisch eine Vorrichtung zur Erzeugung von Videobildfolgen S1, S2, S3 mit gleichen Bewegungsphasen aus der in3 dargestellten Videobildfolge S', die zeitlich aufeinanderfolgend Bilder mit unterschiedlichen Belichtungszeiten umfasst. Eine solche Videobildfolge S' mit zeitlich aufeinanderfolgenden Bildern, die unterschiedliche Belichtungszeiten besitzen, kann unter Verwendung einer einzigen Aufnahmevorrichtung erzeugt werden, wobei von Bild zu Bild die Belichtungszeit geandert wird. Die Bildfrequenz dieser Videobildfolge S' ist hoher als die Bildfrequenz der in1 dargestellten Videobildfolgen S1, S2, S3. Diese Bildfrequenz der Videobildfolge S' entspricht dem Produkt aus der gewünschten Bildfrequenz der späteren HDR-Videobildfolge und der Anzahl der Bilder, deren Bildinformationen zu einem HDR-Bild überlagert werden sollen. Die einzelnen Bilder der in3 dargestellten Bildfolge S' können zeitlich gleichmäßig beabstandet sein. In diesem Fall gilt bezogen auf die Darstellung gemaß3 k1 = k2 = k3 = 1/3. In diesem Zusammenhang sei darauf hingewiesen, dass die Überlagerung von drei Bildern zu einem HDR-Bild lediglich als Beispiel zu verstehen ist. Selbstverständlich können auch nur zwei oder auch mehr als drei Bilder, die mit unterschiedlichen Belichtungszeiten erzeugt wurden, zu einem HDR-Bild uberlagert werden. -
4 zeigt schematisch eine Vorrichtung zur Erzeugung von Videobildfolgen S1, S2, S3 mit gleichen Bewegungsphasen aus der in3 dargestellten Videobildfolge S'. Diese Vorrichtung umfasst für jede der zu erzeugenden Videobildfolgen S1, S2, S3 eine Bewegungsschätz- und Interpolationseinheit21 ,22 ,23 . Jeder dieser Bewegungsschätz- und Interpolationseinheiten ist eine Teilbildfolge der Bildfolge S' zugeführt. Diese Teilbildfolgen sind dadurch gebildet, dass ein Multiplexer20 im Zeitmultiplex die Bilder der Eingangsbildfolge S' derart abwechselnd den einzelnen Bewegungsschätz- und Interpolationseinheiten21 ,22 ,23 zugeführt sind, dass der ersten Bewegungsschätz- und Interpolationseinheit21 beispielsweise nur die Bilder, die mit der ersten Belichtungszeit erzeugt wurden zugeführt sind; dass der zweiten Bewegungsschätz- und Interpolationseinheit22 nur die Bilder, die mit der zweiten Belichtungszeit erzeugt wurden zugeführt sind; und dass der dritten Bewegungsschatz- und Interpolationseinheit23 nur die Bilder, die mit der dritten Belichtungszeit erzeugt wurden, zugeführt sind. Die einzelnen Bewegungsschätz- und Interpolationseinheiten21 ,22 ,23 sind dazu ausgebildet, eine Bewegungsschätzung durchzufuhren und unter Verwendung dieser Bewegungsschätzung Bildfolgen zu erzeugen, die eine gleiche Bewegungsphase besitzen. Solche Bewegungsschätz- und Interpolationsverfahren sowie Vorrichtungen zur Durchführung solcher Bewegungsschätz- und Interpolationsverfahren sind grundsätzlich bekannt, so dass auf weitere Ausführungen hierzu verzichtet werden kann. - Bei dem erfindungsgemäßen Verfahren ist vorgesehen, die Belichtungen der Bilder der Bildsequenz, die zu einem HDR-Bild überlagert werden, abhängig von einem Bewegungswert einzustellen. Der Bewegungswert zu einem gegebenen Zeitpunkt, zu dem ein Bild erzeugt bzw. aufgenommen wird, ist dabei abhängig von Bewegung, die in Bildern der Bildfolge vorhanden ist, die vor diesem Zeitpunkt aufgenommen wurden. Ein solches Verfahren wird nachfolgend anhand von
5 unter Einbeziehung der1 und3 erläutert werden. - Für die folgende Erläuterung sei angenommen, dass t0 in den
1 und3 einen Zeitpunkt bezeichnet, zu dem wenigstens ein Bild einer Bildsequenz aufgenommen werden soll, deren Bilder später zu einem HDR-Bild überlagert werden sollen. Bei dem in1 dargestellten Fall, bei dem gleichzeitig mehrere Bildfolgen mit gleicher Bewegungsphase erzeugt werden, werden zu diesem Zeitpunkt t0 mehrere Bilder erzeugt. Bei dem in3 dargestellten Fall, bei dem die Bildsequenzen mit zu überlagernden Bildern zeitlich aufeinanderfolgend erzeugt werden, wird zum Zeitpunkt t0 nur ein Bild erzeugt. - In einem ersten Verfahrensschritt
101 ist bei dem Verfahren vorgesehen, einen Bewegungswert zu erzeugen, der abhängig ist von einem Bewegungswert der Videobildfolge vor dem Zeitpunkt t0. Die Ermittlung des Bewegungswertes umfasst den Vergleich wenigstens zweier zuvor aufgenommener zeitlich aufeinanderfolgender Bilder. Sind entsprechend dem Beispiel gemäß1 mehrere Bildfolgen S1, S2, S3 mit gleichen Bewegungsphasen vorhanden, so kann zur Ermittlung des Bewegungswertes eine dieser Bildfolgen ausgewählt und der Bewegungswert kann durch Vergleich zweier zeitlich aufeinanderfolgender Bilder der ausgewählten Bildfolge ermittelt werden. Die zeitlich aufeinanderfolgenden Bilder konnen dabei unmittelbar zeitlich aufeinanderfolgen. Zwischen den zwei zu vergleichenden Bildern können jedoch noch weitere Bilder vorhanden sein. - Es konnen auch zeitlich aufeinanderfolgende Bilder aus unterschiedlichen der in
1 dargestellten Bildfolgen S1, S2, S3 miteinander verglichen werden. Allerdings können sich in diesem Fall unterschiedliche Belichtungen auf das Vergleichsergebnis auswirken. - Um Bewegung in einer Bildfolge gemaß
3 zu ermitteln, besteht die Möglichkeit, entsprechend der Erläuterungen zu4 aus dieser Bildfolge S' mehrere Bildfolgen mit gleichen Bewegungsphasen zu erzeugen, eine dieser Bildfolgen auszuwahlen und Bewegung durch Vergleich zweier zeitlich aufeinanderfolgender Bilder der ausgewahlten Bildfolge zu ermitteln. - Darüberhinaus besteht auch die Moglichkeit, unmittelbar Bilder der Bildfolge S' miteinander zu vergleichen, und zwar insbesondere solche zeitlich aufeinanderfolgenden Bilder der Bildfolge S', die dieselbe Bewegungsphase bezogen auf die Bilder der späteren HDR-Videobildfolge besitzen. Bilder mit gleicher Bewegungsphase sind bezogen auf das Beispiel gemaß
3 beispielsweise solche Bilder, fur deren Aufnahmezeitpunkte gilt: t0 – k1·T – i·T, mit i ≥ 0 oder Bilder für deren Aufnahmezeitpunkt gilt: t0 – k2·T – i·T, mit i ≥ 0 oder Bilder für deren Aufnahmezeitpunkt gilt: t0 – k3·T – i·T, mit i ≥ 0. - Die einzelnen Bilder aller zuvor erläuterten Videobildfolgen weisen jeweils eine Anzahl von matrixartig angeordneten Bildpunkten (Pixel) auf, denen jeweils wenigstens ein Bildinformationswert zugeordnet ist. Bei einer RGB-Darstellung sind jedem Bildpunkt drei Bildpunktewerte zugeordnet: ein erster Bildpunktwert fur die Farbe Rot (R); ein zweiter Bildpunktwert für die Farbe Grün (G); und ein dritter Bildpunktwert fur die Farbe Blau (B). Bei einer YUV-Darstellung sind jedem Bildpunktwert ebenfalls drei Bildpunktwerte zugeordnet: ein Luminanzwert (Y); und zwei Chrominanzwerte (U, V).
- Ein Vergleich zweier zeitlich aufeinanderfolgender Bilder zur Ermittlung des Bewegungswertes umfasst beispielsweise die Ermittlung eines Abstandsmaßes. Dieses Abstandsmaß ist ein Maß fur die Differenz der den einzelnen Bildpunkten der zu vergleichenden Bilder zugeordneten Bildpunktwerte. Die Ermittlung des Abstandsmaßes umfasst beispielsweise die Ermittlung der Differenz zwischen den Bildpunktwerten solcher Bildpunkte, die sich in den beiden Bildern an den gleichen Positionen befinden, die Betragsbildung dieser Differenz und das Aufsummieren dieser Differenzen. Das so erhaltene Ergebnis wird auch als Summe der Absolutwerte der Differenzen (SAD, Sum of Absolute Differences) bezeichnet. Das Abstandsmaß ist in diesem Fall umso hoher, je starker sich die Bildinhalte der beiden zu vergleichenden Bilder unterscheiden, je mehr bewegte Inhalte in den beiden zu vergleichenden Bildern also vorhanden sind. Anstelle der Betrage der Differenzen konnen selbstverständlich beliebige andere Abstandsmaße verwendet werden, wie z. B. geradzahlige Potenzen der Bildpunktdifferenzen.
- Der Vergleich zweier zeitlich aufeinanderfolgender Bilder kann die Auswertung nur jeweils eines der einem Bildpunkt zugeordneten Bildpunktwerte umfassen, wie z. B. nur des Rot-Wert, des Grün-Werts oder des Blau-Werts bzw. des Y-Werts, des U-Werts oder des V-Werts. Selbstverständlich besteht auch die Moglichkeit, alle einem Bildpunkt zugeordnete Bildpunktwerte auszuwerten und die so erhaltenen Abstandsmaße zu addieren, um ein Gesamt-Abstandsmaß zu erhalten.
- Bei dem erfindungsgemaßen Verfahren ist insbesondere vorgesehen, einen Unterschied zwischen den Belichtungen der einzelnen Bilder einer Bildsequenz derart abhängig von dem Bewegungswert einzustellen, dass diese Unterschiede umso geringer ist, je mehr bewegte Inhalte die zuvor erzeugten Bilder enthalten. Dem liegt die Überlegung zugrunde, dass bei bewegten Inhalten eine hohe Tiefenschärfe bzw. eine hohe Dynamik der dargestellten Bilder vom Betrachter ohnehin kaum wahrgenommen werden. Bei Erzeugung der zu überlagernden Bilder aus einer Bildfolge, die nur durch eine einzige Aufnahmevorrichtung erzeugt wurde, wie z. B. die Bildfolge S' gemäß
3 , und bei der die Erzeugung der zu überlagernden Bilder eine Bewegungsschätzung umfasst, (vgl. die Ausführungen zu4 ) besteht außerdem die Gefahr, dass bei einer fehlerhaften Bewegungsschätzung die Uberlagerung von Bildern mit unterschiedlichen Belichtungszeiten den Bildeindruck stark verfälscht. - Allgemein besteht die Moglichkeit, die Streuung der Belichtungen, die auf die Bilder einer Bildsequenz angewendet werden, abhängig von der detektierten Bewegung zu variieren. Die Streuung ist bestimmt durch den Unterschied zwischen der höchsten und der geringsten Belichtung, also beispielsweise einer längsten und einer kürzesten Belichtungszeit oder einer größten und kleinsten Blendenöffnung. Sind beispielsweise B1, B2, ..., Bn, B1 < B2 < ... < Bn, die Belichtungen, mit denen die Bilder einer Bildsequenz aufgenommen werden und ist D = B1–Bn der Variationsbereich der Belichtung, so gilt, dass D mit zunehmender Bewegung kleiner wird.
- Bei einem weiteren Beispiel ist vorgesehen, die Anzahl der verwendeten unterschiedlichen Belichtungen mit zunehmender Bewegung zu reduzieren. Im Extremfalls, wenn ein hohes Maß an Bewegung in den zuvor aufgenommenen Bildern vorhanden ist, kann hierbei für alle Bilder der Bildsequenz dieselbe Belichtung verwendet werden.
- Alternativ oder zusätzlich zu einer Variation der Belichtung abhängig von der detektierten Bewegung ist bei einem weiteren Beispiel vorgesehen, die Anzahl der Bilder einer Bildsequenz abhangig von der detektierten Bewegung zu variieren. So ist beispielsweise vorgesehen, die Anzahl der Bilder einer Bildsequenz zu vergrößern, wenn ein hohes Maß an Bewegung vorliegt. Die Belichtungen dieser einzelnen Bilder können sich unterscheiden, wobei die Variation der Belichtung durch Variation eines der zuvor genannten Parameter erreicht werden kann. Werden die einzelne Bilder einer Sequenz zeitlich aufeinanderfolgend aufgenommen und wird die Belichtung durch Variation der Belichtungszeiten für die einzelnen Bilder variiert, so reduziert sich mit zunehmender Anzahl von Bildern pro Bildsequenz die maximal zulässige Belichtungszeit pro Bild, wenn fur die Aufnahme der Bilder einer Sequenz eine vorgegebene Zeit zur Verfügung steht. Um auch bei zunehmender Anzahl von Bildern dennoch eine hohe Streuung der Belichtung einstellen zu können, ist bei einem Beispiel vorgesehen, die Belichtung über die Blendenöffnung einzustellen.
- Bei einem weiteren Beispiel ist in diesem Fall vorgesehen, wahrend einer Zeiteinheit nur ein einziges Bild zu erzeugen und nicht mehrere zu überlagernde Bilder mit gleicher Belichtungszeit.
- Ein Beispiel einer Vorrichtung zur Erzeugung mehrerer Videobildfolgen mit gleicher Bewegungsphase und bewegungsabhängiger Belichtungszeit ist in
6 dargestellt. Diese Vorrichtung umfasst drei Aufnahmevorrichtungen bzw. Kameras31 ,32 ,33 , die sich an einer gemeinsamen Kameraposition befinden. Jede dieser Aufnahmevorrichtungen besitzt eine einstellbare Belichtungszeit, die abhängig ist von einem der Aufnahmevorrichtung31 ,32 ,33 zugeführten Belichtungssignal E1, E2, E3. Diese Belichtungszeit kann Bild für Bild eingestellt werden. Jede der Aufnahmevorrichtungen31 ,32 ,33 weist einen Ausgang auf, an dem die durch die jeweilige Aufnahmevorrichtung erzeugte Bildfolge zur Verfugung steht. Diese Bildfolgen können eine Überlagerungseinheit1 (gestrichelt dargestellt) zugeführt werden, die aus diesen Bildfolgen S1, S2, S3 eine HDR-Bildfolge erzeugt. - Wenigstens eine der durch die Aufnahmevorrichtungen
31 ,32 ,33 erzeugten Bildfolgen S1, S2, S3 ist eine Bewegungsermittlungseinheit zugeführt, die dazu ausgebildet ist, Bewegung in den bereits aufgenommenen Bildern der Bildfolge zu ermitteln, beispielsweise durch Vergleich zweier zeitlich aufeinanderfolgender wenigstens einer der Bildfolgen. Am Ausgang dieser Bewegungsermittlungseinheit41 steht der Bewegungswert S41 zur Verfugung. Dieser Bewegungswert S41 ist einer Belichtungseinstelleinheit43 zugeführt, die abhangig von diesem Bewegungswert Belichtungssignale E1, E2, E3 bereitstellt, die Belichtungszeiten der einzelnen Aufnahmevorrichtungen31 ,32 ,33 erzeugt. - Die Belichtungseinstelleinheit
43 ist beispielsweise dazu ausgebildet, fest vorgegebene unterschiedliche Belichtungswerte einzustellen, wenn der Bewegungswert S41 unterhalb eines vorgegebenen Schwellenwertes S410 liegt, und gleiche Belichtungswerte einzustellen, wenn der Bewegungswert S41 oberhalb eines vorgegebenen Schwellenwertes liegt. Ein solches Vorgehen ist schematisch in7 dargestellt, in der die Belichtungswerte E1, E2, E3 abhängig von dem Bewegungswert S41 dargestellt sind. Zu Zwecken der Erläuterung sei dabei angenommen, dass der Bewegungswert S41 umso großer ist, je mehr Bewegungsanteile die zur Ermittlung des Bewegungswertes S41 miteinander verglichenen Bilder aufweisen. - Bei einem weiteren Beispiel ist vorgesehen, die Belichtungswerte E1, E2, E3 so einzustellen, dass diese sich mit zunehmendem Bewegungswert S41 aneinander annähern. Ein solches Vorgehen ist in
8 dargestellt. S440 bezeichnet hierbei einen Schwellenwert, ab dem gleiche Belichtungswerte für alle Anzeigevorrichtungen31 ,32 ,33 vorgesehen sind. -
9 zeigt ein Beispiel einer Vorrichtung zur Erzeugung einer Bildfolge mit zeitlich aufeinanderfolgenden Bildern mit unterschiedlicher Belichtungszeit. Diese Vorrichtung umfasst eine Aufnahmevorrichtung34 , die eine durch ein Belichtungssignal E einstellbare Belichtungszeit besitzt. An einem Ausgang dieser Vorrichtung steht das Bildsignal S' zur Verfügung. Dieses Bildsignal S' ist einer Bewegungsermittlungseinheit44 zugefuhrt, die dazu ausgebildet ist, Bewegung in der bisher aufgenommenen Bildfolge zu ermitteln und unter Berücksichtigung dieser Bewegung einen Bewegungswert S44 zu erzeugen. Dieser Bewegungswert S44 ist einer Belichtungseinstelleinheit42 zugeführt. Diese Belichtungseinstelleinheit42 ist dazu ausgebildet, das Belichtungssignal E zu erzeugen. Anders als bei der anhand von6 erläuterten Vorrichtung erzeugt die Bewegungseinstelleinheit42 gemäß9 zeitlich aufeinanderfolgend jeweils unterschiedliche Belichtungswerte E und zwar je einen Belichtungswert für jedes durch die Aufnahmevorrichtung34 zu erzeugende Bild einer Bildsequenz. Die zeitliche Abfolge der durch diese Belichtungseinstelleinheit42 erzeugten Belichtungswerte ist schematisch in10 dargestellt. T bezeichnet in10 den zeitlichen Abstand zwischen zwei Bildern der späteren HDR-Bildfolge. Die mehreren Bilder mit unterschiedlichen Belichtungszeiten werden innerhalb dieser Zeitdauer T erzeugt. E1 bezeichnet in10 einen ersten Belichtungswert, E2 einen zweiten Belichtungswert und E3 einen dritten Belichtungswert, die jeweils für ein Bild einer Bildsequenz angewendet werden, wobei die einzelnen Bilder dieser Bildsequenz anschließend zur einem HDR-Bild überlagert werden. In dem dargestellten Beispiel wird das Bild mit der großten Belichtungszeit E1 zuerst, dann das Bild mit der nächstkleineren Belichtungszeit E2 und danach das Bild mit der kleinsten Belichtungszeit E3 aufgenommen. Diese Reihenfolge ist jedoch grundsätzlich beliebig. - Die einzelnen Belichtungswerte E1, E2, E3 sind von dem Bewegungswert S44 abhängig. Die Abhängigkeit der Belichtungswerte E1, E2, E3 von dem Bewegungswert S44 entspricht beispielsweise der zuvor anhand der
7 und8 erläuterten Abhängigkeiten der Belichtungswerte E1, E2, E3 von dem Bewegungswert S41.
Claims (7)
- Verfahren zur Erzeugung einer Videobildfolge mit hohem Dynamikbereich, das umfasst: Erzeugen von mehreren Bildsequenzen, die jeweils mindestens ein Bild aufweisen; und Erzeugen jeweils wenigstens eines Bildes aus den einzelnen Bildern einer Bildsequenz; wobei vor Erzeugen der Bilder einer ersten Bildsequenz Bewegung in wenigstens einer zeitlich vorangehenden zweiten Bildsequenz ausgewertet und ein Bewegungswert ermittelt wird, und wobei die Belichtungen der einzelnen Bilder der ersten Bildsequenz abhängig von dem Bewegungswert derart eingestellt werden, dass abhängig von dem Bewegungswert eine Streuung der Belichtung für die einzelnen Bilder der ersten Bildsequenz variiert wird und/oder die Anzahl der für die Bilder der ersten Bildfolge verwendeten unterschiedlichen Belichtungen von dem Bewegungswert abhängig ist, und/oder die Anzahl der Bilder der ersten Bildsequenz abhängig von dem Bewegungswert eingestellt wird.
- Verfahren nach Anspruch 1, bei dem die Streuung mit zunehmender durch den Bewegungswert angezeigter Bewegung abnimmt.
- Verfahren nach Anspruch 1, bei dem die Anzahl der verwendeten unterschiedlichen Belichtungen mit zunehmender durch den Bewegungswert angezeigter Bewegung abnimmt.
- Verfahren nach einem der vorangehenden Ansprüche, bei dem die Anzahl der Bilder der ersten Bildsequenz mit zunehmender durch den Bewegungswert angezeigter Bewegung zunimmt.
- Verfahren nach einem der vorangehenden Ansprüche, bei dem die Bewegung innerhalb einer zeitlich vorangehenden zweiten Bildsequenz ausgewertet wird.
- Verfahren nach einem der Ansprüche 1 bis 4, bei dem die Bewegung zwischen wenigstens zwei zeitlich vorangehenden zweiten Bildsequenzen ausgewertet wird.
- Verfahren nach einem der vorangehenden Ansprüche, bei dem die Belichtung von wenigstens einem der folgenden Parameter abhängig ist: Dauer der Belichtungszeit, Größe der Blendenöffnung, Helligkeit einer Zusatzbeleuchtung.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102009001521A DE102009001521B4 (de) | 2009-03-12 | 2009-03-12 | Verfahren zur Erzeugung einer HDR-Videobildfolge |
PCT/EP2010/053200 WO2010103109A1 (de) | 2009-03-12 | 2010-03-12 | Verfahren zur erzeugung einer hdr-videobildfolge |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102009001521A DE102009001521B4 (de) | 2009-03-12 | 2009-03-12 | Verfahren zur Erzeugung einer HDR-Videobildfolge |
Publications (2)
Publication Number | Publication Date |
---|---|
DE102009001521A1 DE102009001521A1 (de) | 2010-09-23 |
DE102009001521B4 true DE102009001521B4 (de) | 2012-12-27 |
Family
ID=42470617
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102009001521A Expired - Fee Related DE102009001521B4 (de) | 2009-03-12 | 2009-03-12 | Verfahren zur Erzeugung einer HDR-Videobildfolge |
Country Status (2)
Country | Link |
---|---|
DE (1) | DE102009001521B4 (de) |
WO (1) | WO2010103109A1 (de) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102015116026A1 (de) * | 2015-09-22 | 2017-03-23 | JENETRIC GmbH | Vorrichtung und Verfahren zur direkten optischen Bildaufnahme von Dokumenten und / oder lebenden Hautbereichen ohne abbildende optische Elemente |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030133035A1 (en) * | 1997-02-28 | 2003-07-17 | Kazuhiko Hatano | Image pickup apparatus and method for broadening apparent dynamic range of video signal |
US6993200B2 (en) * | 2001-11-20 | 2006-01-31 | Sony Corporation | System and method for effectively rendering high dynamic range images |
WO2007017835A2 (en) * | 2005-08-08 | 2007-02-15 | Joseph Rubner | Adaptive exposure control |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000050151A (ja) * | 1998-07-28 | 2000-02-18 | Olympus Optical Co Ltd | 撮像装置 |
DE102006046720A1 (de) * | 2006-10-02 | 2008-04-03 | Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg | Digitale Laufbildkamera |
-
2009
- 2009-03-12 DE DE102009001521A patent/DE102009001521B4/de not_active Expired - Fee Related
-
2010
- 2010-03-12 WO PCT/EP2010/053200 patent/WO2010103109A1/de active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030133035A1 (en) * | 1997-02-28 | 2003-07-17 | Kazuhiko Hatano | Image pickup apparatus and method for broadening apparent dynamic range of video signal |
US6993200B2 (en) * | 2001-11-20 | 2006-01-31 | Sony Corporation | System and method for effectively rendering high dynamic range images |
WO2007017835A2 (en) * | 2005-08-08 | 2007-02-15 | Joseph Rubner | Adaptive exposure control |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102015116026A1 (de) * | 2015-09-22 | 2017-03-23 | JENETRIC GmbH | Vorrichtung und Verfahren zur direkten optischen Bildaufnahme von Dokumenten und / oder lebenden Hautbereichen ohne abbildende optische Elemente |
US10116886B2 (en) | 2015-09-22 | 2018-10-30 | JENETRIC GmbH | Device and method for direct optical image capture of documents and/or live skin areas without optical imaging elements |
Also Published As
Publication number | Publication date |
---|---|
DE102009001521A1 (de) | 2010-09-23 |
WO2010103109A1 (de) | 2010-09-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102016220757A1 (de) | Verfahren und Vorrichtung zur Materialbahnbeobachtung und Materialbahninspektion | |
DE102012201696A1 (de) | Bildverarbeitungsvorrichtung, zugehöriges Steuerverfahren, Programm und Aufzeichnungsmedium | |
WO2012156462A2 (de) | Verfahren zur erzeugung und auswertung eines bilds | |
EP3253045B1 (de) | Verfahren zur erkennung und korrektur von bildfehlern sowie bildverarbeitungseinheit und computerprogramm hierzu | |
WO2016174084A1 (de) | Verfahren zum generieren eines reflexionsreduzierten kontrastbildes und diesbezügliche vorrichtungen | |
DE112020004853T5 (de) | Reduzierung eines Flimmereffektes mehrerer Lichtquellen in einem Bild | |
DE19811279A1 (de) | Verfahren zur automatischen Auswahl von Farbkalibrierungen | |
DE102010007730A1 (de) | Verfahren und Vorrichtung zum Einstellen eines geeigneten Auswerteparameters für ein Fluoreszenzmikroskop | |
EP2017784A2 (de) | Verfahren zur Bearbeitung einer Bildfolge mit aufeinanderfolgenden Videobildern zur Verbesserung der räumlichen Auflösung | |
DE102010014733B4 (de) | Chromakeyverfahren und Chromakeyvorrichtung zur Aufnahme und Bildbearbeitung von Kamerabildern | |
DE102014102011B4 (de) | System und Verfahren zum Erzeugen eines Bildes mit einem breiten dynamischen Bereich | |
DE10024374B4 (de) | Verfahren und Vorrichtung zum Messen des in einem Bild enthaltenen Rauschens | |
DE102009001521B4 (de) | Verfahren zur Erzeugung einer HDR-Videobildfolge | |
DE102009026983A1 (de) | Bildverarbeitungsverfahren mit einer Bewegungsschätzung und Bildverarbeitungsanordnung | |
EP1489842B1 (de) | Verfahren und Vorrichtung zur bewegungsvektorgestützten Bildpunktinterpolation | |
DE102011006985A1 (de) | Verfahren und Einrichtung zur optischen Fokussierung | |
DE102009001518B4 (de) | Verfahren zur Erzeugung einer HDR-Videobildfolge | |
EP3923266A1 (de) | Verfahren zur bestimmung des relaxationsbeginns nach einem bildeinbrennvorgang an pixelweise ansteuerbaren optischen anzeigevorrichtungen | |
EP3089105A1 (de) | Verfahren zum generieren eines kontrastbildes einer objektbeschaffenheit und diesbezügliche vorrichtungen | |
DE102009057724B4 (de) | Bilderfassungsvorrichtung und Verfahren zum Reduzieren von Bewegungsunschärfe | |
DE102008036279B4 (de) | Verfahren zur Ermittlung eines Bewegungsvektor zu einem Bildblock eines Zwischenbilds | |
DE102022002637B3 (de) | Kamerasystem und Verfahren zu dessen Betrieb | |
DE102004051161A1 (de) | Verfahren zur Bilddarstellung unter Verwendung einer sequentiellen Farbdarstellung | |
EP0639922A2 (de) | Schaltung zur Bewegungsdetektion für ein Bildsignal | |
AT505886B1 (de) | Verfahren zur bestimmung eines bildschärfemasses |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
OP8 | Request for examination as to paragraph 44 patent law | ||
R016 | Response to examination communication | ||
R084 | Declaration of willingness to licence | ||
R084 | Declaration of willingness to licence |
Effective date: 20110426 Effective date: 20111122 |
|
R016 | Response to examination communication | ||
R018 | Grant decision by examination section/examining division | ||
R082 | Change of representative |
Representative=s name: EPPING HERMANN FISCHER, PATENTANWALTSGESELLSCH, DE |
|
R081 | Change of applicant/patentee |
Owner name: ENTROPIC COMMUNICATIONS, INC., SAN DIEGO, US Free format text: FORMER OWNER: TRIDENT MICROSYSTEMS (FAR EAST) LTD., GRAND CAYMAN, KY Effective date: 20121022 Owner name: ENTROPIC COMMUNICATIONS, INC., US Free format text: FORMER OWNER: TRIDENT MICROSYSTEMS (FAR EAST) LTD., GRAND CAYMAN, KY Effective date: 20121022 |
|
R082 | Change of representative |
Representative=s name: EPPING HERMANN FISCHER, PATENTANWALTSGESELLSCH, DE Effective date: 20121022 Representative=s name: EPPING HERMANN FISCHER PATENTANWALTSGESELLSCHA, DE Effective date: 20121022 |
|
R020 | Patent grant now final |
Effective date: 20130328 |
|
R119 | Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee |