DE102009001518B4 - Verfahren zur Erzeugung einer HDR-Videobildfolge - Google Patents
Verfahren zur Erzeugung einer HDR-Videobildfolge Download PDFInfo
- Publication number
- DE102009001518B4 DE102009001518B4 DE102009001518A DE102009001518A DE102009001518B4 DE 102009001518 B4 DE102009001518 B4 DE 102009001518B4 DE 102009001518 A DE102009001518 A DE 102009001518A DE 102009001518 A DE102009001518 A DE 102009001518A DE 102009001518 B4 DE102009001518 B4 DE 102009001518B4
- Authority
- DE
- Germany
- Prior art keywords
- motion
- images
- image
- sequence
- image sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 17
- 239000013598 vector Substances 0.000 description 6
- 108010076504 Protein Sorting Signals Proteins 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Television Systems (AREA)
Abstract
Bereitstellen einer ersten Videobildfolge (F1) mit zeitlich aufeinanderfolgenden Teilbildfolgen, wobei jede Teilbildfolge n, mit n ≥ 2, Bilder (F11(i), F12(i + k1), F13(i + k2)) mit unterschiedlichen Belichtungen und unterschiedlichen Bewegungsphasen aufweist;
Anwenden einer Bewegungsschätzung auf die erste Videobildfolge (F1) und Interpolieren einer bewegungskompensierten Teilbildfolge (F21(i), F22(i + k1), F23(i + k2)) zu jeder der Teilbildfolgen derart, dass die Bilder der bewegungskompensierten Teilbildfolge dieselbe Bewegungsphase besitzen, mittels
– Erzeugen von n Abtastbildfolgen (F11, F12, F13) aus der ersten Videobildfolge (F1) derart, dass die einzelnen Bilder einer Abtastbildfolge (F11, F12, F13) gleiche Belichtungen aufweisen, und
– Erzeugen bewegungskompensierter Bildfolgen (F21, F22, F23) aus den Abtastbildfolgen (F11, F12, F13) derart, dass die Bilder der bewegungskompensierten Bildfolgen (F21, F22, F23) eine gegebene Bewegungsphase (mx) aufweisen, wobei eine Gruppe mit je einem Bild aus jeder der bewegungskompensierter Bildfolgen (F21,...
Description
- Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung zur Erzeugung einer HDR-Videobildfolge.
- HDR-Videobildfolgen sind Videobildfolgen, bei denen die einzelnen Bilder im Vergleich zu herkömmlichen Videobildern einen hohen Dynamikbereich (High Dynamic Range, HDR) besitzen. Solche HDR-Bilder können dadurch erzeugt werden, dass aus einer gegebenen Kameraposition mehrere Bilder mit unterschiedlichen Belichtungszeiten aufgenommen werden, deren Bildinformationen anschließend überlagert werden. In einem Bild mit langer Belichtungszeit werden beispielsweise dunkle Details der fotografierten Umgebung kontrastreich dargestellt, während beispielsweise in Bildern mit niedriger Belichtungszeit helle Details der abgebildeten Umgebung kontrastreich erscheinen. Durch Kombination der einzelnen mit unterschiedlichen Belichtungszeiten erzeugten Bildern entsteht ein Bild, in dem sowohl helle als auch dunkle Details der fotografierten Umgebung kontrastreich dargestellt sind.
- Ein Verfahren zur Erzeugung einer HDR-Videobildfolge ist beispielsweise in der
US 6 993 200 B2 beschrieben. - Steht nur eine Kamera zur Verfügung, um die zu überlagernden Bilder aufzunehmen, können Probleme entstehen, wenn die Bilder Objekte enthalten, die sich bewegen. In diesem Fall kann sich die Position eines Objekts zwischen einem ersten Aufnahmezeitpunkt, zu dem ein Bild mit einer ersten Belichtungszeit aufgenommen wird, und einem zweiten Aufnahmezeitpunkt, zu dem ein Bild mit einer zweiten Belichtungszeit aufgenommen wird, ändern. Werden diese beide Bilder überlagert, so kann das Objekt in dem resultierenden HDR-Bild unscharf erscheinen.
- In dem Dokument
US 2003/0133035 A1 - Aufgabe der vorliegenden Erfindung ist es, ein Verfahren zur Erzeugung einer HDR-Videosignalfolge aus einer einzigen Videosignalfolge zur Verfügung zu stellen, bei dem die Videosignalfolge Teilbildfolgen mit n, wobei n ≥ 2 ist, Bildern unterschiedlicher Belichtungszeit und unterschiedlicher Bewegungsphase aufweist.
- Diese Aufgabe wird durch ein Verfahren nach Anspruch 1 gelöst.
- In dem Bild mit erhöhtem Dynamikbereich wird eine aus einer Bewegung von Objekten resultierende Unschärfe dadurch vermieden, dass unter Anwendung einer Bewegungsschätzung aus der ersten Videobildfolge eine Bildsequenz erzeugt wird, deren Bilder der Teilbildfolgen jeweils die gleiche Bewegungsphase besitzen.
- Die Belichtung eines Bildes wird sowohl durch die Belichtungszeit, für welche bei Aufnahme des Bildes belichtet wurde, als auch durch die Größe der Blendenöffnung beeinflusst. Eine unterschiedliche Belichtung der einzelnen Bilder kann also durch eine Variation der Belichtungszeit und/oder durch eine Variation der Blendenöffnung erreicht werden. Eine ”höhere Belichtung” eines Bildes im Vergleich zu einem anderen Bild liegt dann vor, wenn für die Aufnahme des einen Bildes eine höhere Belichtungszeit und/oder eine größere Blendenöffnung als für die Aufnahme des anderen Bildes verwendet wurde. Außer den Parametern Belichtungszeit und Blendenöffnung kann die Belichtung auch durch Vorsehen einer Zusatzbeleuchtung variiert werden. Die Belichtung vergrößert sich dabei, wenn bei gleicher Belichtungszeit und gleicher Blendenöffnung die Lichtstärke der Zusatzbeleuchtung verstärkt wird. Die Zusatzbeleuchtung kann beispielsweise durch eine Leuchte mit zwei oder mehr Helligkeitsstufen realisiert sein. Um von Bild zu Bild die Helligkeit variieren zu können, sollte die Leuchte geringe Verzögerungszeiten bzw. Nachleuchtzeiten besitzen. Dies kann beispielsweise durch eine Leuchte auf Basis von Leuchtdioden (LEDs) erreicht werden. Eine solche Leuchte umfasst beispielsweise eine oder mehrere LEDs, die je nach gewünschter Helligkeit der Zusatzbeleuchtung eingeschaltet oder abgeschaltet werden.
- Grundsätzlich führt eine Vergrößerung der Blendenöffnung zu einer Verringerung der Tiefenschärfe, und eine Erhöhung der Belichtungszeit führt zu einer Bewegungsunschärfe (Motion Blur). Indem die Belichtung über beide Parameter variierbar ist, besteht bei Anpassung bzw. Änderung der Belichtung eine Optimierungsmöglichkeit hinsichtlich einer möglichst geringen Bewegungsunschärfe oder einer möglichst großen Tiefenschärfe.
- Ausführungsbeispiele der vorliegenden Erfindung werden nachfolgend anhand von Figuren erläutert. Die Figuren dienen zur Veranschaulichung des Grundprinzips der Erfindung. In den Figuren sind daher nur die zum Verständnis dieses Grundprinzips notwendigen Merkmale dargestellt. In den Figuren bezeichnen, sofern nicht anders angegeben, gleiche Bezugszeichen gleiche Merkmale mit gleicher Bedeutung.
-
1 veranschaulicht schematisch eine erste Videobildfolge, die zeitlich aufeinanderfolgende Bilder mit unterschiedlichen Belichtungszeiten und unterschiedlichen Bewegungsphasen aufweist. -
2 veranschaulicht schematisch eine aus der ersten Videobildfolge resultierende bewegungskompensierte Videobildfolge. -
3 veranschaulicht schematisch eine aus der bewegungskompensierten Videobildfolge resultierende Videobildfolge mit erhöhtem Dynamikbereich. -
4 veranschaulicht ein erstes Beispiel einer Vorrichtung mit Bewegungsschätz- und Interpolationsanordnungen zur Erzeugung der Videobildfolge mit erhöhtem Dynamikbereich aus der ersten Videobildfolge. -
5 veranschaulicht die Funktionsweise einer der Bewegungsschätz- und Interpolationsanordnungen der Vorrichtung gemäß5 . -
6 veranschaulicht ein zweites Beispiel einer Vorrichtung mit Bewegungsschätz- und Interpolationsanordnungen zur Erzeugung der Videobildfolge mit erhöhtem Dynamikbereich aus der ersten Videobildfolge. -
1 veranschaulicht schematisch eine erste Videobildfolge F1, die zeitlich aufeinanderfolgende Teilbildfolgen mit mehreren Bildern aufweist. Schematisch dargestellt sind in1 alle Bilder F11(i), F12(i + k1), F13(i + k2) einer ersten Teilbildfolge sowie das erste Bild F11(i + 1) einer nachfolgenden Teilbildfolge. Die einzelnen Bilder der Teilbildfolgen besitzen jeweils unterschiedliche Belichtungen, so besitzt beispielsweise das erste Bild F11(i) der erste Teilbildfolge eine erste Belichtung, das zweite Bild F12(i + k1) eine zweite Belichtung und das dritte Bild F13(i + k2) eine dritte Belichtung. Die in1 tiefgestellten, Indizes ”1”, ”2”, ”3” stehen dabei für die unterschiedlichen Belichtungen. - Die in
1 dargestellte erste Videobildfolge kann unter Verwendung nur einer Kamera erzeugt werden, die zeitlich aufeinanderfolgend Bilder mit unterschiedlichen Belichtungen aufnimmt. Zeitpunkte, zu denen die einzelnen Bilder aufgenommen wurden, sind in1 mit t0, t0 + k1·T, t0 + k2·T und t0 + T bezeichnet. T bezeichnet in dem dargestellten Beispiel den zeitlichen Abstand zwischen den Bildern gleicher Belichtung in zwei zeitlich aufeinanderfolgenden Teilbildfolgen bzw. die Dauer, innerhalb der die Bilder einer Teilbildfolge aufgenommen wurden bzw. in der Videobildfolge F1 vorhanden sind. - Die einzelnen Bilder der ersten Videobildfolge können zeitlich gleichmäßig beabstandet sein. In diesem Fall gilt für das dargestellte Beispiel, in dem jede Teilbildfolge drei Bilder mit unterschiedlichen Belichtungen aufweist: k1 = 1/3 und k2 = 2/3. Es sei angemerkt, dass das Vorsehen von drei Bildern mit unterschiedlichen Belichtungen in einer Teilbildfolge lediglich als Beispiel zu verstehen ist und dass selbstverständlich eine beliebige Anzahl von Teilbildern pro Teilbildfolge vorgesehen werden kann, wobei die Anzahl der Teilbilder für die einzelnen Teilbildfolgen insbesondere gleich sein kann. Besitzt jede Teilbildfolge allgemein n Bilder mit unterschiedlichen Belichtungen und sind die einzelnen Bilder der ersten Videobildfolge zeitlich gleichmäßig beabstandet, so beträgt der gegenseitige Abstand zweier zeitlich aufeinanderfolgender Bilder 1/n·T.
- Aus der in
1 dargestellten erste Videobildfolge soll einer Videobildfolge mit erhöhtem Dynamikbereich (High Dynamic Range, HDR) erzeugt werden. Eine solche HDR-Videobildfolge weist zeitlich aufeinanderfolgende Videobilder auf, die jeweils einen erhöhten Dynamikbereich besitzen. Zur Erzeugung eines Videobildes mit erhöhtem Dynamikbereich können mehrere Bilder mit unterschiedlichen Belichtungen überlagert werden. Stammen die zu überlagernden Bilder – wie in dem Beispiel gemäß1 – aus einer einzigen Quelle bzw. Kamera, und zeigen die zeitlich aufeinanderfolgend aufgenommenen Bilder Objekte, die sich über der Zeit bewegen, so kann die unmittelbare Überlagerung der Bilder einer Teilbildfolge zu einer Unschärfe im Bild führen, wie nachfolgend kurz anhand von1 erläutert wird. Zur Veranschaulichung ist in den Bildern der ersten Videobildfolge E1 in1 ein Objekt – in dem Beispiel ein rundes Objekt – dargestellt, das sich bewegt. Dieses Objekt ist in den einzelnen Bildern der Teilbildsequenz also an unterschiedlichen räumlichen Positionen innerhalb der einzelnen Bilder angeordnet. Dieses Objekt ist in den einzelnen Bildern einer Teilbildsequenz unterschiedlich belichtet, was in1 durch unterschiedlich stark ausgeprägte Umrisse dieses Objekts veranschaulicht ist. Eine unmittelbare Überlagerung der drei Bilder F11(i), F12(i + k1), F13(i + k2) zu einem Bild, würde zu einer unscharfen Darstellung des Objekt in dem resultierenden Bild führen. - Mit m1, m2, m3 sind in
1 die Bewegungsphasen der einzelnen Bilder der Teilbildfolge bezeichnet. Diese Bewegungsphasen repräsentieren die zeitliche Position der einzelnen Bilder einer Teilbildfolge innerhalb des Zeitintervalls T, innerhalb dessen diese Teilbilder aufgenommen wurden. In dem dargestellten Beispiel gilt m1 = 0, m2 = k1 und m3 = k2. - Um die zuvor erläuterten Unschärfeprobleme bei der Überlagerung der Bilder einer Teilbildfolge zu einem HDR-Bild zu vermeiden, ist vorgesehen, zu jeder Teilbildfolge eine bewegungskompensierte Teilbildfolge zu erzeugen. Eine solche aus der in
1 dargestellten Teilbildfolge resultierende bewegungskompensierte Teilbildfolge ist schematisch in2 dargestellt. Die einzelnen Bilder dieser bewegungskompensierten Teilbildfolge sind in2 mit F21(i), F22(i + k1) und F22(i + k2) bezeichnet, wobei die Indizes ”1”, ”2”, ”3” wieder für die Belichtungen stehen. Die einzelnen Bilder einer bewegungskompensierten Teilbildsequenz besitzen eine gleiche Bewegungsphase mx, was in2 dadurch veranschaulicht ist, dass das Objekt sich in diesen Bildern jeweils an der gleichen Position befindet. Die einzelnen Bilder der bewegungskompensierten Teilbildfolge können zeitlich aufeinanderfolgend erzeugt werden, wie dies in2 dargestellt ist, können jedoch auch so erzeugt werden, dass sie jeweils zum gleichen Zeitpunkt erzeugt werden. Relevant ist dies lediglich hinsichtlich einer nachfolgenden, noch zu erläuternden Überlagerung der einzelnen Bilder einer Teilbildfolge zu einem HDR-Bild. Die Bilder der bewegungskompensierten Teilbildfolge werden durch ein noch zu erläuterndes Interpolationsverfahren aus den Bildern der ersten Videobildfolge F1 interpoliert. - Die gemeinsame Bewegungsphase mx der einzelnen Bilder der bewegungskompensierten Teilbildfolge kann der Bewegungsphase eines der Bilder der nicht-kompensierten Teilbildfolge aus der ersten Videobildfolge F1 entsprechen. In diesem Fall kann dieses Bild, dessen Bewegungsphase übernommen wird, aus der nicht-kompensierten Teilbildfolge unmittelbar in die bewegungskompensierte Teilbildfolge übernommen werden. Die gemeinsame Bewegungsphase mx kann jedoch auch so gewählt sein, dass sie sich von den Bewegungsphasen m1, m2, m3 der Bilder der nicht-kompensierten Teilbildfolge unterscheidet. In diesem Fall sind alle Bilder der bewegungskompensierten Teilbildfolge neu zu interpolieren bzw. berechnen.
- Die Bildinhalte der einzelnen Bilder einer bewegungskompensierten Teilbildfolge werden anschließend zu einem HDR-Bild überlagert.
3 veranschaulicht schematisch eine aus einer solchen Überlagerung der Bilder einer Teilbildfolge resultierende HDR-Bildfolge F. Die Bildfrequenz der HDR-Bildfolge ist hierbei geringer als die Bildfrequenz der ersten Videobildfolge F1. Diese Bildfrequenz beträgt das 1/n-fache der Bildfrequenz der ersten Videobildfolge F1, wobei n die Anzahl der zu einem HDR-Bild überlagerten Bilder einer Teilbildfolge bezeichnet. - Ein Beispiels eines Verfahrens bzw. ein Beispiel einer Vorrichtung zur Erzeugung der HDR-Bildfolge F gemäß
3 aus der ersten Videobildfolge F1 gemäß1 wird nachfolgend anhand von4 erläutert. -
4 zeigt ein Blockschaltbild eines Beispiels einer Interpolations- und Überlagerungseinheit zur Erzeugung der HDR-Bildfolge F aus der ersten Videobildfolge F1. Diese Vorrichtung umfasst eine Multiplexereinheit oder Abtasteinheit1 , der die erste Videobildfolge F1 zugeführt ist, und die dazu ausgebildet ist, aus dieser ersten Videobildfolge F1 eine Anzahl von Abtastbildfolgen F11, F12, F13 zu erzeugen. Die Anzahl der Abtastbildfolgen entspricht hierbei der Anzahl der Bilder, die eine Teilbildfolge eines ersten Videobildsignals F1 umfasst und die zu einem kontrastreichen HDR-Bild überlagert werden sollen. Jede der Abtastbildfolgen F11, F12, F13 umfasst eine Folge von Bildern, wobei die einzelnen Bilder einer Abtastbildfolge zeitlich aufeinanderfolgenden Teilbildfolgen entstammen. Die Bilder einer Abtastbildfolge besitzen hierbei dieselbe Belichtung und dieselbe Bewegungsphase. In dem dargestellten Beispiel umfasst die Abtastbildfolge F11 die Bilder mit der ersten Belichtung, die Abtastbildfolge F12 die Bilder mit der zweiten Belichtung und die Abtastbildfolge F13 die Bilder mit der dritten Belichtung. Jede dieser Abtastbildfolgen F11, F12, F13 ist eine Bewegungsschätz- und Interpolationseinheit21 ,22 ,23 zugeführt. Die einzelnen Bewegungsschätz- und Interpolationseinheiten21 ,22 ,23 sind dazu ausgebildet, aus der zugeführten Abtastbildfolge F11, F12, F13 eine Bildfolge zu interpolieren, deren Bilder die gewünschte gemeinsame Bewegungsphase mx (vgl.2 ) besitzen. Sofern die gemeinsame Bewegungsphase mx der Bewegungsphase der Bilder einender Bildfolgen F11, F12, F13 entspricht, so kann diese Bildfolge unmittelbar übernommen werden, ohne dass eine Bewegungsschätzung und Interpolation erforderlich ist. Entspricht die gemeinsame. Bewegungsphase mx beispielsweise der ersten Bewegungsphase m1, also der Bewegungsphase der Bilder der ersten Abtastbildfolge F11, so kann auf die erste Bewegungsschätz- und Interpolationseinheit21 verzichtet werden, was in4 dadurch dargestellt ist, dass diese Bewegungsschätz- und Interpolationseinheit21 gestrichelt dargestellt ist. - Die Bewegungsschätz- und Interpolationseinheiten
21 ,22 ,23 können herkömmliche Bewegungsschätz- und Interpolationseinheiten sein, die geeignet sind, durch einen Vergleich aufeinanderfolgende Bilder der zugeführten Bildfolge F11, F12 oder F13 Bewegung in den einzelnen Bildern zu schätzen und unter Verwendung dieser geschätzten Bewegungsinformation ein Zwischenbild mit einer gewünschten Bewegungsphase zu interpolieren. Die Funktionsweise einer dieser Bewegungsschätz- und Interpolationseinheiten wird nachfolgend anhand von5 für die erste Bewegungsschätz- und Interpolationseinheit21 der die erste Abtastbildfolge F11 zugeführt ist, veranschaulicht. -
5 veranschaulicht zwei zeitlich aufeinanderfolgende Bilder F11(i), F11(i + 1) dieser ersten Abtastbildfolge F11. Die Bewegungsschätz- und Interpolationseinheit21 ist dazu ausgebildet, Bewegung in diesen zwei aufeinanderfolgenden Bildern F11(i), F11(i + 1) zu schätzen und ein Zwischenbild F21(i) mit der gewünschten Bewegungsphase mx unter Verwendung der Bildinformation aus einem dieser Bilder F11(i), F1(i + 1), oder unter Verwendung der Bildinformation aus beiden Bildern F11(i), F1(i + 1) zu interpolieren. Die Bewegungsphase mx entspricht dabei der zeitlichen Position des Zwischenbildes F21(i) zwischen den beiden Bildern F1(i), F1(i + 1). Die Bewegungsschätz- und Interpolationseinheit ist grundsätzlich in der Lage, unter Verwendung der zuvor ermittelten Bewegungsinformationen das Zwischenbild mit einer beliebigen Bewegungsphase zu interpolieren. Solche Bewegungsschätz- und Interpolationseinheiten sind grundsätzlich bekannt, so dass auf weitere Ausführungen hierzu verzichtet werden kann. - Die durch die Bewegungsschätz- und Interpolationseinheiten
21 ,22 ,23 erzeugten bewegungskompensierten Bildfolgen F21, F22, F23 werden einer Mischer- bzw. Überlagerungseinheit3 zugeführt, die dazu ausgebildet ist, zur Erzeugung eines HDR-Bilds der HDR-Bildfolge Bilder aus jeder der bewegungskompensierten Bildfolgen F21, F22, F23 zu überlagern, und zwar je ein Bild aus jeder dieser Bildfolgen F21, F22, F23. Am Ausgang dieser Mischer- bzw. Überlagerungseinheit3 steht die HDR-Videobildfolge F zur Verfügung. Die Bilder an den Ausgängen der Bewegungsschätz- und Interpolationseinheiten21 ,22 ,23 können jeweils zeitlich versetzt zueinander zur Verfügung stehen. In diesem Fall sind in dem Mischer3 geeignete Zwischenspeicher vorzusehen, die die einzelnen Bilder bis zum Zeitpunkt der Überlagerung zwischenspeichern. Die Bewegungsschätz- und Interpolationseinheiten können jedoch auch so ausgebildet sein, dass sie die Bilder mit gleicher Bewegungsphase jeweils synchron an ihren Ausgängen zur Verfügung stellen. Auf Zwischenspeicher kann dann verzichtet werden. - Bei dem zuvor erläuterten Verfahren werden für die Bewegungsschätzung jeweils Bilder mit gleicher Belichtung miteinander verglichen. Alternativ dazu besteht jedoch auch die Möglichkeit, für die Bewegungsschätzung Bilder miteinander zu vergleichen, die nicht eine gleiche Belichtung besitzen, wie z. B. zwei unmittelbar aufeinanderfolgende Bilder der ersten Videobildfolge F1.
- Bei einem weiteren Beispiel ist vorgesehen, für die Interpolation der Zwischenbilder einer Sequenz nur eine Bewegungsschätzung durchzuführen. Bezugnehmend auf das Beispiel gemäß
1 werden beispielsweise jeweils Bilder gleicher Belichtung in zwei aufeinanderfolgenden Sequenzen verglichen, wie z. B. die Bilder F11(i) in der ersten Sequenz und F11(i + 1) in der zweiten Sequenz. Die so erhaltene Bewegungsinformation wird dabei für die Interpolation aller Zwischenbilder, wie z. B. der Bilder F21(i), F22(i + ki1), F23(i + k2), verwendet. - Bei einem weiteren Beispiel ist vorgesehen, die Anzahl der Bilder aus einer Sequenz, die zu einem HDR-Bild überlagert werden, abhängig von der für die Sequenz ermittelten Bewegungsinformation einzustellen. So ist beispielsweise vorgesehen, mit einem zunehmenden Maß an Bewegung die Anzahl der überlagerten zu reduzieren, wobei im Extremfall nur eines der Bilder der Sequenz, beispielsweise ein Bild mit mittlerer Belichtung, als HDR-Bild ausgewählt wird. Dem liegt die Überlegung zugrunde, dass mit zunehmender Bewegung in der Bildfolge ein hoher Kontrastumfang durch das menschliche Auge ohnehin nicht mehr wahrgenommen werden kann.
- Zur Erzeugung der bewegungskompensierten Bildfolgen mit gleicher Bewegungsphase können grundsätzlich beliebige bekannte Bewegungsschätzverfahren verwendet werden. Lediglich zum besseren Verständnis ist ein Beispiel eines blockbasierten Verfahrens zur Bewegungsschätzung nachfolgend kurz erläutert. Bei diesem Verfahren wird wenigstens eines der zwei miteinander verglichenen Bilder, wie z. B. die Bilder F11(i) und F11(i + 1), in Bildblöcke unterteilt, zu denen jeweils ein Bewegungsvektor ermittelt wird. Ein solcher Bewegungsvektor eines Bildblocks repräsentiert eine Verschiebung der Position des Inhalts dieses Bildblocks von einem Bild zum nächsten Bild. Eine Bewegung des Inhalts eines solchen Blocks ist dabei um so größer, je länger der Bewegungsvektor ist bzw. je größer dessen Betrag ist. Als Maß für die Bewegung in einem Bild kann beispielsweise der Betrag des betragsmäßig größten Bewegungsvektors oder der Mittelwert der Beträge einiger oder aller Bewegungsvektoren des Bildes verwendet werden. Eine Reduktion der Anzahl der zu überlagernden Bilder wird hierbei beispielsweise dann vorgenommen, wenn dieses so ermittelte Bewegungsmaß einen vorgegebenen Grenzwert überschreitet. Diese Reduktion der Anzahl der zu überlagernden Bilder kann dabei mit zunehmender Bewegung stufenweise erfolgen. Hierzu werden mehrere Grenzwerte definiert, mit denen das Bewegungsmaß verglichen wird, wobei die Anzahl der zu überlagernden Bilder mit Überschreiten jedes Grenzwertes weiter reduziert wird.
- Bei einem weiteren Beispiel ist vorgesehen, die Bewegung in der Bildfolge F1 bereits bei Aufnahme der Bildfolge zu ermitteln und unmittelbar bei Aufnahme der Bildfolge die Anzahl der Bilder pro Sequenz abhängig von der ermittelten Bewegung zu reduzieren.
- Eine Vorrichtung zur Durchführung eines solchen Verfahrens ist in
6 dargestellt. Diese Vorrichtung besitzt eine Bewegungsschätz- und Interpolationseinheit20 , die dazu ausgebildet ist, aus der ersten Videobildfolge F1 unter Verwendung der erläuterten Bewegungsschätz- und Interpolationsschritte die bewegungskompensierte Videobildfolge F2 gemäß2 zu erzeugen. Diese bewegungskompensierte Videobildfolge F2 ist einer Multiplexer- oder Abtasteinheit1 zugeführt, die abgetastete Videobildfolgen F21, F22, F23 aus dieser bewegungskompensierten Videobildfolge F2 erzeugt. Die einzelnen Bilder einer dieser Videobildfolgen F21, F22, F23 besitzen dabei jeweils die gleiche Belichtung. Diese Bildfolgen sind einer Mischer- oder Überlagerungseinheit3 zugeführt, die diese Bildfolgen mit jeweils gleicher Belichtung zu einer HDR-Bildfolge mischt. Die Funktionsweise der Mischer- oder Überlagerungseinheit3 kann der Funktionsweise der bereits anhand von4 erläuterten Mischer- oder Überlagerungseinheit entsprechen.
Claims (4)
- Verfahren zur Erzeugung einer Videobildfolge mit hohem Dynamikbereich, das umfasst: Bereitstellen einer ersten Videobildfolge (F1) mit zeitlich aufeinanderfolgenden Teilbildfolgen, wobei jede Teilbildfolge n, mit n ≥ 2, Bilder (F11(i), F12(i + k1), F13(i + k2)) mit unterschiedlichen Belichtungen und unterschiedlichen Bewegungsphasen aufweist; Anwenden einer Bewegungsschätzung auf die erste Videobildfolge (F1) und Interpolieren einer bewegungskompensierten Teilbildfolge (F21(i), F22(i + k1), F23(i + k2)) zu jeder der Teilbildfolgen derart, dass die Bilder der bewegungskompensierten Teilbildfolge dieselbe Bewegungsphase besitzen, mittels – Erzeugen von n Abtastbildfolgen (F11, F12, F13) aus der ersten Videobildfolge (F1) derart, dass die einzelnen Bilder einer Abtastbildfolge (F11, F12, F13) gleiche Belichtungen aufweisen, und – Erzeugen bewegungskompensierter Bildfolgen (F21, F22, F23) aus den Abtastbildfolgen (F11, F12, F13) derart, dass die Bilder der bewegungskompensierten Bildfolgen (F21, F22, F23) eine gegebene Bewegungsphase (mx) aufweisen, wobei eine Gruppe mit je einem Bild aus jeder der bewegungskompensierter Bildfolgen (F21, F22, F23) eine bewegungskompensierte Teilbildfolge bildet; Überlagern der einzelnen Bilder (F21(i), F22(i + k1), F23(i + k2)) der bewegungskompensierten Teilbildfolge zu einem Bild (F(i)) mit erhöhtem Dynamikbereich.
- Verfahren nach Anspruch 1, bei dem die Bewegungsschätzung einen Vergleich von Bildern, die die gleiche Belichtung be sitzen, in wenigstens zwei aufeinanderfolgenden Bildern umfasst.
- Verfahren nach einem der vorangehenden Ansprüche, bei dem die Bewegungsschätzung einen Vergleich von Bildern innerhalb derselben Teilbildfolge umfasst.
- Verfahren nach einem der vorangehenden Ansprüche, das weiterhin aufweist: Ermitteln eines Maßes für eine Bewegung, die in Bildern einer Teilbildfolge enthalten ist; Einstellen der Anzahl der Bilder dieser Teilbildfolge, die nach der Bewegungsschätzung überlagert werden, abhängig von dem ermittelten Maß für die Bewegung.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102009001518A DE102009001518B4 (de) | 2009-03-12 | 2009-03-12 | Verfahren zur Erzeugung einer HDR-Videobildfolge |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102009001518A DE102009001518B4 (de) | 2009-03-12 | 2009-03-12 | Verfahren zur Erzeugung einer HDR-Videobildfolge |
Publications (2)
Publication Number | Publication Date |
---|---|
DE102009001518A1 DE102009001518A1 (de) | 2010-09-23 |
DE102009001518B4 true DE102009001518B4 (de) | 2011-09-01 |
Family
ID=42628546
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102009001518A Expired - Fee Related DE102009001518B4 (de) | 2009-03-12 | 2009-03-12 | Verfahren zur Erzeugung einer HDR-Videobildfolge |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102009001518B4 (de) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012130208A1 (de) * | 2011-03-17 | 2012-10-04 | Spheron Vr Ag | Videoanordnung zur bereitstellung von hdr videoströmen |
DE102011080407A1 (de) | 2011-08-04 | 2013-02-07 | Robert Bosch Gmbh | Kameravorrichtung zum Erzeugen eines digitalen Bildes und Verfahren zum Betrieb der Kameravorrichtung |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030133035A1 (en) * | 1997-02-28 | 2003-07-17 | Kazuhiko Hatano | Image pickup apparatus and method for broadening apparent dynamic range of video signal |
US20040218830A1 (en) * | 2003-04-29 | 2004-11-04 | Kang Sing Bing | System and process for generating high dynamic range video |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6993200B2 (en) | 2001-11-20 | 2006-01-31 | Sony Corporation | System and method for effectively rendering high dynamic range images |
-
2009
- 2009-03-12 DE DE102009001518A patent/DE102009001518B4/de not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030133035A1 (en) * | 1997-02-28 | 2003-07-17 | Kazuhiko Hatano | Image pickup apparatus and method for broadening apparent dynamic range of video signal |
US20040218830A1 (en) * | 2003-04-29 | 2004-11-04 | Kang Sing Bing | System and process for generating high dynamic range video |
Also Published As
Publication number | Publication date |
---|---|
DE102009001518A1 (de) | 2010-09-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE69324922T2 (de) | Bewegungsausgeglichene fernsehbildbearbeitung | |
DE69605936T2 (de) | Bewegungskompensierte interpolation | |
DE69223925T2 (de) | Videobildverarbeitung | |
DE69510851T2 (de) | Verfahren und Gerät zur Reduzierung von Umwandlungsartefakten | |
DE602005003624T2 (de) | Bildverarbeitungsvorrichtung und - verfahren | |
DE102005023461A1 (de) | Überwachungsvorrichtung | |
DE69609028T2 (de) | Bewegungskompensierte bildfrequenzumwandlung | |
DE4328783C2 (de) | Röntgendiagnostikeinrichtung | |
EP3253045B1 (de) | Verfahren zur erkennung und korrektur von bildfehlern sowie bildverarbeitungseinheit und computerprogramm hierzu | |
DE102009001518B4 (de) | Verfahren zur Erzeugung einer HDR-Videobildfolge | |
DE4327779C1 (de) | Verfahren und Schaltungsanordnung für ein Fernsehgerät zur Verminderung des Flimmerns | |
EP1650978B1 (de) | Verfahren zur Bilddarstellung unter Verwendung einer sequentiellen Farbdarstellung | |
DE102009026983A1 (de) | Bildverarbeitungsverfahren mit einer Bewegungsschätzung und Bildverarbeitungsanordnung | |
EP2105883A1 (de) | Verfahren zum Testen eines Bewegungsvektors | |
DE102010014733B4 (de) | Chromakeyverfahren und Chromakeyvorrichtung zur Aufnahme und Bildbearbeitung von Kamerabildern | |
DE102011006985A1 (de) | Verfahren und Einrichtung zur optischen Fokussierung | |
EP0596561B1 (de) | Anordnung zur Verdopplung der Teilbildfrequenz eines Bildsignals | |
DE60126642T2 (de) | Bewegungskompensierte abtastratenhochsetzung für videosignale | |
DE102009001521B4 (de) | Verfahren zur Erzeugung einer HDR-Videobildfolge | |
DE102019220278A1 (de) | Verfahren zur Anzeige von Videos | |
EP0639922B1 (de) | Schaltung zur Bewegungsdetektion für ein Bildsignal | |
DE19928740C2 (de) | Verfahren zum Verdoppeln der Bildwiederholfrequenz einer im Zeilensprungverfahren erzeugten Bildsequenz | |
DE102009057724B4 (de) | Bilderfassungsvorrichtung und Verfahren zum Reduzieren von Bewegungsunschärfe | |
DE19649651C1 (de) | Verfahren und Schaltungsanordnung zum Erzeugen einer Folge von progressiven Bildern | |
DE2821758A1 (de) | Verfahren und einrichtung zur fernsehbildwiedergabe mittels eines fernsehfilmabtasters |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
OP8 | Request for examination as to paragraph 44 patent law | ||
R018 | Grant decision by examination section/examining division | ||
R084 | Declaration of willingness to licence | ||
R084 | Declaration of willingness to licence | ||
R020 | Patent grant now final |
Effective date: 20111202 |
|
R081 | Change of applicant/patentee |
Owner name: ENTROPIC COMMUNICATIONS, INC., SAN DIEGO, US Free format text: FORMER OWNER: TRIDENT MICROSYSTEMS (FAR EAST) LTD., GRAND CAYMAN, KY Effective date: 20121129 Owner name: ENTROPIC COMMUNICATIONS, INC., US Free format text: FORMER OWNER: TRIDENT MICROSYSTEMS (FAR EAST) LTD., GRAND CAYMAN, KY Effective date: 20121129 |
|
R082 | Change of representative |
Representative=s name: EPPING HERMANN FISCHER, PATENTANWALTSGESELLSCH, DE Effective date: 20121129 Representative=s name: EPPING HERMANN FISCHER PATENTANWALTSGESELLSCHA, DE Effective date: 20121129 |
|
R119 | Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee |